JP5835680B2

JP5835680B2 - 画像位置合わせ装置

Info

Publication number: JP5835680B2
Application number: JP2007287846A
Authority: JP
Inventors: 朝彦木原
Original assignee: Toshiba Corp; Toshiba Medical Systems Corp
Current assignee: Toshiba Corp; Canon Medical Systems Corp
Priority date: 2007-11-05
Filing date: 2007-11-05
Publication date: 2015-12-24
Anticipated expiration: 2027-11-05
Also published as: JP2009112468A

Description

本発明は、例えば患者等の被検体を撮影して取得した超音波画像データを含む３次元の参照画像データと三次元の対象画像データとの位置合わせを行う画像位置合わせ装置に関する。

超音波画像群の自動的な空間的位置合わせは、ＣＴ画像やＭＲ画像に比べて難しいことが一般的に知られている。この理由は、超音波画像がＣＴ画像やＭＲ画像よりも撮影条件の多様性やゲインの不均一性、又画像の分解能とＳ／Ｎとが劣ることからである。
超音波画像を用いて病変の経時変化や治療効果を判定するためには、撮影時刻や手技の異なる超音波画像が対象になる。例えば、手術前に撮影した超音波画像と手術後に撮影した超音波画像とを比較して病変の経時変化や治療効果を判定する。これら手術前に撮影した超音波画像と手術後に撮影した超音波画像とでは、それぞれ撮影したときの患者等の被検体の体位の違いや、造影の有無の相違があり、さらには治療や病状の進行による被検体の形態そのものの変化がある。これらの要因により超音波画像を自動的に空間的位置合わせすることが難しくなっている。

超音波画像と他のモダリティ画像、例えばＸ線ＣＴ画像、超音波Ｂモード画像、造影剤動脈相画像、造影剤静脈相画像、ＭＲ画像などの画像との画像位置合わせでは、それぞれの画像生成機序が異なるために画素値間に一対一の関係が存在せず、さらに空間的位置合わせが難しくなっている。

位置合わせの対象となる画像、すなわち参照画像に対して位置合わせする対象画像の種類が増えれば増えるほど、例えば対象画像の種類がＸ線ＣＴ画像、超音波Ｂモード画像、造影剤動脈相、造影剤静脈相画像等のように増加すると、これら画像間で共通に観察できる領域や解剖学的特徴が少なくなることも解決すべき課題である。

モダリティの異なる各画像間の類似度指標として相互情報量が報告されている。この相互情報量は、特にＣＴ画像やＭＲ画像において比較的良好な結果が報告されている。各画像間の位置合わせが成功する相対初期位置の正解からのズレは、キャプチャーレンジと呼ばれる。このキャプチャーレンジは、（１）分解能が良好なことに加え、体表を含めた体全体を撮影するので頭部、脳、体幹部等の共通な解剖学的特徴領域を決定し易いこと、（２）撮影するときの被検体の体位の標準化が進んでいることからキャプチャーレンジ内に初期位置を設定しやすいことが挙げられる。これにより、ＣＴ画像やＭＲ画像の各画像間の位置合わせにおいて比較的良好な結果が得られている。但し、一般に画像類似度の計算領域が大きくなり、そのため計算時間が長く掛かる。

超音波画像同士の位置合わせも幾つか試みられているが、他のモダリティに比べてその数は少ない。これは、先に述べた超音波画像の特性に加えて、（１）超音波プローブをマニュアルで操作して撮影すること、（２）例えば被検体の肝臓を撮影するときに肋骨の存在のために超音波画像を撮影する視野が限定されること、（３）被検体の撮影体位に自由度がありその標準化が進んでいないこと、（４）得られた超音波画像は被検体の体内の一部を切り取った形、例えば四角錘状の領域として得られこの外側は視野外となること、などの理由で超音波画像間の相対的なオリエンテーションを認識することが難しく、相対初期位置をキャプチャーレンジ内に設定することが難しいこともその一因であると考えられる。

超音波画像間に特有の位置合わせの問題として、超音波画像には、超音波プローブによる患部等の被検体に対する圧迫や、撮影時の患者等の被検体の体位に起因した臓器の変形が本質的に含まれる。例えば、病変の経時変化や治療効果を判定するために手術前と手術後とにおいて、患部等の被検体に超音波プローブを当てて超音波画像を取得する場合、手術前と手術後とでは、被検体の体位の状態、例えば体位を横方向にしたときのねじれの度合いを同一にすることが難しく、かつ超音波プローブを被検体に当てる方向も同一にすることが難しい。そもそも被検体の体位や超音波プローブを当てる方向に正しい位置が存在せず、仮にＣＴ画像やＭＲ画像と同程度にオリエンテーションを合わせたとしてもても、ＣＴ画像やＭＲ画像の場合と同じ効果を期待することは出来ない。
J.P.W.Pluim, J.B.A.Maintz, "Mutual-Information-Based Registration of Medical Images: A Survey", IEEE Trans. Med.Imag., vol.22, pp. 986-1004, August 2003 R.Shekhar, and V.Zagrodsky, "Mutual Information-Based Rigid and Nonrigid Regitration of Ultrasound Volumes", IEEE Trans. Med.Imag., vol.21, pp. 9-22, January 2002 R.Shekhar, V.Zagrodsky, J.Garcia, and D.Thomas, "Registration of Real-Time 3-D Ultrasound Images of the Heart for Novel 3-D Stress Echocardiography", IEEE Med.Imag., vol.23, pp. 1141-114, September 2004

本発明の目的は、超音波画像同士や超音波画像と他のモダリティ画像とのような超音波画像データを含む３次元の参照画像データと三次元の対象画像データとの位置合わせを良好にできる画像位置合わせ装置を提供することにある。

請求項１に記載の画像位置合わせ装置は、三次元の参照画像データと、前記参照画像データと同一又は異なるモダリティにより取得された三次元の対象画像データとを読み出すデータ読出部と、前記データ読出部により読み出された前記参照画像データと前記対象画像データとに対して、少なくとも回転、平行移動に関する属性を変更してディスプレイに表示するデータ属性変更部と、特徴点を選択するに要するサイズに形成された位置合わせ候補の複数の領域を、表示された前記参照画像データ上と前記対象画像データ上とにおいてそれぞれに設定する領域設定部と、前記領域設定部により設定された前記複数の領域について前記参照画像データと前記対象画像データとの間の相互情報量又はエントロピーに基づく画像類似度を求め、前記画像類似度が最も大きくなるように前記参照画像データと前記対象画像データとの位置合わせを行うことにより、前記参照画像データと前記対象画像データとの位置合わせを行う位置合わせ部と、前記位置合わせ部により位置合わせした前記参照画像データと前記対象画像データとをディスプレイに表示する表示部と、を具備し、前記参照画像データと前記対象画像データとのうち少なくとも一方は超音波画像データであり、前記位置合わせ部は、前記参照画像データ上に設定した前記位置合わせ候補の主となる主領域と補助となる複数の補助領域と、これら主領域と複数の補助領域とに対応する前記対象画像データ上の各領域との間の前記各画像類似度をそれぞれ求め、これら画像類似度を統合した指標により前記参照画像データと前記対象画像データとの相対位置を決定することを特徴とする。

本発明によれば、超音波画像同士や超音波画像と他のモダリティ画像とのような超音波画像データを含む３次元の参照画像データと三次元の対象画像データとの位置合わせを良好にできる画像位置合わせ装置及びその方法並びに画像位置合わせプログラムを提供できる。

以下、本発明の一実施の形態について図面を参照して説明する。
図１は画像位置合わせ装置のブロック構成図を示す。画像位置合わせ装置１には、ネットワーク２を介して複数のモダリティ、例えば超音波診断装置（以下、ＵＳ診断装置と称する）３、Ｘ線ＣＴ装置４、ＭＲ装置５等が接続されている。
画像位置合わせ装置１は、ＣＰＵ等から成る主制御部６を有する。この主制御部６には、プログラムメモリ７と、データメモリ８と、画像データベース９と、伝送部１０と、ディスプレイ１１と、操作部１２とが接続されている。

プログラムメモリ７には、例えば治療前の三次元（３Ｄ）のＵＳ画像データ（ＵＳボリュームデータとも称する）と治療後の三次元のＵＳ画像データ、又は三次元のＵＳ画像データと他の三次元のモダリティ画像、例えばＸ線ＣＴ画像データ（ＣＴボリュームデータとも称する）、ＭＲ画像データ（ＭＲボリュームデータとも称する）との位置合わせを行わせる画像位置合わせプログラムが記憶されている。この画像位置合わせプログラムは、例えば治療前のＵＳ画像データ等の三次元の参照画像データ上とこの参照画像データに対して位置合わせする治療後の少なくとも１つのＵＳ画像データ等の三次元の対象画像データ上とにおいて特徴点を選択するに要するサイズに形成された位置合わせ候補の各小領域をそれぞれ設定させ、この設定された各小領域間の画像類似度を求めさせ、この画像類似度が最も大きくなるように参照画像データと対象画像データとを位置合わせさせ、この位置合わせした参照画像データと対象画像データとをディスプレイ１１に表示させる。

データメモリ８には、参照画像データと対象画像データとを位置合わせ処理するときに必要なデータが一時記憶される。
画像データベース９には、ＵＳ診断装置３やＸ線ＣＴ装置４、ＭＲ装置５等からネットワーク２を通して受け取った各モダリティの画像データが記憶される。これらモダリティの画像データは、例えば治療前のＵＳ画像データ、治療後のＵＳ画像データ、ＵＳ造影画像データ、治療前のＣＴ画像データ、ＭＲ画像データ等である。
伝送部１０は、ＵＳ診断装置３やＸ線ＣＴ装置４、ＭＲ装置５等からの各モダリティの画像データをネットワーク２を介して受け取る。
ディスプレイ１１は、位置合わせ前の例えば治療前のＵＳ画像データと治療後のＵＳ画像データとを表示したり、位置合わせ後の例えば治療前のＵＳ画像データと治療後のＵＳ画像データとを表示する。
操作部１２は、例えばキーボード、マウス等である。

主制御部６は、プログラムメモリ７に記憶されている画像位置合わせプログラムを実行することによりデータ読出部１３と、データ属性変更部１４と、領域設定部１５と、位置合わせ部１６と、表示部１７と、画像保存部１８との機能を有する。
データ読出部１３は、例えば画像データベース９に記憶されている各モダリティの画像データから例えば治療前のＵＳ画像データ、治療後のＵＳ画像データ、ＵＳ造影画像データ、治療前のＣＴ画像データ、ＭＲ画像データ等を読み出す。これら画像データのうち位置合わせの基準とする画像データを参照画像データとし、この参照画像データに対して位置合わせする対象の画像データを対象画像データとする。例えば、治療前のＵＳ画像データを参照画像データとし、治療後のＵＳ画像データを対象画像データとする。

このデータ読出部１３は、ＵＳ診断装置３やＸ線ＣＴ装置４、ＭＲ装置５等からの各モダリティから直接例えば治療前のＵＳ画像データ、治療後のＵＳ画像データ、ＵＳ造影画像データ、治療前のＣＴ画像データ、ＭＲ画像データ等を読み出してもよい。この場合、データ読出部１３は、伝送部１０に対してデータ読み出しの指示を送出することにより、伝送部１０を通してＵＳ診断装置３やＸ線ＣＴ装置４、ＭＲ装置５等の各モダリティから直接画像データを読み出す。なお、読み出された画像データは、表示部１７によってディスプレイ１１に表示される。図２はディスプレイ１１に表示された例えば肝臓の治療前のＵＳ画像データ１９−１と、肝臓の治療後のＵＳ画像データ１９−２との表示例を示す。これらＵＳ画像データ１９−１、１９−２は、例えば肝臓の断面画像である。

なお、治療前と治療後の各ＵＳ画像データ１９−１、１９−２は、それぞれ解剖学的に特徴部分を選択している。なお、治療前と治療後の各ＵＳ画像データ１９−１、１９−２は、超音波プローブを患者等の被検体に当てて撮影したときの空間的な撮影方向等が異なっている。

データ読出部１３は、例えば画像データベース９から同一又は異なるモダリティにより取得された参照画像データと対象画像データとを読み出す。データ読出部１３は、例えば画像データベース９から参照画像データと対象画像データとのうち少なくとも一方を超音波画像データとして読み出す。データ読出部１３は、例えば画像データベース９から互いに画素サイズの異なる参照画像データと対象画像データとを読み出す。

具体的に、データ読出部１３は、三次元のＵＳ画像データや他の三次元のモダリティ画像、例えばＸ線ＣＴ画像データ、ＭＲ画像データ等の複数のボリュームの異なる各画像データを同時に位置合わせ対象として読み出す。例えば、超音波穿刺による肝癌の治療判定のためには、治療前のＸ線ＣＴ画像データ又はＭＲ画像データ、治療前のＵＳ画像データ、治療後のＵＳ画像データとＵＳ造影画像データを比較参照したい要望がある。そのため、一度に取り扱うボリュームデータは、２つのボリュームデータで充分ではなく、通常４つ、場合によってはそれ以上の種類のボリュームデータが必要になることがある。

データ読出部１３により読み出された画像データ、例えば治療前のＵＳ画像データ、治療後のＵＳ画像データ、治療前のＸ線ＣＴ画像データ又はＭＲ画像データ、ＵＳ造影画像データは、表示部１７によってディスプレイ１１に表示される。図３は治療前のＵＳ画像データ１９−１と、治療後のＵＳ画像データ１９−２と、治療前のＸ線ＣＴ画像データ２０と、ＵＳ造影画像データ２１との表示例を示す。これら画像データ１９−１、１９−２、２０、２１は、それぞれ例えば画素サイズ２５６×２５６の表示ウィンドウでディスプレイ１１に表示される。

データ読出部１３は、図３に示す治療前のＵＳ画像データ１９−１と、治療後のＵＳ画像データ１９−２と、治療前のＸ線ＣＴ画像データ２０と、ＵＳ造影画像データ２１とのように画素サイズの異なるボリュームデータを同時に読み出す。これら画像データ１９−１、１９−２、２０、２１は、それぞれ例えば画素サイズ５１２ｘ５１２の表示ウィンドウを設定し、この表示ウィンドウでディスプレイ１１に表示する。例えばＵＳ診断装置３、Ｘ線ＣＴ装置４、ＭＲ装置５等の各モダリティの違いにより、これらモダリティから生成される各ボリュームデータの画素サイズが異なるのは一般的である。これら異なる画素サイズのデータを取り扱うために、例えば、Ｘ線ＣＴ装置４及びＭＲ装置５であれば画素サイズ５１２×５１２、診断装置３であれば画素サイズ２５６×２５６の各表示ウィンドウを用いる。

データ属性変更部１４は、データ読出部１３により読み出された参照画像データと対象画像データとに対して少なくとも回転、平行移動に関する属性を変更してディスプレイ１１に表示する。
データ属性変更部１４は、例えばＵＳ診断装置３、Ｘ線ＣＴ装置４、ＭＲ装置５等の各モダリティで使用される輝度値設定機能により変換されたデータを位置合わせアルゴリズム（画像位置合わせプログラム）で取り扱え可能なデータにする。各モダリティで使用される輝度値設定機能を説明すると、例えばＣＴ画像データの輝度情報は１６ビットで表現されている。診断に際しては、医師等のオペレータがＷＣ（ウインドウセンタ）、ＷＷ（ウインドウ幅）というパラメータを用いて設定した範囲のデータを８ビットの輝度値に設定している。医師等のオペレータは、操作部１２のキーボードやマウスを操作して輝度値設定機能により所望の輝度を有するＣＴ画像データに調節する。

すなわち、位置合わせアルゴリズムでは、例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とのような２種類のボリュームデータからジョイント・ヒストグラムを生成し、このジョイント・ヒストグラムから推定した確率密度関数を用いて位置合わせ指標を算出する。ＣＴ画像データのオリジナル画像データをそのまま用いるとスパースなヒストグラムとなってしまい、確率密度関数を適切に推定できない。このため、何らかの方法でレンジを圧縮する必要がある。医師等のオペレータが診断のために所望した輝度値の設定を流用するのが妥当である。

データ属性変更部１４は、読み出した画像データ、例えば治療前のＵＳ画像データ１９−１、治療後のＵＳ画像データ１９−２、治療前のＸ線ＣＴ画像データ２０又はＭＲ画像データ、ＵＳ造影画像データ２１のボリューム名、撮影日付、及びピクセルサイズ等の画像判別データ２２を例えば図２及び図３に示すようにディスプレイ１１上に表示し、医師等のオペレータに明示する。これら画像判別データ２２の各表示位置は、例えばＵＳ画像データ１９−１と、治療後のＵＳ画像データ１９−２と、治療前のＸ線ＣＴ画像データ２０と、ＵＳ造影画像データ２１との各左斜め上方である。すなわち、ボリューム名は、各画像データの特定のために必要である。日付は、診断履歴の判別のために必要である。ピクセルサイズは、後述する基準画像サイズの決定のために必要である。

データ属性変更部１４は、データ読出部１３により読み出された複数の画像データ（ボリュームデータ）、例えば治療前のＵＳ画像データ１９−１、治療後のＵＳ画像データ１９−２、治療前のＸ線ＣＴ画像データ２０又はＭＲ画像データ、ＵＳ造影画像データ２１間の画素サイズを合わせる。データ属性変更部１４は、複数の画像データ（ボリュームデータ）間の画素サイズを合わせるときの基準となる画素サイズを決定する。
具体的にデータ属性変更部１４は、次の各手法のいずれかにより基準となる画素サイズを決定する。すなわち、データ属性変更部１４は、例えば治療前のＵＳ画像データ１９−１と治療前のＸ線ＣＴ画像データ２０とを位置合わせ中に基準とする画素サイズのボリュームデータを選択する。データ属性変更部１４は、例えば治療前のＵＳ画像データ１９−１と治療前のＸ線ＣＴ画像データ２０との位置合わせ中に操作部１２に対して医師等のオペレータによりマニュアル操作された画素サイズを入力する。データ属性変更部１４は、プリセット機能により基準とする画素サイズの画像データ、例えば治療前のＵＳ画像データ１９−１を予め設定する。この場合、例えば治療前のＵＳ画像データ１９−１の画素サイズに他の画像データの画素サイズを合わせる。データ属性変更部１４は、プリセット機能により予め基準とする画素サイズを設定する。

画素サイズの調整を行うときは、設定された画素サイズで処理用の一時データを作成しても良いし、位置合わせの演算の実行中に、毎回、画素サイズを考慮した計算を行っても良い。なお、データ属性変更部１４は、例えば図３に示すように画素サイズ調整用のサイズ調整ボタン２３をディスプレイ１１上に表示する。このサイズ調整ボタン２３が例えばマウスのクリック操作により指示されると、データ属性変更部１４は、上記各手法のいずれかにより基準となる画素サイズを決定する。

位置合わせで画素サイズは、重要な要素である。画素サイズは、異なるモダリティにより取得される各画像データ間のみならず、同一のモダリティにより取得される各画像データ間においても毎回の撮影条件に相違が生じることから異なる。位置合わせの対象となる画像データは、異なるモダリティや同一モダリティにおいても各撮影条件に複数存在する。従って、画素サイズをどの画像データの画素サイズに合わせるかを指定する必要がある。

データ属性変更部１４は、例えば図２に示すように画像サイズに応じたスケール２４をディスプレイ１１上に表示する。このスケール２４は、実際の長さ、例えば２ｃｍに対応する長さに形成されている。
データ属性変更部１４は、例えば治療後のＵＳ画像データ１９−２等の対象画像データのボリュームの空間的な向き・方向を変更する。具体的にデータ属性変更部１４は、例えばディスプレイ１１上で左右方向に反転させる第１のミラー動作部と、上下方向で反転させる第２のミラー動作部と、奥行き方向の反転させるリバース部とを有する。データ属性変更部１４は、対象画像データのボリュームに患者等の被検体の体位情報が正しく記録されていれば、この体位情報に基づいて対象画像データのボリュームの空間的な向き・方向の変更を自動的に行う。
この場合、データ属性変更部１４は、例えば図３に示すようにディスプレイ１１上に第１のミラー動作部の設定ボタン２５と、第２のミラー動作部の設定ボタン２６と、リバース部の設定ボタン２７とを表示する。医師等のオペレータは、ディスプレイ１１上に表示される対象画像データを観察しながらマニュアルで操作部１２を操作し、各設定ボタン２５、２６、２７のうちいずれかを選択して指示する。これにより、データ属性変更部１４は、操作部１２からの指示を受けて対象画像データのボリュームの空間的な向き・方向の変更を行う。

すなわち、異なるモダリティは勿論のこと、同一のモダリティにおいても患者等の被検体の体位や撮影方向に違いが生じる。しかるに、三次元のＵＳ画像データや他の三次元のモダリティ画像、例えばＸ線ＣＴ画像データ、ＭＲ画像データ等は、それぞれボリュームデータの向き・方向が異なるのが一般的である。これら画像データ間の位置合わせは、対象とするボリュームデータの向き・方向を揃えてから行う必要がある。

データ属性変更部１４は、Ｎ個の対象画像データとなる三次元のＵＳ画像データ等のボリュームデータから位置合わせを行う一組のボリュームデータ、すなわち参照画像データと対象画像データとを選択する。データ属性変更部１４は、更に、位置合わせを行う一組のボリュームデータに対して参照画像データと対象画像データとを決定する。データ属性変更部１４は、選択された参照画像データと対象画像データとが他のボリュームデータと区別可能である。例えば、データ属性変更部１４は、参照画像データと対象画像データとの各画像表示枠の色をそれぞれ違う色にしてもよいし、表示しているボリューム名を変えてもよい。

領域設定部１５は、三次元の参照画像データ上とこの参照画像データに対して位置合わせする少なくとも１つの三次元の対象画像データ上、例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とにおいて特徴点を選択するに要するサイズに形成された位置合わせ候補の各領域をそれぞれ設定する。図４は治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とにおいて位置合わせ候補の各小領域Ｅ_１、Ｅ_２をそれぞれ設定した図を示す。位置合わせ候補の各小領域Ｅ_１、Ｅ_２は、解剖学的に特徴のあるところであり、例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とにおいて同一部位に設定される。

位置合わせ候補の各小領域Ｅ_１、Ｅ_２の設定には、マニュアル操作により設定と自動設定がある。先ず、位置合わせ候補の各小領域Ｅ_１、Ｅ_２のマニュアル設定について説明する。
領域設定部１５は、医師等のオペレータによる操作部１２へのマニュアル操作を受け、このマニュアル操作に従って位置合わせを行う一組の参照画像データと対象画像データとをディスプレイ１１上に表示し、これら一組の参照画像データと対象画像データとをディスプレイ１１上でそれぞれＸ方向、Ｙ方向、Ｚ方向を中心軸として回転させ、又Ｘ方向、Ｙ方向、Ｚ方向にそれぞれ平行移動させる。
例えば図４に示す治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とは、それぞれ３次元のボリュームデータである。従って、これら３次元のボリュームデータである治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とからそれぞれ１枚すなわち２次元の治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とを初期設定する。そして、領域設定部１５は、位置合わせする参照画像データと対象画像データとを設定し、かつこれら参照画像データと対象画像データとの各情報を表示する。一組の参照画像データと対象画像データとは、例えば患者等の被検体の初期断層面である。なお、領域設定部１５は、２次元の治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とを初期設定に限らず、再度、一組の参照画像データと対象画像データとをディスプレイ１１上でそれぞれＸ方向、Ｙ方向、Ｚ方向を中心軸として回転させ、又Ｘ方向、Ｙ方向、Ｚ方向にそれぞれ平行移動させて２次元の治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とを設定してもよい。

領域設定部１５は、予めプリセットした超音波プローブにより撮影方向・オフセット状態に例えばＵＳ画像データの撮影方向を設定する。すなわち、Ｘ線ＣＴ画像データやＭＲ画像データは、患者等の被検体の体軸に平行な断面の画像データである。これに対してＵＳ画像データは、患者等の被検体の解剖学的制約により制限される撮影方向から撮影されることが多い。例えば、肝臓癌の診断の場合、ＵＳ画像データは、例えば肋弓下や肋間などの特定の撮影方向から撮影されることが多い。

従って、これら特定の撮影方向の体軸に垂直な座標系への相対位置が予めプリセットされて登録される。例えば肋弓下や肋間などの特定の撮影方向から撮影するときの撮影方向をプリセット可能である。特定の撮影方向の体軸に垂直な座標系への相対位置のプリセットは、例えば図３に示すようにディスプレイ１１上にプリセット用ボタン２８を表示し、このプリセットボタン２８を医師等のオペレータによって操作部１２のマウスをクリック操作することにより行われる。これにより、領域設定部１５は、例えばＵＳ画像データ等の１組の参照画像データと対象画像データとの各撮影方向を１回の処理で所定の位置ずれ範囲内の大まかな位置に揃えることができる。なお、領域設定部１５は、予めプリセットして登録した特定の撮影方向の体軸に垂直な座標系への相対位置をリセット可能である。

領域設定部１５は、例えばＵＳ画像データ１９−１や治療後のＵＳ画像データ１９−２、治療前のＸ線ＣＴ画像データ２０、ＵＳ造影画像データ２１等の各ボリュームデータの各画像表示モードを例えば通常のＭＰＲ（断面変換：multi-planar reconstruction）表示、厚み付き最大値表示、厚み付き最小値表示、厚み付きＭＰＲ表示、又はボリュームレンダリング表示に切り替える。これにより、位置合わせを開始するに当たって適切な画像データを選択する際に、より大きな領域にわたる画像構造の視認性が向上し、医師等のオペレータが同一の解剖学的特徴点の認識することを支援し利便性の向上を図ることができる。

領域設定部１５は、医師等のオペレータによる操作部１２のマウスに対するクリック操作を受け、初期設定した参照画像データと対象画像データ、例えば図４に示す治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との各画像データ上に、位置合わせ候補の各小領域Ｅ_１、Ｅ_２を設定する。いわゆる医師等のオペレータによるマニュアル操作によって位置合わせ候補の各小領域Ｅ_１、Ｅ_２の設定ができる。

領域設定部１５は、例えば治療前のＵＳ画像データ１９−１等の参照画像データの上に、位置合わせに使用する基本領域を１個と補助領域を複数個とを医師等のオペレータによるマニュアル操作によって指定し、治療後のＵＳ画像データ１９−２等の対象画像データの上に基本領域に対応する領域を１つ指定する。

領域設定部１５は、位置合わせ候補の各小領域Ｅ_１、Ｅ_２のサイズが例えば患者等の被検体の実寸で常に一定になるように対象画像データの画素サイズに応じて各小領域Ｅ_１、Ｅ_２のサイズを調整する。具体的に領域設定部１５は、設定したい実寸サイズをプリセットにより登録しておく。すなわち、対象画像データの画素サイズはそれぞれ異なる。一方、位置合わせに用いる解剖学的に特徴的な形態のサイズは、例えば患者等の被検体の実寸で２ｃｍ程度にしたいという要望がある。このような事から位置合わせに使用する各小領域Ｅ_１、Ｅ_２のサイズが常に患者等の被検体の実寸で２ｃｍとなるように自動調整する。

領域設定部１５は、位置合わせ候補の各小領域Ｅ_１、Ｅ_２の位置と大きさをその中心と領域境界として表示する。位置合わせ候補の各小領域Ｅ_１、Ｅ_２は、例えば矩形に形成されている。この場合、各小領域Ｅ_１、Ｅ_２は、例えば図５に示すように矩形の境界を実線「□」により表示し、この矩形中心をクロス「＋」により表示する。これら小領域Ｅ_１、Ｅ_２の形状は、矩形に限らず、円形等に形成してもよい。

領域設定部１５は、位置合わせ候補の各小領域Ｅ_１、Ｅ_２の位置を移動しないで、これら小領域Ｅ_１、Ｅ_２のサイズをマニュアルにより変更する。すなわち、領域設定部１５は、医師等のオペレータによる操作部１２に対する操作を受けて小領域Ｅ_１、Ｅ_２のサイズを変更する。位置合わせ候補の各小領域Ｅ_１、Ｅ_２が矩形の場合、医師等のオペレータにより例えばマウスを操作してディスプレイ１１上でポインタを小領域Ｅ_１、Ｅ_２の矩形頂点に移動し、この矩形頂点でグリップしてサイズの変更を行う。

領域設定部１５は、位置合わせ候補の各小領域Ｅ_１、Ｅ_２のサイズを変更しないで、これら小領域Ｅ_１、Ｅ_２の位置を変更する。位置合わせ候補の各小領域Ｅ_１、Ｅ_２が矩形の場合、医師等のオペレータにより例えばマウスを操作してディスプレイ１１上でポインタを小領域Ｅ_１、Ｅ_２の矩形中心に移動し、この矩形中心でグリップしながら移動させて小領域Ｅ_１、Ｅ_２の位置を変更する。

次に、位置合わせ候補の各小領域Ｅ_１、Ｅ_２の自動設定について説明する。
領域設定部１５は、参照画像データと対象画像データ、例えば図２に示すＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との画像類似度に基づいて位置合わせ候補の各小領域Ｅ_１、Ｅ_２をそれぞれ自動設定する。位置合わせ候補の各小領域Ｅ_１、Ｅ_２の自動設定には、次の各方法が用いられる。

第１の方法は、エントロピーを最大にする正方形領域を検索する方法である。
参照位置を（ｘ_０，ｙ_０）としたとき、この参照位置（ｘ_０，ｙ_０）を中心とする一辺の長さｌの正方形Ｓ（ｌ）を考える。長さｌをｌ_ｍｉｎ≦ｌ≦ｌ_ｍａｘの範囲で変化させ、正方形Ｓ（ｌ）内にある画素値ｉのヒストグラムから相対頻度Ｐｉを求めてエントロピーＨ（ｌ）を次式（１）により算出する。

エントロピーＨ（ｌ）が最大となる

が各小領域Ｅ_１、Ｅ_２の一辺とする。

位置合わせの対象となる領域は、解剖学的に特徴的な画像データを用いることが望ましい。解剖学的に特徴的な画像データの画素値は、一般に広範囲にわたって分布する。解剖学的に特徴的な画像データを有しない単調な画像データではヒストグラムが偏る。第１の方法は、解剖学的に特徴的な画像データを抽出する指標として画素値の頻度分布から算出するエントロピーＨ（ｌ）を用いている。

第２の方法は、周辺領域との平均値の差に基づく指標を用いる方法である。
一辺の長さｌの正方形Ｓ（ｌ）に隣接する例えば８個の正方形Ｓｊ（ｌ）を考える。ｊは、１≦ｊ≦８である。正方形Ｓ（ｌ）内の画素値の平均値と分散をμとし、８個の正方形Ｓｊ（ｌ）内の画素値の平均値と分散をμ_ｊとする。

特徴指数

が最大になる

をｌ_ｍｉｎ≦ｌ≦ｌ_ｍａｘから位置合わせに使用する各小領域Ｅ_１、Ｅ_２の一辺を求める。
但し、最終的な長さｌは、
ｌ＝ａ・ｌ_ｍａｘ：１．５＜ａ＜３
とする。ａは経験的に決める。第２の方法は、判別基準として周辺領域顕著な違いがある領域を特徴領域とするものである。

領域設定部１５は、一辺の長さｌにおいて、ある区間ｌ_ｍｉｎ≦ｌ≦ｌ_ｍａｘでの最大値でなく、エントロピーＨ（ｌ）、若しくは特徴指数の増加が最初に停まったときの値を持って各小領域Ｅ_１、Ｅ_２領域を決定する。
なお、参考文献として例えばT.Kadir and M.Brandy, “Saliency, scale and image description”, Int.J.Comput. Vision, Vol.45, no.2, 83-105, 2001と、G.Wu, F.Qi, and D.Shen, “Learning-Based Deformable Registration of MR Brain Images”, IEEE Trans. Med.Imag., vol.25, pp. 1145-1157, September. 2006とがある。

位置合わせ候補の各小領域Ｅ_１、Ｅ_２を自動設定する領域設定部１５は、例えば治療前のＵＳ画像データ１９−１等の参照画像データの上に、位置合わせに使用する基本領域を１個と補助領域を複数個とを自動的に決定し、治療後のＵＳ画像データ１９−２等の対象画像データの上に基本領域に対応する領域を１つ自動的に決定する。

領域設定部１５は、次の手法により位置合わせ候補の各小領域Ｅ_１、Ｅ_２を自動設定する。この領域設定部１５は、位置合わせを行う一組の参照画像データと対象画像データ、例えば図２に示すＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とについて、それぞれＸ方向、Ｙ方向、Ｚ方向の回転と平行移動とを行って初期の断層面画像データをマニュアルで決定した後に位置合わせ候補の各小領域Ｅ_１、Ｅ_２を自動設定する。
この領域設定部１５は、先ず、参照画像データである例えば治療前のＵＳ画像データ１９−１から位置合わせに用いる特徴的な画像データを有する小領域Ｅ_１の中心を決定するステップと、次に、決定した小領域Ｅ_１の中心に対して領域サイズを決定するステップと、次に、ＵＳ画像データ１９−１に設定した小領域Ｅ_１との間の画像類似度が最も大きな小領域Ｅ_２を対象画像データである例えば治療後のＵＳ画像データ１９−２から探索するステップとから成る。

このうち、小領域Ｅ_１の中心の決定は、上記領域設定部１５により例えば図２に示すＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との画像類似度に基づいて位置合わせ候補の各小領域Ｅ_１、Ｅ_２をそれぞれ自動設定する手法を用いる。この手法では、第１の方法であるエントロピーを最大にする正方形領域を検索する方法、又は第２の方法である周辺領域との平均値の差に基づく指標を用いる方法を用いる。
例えば治療後のＵＳ画像データ１９−２からの小領域Ｅ_２の探索は、後述する位置合わせ部１６で用いる位置合わせアルゴリズムの手法が用いられる。

但し、位置合わせのパラメータが２Ｄ、つまりＸ方向、Ｙ方向の各回転と各平行移動との４つ、さらにせん断方向を含めても高々６つであることが異なる。小領域Ｅ_１の中心の決定については、画像データ中の特徴部分を抽出することが必要であるが、これにはコンピュータビジョンにおける画像特徴点の抽出で用いられるKitchen-Rosenfeld作用素、Hariss作用素、SUSAN作用素を基にしたその変形が有望である。一例としてMoravec作用素を領域に拡大したものを次に示す。得られた特徴画像データの中で最大値をとる画素を候補領域の中心に用いる。

周辺領域との平均値の差に基づく指標を用いる。
画像データ上の点（ｘ_０，ｙ_０）に対して、一辺の長さｌの正方形Ｓ（ｘ_０，ｙ_０）を考える。この正方形Ｓ（ｘ_０，ｙ_０）に隣接する同じ大きさの例えば８個の正方形Ｓｊを考える。Ｊは、１≦ｊ≦８である。Ｓ、Ｓｊ内の画素値の平均値をそれぞれμ、μ_ｊとし、次式を算出する。

この算出された値を点（ｘ_０，ｙ_０）の特徴量とする。このような特徴量の算出を例えばＵＳ画像データ１９−１等の参照画像データの全ての点について実行し、特徴画像データη（ｘ，ｙ）を求める。この特徴画像データη（ｘ，ｙ）が最大値となる点を位置合わせの小領域Ｅ_１の中心とする。長さ１は経験的に求める。

なお、参考文献として、例えば金澤靖, 金谷健一, 解説コンピュータビジョンのための画像の特徴点の抽出, 電子情報通信学会誌Vol.87, No.12, 2004と、[13] L. Kitchen and A. Rosenfeld, “Gray-level corner detection," Pattern Recognit. Lett., vol.1, no.2, pp.95-102, Dec. 1982.と、[19] C. Harris and M. Stephens, “A combined corner and edge detector," Proc. 4th Alvey Vision Conf., pp.147-151, Manchester, U.K., Aug. 1988.と、[2] S. M. Smith and J. M. Brady, “SUSAN|A New Approach to Low Level Image Processing," IJCV, 23(1), pp.45-78 (1997)と、[31] H.P. Moravec, “Towards automatic visual obstacle avoidance," Int. Joint Conf. Art. Intell., Cambridge, MA, USA, p.584, Aug. 1977.とがある。

以上のような位置合わせ候補の各小領域Ｅ_１、Ｅ_２を自動設定する領域設定部１５は、例えば治療前のＵＳ画像データ１９−１等の参照画像データに設定した特徴的な画像データを有する位置合わせ候補の小領域Ｅ_１との間の特徴量が極値を取る上位の複数の領域を例えば治療後のＵＳ画像データ１９−２等の対象画像データから探索する。そして、領域設定部１５は、参照画像データ上の小領域Ｅ_１と対を成す対象画像データ上で探索された複数の領域とのうち各領域の周囲の領域の画像類似度が最も大きくなる小領域Ｅ_２を探索し、小領域Ｅ_１と小領域Ｅ_２とをペア（一対）とする。

すなわち、領域設定部１５は、位置合わせを行う例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データにおいてそれぞれ各特徴画像データを作成した後、これら特徴画像データが極値をとるものの中から大きいものを複数検出し、それらの間の画像類似度を算出して位置合わせ候補の各小領域Ｅ_１、Ｅ_２を決定する。

この領域設定部１５は、先ず、２枚の２次元の画像データにおける特徴画像データを作成するステップと、次に、それぞれの特徴画像データで特徴量が極値を取るものについて上位Ｎ個を選択するステップと、次に、２組の候補から１つのペアの特徴画像データを選択し、これら特徴画像データの周りの領域について画像類似度を算出し、その最大値をとるものをペアの特徴画像データを小領域Ｅ_１、Ｅ_２として決定する。

このようなペアの小領域Ｅ_１、Ｅ_２を決定する領域設定部１５は、１つのペアの小領域Ｅ_１、Ｅ_２を決定するに限らず、複数のペアを選択し、予め設定された拘束条件に基づいて最適なペアを決定する。拘束条件は、例えばペアとして選択した点を結ぶ線分が交差しない、などである。本手法は、画像類似度を判定基準としたランダム投票と考えることが出来る。

参考文献としては、例えばM. A. Fischler and R. C. Bolles, “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography," Commun. ACM, no.24, vol.6, pp.381-395, June 1981.と、P.J. Rousseeuw and A.M. Leroy, Robust Regression and Outlier Detection, Wiley, New York, U.S.A., 1987.とがある。

領域設定部１５は、位置合わせを行なう例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データとの２つのボリュームデータの画像属性を認識し、この画像属性に応じて位置合わせ領域決定のアルゴリズムを変更する。画像属性の認識は、画像データベース９に記憶されているＵＳ画像データ１９−１、１９−２等の情報から自動的に取得する。画像属性の認識は、医師等のオペレータによるキーボード等の操作部１２のマニュアル操作を受けて取得する。画像属性の認識は、これら自動的な取得とマニュアル操作を受けての取得との組み合わせで取得する。

画像データの属性情報は、大別して、モダリティや造影の有無などの画像データの生成に関する情報と、位置合わせに用いる解剖学的特徴点に関する情報との２つがある。例えば超音波穿刺による肝癌の治療判定では、最低でも例えば治療前のＵＳ画像データと、治療後のＵＳ画像データ及びＵＳ造影画像データとを比較参照することを要する。このためには、通常のＵＳ画像データ同士、造影ＵＳ画像データ同士、通常のＵＳ画像データと造影ＵＳ画像データとの位置合わせが必要になる。これら画像データの組み合わせは、画像データベース９に記憶されている情報から知ることができる。

例えば「造影欠損による位置あわせ」という属性情報が既知の場合、領域設定部１５は、次のアルゴリズムを使用する。すなわち領域設定部１５は、参照画像データから以下の手順で造影欠損に伴う孤立した大きな低濃度領域を検出する。
先ず、領域設定部１５は、画像データを２値化処理する。このとき、２値化処理の閾値は、例えば文献（大津展之, 判別および最小２乗法に基づく自動しきい値選定法,電子通信学会論文誌, J63-D-4 (1980-4), 349?356.）に記載されている方法を用いる。
次に、領域設定部１５は、例えばClosing処理により大きな閉領域を形成する。次に、領域設定部１５は、外周からの探索で周囲を埋める。
次に、領域設定部１５は、残った孤立領域に対してラベリング処理を行い、この後、最も大きな孤立領域を決定する。

次に、領域設定部１５は、孤立領域の重心を持って位置合わせ用の領域、例えば小領域Ｅ_１の中心とする。
次に、領域設定部１５は、上記同様に、決定した小領域Ｅ_１の中心に対して領域サイズを決定し、ＵＳ画像データ１９−１に設定した小領域Ｅ_１との間の画像類似度が最も大きな小領域Ｅ_２を対象画像データである例えば治療後のＵＳ画像データ１９−２から探索する。

なお、造影ＵＳ画像データ同士の場合、造影欠損部位を位置合わせ領域に用いるのが有望である。この場合、例えば図３に示すように造影欠損による位置合わせボタン２９をディスプレイ１１に表示する。医師等のオペレータは、操作部１２のマウス等を操作して第１の位置合わせボタン２９をクリックすれば、造影欠損部位を位置合わせ領域に基づいて造影ＵＳ画像データ同士を位置合わせ可能になる。

位置合わせ部１６は、領域設定部１５により設定された例えば治療前のＵＳ画像データ１９−１等の参照画像データ上の小領域Ｅ_１と、治療後のＵＳ画像データ１９−２等の対象画像データ上の小領域Ｅ_２との間の画像類似度を求め、この画像類似度が最も大きくなるように参照画像データと対象画像データとの位置合わせを行う。
この場合、位置合わせ部１６は、画像類似度として参照画像データと対象画像データとの間の相互情報量又はエントロピーを推定し、最適化処理を行って相互情報量又はエントロピーの極値に基づいて参照画像データと対象画像データとの相対位置を決定する。そして、位置合わせ部１６は、参照画像データと対象画像データとの間の相互情報量を推定する際、参照画像データと対象画像データとに共存しない領域に位置合わせ候補の領域があると、当該領域を除いて相互情報量又はエントロピーを推定する。

なお、位置合わせ部１６は、例えば図３に示すように第２の位置合わせボタン３０をディスプレイ１１に表示する。医師等のオペレータが操作部１２のマウス等を操作して第２の位置合わせボタン３０をクリックすれば、位置合わせ部１６は、上記のように画像類似度が最も大きくなるように参照画像データと対象画像データとの位置合わせを行う。

相互情報量の推定法については、次の通りである。

例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データとの２つのボリュームデータ中に定義された対象領域をそれぞれＲ（ｘ，ｙ，ｚ）、Ｆ（ｘ，ｙ，ｚ）とし、２つの対象領域の同じ位置の画素値から生成される二次元ヒストグラムをhistgram_ＲＦ（ｒ，ｆ）とする。

このとき、対象領域の画素値がとる確率密度関数Ｐ_Ｒ（ｒ），Ｐ_Ｆ（ｆ），Ｐ_ＲＦ（ｒ，ｆ）は、上記定義した二次元ヒストグラムhistgram_ＲＦ（ｒ，ｆ）から次式により求められる。

但し、Ｖは、対象領域Ｒ（ｘ，ｙ，ｚ）、Ｆ（ｘ，ｙ，ｚ）が共に存在する画素位置の総数である。
これらの確率密度関数から、相互情報量Ｔ（Ｆ；Ｒ）は以下のように定義される。

ここで、対象画像の座標変換について説明する。対象画像に対して最低、Ｘ方向、Ｙ方向、Ｚ方向の回転と平行移動の６つのパラメータ、必要であれば３つのせん断方向も含めた９つのパラメータで座標変換する。この座標変換をαとおくと、座標変換後の対象画像はα（Ｆ）により表すことができる。

又、位置合わせ最適化の方法について説明すると、上記定義した座標変換後の対象画像α（Ｆ）と対象領域Ｒ（ｘ，ｙ，ｚ）との相互情報量Ｔ（α（Ｆ）；Ｒ）を最大にするα、つまり、

が求めたい座標変換である。
これは解析的に解くことができないので、何らかの最適化手法を用いて解く必要がある。この最適化手法は、例えばdownhill／symplex法やPowellの方法を用いる。

参考文献としては、例えばF. Maes, “Multimodality Image Registration by Maximization of Mutual Information”, IEEE Trans. Med.Imag., vol.16, pp. 187-198, Apr. 1997と、Press WH, Teukolsky SA, Vetterling WT, 他著，円慶寺勝市、奥村晴彦、佐藤俊郎、他訳：Ｃ言語による数値計算のレシピ, pp.295-299, 技術評論社, 東京, (1993)とがある。

例えば図６に示すジョイント・ヒストグラムを参照して例えば治療前のＵＳ画像データ１９−１等の参照画像データＲと治療後のＵＳ画像データ１９−２等の対象画像データＦとを位置合わせについて概略的に説明する。ジョイント・ヒストグラムＪは、参照画像データＲ上の点Ｉ_Ｒ（ｘ，ｙ）と、この点Ｉ_Ｒ（ｘ，ｙ）と一致する対象画像データＦ上の点Ｉ_Ｆ（ｘ，ｙ）とにより作成される。参照画像データＲと対象画像データＦとが位置合わせされてその各画像が一致していると、これら参照画像データＲと対象画像データＦとの間の相互情報量Ｔは、大きくなり、直線Ｌにより表される。従って、参照画像データＲと対象画像データＦとを位置合わせすることは、相互情報量Ｔを大きくし、直線Ｌにより表されるようにすることである。

このような位置合わせ部１６は、対象領域Ｒ，Ｆから相互情報量Ｔ（α（Ｆ）；Ｒ）を推定する際に、Ｒ，Ｆに含まれるボリュームデータ領域外を除外して推定する。この場合、位置合わせ部１６は、例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データとのジョイント・ヒストグラムを生成するが、このジョイント・ヒストグラムの生成時に、例えばＵＳラスターデータ元データ等の元データの幾何学的情報とＲ，Ｆの空間情報とから毎回算出してもよい。

又、位置合わせ部１６は、前処理の一部として全体のボリュームデータを予め生成する場合、これとは別に、領域内を１、領域外をゼロで表した配列を同時に生成してもよい。また、領域外を特定の画素値（例えば２５５）に設定し、輝度を０〜２５４により表現してもよい。
すなわち、ＣＴ画像データやＭＲ画像データは、画像データの周辺が空気であり、非常に小さい値をとる。これに対して診断に使用するＵＳ画像データは、元のデータがビームデータ又はラスター化されたデータに関わらず、映像化した患者等の被検体の体内情報の周りの視野外においてゼロとして生成される。ここで、考慮しなければならないのは、ＣＴ画像データやＭＲ画像データの周辺における空気の部分の画像データと、ＵＳ画像データにおける視野外に存在する非常に小さい値又はゼロの部分とである。これらＣＴ画像データやＭＲ画像データにおける空気の部分の画像データとＵＳ画像データにおける小さい値又はゼロの部分とを位置合わせのデータに含めると、映像化した患者等の被検体の体内情報でない領域外同士を位置合わせしてしまうこととなり、正しい位置合わせができないことが多い。

例えば図７を参照して例えば治療前のＵＳ画像データ１９−１等の参照画像データＲと治療後のＵＳ画像データ１９−２等の対象画像データＦとを位置合わせする場合について概略的に説明する。参照画像データＲは、本来のボリュームデータＲａと、このボリュームデータＲａの領域外（視野外）Ｒｂとから成る。対象画像データＦも本来のボリュームデータＦａと、このボリュームデータＦａの領域外（視野外）Ｆｂとから成る。これら参照画像データＲと対象画像データＦとを位置合わせは、例えば各領域Ｓａ、Ｓｂとの間の画像類似度を求め、この画像類似度が最も大きくなるように参照画像データＲと対象画像データＦとを位置合わせする。
このとき、領域Ｓａ内におけるボリュームデータＲの領域外Ｒｂと、領域Ｓｂ内におけるボリュームデータＦの領域外Ｆｂとは、除外される、すなわち視野外処理される。そして、各領域外Ｒｂ、Ｆｂの除外された各領域Ｓａ、Ｓｂとの間の画像類似度が求められ、この画像類似度が最も大きくなるように参照画像データＲと対象画像データＦとが位置合わせされる。このように視野外処理されると、図６に示すように参照画像データＲの本来のボリュームデータＲａと対象画像データＦの本来のボリュームデータＦａとが一致する。これに対して視野外処理が無いと、同図に示すように参照画像データＲの本来のボリュームデータＲａと対象画像データＦの本来のボリュームデータＦａとは位置合わせされない。

位置合わせ部１６は、参照画像データＲにおける本来の画像データ外の第１のサイズと対象画像データＦとにおける本来の画像データ外の第２のサイズとを比較し、第１のサイズが第２のサイズよりも大きければ、参照画像データと対象画像データとを入れ替えて相互情報量Ｔ（α（Ｆ）；Ｒ）、又は参照画像データＲのエントロピーＨ（Ｒ）、対象画像データのエントロピーＨ（Ｆ）を推定する。

すなわち、一般に、超音波診断装置により生成された三次元ボリュームデータであるＵＳ画像データは、ＣＴ画像データやＭＲ画像データと異なり、四角錘状の空間領域を占める。このようなＵＳ画像データ同士の相対位置関係を調べるとき、２つのＵＳ画像データに共通な空間領域が相対位置関係により変化することにより対象となるボクセル数が変化する。このため対象となる母数が変化する。

特に、対象画像が本来のＵＳ画像データの領域外（小さい値又はゼロの部分）付近にあるとき、確率密度分布が同じの場合、領域が小さい方がヒストグラムがスパースになり、結果として相互情報量Ｔ（α（Ｆ）；Ｒ）が大きくなる。
対象画像データが領域外付近にあるときは、最適化により領域外に移動してしまい正しい極値に収束しない場合が多い。しかるに、周りに領域外のデータが存在する可能性の低い方、移動対象である対象画像データに切り替えるのが適切である。

位置合わせ部１６は、最適化が終了した時点で、表示部１７に対して位置合わせ結果を表示する指令を送出する。
位置合わせ部１６は、位置合わせ結果に満足が行かない場合、初期設定画像に戻る（ＵＮＤＯ機能）。この場合、位置合わせ部１６は、例えば図３に示すようにやり直しスイッチ３１をディスプレイ１１に表示する。医師等のオペレータが操作部１２のマウス等を操作してやり直しスイッチ３１をクリックすれば、位置合わせ部１６は、初期設定画像に戻る。
位置合わせ部１６は、位置合わせ結果から再度位置合わせを行うことを可能とする。

位置合わせ部１６は、上記のように例えば治療前のＵＳ画像データ１９−１等の参照画像データ上の小領域Ｅ_１と、治療後のＵＳ画像データ１９−２等の対象画像データ上の小領域Ｅ_２との間の画像類似度を求め、この画像類似度が最も大きくなるように参照画像データと対象画像データとの位置合わせを行う場合、位置合わせが大きくずれているときの画像類似度の基準と最適化が終了した時点での画像類似度の基準との比が経験的に得られている値より著しく小さいと、局所解に陥っているものとして判断し、この状態を初期値として再度最適化を行う。

一般に、最適化は、画像類似度の基準の向上をそれ以上望めなくなった時点で終了とする。ところが、この終了時点で局所解に陥っている可能性がある。当然のことながら、このときの画像類似度基準は最適解のそれよりも小さく、大きく位置がずれているときの画像類似度基準との比を、経験的にわかっている最適解時のそれと比較することで判定することができる。もし、局所解に陥っていると判断した場合、その位置より、パラメータを少し変更して最適化を再度実行することで最適解に収束することが期待できる。パラメータの変更は、例えばdownhill・symplex法の場合であれば、初期設定するシンプレックスの位置を前回より大きくするなどで対応する。

位置合わせ部１６は、上記最適化を開始する前に、参照画像データ上に設定した初期位置の周りの複数の位置について画像類似度を算出し、より良い初期位置を探索した後、最適化を実行する。この最適化を開始する前の処理を行うには、位置合わせ部１６は、例えば図３に示すように第３の位置合わせスイッチ３２をディスプレイ１１に表示する。医師等のオペレータが操作部１２のマウス等を操作して第３の位置合わせスイッチ３２をクリックすれば、位置合わせ部１６は、最適化を開始する前の処理を行う。

例えば１回の患者等の被検体に対する検査中に連続して収集したＵＳ画像データ等の複数のボリュームデータの場合、これらボリュームデータ間の相対位置はさほど変化していないことが期待できる。これに対して撮影日時の異なる画像データや、異なるモダリティの画像データ間では、撮像される患者等の被検体の体位に大きな違いがあるのが一般的である。この場合、最適化が成功する範囲（キャプチャーレンジ）を外れて、初期位置が設定される場合がある。

これを解決するために、最適化を開始する前に、参照画像データ上に設定した初期位置の周りでより良い初期位置をラフに探索することによりキャプチャーレンジ内に絞り込む。例えば、三軸の回転と三軸の平行移動の都合例えば６個のパラメータに関し位置合わせを行う場合、一定間隔毎に、例えば回転については±３０度の範囲を１０度毎、平行移動であれば±３０ピクセルの範囲を１０ピクセル毎に、都合、例えば７＾６個の仮の初期位置画像を作成し、参照画像データとの画像類似度を計算し、最も類似度の高い位置を初期位置とする。これは特に、平行移動に対して顕著に起きる。回転に関しては、少なくとも領域のオーバーラップが変化しないのに対し、平行移動ではオーバーラップする量が変化することに着目している。

位置合わせ部１６は、参照画像データの上に設定された１つの基本領域と複数の補助領域について、対象画像データ上の対応する領域との間の画像類似度をそれぞれ算出し、それらを統合した指標で位置合わせを行う。統合手法としては、指標の積と、重み付き和とがある。

参照画像データに設定された基本領域をＲ_Ｂ、複数個の補助領域をＲｉとする。ｉは、１〜ｎである。対象画像データ上に設定された１つの領域を基本領域に対応する領域Ｆ_Ｂとする。この領域Ｆ_Ｂの位置を基準にしてＦｉを決定する。これらの領域間で画像類似度指標Ｔ_Ｂ（Ｆ_Ｂ；Ｒ_Ｂ），Ｔ_ｉ（Ｆ_ｉ；Ｒ_ｉ）：ｉ＝１〜ｎを算出する。これらから統合された各指標Ｔ，Ｔを作成する。

参考文献としては、例えばJ.P.W.Pluim, J.B.A.Maintz, M.A.Viergever, “Image Registration by Maximization of Combined Mutual Information and Gradient Information”, IEEE Trans. Med.Imag., vol.19, pp. 809-814, August 2000がある。

このような位置合わせ部１６は、統合した指標で位置合わせを行うとき、基本領域のみを用いて位置合わせを行い、ある程度収束した時点で統合した指標を用いる。これは、補助領域の初期位置はずれている確率が高いことによる。

位置合わせ部１６は、参照画像データＲと対象画像データＦとの間、例えば治療前のＵＳ画像データ１９−１等の参照画像データＲと治療後のＵＳ画像データ１９−２等の対象画像データＦとの間の相互情報量Ｔを推定する際、参照画像データＲと対象画像データＦとで重ならない領域が生じると、この重ならない領域のサイズに応じて相互情報量Ｔを補正する。この場合、位置合わせ部１６は、次式（１２）に示すように参照画像データＲのエントロピーＨ（Ｒ）と、対象画像データのエントロピーＨ（Ｆ）と、参照画像データＲと対象画像データＦとに基づいて生成されるジョイント・ヒストグラムのエントロピーＨ（Ｒ，Ｆ）とに基づいて相互情報量Ｔを求め、かつこの相互情報量Ｔにおいてジョイント・ヒストグラムＪのエントロピーＨ（Ｒ，Ｆ）に対して重ならない領域のサイズに応じた補正Ｍを行う。
Ｔ＝Ｈ（Ｒ）＋Ｈ（Ｆ）−Ｈ（Ｒ，Ｆ，Ｍ） …（１２）
すなわち、例えば治療前のＵＳ画像データ１９−１等の参照画像データＲと治療後のＵＳ画像データ１９−２等の対象画像データＦとは、手術前と手術後とにおいて患部等の被検体に超音波プローブを当てて超音波画像を取得する場合、被検体の体位の状態、例えば体位を横方向にしたときのねじれの度合いを同一にすることが難しく、かつ超音波プローブを被検体に当てる方向も同一にすることが難しいことから図８に示すように参照画像データＲと対象画像データＦとで位置合わせしても重ならない領域Ｇが生じる。

これにより、重ならない領域Ｇが生じて位置合わせされた参照画像データＲと対象画像データＦとの間で位置の重なり合う画素数は、参照画像データＲと対象画像データＦとが完全に一致した場合の画素数よりも減少する。参照画像データＲと対象画像データＦとを位置合わせするときには、例えば図６に示すようなジョイント・ヒストグラムＪを生成するが、参照画像データＲと対象画像データＦとの間で位置の重なり合う画素数が減少することは、ジョイント・ヒストグラムＪを生成するときのサンプル数（参照画像データＲと対象画像データＦとの間で位置の重なり合う画素数）が減少することになる。そうすると、サンプル数の減少によりジョイント・ヒストグラムＪのエントロピーＨ（Ｒ，Ｆ）は小さくなる。

参照画像データＲと対象画像データＦとを位置合わせするには、参照画像データＲと対象画像データＦとの間の相互情報量Ｔを大きくすることである。しかしながら、図８に示すように参照画像データＲと対象画像データＦとで位置合わせしても重ならない領域Ｇが生じ、これら参照画像データＲと対象画像データＦとの間で位置の重なり合う画素数が減少すると、相互情報量Ｔが小さくなる方向に推移する。このため、参照画像データＲと対象画像データＦとが位置合わせされない方向に推移してしまう。

しかるに、相互情報量Ｔにおいてジョイント・ヒストグラムＪのエントロピーＨ（Ｒ，Ｆ）に対して重ならない領域のサイズに応じた補正Ｍを行う。これにより、参照画像データＲと対象画像データＦとで位置合わせしても重ならない領域Ｇが生じても、参照画像データＲと対象画像データＦとを位置合わせできる。

表示部１７は、位置合わせ部１６により位置合わせした例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データとの２つのボリュームデータをディスプレイ１１に表示する。ディスプレイ１１に表示されるＵＳ画像データ１９−１やＵＳ画像データ１９−２等は、患者等の被検体の断面画像データ又は３次元の断面画像データである。この表示部１７は、位置合わせ部１６により位置合わせした例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データとを少なくとも回転、平行移動を同期して行ってディスプレイ１１に表示する。

表示部１７は、個別に位置合わせを行った複数組の画像データ、例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との２つのボリュームデータの位置合わせの結果や、治療前のＸ線ＣＴ画像データと治療後のＵＳ画像データ１９−２との位置合わせの結果、治療後のＵＳ画像データ１９−２とＵＳ造影画像データとの位置合わせの結果等に基づいて、これら画像データに含まれる全てのボリュームデータの相対位置を統合して求める。

例えば、４種類のボリュームデータＡ，Ｂ，Ｃ，Ｄを用いて位置合わせ、例えばボリュームデータＡとＢ、ボリュームデータＢとＣ、ボリュームデータＣとＤの各位置合わせをそれぞれ行い、これらの座標変換α_ＡＢ、α_ＢＣ、α_ＣＤが得られたとする。表示部１７は、これら３つの座標変換α_ＡＢ、α_ＢＣ、α_ＣＤが得られた時点で、これら座標変換α_ＡＢ、α_ＢＣ、α_ＣＤを用いて座標変換α_ＡＣ、α_ＡＤを算出する。これによりボリュームデータＡを基準としたボリュームデータＢ，Ｃ，Ｄの統合的な位置合わせができる。
このようなボリュームデータＢ，Ｃ，Ｄ等の統合的な位置合わせを行うには、表示部１７は、例えば図３に示すように位置合わせ統合スイッチ３３をディスプレイ１１に表示する。医師等のオペレータが操作部１２のマウス等を操作して位置合わせ統合スイッチ３３をクリックすれば、表示部１７は、ボリュームデータＢ，Ｃ，Ｄ等の統合的な位置合わせを行う。

表示部１７は、統合したＮ個のボリュームデータにおいてＸ方向、Ｙ方向、Ｚ方向の回転と平行移動による断面位置や３次元視線方向の変更を同期して行なう。この場合、表示部１７は、同期して表示している断面位置の変更を行なうためのボリュームデータの取捨選択を行う。
表示部１７は、ディスプレイ１１に表示される位置合わせ後の複数の断面画像上、例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との各断面画像上に例えば格子状のスケールを表示する。図９は例えばＵＳ画像データ１９−１とＵＳ画像データ１９−２との各断面画像上に格子状のスケール３４を表示した一例を示す。

表示部１７は、ディスプレイ１１に表示される位置合わせ後の複数の断面画像上、例えば治療前のＵＳ画像データ１９−１上の点と、この点に対応する治療後のＵＳ画像データ１９−２上の点とにそれぞれカーソルを表示する。図１０は例えばＵＳ画像データ１９−１とＵＳ画像データ１９−２との各断面画像上の対応する各点に例えば「＋」形状の各カーソル３５ａ、３５ｂを表示した一例を示す。
表示部１７は、例えば治療前のＵＳ画像データ１９−１上の点に対応する治療後のＵＳ画像データ１９−２上の点を表示するのに「＋」形状の各カーソル３５ａ、３５ｂに限らず、例えば線分、矩形又は円等に形成されたカーソル等を表示してもよい。

表示部１７は、位置合わせ後の複数の画像データ、例えば複数の参照画像データと複数の対象画像データと各断面画像データからそれぞれ１枚を選択し、一方の画像データ上に他方画像データを重ねて表示する。表示部１７は、例えば治療前のＵＳ画像データ１９−１等の参照画像データ上に治療後のＵＳ画像データ１９−２等の対象画像データを重ね合わせて表示する。重ね合わせの処理は、可変な閾値を用いて例えば対象画像データにおける閾値以上の部分を抽出し、この抽出した画像データを参照画像データ上に色を変えて透過的に重ねる。又、重ね合わせの処理は、可変な閾値を用いて例えば対象画像データから欠損部分等の輪郭領域のデータを抽出し、この抽出した欠損部分等の輪郭領域データを参照画像データ上に重ねる。重ね合わせた結果は、断面位置の変更に追従して変化する。

表示部１７は、位置合わせ後の複数の断面画像データ、例えば複数の参照画像データと複数の対象画像データと各断面画像データ、特にＸ線ＣＴ画像データ、ＵＳ画像データ等のうち各視野を比較した場合、一方の視野が他方の視野よりも大きな２枚の画像データを選択し、視野が大きな画像データ、例えばＸ線ＣＴ画像データに視野の小さな画像データが占める視野輪郭を表示する。

表示部１７は、同一条件で撮影された視野の異なる複数のボリュームデータ、例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とを仮想的に１つのボリュームデータとみなし、Ｘ方向、Ｙ方向、Ｚ方向の回転と平行移動による断面位置変更に応じて１つのウィンドウ中に合成して表示する。図１１はＵＳ画像データ１９−１とＵＳ画像データ１９−２とを合成した表示例を示す。ある座標の画素値の候補として複数の候補がある場合には、１つのボリュームデータの画素を選ぶ、又は平均値などコンパウンドする。

この場合、表示部１７は、複数の画像データ間の境界領域、例えばＵＳ画像データ１９−１等の参照画像データとＵＳ画像データ１９−２等の対象画像データとの境界領域３６を検出し、この境界領域３６の画素値を複数のボリュームデータ、例えばＵＳ画像データ１９−１とＵＳ画像データ１９−２とから決定する。そして、表示部１７は、例えば、参照画像データを使用する領域、対象画像データを使用する領域、その境界領域を決定し、境界領域ではそれぞれの領域に近いほど大きな重みで２つの画像データ間を補間する。これにより、複数の画像データ間の境界領域、例えばＵＳ画像データ１９−１とＵＳ画像データ１９−２と境界領域３６である継ぎ目が目立たなくなる。

参考文献としては、例えばA.H.Gee, G.M.Treece, R.W.Prager, C.j.C.Cash and L.Berman, “Rapid Registration for Wide Field of View Freehand Three-Dimensional Ultrasound”, IEEE Trans. Med.Imag., vol.22, pp. 1344-1357, November 2003と、G.Xiao, J.M.Brady, J.A.Noble, M.Burcher, and R.English, “ Non-rigid Registration of 3D- Free-Hand Ultrasound Images of the Breast”, IEEE Trans. Med.Imag., vol.21, pp. 405-412, April 2002とがある。

画像保存部１８は、位置合わせされた複数の画像データ、例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データとを画像データベース９に保存する。このとき、画像保存部１８は、複数の画像データの保存と共に、これら画像データのデータ名、ミラーやリバースの有無、統合画素サイズ、画像サイズ基準データ名、ボリュームデータ相対位置情報等を画像データベース９に保存する。画像保存部１８は、例えば図３に示すように画像保存ボタン３７をディスプレイ１１に表示する。医師等のオペレータが操作部１２のマウス等を操作して画像保存ボタン３７をクリックすれば、画像保存部１８は、位置合わせされた複数の画像データ画像データベース９に保存する。

画像保存部１８は、画像データベース９に保存されている位置合わせされた複数の画像データ、例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データとを読み出し、これら参照画像データと対象画像データとに対してミラーやリバース、画素サイズ調整等の必要な処理を実行し、保存時の相対位置を再現する。画像保存部１８は、例えば図３に示すように再現ボタン３８をディスプレイ１１に表示する。医師等のオペレータが操作部１２のマウス等を操作して再現ボタン３８をクリックすれば、画像保存部１８は、参照画像データと対象画像データとに対してミラーやリバース、画素サイズ調整等の必要な処理を実行し、保存時の相対位置を再現する。
画像保存部１８は、位置合わせした例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２等の複数のボリュームデータを仮想的な１つのボリュームとして保存・再生する。

次に、上記の如く構成された装置による画像データの位置合わせ動作について説明する。
画像位置合わせ装置１は、ネットワーク２を介して複数のモダリティ、例えばＵＳ診断装置３、Ｘ線ＣＴ装置４、ＭＲ装置５等からそれぞれＵＳ画像データ等の複数の画像データを取り込み、これら画像データを画像データベース９に記憶する。
例えば超音波穿刺による肝癌の治療判定では、最低でも例えば治療前のＵＳ画像データと、治療後のＵＳ画像データ及びＵＳ造影画像データとを比較参照することを要する。このうち治療前のＵＳ画像データと治療後のＵＳ画像データとでは、それぞれ撮影したときの患者等の被検体の体位の違いや、造影の有無の相違があり、さらには治療や病状の進行による被検体の形態そのものの変化がある。これらの要因により治療前と治療後との各ＵＳ画像データを空間的位置合わせすることが必要になる。なお、治療前のＵＳ画像データと治療後のＵＳ造影画像データ、又は他のモダリティのＸ線ＣＴ画像データとを比較参照するときもこれら画像データ間を空間的位置合わせすることが必要になる。

医師等のオペレータが操作部１２のマウス等を操作することにより読み出される画像データが指示されると、データ読出部１３は、例えば画像データベース９に記憶されている各モダリティの画像データから例えば患者等の被検体における肝臓の治療前のＵＳ画像データ１９−１と、肝臓の治療後のＵＳ画像データ１９−２とを読み出す。これらＵＳ画像データ１９−１、１９−２は、例えば肝臓の断面画像である。これら治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とは、図２に示すように表示部１７によってディスプレイ１１に表示される。

次に、データ属性変更部１４は、データ読出部１３により読み出された治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とに対して少なくとも回転、平行移動に関する属性を変更してディスプレイ１１に表示する。これら治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との回転、平行移動等は、例えば医師等のオペレータが操作部１２のマウス等を操作することにより指示される。なお、例えば医師等のオペレータが操作部１２のマウス等を操作することによりデータ属性変更部１４は、治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とにおける輝度値を調整したり、画素サイズを合わせたり、空間的な向き・方向を変更したりする。

次に、治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とにおいて例えば図４に示すように位置合わせ候補の各小領域Ｅ_１、Ｅ_２の設定がマニュアル操作又は自動的により行われる。
先ず、位置合わせ候補の各小領域Ｅ_１、Ｅ_２のマニュアル設定について説明する。
領域設定部１５は、医師等のオペレータによる操作部１２へのマニュアル操作を受け、このマニュアル操作に従って位置合わせを行う一組の治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とをディスプレイ１１上に表示し、これら一組の治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とをディスプレイ１１上でそれぞれＸ方向、Ｙ方向、Ｚ方向を中心軸として回転させ、又Ｘ方向、Ｙ方向、Ｚ方向にそれぞれ平行移動させて初期設定する。

ＵＳ画像データは、患者等の被検体の解剖学的制約により制限される撮影方向から撮影されることが多い。例えば、肝臓癌の診断の場合、ＵＳ画像データは、例えば肋弓下や肋間などの特定の撮影方向から撮影されることが多い。従って、これら特定の撮影方向の体軸に垂直な座標系への相対位置が予めプリセットされて登録されている。例えば肋弓下や肋間などの特定の撮影方向から撮影するときの撮影方向がプリセットされている。このような場合、例えば図３に示すようにディスプレイ１１上に表示されているプリセット用ボタン２８を医師等のオペレータが操作部１２のマウスをクリック操作すれば、領域設定部１５は、プリセットされている撮影方向に治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との各撮影方向を１回の処理で所定の位置ずれ範囲内の大まかな位置に揃えることができる。

又、領域設定部１５は、治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との各画像表示モードを例えば通常のＭＰＲ表示、厚み付き最大値表示、厚み付き最小値表示、厚み付きＭＰＲ表示、又はボリュームレンダリング表示に切り替えることができる。

次に、領域設定部１５は、医師等のオペレータによる操作部１２のマウスに対するクリック操作を受け、初期設定した参照画像データと対象画像データ、例えば図４に示す治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との各画像データ上に、位置合わせ候補の各小領域Ｅ_１、Ｅ_２を設定する。いわゆる医師等のオペレータによるマニュアル操作によって位置合わせ候補の各小領域Ｅ_１、Ｅ_２の設定ができる。この領域設定部１５は、位置合わせ候補の各小領域Ｅ_１、Ｅ_２は、例えば図５に示すように矩形の境界を実線「□」により表示し、この矩形中心をクロス「＋」により表示する。これら位置合わせ候補の各小領域Ｅ_１、Ｅ_２の設定されるところは、例えば解剖学的に特徴的な形態を有するところである。

なお、領域設定部１５は、医師等のオペレータによる操作部１２に対する操作を受け、位置合わせ候補の各小領域Ｅ_１、Ｅ_２のサイズが例えば患者等の被検体の実寸で常に一定になるように対象画像データの画素サイズに応じて各小領域Ｅ_１、Ｅ_２のサイズを調整する。領域設定部１５は、医師等のオペレータによる操作部１２に対する操作を受け、位置合わせ候補の各小領域Ｅ_１、Ｅ_２の位置を移動しないで、これら小領域Ｅ_１、Ｅ_２のサイズをマニュアルにより変更する。領域設定部１５は、医師等のオペレータによる操作部１２に対する操作を受け、位置合わせ候補の各小領域Ｅ_１、Ｅ_２のサイズを変更しないで、これら小領域Ｅ_１、Ｅ_２の位置を変更する。

一方、位置合わせ候補の各小領域Ｅ_１、Ｅ_２の自動設定について説明する。
領域設定部１５は、参照画像データと対象画像データ、例えば図２に示すＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との画像類似度に基づいて位置合わせ候補の各小領域Ｅ_１、Ｅ_２をそれぞれ自動設定する。位置合わせ候補の各小領域Ｅ_１、Ｅ_２の自動設定には、上記のようにエントロピーを最大にする正方形領域を検索する第１の方法、又は周辺領域との平均値の差に基づく指標を用いる第２の方法である。

この領域設定部１５は、例えば次の手法により位置合わせ候補の各小領域Ｅ_１、Ｅ_２を自動設定する。この領域設定部１５は、位置合わせを行う一組の例えば図２に示すＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とについて、それぞれＸ方向、Ｙ方向、Ｚ方向の回転と平行移動とを行って初期の断層面画像データをマニュアルで決定した後に位置合わせ候補の各小領域Ｅ_１、Ｅ_２を自動設定する。この場合、領域設定部１５は、先ず、治療前のＵＳ画像データ１９−１から位置合わせに用いる特徴的な画像データを有する小領域Ｅ_１の中心を決定する。次に、領域設定部１５は、決定した小領域Ｅ_１の中心に対して領域サイズを決定する。次に、領域設定部１５は、ＵＳ画像データ１９−１に設定した小領域Ｅ_１との間の画像類似度が最も大きな小領域Ｅ_２を例えば治療後のＵＳ画像データ１９−２から探索する。

このうち、小領域Ｅ_１の中心の決定は、上記領域設定部１５により例えば図２に示すＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との画像類似度に基づいて位置合わせ候補の各小領域Ｅ_１、Ｅ_２をそれぞれ自動設定する手法を用いる。この手法は、第１の方法であるエントロピーを最大にする正方形領域を検索する方法、又は第２の方法である周辺領域との平均値の差に基づく指標を用いる方法を用いる。

次に、位置合わせ部１６は、領域設定部１５により設定された例えば治療前のＵＳ画像データ１９−１上の小領域Ｅ_１と、治療後のＵＳ画像データ１９−２上の小領域Ｅ_２との間の画像類似度を求め、この画像類似度が最も大きくなるように参照画像データと対象画像データとの位置合わせを行う。この場合、位置合わせ部１６は、画像類似度として治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との間の相互情報量Ｔを推定し、最適化処理を行って相互情報量Ｔの極値に基づいて治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との相対位置を決定する。

例えば図６に示すジョイント・ヒストグラムを参照して例えば治療前のＵＳ画像データ１９−１の参照画像データＲと治療後のＵＳ画像データ１９−２の対象画像データＦとを位置合わせについて説明すると、このジョイント・ヒストグラムＪは、参照画像データＲ上の点Ｉ_Ｒ（ｘ，ｙ）と、この点Ｉ_Ｒ（ｘ，ｙ）と一致する対象画像データＦ上の点Ｉ_Ｆ（ｘ，ｙ）とにより作成される。参照画像データＲと対象画像データＦとが位置合わせされてその各画像が一致していると、これら参照画像データＲと対象画像データＦとの間の相互情報量Ｔは、大きくなり、直線Ｌにより表される。従って、参照画像データＲと対象画像データＦとを位置合わせすることは、相互情報量Ｔを大きくし、直線Ｌにより表されるようにすることである。

そして、位置合わせ部１６は、治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との間の相互情報量Ｔを推定する際、治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とに共存しない領域に位置合わせ候補の領域があると、当該領域を除いて相互情報量Ｔ推定する。なお、相互情報量Ｔの推定法については、上記の説明通りである。例えば図７に示すように参照画像データＲと対象画像データＦとを位置合わせは、例えば各領域Ｓａ、Ｓｂとの間の画像類似度を求め、この画像類似度が最も大きくなるように参照画像データＲと対象画像データＦとを位置合わせするとき、領域Ｓａ内におけるボリュームデータＲの領域外Ｒｂと、領域Ｓｂ内におけるボリュームデータＦの領域外Ｆｂとは、除外される。そして、各領域外Ｒｂ、Ｆｂの除外された各領域Ｓａ、Ｓｂとの間の画像類似度が求められ、この画像類似度が最も大きくなるように参照画像データＲと対象画像データＦとが位置合わせされる。
この結果、位置合わせ部１６は、治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との相対位置を決定すると、例えば図１２に示すように参照画像データである治療前のＵＳ画像データ１９−１を移動させず、治療後のＵＳ画像データ１９−２を例えば各移動方向ｆ_１、ｆ_２にそれぞれ平行移動し、かつ回転方向ｆ_３方向に回転させる。これにより、位置合わせ部１６は、例えば図９に示すように治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とを位置合わせする。この位置合わせ部１６は、最適化が終了した時点で、表示部１７に対して位置合わせ結果を表示する指令を送出する。

次に、表示部１７は、位置合わせ部１６により位置合わせした例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との２つのボリュームデータをディスプレイ１１に表示する。この表示部１７は、ディスプレイ１１に表示される位置合わせ後の複数の断面画像上、例えば図９に示すように治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との各断面画像上に例えば格子状のスケール３４を表示する。又、表示部１７は、ディスプレイ１１に表示される例えば治療前のＵＳ画像データ１９−１上の点と、この点に対応する治療後のＵＳ画像データ１９−２上の点とにそれぞれ例えば図１０に示すように「＋」形状の各カーソル３５ａ、３５ｂを表示する。又、表示部１７は、図１１に示すようにＵＳ画像データ１９−１とＵＳ画像データ１９−２とを合成して表示する。この場合、表示部１７は、ＵＳ画像データ１９−１とＵＳ画像データ１９−２との境界領域３６を検出し、この境界領域３６の画素値を複数のボリュームデータ、例えばＵＳ画像データ１９−１とＵＳ画像データ１９−２とから決定し、境界領域３６においてそれぞれの領域に近いほど大きな重みで２つのＵＳ画像データ１９−１とＵＳ画像データ１９−２との間を補間する。

次に、画像保存部１８は、例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とを画像データベース９に保存する。このとき、画像保存部１８は、これら治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とを画像データベース９に保存すると共に、これら治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とのデータ名、ミラーやリバースの有無、統合画素サイズ、画像サイズ基準データ名、ボリュームデータ相対位置情報等を画像データベース９に保存する。なお、画像データの保存は、例えば図３に示すようにディスプレイ１１に表示されている画像保存ボタン３７を医師等のオペレータが操作部１２のマウス等をクリック操作することにより行われる。

医師等のオペレータが操作部１２のマウス等を操作して再現ボタン３８をクリックすると、画像保存部１８は、画像データベース９に保存されている位置合わせされた複数の画像データ、例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データとを読み出し、これら参照画像データと対象画像データとに対してミラーやリバース、画素サイズ調整等の必要な処理を実行し、保存時の相対位置を再現する。

一方、例えば治療前のＵＳ画像データ１９−１の参照画像データＲと治療後のＵＳ画像データ１９−２等の対象画像データＦとは、手術前と手術後とにおいて患部等の被検体に超音波プローブを当てて超音波画像を取得する場合、被検体の体位の状態、例えば体位を横方向にしたときのねじれの度合いを同一にすることが難しく、かつ超音波プローブを被検体に当てる方向も同一にすることが難しいことから図８に示すように参照画像データＲと対象画像データＦとで位置合わせしても重ならない領域Ｇが生じる。

この場合、位置合わせ部１６は、参照画像データＲと対象画像データＦとの間、例えば治療前のＵＳ画像データ１９−１等の参照画像データＲと治療後のＵＳ画像データ１９−２等の対象画像データＦとの間の相互情報量Ｔを推定する際、参照画像データＲと対象画像データＦとで重ならない領域が生じると、この重ならない領域のサイズに応じて相互情報量Ｔを補正する。このとき、位置合わせ部１６は、上記式（１２）を算出して参照画像データＲと対象画像データＦとの相互情報量Ｔを求め、この相互情報量Ｔにおいてジョイント・ヒストグラムＪのエントロピーＨ（Ｒ，Ｆ）に対して重ならない領域のサイズに応じた補正Ｍを行う。これにより、参照画像データＲと対象画像データＦとで位置合わせしても重ならない領域Ｇが生じても、参照画像データＲと対象画像データＦとを位置合わせできる。

このように上記一実施の形態によれば、例えば治療前のＵＳ画像データ１９−１等の参照画像データＲと治療後のＵＳ画像データ１９−２等の対象画像データＦとにおいて解剖学的に特徴的な画像を有するところに位置合わせ候補の各小領域Ｅ_１、Ｅ_２を設定し、これら小領域Ｅ_１、Ｅ_２間の画像類似度を求め、この画像類似度が最も大きくなるように治療前のＵＳ画像データ１９−１等の参照画像データＲと治療後のＵＳ画像データ１９−２等の対象画像データＦとの位置合わせを行う。これにより、ＵＳ画像データ同士やＵＳ画像データと他のモダリティの画像データとの位置合わせが短時間で正確にできる。

例えば超音波穿刺による肝癌の治療判定では、最低でも例えば治療前のＵＳ画像データと、治療後のＵＳ画像データ及びＵＳ造影画像データとを比較参照することを要する。このうち治療前のＵＳ画像データと治療後のＵＳ画像データとでは、それぞれ撮影したときの患者等の被検体の体位の違いや、造影の有無の相違があり、さらには治療や病状の進行による被検体の形態そのものの変化がある。これらの要因により治療前と治療後との各ＵＳ画像データを空間的位置合わせすることが必要になる。なお、治療前のＵＳ画像データと治療後のＵＳ造影画像データ、又は他のモダリティのＸ線ＣＴ画像データとを比較参照するときもこれら画像データ間を空間的位置合わせすることが必要になる。このようなＵＳ画像データ同士やＵＳ画像データと他のモダリティの画像データ、例えばＸ線ＣＴ画像データとの位置合わせでも短時間で正確にできる。

しかるに、ＵＳ診断装置３、Ｘ線ＣＴ装置４、ＭＲ装置５等のマルチモダリティで利用ができる。
又、領域設定部１５により治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とをディスプレイ１１上でそれぞれＸ方向、Ｙ方向、Ｚ方向を中心軸として回転させ、又Ｘ方向、Ｙ方向、Ｚ方向にそれぞれ平行移動させて初期設定するので、厳密な初期位置設定が不要である。
患部等の被検体に体位の捩れ等により変形により、画像データ中に消失があってもよく、又、数多くの画像データの位置合わせする際に全てに共通な特徴部分を必要としない。

位置合わせ候補の各小領域Ｅ_１、Ｅ_２間の画像類似度を求め、この画像類似度が最も大きくなるように治療前のＵＳ画像データ１９−１等の参照画像データＲと治療後のＵＳ画像データ１９−２等の対象画像データＦとを位置合わせするので、このときのＣＰＵ等の主制御部６による演算処理は、各小領域Ｅ_１、Ｅ_２内の少ないデータだけでよく、処理速度を大幅に改善できる。すなわち、治療前のＵＳ画像データ１９−１及び治療後のＵＳ画像データ１９−２の全体のデータを演算処理しないので、処理速度を高速化できる。例えば、参照画像データＲ上に指定された位置を中心に、経験的に予め決めておいた解剖学的な特徴を反映する小さな小領域Ｅ_１、例えば、肝臓の血管の場合であれば、例えば一辺２ｃｍ程度の立方体、ボクセルの大きさが０．５ｍｍ^３であれば４０×４０×４０ボクセルの領域を設定し、これを基準画像として用いる。なお、位置合わせ候補の各小領域Ｅ_１、Ｅ_２を小さな領域に設定するので、位置合わせに用いる空間的な変換は剛体変形と仮定できる。

医師等のオペレータは、マニュアルにより操作部１２のマウスをクリック操作等することにより、例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２とにおいて同一の解剖学的特徴点を有する小領域Ｅ_１、Ｅ_２が認められる断面画像データをラフに選択できる。
さらに、領域設定部１５は、例えば図２に示す治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との画像類似度に基づいて解剖学的同一点である位置合わせ候補の各小領域Ｅ_１、Ｅ_２をそれぞれ自動設定できる。

領域設定部１５は、医師等のオペレータによる操作部１２に対する操作を受け、位置合わせ候補の各小領域Ｅ_１、Ｅ_２のサイズが例えば患者等の被検体の実寸で常に一定になるように対象画像データの画素サイズに応じて各小領域Ｅ_１、Ｅ_２のサイズを調整できる。又、領域設定部１５は、医師等のオペレータによる操作部１２に対する操作を受け、位置合わせ候補の各小領域Ｅ_１、Ｅ_２の位置を移動しないで、これら小領域Ｅ_１、Ｅ_２のサイズをマニュアルにより変更できる。領域設定部１５は、医師等のオペレータによる操作部１２に対する操作を受け、位置合わせ候補の各小領域Ｅ_１、Ｅ_２のサイズを変更しないで、これら小領域Ｅ_１、Ｅ_２の位置を変更できる。

探索を始める前に初期位置の周りを適当な間隔でしらみつぶしに調べ、画像類似度が最大になる位置を初期位置として最適化するオプションを持つ。これにより、位置合わせを行う２つの三次元画像データ、例えば治療前のＵＳ画像データ１９−１と治療後のＵＳ画像データ１９−２との相対差が比較的大きな場合を考慮して、治療後のＵＳ画像データ１９−２等の対象画像データ上に指定された位置を中心に、その位置合わせパラメータ、例えば三軸の回転と三軸の平行移動の都合６個のパラメータに関し、限定した範囲について、例えば回転については±３０度の範囲を１０度ごと、平行移動であれば±３０ピクセルの範囲を１０ピクセルごとに、参照画像データと対象画像データとの間の画像類似度を計算する。このような場合、例えば７＾６個の探索を行い、最も類似度の高い相対位置を初期値とする。小さな比較領域が持つ平行移動量の変位に対して不利な点を、初期位置の周りでラフに探索することによりキャプチャーレンジ内に絞り込むことが出来る。

画像保存部１８は、位置合わせされた複数の画像データ、例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データとを画像データベース９に保存する。このとき、画像保存部１８は、複数の画像データの保存と共に、これら画像データのデータ名、ミラーやリバースの有無、統合画素サイズ、画像サイズ基準データ名、ボリュームデータ相対位置情報等を画像データベース９に保存する。この状態で、医師等のオペレータが操作部１２のマウス等を操作して再現ボタン３８をクリックすると、画像保存部１８は、画像データベース９に保存されている位置合わせされた複数の画像データ、例えば治療前のＵＳ画像データ１９−１等の参照画像データと治療後のＵＳ画像データ１９−２等の対象画像データとを読み出し、これら参照画像データと対象画像データとに対してミラーやリバース、画素サイズ調整等の必要な処理を実行し、保存時の相対位置を再現できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明に係る画像位置合わせ装置の一実施の形態を示すブロック構成図。同装置におけるディスプレイに表示された治療前後の各ＵＳ画像データを示す図。同装置におけるディスプレイに表示された治療前と治療後の各ＵＳ画像データと治療前のＸ線ＣＴ画像データとＵＳ造影画像データとの表示例を示す図。同装置におけるディスプレイに表示された治療前と治療後の各ＵＳ画像データに設定された位置合わせ候補の各領域を示す図。同装置における領域設定部により設定される位置合わせ候補の小領域の形状の一例を示す図。同装置における位置合わせ部による参照画像データと対象画像データとの位置合わせに用いるジョイント・ヒストグラムを示す図。同装置における位置合わせ部による視野外が存在する参照画像データと対象画像データとの位置合わせを示す概念図。同装置における位置合わせ部による参照画像データと対象画像データとで重ならない領域が生じたときの位置合わせを示す図。同装置における表示部によりスケールを表示したＵＳ画像データ一例を示す図。同装置における表示部によりカーソルを表示したＵＳ画像データ一例を示す図。同装置における表示部により各ＵＳ画像データを合成した表示例を示す図。同装置における位置合わせ部による治療前のＵＳ画像データと治療後のＵＳ画像データとの位置合わせ動作を示す図。

符号の説明

１：画像位置合わせ装置、２：ネットワーク、３：ＵＳ診断装置、４：Ｘ線ＣＴ装置、５：ＭＲ装置、６：主制御部、７：プログラムメモリ、８：データメモリ、９：画像データベース、１０：伝送部、１１：ディスプレイ、１２：操作部、１３：データ読出部、１４：データ属性変更部、１５：領域設定部、１６：位置合わせ部、１７：表示部、１８：画像保存部、１９−１：治療前のＵＳ画像データ、１９−２：治療後のＵＳ画像データ、２０：治療前のＸ線ＣＴ画像データ、２１：ＵＳ造影画像データ、２２：画像判別データ、２３：サイズ調整ボタン、２４：スケール、２５：第１のミラー動作部の設定ボタン、２６：第２のミラー動作部の設定ボタン、２７：リバース部の設定ボタン、２８：プリセットボタン、２９：第１の位置合わせボタン、３０：第２の位置合わせボタン、３１：やり直しスイッチ、３２：第３の位置合わせスイッチ、３３：位置合わせ統合スイッチ、３４：スケール、３５ａ，３５ｂ：カーソル、３６：境界領域、３７：画像保存ボタン、３８：再現ボタン、Ｅ_１，Ｅ_２：位置合わせ候補の小領域。

Claims

三次元の参照画像データと、前記参照画像データと同一又は異なるモダリティにより取得された三次元の対象画像データとを読み出すデータ読出部と、
前記データ読出部により読み出された前記参照画像データと前記対象画像データとに対して、少なくとも回転、平行移動に関する属性を変更してディスプレイに表示するデータ属性変更部と、
特徴点を選択するに要するサイズに形成された位置合わせ候補の複数の領域を、表示された前記参照画像データ上と前記対象画像データ上とにおいてそれぞれに設定する領域設定部と、
前記領域設定部により設定された前記複数の領域について前記参照画像データと前記対象画像データとの間の相互情報量又はエントロピーに基づく画像類似度を求め、前記画像類似度が最も大きくなるように前記参照画像データと前記対象画像データとの位置合わせを行うことにより、前記参照画像データと前記対象画像データとの位置合わせを行う位置合わせ部と、
前記位置合わせ部により位置合わせした前記参照画像データと前記対象画像データとをディスプレイに表示する表示部と、
を具備し、
前記参照画像データと前記対象画像データとのうち少なくとも一方は超音波画像データであり、
前記位置合わせ部は、前記参照画像データ上に設定した前記位置合わせ候補の主となる主領域と補助となる複数の補助領域と、これら主領域と複数の補助領域とに対応する前記対象画像データ上の各領域との間の前記各画像類似度をそれぞれ求め、これら画像類似度を統合した指標により前記参照画像データと前記対象画像データとの相対位置を決定することを特徴とする画像位置合わせ装置。
前記データ読出部は、互いに画素サイズの異なる前記参照画像データと前記対象画像データとを読み出すことを特徴とする請求項１記載の画像位置合わせ装置。
前記データ属性変更部は、前記参照画像データと前記対象画像データとの少なくとも空間的な方向を変更することを特徴とする請求項１記載の画像位置合わせ装置。
前記領域設定部は、前記位置合わせ候補の前記領域のサイズを前記対象画像データの画素サイズに応じて調整することを特徴とする請求項１記載の画像位置合わせ装置。
前記領域設定部は、前記参照画像データと前記対象画像データとの画素の頻度分布から求められるエントロピーを最大にするように前記領域のサイズを調整することを特徴とする請求項４記載の画像位置合わせ装置。
前記領域設定部は、前記位置合わせ候補の前記領域の中心と境界とを前記ディスプレイ上に表示することを特徴とする請求項１記載の画像位置合わせ装置。
前記位置合わせ部は、前記画像類似度として前記参照画像データと前記対象画像データとの間の相互情報量又はエントロピーを推定し、最適化処理を行って相互情報量又はエントロピーの極値に基づいて前記参照画像データと前記対象画像データとの相対位置を決定することを特徴とする請求項１記載の画像位置合わせ装置。
前記位置合わせ部は、前記参照画像データと前記対象画像データとの相対位置がずれていると、再度、前記画像類似度として前記参照画像データと前記対象画像データとの間の相互情報量又はエントロピーを推定し、最適化処理を行って相互情報量又はエントロピーの極値に基づいて前記参照画像データと前記対象画像データとの相対位置を決定することを特徴とする請求項７記載の画像位置合わせ装置。
前記位置合わせ部は、前記最適化処理を行う前に、前記参照画像データ上に設定した前記位置合わせ候補の前記領域の周囲の複数の領域に対する前記各画像類似度を求め、これら画像類似度のうち最も高い前記画像類似度に対応する前記領域を探索し、この探索された前記領域について前記最適化処理を行うことを特徴とする請求項７記載の画像位置合わせ装置。
前記位置合わせ部は、先ず、前記主領域のみを用い、次に、ある程度収束した時点で統合した前記指標を用いて前記参照画像データと前記対象画像データとの相対位置を決定することを特徴とする請求項１記載の画像位置合わせ装置。