JP4917733B2 - 尤度最大化を利用した画像位置合わせシステム及び方法 - Google Patents

尤度最大化を利用した画像位置合わせシステム及び方法 Download PDF

Info

Publication number
JP4917733B2
JP4917733B2 JP2002527450A JP2002527450A JP4917733B2 JP 4917733 B2 JP4917733 B2 JP 4917733B2 JP 2002527450 A JP2002527450 A JP 2002527450A JP 2002527450 A JP2002527450 A JP 2002527450A JP 4917733 B2 JP4917733 B2 JP 4917733B2
Authority
JP
Japan
Prior art keywords
image
likelihood
voxels
probability
alignment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002527450A
Other languages
English (en)
Other versions
JP2004508856A (ja
Inventor
ジュ,ヤン−ミン
エム コチョフ,スティーヴン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2004508856A publication Critical patent/JP2004508856A/ja
Application granted granted Critical
Publication of JP4917733B2 publication Critical patent/JP4917733B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

【0001】
[発明の分野]
本発明は画像処理システム及び方法に関し、特に、2枚以上の画像を1枚の合成画像に結合する画像登録システムに関する。本発明は医療用画像化の分野に特に応用されるが、本発明は、複数の画像が相互に関係し、1枚の合成画像に結合されるような、その他タイプの画像化システムにも応用できることは容易に理解されるであろう。
[発明の背景]
ここで「画像」という用語は、特に断らない限り3次元(3D)の立体的画像を指す。医学分野においては、多様な画像化方式によって立体画像を得ている。例えば、磁気共鳴像(MRI)、X線コンピュータ断層撮影法(CT)、陽電子射出断層撮影法(PET)及び単光子射出断層撮影法(SPECT)などの核画像法、超音波などである。このように得られた立体画像は、ボクセル(voxel)値の配列として、通常、コンピュータのメモリなどにデジタル的に保存される。各ボクセル(voxel)は3D空間(例えばX、Y、Z座標)の位置と結びついており、色値が、典型的にはグレイスケール強度値が割り当てられている。
画像融合、あるいは複数の関連した画像のデータを集積した合成画像を形成するためのそれら画像の結合を病院環境で行うことが所望されている。多くの場合、合成した画像を見ることで、画像を別々に見ていたのでは得られない識見を診断者は得ることができる。異なる画像化方式は相補的なので、複数方式の画像融合がしばしば役に立つ。例えば、コンピュータ断層撮影法(CT)と磁気共鳴(MR)像からは基本的に解剖学的な構造上の情報が得られるのに対し、単光子射出断層撮影法(SPECT)及び陽電子射出断層撮影法(PET)からは機能上かつ代謝上の情報が得られる。機能上または代謝上の画像と、構造上または解剖学上の画像の組み合わせによって、機能上の画像の位置が特定でき、診断の精度が向上する。例えば、腫瘍学の分野では、機能上の画像における局部限定が正確に位置づけできれば、臨床医が病変の進行や治療の効果を評価することができる。こういった診断上の研究は、外科的な、あるいは目標細胞を取り囲む健康な細胞への影響を最小限に抑えなければならない放射線療法的な治療計画にも使用される。同じ方式で得られた画像を合成したい場合もある。例えば、MR血管造影像、コントラストを強調したMR像、機能的MRI像(fMRI)などの複数のMRスキャンの結果を解剖学的MR像などに合成することが所望される。
【0002】
複数の画像から意味のある合成画像を形成するには、画像が適当に位置合わせされることが重要である。画像位置合わせによって画像があいまいさ無く結合できるよう、空間的な位置合わせをする必要がある。多数の画像位置合わせ技術が知られている。
【0003】
ある画像位置合わせ技術では、その画像に表れている被写体の構造に詳しい専門家が、位置合わせする画像それぞれに目印をつける。2枚の画像は、あらかじめ分かっている目印間の関係に基づいて位置合わせされる。この方法による画像位置合わせでは、位置合わせ精度が選択された目印の数と位置によって制限されてしまう。目印の数が少な過ぎると位置合わせが不正確になる。目印の数が多くても必ずしも位置合わせが正確となるわけではなく、位置合わせに要する計算を複雑にするだけである。また、手作業の部分で時間がかかる。さらに、すべての画像で適当な構造上の目印を見出せるわけでもない。
【0004】
最近、2種類の異なった画像化方式が1つの画像化装置に結合された。この様に画像位置合わせにおいてハードウェアを結合する手法は、コスト及び論理的な理由から、画像位置合わせの問題への最適な解答ではない。多くの場合、ハードウェアによる位置合わせは現実的ではなく、不可能でさえあり、ソフトウェアによる位置合わせ技術に依存せざるを得ない。例えば、ハードウェア手法は、例えば、時間的な治療効果を監視するとか、被験者間あるいは地域的な比較のために、異なった時間または異なった被験者から得られた画像を位置合わせすることには使えない。ソフトウェア位置合わせは、たとえハードウェアに基づく手法が採用されたとしても必要となるだろう。例えば、PETやSPECTの透過及び射出スキャンなど、同一の機械で順番にスキャンしたものの動き補正や、既定の治療計画に関して患者の位置決めをするには、ソフトウェア位置合わせが必要となろう。
【0005】
近年、全ボリュームベースのアルゴリズムが、データの滅失に依存せず、セグメンテーション不要で、ユーザの関与がほとんど、または完全に不要であるという理由で、広く使われるようになった。さらに重要なことは、これらアルゴリズムが完全に自動化でき、位置合わせ結果を数量的に評価できることである。エントロピー・ベースのアルゴリズム、特に相互情報アプローチは、全ボリュームベースのアルゴリズム中、最も卓越したものである。これらアルゴリズムのほとんどは、2つの方式で得られた画像データを関係付ける目標関数を最適化する。エントロピーあるいは相互情報テクニックは一方向では制限されているが、別方向では制限されていない。例えば、相互情報は下限が0だが、上限は実装によって決まり、例えば、ビン(bin)の数で決まる。同様に、エントロピーは下限が0だが、上限は実装によって決まる。結果として、画像がうまく位置合わせできる程度を知ることは困難である。
【0006】
従って、本発明は、上記その他の問題を解決する新規で改良された画像処理システム及び方法を提供することを意図するものである。
[発明の概要]
第1の態様では、本発明は、グレイスケールボクセル(voxel)値の3次元配列から成る第1と第2の立体画像を位置合わせする方法を提供する。変異確率は、前記第1の画像のボクセル(voxel)値と前記第2の画像の空間的に対応するボクセル(voxel)値から成るボクセル(voxel)値の複数の整列したペアに対して画定される。変異確率は位置合わせされた画像の統計から得るか、現在のデータの集まりから計算される。各変異確率は一方の画像のボクセル(voxel)値が他方の画像の空間的に対応するボクセル(voxel)値に対応する尤度に関係し、画像の選択された幾何学的関係に基づく。第1の画像に対して第2の画像の幾何学的関係を画定する第1の変換が選択され、変異確率を使って整列されたボクセル(voxel)値のペアの所定の集まりについて、尤度の計量が計算される。尤度の計量は、第2の画像が与えられた時に第1の画像が得られる確率と、第1の画像が与えられた時に第2の画像が得られる確率を表す。第1の画像に対して第2の画像の幾何学的関係を画定する異なる変換が選択され、尤度の最適な計量を与える最適な変換が計算されるまで、処理が繰り返される。
【0007】
本発明の別の態様によれば、第1の立体画像と第2の立体画像を位置合わせする画像処理システムは、位置合わせプロセッサ及び位置合わせされる複数の立体画像表示を記憶する付属メモリが設けられ、前記最適な変換を表すパラメータを記憶するための前記位置合わせプロセッサに付随したメモリが設けられ、前記第1と第2の画像の合成画像表示を形成するための表示システムが設けられる。特に、前記位置合わせプロセッサは、前記ボクセル(voxel)値の複数の整列したペアの変異確率を画像の選択された幾何学的関係に基づいて決定し、前記ボクセル(voxel)値の整列した各ペアは前記第1の画像のボクセル(voxel)値と前記第2の空間的に対応したボクセル(voxel)値から成る。変異確率は前記第1の画像のボクセル(voxel)値が前記第2の画像の空間的に対応したボクセル(voxel)値に対応する尤度に関係する。前記位置合わせプロセッサは前記第1の画像に対する前記第2の画像の幾何学的関係を画定する第1の変換選択し、前記変異確率を使って整列したボクセル(voxel)値の所定の集まりについて前記尤度の計量を計算し、前記尤度の計量は前記第2の画像が与えられた時に第1の画像を得る前記確率及びその逆を表す。前記位置合わせプロセッサは異なる変換を選択し、前記尤度の最適な計量を与える最適な変換が計算されるまで処理を繰り返す。
【0008】
本発明の利点はデータを減少せず、セグメンテーションやユーザによる操作を必要としない点である。
【0009】
本発明の利点は確率解釈に基づく位置合わせ方法を与えることで、それは理解しやすい。
【0010】
本発明の別の利点は位置合わせが対称的であることで、即ち第1の画像を第2の画像に位置合わせされたり、または第2の画像が第1の画像に位置合わせされたりするのではなく、2枚の画像がお互いに位置合わせされるのである。
【0011】
本発明の別の利点は、本発明がセグメンテーションを容易に取り入れられ、それにより確率的関係が立体データの一部を使って評価可能であり、その立体データの一部は例えば、立体の空間的セグメンテーションあるいはボクセル(voxel)値に基づくセグメンテーションである。立体の一部の重要性を強調することによって、場合によってはよりよい位置合わせ結果が得られることもある。こういった柔軟性は全ボリュームをベースにした従来技術では得られなかったものである。
【0012】
本発明の更なる利点と利益は、当業者が以下の好ましい実施形態の詳細な説明を読んで理解すれば明らかと成ろう。
[発明の実施の形態]
一般的に2枚の位置合わせされた画像のボクセル(voxel)値は確率的に関係しており、そのボクセル(voxel)値が同じ方式で得られたものか別の方式で得られたものであるかにはよらない。この確率的関係は実験的な観察に基づいて得られるし、立体データに基づいて首尾一貫して評価することができる。この確率的関係に基づいて、ある立体画像が与えられた時に、別の立体画像がある尤度を計算できる。この尤度が最大値をとる時2枚の画像を位置合わせすべきと考える。2枚の画像が位置合わせされると、正規化された最大の尤度は確率解釈が可能で、従来技術の相互情報法やエントロピー法よりずっと分かりやすい。計算された尤度の下限は0であり、上限は1となる。
【0013】
図1を参照するに、本発明による画像処理システム100は、立体画像データを取得し記憶するための第1の画像ソース110と第2の画像ソース112を含む。第1と第2の画像ソース110と112は、例えばMRスキャナ、X線CTスキャナ、核カメラ(PETやSPECTスキャナ等)、超音波スキャナなどの診断用画像スキャナであればよい。第1と第2の画像ソース110と112は、同じ画像方式でも異なる画像方式でもよく、異なるスキャナハードウェアで得られたものでも同一のスキャナハードウェアで得られたものであってもよい。例えば、第1と第2の画像ソース110と112は、複数の画像モードを含む1個の装置でもよい。また、第1と第2の画像ソース110と112は、異なるタイミングで複数の画像を取得する1個の装置でもよい。
【0014】
ある実施形態では、第1と第2の画像ソース110と112は、位置合わせする画像を生成するのに適切なものとして画像診断に関する当業者に知られているセンサー、データ取得回路、画像再構成回路を含む。しかし、別の意図された実施形態においては、画像ソース110と112のいずれかまたは両方が、前もって取得された画像であり、例えば、電子的メモリまたはコンピュータで読取可能な記憶媒体に保存された画像表示であり、例えば、コンピュータメモリ、ランダムアクセスメモリ(RAM)、ディスク装置、テープ装置、その他の磁気的または光学的媒体、コンピュータネットワーク上の記憶場所などに保存される。それゆえ、本発明の画像処理システムは位置合わせする画像の一方または両方を取得したスキャナハードウェアに直接インターフェイスされるが、必ずしも直接インターフェイスされている必要はない。画像処理装置100は画像ソース110と112からの画像データを記憶する画像メモリ120をさらに含む。位置合わせプロセッサ130は画像メモリ120から2枚の立体画像を読み込み、尤度最大化アルゴリズムを使って画像を位置合わせし、その2枚の画像に関する位置合わせ変換行列を作る。
【0015】
ここで「尤度」とは、簡潔に言えば確率関係を指し、換言すると、画像fが与えられた時に画像gを得て、画像gが与えられた時に画像fを得る確率である。この尤度は複数の位置合わせまたは変換パラメータから計算可能で、尤度が最大になるように位置合わせパラメータを決定するため繰返し最適化される。従来の最適化技術を使用でき、例えば、Press et al., Numerical Recipes in C: The art of Scientific Computing, (2nd ed.), Cambridge: Cambridge Univ. Press, 1999, Chapter 10に説明されている最適化技術を使用が使用される。最適化された位置合わせ変換行列はメモリ150に記憶される。
【0016】
ある実施形態では、知識ベース実装が使われ、オプションのメモリ140が設けられ、画像のボクセル(voxel)ペア間の変異確率を記憶する。変異確率統計は以前の経験に基づくもので、例えば、2枚の画像の以前の位置合わせに基づくもので、尤度の計算に使用できる。2枚の画像の相対的な方向と位置を変更でき、ボクセル(voxel)ペアに基づいて尤度を計算できる。尤度を繰返し最適化することにより、例えば従来の最適化技術を使って最適化することにより、2枚の画像の最適な位置合わせを決定することができる。
【0017】
別の実施形態では、自己矛盾のない実装が施され、変異確率についてあらかじめ知識が無くともよい。このアプローチでは、現在の位置合わせが変異確率を評価するのに使われ、この評価により尤度が計算される。2枚の画像の相対的な方向と位置を変更でき、グレイスケールペアに基づいて、新しく変異確率を計算し、尤度を計算することができる。従来の最適化技術を使って尤度を繰返し最適化して、最適な位置合わせを決定することができる。
【0018】
随意にセグメンテーションを制限することができ、例えばユーザが入力できる。セグメンテーション制限によって選択したボクセル(voxel)について尤度を計算できる。ボクセル(voxel)は、例えば、画像の1個以上の部分ボリュームに限定できるし、ボクセル(voxel)強度値の一定の範囲に限定することもできる。その他のボクセル(voxel)の性質によるセグメンテーションも考えられる。
【0019】
位置合わせ変換行列は、表示あるいはビデオプロセッサ160で使用され、画像メモリ120から読み出した2枚の画像を調整し、コンピュータその他の人間が読み取れる表示装置162上に位置合わせ変換行列により規定された合成画像としてそれらを表示する。標準的なデータ処理とプログラミングの技術を使って、画像とそれに付随する行列、及び以前の変異確率統計やセグメンテーション制限を、インデックス、ポインタ等とともに記憶する。
【0020】
変換行列を記憶する代わりに、あるいはそれに加えて、一度最適な位置合わせを決定したら、2枚の画像から成る合成画像を記憶する。しかし、一般的には変換行列を記憶する方が好まれる。一方の画像を、位置合わせパラメータに基づいて、他方の画像の空間にフォーマットし直すこともできる。
【0021】
画像合成以外の目的を持った画像位置合わせも考えられる。例えば、この教示による画像位置合わせは、複数の部分的に重複した画像に施すことができ、それらからより大きな1枚のボリューム画像を作成することができる。
【0022】
ある実施形態では、位置合わせプロセッサ130と表示プロセッサ160は、従来の表示装置と組み合わせられた従来のコンピュータのソフトウェアとして実装される。
【0023】
図2を参照するに、位置合わせプロセッサ130のモジュール図を示している。図1に示したように、位置合わせされる第1と第2の画像110と112が位置合わせプロセッサ130に入力される。知識ベース実装の場合、変異確率統計140が入力される。セグメンテーション制限142も、もしあれば入力される。位置合わせパラメータ150、の集まりが位置合わせプロセッサ130から出力されるが、位置合わせパラメータの集まりとは、即ち、変換行列の要素であり、一方の画像に適用した時、固定された座標軸系に対してその画像を変換し、2枚の画像を調整するためのものである。
【0024】
位置合わせプロセッサ130はフレームメモリ132と134、尤度計算機136、最適化プロセッサ138を含む。尤度計算機136と最適化プロセッサ138は、集積処理システムのモジュールでよく、あるいは、複数のプロセッサに分散し並行処理の利益を享受できるものでもよい。動作においては、位置合わせプロセッサ130はフレームメモリ132と134の2枚の画像を読み取り、現在の位置合わせに関する尤度値を計算する。最適化プロセッサ138はその後、フレームメモリ134内で画像を変換し、尤度計算機136が尤度を再計算する。尤度計算のプロセスについては、図3に関連して以下に詳述する。尤度計算機136で計算される尤度地が最適になるまでステップが繰り返される。変換パラメータをメモリ150にアウトプットするか、ユーザに表示する。
【0025】
もしセグメンテーション制限が入力されていれば、注目したボクセル(voxel)のみ、即ち、1以上の特定された部分ボリューム内のボクセル(voxel)、または特定範囲の値を持ったボクセル(voxel)が、尤度計算に使用され、特定された部分ボリューム外、あるいは特定範囲制限外のボクセル(voxel)は無視される。
【0026】
図3に2枚の画像を組み合わせる典型的なプロセス300を図示する。プロセス300は、統合されたスキャナ/画像処理システムの一部分としてソフトウェアに実装することができ、あるいは、パーソナルコンピュータ、ワークステーション、その他の情報処理システムなどのスタンドアロンコンピュータに実装される、分離した画像処理システムでもよい。2枚の画像を組み合わせることを引例として説明しているが、そのプロセスは2枚以上の画像を組み合わせることにも容易に適用可能であり、例えば、この教示によるプロセスをすべての画像を位置合わせするまで順々に繰り返すこともできる。
【0027】
位置合わせする2枚の画像を取得する(ステップ304と308)。画像は同一形式でもよいし、別形式でもよい。尤度の値を次のように計算する。2枚の画像f(x, y, z)とg(x, y, z)はグレイスケール(u1, u2, ..., un)と(v1, v2, ..., vn)を持つと仮定する。
【0028】
これらグレイスケールの頻度はそれぞれ(p1, p2, ..., pn)と(q1, q2, ..., qn)である。すると、
【0029】
【数1】
Figure 0004917733
単一形式の場合は雑音や画像化された対象の変化によって、また複数形式の場合は異なる形式が持つ内在的な特性によって、画像fのグレイスケール値uiは画像gのグレイスケール値vj、ただしj=1, 2, ..., mと対応する。異なる形式の画像中のボクセル(voxel)値の間には具体的な関係は仮定しないし、形式の画像内容にはいかなる制限もない。むしろ、それらの関係は純粋に統計的に記述され、知識に基づくか自己矛盾がない方法でデータだけから予測される。
【0030】
ボクセル(voxel)uiのvjに対する変異確率をwijとする。すると、
【0031】
【数2】
Figure 0004917733
この時、pとqには次の関係が成り立つ。
【0032】
【数3】
Figure 0004917733
また、
【0033】
【数4】
Figure 0004917733
が成り立つ。
【0034】
画像fと変異確率wijが与えられた時、画像gを得る条件付尤度は、
【0035】
【数5】
Figure 0004917733
ここで、積は重なり合ったボリューム全体で計算してもよいし、その部分ボリュームで計算してもよく、その場合選択された(ui, vj)のペアのみ、または選択された領域/ボリュームの(ui, vj)ペアのみが使われる。wij 1だから、この積はゼロに非常に近い値となる。計算を簡単にするため、これの対数値を使った方がよい。対数尤度は、
【0036】
【数6】
Figure 0004917733
対数尤度はある条件を満たす時最大値を取り、その条件の下では尤度も最大値を取る。上に定義した対数尤度はグレイ値ペアの数に依存する。この依存性を避けるため、正規化された対数尤度を使うほうが好ましく、
【0037】
【数7】
Figure 0004917733
ここにNはグレイ値ペアの数である。Nは重なり合ったボリューム中のすべてのペアが対数尤度の計算に使われるとすると、重なり合ったボリューム中のボクセル(voxel)数の合計である。
【0038】
gからfへのボクセル(voxel)変異を考えると、
【外1】
Figure 0004917733
を得る。この2個の対数尤度を足し合わせると(即ち、尤度を掛け合わせると)、
【0039】
【数8】
Figure 0004917733
最適な画像位置合わせを見つけるため、複数の方向について尤度を繰返し計算する最適化アルゴリズムを使用し、上に定義した対数尤度を最大化する変換を見つける。
【0040】
特筆すべきことは、対数尤度を2つ足し合わせると、2枚の画像に関して画像位置合わせが対称的になることで、即ち、2枚の画像の順序は問題とならない。さらに、対数尤度を足し合わせると、目標機能の取り込み範囲が増大する。もし一方が特定の位置で局所的に最大値を取るなら、そして、もう一方が同じ位置で局所的に最大値を取らないならば、最適化プロセスがその位置で終了することはない。
【0041】
もし2枚の立体画像が位置合わせされていれば、正規化された尤度は確率的な解釈をすることができる。正規化された尤度は第1の画像中のボクセル(voxel)が第2の画像中のボクセル(voxel)に対応し、第2の画像中のボクセル(voxel)が第1の画像中のボクセル(voxel)に対応する平均的な確率である。尤度は本質的に確率なので、その範囲は0から1の範囲であり、対数尤度の上限値は0である。最適化された尤度を見ると、位置合わせ品質の数量的な評価が可能である。画像が自分自身に位置合わせされれば、正規化された尤度は1となる。さすれば、形式内の位置合わせでは形式間の位置合わせの場合と比べて正規化された尤度が高く(1に近く)なる。
【0042】
上述の通り、尤度の計算には、ある画像のボクセル(voxel)値の他の画像のボクセル(voxel)値に対する変異確率の知識が必要である。この値は2通りの方法で導き出すことができる。第1の実現は知識ベースの、即ち、変異確率に関する既知の知識に基づく。第2の実現は自己矛盾のないアプローチであり、既知の知識を前提としない。ステップ312において、尤度計算に使える画像に関する変異確率統計が既知か判断する。もし既知なら、処理はステップ316(知識ベースアプローチ)に進む。もし既知でなければ、処理は340(自己矛盾のないアプローチ)。
【0043】
ステップ316において、以前の経験に基づき、グレイスケールペア(ui, vj), i=1, 2, ..., n; j=1, 2, ..., m間の変異確率の統計、または確率密度関数を有している。注目しているボクセル(voxel)ペアはスキャンされ、グレイスケールペア(ui, vj)及び既知の変異確率に基づいて、各ボクセル(voxel)ペアの尤度がステップ320で計算される。ステップ324において、上に説明したように、対数尤度が計算される。対数尤度は複数の異なる位置合わせに対して計算され、その計算は、対数尤度が最大化され、よって2枚の画像の最適な位置合わせが見つかるまで続く。特に、最適化アルゴリズムがステップ328で使われ、対数尤度が最大値になったか判断する。もし尤度がまだ最大化されていなければ、新しい変換が選択され(ステップ332)、2枚の画像の相対的な方向と位置が、最適化アルゴリズムによって変更され(ステップ336)、処理はステップ320に戻る。処理は対数尤度が最大化されたと判断されるまで続く(ステップ328)。一旦対数尤度が最大化され、最適な位置合わせが見つかると、尤度を最大とする位置合わせ変換の変換パラメータが出力される(ステップ364)。
【0044】
もし変異確率が既知でなければ(ステップ312)、処理はステップ340に進み、本発明の尤度最大化プロセスは自己矛盾がない方法で実現される。「自己矛盾がない」という言葉を使うのは、現在の位置合わせによって生じた重なり合ったボリュームを使用して、尤度を計算するのに使った変異確率を評価するからである。最適化した尤度で最適化した位置合わせがなされる。
【0045】
2枚の画像の現在の位置合わせの下では、変異確率は次のように評価することができる(ステップ340)。重なり合ったボリューム全体にわたってグレイ値ペア(ui, vj)をチェックする。Ni個のペア(ui, vj), j=1, 2, ..., mがある場合、(ui, vj)となるNij個のペアの中で、見積もり変異確率wijは次のように見積もられる、
【0046】
【数9】
Figure 0004917733
再度、重なり合ったボリューム全体、あるいはその部分ボリューム、にわたって尤度を計算する。対数尤度が重なり合うボリューム全体にわたって計算される場合、この見積もったwijを正規化された対数尤度に代入すると、
【0047】
【数10】
Figure 0004917733
ここで、pi=Ni/N及びpiwij=hijであり、hijは同時確率の見積もり値である。これは否定された条件付エントロピーH(f|g)であることに注意せよ。
【0048】
同様に、
【0049】
【数11】
Figure 0004917733
であり、結局、
【0050】
【数12】
Figure 0004917733
動作としては、注目しているボクセル(voxel)ペアをスキャンし、グレイスケールペア(ui, vj)と変異確率に基づき、ステップ344で各ボクセル(voxel)ペアの尤度を計算する。ステップ348で、対数尤度を上述のように計算する。もし重なり合うボクセル(voxel)全体にわたって尤度が計算された場合は、同時限界ヒストグラムを一くくりとする事で、前述のLLの式のように、計算を簡単化できる。対数尤度を繰返し複数の異なる位置合わせに対して計算し、新たに見積もり変異確率を新しい位置合わせに対して計算する。各位置合わせに対して、最適化アルゴリズムは現在の位置合わせが対数尤度を最大化するか判断する(ステップ352)。もし尤度がまだ最大とならない場合は、新しい変換を選択し(ステップ356)、2枚の画像の相対的な方向と位置が最適化アルゴリズムによって変更され(ステップ360)、処理はステップ340に戻る。処理は対数尤度が最大化したと判断されるまで(ステップ352)繰り返される。一旦対数尤度が最大化され、最適な位置合わせが見つかったら、尤度を最大化する位置合わせ変換の変換パラメータを出力する(ステップ364)。
【0051】
知識に基づく実装及び自己矛盾のない実装両方の場合に、計算された最大化された尤度そのものを、例えば表示モニターに出力する(ステップ364)。計算値は上限値1の数値なので(例えば、画像を自分自身と位置合わせする場合、あるいは1対1に対応した2枚の画像の場合)、その値は画像が相互にいかによく位置合わせされたかを示す目安となる。この点、結果の値がとくに制限されないエントロピー・ベースや相互情報ベースとは異なる。
【0052】
再述するに、知識に基づく実装であっても自己矛盾のない実装であっても、重なり合うボリューム全体にわたって尤度を計算する必要はない。ある実施形態では、所定の点、あるいはセグメントできる重なり合うボリュームの部分について尤度を計算することができる。ボクセル(voxel)値を強調することもでき、例えば、値が特定の範囲、例えば50%以上、25%以上、15%以上等にあるボクセル(voxel)を強調することができる。特定のセグメントを強調することによって、位置合わせ精度を上げることができる。
経験的試験
本発明による尤度最大化画像位置合わせ方法の精度と信頼性を次の試験で実証した。特に、自己矛盾のない実装が使われ、重なり合ったボリューム中のグレイ値ペアが変異確率を評価し対数尤度を計算する。
【0053】
これらの例では剛体変換を使ったが、より一般的な変換を考えることもでき、例えば、非線形変換、アフィン変換、写像変換等を考えることもできる。剛体変換は、位置合わせパラメータは6次元ベクトル(θxy, tx, ty, tz)であり、θx、θy、θzはそれぞれx、y、z軸の周りの度で表した回転角であり、tx、ty、tzはそれぞれx、y、z軸方向のmmで表した移動オフセットである。各回転について、等質の座標系について4x4行列が対応している。さらに回転を施すと、それは行列の積で表せる。行列の積は交換可能ではないので、回転の順序が重要である。仮定によって、回転はx、y、z軸の周りで、この順番に施されるとする。さらに仮定により、平行移動の前に回転が施されるものとする。
【0054】
自己矛盾のない実装では、重なり合ったボリューム中でグレイ値ペアの限界的同時分布を評価する。画像fの最大ボクセル(voxel)値をまず見つける。画像fのボクセル(voxel)値をnf個の離散値に分割する。同様に画像gのボクセル(voxel)値はng個の離散値に分割する。nfとngは違う個数でよい。重なり合うボリュームにおいて、画像fとgのボクセル値とボクセルペアのヒストグラムがボクセル値とボクセル値ペアを組みにする(binning)事で計算される。fのヒストグラムのビン(bin)数はnf、gにヒストグラムのビン(bin)数はng、同時ヒストグラムのビン(bin)数はnfxngである。以下に説明するように、ビン(bin)の数は固定することも、動的に変更することもできる。正規化したヒストグラムは同時分布であると同時に限界分布を示す。
【0055】
変換を施した後には、一方のボリュームのグリッド点は変換された空間における他方のグリッド点と普通一致しない。ボクセル値とボクセル値ペアを組にする(binning)する前に、補間を施して変換した空間のグリッドにおけるボクセル値を得なければならない。補間法にはたくさんの異なった方法があるが、例えば、最近接法、3線法、3線部分ボリューム法等がある。1ボクセルまでの並進移動には影響を与えないので、最近接法はボクセル以下の精度が必要な時には充分ではない。簡便なので、3線法が好まれる。
【0056】
変換の下、複数次元方向セット最適化を使用し、符号を反転した対数尤度を最小化(尤度を最大化)する。方向行列はユニタリー行列に初期化される。ベクトルは上述の通り、(θx, θy, θz, tx, ty, tz)である。これら位置合わせパラメータの順序を変えることもでき、より速く最適化できるかも知れない。パラメータの順序の最適化は試みていないが、順序は画像内容に依存するかも知れないし、すべてを試みるのは現実的ではないからである(6!=720通りの組み合わせがあり、この一部だけを試みるにしても現実的ではない)。さらに、最適化には探索が進むにつれて意図していた6個の方向とは必ずしも対応しないさらに6個の独立な方向が使われるかも知れない。
【0057】
真に全体最適な値を見つけるため、シュミレーテッドアニーリングを利用することもできる。シュミレーテッドアニーリングは2次元画像の位置合わせには成功裏に適用できた。確率的な方法で速度も遅いので、3次元画像の位置合わせが限界であろう。実際には、複数解またはサブサンプリングアプローチが役に立つだろう。強いアルゴリズムで最適化のスピードを上げ、取得範囲を拡大する。
【0058】
この実装においては複数解最適化が好ましい。画像は最も粗い画像として8x8x8の画像に折りたたまれる。3方向すべてで画像解像度が最高になるまで、続く画像の解像度を2倍ずつしていく。ボリュームが512x512x512等と大きいと、計算が大変で、位置合わせに時間がかかる。ある場合には、最高解像度の画像は使わない。解像度を低くするため、サンプリングボリューム内のボクセル値を平均化する。サブサンプリングアプローチよりは少し遅いが、実際には位置合わせ結果はよくなる。
【0059】
同時2次元ヒストグラムを評価する時、グレイ値は異なったビン(bin)でペアとする。同時分布は正規化された2次元ヒストグラムで評価されるので、統計的観点から、サンプルサイズは大きいほうがよい。複数解最適化という戦略においては、低解像度画像が使われるが、グレイ値ペアの数は少ない。統計的バイアスが大きいと思われる。
【0060】
画像サイズを8x8x8としよう。その時、最大で512個のグレイ値ペアがある(すべてのボクセルが重なり合う時)。8ビットのグレイデータでは、ビン数は最大256となる。ビンが256個あっては、平均して各ビンに最大2個のペアしかなくよくない。同時確率の統計エラーによって結果が悪くなる。この状況では、ビン数は少ないほうがよい。
【0061】
ビン数を小さな値に固定しておけば、精細な画像の場合に、各ビンに充分なグレイ値ペアがある。感度を犠牲にして同時確率の評価をよくすることもできる。このパラドックスはビンの数を固定するのは理想的ではなく、ビン数を適合させる方がよい、即ち解像度に応じてビンの数を変化させる方がよいことを暗示している。
【0062】
テストでは、ビンの数を適合させた。ビン数が多いと位置合わせ処理が遅くなるので、最大ビン数は128とした。ビンの適合数を解像度の関数として表1に示したが、ここで解像度は3方向におけるピクセルの最大数で与えられている。
【0063】
【表1】
Figure 0004917733
本発明による尤度最大化画像位置合わせ法を次のように評価した。SPECTとMRのデータセットをテストボリュームとして使用した。SPECT画像とMR画像に様々な位置ずらしをかけた後に、ボクセル値にノイズを入れた場合と入れない場合で、自己位置合わせを行った。そして、SPECTのボリュームをMRのボリュームに位置合わせした。位置合わせの結果を評価した。
【0064】
画像データはスライスから成る。x軸は右から左に水平に、y軸は前から後ろへ水平に、z軸は下から上に垂直に伸びている。テクネチウム−99mヘキサメチル−プロピレネアミン−オキシム(HMPAO TC-99m)をSPECT画像の取得用の試薬として使った。画像は64x64x24ボクセルのサイズで、ボクセルサイズは7.12x7.12x7.12mmであった。最小ボクセルグレイ値は0で、最大ボクセル値は5425であった。平均ボクセル値は163.8であった。
【0065】
MR画像(T1矢じり状の)は256x256x128ボクセルで、ボクセルサイズは1.0x1.0x1.5mmであった。最小ボクセル値は0で最大ボクセル値は504、ボクセル値の平均は57.8であった。
【0066】
まず、様々な位置ずれから始めて、画像をそれ自身に位置合わせした。ノイズに対する耐性を評価するため、一方の画像を異なったレベルのノイズでよごし、ランダムに作った位置ずれの同一セットで位置合わせを行った。ランダムに位置ずれした画像ペアを作るため、画像をまずx軸の周りにある角度回転し、y軸の周りに別の角度回転し、z軸の周りにさらに別の角度回転した。これらの角度は一定の範囲で一様な分布をしている。回転した画像を新しい位置に動かした。x、y、z方向のオフセットはある範囲で一様に分布している。
【0067】
画像にホワイトノイズを加え、画像をよごした。ノイズはガウス分布で、平均値は0、標準偏差は様々に変化させた。
【0068】
これらの素性の知れた実験によって、位置合わせ結果を検査した。熟練の観察者だからx軸、y軸方向に2mm以上、z軸方向に3mm以上の並進位置ずれを発見でき、z軸の回りに2°以上、x軸、y軸の回りに4°以上の回転位置ずれを認め、もし位置ずれパラメータの内どれか一つでもこれらの範囲を超えると、位置合わせは失敗であると考えた。50組のランダムに位置ずれを起こしているボリュームのペアを位置合わせした。これらの位置ずれを起こさせるために、一方の画像をx、y、z軸の回りに回転した。この回転角は−20°から20°の範囲で一様に分布させた。その後、画像を並進移動させた。3軸に沿った並進オフセットは−56.96から56.96mmの範囲で一様に分布させた。
【0069】
ノイズのない核画像については、本技術による方法は50回中10回だけ失敗した。比較のため、これら位置をずらしたボリュームを相互情報最大化法及び平均絶対差最小化法によっても位置合わせを行った。相互情報アプローチは50回中41回失敗し、平均差アプローチは50回中4回の失敗であった。
【0070】
位置合わせを成功させるため、平均回転ずれと並進ずれが、位置合わせパラメータの標準偏差とともに計算し表2に表示してある。核画像は異なったレベルのノイズと位置ずれを含む自分自身と位置合わせした。各欄において、第1の数字は平均値、第2の数字は標準偏差である。角度は度、並進はmm、時間は秒で表している。3種類のアルゴリズム、平均絶対差最小化法(AD)、相互情報最大化法(MI)、尤度最大化法(LH)を評価した。
【0071】
【表2】
Figure 0004917733
位置ずれパラメータは実際の値と計算値との違いとして定義される。それらはボクセル以下の精度で得られ、バイアスと偏差が非常に少ない。本発明の尤度最大化法は相互情報アプローチより約25%高速だった。画像を位置合わせした時、計算した尤度は正に1で、ボクセルが1対1対応していることを示している。
【0072】
本発明による尤度最大化法の強さを評価するために、画像を付加的ノイズで汚した。同一の初期位置ずれで再度画像を位置合わせした。位置ずれパラメータの統計は、位置合わせが成功したものについて表2に表示してある。ガウスノイズの分散は50と100とした。平均差法は付加的ノイズがガウスノイズでないと失敗するが、これらの方法はN(0, 100)というノイズがあってもうまく動いたことは特筆すべきである。これだけ強かったのは、画像信号が強かったからだろう。平均グレイ値は163.8であった。ノイズがN(0, 50)の場合、解像度が64x64x24の時、位置合わせした時の計算された尤度は0.762、解像度が32x32x24の時、0.944であった。同様に、ノイズがN(0, 100)の場合、尤度はそれぞれ0.594と0.903であった。ボクセル範囲は非常に広いので、各ビン(bin)は比較的多くのボクセルグレイ値を持つことができた。その結果、ノイズで汚れたボクセルが、ノイズフリーのボクセルとして同じビンに入ったのかも知れない。それが、尤度が大きくなった理由である。低い解像度の画像を使った場合、ボクセルを滑らかにし、ビンの数を減らしたことが、低い解像度で高い尤度が得られることを説明している。ここのデータはノイズが高ければ尤度が低くなることを示している。
【0073】
同じ実験をMR像についても行った。しかし、回転角度は−30から30度の範囲にわたって一様に分布しており、並進オフセットは−24から24mmの範囲で一様に分布している。
【0074】
MRボリュームは256x256x128ボクセルから成る。前に述べたように、全解像度を使っている場合は、位置合わせの速度は遅い(約1時間)。従って、最大解像度は64x64x64とした。次のデータが示すとおり大変うまくいくことが分かった。
【0075】
表3は、位置ずれにおいてノイズがある場合とない場合とについて、成功した位置合わせにおける位置ずれパラメータの統計を示している。各欄で、第1の数字は平均値で、第2の数字は標準偏差である。角度は度で、並進移動はmmで、時間は秒で表している。3つのアルゴリズム、平均絶対差最小化法(AD)、相互情報最大化法(MI)、尤度最大化法(LH)を評価した。成功率はほぼ同じオーダーだが、相互情報はすべての画像ペアを正しく位置合わせした。位置合わせ結果への解像度の影響は調べなかったが、それは失敗した位置合わせはすべて大きな並進オフセットを持っており、重なり合うボリュームがないなどが理由である。この状況はより高い解像度の最適化でも変わらない。
【0076】
【表3】
Figure 0004917733
ノイズフリーの画像を位置合わせする場合、尤度は予想通り1であった。ノイズを含む画像の位置合わせをする場合、解像度が128x128x128の時、尤度は0.082、解像度が64x64x64の時、0.248であった。前述の例のように、解像度が下がると尤度が上がる。ここで尤度が前の例より小さいのは、平均ボクセルグレイ値がここでは低く、ノイズの影響がより大きかったからである。
【0077】
複数形式の位置合わせでは、正しい位置合わせパラメータは分からない。多様な評価方法がその正確性を評価するために使用されているが、その中には、ファントム確認、オブザーバ評価、基準マーク等がある。ここでは、モディファイドオブザーバ評価アプローチを使用した。MR/SPECT像ペアは最初医療専門家によりソフトウェアとして手に入るインターラクティブ(マニュアル)位置合わせ法を使って位置合わせされた。位置合わせパラメータはその後基準として使われ、尤度最大化法または相互情報最小化法の位置合わせ結果が、この基準結果と比較された。これら技術の耐久性を評価するため、最初の位置合わせの時に、位置ずれをランダムに起こした。50セットの位置ずれ(セット1)において、回転角度と基準回転角度の差は−20から20度の範囲にわたって一様に分布しており、並進オフセット間の差は−28.48から28.48mmの範囲にわたって、一様に分布している。50セットの第2の位置ずれ(セット2)について、角度の差は−30から30度の範囲で一様に分布しており、並進オフセットの差は−28.48から28.48mmの範囲で一様に分布している。真の位置合わせパラメータは分からないので、比較的大きな閾値を計算値と基準値の間に設け、位置合わせが成功したか判断した。角度の閾値は回転軸に関わらず10度で、並進の閾値は方向に関わらず14.24mmであった。
【0078】
最初、MR像は基準として使われ、SPECTを浮遊像とした。相互情報最大化と尤度最大化の位置ずれパラメータの統計は表4に示す通りである。
【0079】
【表4】
Figure 0004917733
相互情報最大化アプローチの成功率は本発明による尤度法よりわずかによかった。当初の位置ずれが大きくなるにつれ、両方法の成功率は低下した。データから、最初の位置ずれが大きくなるにつれ、統計はあまり変わらなく、両方法とも耐性があり信頼性があることが分かった。
【0080】
両方の位置合わせ結果は、標準のものよりシステマティックな差異があるが、それらはすべてボクセル以下である。相互情報アプローチの偏差は尤度アプローチの偏差より小さく、その差はごく僅かであるが、相互情報位置合わせはわずかに堅実である。
【0081】
それほど大きな差は期待できないが、SPECT像を基準として使った時、実験結果は表5に示した様に、不均衡を示した。
【0082】
【表5】
Figure 0004917733
尤度アプローチの成功率は大きく低下した。これら2つのアプローチの位置合わせパラメータの偏差も拡大した。両方のアルゴリズムにおいて、位置合わせ結果はどちらの画像を基準にしたかにはよらないはずである。この不均衡は実装によるものと思われる。
【0083】
位置合わせにおいて、尤度は解像度が32x32x24の時、0.060で、解像度が64x64x24の時、0.024であった。これらの値は大きさが小さいように見えるが、尤度としては大きな値である。いかに議論するように、もし関係がないなら、尤度はそれぞれ0.00098と0.00024となるだろう。
【0084】
本発明の自己矛盾のない実装において、重なり合うボリューム全体にわたって尤度を計算する場合、最後の式はエントロピーと同時エントロピーからの貢献によって成る。導出において、画像fをランダムなフィールドとして取り扱えば、uiはランダム変数となる。条件付尤度を計算する代わりに、尤度を計算できる。式は符号を反転させた同時エントロピーとなる。画像が所与なので、条件付尤度を計算するほうが好ましい。前述の通り、対数尤度は符号を反転させた条件付エントロピーであるが、その解釈はまったく異なる。もし部分ボリュームデータを使って尤度を計算するなら、あるいは尤度が既知の知識に基づいて計算されるなら、式は異なり、エントロピー、条件付エントロピー、相互情報アプローチには対応するものはない。
【0085】
しかし、エントロピーアプローチには概念的な違いがある。エントロピーの概念は1940年代に提唱された。エントロピーは従来、統計物理、評価理論、スペクトル分析、画像再生、キュー理論、都市計画等で最大化される目的関数として利用されている。1980年代の中ごろ、エントロピー最大化は公理系に基づく原理として確立された。しかし、原理としてのエントロピーの最小化は未だ提案されていない。画像位置合わせにおいてエントロピー最小化をインフォーマルにかつ直感的に正当化することはできるが、適切な基礎付けがまだなされていない。しかし、尤度最大化は確立された原理であり理解もしやすい。尤度最大化は強固な理論的基礎付けを有し、概念的に理解しやすい。
【0086】
尤度は確率であり、下限は0、上限は1である。尤度の計算は解像度とビン数にも依存するが、上限はあくまでも1で変わらない。2枚の画像が相関していなければ、f中のボクセルのg中のボクセルに対する変異確率は1/nfであり、g中のボクセルのf中のボクセルに対する変異確率は1/nfである。その時、尤度は1/nfngである。尤度を見ることで、2枚の画像がどの程度マッチしているかがわかる。エントロピーと相互情報は絶対的な概念であるが、尤度はより容易に理解できる。
【0087】
よって、尤度最大化による画像位置合わせを使った画像処理システム及び方法を説明した。相互情報最大化法及び絶対差最小化法を比較して、上記結果は本発明の性能は相互情報アプローチの性能と同程度であることを示している。
【0088】
本発明をある程度詳細に説明したが、要素は当業者によって本発明の精神と範囲を逸脱することなく変更できることを認識すべきである。本発明の実施形態のひとつは1またはそれ以上のコンピュータシステムのメインメモリにある命令のセットとして実現可能である。コンピュータシステムが要求するまでその命令のセットは別のコンピュータ読取可能なメモリに記憶されていてもよく、例えば、ハードディスクや、CD-ROMまたはDVDドライブで使用する光ディスク、フロッピディスクドライブで使うフロッピディスク、フロプティカルドライブで使うフロプティカルディスク、またはパーソナルコンピュータのカードスロットで使うパーソナルコンピュータメモリカードなどのリムーバブルメモリに記憶しておいてよい。さらに、命令のセットは別のコンピュータのメモリに記憶しておき、ローカルエリアネットワークやインターネットなどのワイドエリアネットワークを通して、ユーザが欲する時に伝送するようにしてもよい。加えるに、命令はアプレットの形でネットワークを通して伝送してもよく、その場合、伝送前ではなくコンピュータに伝送後に解釈される。当業者は理解しているであろうが、命令またはアプレットのセットの物理的な記憶は、それが電気的、磁気的、化学的、物理的、光学的、あるいはホログラフとして記憶されている媒体によって、物理的に変化し、媒体がコンピュータによって読取可能な情報を格納できればよい。
【図面の簡単な説明】
本発明は多様な構成要素及び構成要素の配列から成り、多様なステップ及びステップの配列から成る。図面は好ましい実施形態を例示する目的で描かれたもので、本発明を限定する意味に解釈してはならない。
【図1】 本発明による画像取得及び処理システムのブロック図である。
【図2】 本発明による立体画像位置合わせ(registration)プログラムを実装した場合の多様なモジュールを例示するブロック図である。
【図3】 本発明による画像位置合わせ(registration)処理のフローチャートである。

Claims (20)

  1. 第1の立体画像と第2の立体画像を位置合わせする方法であって、各画像はグレイスケールのボクセル値の3次元配列を含み
    (a)複数の前記ボクセル値の整列したペア変異確率を画定するステップであって、前記ボクセル値の整列したペアは前記第1の画像からのボクセル値と前記第2の画像からの空間的に対応したボクセル値を含み、各変異確率は前記第1の画像のボクセル値が前記第2の画像の空間的に対応したボクセル値に対応する尤度及びその逆に関係し、前記画定する段階は前記第1の画像と前記第2の画像の選択された幾何学的関係に基づくステップと
    (b)前記第1の画像に対する前記第2の画像の幾何学的関係を画定する第1の変換を選択するステップ
    (c)前記変異確率を用いて整列したボクセルのペアの所定の集まり尤度の計量であって、前記第2の画像を前提として前記第1の画像を得る確率及びその逆を表す尤度の計量を計算するステップ
    (d)前記第1の画像に対する前記第2の画像の幾何学的関係を画定する異なる変換を選択するステップ
    (e)前記第1の画像に対する前記第2の画像の幾何学的関係を画定する最適な変換であって前記尤度の計量が最適になるものが求まるまで(c)と(d)のステップを反復するステップとを含む方法。
  2. 記最適な変換を表すデータを記憶するステップ、及び
    前記最適な変換を用いて前記第1と第2の画像を位置合わせするステップの少なくとも一方をさらに含む、請求項1に記載の方法。
  3. 記第1と第2の画像から形成される合成画像を表示するステップをさらに含む、請求項2に記載の方法。
  4. 記最適な変換は剛体変換、アフィン変換、写像変換、非線形変換から選択される、請求項1乃至3いずれか一項に記載の方法。
  5. 記変異確率を画定するステップはあらかじめ計算され記憶された変異確率値にアクセスするステップを含む、請求項1乃至4いずれか一項に記載の方法。
  6. 記変異確率を画定するステップは、前記第1の画像に対する前記第2の画像の幾何学的関係を画定する現在選択されている変換に基づいて変異確率を推定するステップを含む、請求項1乃至5いずれか一項に記載の方法。
  7. 記複数の整列したペアは前記第1と第2の画像の重なった部分にあるすべての整列したペアを含む、請求項1乃至6いずれか一項に記載の方法。
  8. 記複数のペアは前記第1と第2の画像の重なった部分の1以上の選択された部分ボリュームに限定される、請求項1乃至7いずれか一項に記載の方法。
  9. 記複数のペアは、前記第1と第2の画像の重なった部分にある整列したペアで、所定範囲のボクセル値を持つペアに制限される、請求項1乃至8いずれか一項に記載の方法。
  10. 記尤度の計量は対称的である、請求項1乃至9いずれか一項に記載の方法。
  11. 記尤度の計量を計算するステップは前記変異確率の対数を合計するステップを含む、請求項1乃至10いずれか一項に記載の方法。
  12. 記尤度の計量を計算するステップは、
    前記変異確率の対数の合計として、前記第2の画像に対して前記第1の画像を得る前記確率を表す第1の対数尤度値を、前記所定の整列したボクセルペアの集まりについて計算するステップ
    前記変異確率の対数の合計として、前記第1の画像に対して前記第2の画像を得る前記確率を表す第2の対数尤度値を、前記所定の整列したボクセルペアの集まりについて計算するステップ
    前記第1と第2の対数尤度値を足し合わせるステップとを含む、請求項1乃至11いずれか一項に記載の方法。
  13. 記第1と第2の対数尤度値を足し合わせるステップは所定範囲の合計尤度を与え、さらに、位置合わせ品質が上がるにつれ前記合計尤度値が前記範囲内で上がる、請求項12に記載の方法。
  14. 記尤度の正規化された計量を作るため、前記変異確率を使って、整列したボクセルペアの所定の集まりの尤度の前記計算された計量を正規化するステップであって、前記尤度の前記正規化された計量は、前記第2の画像に対する前記第1の画像を得る確率、及び前記第1の画像に対する前記第2の画像を得る確率を表し、前記正規化された計量は所定の有限の範囲に制限されているステップと
    前記正規化された計量を出力するステップであって、前記位置合わせの前記品質が向上すると前記正規化された計量が前記有限の範囲の一方の端に近づき、前記正規化された計量は前記位置合わせの前記品質をユーザに示すように働く、請求項1乃至13いずれか一項に記載の方法。
  15. 第1の立体画像と第2の立体画像を位置合わせする画像処理システムであって、前記立体画像はボクセル値の3次元配列を含み
    位置合わせプロセッサ及び位置合わせされる複数の立体画像表示を記憶する付属メモリを有し
    前記位置合わせプロセッサは前記ボクセル値の複数の整列したペアの変異確率を決定し、前記ボクセル値の整列したペアは前記第1の画像のボクセル値と前記第2の画像の空間的に対応したボクセル値を含み、各変異確率は前記第1の画像のボクセル値が前記第2の画像の空間的に対応したボクセル値に対応する尤度及びその逆に関係し、前記決定は前記第1と第2の画像の選択された幾何学的関係に基づいて決定され、
    前記位置合わせプロセッサは前記第1と第2の画像の複数の幾何学的関係の尤度の計量を計算し、前記尤度の計量は前記変異確率を使って整列したボクセルペアの所定の集まりについて計算され、前記尤度の計量は前記第2の画像に対する第1の画像を得る前記確率及びその逆を表し、
    前記位置合わせプロセッサは前記第1と第2の画像の幾何学的関係を画定する最適な変換を見つけるため前記尤度の計量を最適化し、
    前記画像処理システムは、さらに
    前記最適な変換を表すパラメータを記憶する前記位置合わせプロセッサに結合したメモリ
    前記第1と第2の画像の合成画像表示を形成する表示システムとを有する、画像処理システム。
  16. 断画像スキャナを更に有する、請求項15に記載の画像処理システム。
  17. 記診断画像スキャナはMRスキャナ、X線CTスキャナ、PETスキャナ、SPECTスキャナ、超音波スキャナ、またはこれらの組み合わせである、請求項16に記載の画像処理システム。
  18. 前記変異確率の決定は記憶された計算された変異確率値にアクセスすることを含む、請求項15乃至17いずれか一項に記載の画像処理システム。
  19. 記変異確率の画定前記第1の画像に対して前記第2の画像の幾何学的関係を画定する現在選択されている変換に基づき変異確率を推定することを含む、請求項15乃至18いずれか一項に記載の画像処理システム。
  20. 記尤度の前記計量は対称的である、請求項15乃至19いずれか一項に記載の画像処理システム。
JP2002527450A 2000-09-15 2001-09-13 尤度最大化を利用した画像位置合わせシステム及び方法 Expired - Fee Related JP4917733B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/663,803 2000-09-15
US09/663,803 US6728424B1 (en) 2000-09-15 2000-09-15 Imaging registration system and method using likelihood maximization
PCT/US2001/028486 WO2002023477A2 (en) 2000-09-15 2001-09-13 Image registration system and method using likelihood maximization

Publications (2)

Publication Number Publication Date
JP2004508856A JP2004508856A (ja) 2004-03-25
JP4917733B2 true JP4917733B2 (ja) 2012-04-18

Family

ID=24663319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002527450A Expired - Fee Related JP4917733B2 (ja) 2000-09-15 2001-09-13 尤度最大化を利用した画像位置合わせシステム及び方法

Country Status (5)

Country Link
US (1) US6728424B1 (ja)
EP (1) EP1352364B1 (ja)
JP (1) JP4917733B2 (ja)
DE (1) DE60141415D1 (ja)
WO (1) WO2002023477A2 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2314794A1 (en) * 2000-08-01 2002-02-01 Dimitre Hristov Apparatus for lesion or organ localization
DE10210050A1 (de) * 2002-03-07 2003-12-04 Siemens Ag Verfahren und Vorrichtung zur wiederholt gleichen Relativpositionierung eines Patienten
US20030210820A1 (en) * 2002-05-07 2003-11-13 Rainer Lachner Method and device for localizing a structure in a measured data set
EP1516156B1 (en) 2002-05-30 2019-10-23 AMO Manufacturing USA, LLC Tracking torsional eye orientation and position
US7536644B2 (en) * 2002-06-27 2009-05-19 Siemens Medical Solutions Usa, Inc. Method and system for facilitating selection of stored medical images
EP1623674B1 (en) * 2003-05-08 2016-04-13 Hitachi Medical Corporation Reference image display method for ultrasonography and ultrasonograph
US7458683B2 (en) * 2003-06-16 2008-12-02 Amo Manufacturing Usa, Llc Methods and devices for registering optical measurement datasets of an optical system
EP1639550A1 (en) * 2003-06-18 2006-03-29 Philips Intellectual Property & Standards GmbH Motion compensated reconstruction technique
EP1667829A4 (en) 2003-07-28 2008-12-10 Fluidigm Corp IMAGE PROCESSING SYSTEM AND SYSTEM FOR MICROFLUID DEVICES
JP5296981B2 (ja) 2003-07-30 2013-09-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ アフィン変換を用いたモダリティ内医療体積画像の自動位置合わせ
GB0320973D0 (en) * 2003-09-08 2003-10-08 Isis Innovation Improvements in or relating to similarity measures
EP1695289A1 (en) * 2003-12-08 2006-08-30 Philips Intellectual Property & Standards GmbH Adaptive point-based elastic image registration
US7263243B2 (en) * 2003-12-29 2007-08-28 Carestream Health, Inc. Method of image registration using mutual information
WO2005088520A1 (en) * 2004-03-11 2005-09-22 University Of Cincinnati Automated spine survey iterative scan technique (assist)
US7596283B2 (en) * 2004-04-12 2009-09-29 Siemens Medical Solutions Usa, Inc. Fast parametric non-rigid image registration based on feature correspondences
US7522779B2 (en) * 2004-06-30 2009-04-21 Accuray, Inc. Image enhancement method and system for fiducial-less tracking of treatment targets
US7366278B2 (en) * 2004-06-30 2008-04-29 Accuray, Inc. DRR generation using a non-linear attenuation model
US7231076B2 (en) * 2004-06-30 2007-06-12 Accuray, Inc. ROI selection in image registration
US7327865B2 (en) * 2004-06-30 2008-02-05 Accuray, Inc. Fiducial-less tracking with non-rigid image registration
US8090429B2 (en) * 2004-06-30 2012-01-03 Siemens Medical Solutions Usa, Inc. Systems and methods for localized image registration and fusion
US7426318B2 (en) * 2004-06-30 2008-09-16 Accuray, Inc. Motion field generation for non-rigid image registration
US8989349B2 (en) * 2004-09-30 2015-03-24 Accuray, Inc. Dynamic tracking of moving targets
EP1815432B1 (en) * 2004-11-17 2016-08-03 Koninklijke Philips N.V. Improved elastic image registration functionality
US7653264B2 (en) * 2005-03-04 2010-01-26 The Regents Of The University Of Michigan Method of determining alignment of images in high dimensional feature space
WO2006095324A1 (en) * 2005-03-10 2006-09-14 Koninklijke Philips Electronics N.V. Image processing system and method for registration of two-dimensional with three-dimensional volume data during interventional procedures
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
US8144987B2 (en) * 2005-04-13 2012-03-27 Koninklijke Philips Electronics N.V. Method, a system and a computer program for segmenting a surface in a multi-dimensional dataset
US20060251209A1 (en) * 2005-05-06 2006-11-09 General Electric Company Energy sensitive x-ray system and method for material discrimination and object classification
US7352370B2 (en) * 2005-06-02 2008-04-01 Accuray Incorporated Four-dimensional volume of interest
US7330578B2 (en) * 2005-06-23 2008-02-12 Accuray Inc. DRR generation and enhancement using a dedicated graphics device
US7259762B2 (en) * 2005-06-29 2007-08-21 General Electric Company Method and system for automatically transforming CT studies to a common reference frame
ATE396461T1 (de) * 2005-07-13 2008-06-15 Lasersoft Imaging Ag Bereitstellung einer digitalen kopie eines quellbildes
US8126243B2 (en) * 2005-08-23 2012-02-28 Nihon Medi-Physics Co., Ltd. Image processing method, image processing program, and image processing device
US7583857B2 (en) 2005-08-24 2009-09-01 Siemens Medical Solutions Usa, Inc. System and method for salient region feature based 3D multi modality registration of medical images
WO2007028237A1 (en) * 2005-09-06 2007-03-15 Resonant Medical Inc. System and method for patient setup for radiotherapy treatment
DE102005059210B4 (de) * 2005-12-12 2008-03-20 Siemens Ag Radiotherapeutische Vorrichtung
WO2007102920A2 (en) * 2005-12-20 2007-09-13 University Of Maryland, Baltimore Method and apparatus for accelerated elastic registration of multiple scans of internal properties of a body
DE102006013473B4 (de) * 2006-03-23 2009-10-22 Siemens Ag Verfahren zur ortsaufgelösten Visualisierung der Rekonstruktionsqualität, insbesondere der Abdeckung, eines aufzunehmenden und in einer dreidimensionalen Rekonstruktionsvolumendarstellung wiederzugebenden dreidimensionalen Zielvolumens
US20070249928A1 (en) * 2006-04-19 2007-10-25 General Electric Company Method and system for precise repositioning of regions of interest in longitudinal magnetic resonance imaging and spectroscopy exams
EP2018119A2 (en) * 2006-05-11 2009-01-28 Koninklijke Philips Electronics N.V. System and method for generating intraoperative 3-dimensional images using non-contrast image data
US8280483B2 (en) 2006-06-14 2012-10-02 Koninklijke Philips Electronics N.V. Multi-modality medical image viewing
WO2008005408A2 (en) * 2006-06-29 2008-01-10 Vassol Inc. Sub-voxel motion correction for phase-contrast magnetic resonance imaging
US20080021300A1 (en) * 2006-06-29 2008-01-24 Allison John W Four-dimensional target modeling and radiation treatment
WO2008004167A2 (en) * 2006-07-03 2008-01-10 Koninklijke Philips Electronics N.V. Automatic voxel selection for pharmacokinetic modeling
US20080037843A1 (en) * 2006-08-11 2008-02-14 Accuray Incorporated Image segmentation for DRR generation and image registration
US7693349B2 (en) * 2006-08-15 2010-04-06 General Electric Company Systems and methods for interactive image registration
US9451928B2 (en) * 2006-09-13 2016-09-27 Elekta Ltd. Incorporating internal anatomy in clinical radiotherapy setups
JP2008161266A (ja) * 2006-12-27 2008-07-17 Ritsumeikan 画像処理装置、コンピュータプログラム、及び画像処理方法
US7873220B2 (en) * 2007-01-03 2011-01-18 Collins Dennis G Algorithm to measure symmetry and positional entropy of a data set
FR2914466B1 (fr) * 2007-04-02 2009-06-12 Inst Nat Rech Inf Automat Dispositif de traitement d'images pour la mise en correspondance d'images d'une meme portion d'un corps obtenues par resonance magnetique et par ultrasons.
WO2009012577A1 (en) * 2007-07-20 2009-01-29 Resonant Medical Inc. Methods and systems for compensating for changes in anatomy of radiotherapy patients
US10531858B2 (en) 2007-07-20 2020-01-14 Elekta, LTD Methods and systems for guiding the acquisition of ultrasound images
US8135198B2 (en) * 2007-08-08 2012-03-13 Resonant Medical, Inc. Systems and methods for constructing images
US20090220137A1 (en) * 2008-02-28 2009-09-03 Siemens Corporate Research, Inc. Automatic Multi-label Segmentation Of Abdominal Images Using Non-Rigid Registration
US8189738B2 (en) * 2008-06-02 2012-05-29 Elekta Ltd. Methods and systems for guiding clinical radiotherapy setups
US8731334B2 (en) * 2008-08-04 2014-05-20 Siemens Aktiengesellschaft Multilevel thresholding for mutual information based registration and image registration using a GPU
US10542962B2 (en) * 2009-07-10 2020-01-28 Elekta, LTD Adaptive radiotherapy treatment using ultrasound
US20110172526A1 (en) 2010-01-12 2011-07-14 Martin Lachaine Feature Tracking Using Ultrasound
US9248316B2 (en) 2010-01-12 2016-02-02 Elekta Ltd. Feature tracking using ultrasound
WO2011114243A1 (en) * 2010-03-18 2011-09-22 Koninklijke Philips Electronics N.V. Functional image data enhancement and/or enhancer
JP5458413B2 (ja) * 2010-05-14 2014-04-02 株式会社日立製作所 画像処理装置、画像処理方法、及び、画像処理プログラム
FR2960332B1 (fr) * 2010-05-21 2013-07-05 Gen Electric Procede de traitement d'images radiologiques pour determiner une position 3d d'une aiguille.
US9014454B2 (en) * 2011-05-20 2015-04-21 Varian Medical Systems, Inc. Method and apparatus pertaining to images used for radiation-treatment planning
CA2918295A1 (en) * 2013-07-15 2015-01-22 Tel Hashomer Medical Research, Infrastructure And Services Ltd. Mri image fusion methods and uses thereof
JP5904976B2 (ja) * 2013-08-19 2016-04-20 キヤノン株式会社 3次元データ処理装置、3次元データ処理方法及びプログラム
JP6253992B2 (ja) 2014-01-09 2017-12-27 富士通株式会社 臓器位置推定装置、臓器位置推定装置の制御方法および臓器位置推定装置の制御プログラム
US9633431B2 (en) * 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
WO2016154714A1 (en) * 2015-03-31 2016-10-06 Centre For Imaging Technology Commercialization 3d ultrasound image stitching
CN105447882B (zh) * 2015-12-16 2018-02-27 上海联影医疗科技有限公司 一种图像配准方法及系统
US9905044B1 (en) 2016-08-25 2018-02-27 General Electric Company Systems and methods for functional imaging
JP6972647B2 (ja) 2017-05-11 2021-11-24 富士フイルムビジネスイノベーション株式会社 三次元形状データの編集装置、及び三次元形状データの編集プログラム
GB2566443A (en) * 2017-09-05 2019-03-20 Nokia Technologies Oy Cross-source point cloud registration
US11723579B2 (en) 2017-09-19 2023-08-15 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
US10803633B2 (en) 2018-02-06 2020-10-13 General Electric Company Systems and methods for follow-up functional imaging
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
US11452839B2 (en) 2018-09-14 2022-09-27 Neuroenhancement Lab, LLC System and method of improving sleep
JP7270975B2 (ja) * 2019-09-06 2023-05-11 国立大学法人 新潟大学 診断支援システム、診断支援方法およびプログラム
US11309072B2 (en) 2020-04-21 2022-04-19 GE Precision Healthcare LLC Systems and methods for functional imaging
CN113409351B (zh) * 2021-06-30 2022-06-24 吉林大学 基于最优传输的无监督领域自适应遥感图像分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294485A (ja) * 1995-02-28 1996-11-12 Toshiba Corp 画像表示システム及びそのシステムを用いた画像表示方法
JPH10305015A (ja) * 1997-05-09 1998-11-17 Toshiba Iyou Syst Eng Kk 残像効果を利用した画像表示方法および装置
JPH10340348A (ja) * 1997-06-09 1998-12-22 Ricoh Co Ltd 画像位置合わせ方法、ファックス文字認識方法および記録媒体
JP2000040145A (ja) * 1998-07-23 2000-02-08 Godai Kk 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2781906B1 (fr) * 1998-07-28 2000-09-29 Inst Nat Rech Inf Automat Dispositif electronique de recalage automatique d'images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08294485A (ja) * 1995-02-28 1996-11-12 Toshiba Corp 画像表示システム及びそのシステムを用いた画像表示方法
JPH10305015A (ja) * 1997-05-09 1998-11-17 Toshiba Iyou Syst Eng Kk 残像効果を利用した画像表示方法および装置
JPH10340348A (ja) * 1997-06-09 1998-12-22 Ricoh Co Ltd 画像位置合わせ方法、ファックス文字認識方法および記録媒体
JP2000040145A (ja) * 1998-07-23 2000-02-08 Godai Kk 画像処理装置、画像処理方法及び画像処理プログラムを記録した記録媒体

Also Published As

Publication number Publication date
WO2002023477A2 (en) 2002-03-21
JP2004508856A (ja) 2004-03-25
EP1352364A2 (en) 2003-10-15
US6728424B1 (en) 2004-04-27
WO2002023477A3 (en) 2003-07-24
DE60141415D1 (de) 2010-04-08
EP1352364B1 (en) 2010-02-24

Similar Documents

Publication Publication Date Title
JP4917733B2 (ja) 尤度最大化を利用した画像位置合わせシステム及び方法
Prevost et al. 3D freehand ultrasound without external tracking using deep learning
JP5384779B2 (ja) クロス・エントロピー最適化による画像位置合わせシステム及び方法
US7106891B2 (en) System and method for determining convergence of image set registration
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
US7945117B2 (en) Methods and systems for registration of images
US7948503B2 (en) Techniques for 3-D elastic spatial registration of multiple modes of measuring a body
US7916918B2 (en) Diagnostic system for multimodality mammography
US7062078B2 (en) Method and device for the registration of images
US20090180675A1 (en) System and method for image based multiple-modality cardiac image alignment
JP5485663B2 (ja) 対称性検出及び画像位置合わせを用いた自動式走査計画のシステム及び方法
CN101903908A (zh) 基于特征的2d/3d图像配准
Chen et al. Reconstruction of freehand 3D ultrasound based on kernel regression
US9675311B2 (en) Follow up image acquisition planning and/or post processing
US7616783B2 (en) System and method for quantifying motion artifacts in perfusion image sequences
US20110081055A1 (en) Medical image analysis system using n-way belief propagation for anatomical images subject to deformation and related methods
US20110081061A1 (en) Medical image analysis system for anatomical images subject to deformation and related methods
US20110081054A1 (en) Medical image analysis system for displaying anatomical images subject to deformation and related methods
CA2854992C (en) Process and apparatus for data registration
Hennersperger et al. Computational sonography
CN114159085B (zh) 一种pet图像衰减校正方法、装置、电子设备及存储介质
US20230154067A1 (en) Output Validation of an Image Reconstruction Algorithm
KR20240152935A (ko) 조직 부피의 2차원(2d) 초음파 스캔들의 상호 참조를 위한 방법 및 시스템
CN115063456A (zh) 超声立体图像重建方法、设备及计算机存储介质
CN116612163A (zh) 用于将解剖图像配准到功能图像的深度学习

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees