JP3629282B2 - 3次元画像化方法 - Google Patents
3次元画像化方法 Download PDFInfo
- Publication number
- JP3629282B2 JP3629282B2 JP31561593A JP31561593A JP3629282B2 JP 3629282 B2 JP3629282 B2 JP 3629282B2 JP 31561593 A JP31561593 A JP 31561593A JP 31561593 A JP31561593 A JP 31561593A JP 3629282 B2 JP3629282 B2 JP 3629282B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- dimensional image
- vectors
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/153—Transformations for image registration, e.g. adjusting or mapping for alignment of images using elastic snapping
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/755—Deformable models or variational models, e.g. snakes or active contours
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Description
【0001】
【産業上の利用分野】
本発明は、少なくとも一の画像は画像化装置により人体を走査して得られる人体の2以上の画像、或いはその領域のマッチング、位置合わせ、統合、又は相関を行う方法に関する。本発明は、その特定の面において、画像化された人体の領域が、弾性的な変形と説明される局所的な幾何形状的変形を示す2以上の立体的な画像のマッチングに関する。
【0002】
【従来の技術】
種々の画像化様式から得られ、又は種々の時点に同じ様式から得られる立体的画像の統合利用、或いは標準画像への画像のマッチングは、多様な工業用及び医療用の応用を有する。医療画像分野において、3次元画像の検討は、X線コンピュータトモグラフィ(CT)、磁気共鳴画像(MRI)、ポジトロンエミッショントモグラフィ(PET)、シングルフォトンエミッションコンピュータトモグラフィ(SPECT)、及び超音波様式により得られる。更に、多数の横断面の各々に対する2次元画像データとして立体的な画像データの組を収集することが共通の実施法である。しかし、収集された立体的な画像は、輝度の値、又は規則的な3次元グリッド内の格子点に中心を置く体積要素を有する。
【0003】
上記の様式は、相補的な情報を屡々提供するが、一般的には位置、方向、及びスケールの差と同時に空間とコントラスト解像度の差により特徴付けられる。その上、標準的な画像は、例えば、コンピュータ化された解剖学図表による比較の目的に利用し得る。2以上のかかる画像の統合的利用は、機能的/解剖学的な相関、放射線治療計画、手術計画及び回顧的検討に応用し得る。かかる応用はすべて、画像が互いに位置合わせされることを必要とする。
【0004】
平行移動、回転及び縮尺を補正する大局的なアフィン変換が頭部画像の位置合わせに適用され、ここに、人体は固定され続けると仮定する。目標物のマッチング方法により、目標物を十分に位置合わせするよう剛性的ではない変換を補正し得る大局的な多項式変換が得られる。しかし、局所的な変形はこれによって説明できない。
【0005】
Burr(D.J.Burrによる“画像位置合わせの動的モデル(A Dynamic Model for Image Registration)”、コンピュータグラフィックス画像処理(Comput. Graphics Image Process.) 、15、1981、pp.102−112)は、変形された2次元画像の自動位置合わせの処理を提案し、その中で、一方の画像の各点における最近傍ベクトルが、ガウシアン協調平滑化をうける他方の画像の矩形近傍内の最類似点にその点を接続して定められる。かかる解決法は、輝度パターン中に強い局所的な相関がないので医療用濃淡階調画像には利用できない。Burr(D.J.Burrによる“線画の弾性マッチング(Elastic Matching of Line drawings) ”、IEEEパターン解析機械知能論文誌(IEEE Trans. Pattern Anal. Mach. Intelligence)、PAMI−3、第6 号、1981年、pp.708−713)は、点と接続している線セグメントとの交互の連なりから成る線画の一方の線画上の点から他方の線画上の最近傍の線セグメントに垂直に向けられる特徴変位ベクトルを利用する弾性マッチングも提案し、以下ではこれを「Burrのアルゴリズム」と呼ぶ。特徴変位ベクトル場の平滑化は線画の弾性により行われる。Burrのアルゴリズムは2つの順次の連続横断面における輪郭の間の弾性的な補間にも利用される(W.C.Lin 等による“連続横断面からの3次元医療用画像再生用動的弾性補間(Dynamic elastic interpolation for 3−D medical image reconstruction from serial cross sections) ”、IEEE医療用画像論文誌、7 巻、3 号、1988年9 月、pp.225−232)。
【0006】
Broit及びBacsy(R.Bacsy 等による、“変形された画像のマッチング(Matching of deformed images) ”、第6回パターン認識国際会議予稿集、ミュンヘン、1982年、pp.351−353)は、弾性的な変形による2次元モデルベースド物体マッチング法を報告し、ここで、マッチングは変形モデルと類似性測度を組み合わせるコスト汎関数を有する最小化問題として定式化される。変形モデルは、大局的に平滑化された弾性物体の変形エネルギーを含む。この方法は、後にBacsy及びKovacicにより3次元に拡張された(R.Bacsy 等による“多重解像弾性マッチング(Multiresolution elastic matching)”、コンピュータビジョン(Computer Vision) 、グラフィックスと画像処理(Graphics, and Image Processing)、46号、1989年、pp.1−21 )。
【0007】
本発明者は、以前(M.Moshfeghi による“医療における多様式画像位置合わせ法(Multimodarity Image Registration Techniques in Medicine) ”、医学及び生物学におけるIEEEエンジニアリング学会第11回定例国際会議予稿集、1989年、pp.2007−2008、及び、M.Moshfeghi による“多様式医療用画像の弾性マッチング(Elastic Matching of Multimodarity Medical Images)”、CVGIP:グラフィカルモデル及び画像処理(Graphical Models and Image Processing) 、第53巻、第 3号、1991年5 月、pp.271−282)にBurrのアルゴリズムの拡張を利用して基準画像からの目標輪郭に弾性的に変形された画像からの候補輪郭を反復的に歪曲させることによって、対応する輪郭の抽出、及びマッチングを行う2次元局所位置合わせ法を報告した。候補輪郭と目標輪郭との間の点対の対応は、候補輪郭に沿った点に適用される局所変位ベクトルを決めるために利用される。大局的な画像シフトの減算後に残る局所変位ベクトルは、長い距離の間に徐々に零に減衰する重み付き関数を利用して全画像上に補間される。したがって、このアルゴリズムを3次元に拡張して、対応する表面の弾性的な変形を利用する必要性が言及された。この従来技術の拡張が本出願の課題である。
【0008】
【発明が解決しようとする課題】
本発明は、少なくとも一方は一つの画像化様式から得られる相互に変形された第1及び第2の立体的な画像の位置合わせを、夫々の立体的な画像から対応する表面を抽出し、一方の抽出された表面を他方へ歪曲させ、次に、歪曲された表面上の点の局所的な変位の関数として決められる局所的な変形を利用して第2の立体的な画像全体を弾性的に変形することによってなし得る方法の提供を目的とする。局所的な変形は3次元で決められることを更なる目的とする。
【0009】
【課題を解決するための手段】
簡単に言えば、上記及び他の目的を達成するため、本発明に従った3次元画像化方法は、格子点の3次元グリッドに体積要素を含む相対的に幾何学的に変形している第1の3次元画像及び第2の3次元画像のうちの一方を得るため、該一方の3次元画像に対応した画像化様式によって走査された対象の少なくとも一つの領域から走査情報を取得し、該第1の3次元画像及び該第2の3次元画像のうちの他方を利用できるように準備する手順(a)と、 空間的に離れた表面サンプル点を識別することによって、該第1の3次元画像から、該第1の3次元画像内で該対象の特徴を表わす第1の表面を抽出する手順(b)と、 空間的に離れた表面サンプル点を識別することによって、該第2の3次元画像から、該第2の3次元画像内で、該第1の3次元画像内で該第1の表面によって表わされた該対象の特徴と同じ特徴を表わす第2の表面を抽出する手順(c)と、 表面のマッチングによりこれら2つの表面の頂点に対する変位ベクトルの組を決定する手順(d)と、 大局的な変位成分を除去して前記変位ベクトルの組を調整することにより残りの残留ベクトルの組を形成する手順(e)と、 表面サンプル点の変形を弾性的にモデル化するように、減衰定数を有する空間的に減衰する重み付き関数を利用して、残留ベクトルの組から格子点グリッドに対応する3次元格子点の3次元変形ベクトルの組を決定する手順(f)と、 3次元変形ベクトルの組を適用して、該第2の3次元画像を補正画像に弾性的に変形させる手順(g)と、を有する。
【0010】
減衰定数は、比較的大きい値になるように選択され、初期的には、相対的に大きい弾性剛性に対応し、第1の3次元画像と第2の3次元画像の間の収束(位置合わせ)の目安が形成される。第1の3次元画像から表面を抽出するステップと、表面をマッチングするステップと、格子点変位ベクトルを決定するステップは、画像が十分に位置合わせされるまで反復され、ここで、減衰定数は、反復の各段毎に減少させられる。
【0011】
本発明の他の目的、特徴及び利点は、添付図面を参照して以下の詳細な説明により明らかになろう。
【0012】
【実施例】
図1を参照すると、例えば、必要とされる患者の体内領域のような同一物体を順次に走査し、そこから夫々の立体画像ボリューム1及ぶボリューム2を作成する磁気共鳴(MR)画像化器12と、X線コンピュータトモグラフィ(CT)画像化器14から成る多様式画像化装置10が一般的に示される。各立体画像は、3次元モード(例えば、螺旋状の走査を作るようCT画像化器の患者台を平行移動することにより)、又は一般的に平行な複数の横断面から成る多数の2次元画像として得られる。この画像化様式の組合せは例示的に示されており、MRとCTは特に相補的な情報を生成し、すなわち、CTは空間解像度が良好で特に良好な骨の影像を生成し、MRは柔らかい組織に関して良好な影像とコントラストを生成し、白と黒色素の識別及び通常の組織と腫瘍の識別を可能にするが、2以上の様式から成る他の組合せも利用し得る。更に、本発明の原理は、産業用検査応用にも適用できる。上述の何れの応用においても、2つの立体画像の位置合わせは必要である。説明の便宜上、例示された様式の画像化装置10の場合において説明をすすめる。
【0013】
MR及びCTの走査処理を果たすには、人体は、MR及びCT画像化器12、14のボア内に順次に置かれる必要がある。患者台又は画像化器の等中心に関して患者は正確には置かれないので、作成される立体画像の間のアラインメントは本来的に正確ではない。したがって、これら2つの画像化様式により作られる画像間の縮尺、空間解像度及び輝度解像度における容易に補正される通常の差異に加えて、画像中の人体の位置及び方向に重大な差異がある。更に、走査機器自体も幾何形状的な歪みを生じ得る。例えば、画像化される領域が頭部である場合のように、剛体である仮定を維持できる場合、位置と方向における差異は、大局的な平行移動と回転夫々により補正され得る。しかし、多くの検討、特に腫瘍領域の検討においては、剛体である仮定は、局所的な変形のため維持されない。
【0014】
MR画像化器12及びCT画像化器14夫々により作成される立体画像ボリューム1及びボリューム2は、画像位置合わせプロセッサ16に伝達される。そこで、縮尺、輝度解像度及び空間解像度の差異に対する通常の補正に加えて、例えば、例示される如く、ボリューム2は、補正された立体画像、すなわち、補正化ボリューム2へ弾性的に歪曲される。第1の立体画像ボリューム1と、第1の立体画像に位置合わせされたと想定される補正された第2の立体画像補正化ボリューム2の両方は、画像統合表示プロセッサ18に伝達される。プロセッサ18は、ディスプレイ20に伝達される2次元画像上に写された1以上の選択図を作成する。後者は、CRT面のようなディスプレイ画面22を含む。複数の選択図が横並びの関係で現れる。選択図は、一の立体画像を通り、斜め及び/又は非平面的な選択横断面に沿った体積画素より成り得る。異なる様式による同一の選択横断面の更なる図は、同じ視線に関して横並びの関係でディスプレイ画面22に写される。更に、統合画像が、2つの立体画像からの画像データを統合する横断面(又は投影)から作られ得る。これは、例えば、1以上のユーザ定義輪郭内の領域がMRデータであり、外側の領域はCTデータであるセグメンテーションにより達成される。或いは、すべての表示画素が各様式により提供される横断面画素の輝度の関数として発生される。例えば、これらのデータは、臨床上の大きな用途を提供し得る表示画素の輝度及び色属性に統合され得る。
【0015】
図2のフローチャートに示すようにプロセッサ16により実行される位置合わせ処理の説明を目的として、ボリューム1及び2は、一般的に間を隔てられた平行な多数の2次元横断面と見做される。3次元データも同様に隣接する1体積要素厚さの多数の横断面と見做される。2つの立体的なデータの集まり、すなわちボリューム1及び2は、立体により構成される横断面から対応する閉じた輪郭を抽出する夫々の輪郭抽出処理ブロック30及び32に供給される。これらの輪郭は、ボリューム1及び2夫々の対応する表面:
【0016】
【数1】
【0017】
及び
【0018】
【数2】
【0019】
上に位置する。
更なる進展によって走査される人体領域の体内の組み込み知識を利用して全輪郭抽出処理を完全に自動化し得ることが認められるが、現在の輪郭抽出処理の最良の実施態様はユーザ対話を含む。したがって、ボリューム1及び2の各々における1以上の横断面の画像はモニター上に表示され、ボリューム1及び2の対応する表面に置かれるように鮮明な輝度変化により良好に描かれる輪郭は、ユーザがマウス、トラックボール、ライトペン又はディジタイジングタブレットのような位置入力装置(図示されず)を使って輪郭を描いて指定される。ユーザにより入力された多少粗い輪郭線は、シード輪郭線として扱われる。MR立体画像及びCT立体画像の位置合わせに利用され得る適切に良好に描かれた対応する表面は、典型的には組織と骨の境目である。
【0020】
シード輪郭は、シード輪郭の隣接する近傍における輝度変化の位置に向けて引かれて、自動的に形状を平滑化されることが望ましい。シード輪郭を抽出された輪郭へ調節する現在の最良の態様は、M.Kass等により“スネーク:動作的輪郭モデル(Snakes:Active Contour Models)”、国際コンピュータビジョン学会誌(1988)、pp.321−331に最初に提案された“スネーク”と呼ばれる動作的輪郭最小化機能をエッジ、画像内の輪郭のような局所的特徴にロックオンする手段として利用し、一旦ロックオンされると、動作中にそれらを追跡し、又は立体視中にそれらのマッチングを行うことである。反復的に決められたスプライン状の閉じた輪郭に対する拡張は、S.Ranganath の共有に係る欧州特許出願明細書第A−0 521 559号、名称が“多相、多横断面心臓MRI 検討における画像間のシード輪郭の投影による輪郭抽出(Contour Extraction In Multi−Phase,Multi−Slice Cardiac MRI Studies By Propagation of Seed Contour Between Images) ”に記載されている。更に、Ranganath により示されるように、横断面に対して抽出された輪郭を隣接する横断面に対するシード輪郭に自動的に投影できることが望ましい。或いは、横断面に対して抽出された輪郭が、表示された隣接する横断面に対するシード輪郭に到達するようユーザが確認し又は調節するために、隣接する横断面の画像に表示され得る。したがって、体内の検討に対して必要で適当な程度のユーザ対話によって、各横断面に対してシード輪郭が創られる。
【0021】
反復法の最初の段において、横断面に対するスプライン状の閉じた輪郭は、その横断面に対するシード輪郭の形状と位置とになると仮定すると、反復法のあらゆる段において:
【0022】
【数3】
【0023】
と定められ、ここで、x(s)及びy(s)は、スプライン状輪郭方向の弧の長さの関数とした輪郭の座標である。系のエネルギーはスプラインから成り、隣接する環境との相互作用は、スプライン状輪郭に沿った内部エネルギーの積分と外部エネルギーの積分との和となるように定められ:
【0024】
【数4】
【0025】
ここで、スプライン状輪郭の位置sにおける点に作用する外力によるエネルギーは、画像から得られるエネルギーと、ユーザの入力により与えられるあらゆる拘束から得られるエネルギーとから成り、各エネルギーは輪郭点の座標の関数として定められる。
【0026】
【数5】
【0027】
スプライン状輪郭を輝度変化の強い画像点に引き込むことが望ましいので、画像エネルギー関数Eimage (V(S))は、かかる点において強い最小値を有するべきである。この関数に対する適切な選択により:
【0028】
【数6】
【0029】
ここで、I(V(s))は、スプライン状輪郭の位置sにおける点での横断面画像の輝度であり、∇はグラディエント演算子である。ユーザ定義拘束は、Ranganath により指摘される如く、ユーザにより入力された境界輪郭のような構成をなし、抽出されることが望ましい輪郭上に置かれない強い輝度グラディエントの近傍領域からスプライン状輪郭を遠ざけるよう高いエネルギーが割り当てられる。
【0030】
位置sにおける輪郭点の屈伸へのスプライン状輪郭の抵抗を表わす内部エネルギーは、次のように表わされる:
【0031】
【数7】
【0032】
下付き文字は派生源を示し、関数α(s) 及びμ(s) は、屈伸エネルギーに関係する。抽出される輪郭は、全エネルギー汎関数Eを最小化することにより分かる。連続の場合、オイラー・ラグランジェ方程式が最小値に対する必要な条件を与える。数値的な実施例として、標準的な微分の有限差分近似はオイラー・ラグランジェ方程式の離散バージョンを次のように与え:
【0033】
【数8】
【0034】
ここで、スプライン状輪郭は、座標x、yを有するB個の離散サンプル点から成り、F x 、F y は外部エネルギーの偏微分のB個の要素ベクトルであり、Aは、内部エネルギーパラメータα及びμだけに依存するB×Bの5次対角マトリクスである。Aの構造は、オーダーO(B)の演算においてその逆を許容する。この非線形陰方程式の対は、Kass等と同様な仮定を利用することにより簡単化され得て、1対の反復形方程式を与え:
【0035】
【数9】
【0036】
この解は、降下ステップサイズτを利用してエネルギー汎関数のローカルミニマムに収束する。各反復はオーダーO(B)の演算であるため、数値的にかなり効率が良い。
図3に示すように、ボリューム1及び2の各々に対して輪郭抽出は多数の輪郭Ωとなる。この輪郭は、抽出された表面上に各立体毎に集積的にサンプル点を構成する間を隔てられた点Pによりサンプリングされる。したがって、夫々のボリューム1及び2から抽出された表面:
【0037】
【数10】
【0038】
及び、
【0039】
【数11】
【0040】
上のサンプル点Pの集合は、夫々の3次元座標xi 、yi 、zi 及びxj 、yj 、zj の組を有する。ボリューム1及び2に対して、図2の処理ブロック34及び36夫々が適用され、図5に示す方法により線でこれらの点を相互接続し、夫々の抽出された表面:
【0041】
【数12】
【0042】
及び、
【0043】
【数13】
【0044】
を望ましくは3角形の、多角形パッチ表面Δc 及びΔd 夫々を用いて張る。ここに、各パッチ表面Δは一の輪郭Ω上の順次の2点Pの頂点と順次の輪郭上の1点Pとを有する。H.N.Christiansen等による“複雑な輪郭線定義の多角形要素モザイクへの変換(Conversion of complex contour line definitions into polygonal element mosaics) ”、コンピュータグラフィックス(Computer Graphics) 、第12号、1978年、pp.187−192に記載のアルゴリズムが、順次の輪郭の点の間の相互接続直線が最小の長さを有する方法で張るために利用されることが望ましい。a個及びb個の点を有する2つの輪郭が与えられると、この方法は、3角形パッチを作成するためにオーダーO(a+b)の演算を必要とする。実際上、輪郭は点数が少なくなるよう再度サンプリングされ、計算コストを更に低減させる。
【0045】
次に、表面:
【0046】
【数14】
【0047】
及び、
【0048】
【数15】
【0049】
は夫々の順序付けされた頂点と3角形パッチリストにより、頂点1≦i≦N1及び3角形パッチ1≦c≦T1に対して:
【0050】
【数16】
【0051】
と表わされ、頂点1≦j≦N2及び3角形パッチ1≦d≦T2に対して:
【0052】
【数17】
【0053】
と表わされる。
表面マッチングは、上述の如く、Burrにより提案された2次元アルゴリズムの拡張である3次元弾性方法を利用して図2の処理ブロック38において実行される。開始表面と目標表面とが与えられると、このアルゴリズムは、一方の表面を他方の表面へ変形する力の場を決める。目標表面は、目標表面と開始表面との間の局所パターンマッチより得られる力によって開始表面との位置合わせに向けて歪曲されると都合良い。このアルゴリズムは、反復ガウシアン平滑化変形モデルを利用する。このアルゴリズムのステップは次の通りである:
(a)2つの表面を粗く位置合わせして重ね合わせる。各表面の各頂点に対して、表面パッチ間の類似度を利用する距離測度に基づいて他方の表面から最近傍の3角形表面パッチを見つける。
【0054】
(b)夫々の2つの表面の頂点から他方の表面の最近傍3角形パッチへの2組の変位ベクトルを決める。
(c)2つの表面の2組の変位ベクトルから力の場を計算する。
(d)一方の表面を他方に反復的に変形する。
(e)目標変位ベクトルと1組の表面歪みベクトルを決める。
【0055】
逆も可能ではあるが、計算の容易さのため目標表面を開始表面に変形することが望ましい。したがって、これに基づいて説明を続ける。
これらのステップを以下に詳細に説明する。
(a)一方の表面から他方の頂点への最近傍パッチ
ベクトル表記、
【0056】
【数18】
【0057】
及び、
【0058】
【数19】
【0059】
は、粗い調節に関して位置合わせされた表面、
【0060】
【数20】
【0061】
及び、
【0062】
【数21】
【0063】
夫々の関連する頂点を参照するために利用される。類似度は、
【0064】
【数22】
【0065】
の各頂点に対して、
【0066】
【数23】
【0067】
のある3角形パッチΔd に置かれる対応する点を見つけるために採用されるべきである。頂点と3角形パッチとの間の非類似距離は、方向特性及び空間ユークリッド距離とを含む。非類似距離は、方向性の不一致度と位置的な差の和となるように定められる。
図5の(a)及び(b)は、表面:
【0068】
【数24】
【0069】
の頂点:
【0070】
【数25】
【0071】
から、表面:
【0072】
【数26】
【0073】
の3角形パッチΔd への、強度ρ(i,d) を有する位置的な差を決めるための幾何的関係を例示する。
【0074】
【数27】
【0075】
を、
【0076】
【数28】
【0077】
からΔd への垂線の交差点とする。図5の(a)は、
【0078】
【数29】
【0079】
がΔd 上又はΔd の内側に置かれる場合を示す。この場合:
【0080】
【数30】
【0081】
しかし、図5の(b)に示すように、
【0082】
【数31】
【0083】
がΔd の外側に置かれる場合、
【0084】
【数32】
【0085】
は、
【0086】
【数33】
【0087】
に最近傍の3角形頂点であり、したがって:
【0088】
【数34】
【0089】
になる。
頂点:
【0090】
【数35】
【0091】
と、3角形パッチΔd との間の方向性の不一致度ω(i,d) は、Δd の平面と頂点として、
【0092】
【数36】
【0093】
を共有するパッチとの方向の関数である。特に、平面間の角度の正弦の平均である。平面が平行な場合、方向性の不一致度は0になる。それらが直交する場合、それは1になる。それ以外の場合、その値は0と1の間にある。
したがって、頂点:
【0094】
【数37】
【0095】
と、3角形パッチΔd との間の非類似距離の合計δ(i,d) は:
【0096】
【数38】
【0097】
のように定められる。
位置的な差が支配的な項である。方向性の不一致度は、2つの位置的な差の値が極めて近い場合、曖昧さを取り除くために利用される。頂点:
【0098】
【数39】
【0099】
に対して、
【0100】
【数40】
【0101】
内の最短距離の3角形パッチは、添字di を利用して:
【0102】
【数41】
【0103】
のように表わされる。
(b)変位ベクトル
頂点への最近傍3角形パッチの検出後の次のステップは、その変位ベクトルを決めることである。図5の(a)及び(b)は、頂点:
【0104】
【数42】
【0105】
及び、3角形パッチΔd に関連する変位ベクトル:
【0106】
【数43】
【0107】
の幾何的関係を示す。垂線の足の点:
【0108】
【数44】
【0109】
が3角形(図5の(a))の上、又は内側にある場合、変位ベクトルは:
【0110】
【数45】
【0111】
になる。
しかし、
【0112】
【数46】
【0113】
が3角形(図5の(b))の外側に下りる場合、変位ベクトルは、3角形Δd の最近傍点:
【0114】
【数47】
【0115】
に接続し、:
【0116】
【数48】
【0117】
である。
開始表面と目標表面の役割を逆転すると、変位ベクトル:
【0118】
【数49】
【0119】
が、
【0120】
【数50】
【0121】
の各頂点:
【0122】
【数51】
【0123】
に定められ得る。図6の(a)及び(b)は1対の表面の部分の変位ベクトルを示す。これらのベクトル場は、一方の表面に作用し、他方の表面と同じになるようにそれを変形させる力を表わす。一の表面を弾性特性によりモデル化することにより、それは力の場に応じ得るが、平滑化効果にも寄与し、局所的なマッチ誤差を縮小する。
(c)力の場の決定
表面:
【0124】
【数52】
【0125】
に作用する平滑化された変位ベクトルから成る力の場:
【0126】
【数53】
【0127】
は、隣接する変位ベクトルの重み付けされた平均として定められる。ガウシアン重み関数は、隣接する位置にはより大きな影響を与え、離れた位置にはより小さな影響を与える。平滑化された変位場:
【0128】
【数54】
【0129】
は、押す力と引く力の関数になり:
【0130】
【数55】
【0131】
ここで、G1i 及びG2j はガウシアン重み係数であり:
【0132】
【数56】
【0133】
により定められ、γはダンピング係数である。1より小さな値はオーバーシュートになり、1より大きな値はアンダーシュートになる。σk は:
【0134】
【数57】
【0135】
のように定められ、ここで、fは定数であり、1≦f≦2である。σk はk番目の反復における平滑化近傍であり、各反復の後に徐々に減少させられる。
(d)一方の表面の他方の表面への反復的変形
再び、開始表面を、
【0136】
【数58】
【0137】
とし、目標表面を:
【0138】
【数59】
【0139】
とする。最初に、
【0140】
【数60】
【0141】
が計算され、ここで、上付き文字は0番目の反復を示す。
【0142】
【数61】
【0143】
から、表面:
【0144】
【数62】
【0145】
を次のように定める:
【0146】
【数63】
【0147】
一般に:
【0148】
【数64】
【0149】
となる。反復法は:
【0150】
【数65】
【0151】
の場合停止し、ここで、εは所定の小さな数である。
したがって、
【0152】
【数66】
【0153】
の頂点を表面:
【0154】
【数67】
【0155】
に位置合わせするために必要とされる変位ベクトルは:
【0156】
【数68】
【0157】
により、1≦i≦N1に対して与えられる。実際には、表面の多数の対があり得る。各対は別々にマッチングをされ、個別の変位ベクトルの組:
【0158】
【数69】
【0159】
が得られ、ここで、下付き文字は対mを示す。全部でM個の表面の対がある場合、最終的な変位ベクトルの組:
【0160】
【数70】
【0161】
は、1≦l≦Qに対して:
【0162】
【数71】
【0163】
により与えられ、ここで、Qは結合されたすべての対のベクトルの全数を表わす。したがって:
【0164】
【数72】
【0165】
である。
大局的な平行移動ベクトル及び局所的な残留ベクトル
変位ベクトル:
【0166】
【数73】
【0167】
は、図7に示されるように大局的な平行移動ベクトルと局所的な残留ベクトルの組の和として表わされる。(xcg、ycg、zcg)が変位ベクトルの組の合計:
【0168】
【数74】
【0169】
の中心を表わすことにする。
【0170】
【数75】
【0171】
の大局的な平行移動は、2つの立体における表面の粗い位置合わせを表わす。したがって、残留ベクトルは:
【0172】
【数76】
【0173】
により、1≦l≦Qに対して与えられる。これらの残留ベクトルは、表面の局所的な歪みを表わす。
更なるマッチング情報のない場合、変形された立体の格子点の歪みは、図8に示されるように格子点に作用する立体歪みベクトルを決めるようボリューム2全体に、
【0174】
【数77】
【0175】
を補間して、図2の処理ブロック40において、近似される。表面はランダムな方向を有すると想定されるので、重み付き平均補間法が採用される。格子点(x、y、z)における立体歪みベクトルは:
【0176】
【数78】
【0177】
により与えられ、ここで、Fl (x,y,z) は、残留ベクトルlの(x、y、z)における歪みへの寄与に関する重み付き係数である。距離ベクトルは接近したベクトルに比べて格子点における歪み計算に及ぼす影響が小さいので、重み付き係数は距離に伴って減少する。重みは、遠い距離に対し漸次に零に収束し、正になるべきである。重み付き関数の正確な形式は、多少任意性がある。指数関数的な減衰関数が重み付き係数として選ばれているが、ガウシアンのような他の関数も利用され得る。したがって、1≦l≦Qに対して:
【0178】
【数79】
【0179】
であり、βはベクトルの有効な相互作用近傍を決める減衰定数である。大きなβの値は、隣接したベクトルに非零の重みを本質的に与える小さなβの値に比べ、遠い残留ベクトルに対してより有意な重みを与える。βの初期値は手動的に選ばれ、2つの立体の間の変形の総和に依存する。一方の立体が他方に比べて極めて歪められる場合、大きなβの値が最初に選ばれる。これにより、略剛性的な変形が得られ、立体の亀裂を避ける。
【0180】
目標表面は、開始表面とボリューム1に関して決められる歪みベクトルに歪曲されるので、大局的な平行移動ベクトル:
【0181】
【数80】
【0182】
とボリューム2の格子点に作用させられる歪みベクトルの和の負数は、一般的には格子点に中心が一致せず、周囲の格子点に関する補間により決められる輝度がボリューム2内の格子点に置かれる、体積要素のボリューム2内での位置を示す。開始表面は目標表面へ歪曲され、平行移動ベクトル:
【0183】
【数81】
【0184】
と、歪みベクトル:
【0185】
【数82】
【0186】
がボリューム2の格子点を再配置するよう適用されたならば、ボリューム2の再サンプリングの補間が必要になる。何れの場合であっても、補間は3つの線で囲まれるのが望ましく、歪みベクトルの適用の結果ボリューム2の格子点における補間輝度の図2の処理ブロック44において得られる決定は、位置合わせ法の1回の反復を終了させる。
【0187】
図2のブロック44において、変位ベクトルの大きさの正規化された和によって位置合わせミスが測定される。立体の位置が合わされたと見做され、反復法が停止するのは:
【0188】
【数83】
【0189】
の場合であり、ここで、Tは所定の小さな閾値である。
位置合わせに関する上記の評価式が満たされない限り、ブロック46を介して、輪郭抽出、表面形成、表面マッチング及び変形計算のステップがボックス42により最後に変形されたボリューム2を始めとして繰り返される。ボックス46において、ベクトルの相互作用近傍を縮小し、細かい細部のマッチングを可能にさせるよう各反復でβが減少させられる。これにより、反復毎に立体の弾性的な剛さは効果的に低減され、立体がより厳密に位置合わせされるにつれて、より局所化されたマッチングへの要求が満たされる。
【0190】
【数84】
【0191】
はν番目の反復時のβの値を表わし、β0 は最初の開始値であるとする。経験的に、
【0192】
【数85】
【0193】
となり、ここで、hは1と2の間になるよう選ばれる定数である。
上記により、本発明の目的は立体的な画像の位置合わせにおいて満たされることが明らかになろう。本発明が特定の詳細に関して説明されているが、本発明の意図した精神と目的の範囲内において多数の変更が可能になることも認められよう。
【図面の簡単な説明】
【図1】本発明の原理による第1及び第2の立体的な画像を位置合わせする位置合わせプロセッサを含む画像化装置の概略図である。
【図2】図1の位置合わせプロセッサの動作フローチャートである。
【図3】各立体的な画像に関して図2に示すフローチャートの輪郭抽出ステップにより抽出された輪郭を3次元的に示す図である。
【図4】各立体的な画像に関して図2に示すフローチャートの3角形パッチ表面形成ステップによる表面張りを3次元的に示す図である。
【図5】図2に示すフローチャートの表面対弾性マッチングを行うステップにおける一方の立体的な画像のパッチ表面頂点からの変位ベクトルの決定に関する2つの異なる場合の幾何的構造を3次元的に示す図である。
【図6】図2に示すフローチャートの表面対弾性マッチングステップにより決められる、第1及び第2の立体的な画像の夫々のパッチ表面頂点に関連する第1及び第2の変位ベクトルの組夫々を3次元的に示す図である。
【図7】図2に示すフローチャートの表面対弾性マッチングステップより決められる大局的な変位と表面歪みベクトルとを3次元的に示す図である。
【図8】図2に示すフローチャートの3次元立体歪みベクトル計算ステップの結果を3次元的に示す図である。
【符号の説明】
10 多様式画像化装置
12 磁気共鳴(MR)画像化器
14 X線コンピュータトモグラフィ(CT)画像化器
16 画像位置合わせプロセッサ
18 画像統合表示プロセッサ
20 ディスプレイ
22 ディスプレイ画面
30,32 輪郭抽出処理
34,36 多角形パッチ処理
38 表面マッチング処理
40 立体歪みベクトル算出処理
42 立体変形処理
44 位置合わせ結果判定処理
46 ベクトル相互作用近傍縮小処理
【産業上の利用分野】
本発明は、少なくとも一の画像は画像化装置により人体を走査して得られる人体の2以上の画像、或いはその領域のマッチング、位置合わせ、統合、又は相関を行う方法に関する。本発明は、その特定の面において、画像化された人体の領域が、弾性的な変形と説明される局所的な幾何形状的変形を示す2以上の立体的な画像のマッチングに関する。
【0002】
【従来の技術】
種々の画像化様式から得られ、又は種々の時点に同じ様式から得られる立体的画像の統合利用、或いは標準画像への画像のマッチングは、多様な工業用及び医療用の応用を有する。医療画像分野において、3次元画像の検討は、X線コンピュータトモグラフィ(CT)、磁気共鳴画像(MRI)、ポジトロンエミッショントモグラフィ(PET)、シングルフォトンエミッションコンピュータトモグラフィ(SPECT)、及び超音波様式により得られる。更に、多数の横断面の各々に対する2次元画像データとして立体的な画像データの組を収集することが共通の実施法である。しかし、収集された立体的な画像は、輝度の値、又は規則的な3次元グリッド内の格子点に中心を置く体積要素を有する。
【0003】
上記の様式は、相補的な情報を屡々提供するが、一般的には位置、方向、及びスケールの差と同時に空間とコントラスト解像度の差により特徴付けられる。その上、標準的な画像は、例えば、コンピュータ化された解剖学図表による比較の目的に利用し得る。2以上のかかる画像の統合的利用は、機能的/解剖学的な相関、放射線治療計画、手術計画及び回顧的検討に応用し得る。かかる応用はすべて、画像が互いに位置合わせされることを必要とする。
【0004】
平行移動、回転及び縮尺を補正する大局的なアフィン変換が頭部画像の位置合わせに適用され、ここに、人体は固定され続けると仮定する。目標物のマッチング方法により、目標物を十分に位置合わせするよう剛性的ではない変換を補正し得る大局的な多項式変換が得られる。しかし、局所的な変形はこれによって説明できない。
【0005】
Burr(D.J.Burrによる“画像位置合わせの動的モデル(A Dynamic Model for Image Registration)”、コンピュータグラフィックス画像処理(Comput. Graphics Image Process.) 、15、1981、pp.102−112)は、変形された2次元画像の自動位置合わせの処理を提案し、その中で、一方の画像の各点における最近傍ベクトルが、ガウシアン協調平滑化をうける他方の画像の矩形近傍内の最類似点にその点を接続して定められる。かかる解決法は、輝度パターン中に強い局所的な相関がないので医療用濃淡階調画像には利用できない。Burr(D.J.Burrによる“線画の弾性マッチング(Elastic Matching of Line drawings) ”、IEEEパターン解析機械知能論文誌(IEEE Trans. Pattern Anal. Mach. Intelligence)、PAMI−3、第6 号、1981年、pp.708−713)は、点と接続している線セグメントとの交互の連なりから成る線画の一方の線画上の点から他方の線画上の最近傍の線セグメントに垂直に向けられる特徴変位ベクトルを利用する弾性マッチングも提案し、以下ではこれを「Burrのアルゴリズム」と呼ぶ。特徴変位ベクトル場の平滑化は線画の弾性により行われる。Burrのアルゴリズムは2つの順次の連続横断面における輪郭の間の弾性的な補間にも利用される(W.C.Lin 等による“連続横断面からの3次元医療用画像再生用動的弾性補間(Dynamic elastic interpolation for 3−D medical image reconstruction from serial cross sections) ”、IEEE医療用画像論文誌、7 巻、3 号、1988年9 月、pp.225−232)。
【0006】
Broit及びBacsy(R.Bacsy 等による、“変形された画像のマッチング(Matching of deformed images) ”、第6回パターン認識国際会議予稿集、ミュンヘン、1982年、pp.351−353)は、弾性的な変形による2次元モデルベースド物体マッチング法を報告し、ここで、マッチングは変形モデルと類似性測度を組み合わせるコスト汎関数を有する最小化問題として定式化される。変形モデルは、大局的に平滑化された弾性物体の変形エネルギーを含む。この方法は、後にBacsy及びKovacicにより3次元に拡張された(R.Bacsy 等による“多重解像弾性マッチング(Multiresolution elastic matching)”、コンピュータビジョン(Computer Vision) 、グラフィックスと画像処理(Graphics, and Image Processing)、46号、1989年、pp.1−21 )。
【0007】
本発明者は、以前(M.Moshfeghi による“医療における多様式画像位置合わせ法(Multimodarity Image Registration Techniques in Medicine) ”、医学及び生物学におけるIEEEエンジニアリング学会第11回定例国際会議予稿集、1989年、pp.2007−2008、及び、M.Moshfeghi による“多様式医療用画像の弾性マッチング(Elastic Matching of Multimodarity Medical Images)”、CVGIP:グラフィカルモデル及び画像処理(Graphical Models and Image Processing) 、第53巻、第 3号、1991年5 月、pp.271−282)にBurrのアルゴリズムの拡張を利用して基準画像からの目標輪郭に弾性的に変形された画像からの候補輪郭を反復的に歪曲させることによって、対応する輪郭の抽出、及びマッチングを行う2次元局所位置合わせ法を報告した。候補輪郭と目標輪郭との間の点対の対応は、候補輪郭に沿った点に適用される局所変位ベクトルを決めるために利用される。大局的な画像シフトの減算後に残る局所変位ベクトルは、長い距離の間に徐々に零に減衰する重み付き関数を利用して全画像上に補間される。したがって、このアルゴリズムを3次元に拡張して、対応する表面の弾性的な変形を利用する必要性が言及された。この従来技術の拡張が本出願の課題である。
【0008】
【発明が解決しようとする課題】
本発明は、少なくとも一方は一つの画像化様式から得られる相互に変形された第1及び第2の立体的な画像の位置合わせを、夫々の立体的な画像から対応する表面を抽出し、一方の抽出された表面を他方へ歪曲させ、次に、歪曲された表面上の点の局所的な変位の関数として決められる局所的な変形を利用して第2の立体的な画像全体を弾性的に変形することによってなし得る方法の提供を目的とする。局所的な変形は3次元で決められることを更なる目的とする。
【0009】
【課題を解決するための手段】
簡単に言えば、上記及び他の目的を達成するため、本発明に従った3次元画像化方法は、格子点の3次元グリッドに体積要素を含む相対的に幾何学的に変形している第1の3次元画像及び第2の3次元画像のうちの一方を得るため、該一方の3次元画像に対応した画像化様式によって走査された対象の少なくとも一つの領域から走査情報を取得し、該第1の3次元画像及び該第2の3次元画像のうちの他方を利用できるように準備する手順(a)と、 空間的に離れた表面サンプル点を識別することによって、該第1の3次元画像から、該第1の3次元画像内で該対象の特徴を表わす第1の表面を抽出する手順(b)と、 空間的に離れた表面サンプル点を識別することによって、該第2の3次元画像から、該第2の3次元画像内で、該第1の3次元画像内で該第1の表面によって表わされた該対象の特徴と同じ特徴を表わす第2の表面を抽出する手順(c)と、 表面のマッチングによりこれら2つの表面の頂点に対する変位ベクトルの組を決定する手順(d)と、 大局的な変位成分を除去して前記変位ベクトルの組を調整することにより残りの残留ベクトルの組を形成する手順(e)と、 表面サンプル点の変形を弾性的にモデル化するように、減衰定数を有する空間的に減衰する重み付き関数を利用して、残留ベクトルの組から格子点グリッドに対応する3次元格子点の3次元変形ベクトルの組を決定する手順(f)と、 3次元変形ベクトルの組を適用して、該第2の3次元画像を補正画像に弾性的に変形させる手順(g)と、を有する。
【0010】
減衰定数は、比較的大きい値になるように選択され、初期的には、相対的に大きい弾性剛性に対応し、第1の3次元画像と第2の3次元画像の間の収束(位置合わせ)の目安が形成される。第1の3次元画像から表面を抽出するステップと、表面をマッチングするステップと、格子点変位ベクトルを決定するステップは、画像が十分に位置合わせされるまで反復され、ここで、減衰定数は、反復の各段毎に減少させられる。
【0011】
本発明の他の目的、特徴及び利点は、添付図面を参照して以下の詳細な説明により明らかになろう。
【0012】
【実施例】
図1を参照すると、例えば、必要とされる患者の体内領域のような同一物体を順次に走査し、そこから夫々の立体画像ボリューム1及ぶボリューム2を作成する磁気共鳴(MR)画像化器12と、X線コンピュータトモグラフィ(CT)画像化器14から成る多様式画像化装置10が一般的に示される。各立体画像は、3次元モード(例えば、螺旋状の走査を作るようCT画像化器の患者台を平行移動することにより)、又は一般的に平行な複数の横断面から成る多数の2次元画像として得られる。この画像化様式の組合せは例示的に示されており、MRとCTは特に相補的な情報を生成し、すなわち、CTは空間解像度が良好で特に良好な骨の影像を生成し、MRは柔らかい組織に関して良好な影像とコントラストを生成し、白と黒色素の識別及び通常の組織と腫瘍の識別を可能にするが、2以上の様式から成る他の組合せも利用し得る。更に、本発明の原理は、産業用検査応用にも適用できる。上述の何れの応用においても、2つの立体画像の位置合わせは必要である。説明の便宜上、例示された様式の画像化装置10の場合において説明をすすめる。
【0013】
MR及びCTの走査処理を果たすには、人体は、MR及びCT画像化器12、14のボア内に順次に置かれる必要がある。患者台又は画像化器の等中心に関して患者は正確には置かれないので、作成される立体画像の間のアラインメントは本来的に正確ではない。したがって、これら2つの画像化様式により作られる画像間の縮尺、空間解像度及び輝度解像度における容易に補正される通常の差異に加えて、画像中の人体の位置及び方向に重大な差異がある。更に、走査機器自体も幾何形状的な歪みを生じ得る。例えば、画像化される領域が頭部である場合のように、剛体である仮定を維持できる場合、位置と方向における差異は、大局的な平行移動と回転夫々により補正され得る。しかし、多くの検討、特に腫瘍領域の検討においては、剛体である仮定は、局所的な変形のため維持されない。
【0014】
MR画像化器12及びCT画像化器14夫々により作成される立体画像ボリューム1及びボリューム2は、画像位置合わせプロセッサ16に伝達される。そこで、縮尺、輝度解像度及び空間解像度の差異に対する通常の補正に加えて、例えば、例示される如く、ボリューム2は、補正された立体画像、すなわち、補正化ボリューム2へ弾性的に歪曲される。第1の立体画像ボリューム1と、第1の立体画像に位置合わせされたと想定される補正された第2の立体画像補正化ボリューム2の両方は、画像統合表示プロセッサ18に伝達される。プロセッサ18は、ディスプレイ20に伝達される2次元画像上に写された1以上の選択図を作成する。後者は、CRT面のようなディスプレイ画面22を含む。複数の選択図が横並びの関係で現れる。選択図は、一の立体画像を通り、斜め及び/又は非平面的な選択横断面に沿った体積画素より成り得る。異なる様式による同一の選択横断面の更なる図は、同じ視線に関して横並びの関係でディスプレイ画面22に写される。更に、統合画像が、2つの立体画像からの画像データを統合する横断面(又は投影)から作られ得る。これは、例えば、1以上のユーザ定義輪郭内の領域がMRデータであり、外側の領域はCTデータであるセグメンテーションにより達成される。或いは、すべての表示画素が各様式により提供される横断面画素の輝度の関数として発生される。例えば、これらのデータは、臨床上の大きな用途を提供し得る表示画素の輝度及び色属性に統合され得る。
【0015】
図2のフローチャートに示すようにプロセッサ16により実行される位置合わせ処理の説明を目的として、ボリューム1及び2は、一般的に間を隔てられた平行な多数の2次元横断面と見做される。3次元データも同様に隣接する1体積要素厚さの多数の横断面と見做される。2つの立体的なデータの集まり、すなわちボリューム1及び2は、立体により構成される横断面から対応する閉じた輪郭を抽出する夫々の輪郭抽出処理ブロック30及び32に供給される。これらの輪郭は、ボリューム1及び2夫々の対応する表面:
【0016】
【数1】
【0017】
及び
【0018】
【数2】
【0019】
上に位置する。
更なる進展によって走査される人体領域の体内の組み込み知識を利用して全輪郭抽出処理を完全に自動化し得ることが認められるが、現在の輪郭抽出処理の最良の実施態様はユーザ対話を含む。したがって、ボリューム1及び2の各々における1以上の横断面の画像はモニター上に表示され、ボリューム1及び2の対応する表面に置かれるように鮮明な輝度変化により良好に描かれる輪郭は、ユーザがマウス、トラックボール、ライトペン又はディジタイジングタブレットのような位置入力装置(図示されず)を使って輪郭を描いて指定される。ユーザにより入力された多少粗い輪郭線は、シード輪郭線として扱われる。MR立体画像及びCT立体画像の位置合わせに利用され得る適切に良好に描かれた対応する表面は、典型的には組織と骨の境目である。
【0020】
シード輪郭は、シード輪郭の隣接する近傍における輝度変化の位置に向けて引かれて、自動的に形状を平滑化されることが望ましい。シード輪郭を抽出された輪郭へ調節する現在の最良の態様は、M.Kass等により“スネーク:動作的輪郭モデル(Snakes:Active Contour Models)”、国際コンピュータビジョン学会誌(1988)、pp.321−331に最初に提案された“スネーク”と呼ばれる動作的輪郭最小化機能をエッジ、画像内の輪郭のような局所的特徴にロックオンする手段として利用し、一旦ロックオンされると、動作中にそれらを追跡し、又は立体視中にそれらのマッチングを行うことである。反復的に決められたスプライン状の閉じた輪郭に対する拡張は、S.Ranganath の共有に係る欧州特許出願明細書第A−0 521 559号、名称が“多相、多横断面心臓MRI 検討における画像間のシード輪郭の投影による輪郭抽出(Contour Extraction In Multi−Phase,Multi−Slice Cardiac MRI Studies By Propagation of Seed Contour Between Images) ”に記載されている。更に、Ranganath により示されるように、横断面に対して抽出された輪郭を隣接する横断面に対するシード輪郭に自動的に投影できることが望ましい。或いは、横断面に対して抽出された輪郭が、表示された隣接する横断面に対するシード輪郭に到達するようユーザが確認し又は調節するために、隣接する横断面の画像に表示され得る。したがって、体内の検討に対して必要で適当な程度のユーザ対話によって、各横断面に対してシード輪郭が創られる。
【0021】
反復法の最初の段において、横断面に対するスプライン状の閉じた輪郭は、その横断面に対するシード輪郭の形状と位置とになると仮定すると、反復法のあらゆる段において:
【0022】
【数3】
【0023】
と定められ、ここで、x(s)及びy(s)は、スプライン状輪郭方向の弧の長さの関数とした輪郭の座標である。系のエネルギーはスプラインから成り、隣接する環境との相互作用は、スプライン状輪郭に沿った内部エネルギーの積分と外部エネルギーの積分との和となるように定められ:
【0024】
【数4】
【0025】
ここで、スプライン状輪郭の位置sにおける点に作用する外力によるエネルギーは、画像から得られるエネルギーと、ユーザの入力により与えられるあらゆる拘束から得られるエネルギーとから成り、各エネルギーは輪郭点の座標の関数として定められる。
【0026】
【数5】
【0027】
スプライン状輪郭を輝度変化の強い画像点に引き込むことが望ましいので、画像エネルギー関数Eimage (V(S))は、かかる点において強い最小値を有するべきである。この関数に対する適切な選択により:
【0028】
【数6】
【0029】
ここで、I(V(s))は、スプライン状輪郭の位置sにおける点での横断面画像の輝度であり、∇はグラディエント演算子である。ユーザ定義拘束は、Ranganath により指摘される如く、ユーザにより入力された境界輪郭のような構成をなし、抽出されることが望ましい輪郭上に置かれない強い輝度グラディエントの近傍領域からスプライン状輪郭を遠ざけるよう高いエネルギーが割り当てられる。
【0030】
位置sにおける輪郭点の屈伸へのスプライン状輪郭の抵抗を表わす内部エネルギーは、次のように表わされる:
【0031】
【数7】
【0032】
下付き文字は派生源を示し、関数α(s) 及びμ(s) は、屈伸エネルギーに関係する。抽出される輪郭は、全エネルギー汎関数Eを最小化することにより分かる。連続の場合、オイラー・ラグランジェ方程式が最小値に対する必要な条件を与える。数値的な実施例として、標準的な微分の有限差分近似はオイラー・ラグランジェ方程式の離散バージョンを次のように与え:
【0033】
【数8】
【0034】
ここで、スプライン状輪郭は、座標x、yを有するB個の離散サンプル点から成り、F x 、F y は外部エネルギーの偏微分のB個の要素ベクトルであり、Aは、内部エネルギーパラメータα及びμだけに依存するB×Bの5次対角マトリクスである。Aの構造は、オーダーO(B)の演算においてその逆を許容する。この非線形陰方程式の対は、Kass等と同様な仮定を利用することにより簡単化され得て、1対の反復形方程式を与え:
【0035】
【数9】
【0036】
この解は、降下ステップサイズτを利用してエネルギー汎関数のローカルミニマムに収束する。各反復はオーダーO(B)の演算であるため、数値的にかなり効率が良い。
図3に示すように、ボリューム1及び2の各々に対して輪郭抽出は多数の輪郭Ωとなる。この輪郭は、抽出された表面上に各立体毎に集積的にサンプル点を構成する間を隔てられた点Pによりサンプリングされる。したがって、夫々のボリューム1及び2から抽出された表面:
【0037】
【数10】
【0038】
及び、
【0039】
【数11】
【0040】
上のサンプル点Pの集合は、夫々の3次元座標xi 、yi 、zi 及びxj 、yj 、zj の組を有する。ボリューム1及び2に対して、図2の処理ブロック34及び36夫々が適用され、図5に示す方法により線でこれらの点を相互接続し、夫々の抽出された表面:
【0041】
【数12】
【0042】
及び、
【0043】
【数13】
【0044】
を望ましくは3角形の、多角形パッチ表面Δc 及びΔd 夫々を用いて張る。ここに、各パッチ表面Δは一の輪郭Ω上の順次の2点Pの頂点と順次の輪郭上の1点Pとを有する。H.N.Christiansen等による“複雑な輪郭線定義の多角形要素モザイクへの変換(Conversion of complex contour line definitions into polygonal element mosaics) ”、コンピュータグラフィックス(Computer Graphics) 、第12号、1978年、pp.187−192に記載のアルゴリズムが、順次の輪郭の点の間の相互接続直線が最小の長さを有する方法で張るために利用されることが望ましい。a個及びb個の点を有する2つの輪郭が与えられると、この方法は、3角形パッチを作成するためにオーダーO(a+b)の演算を必要とする。実際上、輪郭は点数が少なくなるよう再度サンプリングされ、計算コストを更に低減させる。
【0045】
次に、表面:
【0046】
【数14】
【0047】
及び、
【0048】
【数15】
【0049】
は夫々の順序付けされた頂点と3角形パッチリストにより、頂点1≦i≦N1及び3角形パッチ1≦c≦T1に対して:
【0050】
【数16】
【0051】
と表わされ、頂点1≦j≦N2及び3角形パッチ1≦d≦T2に対して:
【0052】
【数17】
【0053】
と表わされる。
表面マッチングは、上述の如く、Burrにより提案された2次元アルゴリズムの拡張である3次元弾性方法を利用して図2の処理ブロック38において実行される。開始表面と目標表面とが与えられると、このアルゴリズムは、一方の表面を他方の表面へ変形する力の場を決める。目標表面は、目標表面と開始表面との間の局所パターンマッチより得られる力によって開始表面との位置合わせに向けて歪曲されると都合良い。このアルゴリズムは、反復ガウシアン平滑化変形モデルを利用する。このアルゴリズムのステップは次の通りである:
(a)2つの表面を粗く位置合わせして重ね合わせる。各表面の各頂点に対して、表面パッチ間の類似度を利用する距離測度に基づいて他方の表面から最近傍の3角形表面パッチを見つける。
【0054】
(b)夫々の2つの表面の頂点から他方の表面の最近傍3角形パッチへの2組の変位ベクトルを決める。
(c)2つの表面の2組の変位ベクトルから力の場を計算する。
(d)一方の表面を他方に反復的に変形する。
(e)目標変位ベクトルと1組の表面歪みベクトルを決める。
【0055】
逆も可能ではあるが、計算の容易さのため目標表面を開始表面に変形することが望ましい。したがって、これに基づいて説明を続ける。
これらのステップを以下に詳細に説明する。
(a)一方の表面から他方の頂点への最近傍パッチ
ベクトル表記、
【0056】
【数18】
【0057】
及び、
【0058】
【数19】
【0059】
は、粗い調節に関して位置合わせされた表面、
【0060】
【数20】
【0061】
及び、
【0062】
【数21】
【0063】
夫々の関連する頂点を参照するために利用される。類似度は、
【0064】
【数22】
【0065】
の各頂点に対して、
【0066】
【数23】
【0067】
のある3角形パッチΔd に置かれる対応する点を見つけるために採用されるべきである。頂点と3角形パッチとの間の非類似距離は、方向特性及び空間ユークリッド距離とを含む。非類似距離は、方向性の不一致度と位置的な差の和となるように定められる。
図5の(a)及び(b)は、表面:
【0068】
【数24】
【0069】
の頂点:
【0070】
【数25】
【0071】
から、表面:
【0072】
【数26】
【0073】
の3角形パッチΔd への、強度ρ(i,d) を有する位置的な差を決めるための幾何的関係を例示する。
【0074】
【数27】
【0075】
を、
【0076】
【数28】
【0077】
からΔd への垂線の交差点とする。図5の(a)は、
【0078】
【数29】
【0079】
がΔd 上又はΔd の内側に置かれる場合を示す。この場合:
【0080】
【数30】
【0081】
しかし、図5の(b)に示すように、
【0082】
【数31】
【0083】
がΔd の外側に置かれる場合、
【0084】
【数32】
【0085】
は、
【0086】
【数33】
【0087】
に最近傍の3角形頂点であり、したがって:
【0088】
【数34】
【0089】
になる。
頂点:
【0090】
【数35】
【0091】
と、3角形パッチΔd との間の方向性の不一致度ω(i,d) は、Δd の平面と頂点として、
【0092】
【数36】
【0093】
を共有するパッチとの方向の関数である。特に、平面間の角度の正弦の平均である。平面が平行な場合、方向性の不一致度は0になる。それらが直交する場合、それは1になる。それ以外の場合、その値は0と1の間にある。
したがって、頂点:
【0094】
【数37】
【0095】
と、3角形パッチΔd との間の非類似距離の合計δ(i,d) は:
【0096】
【数38】
【0097】
のように定められる。
位置的な差が支配的な項である。方向性の不一致度は、2つの位置的な差の値が極めて近い場合、曖昧さを取り除くために利用される。頂点:
【0098】
【数39】
【0099】
に対して、
【0100】
【数40】
【0101】
内の最短距離の3角形パッチは、添字di を利用して:
【0102】
【数41】
【0103】
のように表わされる。
(b)変位ベクトル
頂点への最近傍3角形パッチの検出後の次のステップは、その変位ベクトルを決めることである。図5の(a)及び(b)は、頂点:
【0104】
【数42】
【0105】
及び、3角形パッチΔd に関連する変位ベクトル:
【0106】
【数43】
【0107】
の幾何的関係を示す。垂線の足の点:
【0108】
【数44】
【0109】
が3角形(図5の(a))の上、又は内側にある場合、変位ベクトルは:
【0110】
【数45】
【0111】
になる。
しかし、
【0112】
【数46】
【0113】
が3角形(図5の(b))の外側に下りる場合、変位ベクトルは、3角形Δd の最近傍点:
【0114】
【数47】
【0115】
に接続し、:
【0116】
【数48】
【0117】
である。
開始表面と目標表面の役割を逆転すると、変位ベクトル:
【0118】
【数49】
【0119】
が、
【0120】
【数50】
【0121】
の各頂点:
【0122】
【数51】
【0123】
に定められ得る。図6の(a)及び(b)は1対の表面の部分の変位ベクトルを示す。これらのベクトル場は、一方の表面に作用し、他方の表面と同じになるようにそれを変形させる力を表わす。一の表面を弾性特性によりモデル化することにより、それは力の場に応じ得るが、平滑化効果にも寄与し、局所的なマッチ誤差を縮小する。
(c)力の場の決定
表面:
【0124】
【数52】
【0125】
に作用する平滑化された変位ベクトルから成る力の場:
【0126】
【数53】
【0127】
は、隣接する変位ベクトルの重み付けされた平均として定められる。ガウシアン重み関数は、隣接する位置にはより大きな影響を与え、離れた位置にはより小さな影響を与える。平滑化された変位場:
【0128】
【数54】
【0129】
は、押す力と引く力の関数になり:
【0130】
【数55】
【0131】
ここで、G1i 及びG2j はガウシアン重み係数であり:
【0132】
【数56】
【0133】
により定められ、γはダンピング係数である。1より小さな値はオーバーシュートになり、1より大きな値はアンダーシュートになる。σk は:
【0134】
【数57】
【0135】
のように定められ、ここで、fは定数であり、1≦f≦2である。σk はk番目の反復における平滑化近傍であり、各反復の後に徐々に減少させられる。
(d)一方の表面の他方の表面への反復的変形
再び、開始表面を、
【0136】
【数58】
【0137】
とし、目標表面を:
【0138】
【数59】
【0139】
とする。最初に、
【0140】
【数60】
【0141】
が計算され、ここで、上付き文字は0番目の反復を示す。
【0142】
【数61】
【0143】
から、表面:
【0144】
【数62】
【0145】
を次のように定める:
【0146】
【数63】
【0147】
一般に:
【0148】
【数64】
【0149】
となる。反復法は:
【0150】
【数65】
【0151】
の場合停止し、ここで、εは所定の小さな数である。
したがって、
【0152】
【数66】
【0153】
の頂点を表面:
【0154】
【数67】
【0155】
に位置合わせするために必要とされる変位ベクトルは:
【0156】
【数68】
【0157】
により、1≦i≦N1に対して与えられる。実際には、表面の多数の対があり得る。各対は別々にマッチングをされ、個別の変位ベクトルの組:
【0158】
【数69】
【0159】
が得られ、ここで、下付き文字は対mを示す。全部でM個の表面の対がある場合、最終的な変位ベクトルの組:
【0160】
【数70】
【0161】
は、1≦l≦Qに対して:
【0162】
【数71】
【0163】
により与えられ、ここで、Qは結合されたすべての対のベクトルの全数を表わす。したがって:
【0164】
【数72】
【0165】
である。
大局的な平行移動ベクトル及び局所的な残留ベクトル
変位ベクトル:
【0166】
【数73】
【0167】
は、図7に示されるように大局的な平行移動ベクトルと局所的な残留ベクトルの組の和として表わされる。(xcg、ycg、zcg)が変位ベクトルの組の合計:
【0168】
【数74】
【0169】
の中心を表わすことにする。
【0170】
【数75】
【0171】
の大局的な平行移動は、2つの立体における表面の粗い位置合わせを表わす。したがって、残留ベクトルは:
【0172】
【数76】
【0173】
により、1≦l≦Qに対して与えられる。これらの残留ベクトルは、表面の局所的な歪みを表わす。
更なるマッチング情報のない場合、変形された立体の格子点の歪みは、図8に示されるように格子点に作用する立体歪みベクトルを決めるようボリューム2全体に、
【0174】
【数77】
【0175】
を補間して、図2の処理ブロック40において、近似される。表面はランダムな方向を有すると想定されるので、重み付き平均補間法が採用される。格子点(x、y、z)における立体歪みベクトルは:
【0176】
【数78】
【0177】
により与えられ、ここで、Fl (x,y,z) は、残留ベクトルlの(x、y、z)における歪みへの寄与に関する重み付き係数である。距離ベクトルは接近したベクトルに比べて格子点における歪み計算に及ぼす影響が小さいので、重み付き係数は距離に伴って減少する。重みは、遠い距離に対し漸次に零に収束し、正になるべきである。重み付き関数の正確な形式は、多少任意性がある。指数関数的な減衰関数が重み付き係数として選ばれているが、ガウシアンのような他の関数も利用され得る。したがって、1≦l≦Qに対して:
【0178】
【数79】
【0179】
であり、βはベクトルの有効な相互作用近傍を決める減衰定数である。大きなβの値は、隣接したベクトルに非零の重みを本質的に与える小さなβの値に比べ、遠い残留ベクトルに対してより有意な重みを与える。βの初期値は手動的に選ばれ、2つの立体の間の変形の総和に依存する。一方の立体が他方に比べて極めて歪められる場合、大きなβの値が最初に選ばれる。これにより、略剛性的な変形が得られ、立体の亀裂を避ける。
【0180】
目標表面は、開始表面とボリューム1に関して決められる歪みベクトルに歪曲されるので、大局的な平行移動ベクトル:
【0181】
【数80】
【0182】
とボリューム2の格子点に作用させられる歪みベクトルの和の負数は、一般的には格子点に中心が一致せず、周囲の格子点に関する補間により決められる輝度がボリューム2内の格子点に置かれる、体積要素のボリューム2内での位置を示す。開始表面は目標表面へ歪曲され、平行移動ベクトル:
【0183】
【数81】
【0184】
と、歪みベクトル:
【0185】
【数82】
【0186】
がボリューム2の格子点を再配置するよう適用されたならば、ボリューム2の再サンプリングの補間が必要になる。何れの場合であっても、補間は3つの線で囲まれるのが望ましく、歪みベクトルの適用の結果ボリューム2の格子点における補間輝度の図2の処理ブロック44において得られる決定は、位置合わせ法の1回の反復を終了させる。
【0187】
図2のブロック44において、変位ベクトルの大きさの正規化された和によって位置合わせミスが測定される。立体の位置が合わされたと見做され、反復法が停止するのは:
【0188】
【数83】
【0189】
の場合であり、ここで、Tは所定の小さな閾値である。
位置合わせに関する上記の評価式が満たされない限り、ブロック46を介して、輪郭抽出、表面形成、表面マッチング及び変形計算のステップがボックス42により最後に変形されたボリューム2を始めとして繰り返される。ボックス46において、ベクトルの相互作用近傍を縮小し、細かい細部のマッチングを可能にさせるよう各反復でβが減少させられる。これにより、反復毎に立体の弾性的な剛さは効果的に低減され、立体がより厳密に位置合わせされるにつれて、より局所化されたマッチングへの要求が満たされる。
【0190】
【数84】
【0191】
はν番目の反復時のβの値を表わし、β0 は最初の開始値であるとする。経験的に、
【0192】
【数85】
【0193】
となり、ここで、hは1と2の間になるよう選ばれる定数である。
上記により、本発明の目的は立体的な画像の位置合わせにおいて満たされることが明らかになろう。本発明が特定の詳細に関して説明されているが、本発明の意図した精神と目的の範囲内において多数の変更が可能になることも認められよう。
【図面の簡単な説明】
【図1】本発明の原理による第1及び第2の立体的な画像を位置合わせする位置合わせプロセッサを含む画像化装置の概略図である。
【図2】図1の位置合わせプロセッサの動作フローチャートである。
【図3】各立体的な画像に関して図2に示すフローチャートの輪郭抽出ステップにより抽出された輪郭を3次元的に示す図である。
【図4】各立体的な画像に関して図2に示すフローチャートの3角形パッチ表面形成ステップによる表面張りを3次元的に示す図である。
【図5】図2に示すフローチャートの表面対弾性マッチングを行うステップにおける一方の立体的な画像のパッチ表面頂点からの変位ベクトルの決定に関する2つの異なる場合の幾何的構造を3次元的に示す図である。
【図6】図2に示すフローチャートの表面対弾性マッチングステップにより決められる、第1及び第2の立体的な画像の夫々のパッチ表面頂点に関連する第1及び第2の変位ベクトルの組夫々を3次元的に示す図である。
【図7】図2に示すフローチャートの表面対弾性マッチングステップより決められる大局的な変位と表面歪みベクトルとを3次元的に示す図である。
【図8】図2に示すフローチャートの3次元立体歪みベクトル計算ステップの結果を3次元的に示す図である。
【符号の説明】
10 多様式画像化装置
12 磁気共鳴(MR)画像化器
14 X線コンピュータトモグラフィ(CT)画像化器
16 画像位置合わせプロセッサ
18 画像統合表示プロセッサ
20 ディスプレイ
22 ディスプレイ画面
30,32 輪郭抽出処理
34,36 多角形パッチ処理
38 表面マッチング処理
40 立体歪みベクトル算出処理
42 立体変形処理
44 位置合わせ結果判定処理
46 ベクトル相互作用近傍縮小処理
Claims (5)
- 格子点の3次元グリッドに体積要素を含む相対的に幾何学的に変形している第1の3次元画像及び第2の3次元画像のうちの一方を得るため、該一方の3次元画像に対応した画像化様式によって走査された対象の少なくとも一つの領域から走査情報を取得し、該第1の3次元画像及び該第2の3次元画像のうちの他方を利用できるように準備する手順(a)と、
空間的に離れた表面サンプル点を識別することによって、該第1の3次元画像から、該第1の3次元画像内で該対象の特徴を表わす第1の表面を抽出する手順(b)と、
空間的に離れた表面サンプル点を識別することによって、該第2の3次元画像から、該第2の3次元画像内で、該第1の3次元画像内で該第1の表面によって表わされた該対象の特徴と同じ特徴を表わす第2の表面を抽出する手順(c)と、
表面のマッチングによりこれら2つの表面の頂点に対する変位ベクトルの組を決定する手順(d)と、
大局的な変位成分を除去して前記変位ベクトルの組を調整することにより残りの残留ベクトルの組を形成する手順(e)と、
表面サンプル点の変形を弾性的にモデル化するように、減衰定数を有する空間的に減衰する重み付き関数を利用して、前記残留ベクトルの組から格子点グリッドに対応する3次元格子点の3次元変形ベクトルの組を決定する手順(f)と、
前記3次元変形ベクトルの組を適用して、該第2の3次元画像を補正画像に弾性的に変形させる手順(g)と、を有する、3次元画像化方法。 - 前記減衰定数を減少させながら、前記第2の3次元画像の代わりに、最後に得られた補正画像を用いて、前記手順(d)乃至(g)を繰返す、請求項1に記載の3次元画像化方法。
- 前記補正画像と前記第1の3次元画像との間の位置合わせ誤差の程度の測度を形成する手順(h)と、
該測度が所定の最大値を超えなくなるまで、前記第2の3次元画像の代わりに、最後に得られた補正画像を用いて、前記手順(d)乃至(g)を繰り返す、請求項1又は2に記載の3次元画像化方法。 - 少なくとも前記第1の3次元画像及び前記補正画像からの画像部分を同時に表示する手順を更に有する請求項1乃至3のうちいずれか1項記載の3次元画像化方法。
- 前記第1の3次元画像と前記補正画像の対応する体積要素の輝度の関数として体積要素が決められる画像を表示する手順を更に有する請求項1乃至4のうちいずれか1項記載の3次元画像化方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US99298292A | 1992-12-18 | 1992-12-18 | |
| US992982 | 1992-12-18 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06223159A JPH06223159A (ja) | 1994-08-12 |
| JP3629282B2 true JP3629282B2 (ja) | 2005-03-16 |
Family
ID=25538969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31561593A Expired - Fee Related JP3629282B2 (ja) | 1992-12-18 | 1993-12-15 | 3次元画像化方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5633951A (ja) |
| EP (1) | EP0602730B1 (ja) |
| JP (1) | JP3629282B2 (ja) |
| DE (1) | DE69332042T2 (ja) |
Families Citing this family (200)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2736454B1 (fr) * | 1995-07-03 | 1997-08-08 | Commissariat Energie Atomique | Procede de reconstruction d'images tridimensionnelles sur un objet mobile ou deformable |
| US6636635B2 (en) * | 1995-11-01 | 2003-10-21 | Canon Kabushiki Kaisha | Object extraction method, and image sensing apparatus using the method |
| EP0815535B1 (en) * | 1995-12-21 | 2002-10-09 | Koninklijke Philips Electronics N.V. | Directional adaptive noise reduction |
| US7225404B1 (en) * | 1996-04-04 | 2007-05-29 | Massachusetts Institute Of Technology | Method and apparatus for determining forces to be applied to a user through a haptic interface |
| US5937083A (en) * | 1996-04-29 | 1999-08-10 | The United States Of America As Represented By The Department Of Health And Human Services | Image registration using closest corresponding voxels with an iterative registration process |
| US5946425A (en) * | 1996-06-03 | 1999-08-31 | Massachusetts Institute Of Technology | Method and apparatus for automatic alingment of volumetric images containing common subject matter |
| US6226418B1 (en) | 1997-11-07 | 2001-05-01 | Washington University | Rapid convolution based large deformation image matching via landmark and volume imagery |
| US6408107B1 (en) | 1996-07-10 | 2002-06-18 | Michael I. Miller | Rapid convolution based large deformation image matching via landmark and volume imagery |
| US6009212A (en) * | 1996-07-10 | 1999-12-28 | Washington University | Method and apparatus for image registration |
| US6084587A (en) * | 1996-08-02 | 2000-07-04 | Sensable Technologies, Inc. | Method and apparatus for generating and interfacing with a haptic virtual reality environment |
| IL119714A0 (en) * | 1996-11-28 | 1997-02-18 | Elscint Ltd | CT system with oblique image planes |
| US5956418A (en) * | 1996-12-10 | 1999-09-21 | Medsim Ltd. | Method of mosaicing ultrasonic volumes for visual simulation |
| US6708184B2 (en) | 1997-04-11 | 2004-03-16 | Medtronic/Surgical Navigation Technologies | Method and apparatus for producing and accessing composite data using a device having a distributed communication controller interface |
| US5970499A (en) | 1997-04-11 | 1999-10-19 | Smith; Kurt R. | Method and apparatus for producing and accessing composite data |
| US6975764B1 (en) * | 1997-11-26 | 2005-12-13 | Cognex Technology And Investment Corporation | Fast high-accuracy multi-dimensional pattern inspection |
| US6278457B1 (en) * | 1998-01-15 | 2001-08-21 | International Business Machines Corporation | Methods and apparatus for performing sampling based synthesis of three-dimensional geometric models |
| US6363163B1 (en) * | 1998-02-23 | 2002-03-26 | Arch Development Corporation | Method and system for the automated temporal subtraction of medical images |
| US7016539B1 (en) | 1998-07-13 | 2006-03-21 | Cognex Corporation | Method for fast, robust, multi-dimensional pattern recognition |
| US6552722B1 (en) * | 1998-07-17 | 2003-04-22 | Sensable Technologies, Inc. | Systems and methods for sculpting virtual objects in a haptic virtual reality environment |
| US6421048B1 (en) * | 1998-07-17 | 2002-07-16 | Sensable Technologies, Inc. | Systems and methods for interacting with virtual objects in a haptic virtual reality environment |
| US6240201B1 (en) * | 1998-07-24 | 2001-05-29 | Arch Development Corporation | Computerized detection of lung nodules using energy-subtracted soft-tissue and standard chest images |
| FR2781906B1 (fr) * | 1998-07-28 | 2000-09-29 | Inst Nat Rech Inf Automat | Dispositif electronique de recalage automatique d'images |
| US6169817B1 (en) * | 1998-11-04 | 2001-01-02 | University Of Rochester | System and method for 4D reconstruction and visualization |
| US6633686B1 (en) | 1998-11-05 | 2003-10-14 | Washington University | Method and apparatus for image registration using large deformation diffeomorphisms on a sphere |
| US6373970B1 (en) * | 1998-12-29 | 2002-04-16 | General Electric Company | Image registration using fourier phase matching |
| US6362821B1 (en) * | 1999-01-06 | 2002-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Surface model generation for visualizing three-dimensional objects using multiple elastic surface nets |
| JP4473358B2 (ja) * | 1999-01-21 | 2010-06-02 | 株式会社東芝 | 診断装置 |
| WO2000048509A1 (en) * | 1999-02-19 | 2000-08-24 | Barnes-Jewish Hospital | Methods of processing tagged mri data indicative of tissue motion including 4-d lv tissue tracking |
| GB9904692D0 (en) | 1999-03-01 | 1999-04-21 | Isis Innovation | X-ray image processing |
| US6904163B1 (en) * | 1999-03-19 | 2005-06-07 | Nippon Telegraph And Telephone Corporation | Tomographic image reading method, automatic alignment method, apparatus and computer readable medium |
| US6298148B1 (en) * | 1999-03-22 | 2001-10-02 | General Electric Company | Method of registering surfaces using curvature |
| US6928490B1 (en) | 1999-05-20 | 2005-08-09 | St. Louis University | Networking infrastructure for an operating room |
| US6611615B1 (en) | 1999-06-25 | 2003-08-26 | University Of Iowa Research Foundation | Method and apparatus for generating consistent image registration |
| AU1122401A (en) * | 1999-11-01 | 2001-05-14 | Arthrovision, Inc. | Evaluating disease progression using magnetic resonance imaging |
| US6563941B1 (en) * | 1999-12-14 | 2003-05-13 | Siemens Corporate Research, Inc. | Model-based registration of cardiac CTA and MR acquisitions |
| WO2001043640A2 (en) * | 1999-12-15 | 2001-06-21 | Koninklijke Philips Electronics N.V. | Diagnostic imaging system with ultrasound probe |
| US6690840B1 (en) | 2000-02-08 | 2004-02-10 | Tektronix, Inc. | Image alignment with global translation and linear stretch |
| DE10013360B4 (de) * | 2000-03-09 | 2004-07-22 | Forschungsverbund Berlin E.V. | Verfahren zur Ermittlung von Verschiebungen der Hirnareale durch Tumorbildung und deren Darstellung auf einem Bildschirm |
| GB0006598D0 (en) * | 2000-03-17 | 2000-05-10 | Isis Innovation | Three-dimensional reconstructions from images |
| US6998841B1 (en) * | 2000-03-31 | 2006-02-14 | Virtualscopics, Llc | Method and system which forms an isotropic, high-resolution, three-dimensional diagnostic image of a subject from two-dimensional image data scans |
| JP5361103B2 (ja) * | 2000-10-24 | 2013-12-04 | 株式会社東芝 | 画像処理装置 |
| DE10054814A1 (de) * | 2000-11-04 | 2002-05-08 | Philips Corp Intellectual Pty | Verfahren und Vorrichtung zur Registrierung von Bildern |
| GB0028491D0 (en) * | 2000-11-22 | 2001-01-10 | Isis Innovation | Detection of features in images |
| US6909794B2 (en) * | 2000-11-22 | 2005-06-21 | R2 Technology, Inc. | Automated registration of 3-D medical scans of similar anatomical structures |
| EP1360649A2 (en) * | 2001-02-02 | 2003-11-12 | Koninklijke Philips Electronics N.V. | Registration reliability measure |
| DE10108947B4 (de) * | 2001-02-23 | 2005-05-19 | Siemens Ag | Verfahren und Vorrichtung zum Abgleichen von wenigstens einem visualisierten medizinischen Messergebnis mit wenigstens einem weiteren, eine räumliche Information enthaltenden Datensatz |
| US7477770B2 (en) * | 2001-12-05 | 2009-01-13 | The Trustees Of The University Of Pennsylvania | Virtual bone biopsy |
| US20040156556A1 (en) * | 2001-04-25 | 2004-08-12 | Lopez Javier Olivan | Image processing method |
| US7327862B2 (en) * | 2001-04-30 | 2008-02-05 | Chase Medical, L.P. | System and method for facilitating cardiac intervention |
| US7526112B2 (en) * | 2001-04-30 | 2009-04-28 | Chase Medical, L.P. | System and method for facilitating cardiac intervention |
| US6816607B2 (en) * | 2001-05-16 | 2004-11-09 | Siemens Corporate Research, Inc. | System for modeling static and dynamic three dimensional anatomical structures by 3-D models |
| US6795521B2 (en) * | 2001-08-17 | 2004-09-21 | Deus Technologies Llc | Computer-aided diagnosis system for thoracic computer tomography images |
| FR2830962B1 (fr) * | 2001-10-12 | 2004-01-30 | Inst Nat Rech Inf Automat | Dispositif et methode de traitement d'image pour detection de lesions evolutives |
| US7106891B2 (en) * | 2001-10-15 | 2006-09-12 | Insightful Corporation | System and method for determining convergence of image set registration |
| US7200269B2 (en) * | 2002-02-01 | 2007-04-03 | Siemens Medical Solutions Usa, Inc. | Non-rigid image registration using distance functions |
| US7397934B2 (en) * | 2002-04-03 | 2008-07-08 | Segami S.A.R.L. | Registration of thoracic and abdominal imaging modalities |
| US20030210820A1 (en) * | 2002-05-07 | 2003-11-13 | Rainer Lachner | Method and device for localizing a structure in a measured data set |
| WO2004068406A2 (en) * | 2003-01-30 | 2004-08-12 | Chase Medical, L.P. | A method and system for image processing and contour assessment |
| US20050043609A1 (en) * | 2003-01-30 | 2005-02-24 | Gregory Murphy | System and method for facilitating cardiac intervention |
| EP1606767B1 (en) * | 2003-03-18 | 2007-08-29 | Koninklijke Philips Electronics N.V. | Method and apparatus for optimally matching data sets |
| DE10328765B4 (de) * | 2003-06-25 | 2005-11-24 | aviCOM Gesellschaft für angewandte visuelle Systeme mbH | Vorrichtung und Verfahren zur Verbindung der Darstellung des elektrischen Herzfeldes mit der Darstellung des zugehörigen Herzens |
| US7190834B2 (en) * | 2003-07-22 | 2007-03-13 | Cognex Technology And Investment Corporation | Methods for finding and characterizing a deformed pattern in an image |
| US8081820B2 (en) | 2003-07-22 | 2011-12-20 | Cognex Technology And Investment Corporation | Method for partitioning a pattern into optimized sub-patterns |
| US8276091B2 (en) * | 2003-09-16 | 2012-09-25 | Ram Consulting | Haptic response system and method of use |
| US20050096515A1 (en) * | 2003-10-23 | 2005-05-05 | Geng Z. J. | Three-dimensional surface image guided adaptive therapy system |
| JP4118786B2 (ja) * | 2003-11-14 | 2008-07-16 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 画像撮影診断支援システム |
| FR2862786B1 (fr) * | 2003-11-21 | 2006-01-06 | Ge Med Sys Global Tech Co Llc | Procede de recalage elastique d'une image applique a l'angiographie soustraite numerisee |
| US20050110793A1 (en) * | 2003-11-21 | 2005-05-26 | Steen Erik N. | Methods and systems for graphics processing in a medical imaging system |
| US20050111757A1 (en) * | 2003-11-26 | 2005-05-26 | Brackett Charles C. | Auto-image alignment system and method based on identified anomalies |
| US20070014452A1 (en) * | 2003-12-01 | 2007-01-18 | Mitta Suresh | Method and system for image processing and assessment of a state of a heart |
| DE10357205A1 (de) * | 2003-12-08 | 2005-07-14 | Siemens Ag | Verfahren zur Erzeugung von Ergebnis-Bildern eines Untersuchungsobjekts |
| EP1695289A1 (en) * | 2003-12-08 | 2006-08-30 | Philips Intellectual Property & Standards GmbH | Adaptive point-based elastic image registration |
| DE602004031551D1 (de) * | 2003-12-11 | 2011-04-07 | Philips Intellectual Property | Elastische bildregistration |
| JP4751337B2 (ja) * | 2003-12-19 | 2011-08-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 診断画像データのコンピュータ支援による視覚化のための方法 |
| US7693318B1 (en) | 2004-01-12 | 2010-04-06 | Pme Ip Australia Pty Ltd | Method and apparatus for reconstruction of 3D image volumes from projection images |
| US7120283B2 (en) * | 2004-01-12 | 2006-10-10 | Mercury Computer Systems, Inc. | Methods and apparatus for back-projection and forward-projection |
| US7333643B2 (en) * | 2004-01-30 | 2008-02-19 | Chase Medical, L.P. | System and method for facilitating cardiac intervention |
| ATE555455T1 (de) * | 2004-02-20 | 2012-05-15 | Koninkl Philips Electronics Nv | Einrichtung und prozess zur multimodalen registration von bildern |
| US20050207674A1 (en) * | 2004-03-16 | 2005-09-22 | Applied Research Associates New Zealand Limited | Method, system and software for the registration of data sets |
| US7596283B2 (en) * | 2004-04-12 | 2009-09-29 | Siemens Medical Solutions Usa, Inc. | Fast parametric non-rigid image registration based on feature correspondences |
| CN1312633C (zh) * | 2004-04-13 | 2007-04-25 | 清华大学 | 大规模三维场景多视点激光扫描数据自动配准方法 |
| US20050251029A1 (en) * | 2004-04-21 | 2005-11-10 | Ali Khamene | Radiation therapy treatment plan |
| US7706633B2 (en) * | 2004-04-21 | 2010-04-27 | Siemens Corporation | GPU-based image manipulation method for registration applications |
| US20050270298A1 (en) * | 2004-05-14 | 2005-12-08 | Mercury Computer Systems, Inc. | Daughter card approach to employing multiple graphics cards within a system |
| US8355775B2 (en) * | 2004-06-03 | 2013-01-15 | Hitachi Medical Corporation | Image diagnosing support method and image diagnosing support apparatus |
| US20060284834A1 (en) * | 2004-06-29 | 2006-12-21 | Sensable Technologies, Inc. | Apparatus and methods for haptic rendering using a haptic camera view |
| US7639896B2 (en) * | 2004-08-09 | 2009-12-29 | Carestream Health, Inc. | Multimodal image registration using compound mutual information |
| US8306185B2 (en) * | 2004-08-13 | 2012-11-06 | Koninklijke Philips Electronics N.V. | Radiotherapeutic treatment plan adaptation |
| US8265354B2 (en) * | 2004-08-24 | 2012-09-11 | Siemens Medical Solutions Usa, Inc. | Feature-based composing for 3D MR angiography images |
| US7440628B2 (en) * | 2004-08-31 | 2008-10-21 | Siemens Medical Solutions Usa, Inc. | Method and system for motion correction in a sequence of images |
| US8437502B1 (en) | 2004-09-25 | 2013-05-07 | Cognex Technology And Investment Corporation | General pose refinement and tracking tool |
| JP4271115B2 (ja) * | 2004-09-29 | 2009-06-03 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
| US7127095B2 (en) | 2004-10-15 | 2006-10-24 | The Brigham And Women's Hospital, Inc. | Factor analysis in medical imaging |
| US8189002B1 (en) | 2004-10-29 | 2012-05-29 | PME IP Australia Pty, Ltd. | Method and apparatus for visualizing three-dimensional and higher-dimensional image data sets |
| US7778392B1 (en) | 2004-11-02 | 2010-08-17 | Pme Ip Australia Pty Ltd | Method of reconstructing computed tomography (CT) volumes suitable for execution on commodity central processing units (CPUs) and graphics processors, and apparatus operating in accord with those methods (rotational X-ray on GPUs) |
| JP4512471B2 (ja) * | 2004-11-10 | 2010-07-28 | 株式会社日立ハイテクノロジーズ | 走査型電子顕微鏡及び半導体検査システム |
| WO2006054191A1 (en) * | 2004-11-17 | 2006-05-26 | Koninklijke Philips Electronics N.V. | Improved elastic image registration functionality |
| US7609884B1 (en) | 2004-12-23 | 2009-10-27 | Pme Ip Australia Pty Ltd | Mutual information based registration of 3D-image volumes on GPU using novel accelerated methods of histogram computation |
| GB2421652A (en) * | 2004-12-23 | 2006-06-28 | Elekta Ab | Optimising registration vectors |
| US7777761B2 (en) * | 2005-02-11 | 2010-08-17 | Deltasphere, Inc. | Method and apparatus for specifying and displaying measurements within a 3D rangefinder data set |
| US7974461B2 (en) | 2005-02-11 | 2011-07-05 | Deltasphere, Inc. | Method and apparatus for displaying a calculated geometric entity within one or more 3D rangefinder data sets |
| US7653264B2 (en) | 2005-03-04 | 2010-01-26 | The Regents Of The University Of Michigan | Method of determining alignment of images in high dimensional feature space |
| EP1859407A1 (en) * | 2005-03-10 | 2007-11-28 | Koninklijke Philips Electronics N.V. | Image processing system and method for registration of two-dimensional with three-dimensional volume data during interventional procedures |
| US20080205724A1 (en) * | 2005-04-12 | 2008-08-28 | Koninklijke Philips Electronics N. V. | Method, an Apparatus and a Computer Program For Segmenting an Anatomic Structure in a Multi-Dimensional Dataset |
| DE102005017337B4 (de) * | 2005-04-14 | 2008-06-19 | Siemens Ag | Verfahren, Vorrichtung und Datenträger mit einem Computerprogrammprodukt zur Analyse von dreidimensionalen digitalen Bilddaten |
| US7623732B1 (en) | 2005-04-26 | 2009-11-24 | Mercury Computer Systems, Inc. | Method and apparatus for digital image filtering with discrete filter kernels using graphics hardware |
| EP1876954A4 (en) * | 2005-05-02 | 2009-12-16 | Agency Science Tech & Res | METHOD AND APPARATUS FOR RECORDING AN IMAGE OF THE ATLAS VERTEBRA |
| CA2507174C (en) * | 2005-05-13 | 2013-07-16 | Semiconductor Insights Inc. | Method of registering and aligning multiple images |
| US7352370B2 (en) * | 2005-06-02 | 2008-04-01 | Accuray Incorporated | Four-dimensional volume of interest |
| RU2431443C2 (ru) * | 2005-08-04 | 2011-10-20 | Конинклейке Филипс Электроникс Н.В. | Компенсация движения в функциональном формировании изображений |
| US8406851B2 (en) * | 2005-08-11 | 2013-03-26 | Accuray Inc. | Patient tracking using a virtual image |
| JP4398919B2 (ja) * | 2005-08-22 | 2010-01-13 | 株式会社東芝 | 画像マッチング装置、画像マッチング方法および画像マッチングプログラム |
| US7948503B2 (en) * | 2005-08-30 | 2011-05-24 | University Of Maryland, Baltimore | Techniques for 3-D elastic spatial registration of multiple modes of measuring a body |
| US8260586B2 (en) * | 2005-09-23 | 2012-09-04 | Koninklijke Philips Electronics N.V. | Method of and a system for adapting a geometric model using multiple partial transformations |
| US7680314B2 (en) * | 2005-10-17 | 2010-03-16 | Siemens Medical Solutions Usa, Inc. | Devices, systems, and methods for improving image consistency |
| EP1952341A1 (en) * | 2005-11-14 | 2008-08-06 | Koninklijke Philips Electronics N.V. | A method, a system and a computer program for volumetric registration |
| US20070167784A1 (en) * | 2005-12-13 | 2007-07-19 | Raj Shekhar | Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions |
| JP4448818B2 (ja) * | 2005-12-19 | 2010-04-14 | 株式会社デージーエス・コンピュータ | 医療装置 |
| EP1969564A2 (en) * | 2005-12-20 | 2008-09-17 | University of Maryland, Baltimore | Method and apparatus for accelerated elastic registration of multiple scans of internal properties of a body |
| US8626953B2 (en) * | 2006-03-03 | 2014-01-07 | St. Louis University | System and method of communicating data for a hospital |
| US8009910B2 (en) * | 2006-05-05 | 2011-08-30 | Valtion Teknillinen Tutkimuskeskus | Method, a system, a computer program product and a user interface for segmenting image sets |
| US7831090B1 (en) | 2006-06-30 | 2010-11-09 | AT&T Intellecutal Property II, L.P. | Global registration of multiple 3D point sets via optimization on a manifold |
| CN100411587C (zh) * | 2006-07-06 | 2008-08-20 | 上海交通大学 | 基于机器学习的立体核磁共振脑图像弹性配准方法 |
| US8195269B2 (en) * | 2006-07-07 | 2012-06-05 | Siemens Medical Solutions Usa, Inc. | System and method for automatic detection and measurement of malacia in the airways |
| WO2008085193A2 (en) * | 2006-08-14 | 2008-07-17 | University Of Maryland | Quantitative real-time 4d strees test analysis |
| US7945117B2 (en) * | 2006-08-22 | 2011-05-17 | Siemens Medical Solutions Usa, Inc. | Methods and systems for registration of images |
| US20080063301A1 (en) * | 2006-09-12 | 2008-03-13 | Luca Bogoni | Joint Segmentation and Registration |
| US8009932B2 (en) * | 2006-09-13 | 2011-08-30 | Providence Engineering and Environmental Group LLC | Automatic alignment of video frames for image processing |
| DE602006016962D1 (de) * | 2006-10-19 | 2010-10-28 | Brainlab Ag | Glatte, grautonbasierte Obeflächeninterpolation für isotropische Datensätze |
| CA2670861A1 (en) * | 2006-11-28 | 2008-06-05 | Calgary Scientific Inc. | Texture-based multi-dimensional medical image registration |
| US20080186378A1 (en) * | 2007-02-06 | 2008-08-07 | Feimo Shen | Method and apparatus for guiding towards targets during motion |
| JP4636338B2 (ja) * | 2007-03-28 | 2011-02-23 | ソニー株式会社 | 表面抽出方法、表面抽出装置及びプログラム |
| FR2914466B1 (fr) * | 2007-04-02 | 2009-06-12 | Inst Nat Rech Inf Automat | Dispositif de traitement d'images pour la mise en correspondance d'images d'une meme portion d'un corps obtenues par resonance magnetique et par ultrasons. |
| US9684955B2 (en) * | 2007-05-04 | 2017-06-20 | Koninklijke Philips N.V. | Cardiac contour propagation |
| US8428690B2 (en) | 2007-05-16 | 2013-04-23 | General Electric Company | Intracardiac echocardiography image reconstruction in combination with position tracking system |
| US8989842B2 (en) | 2007-05-16 | 2015-03-24 | General Electric Company | System and method to register a tracking system with intracardiac echocardiography (ICE) imaging system |
| US8527032B2 (en) | 2007-05-16 | 2013-09-03 | General Electric Company | Imaging system and method of delivery of an instrument to an imaged subject |
| US8364242B2 (en) | 2007-05-17 | 2013-01-29 | General Electric Company | System and method of combining ultrasound image acquisition with fluoroscopic image acquisition |
| US8019151B2 (en) * | 2007-06-11 | 2011-09-13 | Visualization Sciences Group, Inc. | Methods and apparatus for image compression and decompression using graphics processing unit (GPU) |
| US8184886B2 (en) * | 2007-08-21 | 2012-05-22 | Siemens Aktiengesellschaft | Deformable 2D-3D registration |
| US8392529B2 (en) | 2007-08-27 | 2013-03-05 | Pme Ip Australia Pty Ltd | Fast file server methods and systems |
| US8103085B1 (en) | 2007-09-25 | 2012-01-24 | Cognex Corporation | System and method for detecting flaws in objects using machine vision |
| US8265361B2 (en) | 2007-10-26 | 2012-09-11 | Brainlab Ag | Automatic transfer of outlined objects from one data set into another data set |
| WO2011065929A1 (en) | 2007-11-23 | 2011-06-03 | Mercury Computer Systems, Inc. | Multi-user multi-gpu render server apparatus and methods |
| US9019287B2 (en) | 2007-11-23 | 2015-04-28 | Pme Ip Australia Pty Ltd | Client-server visualization system with hybrid data processing |
| US10311541B2 (en) | 2007-11-23 | 2019-06-04 | PME IP Pty Ltd | Multi-user multi-GPU render server apparatus and methods |
| US9904969B1 (en) | 2007-11-23 | 2018-02-27 | PME IP Pty Ltd | Multi-user multi-GPU render server apparatus and methods |
| WO2009067680A1 (en) | 2007-11-23 | 2009-05-28 | Mercury Computer Systems, Inc. | Automatic image segmentation methods and apparartus |
| US8207992B2 (en) * | 2007-12-07 | 2012-06-26 | University Of Maryland, Baltimore | Composite images for medical procedures |
| JP2011509398A (ja) * | 2007-12-19 | 2011-03-24 | ソシエテ ド テクノロジー ミシュラン | タイヤ表面を検査するために使用できるようにするようタイヤ表面の3次元画像を処理する方法 |
| EP2238573A2 (en) * | 2008-01-31 | 2010-10-13 | Koninklijke Philips Electronics N.V. | Automatic 3-d segmentation of the short-axis late-enhancement cardiac mri |
| CN101971213A (zh) * | 2008-02-29 | 2011-02-09 | 新加坡科技研究局 | 图像中解剖结构分割与建模的方法及系统 |
| US20090326363A1 (en) * | 2008-05-02 | 2009-12-31 | Eigen, Llc | Fused image modalities guidance |
| JP5147656B2 (ja) * | 2008-11-20 | 2013-02-20 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
| JP5355074B2 (ja) * | 2008-12-26 | 2013-11-27 | キヤノン株式会社 | 3次元形状データ処理装置、3次元形状データ処理方法及びプログラム |
| JP2010230578A (ja) * | 2009-03-27 | 2010-10-14 | Fujifilm Corp | 偏芯量測定方法 |
| JP6007102B2 (ja) * | 2009-06-24 | 2016-10-12 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 画像情報に基づいた構造の輪郭の決定 |
| GB0913930D0 (en) * | 2009-08-07 | 2009-09-16 | Ucl Business Plc | Apparatus and method for registering two medical images |
| JP5321357B2 (ja) * | 2009-08-28 | 2013-10-23 | コニカミノルタ株式会社 | 三次元形状データ処理装置、三次元形状データ処理システムおよび三次元形状測定システム |
| US8787521B2 (en) * | 2009-12-23 | 2014-07-22 | General Electric Company | System and method of iterative image reconstruction for computed tomography |
| US8774481B2 (en) * | 2010-03-25 | 2014-07-08 | Emory University | Atlas-assisted synthetic computed tomography using deformable image registration |
| US8805035B2 (en) * | 2010-05-03 | 2014-08-12 | Mim Software, Inc. | Systems and methods for contouring a set of medical images |
| WO2012048070A1 (en) * | 2010-10-07 | 2012-04-12 | Siemens Corporation | Non-rigid composition of multiple overlapping medical imaging volumes |
| US8995777B2 (en) | 2010-12-02 | 2015-03-31 | Koninklijke Philips N.V. | Image registration apparatus |
| WO2012080949A1 (en) * | 2010-12-15 | 2012-06-21 | Koninklijke Philips Electronics N.V. | Contour guided deformable image registration |
| JP6002695B2 (ja) * | 2011-03-18 | 2016-10-05 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 神経外科における脳変形の追跡 |
| KR20130015146A (ko) * | 2011-08-02 | 2013-02-13 | 삼성전자주식회사 | 의료 영상 처리 방법 및 장치, 영상 유도를 이용한 로봇 수술 시스템 |
| WO2013018575A1 (ja) * | 2011-08-03 | 2013-02-07 | 株式会社日立メディコ | 画像診断装置及び画像補正方法 |
| JP6053792B2 (ja) * | 2011-08-30 | 2016-12-27 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 可変画像レジストレーションのワークフローにおけるユーザー入力と変形ベクトル場の修正との統合 |
| JP5955199B2 (ja) * | 2011-12-20 | 2016-07-20 | 富士フイルム株式会社 | 画像処理装置および画像処理方法、並びに、画像処理プログラム |
| US9269140B2 (en) * | 2012-12-10 | 2016-02-23 | The Cleveland Clinic Foundation | Image fusion with automated compensation for brain deformation |
| CN105025803B (zh) * | 2013-02-28 | 2018-02-23 | 皇家飞利浦有限公司 | 从多个三维视图对大对象的分割 |
| US9509802B1 (en) | 2013-03-15 | 2016-11-29 | PME IP Pty Ltd | Method and system FPOR transferring data to improve responsiveness when sending large data sets |
| US11244495B2 (en) | 2013-03-15 | 2022-02-08 | PME IP Pty Ltd | Method and system for rule based display of sets of images using image content derived parameters |
| US8976190B1 (en) | 2013-03-15 | 2015-03-10 | Pme Ip Australia Pty Ltd | Method and system for rule based display of sets of images |
| US11183292B2 (en) | 2013-03-15 | 2021-11-23 | PME IP Pty Ltd | Method and system for rule-based anonymized display and data export |
| US10070839B2 (en) | 2013-03-15 | 2018-09-11 | PME IP Pty Ltd | Apparatus and system for rule based visualization of digital breast tomosynthesis and other volumetric images |
| US10540803B2 (en) | 2013-03-15 | 2020-01-21 | PME IP Pty Ltd | Method and system for rule-based display of sets of images |
| US9679224B2 (en) | 2013-06-28 | 2017-06-13 | Cognex Corporation | Semi-supervised method for training multiple pattern recognition and registration tool models |
| EP3021747A4 (en) * | 2013-07-15 | 2017-03-22 | Tel HaShomer Medical Research Infrastructure and Services Ltd. | Mri image fusion methods and uses thereof |
| US10098565B2 (en) | 2013-09-06 | 2018-10-16 | Covidien Lp | System and method for lung visualization using ultrasound |
| US10448862B2 (en) | 2013-09-06 | 2019-10-22 | Covidien Lp | System and method for light based lung visualization |
| CN106030655B (zh) | 2014-01-06 | 2019-07-23 | 皇家飞利浦有限公司 | 脑的磁共振图像中的铰接结构配准 |
| JP6376873B2 (ja) * | 2014-07-16 | 2018-08-22 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US9715724B2 (en) * | 2014-07-29 | 2017-07-25 | Applied Materials Israel Ltd. | Registration of CAD data with SEM images |
| KR20160024552A (ko) * | 2014-08-26 | 2016-03-07 | 삼성전자주식회사 | 입자로 구성된 변형체를 모델링하는 방법 및 장치 |
| US11599672B2 (en) | 2015-07-31 | 2023-03-07 | PME IP Pty Ltd | Method and apparatus for anonymized display and data export |
| US9984478B2 (en) | 2015-07-28 | 2018-05-29 | PME IP Pty Ltd | Apparatus and method for visualizing digital breast tomosynthesis and other volumetric images |
| EP3181049B1 (en) * | 2015-12-18 | 2018-02-14 | RaySearch Laboratories AB | Radiotherapy method, computer program and computer system |
| WO2018012080A1 (ja) * | 2016-07-12 | 2018-01-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム |
| US9922267B1 (en) * | 2016-09-01 | 2018-03-20 | Adobe Systems Incorporated | Locating features in warped images |
| US10186067B2 (en) * | 2016-10-25 | 2019-01-22 | Aspeed Technology Inc. | Method and apparatus for generating panoramic image with rotation, translation and warping process |
| US10235752B2 (en) * | 2016-11-21 | 2019-03-19 | International Business Machines Corporation | Slice selection for interpolation-based 3D manual segmentation |
| US10909679B2 (en) | 2017-09-24 | 2021-02-02 | PME IP Pty Ltd | Method and system for rule based display of sets of images using image content derived parameters |
| US10726555B2 (en) | 2018-06-06 | 2020-07-28 | International Business Machines Corporation | Joint registration and segmentation of images using deep learning |
| JP2023507865A (ja) * | 2019-10-10 | 2023-02-28 | コーニンクレッカ フィリップス エヌ ヴェ | 医用画像のセグメント化 |
| US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
| US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
| US12106492B2 (en) * | 2021-11-18 | 2024-10-01 | Volkswagen Aktiengesellschaft | Computer vision system for object tracking and time-to-collision |
| CN119889586B (zh) * | 2025-03-21 | 2025-11-11 | 深影医疗科技(深圳)有限公司 | 三维晶格放射治疗晶格布置方法和系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4791581A (en) * | 1985-07-27 | 1988-12-13 | Sony Corporation | Method and apparatus of forming curved surfaces |
| US5359513A (en) * | 1992-11-25 | 1994-10-25 | Arch Development Corporation | Method and system for detection of interval change in temporally sequential chest images |
-
1993
- 1993-12-10 DE DE69332042T patent/DE69332042T2/de not_active Expired - Fee Related
- 1993-12-10 EP EP93203469A patent/EP0602730B1/en not_active Expired - Lifetime
- 1993-12-15 JP JP31561593A patent/JP3629282B2/ja not_active Expired - Fee Related
-
1995
- 1995-06-07 US US08/482,690 patent/US5633951A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US5633951A (en) | 1997-05-27 |
| DE69332042T2 (de) | 2003-01-02 |
| EP0602730B1 (en) | 2002-06-19 |
| DE69332042D1 (de) | 2002-07-25 |
| EP0602730A2 (en) | 1994-06-22 |
| JPH06223159A (ja) | 1994-08-12 |
| EP0602730A3 (ja) | 1994-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3629282B2 (ja) | 3次元画像化方法 | |
| Moshfeghi | Elastic matching of multimodality medical images | |
| Moshfeghi et al. | Three-dimensional elastic matching of volumes | |
| Tsai et al. | A shape-based approach to the segmentation of medical imagery using level sets | |
| EP2048617B1 (en) | Method, system and software product for providing efficient registration of volumetric images | |
| Mitchell et al. | 3-D active appearance models: segmentation of cardiac MR and ultrasound images | |
| Rohlfing et al. | Volume-preserving nonrigid registration of MR breast images using free-form deformation with an incompressibility constraint | |
| US8055046B2 (en) | Shape reconstruction using X-ray images | |
| US7876945B2 (en) | Method for processing slice images | |
| Marsland et al. | Groupwise non-rigid registration using polyharmonic clamped-plate splines | |
| EP2186058B1 (en) | Anatomically constrained image registration | |
| Lau et al. | Non-rigid image registration using a median-filtered coarse-to-fine displacement field and a symmetric correlation ratio | |
| WO2010081094A2 (en) | A system for registration and information overlay on deformable surfaces from video data | |
| Camara et al. | Explicit incorporation of prior anatomical information into a nonrigid registration of thoracic and abdominal CT and 18-FDG whole-body emission PET images | |
| CN111127488A (zh) | 一种基于统计形状模型自动构建患者解剖结构模型的方法 | |
| JP4885138B2 (ja) | 一連の画像における動き修正のための方法およびシステム | |
| Li et al. | Automatic generation of object shape models and their application to tomographic image segmentation | |
| CN115311258B (zh) | 一种spect平面图像中自动分割器官的方法和系统 | |
| Marsland et al. | Constructing data-driven optimal representations for iterative pairwise non-rigid registration | |
| Kovalev et al. | Non-rigid volume registration of medical images | |
| Wang et al. | A robust B-Splines-based point match method for non-rigid surface registration | |
| Shen et al. | Deformable registration using spring mass system with cross-section correction | |
| Wang et al. | Instantiation-net: 3d mesh reconstruction from single 2d image for right ventricle | |
| Cuisenaire et al. | Model-based segmentation and recognition of anatomical brain structures in 3D MR Images | |
| Rosas-Romero et al. | Multi-modal medical image registration based on non-rigid transformations and feature point extraction by using wavelets |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041025 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041213 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |
