JP4918048B2 - 画像処理装置及び方法 - Google Patents

画像処理装置及び方法 Download PDF

Info

Publication number
JP4918048B2
JP4918048B2 JP2007554712A JP2007554712A JP4918048B2 JP 4918048 B2 JP4918048 B2 JP 4918048B2 JP 2007554712 A JP2007554712 A JP 2007554712A JP 2007554712 A JP2007554712 A JP 2007554712A JP 4918048 B2 JP4918048 B2 JP 4918048B2
Authority
JP
Japan
Prior art keywords
segmentation
model
data
subset
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007554712A
Other languages
English (en)
Other versions
JP2008529644A (ja
Inventor
べルク, イェンス フォン
ロレンツ,クリスチャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2008529644A publication Critical patent/JP2008529644A/ja
Application granted granted Critical
Publication of JP4918048B2 publication Critical patent/JP4918048B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本発明は、多次元の画像データ、特に3次元のメディカルボリュームの画像データからなるデータセットを処理する画像処理装置及び対応する画像処理方法に関し、前記データセットにおけるイメージオブジェクトのセグメント化のためのセグメンテーションユニットを含んでいる。
さらに、本発明は、コンピュータで前記画像処理方法を実現するコンピュータプログラムに関する。
医用画像形成において、患者の体の関心のある領域の画像データを提供するため、異なる医用画像形成の様式が利用可能である。たとえば、X線、コンピュータトモグラフィ及び磁気共鳴画像形成は、冠状動脈の血管の状態にアクセスするために利用可能である。かかる画像データの所望の使用、画像形成された関心のある領域及び他の要件に依存して、ターゲットとなる組織、より一般には、ターゲットとなるイメージオブジェクトを医用の画像データ、特にメディカルボリュームの画像データからセグメント化することが必要とされることがあり、セグメント化は、人間のユーザにより拡張的な監視又は支援の必要なしに、コンピュータにより自動的に実行されることが望まれる。
以下では、良好な理解のため、心臓の構造の処理に説明の焦点が当てられる。しかし、本発明は、心臓の構造の処理に制限されるものではない。医用画像データ及び非医用画像データ、コモンピクチャのような2次元画像データ、ボリュームイメージデータ又は2次元画像データの時間系列のような3次元画像データ、ボリュームイメージデータの時間系列のような4次元画像データ、更に高次元の画像データを含めて、任意の種類の多次元画像データは、本発明に従ってセグメント化される。
幾つかの異なる方法がセグメント化について提案されている。これらの方法は、モデルベースのセグメント化及びデータ駆動によりセグメント化といった2つのカテゴリにグループ化される。
モデルベースのセグメント化及び心臓の構造のラベリングについて、先験情報が義務付けされる。統計的な形状のモデルは、ターゲットオブジェクトのトレイニングセットの形状の特性を典型的に捕捉する。これら先験情報を利用するアクティブ形状モデルは、MR及びエコー心電図検査のイメージボリュームにおける心室をセグメント化するために既に使用されている。MSCT(MultiSlice Computed Tomography)画像について比較的に少ない作業が行われる。多数のターゲットオブジェクトのラベリングは、結合された幾つかのモデルの適合(R. Pilgram, K.D.Fritscher, R.Schubert. Modeling of the geometric variation and analysis of the right atrium and right ventricle motion of the human heart using PCA. In: Proc. of CARS 1108-1113, 2004)によるか、又は明示的なコンパウンドモデルにより、関心のある画像に対するラベル付けされた画像(atlas)の非剛性なイメージベースの登録により行われる(Lorenzo-Valdes, G. Sanchez-Ortiz, R. Mohiaddin, D. Ruckert. Atlas-based segmentation and tracking of 3D cardiac images using non-rigid registration. In: Proc . of MICCAI, 642-650, 2002参照)。
全てのこれらセグメント方法は、構造上の詳細を反映した正確な境界の検出を与えることが主に意図されていない。この目的のため、少数(数十〜数千)のパラメータのみで十分である。これにより、この反復的な適合プロセスを高速に保持することができるが、他方で、全ての可能な形状のコンフィギュレーションにより達成可能な精度が制限される。モデルについて正しい数のパラメータを選択するとき、精度と一般性との間にトレードオフが存在する。短時間の処理を達成するため、少数のパラメータが好まれることがある。
(形状の)モデルベースのセグメント化方法とは対称的に、形状の制約により拘束されない方法も存在する。これらのデータ駆動方法は、データ自身に含まれる情報のみを利用する。データ駆動のセグメント化の例は、“Low-and Medium- Level LV Segmentation Techniques”, Section 3.3 in Suri, Setarehdan, Singh (Eds) Advanced Algorithmic Approaches to Medical Image Segmentation, Springer, 2002から得られる。
たとえば、造影剤強調(contrast-medium enhanced)MSCT画像では、左心房及びその肺静脈における血液のプールは、Hounsfieldの値の閾値を適用することで容易にセグメント化することができる。この方法は、心臓のMSCT画像において約0.5mmである、ボクセルの間隔と同じ精密さで解像度に到達する。ターゲットの期待される位置又は形状に関する先験情報を持たないことで、この方法は、Hounsfielsの閾値を超える近くの構造からの信頼性の高い分離が可能ではない。図1は、かかるセグメント化への印象を与える。心房について、これら他の構造は、主に左心室及び冠状動脈の血液のプールである。肺静脈は、肺動脈、下行大動脈、及び背骨に近い。
データ駆動方法は、多数のパラメータにより必ずしも制限されるものではない。通常は、いずれかの局所的な候補が検出されるか、類似のボクセルの領域が互いにプールされる。従って、データ駆動セグメント化において高い精度が潜在的に到達されるが、ノイズ、部分的なボリューム効果等のようなイメージアーチファクトに対する脆弱性がある。通常、データ駆動方法は、所与のオブジェクトについて望まれるよりも多くの境界の候補を発見する。
本発明の目的は、上述された公知の方法の問題点を克服し、イメージアーチファクトに対する脆弱性の観点でロバストであって、構造上の詳細を反映する観点で正確であるセグメント化を可能にし、セグメント化の結果を合理的な短時間の処理で達成することができる、画像処理装置及び対応する画像処理方法を提案することである。
上記目的は、請求項1記載の画像処理装置により本発明に従って達成され、イメージオブジェクトの第一近似を表す多次元モデルを取得するためにデータセットのモデルに基づいたセグメント化を実行するモデルベースのセグメント化手段、イメージオブジェクトの第二近似を表す多次元のデータセットの多次元のサブセットを取得するため、前記多次元のデータセットのデータにより駆動されるセグメント化を実行するデータ駆動セグメント手段、前記第一近似と前記第二近似の間で類似性の値を最適化するため、前記モデル及び/又は前記サブセットを調整する最適化手段、及び、イメージオブジェクトのセグメント化として、調整されたモデル又は調整されたサブセットを選択する選択手段を有する。
対応する画像処理方法は、請求項16に定義されている。コンピュータプログラムがコンピュータで実行されたときに、コンピュータに、本発明に係る画像処理方法のステップを実行させるコンピュータプログラムは、請求項17に定義される。
用語「サブセット」は、一般にデータにより駆動されるセグメンテーションの結果を記載するために本明細書で使用される。用語「サブセット」は、データセットと同じデータ構造を実質的に有するデータセットのサブセット、すなわち数学的又は文字通りの意味でのサブセットを示すだけでなく、たとえば等値面の三角形化(iso-surface triangulation)といった、イメージオブジェクト又はその近似を表すデータ駆動セグメントの他の結果又は出力を示す。
さらに、本明細書における用語「類似の値を最適化する」とは、所望の類似性が達成されるか又は類似性の値が予め決定された閾値を超えるか又は下回るように、前記モデル及び/又は前記サブセットを適合させる意味を有する。類似性の値の最適値は、同一性に対応した類似性の値である必要はない。
本発明は、モデルに基づいたセグメント化(model-based segmentation)及びデータにより駆動されるセグメント化(data-driven segmentation)が同じ画像データに実行されるという考えに基づいており、これらセグメント化の結果は、セグメント化されるべきイメージオブジェクトの第一近似として使用される。上述された問題点は、両方の近似を使用することで克服され、いずれかの方法の特定の利点は、イメージオブジェクトの適切なセグメント化を達成するために使用される。
前記モデルに基づいたセグメント化は、メッシュに基づいたセグメント化、関数近似に基づいたセグメント化、及び/又はその組み合わせを含んでおり、前記データにより駆動されるセグメント化は、画素に基づいたセグメント化、境界に基づいたセグメント化、領域に基づいたセグメント化、テクスチャに基づいたセグメント化、分岐点のセグメント化、及び/又はその組み合わせを含む。また、セグメント化の他の公知の方法は、それぞれの結果間の類似性の比較又は測定が可能である限り使用される。
画像処理装置の好適な実施の形態では、前記データ駆動セグメント化手段は、前記データにより駆動されるセグメント化における前記モデルに基づいたセグメント化から前記モデルベースのセグメント化手段により導出された情報を使用するために適合され、及び/又は、前記モデルベースのセグメント化手段は、前記モデルに基づいたセグメント化におけるデータにより駆動されるセグメント化から前記データ駆動セグメント化手段により導出された情報を使用するために適合される。前記モデルに基づいたセグメント化から導出された前記情報は、前記データにより駆動されるセグメント化のための開始値、前記データにより駆動されるセグメント化の閾値、及び/又は、前記データにより駆動されるセグメント化が実行されるべきデータセットのサブセクションを選択するための関心のある領域を含む。同様に、前記データにより駆動されるセグメント化から導出された前記情報は、前記モデルに基づいたセグメント化が実行されるべき前記データセットのサブセクションを選択するための領域、及び/又は、前記モデルに基づいたセグメント化の開始値として前記オブジェクトの位置、向き及び/又はサイズの予測値を含む。セグメンテーション方法は同じ画像データのデータセットに適用されるので、ある種類のセグメント化又は近似の結果は、他の種類のサポートデータとして使用することができる。たとえば、ひとたび、モデルに基づいたセグメント化が終了し、イメージオブジェクトを表すモデルが得られると、モデルは、オブジェクトのボクセルとバックグランドのボクセルの間の粗い区別について使用される。この区別によれば、たとえばグレイ値といった閾値は、選択又は計算され、データにより駆動されるセグメント化について使用することができる。関心のある領域の予測値は、改善された処理時間につながるデータセットの一部の省略を可能にする。
さらに、前記情報をローカルで導出することが可能である。異なるエリア又はイメージデータのデータセットの領域について、導出された情報の更に多用な使用を可能にする異なる値が使用される。
前記近似間の近さ、及び/又は前記近似の部分的な面の向きの間の違いから前記類似性の値を計算することは有利である。モデルに基づいたセグメント化により得られるモデルと、データにより駆動されるセグメント化により得られるサブセットが互いに近いエリア、すなわちモデルの表面とサブセットの境界との間の距離が小さく、及び/又は類似して指向される部分的な面を有するエリアでは、両方の近似は良好であると考えられ、モデルとサブセットが遠くに離れ、及び/又は異なって指向される部分的な面を有するエリアでは、少なくとも1つのセグメント化は、訂正を必要とする誤った結果を与える。
本発明に係る画像処理装置の別の実施の形態によれば、前記最適化手段は、前記モデル及び/又は前記モデルの一部を再モデリングし、前記サブセットから前記サブセットの一部を除き、及び/又は前記サブセットに前記データセットの一部を含めることで、前記モデル及び/又は前記サブセットを調整する。異なるセグメント化により得られる2つのアプローチ間の類似の値を改善するため、他の近似から導出される情報を使用して、1つのセグメント化及び両方のセグメント化を繰り返すことが必要である。さらに、2つの近似間の類似性の値に応じて、近似の幾つかの部分を省略することが判定される。たとえば、所与の値よりも大きなモデルの表面への距離を有する画像データのサブセットの全ての部分は、サブセットから削除される。これは、セグメントされるべきオブジェクトの一部ではない画像データにおけるアーチファクト及びオブジェクトからサブセットをクリアする。
本発明の更なる実施の形態では、画像処理装置は、前記多次元モデル、前記多次元サブセット、前記類似の値、前記適合されたモデル、前記適合されたサブセット、及び/又は前記導出された情報を表示する表示手段、ユーザからの訂正入力を読み取るユーザ入力手段、及び、前記訂正入力に従い、前記モデルに基づいたセグメント化、前記データにより駆動されるセグメント化、前記モデル、前記類似性の値の計算、前記類似性の値の最適値、前記適合されたモデル、前記情報の導出及び/又は前記導出された情報を訂正及び/又は変更する訂正手段を更に有する。セグメント化に関連する重要なデータの表示により、ユーザは、セグメンテーションに対する訂正又は改善を決定し、セグメンテーションのために使用されるデータ、又は入力手段を介してセグメンテーションから得られるデータを変えることで、セグメント化に影響を及ぼすことができる。
更に別の実施の形態では、画像処理装置は、前記多次元のサブセットにおけるギャップを検出するギャップ検出手段、及び、前記サブセットに検出されたギャップを閉じる終了手段を含む。画像データのサブセットがギャップ、すなわち、閉じて連続した境界となるべき領域を含むことも可能である。かかるギャップは、誤ったセグメント化により引き起こされるか、又は、モデルの表面への距離が長いためにサブセットの一部が削除される後続した最適化により引き起こされる。これらのギャップは、たとえば周囲のサブセットの補間により閉じられる場合、イメージオブジェクトの良好な近似を与えるイメージデータのサブセットが得られる。
画像処理装置の好適な実施の形態では、前記終了手段は、前記多次元モデル、特にトポロジーの閉情報(topological closing information)から導出された閉情報を使用するために適合される。たとえば、平面、凸面又は凹面の境界を含むことで、係るギャップを閉じるために多数の可能な方法が存在する。モデルは、期待されるオブジェクトの形状に関する情報を含み、たとえばギャップが凸面であるモデルの一部に対応する場合に凸面の充填を含むといった、モデルのそれぞれのエリアに対応する充填でギャップを閉じることが可能であり、有利である。勿論、より複雑な充填構造も可能である。
別の好適な実施の形態では、画像処理装置は、前記多次元モデル、前記多次元サブセット、前記類似の値、前記適合されたモデル、前記適合されたサブセット及び/又は前記導出された情報を表示する表示手段、及び、ユーザからの選択入力を読み取るユーザ入力手段を有し、前記選択手段は、前記選択入力に従って前記適合されたモデル又は前記適合されたサブセットを選択するために適合される。したがって、ユーザは、イメージオブジェクトの最後のセグメント化として調整されたモデル又は調整されたサブセットのいずれかを選択する。
別の実施の形態の画像処理装置は、前記モデルと予め決定されたリファレンスモデルとの間の変換の関係を計算する計算手段、及び、前記調整されたサブセットに関する前記変換を適用することで前記適合されたサブセットを変形される変形手段を有する。前記モデルベースのセグメント化により、あるモデルは、たとえばメッシュの頂点の位置の変化により画像データの現在のデータセットに適合される。この位置の変化は、イメージオブジェクトの第一近似を表すモデルへの開始モデルの変換に等価である。この変換が適合されたサブセットに適用される場合、得られる変換された、調整されたサブセットは、たとえば構造上の詳細といった対応する詳細をマッピングするためにリファレンスサブセット又はリファレンスモデルに互いに比較される。これにより、構造上のバリエーションの容易な分類を可能にし、新たなリファレンス又は開始モデルを設計する助けとなる。
本発明は、添付図面を参照して更に詳細に説明される。
図1は、MSCT画像のサブボリュームからの血液のプールの等値面の三角形化を示す。この等値面の三角形化は、Hounsfield値の閾値の適用によりセグメント化されている。達成することができる解像度は、ボクセルの間隔と同様に精密であり、心臓のMSCT画像において約0.5mmである。図1からわかるように、このケースでは心房である関心のあるオブジェクトのみでなく、Hounsfieldの閾値を超える近くの構造もこの画像データのサブセットに含まれる。図1の中央において、左の心耳が明らかに目に見ることができ、その下で、冠状動脈、左の肺静脈枝及び肺動脈の左枝の両者も見ることができる。
以下では、例示的なモデルベースのセグメント化及び例示的なデータ駆動セグメント化の手順が記載される。
正確に手動でセグメント化されるデータがモデル構築のために利用可能でない場合、連続的なモデルビルディング及びリファインメントのためのブートストラップアプローチが後続される場合がある。専用のサンプル画像について、関心のある基本の心臓の構造(心房の本体、心耳、左上の肺静脈のトランク(LUPVT)、左下のPVT、右上のPVT、及び右下のPVT)は、以下に説明される方法を使用して幾何学的なプリミティブ(球面及び管状)から開始する三角形の表面モデルでフィットされる。約V=2500の頂点ν0,i及びT=4800の三角形t0,iを有する結合された表面モデルa0は、それぞれの三角形t0,iがラベルliに付属される位置から生成される。結果的に得られる表面モデルは、図2に示されている。単一の接続された表面へのフィットされたプリミティブの結合は、J. von Berg, C. Lorenzによる“Multi-surface cardiac modeling, segmentation and tracking. Functional Imaging and Modeling of the Heart, 3rd International Workshop 2005”から採用される方法により達成される。
このモデルa0の頂点ν0は、画像を更にトレイニングするN=7のセットに適合される(図10参照)。頂点の位置のみがフィッティングにより変化されるので、An:ν0→νn,n=1...Nとして示され、対応する三角形tnが得られる。
nは、3つの単一の変換An=DnAPnに小分割される。Pn(pose)は、変換、回転、及び異方性スケーリングコンポーネントを有し、Pnν0が画像と視覚的に良好に一致するまで対話的に近似される。Aは、以下に説明される自動的に実行される自由な形式の変形である。幾つかのケースでは、付加的なローカルの変形Dnは、H. Timinger, V. Peaker, J. von Berg, K. Dietmeyer, M. Kausによる“Integration of interactive corrections to model-based segmentation algorithms.” In: Proc. Bildverarbeitung fuer die Medizin 11-15, 2003で記載される方法で実行されるのが必要とされる。平均の表面モデル
(外1)
Figure 0004918048
は、以下によりν0の座標系で計算される。
Figure 0004918048
類似性の変化Tn:νn→ν0(均質の座標系で与えられる、厳格な変換に等値面のスケーリングをプラス)は、全ての対応する頂点間の距離ベクトルに基づいてそれぞれの画像について推定される(G. Gloub, C. van Loan. Matrix computation 3rd edition. John’s Hopkins University Press, Baltimore USA, 1996を参照)。
Leave-one-outテストについて、専用の平均モデル
Figure 0004918048
のセットが生成される。それぞれ
(外2)
Figure 0004918048
は、全ての他のサンプルの形状の情報を保持するが、サンプルm自身については保持しない。この平均モデルは、先験情報の使用により画像で理想的に位置される。第二に、完全な自動的なフィッティング
(外3)
Figure 0004918048
が行われ、その頂点ν*m及び三角形t*mにより適合されたモデルが得られる。式(1)と同様に、平均モデル
(外4)
Figure 0004918048
は、類似性の変換T*n:ν*n→ν*1と共通の座標系で計算される。この平均モデルは、図2bに示されている。
前のセクションからの自動的なフリーフォームの形状の変形(automatic free form shape deformation)A:ν0→νnは、対話的な形状に基づいた変形可能なモデル方法を使用する(T. McInerney, D. Terzopoulos. Deformable models in medical image analysis: A survey. Medical Image Analysis 1(2), 91-108, 1996; or J.Weese, M.Kaus, C. Lorentz, S. Lobregt, R. Truyen, V. Peker. Shape constrained deformable models for 3D medical image segmentation. In: Proc. IPMI, 380-387, 2001を参照)。それぞれの繰り返しは、エネルギーの項の最小化により実行される。
Figure 0004918048
内部エネルギーEintは、以下により最初のコンフィギュレーションν0との変形可能な表面の整合性を保持する。
Figure 0004918048
ここでN(j)は、νjの近隣にある全ての頂点のインデックスを与える。Rは、ポーズ及びスケーリングに対してエネルギー計算を不変にするために、エネルギー計算の前にクローズドフォームのポイントに基づいた登録方法により決定される類似性の変換マトリクスである。
外部エネルギーは、以下のように与えられる。
Figure 0004918048
ここでe∇Iは、三角形の重心ciでの画像の勾配の方向における単位ベクトルである。パラメータDは、特徴の強度と距離との間のトレードオフを制御する。
(外5)
Figure 0004918048
は、画像におけるciの最良の特徴点である。これは、以下のように決定される。
Figure 0004918048
ここでlは三角形の垂線(normal)に沿った最大のサーチ距離であり、σはサーチステップサイズである。特徴関数
Figure 0004918048
は、gmaxを超える勾配の強度の影響を減衰させ、所与のグレイ値の範囲の領域にサーチを制限する。この自動的な形状の変形方法に関する更なる詳細は、J. Weese, M. Kaus, C. Lorenz, S. Lobregt, R. Truyen, V. Peker.“Shape constrained deformable models for 3D medical image segmentation.”In: Proc. IPMI, 380-387, 2001 又は M.R.Kaus, J.von Berg, J. Weese, W. Niessen, V.Pekar. “Automated segmentation of the left ventricle in cardiac MRI.”Img. Anal. 8245-8254, 2004で発見される。パラメータ設定は、以下の通りである。
max=130HU/mm,σ=1mm,l=10,D=1,
min=−200HU,Imax=400HU。
使用されるサンプル画像は、異なる病院で取得されたが、Philips MX8000IDT16ラインスキャナで全て取得された。これらは、心臓の病気を持つ患者への冠状動脈の評価の目的で取得されるのでコントラストがエンハンスされている。閾値は、以下により与えられるフィットされた表面のモデルの平均のHounsfieldの値に自動的に設定される。
Figure 0004918048
c*n,iは、上述されたフィットされたモデルa*nの三角形の重心である。閾値は、全体の画像ボリュームに適用される。手順をスピードアップするため、画像は、2のファクタでサブサンプリングされる。(閾値を超える)内部のボクセルの表面は、W.E.Lorensen, H.E.Cline.による“Marching Cubes: A high resolution 3D surface recognition algorithm.”In: Proc. SIGGRAPH 163-169, 1987からの方法で三角形化される。ノイズの多い画像について、画像ボリュームに前もって適用されるメディアンフィルタ(サイズにおける33ボクセル)は、結果的に得られる等値面の外観を平滑にし、その領域を僅かに低減させる。
図3に例示される本発明に係る画像処理装置のブロック図は、たとえば患者であるオブジェクトを示し、このオブジェクトから、画像データ、特にボリューム画像データは、データ取得ユニット2により取得することができ、このユニットは、コンピュータトモグラフ、磁気共鳴画像形成装置、X線装置又は超音波装置のような医用画像形成装置である。取得されたデータは、医用のコンピュータネットワークにおけるワークステーション又はサーバのハードディスクのようなメモリ3に一般に記憶される。一般に、画像形成装置は、表示手段5での表示のために取得された画像データから画像を再構成ための再構成ユニット4を含む。さらに、画像データにおける(ターゲット)オブジェクトのセグメント化について、セグメント化ユニット6が設けられる。
セグメント化ユニット6は、メモリ3に記憶される取得されたデータセットのモデルベースのセグメント化を提供するモデルベースのセグメント化手段61を有する。モデルベースのセグメント化は、データセットにおける画像データの構造に関する先験情報、たとえば心房のようなオブジェクトは一般に特別の、特徴的な形状及びサイズを有するという情報を利用する。モデリングに含まれる必要がある異常、又は可能なバリエーションのレンジさえ存在する。良好にセグメント化されたトレイニングイメージセットを使用したモデルのトレイニング、及びモデルベースのセグメント化のために使用される情報及び知識の改善を許容するため、モデリングユニット7は、画像処理装置に含まれる。
多数の適切なモデルベースのセグメント化方法は、メッシュベースのセグメント化及び関数近似ベースのセグメント化を含めて一般に知られており、モデルベースのセグメント化の更なる説明の必要がない(Model-Based Recognition Methods for LV Modeling, Section 3.4 in: Suri, Setarehdan, Singh(Eds.) Advanced Algorithmic Approaches to Medical Image Segmentation, Springer 2002を参照)。
さらに、データ駆動セグメント化手段62は、メモリ3に記憶された取得されたデータセットのデータ駆動セグメント化のために設けられる。かかるデータ駆動セグメント化方法の例は、上述のように、Hounsfieldの閾値及び後続する等値面の三角形化を適用する方法である。イメージオブジェクトを表すモデルと同じオブジェクトを表すデータサブセットの間の比較を可能にする適切な公知の方法が存在するので、かかる三角形化を実行する必要がない。オブジェクトの表面は、類似性の測定値を可能にする他の数学的な手段により近似される場合がある。球面調和関数は、この目的又はスプラインベースの近似のために使用される。両者共に、2つの係る表面間の距離の測定を可能にする。
さらに、本明細書で使用される用語「サブセット」は、文字通りの意味で画像データのデータセットのサブセットに限定されるものではなく、イメージオブジェクト又はデータ駆動セグメント化により得られる係るサブセットの他の表現を含む。
セグメント化ユニット6は、モデルベースのセグメント化手段61及びデータ駆動セグメント化手段62により得られるイメージオブジェクトの2つの近似間の類似性の値を最適化する最適化ユニット63を更に有する。これら近似を表すモデル又はサブセットのいずれか又はそれらの両者は、良好な類似性を得るために調整又は変化される。サブセットを適合することが好ましい。
また、選択手段64は、セグメント化ユニット6により含まれ、セグメント化ユニット6により出力されるイメージオブジェクトの最後のセグメント化として(調整された)モデル又は(調整された)サブセットのいずれかを選択する。この選択は、たとえば調整されたサブセットはイメージオブジェクトの最後の表現として選択されるので、予め決定されたものである。このケースでは、モデルは、最適化手段63の処理の間に変化されないままであることが好ましい。また、たとえばモデル又はサブセットを記憶するか、最適化の間にモデル又はサブセットのいずれかの適合の範囲を表示することが必要なデータ量として、選択は、モデル及びサブセットの特性に基づく。
図4は、図3に示される実施の形態及び本発明に係る画像処理方法の第一の実施の形態の動作を例示するフローチャートを示す。モデルトレイニング、データ取得、データ改善(たとえばフィルタ及びデータ圧縮の適用)、及び画像処理にとって必要又は利益のある他のステップを含む前処理31のステップの後、モデルベースのセグメント化32及びデータ駆動セグメント化33が実行される。ステップ32及び33は、同時又は順次に実行される場合がある。好適な実施の形態によれば、画像データのモデルベースのセグメント化32が行われ、モデルベースのセグメント化の結果から情報が導出され、データ駆動セグメント化33のために使用される。係る情報の導出の例は、画像データのデータセット及びイメージオブジェクトの第一近似を表すモデルから、データ駆動セグメント化のための閾値の計算である。モデルベースのセグメント化32の前にデータ駆動セグメント化33を実行することも可能であり、たとえば、取得されたサブセットは、セグメント化されるべきイメージオブジェクトの方向、位置及びサイズを予測し、モデルベースのセグメント化の間にこの予測値を使用するために使用される。さらに、複数のセグメント化を有するシーケンスが実行され、モデルベースのセグメント化の結果から導出された情報は、データ駆動セグメント化について使用され、逆も然りである。
モデル及びサブセットの両者がセグメントステップ32及び33から得られるとき、2つの近似は、類似性の値を計算することで比較され、最適化ステップ34の間に前記類似性の値を最適化するためにモデル、サブセット、又はモデル及びサブセットに適合が行われ、その後、1つの適合された近似、すなわちモデル又はサブセットは、選択ステップ35で選択される。選択ステップ35の後、サブセット及び/又はモデルを記憶すること、更なる情報を記憶すること、セグメント化の結果を表示又は出力すること、及び画像処理方法の他のステップを含む後処理ステップ36が続く。
図5には、本発明に係る画像処理装置の第二の実施の形態のブロック図が示されている。この実施の形態は、図3に示される実施の形態に対応するが、更なるエレメントを有する。表示手段5による画像データのセグメント化の(中間)結果の表示に応答してユーザがデータを入力することができるように、ユーザ入力手段8が設けられる。画像処理装置のセグメント化ユニット16は、図3に示される実施の形態のセグメント化ユニット6に類似して、モデルベースのセグメント化ユニット161、データ駆動セグメント化手段162、最適化手段163及び選択手段164を含む。さらに、セグメント化ユニット16は、入力手段8を介して与えられたユーザ入力に従ってセグメント化の方法及び/又は結果を変更するために訂正手段165を有する。入力手段8は、どの選択手段164が最後のセグメント化としてイメージオブジェクトの適合された近似を選択するかに従って選択入力を入力するために更に利用される。
図6におけるフローチャートは、図5に示される実施の形態の動作を説明し、本発明に係る画像処理方法の第二の実施の形態を示す。動作及び方法は、図4に示される動作及び方法に類似している。前処理ステップ31の後、モデルベースのセグメント化32及びデータ駆動のセグメント化33が実行される。ステップ32及び33の結果は、最適化ステップ34の間に処理され、このステップの間、類似性の値が最適化され、モデルベースのセグメント化32及びデータ駆動のセグメント化33により得られた結果が調整される。調整された結果が表示され、ユーザは、前記表示(ディスプレイ)36に対する応答としてユーザ入力38を実行する。ユーザ入力38によれば、補正39が実行され、表示36の前のポイントで開始するプロセスのリドゥ(re-do)を誘発する。さらに、表示36により、ユーザは、最後のセグメント化としてイメージオブジェクトの表現のうちの1つを選択することができる。対応するユーザ入力40により、最後のセグメント化の選択35が生じ、後処理36が後続する。
図7aでは、本発明に係る画像処理装置の第三の実施の形態のブロック図が示されており、図3に示される実施の形態のエレメントに対応するエレメントを有する。セグメント化ユニット6について図3に示されるように、画像処理装置のセグメント化ユニット26は、モデルベースのセグメント化、データ駆動セグメント化、最適化及び選択261〜264のための手段を有する。さらに、セグメント化ユニット26は、ギャップ検出手段265及び終了手段266を含む。使用されたデータ駆動セグメント化方法及び最適化に依存して、イメージオブジェクトの近似を表すサブセットにおけるギャップが存在する。これらのギャップは、たとえば、画像データにおけるアーチファクト及び乱れのエレメントから生じるか、最適化の間のサブセットの位置の除外から生じる場合がある。ギャップ検出手段265は、これらのギャップを検出し、閉じられた表面を表す画像データのサブセットを得るために、満たされる必要があるエリアをローカライズする。検出されたギャップは、終了手段266により閉じられ、この手段は、特にトポロジー情報といったモデルから導出された情報を利用する。かかるトポロジー情報なしであっても、たとえばサブセットを囲んでいるギャップの領域の補間により、終了は可能である。
図7に示される実施の形態の動作及び本発明に係る画像処理方法の第三の実施の形態は、図8に示されるフローチャートにより示される。図6に類似して、図8は、図4に示されるフローチャートのステップを再び示している。モデルベースのセグメント化32及びデータ駆動セグメント化33は、前処理31の後に実行され、これらにより得られた結果は、ギャップ検出41のステップにより後続される最適化ステップ34の間に最適化される。ギャップ検出は、表面又は境界が割り込まれる画像データのサブセットの領域を発見する。このギャップ検出の方法は、ギャップを閉じる方法と同様に、知られており、したがって更に詳細に記載されない。
モデルベースのセグメント化から導出される情報は、画像データのサブセットにより表されるオブジェクトの表面におけるギャップを検出すること及び閉じることのために更に使用される。ひとたびギャップが閉じられると、適合されたモデル及びサブセットから選択ステップ35の間に最後のセグメント化が選択される。後処理ステップ36が続く。
以下では、等値面の選択及びラベル付けは、最適化ステップ34の一部であると記載される。モデルベースのセグメント化及びデータ駆動セグメント化といった両方の結果、すなわちモデル及びサブセットは、三角形のメッシュにより表現される場合、これらは容易に比較され、類似性の値は、以下のように計算される。
少なくとも1つのモデルフェースにロケーション及びオリエンテーションにおいて十分に類似し、モデル化される構造に属すると想定されるinから等値面のフェースin aの選択について、以下の基準が適用される。
Figure 0004918048
距離の測定値は、以下に示される。
Figure 0004918048
i n,jは、等値面の三角形in,jの重心を意味し、ni n,jは、その法線を意味する。同じことが、モデルa*nにおける三角形のフェースt*n,iについてct n,i及びnt n,iについても言える。以下の構造上のラベルは、ia n,jに割り当てられる。
Figure 0004918048
結果的に得られる等値面ia nから、最も大きな接続されるコンポーネントii nが取られ、このコンポーネントは、他の近くの構造の幾つかの表面のパッチを除外する。
画像データの7つのサンプルデータセットを使用した本発明の実現からの結果は、以下のように要約される。
約15sの時間により、モデルの自動フィッティングは比較的に高速である。等値面の三角形を比較データとして採用して、距離の測定に関して上述された方法は、モデルベースのセグメント化の結果a*nを評価するために適用することができる。非常に厳密な距離の基準のパラメータ(たとえばω=0mm及びε=2mm)でia nを構築することで、モデル表面からこの距離の範囲内にある等値面の一部が得られる。図9a及び図9bは、図10の画像#5のε=2mm(図9a)及びε=1mm(図9b)(常にω=0mm)の結果を示す。等値面の支配的な部分は、デカルト座標系におけるモデル三角形の中心の少なくとも1つに2mmよりも近く、大部分は、1mmよりも更に近い。他の6つの画像と比較して、この1つの画像は、むしろ悪い精度を有することが分かる。図9bは、モデル表面から余りに離れた部分を排除することでサブセットの適合がサブセットの境界においてホール又はギャップをどのように生成するかを明らかに示している。
調整されたモデル表面Θnの平均のHounsfieldの値は、造影剤を与える異なる手順及びタイミングにより画像について異なる。74HUと229HUとの間の範囲(全ての7つの画像についての平均は134HU、画像内の標準偏差は平均で131HU)をとる。画像ボリューム全体の当値面の三角形化は、2×2×2ボクセルのサンプリンググリッドで画像当たり0.7百万フェースと8.9百万フェースとの間にある。この手順は、一般の2.6GHzのPCで約10秒を要する。図10は、構造上のラベルをもつ調整されたサブセットの結果的に得られる表面ia nを示す。これらの画像について、パラメータは、ω=5mm及びε=12mmに設定される(比較のため、左心房の横方向の範囲は約75mm)。この設定は、全ての関連する構造を含むことがわかるが、大部分の関係のない構造を排除する。検査された7つの画像のうちの3つについて(#1、#5、#6)、その等値面が心耳のそれに接続されているので、左心耳より下にある冠状動脈の部分は表面に含まれる。これは、Θn+50HUのような高い閾値を選択することで回避することができる。図11a〜図11cは、比較のために、画像#1に適用される変形例を示す。
図11aは、Θ1を使用して画像#1のセグメント化を示し、含まれる冠状動脈の部分は、心耳に近い。Θ1+50HUの値が代わりに印加されたとき(図11b)、表面は僅かに収縮し、冠状動脈は、左心房から切断される。図11cは、両方の当値面(明:Θ1,暗:Θ1+50HU)による前の画像からの正中面である。
類似性の値に対応する距離の基準を更に緩くすることは、冠状動脈又は動脈構造を含む(特に、RUVT及び下行大動脈に近い右の肺動脈)。左心室及び上行大動脈の血液も部分的に含まれる。基準を更に厳密にすることは、静脈洞及び心耳の抹消枝の範囲を低減させる。それを余りに多く減少させることで、ホール(図9b参照)が生成される。モデルについて取得された類似性の変換のため、これらの表面は、T* n -1をそれに適用することで互いに共に登録される。これにより、図13a及び図13bに示される全てのラベル付けされた表面T*n -1n iの重ね合わせが可能となる。平均の等値面
(外6)
Figure 0004918048
は、頂点間の直接的な対応関係が存在しないため、
(外7)
Figure 0004918048
と同様に計算することはできない。
ν0は、画像セットにおける最も大きな心房をモデル化するために現れる。全ての残りの7つの画像についてT*nの等方のスケーリングパラメータは、0.89±0.08であり、これはサンプルにおけるサイズ変動の測定値を与える。
肺の還流パターン(drainage pattern)の変異性は、著しく高い。E.M.Marom, J.E.Herndon, Y.H.Kim, H.P.McAdams.“Variations in pulmonary venous drainage to the left atrium: Implications for radiofrequency ablation”Radiology 230(3), 824-829, 2004で提案される分類スキームでは、全ての検査された患者の86%のみが通常の左肺静脈パターン(2つのオスティア(ostia))を有し、71%が通常の右肺静脈パターンを有する。我々のサンプルでは、心門から1センチメートルを超えて抹消にあるLUVT及びLLVTに分割される単一の左の心門をもつ7つの被験者のうちの3つ(#5、#6、#7)が存在する(Maron等による例外のタイプL1bとして分類される)。図12a及び図12bは、それらのうちの1つについて心房内部からのレンダリングを与える。心房内部からの2人の患者の表面のレンダリングは、共に記録される透視図による。図12aは、上部及び下部の洞に遠位で分かれる一般の左の肺静脈を示し、図12bは、2つの個別のオスティアを示す(一般的なタイプ)。
変形可能な表面モデル
(外8)
Figure 0004918048
は、両方の変形の間にトポロジーの差がないために、leave-one-out試験で適切にこれらの画像に適合することができる。したがって、方法は、観察された構造上の変異性にもかかわらず、全てのケースにおける4つの主要な肺静脈洞のセグメント化及びラベリングで続く。図13a及び図13bが示すように、この小さなサンプルにおける変位性は、表面モデルがひとたび共に登録されると、全ての5つの付属のエンティティが互いに空間的に分離されるようなものである(4つの主要な静脈洞及び耳介)。
形状モデルは、最初の変形可能な表面の半自動フィッティングにより、7つのマルチスライスのコンピュータトモグラフィー画像から左心房について構築される。4つの主要な肺静脈洞は、耳介と同様に、この表面モデルで個別にラベル付けされる。このモデルは、画像への自動的なフィッティング、及びleave-one-out試験においてネーミングされた構造上のサブ領域のラベリングのために適用される。約1mmの精度に到達する。フィットされたモデル表面の平均のHounsfield値は、それぞれの画像の等値面の三角形化のために使用される。これら2つの相補的なセグメント化アプローチの結果は、フィットされたモデルに近い等値面の三角形のみを選択することで、互いに結合される。最後の結果は、それぞれの画像について左の心房表面の精密な表現である。異なる心房の表面を共に登録することは、それらのモデルについて予測された類似性の変換により可能である。構造上のラベルは、モデルから等値面に変換される。
(外9)
Figure 0004918048
のような表面モデルがひとたび利用可能になると、手順は自動的に機能し、ハードドライブアクセスを除いて一般的な2.6GHz PCでの約1分における図11a及び図11bにおけるような所与のMSCT画像についての表現が得られる。
精密かつ詳細な等値面から専用の解剖学上の構造を選択するためにモデルベースのアプローチを使用することは、関連する構造のみの更に自動化されたプレゼンテーションに対して適切な手段となることが分かる。これは、所与の専用の目的で医者への更に有効なプレゼンテーションのため、心臓診断及び治療におけるその後の手順のためにも前もって必要なことである。画像によりガイドされる心房の細動除去の環境において、益々注目を得ている左心房に焦点が置かれる。
簡単な等値面の検出は、明確にされていない「グランドトゥルース“ground truth”」によりモデルベースの方法を補足するパワフルな手段である。特に、心臓のような複雑化されたコンパウンド構造の高解像度の画像のケースでは、モデルベースの方法のトレイニング及び検証のために信頼できるエキスパートリファレンスセグメンテーション(reliable expert reference segmentations)を得ることは高価である。主要な4つの近位の洞(トランク)を超える肺の還流パターンの変異性は係る表面モデル適合アプローチについて余りに高いので、等値面との結合は、それらについて明示的なモデルが存在しないが、これらの更に遠位の枝の可視化を可能にする。純粋なモデルベースのアプローチとは異なり、解剖学上の変異性及び誤った適合は、図10におけるそれらのようなプレゼンテーションで即座に目に見ることができる。
本発明に係るセグメント化の幾つかのステップは、図14a〜図14dで例示される。図14aは、肋骨(右上)、脊椎(左)及び肺の血管のような他の構造で覆われ、この他の構造でコンらされる左心房を含む、心臓のMSCT画像の等値面のレンダリングを示す。図14bは、図14aに示される画像に粗くフィットされる左心房のモデルを示す。図14cは、図14a及び図14bの重ね合わせを示す。図14dは、本発明に係る左心房のセグメント化を示し、図14bに示されるモデルベースのセグメント化及び図14aに示されるデータ駆動のセグメント化の結果は、イメージオブジェクト、すなわち心房の単一のセグメント化に結合される。
図15は、図3に示される本発明に係る画像処理装置の実施の形態を示し、変換の関係を計算する計算手段9、前記変換の関係を前記セグメント化に適応することでセグメント化を変形する変形手段10が追加されている。画像データのデータセットにフィットされる開始モデルは、フィットされた又は調整されたモデルと比較され、調節された又はフィットされたモデルをリファレンスモデルの関数を有する開始モデルに変換する変換が計算される。対応する変換は、構造の比較を可能にする画像データのセグメント化又は調節されたサブジェクト、画像データの他のデータセット、すなわち他の画像に対するセグメント化されたイメージオブジェクトの形状又はトポロジーに適用される。全ての異なる画像について、同じ数の三角形及び同じトポロジーを有する変形可能なモデルの同じテンプレートが使用される。したがって、モデルベースのセグメント化の異なる結果間のシンプルな対応関係が存在する。したがって、対応する解剖学上の詳細を互いにマッピングするため、等値面の三角形の頂点に対して、変換が計算又は予測(リジッド、アファイン又はフリーな変形)及び適用される。
図4に示される動作に類似の動作のフローチャートは、図16に示され、選択ステップ35に続き、後処理36のステップに先行するこの変換に従って、変換の計算43及びセグメントの変形44のステップを例示する。
画像データのデータセットをセグメント化する画像処理装置及び対応する画像処理方法が提案され、画像データをセグメント化する既知の装置又は方法よりも、精度、信頼性及びロバスト性の観点で良好な結果を与える。一般的な形状のような画像データのグローバルな情報を使用してモデルベースのセグメンテーションの高いロバスト性という利点、ピクセル値、ボクセル値のような画像データのローカル情報を使用してデータ駆動セグメント化の高い精度という利点が結合され、両方のセグメント化の問題点が回避される。
MSCT画像のサブボリュームを形成する血液のプールの等値面の三角形化を示す図である。 構造上のラベルによる左心房の表面モデルを示す図である。 多数のサンプルオブジェクトにわたり平均化された図2aの表面モデルを示す図である。 本発明に係る画像処理装置の第一の実施の形態の概念的なブロック図を示す図である。 図3に示される実施の形態及び本発明に係る画像処理方法の第一の実施の形態の動作を説明するフローチャートである。 本発明に係る画像処理装置の第二の実施の形態のブロック図である。 図5に示される実施の形態及び本発明に係る画像処理方法の第二の実施の形態の動作を説明するフローチャートである。 本発明に係る画像処理装置の第三の実施の形態のブロック図である。 図7に示される実施の形態及び本発明に係る画像処理方法の第三の実施の形態の動作を説明するフローチャートである。 2つの異なる厳密な距離の測定による等値面の一方を示す図である。 2つの異なる厳密な距離の測定による等値面の他方を示す図である。 7人の患者の肺静脈のトランク及び心耳をもつ左心室のラベル付けされた表面を示す図である。 図10の画像#1の2つのセグメントの一方を示す図である。 図10の画像#1の2つのセグメントの他方を示す図である。 図11a,図11bのセグメント化を形成する正中面を示す図である。 共に登録された透視図による心房内部からの2人の患者の表面の2つのレンダリングのうちの一方を示す図である。 共に登録された透視図による心房内部からの2人の患者の表面の2つのレンダリングのうちの他方を示す図である。 2つの異なる透視図から図10の画像のラベル付け及び共に登録された表面の重ね合わせを示す図である。 2つの異なる透視図から図10の画像のラベル付け及び共に登録された表面の重ね合わせを示す図である。 左心房を含む心臓のMSCT画像の等値面のレンダリングを示す図である。 左心房のモデルを示す図である。 図14a及び図14bの重ね合わせを示す図である。 本発明に係る左心房のセグメント化を示す図である。 図3に示される本発明に係る画像形成装置の実施の形態を示す図である。 図4に示されるフローチャートに類似した動作のフローチャートである。

Claims (17)

  1. 画像データからなる多次元のデータセット、特に3次元の医療ボリュームの画像データを処理する画像処理装置であって、
    当該画像処理装置は、前記データセットにおけるイメージオブジェクトのセグメント化を行うセグメント化ユニットを含み、
    前記セグメント化ユニットは、
    前記イメージオブジェクトの第一の近似を表す多次元モデルを取得するために前記データセットのモデルに基づいたセグメント化を行うモデルベースのセグメント化手段と、
    前記イメージオブジェクトの第二の近似を表す多次元のデータセットの多次元のサブセットを取得するため、前記多次元のデータセットのデータにより駆動されるセグメント化を行うデータ駆動セグメント化手段と、
    前記第一の近似と前記第二の近似との間の類似性の値を最適化するために前記モデル及び/又は前記サブセットを調整する最適化手段と、
    前記イメージオブジェクトのセグメント化として、調整されたモデル又は調整されたサブセットを選択する選択手段と、
    を有する画像処理装置。
  2. 前記モデルベースのセグメント化手段は、メッシュに基づいたセグメント化、関数近似に基づいたセグメント化、及び/又はこれらの組み合わせを行うために調整される、
    請求項1記載の画像処理装置。
  3. 前記データ駆動によるセグメント化は、ピクセルに基づいたセグメント化、境界に基づいたセグメント化、領域に基づいたセグメント化、テクスチャに基づいたセグメント化、分岐点セグメント化、及び/又はこれらの組み合わせを行うために調整される、
    請求項1記載の画像処理装置。
  4. 前記データ駆動セグメント化手段は、前記データにより駆動されるセグメント化において前記モデルに基づいたセグメント化からの前記モデルベースのセグメント化手段により導出された情報を使用するために調整される、
    請求項1記載の画像処理装置。
  5. 前記モデルに基づいたセグメント化から導出された前記情報は、前記データにより駆動されるセグメント化のための開始値、前記データにより駆動されるセグメント化のための閾値、及び/又は、データにより駆動されるセグメント化が実行されるべき前記データセットのセグメント化を選択するための関心のある領域を含む、
    請求項4記載の画像処理装置。
  6. 前記モデルベースのセグメント化手段は、前記モデルに基づいたセグメント化において、前記データにより駆動されるセグメント化からの前記データ駆動セグメント化手段により導出された情報を使用するために調整される、
    請求項1記載の画像処理装置。
  7. 前記データにより駆動されるセグメント化により導出される前記情報は、前記モデルに基づいたセグメント化が実行されるべき前記データセットのサブセクションを選択するための関心のある領域、及び/又は、前記モデルに基づいたセグメント化のための開始値として前記オブジェクトの位置、向き及び/又はサイズの予測値を含む、
    請求項6記載の画像処理装置。
  8. 前記情報はローカルに導出される、
    請求項4又は6記載の画像処理装置。
  9. 前記類似性の値は、前記近似の間の近さ、及び/又は前記近似の部分的な面の向きの間の差から計算される、
    請求項1記載の画像処理装置。
  10. 前記最適化手段は、前記モデル及び/又は前記モデルの一部を再モデル化し、前記サブセットから前記サブセットの一部を除外し、及び/又は、前記データセットの一部を前記サブセットに含めることで、前記モデル及び/又は前記サブセットを調整するために適合される、
    請求項1記載の画像処理装置。
  11. 前記多次元のモデル、前記多次元のサブセット、前記類似性の値、前記調整されたモデル、前記調整されたサブセット、及び/又は前記導出された情報を表示する表示手段と、
    ユーザからの補正入力を読み取るユーザ入力手段と、
    前記モデルに基づいたセグメント化、前記データにより駆動されるセグメント化、前記モデル、前記サブセット、前記類似性の値の前記計算、前記類似性の値の前記最適化、前記調整されたモデル、前記調整されたサブセット、前記情報の導出、及び/又は、前記補正入力に従って導出された情報を補正及び/又は変更する補正手段と、
    を更に有する請求項1記載の画像処理装置。
  12. 前記多次元のサブセットにおけるギャップを検出するギャップ検出手段と、
    前記サブセットにおいて検出されたギャップを閉じる終了手段と、
    を更に有する請求項1記載の画像処理装置。
  13. 前記終了手段は、多次元のモデルから導出される閉情報、特にトポロジーの閉情報を使用するために調節される、
    請求項12記載の画像処理装置。
  14. 前記多次元のモデル、前記多次元のサブセット、前記類似性の値、前記調整されたモデル、前記調整されたサブセット、及び/又は前記導出された情報を表示する表示手段と、
    ユーザからの選択入力を読み取るユーザ入力手段とを更に有し、
    前記選択手段は、前記選択入力に従って前記調整されたモデル又は前記調整されたサブセットを選択するために適合される、
    請求項1記載の画像処理装置。
  15. 前記モデルと予め決定されたリファレンスモデルの間の変換の関係を計算する計算手段と、
    前記変換の関係を前記調整されたサブセットに適用することで、前記調整されたサブセットを変形する変形手段と、
    を更に有する請求項1記載の画像処理装置。
  16. 画像データからなる多次元のデータセット、特に3次元の医療ボリュームの画像データを処理する画像処理方法であって、
    当該画像処理方法は、前記データセットにおけるイメージオブジェクトのセグメント化を行うセグメント化ステップを含み、
    前記セグメント化ステップは、
    前記イメージオブジェクトの第一の近似を表す多次元モデルを取得するために前記データセットのモデルに基づいたセグメント化を行うモデルベースのセグメント化ステップと、
    前記イメージオブジェクトの第二の近似を表す多次元のデータセットの多次元のサブセットを取得するため、前記多次元のデータセットのデータにより駆動されるセグメント化を行うデータ駆動セグメント化ステップと、
    前記第一の近似と前記第二の近似との間の類似性の値を最適化するために前記モデル及び/又は前記サブセットを調整する最適化ステップと、
    前記イメージオブジェクトのセグメント化として、調整されたモデル又は調整されたサブセットを選択する選択ステップと、
    を有する画像処理方法。
  17. コンピュータプログラムがコンピュータで実行されたときに、コンピュータに、請求項16記載の画像処理方法のステップを実行させるプログラムコードを有するコンピュータプログラム。
JP2007554712A 2005-02-11 2006-02-08 画像処理装置及び方法 Expired - Fee Related JP4918048B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP05101009 2005-02-11
EP05101009.8 2005-02-11
PCT/IB2006/050403 WO2006085268A1 (en) 2005-02-11 2006-02-08 Image processing device and method

Publications (2)

Publication Number Publication Date
JP2008529644A JP2008529644A (ja) 2008-08-07
JP4918048B2 true JP4918048B2 (ja) 2012-04-18

Family

ID=36609259

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007554712A Expired - Fee Related JP4918048B2 (ja) 2005-02-11 2006-02-08 画像処理装置及び方法

Country Status (5)

Country Link
US (1) US7957572B2 (ja)
EP (1) EP1851722B8 (ja)
JP (1) JP4918048B2 (ja)
AT (1) ATE520101T1 (ja)
WO (1) WO2006085268A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8050473B2 (en) * 2007-02-13 2011-11-01 The Trustees Of The University Of Pennsylvania Segmentation method using an oriented active shape model
DE102007015230A1 (de) * 2007-03-29 2008-10-02 Siemens Ag Bildverarbeitungssytem für eine Röntgenanlage oder dergleichen
DE102007024154A1 (de) * 2007-05-24 2008-11-27 Siemens Ag Verfahren zur automatischen Auswahl eines Darstellungsmodus für einen Bilddatensatz eines zu untersuchenden Organs
WO2009125319A2 (en) * 2008-04-07 2009-10-15 Koninklijke Philips Electronics N.V. Mesh collision avoidance
JP5514195B2 (ja) * 2008-05-09 2014-06-04 コーニンクレッカ フィリップス エヌ ヴェ 運動する物体の画像を生成するための装置
US8786594B2 (en) * 2008-05-30 2014-07-22 Siemens Aktiengesellschaft Method and system for rendering a medical image
EP2353141B1 (en) * 2008-10-14 2018-12-12 Koninklijke Philips N.V. One-click correction of tumor segmentation results
EP2189945A1 (en) * 2008-11-21 2010-05-26 A&P ip B.V. Method of and arrangement for linking image coordinates to coordinates of reference model
US8478012B2 (en) 2009-09-14 2013-07-02 General Electric Company Methods, apparatus and articles of manufacture to process cardiac images to detect heart motion abnormalities
US8422753B2 (en) * 2009-10-22 2013-04-16 Siemens Corporation Method and system for automatic extraction of personalized left atrium models
GB201002855D0 (en) * 2010-02-19 2010-04-07 Materialise Dental Nv Method and system for achiving subject-specific, three-dimensional information about the geometry of part of the body
US8861891B2 (en) * 2010-03-05 2014-10-14 Siemens Aktiengesellschaft Hierarchical atlas-based segmentation
JP5897012B2 (ja) * 2010-09-17 2016-03-30 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像セグメント化のためのシステム、方法及びコンピュータプログラム
EP2642923B1 (en) * 2010-11-23 2017-03-22 ClaroNav Inc. Method and apparatus for automated registration and pose tracking
EP2658439B1 (en) 2010-12-29 2020-02-12 Dia Imaging Analysis Ltd. Automatic left ventricular function evaluation
US8644576B2 (en) * 2011-03-09 2014-02-04 Siemens Aktiengesellschaft Method and system for multi-part left atrium segmentation in C-arm computed tomography volumes using shape constraints
CN103918020B (zh) * 2011-11-08 2019-06-04 皇家飞利浦有限公司 用于与三维对象数据集交互的系统和方法
US8724881B2 (en) * 2011-11-09 2014-05-13 Siemens Aktiengesellschaft Method and system for precise segmentation of the left atrium in C-arm computed tomography volumes
US8750568B2 (en) 2012-05-22 2014-06-10 Covidien Lp System and method for conformal ablation planning
US9439622B2 (en) 2012-05-22 2016-09-13 Covidien Lp Surgical navigation system
US9498182B2 (en) 2012-05-22 2016-11-22 Covidien Lp Systems and methods for planning and navigation
US9439627B2 (en) 2012-05-22 2016-09-13 Covidien Lp Planning system and navigation system for an ablation procedure
US9439623B2 (en) 2012-05-22 2016-09-13 Covidien Lp Surgical planning system and navigation system
WO2014164992A1 (en) * 2013-03-13 2014-10-09 Miller David G Coregistered intravascular and angiographic images
EP3014573B1 (en) * 2013-06-28 2017-12-13 Koninklijke Philips N.V. Methods of utilizing image noise information
EP3077989B1 (en) 2013-12-04 2022-11-09 Koninklijke Philips N.V. Model-based segmentation of an anatomical structure.
CN105813567B (zh) * 2013-12-11 2019-07-02 皇家飞利浦有限公司 基于三维(3d)预扫描的体积图像数据处理
CN106133789B (zh) * 2014-03-21 2022-11-18 皇家飞利浦有限公司 用于分割感兴趣区域的图像处理装置和方法
US11172860B2 (en) 2014-05-06 2021-11-16 Peacs Investments B.V. Estimating distribution fluctuation and/or movement of electrical activity through a heart tissue
US11289207B2 (en) 2015-07-09 2022-03-29 Peacs Investments B.V. System for visualizing heart activation
DE112016005742T5 (de) 2015-12-15 2018-10-04 Koninklijke Philips N.V. Datenverarbeitungsverfahren für Computertomographie
CN105719278B (zh) * 2016-01-13 2018-11-16 西北大学 一种基于统计形变模型的医学图像分割方法
US11458320B2 (en) 2016-09-06 2022-10-04 Peacs Investments B.V. Method of cardiac resynchronization therapy
CN108629800A (zh) * 2017-03-20 2018-10-09 北京三星通信技术研究有限公司 平面确定方法及增强现实显示信息的显示方法、相应装置
US10685172B2 (en) * 2018-05-24 2020-06-16 International Business Machines Corporation Generating a textual description of an image using domain-independent anomaly analysis
US10937172B2 (en) 2018-07-10 2021-03-02 International Business Machines Corporation Template based anatomical segmentation of medical images
WO2020033947A1 (en) 2018-08-10 2020-02-13 Covidien Lp Systems for ablation visualization
US11804015B2 (en) 2018-10-30 2023-10-31 Samsung Electronics Co., Ltd. Methods for determining three-dimensional (3D) plane information, methods for displaying augmented reality display information and corresponding devices
JP2023544129A (ja) 2020-09-29 2023-10-20 コーニンクレッカ フィリップス エヌ ヴェ 組織の区別に基づくbモード画像のレンダリング
EP3989165A1 (en) * 2020-10-20 2022-04-27 Koninklijke Philips N.V. Detecting anatomical abnormalities by segmentation results with and without shape priors
CN114066913B (zh) * 2022-01-12 2022-04-22 广东工业大学 一种心脏图像分割方法及系统
CN114419020B (zh) * 2022-01-26 2022-10-18 深圳大学 医学图像分割方法、装置、计算机设备及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5891030A (en) * 1997-01-24 1999-04-06 Mayo Foundation For Medical Education And Research System for two dimensional and three dimensional imaging of tubular structures in the human body
JP2000105838A (ja) * 1998-09-29 2000-04-11 Toshiba Corp 画像表示方法及び画像処理装置
US7274810B2 (en) * 2000-04-11 2007-09-25 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
WO2002080110A1 (en) * 2001-03-29 2002-10-10 Koninklijke Philips Electronics N.V. Image processing method for fitness estimation of a 3d mesh model mapped onto a 3d surface of an object
CN1273935C (zh) * 2001-05-17 2006-09-06 西门子共同研究公司 用于分割磁共振心脏图像中左心室的变化的方法
ATE392677T1 (de) 2002-12-12 2008-05-15 Koninkl Philips Electronics Nv Verfahren zur segmentierung eines dreidimensionalen datensatzes mit ermöglichung von benutzerkorrekturen
EP1437685A3 (de) * 2003-01-13 2004-07-21 Philips Intellectual Property & Standards GmbH Verfahren zum Segmentieren einer dreidimensionalen Struktur
WO2004063988A1 (en) 2003-01-15 2004-07-29 Koninklijke Philips Electronics N.V. Image processing method for automatic adaptation of 3-d deformable model onto a subtantially tubular surface of a 3-d object
US20060210158A1 (en) * 2003-07-16 2006-09-21 Koninklijke Philips Electronics N. V. Object-specific segmentation

Also Published As

Publication number Publication date
ATE520101T1 (de) 2011-08-15
JP2008529644A (ja) 2008-08-07
US7957572B2 (en) 2011-06-07
EP1851722A1 (en) 2007-11-07
EP1851722B8 (en) 2012-03-14
US20080205716A1 (en) 2008-08-28
EP1851722B1 (en) 2011-08-10
WO2006085268A1 (en) 2006-08-17

Similar Documents

Publication Publication Date Title
JP4918048B2 (ja) 画像処理装置及び方法
Tavakoli et al. A survey of shaped-based registration and segmentation techniques for cardiac images
JP6993334B2 (ja) 自動化された心臓ボリュームセグメンテーション
US6766043B2 (en) Pleural nodule detection from CT thoracic images
EP2916738B1 (en) Lung, lobe, and fissure imaging systems and methods
Zagrodsky et al. Registration-assisted segmentation of real-time 3-D echocardiographic data using deformable models
EP3743883B1 (en) Flow analysis in 4d mr image data
JP5068670B2 (ja) 画像処理装置及び方法
US7359538B2 (en) Detection and analysis of lesions in contact with a structural boundary
JP2011510733A (ja) 短軸遅延強調心臓mriの自動三次元セグメント化
Kim et al. Automatic segmentation of the left ventricle in echocardiographic images using convolutional neural networks
Chandrashekara et al. Analysis of myocardial motion in tagged MR images using nonrigid image registration
US7986836B2 (en) Method, a system and a computer program for segmenting a surface in a multidimensional dataset
Bernier et al. Graph cut-based method for segmenting the left ventricle from MRI or echocardiographic images
EP3658031B1 (en) Motion compensated cardiac valve reconstruction
O’Donnell et al. Comprehensive cardiovascular image analysis using MR and CT at Siemens Corporate Research
Medina et al. Left ventricle myocardium segmentation in multi-slice computerized tomography
Schwarz et al. Multiobject segmentation using coupled shape space models
Erdt et al. Multi-layer deformable models for medical image segmentation
Jabbar A study of preprocessing and segmentation techniques on cardiac medical images
Meyer et al. A multi-modality segmentation framework: application to fully automatic heart segmentation
Zhang et al. Nonrigid registration and template matching for coronary motion modeling from 4D CTA
Duan et al. Augmenting CT cardiac roadmaps with segmented streaming ultrasound
Schaerer et al. Fast and automated creation of patient-specific 3D heart model from Tagged MRI
Ordas et al. A statistical model-based approach for the automatic quantitative analysis of perfusion gated SPECT studies

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120127

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150203

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees