JP5289966B2 - インターベンショナル手順中、シルエットレンダリング及び画像を表示するための画像処理システム及び方法 - Google Patents

Description

本発明は、インターベンショナル手順中、被験者の内部に関して生の二次元画像を収集し、三次元ボリュームデータに関連して生の二次元画像を表示することにより、生きている被験者の内部の視覚化及び調査を可能にする画像処理システム及び方法に一般的に関する。

生きている被験者の身体ボリューム及び内部の撮像は、医療診断及び治療の分野において、すなわちＸ線透視法の下で特に行われている。これにより、生物学的な身体ボリュームのＸ線投影が例として以下に考えられているが、本発明は、それらに制限されていることは意味せず、同様の二次的状況の応用分野全てにおいて使用されることができる。

図１及び図２を参照すると、一般的なＸ線システムは、ロボットアーム３により、患者テーブル２の近位で支持されるスウィングアーム（Ｃアーム又はＧアーム）１を有する。このスウィングアーム１内に収納されるＸ線管４及びＸ線検出器５を備える。Ｘ線検出器５は、患者７を通過したＸ線６を受信し、このＸ線６の強度分布を表す電子信号を生成するように配置及び構成される。スイングアーム１を動かすことにより、Ｘ線管４及び検出器５は、患者７に対し如何なる所望の位置及び方位に置かれることができる。

様々なタイプの病状及び疾病の治療において、患者の脈管系内におけるカテーテルの伝搬をＸ線透視観察することにより特別な医療応用が提供される。これにより、インターベンション中にカテーテル又はガイドワイヤが前進する必要があり、及び／又はステント又はコイルがＸ線監視（透視）中にできる限り正確に、血管を通り関心のある内部へ導入される必要がある。この手順が行われている間、血管構造は、カテーテルを介して短時間(short burst)だけ放射線不透明性(radio opaque)造影剤を導入し、例えば図１及び図２を参照して説明されるシステムを用いてＸ線画像を得ることにより、第１のモニタ上に生の二次元画像の形式で短期間見ることができる。

患者の安全のために、Ｘ線の被爆を最小にすると共に、身体に注入される造影剤の量も最小にすることが強く望まれ、これにより、ナビゲーションを支援するために、インターベンション中、関心領域に対し収集された１つ以上の事前のインターベンショナルＸ線画像を第２のモニタに表示することが知られている。これら事前のインターベンショナルＸ線画像は、脈管系の"血管マップ(vascular map)"又は"ロードマップ"として担当医に方位を支援している。例えば、カテーテルの配置中のガイダンスを改善するために、例えば国際特許出願公開番号WO2004/034329に記載されるように、インターベンション中に得られるＸ線透視画像に上記ロードマップの情報を重畳するための方法が開発される。

しかしながら、これはインターベンショナル手順中、患者への造影剤及びＸ線被爆の負荷を大幅に減少させる一方、インターベンショナルデータがリアルタイムに追跡されることを可能にするので、前記医師はインターベンション中に収集された二次元のＸ線透視画像データを三次元で視覚化することを強く望んでいる。三次元画像データは、（任意には、撮像される身体ボリュームに造影剤が注入され）例えば３Ｄ回転スキャンを用いて収集されてもよく、これは上記スキャン（例えば３Ｄ回転血管撮像又は３Ｄ−ＲＡ）は、診断及び治療の評価を目的とした如何なるインターベンションの前に決まって得られるので、特に有益である。

シルエットレンダリングは、ボリュームモデルの構造のような大量の情報を数往復で効果的に搬送するのに有用である（図３ａに示される動脈瘤のサーフェスレンダリングに比べ、動脈瘤のシルエットレンダリングである図３ｂを参照）。シルエットレンダリングアルゴリズムは、以下の２つのサブクラスに分割されることができる。
１．ポリゴン（多角形）表現に基づく（サーフェスレンダリング）
２．ボリュームボクセル表現に調整（ダイレクトボリュームレンダリング）

当業者に知られるように、ポリゴンメッシュにとって、シルエットのエッジは、バックフェーシング(back-facing)ポリゴンをフロントフェーシング(front-facing)ポリゴンに接続するエッジ全ての可視セグメントから構成され、ポリゴンベースでの表現に非常に効果的なシルエットレンダリングアルゴリズムは、速度及びロバスト性の点で存在している。しかしながら、ポリゴンベースのサーフェスレンダリング技術に関連する欠点が多数存在している。この欠点は、重要な前処理オーバーヘッド、並びに（これにより静脈信号が減少又は除去される）血管のセグメンテーション及び等値面(isosurface)の生成／表現に必要とされる大量のメモリを含んでいる。３Ｄ−ＲＡボリュームに対する血管のセグメンテーションとの関連で、穴又は他の不透明材料の存在が自動的な血管のセグメンテーションを複雑にする。ここで上記セグメンテーションは一般的に、微調整のために何らかのユーザ対話を必要として、これは、前記重要な前処理オーバーヘッドを考えるとかなり厄介である。さらに、明白なセグメンテーションは、サーフェス表現とボリューム表現との間に差異（小さな血管の損失）をまねく。

ポリゴン表現に関して上述された問題は、ボクセル表現を代わりに使用することにより理論上は克服される。しかしながら、ボクセルベースのシルエットレンダリングをするための様々な方法が存在している一方、これら方法は、既知のボクセルベースの方法全てが通常はボクセル不連続に基づいて境界／輪郭を検出するために、何らかの形式の明確な分類を使用するという事実が少なくとも部分的な原因であるため、速さの点でポリゴンベースの方法と対抗することができない。

これにより、本発明の目的は、従来のポリゴンベースでの表現に関する前記重要な前処理オーバーヘッドを持たず、生の二次元画像データに関して使用されるのに十分な速さである身体ボリュームに関して取り込まれた二次元画像データの三次元表現のシルエットレンダリングを可能にする画像処理システム及び方法を提供することである。

本発明に従って、身体ボリュームの画像を表示するための画像処理システムを供給し、このシステムは、前記身体ボリュームに関して三次元画像データを入力する手段、前記三次元画像データのダイレクトボリュームシルエットレンダリングを生じさせるシルエットレンダリング手段、及び結果生じたシルエットレンダリングを表示する手段を有し、前記シルエットレンダリングは、前記三次元画像データのボクセルの半透明度に比例する値で構成される。

さらに本発明によれば、身体ボリュームの画像を表示する方法も供給し、この方法は、前記身体ボリュームに関して、三次元画像データを入力する、前記三次元画像データのボクセルの半透明度に比例する値で構成されるダイレクトボリュームシルエットレンダリングを生じさせる、及び前記結果生じたシルエットレンダリングを表示することを有する。

本発明は、一連の医療画像を表示する医療観察システムにも適用され、このシステムは、身体ボリュームに関して、三次元画像データを収集する収集手段、前記身体ボリューム内の一連の二次元画像を収集する収集手段、上記画像処理手段、及び表示される前記三次元画像データのシルエットレンダリング内に一連の前記二次元画像を表示する手段を有する。

シルエットレンダリング中、ボクセルの密度の代わりにボクセルの半透明度が視覚化されるので、輝度の変動が逆転され、身体ボリューム内の構造（例えば血管）は、輪郭部において最大の輝度を持ち、中心部において最小の輝度を持ち、ほとんど追加のオーバーヘッドを用いずに表示するためのシルエットレンダリングに関して、追加の比較的速い二次元画像処理技術を実施することが可能である。これにより特に、前記画像処理手段は、表示するためのシルエットレンダリングにおけるコントラスト及び／又はシェーディングのレベルを変化させる手段を有する。好ましい実施例において、制御手段、有益にはアナログ制御手段（例えばスライダ制御手段）は、表示するためのシルエットレンダリングにおけるコントラスト及び／又はシェーディングの前記レベルをユーザが選択及び制御することを可能にするために供給される。エッジ強調手段は、例えばアンシャープな３×３の畳み込みフィルタを用いてシルエットコントラストを強調させるために供給される。シルエットの輝度を維持している間、身体ボリューム内にある構造の暗さのレベルが制御されることができるように、前記表示するためのシルエットレンダリングに関して、強度補正（例えば逆γ補正）を行うための手段が供給される。

前記シルエットレンダリング手段により行われるダイレクトボリュームシルエットレンダリングは、例えばレイキャスティングにより、又はバックトゥフロント(back-to-front)若しくはフロントトゥバック(front-to-back)順でボクセル密度のボリュームを通るテクスチャード加工のスライスをレンダリングすることにより行われる。

本発明のこれら及び他の態様は、ここに記載される実施例から明らかであり、これら実施例を参照して説明される。

本発明の実施例は単なる例として及び添付の図面を参照して記載されている。

インターベンションの前に、３Ｄの回転スキャンが収集され、再構成され、及び視覚化の準備がされる。実際のインターベンション中、生の２Ｄ（蛍光）画像が収集され、処理され、及び前記３Ｄボリュームと組み合わせて視覚化される。前記２Ｄ画像はインターベンション中、略リアルタイムで前記３Ｄボリュームと組み合わせて視覚化されてもよいし、又はこれら画像が前記ボリュームデータと組み合わせて及び関連してレビュー及び表されることができるように、前記画像が前処理及び／又は記憶されていてもよい。さらに、生の蛍光データは、長期間記憶媒体に記憶されない、（３Ｄボリュームデータを用いて）何時でもレビューされることができる循環バッファ(cyclic buffer)に常に記憶されている。

上述したように、シルエットレンダリングは、例えばボリュームモデルの構造のような大量の情報を数回の往復で効率良く運搬するのに有用である。前記ボリュームデータをレンダリングするためのシルエットを前記生の２Ｄデータと組み合わせることにより、依然として大量の前記ボリューム情報が運搬される一方で、このレンダリング方法は、前記生のデータに対し最小の障害を提供する。上述されるように、ポリゴン表現（サーフェスレンダリング）に関して、速度及びロバスト性の観点から見ると効果的なシルエットレンダリングアルゴリズムが存在しているが、この技術に関連する欠点も多くあり、これら欠点は、３Ｄボリュームデータを用いた生の２Ｄ画像データの視覚化に使用するのにそんなに適さない。

従来のテクスチャベースのシルエットレンダリングは、シルエットをはっきりと抽出するために、ボクセルの不透明度に基づく何らかの形式の等値面抽出を使用する。

図４を参照すると、３Ｄ−ＲＡのロードマッピングを表示するための本発明の例示的な実施例による画像表示システムを概略的なブロック図形式で説明し、ここで生の２Ｄ画像は３Ｄの再構成血管情報と一緒に表示される。説明されるシステムは、身体ボリュームを表す三次元画像データを入力するためのシステム１０を有し、この画像データは例えば３Ｄ−ＲＡ（回転血管撮像）技術により収集される。この画像データはモジュール１２において再構成される。手術器具が身体ボリューム内を移動するように、例えばＸ線透視技術を用いて収集される前記身体ボリュームに関して、生の二次元画像データを入力するための手段１６がさらに設けられる。（ブロック１８で示される）生成された生の画像は、画像合成モジュール３８に送られ、モジュール４０で表示される。ウィンドウの幅／レベル範囲の選択モジュール２４は、後で詳細に説明されるように、どの３Ｄ画像が手段１０により収集されたかに関して、前記身体ボリュームの半透明度をレンダリングして、結果生じた制御データが３Ｄボリューム視覚化モジュール１２に送られる。（画像処理ユニット又はＧＰＵ上で実行される）２Ｄ画像処理モジュール２０を用いて、前記シルエットがさらに強調される一方、血管の内側は暗くなり、図５に示されるような結果生じる画像Ａ−Ｄが生成される。シルエット（スライダ）制御モジュール２６を用いて、ユーザは、モジュール４０上に表される画像をＡからＤへ段階的に移動させることができ、これにより所望の量の３Ｄシェーディングを制御する。

既知のテクスチャベースのレンダリング方法において、傾斜度のような如何なる追加情報も用いずに、規則正しいボリュームデータセットを入力として得るアルゴリズムが使用される。前記データセットのレンダリングは、等値面抽出を用いて前記ポリゴンをfront-to-back方式でスライスする制約の下で、３Ｄテクスチャリングを用いることにより達成される。３Ｄ−ＲＡボリュームの上記既知のダイレクトボリュームレンダリングにおいて、結果生じる値は、放射線不透明性ボクセルの密度を示し、ここで血管は中心部において最大の輝度を持ち、輪郭部において最小の輝度を持つ。しかしながら、本発明に従って、この輝度変化が反転され、血管は輪郭部において最大の輝度を持つように、ボクセルの密度の代わりに、（図４におけるモジュール２４での通常ウィンドウの幅／レベル範囲の選択を用いて）ボクセルの半透明度が視覚化される。シルエットコントラストを強調するために、既知のアンシャープマスキング(unsharp masking)の３×３畳み込みフィルタを用いてエッジ強調が適用される。最後に、前記血管の暗さのレベルを制御するために、シルエットの輝度を維持している間、強度補正（例えば逆γ補正）が適用される。（図４の制御モジュール２６において）フィルタカーネル(filter kernel)及び前記強度補正を制御することにより、表示手段４０において表示される画像における所望のレベルの２Ｄ／３Ｄコントランスト及びシェーディングがユーザにより選択及び制御されることができる。既知のグラフィックスハードウェアを使用することにより、本発明により提案される追加の２Ｄ画像処理は、殆ど如何なるオーバーヘッドも追加せずに非常に迅速に実施されることができる。

上述したように、本発明において、ボクセルの半透明度がボクセルの密度の代わりに視覚化され、これは例えばZltan Nagy 及びReinhard Klein著、"High-Quality Silhouette Illustration for Texture-Based Volume Rendering"Journal of WSCG, Vol.12, No.1-3, ISSN 1213-6972に記載され、当業者には明らかであるような既知のダイレクトボリュームレンダリングアルゴリズムへの僅かな修正により達成される。結果生じるボリュームレンダリング方程式は、レイキャスティングにより実施されるか、又は例えば以下のアルゴリズム

BackToFront Renderer
Foreach(slice,s, from back to front)
colour=s.opacity*s.colour+(1-s.opacity)*colour

FrontToBack Rendered
colour=0
opacity=0
Foreach(slice,2, from front to back)
colour=colour+(1-s.opacity)*s.opacity*s.colour
opacity=opacity+(1-opacity).s.opacity

を用いて、バックトゥフロント又はフロントトゥバック順でボクセルの密度のボリュームを通るテクスチャード加工のスライスをレンダリングすることを用いて実施される。

両方のアルゴリズムにおいて、s.colour=s.col*s.opacityであり、色(colour)はボクセルの不透明度が事前に乗算される。

ここで前記ボクセルの半透明度が事前に乗算することにより、s.colour=s.col*(1-s.opacity)であり、ボリュームの半透明度がレンダリングされることができる。

上述した実施例は、本発明を制限するものではなく説明するものであり、当業者は添付される特許請求の範囲に規定されるような本発明の範囲から外れることなく、多くの代替実施例を構成することが可能であることに注意すべきである。この特許請求の範囲において、カッコ内に置かれる如何なる参照符号も請求項を制限するとは考えない。"有している"及び"有する"等と言う用語は、全体として如何なる請求項又は明細書に挙げられた要素又はステップ以外の要素又はステップの存在を排除するものではない。前記要素の端数での表現は、このような要素が複数存在する又はその逆を排除するものではない。本発明は、幾つかの別個の要素を有するハードウェア、又は適切にプログラムされたコンピュータを用いて実施されてもよい。幾つかの手段を列挙している装置の請求項において、これら手段の幾つかがハードウェアの同じ項目により具現化されてもよい。ある測定が相互に異なる従属請求項に挙げられているという単なる事実は、これら測定の組み合わせが有利に使用することができないことを示しているのではない。

Ｘ線スウィングアームの概略的な側面図。 Ｘ線スウィングアームの透視図。 動脈瘤のサーフェスレンダリング。 動脈瘤のシルエットレンダリング。 本発明の例示的な実施例による画像表示システムの主要な特徴を説明している概略的なブロック図。 ３Ｄレンダリングの程度を変えた画像。 ３Ｄレンダリングの程度を変えた画像。 ３Ｄレンダリングの程度を変えた画像。 ３Ｄレンダリングの程度を変えた画像。

Claims (10)

1. 血管構造を含む身体ボリュームの画像を表示する画像処理システムであり、
   前記身体ボリュームの三次元画像データを入力する手段、
   前記三次元画像データから、前記血管構造を表すダイレクトボリュームシルエットレンダリングを生じさせるシルエットレンダリング手段、
   前記身体ボリュームの前記血管構造内を移動される器具を少なくとも表す一連の二次元画像を入力する手段、及び
   前記シルエットレンダリング内に前記一連の二次元画像を表示する手段
   を有する画像処理システムにおいて、
   前記シルエットレンダリング手段は、前記三次元画像データのボクセルの半透明度をレンダリングすることを含み、前記シルエットレンダリングは、前記三次元画像データのボクセルの前記半透明度に比例する値で構成される画像処理システム。
2. コントラストのレベルを変更する、及び／又は表示するために前記シルエットレンダリングで遮蔽する手段をさらに有する請求項１に記載のシステム。
3. ユーザが前記コントラストのレベルを選択及び制御することを可能にする、及び／又は表示するために前記シルエットレンダリングで遮蔽する制御手段を有する請求項２に記載のシステム。
4. 前記制御手段はアナログ制御手段を有する請求項３に記載のシステム。
5. エッジ強調手段はシルエットコントラストを強調するために供給される請求項４に記載のシステム。
6. 前記エッジ強調手段は畳み込みフィルタを有する請求項５に記載のシステム。
7. 前記シルエットの輝度を維持している間、前記身体ボリュームにおける構造の暗さのレベルを制御することが可能であるように、表示するためのシルエットレンダリングに関して強度補正を行う手段を有する請求項１に記載のシステム。
8. 前記シルエットレンダリング手段により行われるダイレクトボリュームシルエットレンダリングは、レイキャスティングにより、又はバックトゥフロント若しくはフロントトゥバック順でボクセル密度のボリュームを通るテクスチャード加工のスライスをレンダリングすることにより実施される請求項１に記載のシステム。
9. 血管構造を含む身体ボリュームの画像を表示する方法において、
   前記身体ボリュームの三次元画像データを入力する、
   前記三次元画像データのボクセルの半透明度をレンダリングして、前記三次元画像データのボクセルの前記半透明度に比例する値で構成される、前記血管構造を表すダイレクトボリュームシルエットレンダリングを生じさせる、
   前記身体ボリュームの前記血管構造内を移動される器具を少なくとも表す一連の二次元画像を入力する、及び
   前記シルエットレンダリング内に前記一連の二次元画像を表示する
   ことを有する方法。
10. 一連の医療画像を表示する医療観察システムにおいて、
    血管構造を含む身体ボリュームの三次元画像データを収集する収集手段、
    前記血管構造内を移動される器具を表す前記一連の二次元画像を収集する収集手段、及び
    請求項１に記載の画像処理システム
    を有するシステム。

Images