JP7401540B2 - 管状構造の切断面表示 - Google Patents

管状構造の切断面表示 Download PDF

Info

Publication number
JP7401540B2
JP7401540B2 JP2021525160A JP2021525160A JP7401540B2 JP 7401540 B2 JP7401540 B2 JP 7401540B2 JP 2021525160 A JP2021525160 A JP 2021525160A JP 2021525160 A JP2021525160 A JP 2021525160A JP 7401540 B2 JP7401540 B2 JP 7401540B2
Authority
JP
Japan
Prior art keywords
tubular object
branches
volume data
branch
viewing direction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021525160A
Other languages
English (en)
Other versions
JP2022506985A (ja
JPWO2020097425A5 (ja
Inventor
ピーターソン サミュエル
トーマス ベンジ
チレン ジュルグ
Original Assignee
バイダ ダイアグノスティクス,インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイダ ダイアグノスティクス,インコーポレイティド filed Critical バイダ ダイアグノスティクス,インコーポレイティド
Publication of JP2022506985A publication Critical patent/JP2022506985A/ja
Publication of JPWO2020097425A5 publication Critical patent/JPWO2020097425A5/ja
Application granted granted Critical
Publication of JP7401540B2 publication Critical patent/JP7401540B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • G06T11/008Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20108Interactive selection of 2D slice in a 3D data set
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30172Centreline of tubular or elongated structure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/008Cut plane or projection plane definition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/021Flattening

Description

関連事項
本出願は、2018年11月9日に出願された米国仮特許出願第62/758,309号の利益を主張する。本出願の全内容は、参照により本明細書に組み込まれる。
本発明は、一般に、肺気道樹および他の複雑な解剖学的構造の豊富な情報量の表示を生成するためのシステムおよび方法に関する。
3次元医療用画像ボリューム内に埋め込まれた管状の解剖学的構造の視覚化と解釈は、その形状の複雑性と非平面的な性質により多くの場合困難である。
管状構造の全体的なトポロジー(特に分岐を示すもの)は、通常、仮想モデル表示の形式で最も良く見ることができ、ここではユーザが単一表示で対象物全体を見ることができる。しかしながら、この観察パラダイムは外部構成ではただ単に幾何学的であるため、内部構成と周囲組織のコンテキスト情報を提供しない。画像ボリュームを通る2次元平面断面(例えば、マルチプレーナリフォーマット(MPR)など)は、構成や周囲コンテキストを視認するのに好適であるが、単一表示内で非常に非平面対象物の小さな部分しかキャプチャできない。このような視覚化に一般的に使用されるさらに別の手法は、最大値投影法(Maximum Intensity Projection、MIP)または最小値投影法(Minimum Intensity Projection、MinIP)である。これらは、均一に明るいか、または暗い関心のある対象物の包括的なビューを生成するために良好に機能するが(例えば、密な構造のCTスキャンの場合のMIP、および中空構造のCTスキャンの場合のMinIP)、スペクトルの反対側端部にあるデータは、完全に除外され、これにより、重要なコンテキスト情報と構成情報が失われることになる。MPRビューの代替として、湾曲した平面リフォーマット(湾曲したMPRまたはCPR)が広く使用され、単一のビューでの管状構造の全長(および限られた数の分岐)に沿って縦方向の断面をレンダリングする。「フィレビュー」として知られる同様の手法が、大腸の視覚化に一般に使用されている。しかしながら、このような構造が繋ぎ合わせられる必要がある方法(特に、対象物が大きく湾曲している場合や枝部が複数の方向に出ている場合)は、方向が分からなくなることが多く、表示されている空間コンテキストが容易に失われることがある。また、複雑な枝構造に対してこれらのタイプの観察を定式化することも困難である。これらおよび他の視覚化方法には様々な制限があるため、単一の連続した表示で、関心のある管状および/または分岐した構造の形状ならびに豊富な内部/コンテキスト情報の両方を伝達する代替的な方法を見つけることが望ましい。枝部構造を連続的に(「繋ぎ合わせ」問題を回避して)キャプチャするために「自由形状」表面を画定およびレンダリングするための方法が以前に提案された。しかし、説明されている方法は、肺気道樹などの非常に複雑な枝部構造には適していない。
以前の技術は、単一の連続した多岐管で完全にカバーされ得る構造にのみ適用されることができる。しかしながら、気道樹などの複雑な構造の場合、過度の歪みが発生するため、これは実用的ではない。
一般に、肺気道樹および他の複雑な解剖学的構造の豊富な情報量の表示を生成するためのシステムおよび方法に関する様々な実施形態が、本明細書において開示されている。医師または他のユーザが患者の肺を視覚化するのを補助するために、そのような実施形態が、例示的な用途において使用され得る。
一実施形態は、ボリュームデータのセットから関心のある管状対象物を視覚化するための方法を含む。この実施形態では、本方法は、関心のある対象物の視線方向を決定するステップと、ボリュームデータ内の対象物の制約サブセットを選択するステップと、ボリュームデータ内の関心のある対象物の制約サブセットを含む、ボリュームデータを通る切断面を画定するステップと、決定された視線方向および管状対象物のボリュームデータに基づいて、ボリュームデータと画定された切断面との交差部分に沿って画像をレンダリングするステップと、を含む。視線方向を決定することは、事前規定された設定を実装すること、視線方向の選択を受信すること、または最適な視線方向を計算することをさらに含み得る。視線方向の選択を受信することは、ボリュームデータの回転可能な2次元視覚化および/または回転可能な3次元視覚化を提供すること、ならびに回転可能な2次元視覚化および/または回転可能な3次元視覚化の回転した位置に基づく選択された配向を受け取ることを含み得る
別の実施形態は、ボリュームデータのセットから関心のある管状対象物を視覚化するための方法を含むことができ、この方法は、管状対象物の複数の分岐を識別するステップと、識別された分岐のそれぞれに重み付け係数を割り当てるステップと、複数の分岐のそれぞれに関連付けられた分岐法線ベクトルを決定するステップと、重み付けファクタ、および複数の識別された分岐のそれぞれのために決定された分岐法線ベクトルに基づいて、分岐法線ベクトルの重み付け平均を決定するステップと、分岐法線ベクトルの重み付け平均に平行な視野からボリュームデータの画像をレンダリングするステップと、を含む。
1つ以上の実施例の詳細は、添付の図面および以下の記載において記載する。他の特徴、目的、および利点は、明細書および図面、ならびに特許請求の範囲から明らかになるであろう。
本発明の利点は、以下の「発明を実施するための形態」の利点を有し、添付の図面を参照することで当業者には明らかになり得る。
管状構造の表示の様々な例を示している。 例示的な気道樹構造を使用して実装された例示的な実施形態の基本的なパイプラインの一例示的な図を示している。 2つの子枝部の方向の外積として計算された分岐面の法線方向を示している。 ツリーを示しており、ツリー左側の表現は、それらの長さに応じてラベル付けされた枝部を有し、ツリー右側の表現は、それら自体の長さにすべての派生物の長さを加えた合計に従ってラベル付けされた枝部を有する。 肺の枝部の3次元表現を示している。 ツリーを示しており、ツリーの左側の表現は、固定点までの距離に従ってラベル付けされた枝部を有し、ツリーの右側の表現は、それら自体の距離の最小値、同様に関心のある固定点からのそれらの派生物のすべての距離に従ってラベル付けされた枝部を有している。 ツリー構造内の優先順位付けされた枝部のセットに対して行われた包含決定の例示的なシーケンスを示している。 深度画像の初期化の一例を示している。 気道樹の例についての進化している様々な段階の一例を示しており、初期化された深度画像で始まり、完全に読み込まれ、滑らかに変化する深度画像で終わっている。 一例示的な気道構造の場合について、最終的に得られる切断面の生成された画像を示している。 図10に示された例示的な気道症例資料に存在する歪みの量および位置を示している。 画像の歪みを低減、局所化、および/または狭化する代替的な実施形態の例示的な切断面および結果として生じる表示を示している。 切断面から生じる歪みデータを示している。 複数の相互参照されたビューを備えた切断面の複数の例示的な表示を示している。 通常密度を下回る組織領域を示すために切断面表示上に重ね合わせられた領域を示している。 切断面レンダリングにスーパーインポーズされた3次元肺結節を示している。 気道の交差部分を除くすべての場所に一定量の厚さが適用された切断面レンダリングを示している。 元の切断面を視線方向に沿って前後に動かすことによって取得された画像を示している。 3次元の気道樹モデルおよび対応する切断面表示の2つの視野を示している。 注釈付きの切断面表示を示している。 処置を計画するために使用され得る気管支鏡経路の様々な図を示している。 所与の視線方向のツリー構造のすべての枝部を最終的に含めるために、複数の切断面レンダリングを生成するための例示的な処理を示している。 2つの同時登録された画像ボリュームについて同等の切断面表示画像を計算するために使用され得るマッピングスキームの一実施形態を示す。
本開示の態様は、医療用画像データから複雑なおよび/または分岐した解剖学的構造の表示を生成するためのシステムおよび方法に関する。「切断面レンダリング」または「切断面表示」は、3次元幾何学的レンダリングの態様を連続した曲面に沿ったサンプリングの概念に組み合わせたものである。実施形態は、全体ボリューム(例えば、重要部分および/または関心部分)および/または関心のある構造の一部分が交差する方法で画像ボリュームを切り開く3次元湾曲平面(本明細書では概して「切断面」と呼ばれる)を生成することを含むことができる。本開示による様々な態様が、肺気道樹および他の複雑な解剖学的構造の豊富な情報量の表示を生成するために使用されることができる。
図1は、管状構造の表示の様々な例を示している。画像110(左上)は、外部視点からの例示的な3次元表示を示している。画像120(左上)は、様々な平面断面表示(MPR)を示している。画像130(左下)は、血管構造132および結腸構造134の湾曲平面リフォーマットを示している。画像140(左下)は、(例えば、気道の)最小値投影法142および(例えば、血管の)最大値投影法144を示している。
本出願によるいくつかの実施形態では、表示のための視点(例えば、視点212)は、切断面の構築の前に選択されることができ、および/または切断面は、関心のある構造のサブセット(例えば、216または222)に基づいて、かつ、選択された視点に応じて構築されている。
画像セグメンテーションや中心線計算(例えば、スケルトン化)には、様々な手法がある。いくつかの実施形態では、関心のある管状対象物は、ボリューム画像データからセグメント化され、関心のある対象物に対応するボクセルが描写され、その内側軸(または「中心線」)が計算されるようになっている。図3は、セグメント化された分岐気道構造325上に黒で重ね合わせられた中心線を表示する例示的な実施形態を示す。いくつかの実施形態では、システムおよび方法は、ボリューム画像データを利用しており、そこから関心のある対象物がすでにセグメント化されており、および/またはその中で中心線がすでに決定されている。
いくつかの実施形態では、本出願によるシステムは、以下のステップを実行するように構成することができ、それらは以下の通りである。1)関心のある対象物のための3次元視線方向(例えば、視線方向214)を決定し、2)対象物のサブセット(例えば、観察可能サブセット222)を選択し、切断面の構造を制約し、3)それら制約間で滑らかに変化する方法でボリュームの残りの部分全体に切断面を画定し(例えば、切断面232)、4)図2の240に示されるように、例えば、レイキャスティングおよびトリリニア補間を介して、画像ボリュームと切断面との交差部分に沿って形成された画像をレンダリングする。
様々な例には、コンピュータ断層撮影(CT)または透視コーンビームCTスキャンからの肺気道樹の表示が含まれており、これにより、以下の説明は、例としてそのような実装の観点から言い表されている。しかしながら、本明細書に記載の様々な処理は、他の管状構造(例えば、血管、血管樹または大腸/小腸)および/または磁気共鳴画像法(MRI)などの別のボリューム画像化方法に適用できることが理解されるであろう。
視点選択
様々な実施形態では、3次元構造の視線方向を選択するとき、結果として生じる投影において重なりまたは妨げを最小限に抑えて、対象物を可能な限り広げることが望ましくなり得る。言い換えれば、関心のある対象物上の点位置間の変動が視線方向に沿って最小化され、(像面に平行で)視線方向に垂直な方向に最大化されることが望ましくなり得る。一部の実装では、これは、広い領域を占める関心のある対象物の2次元投影に類似している。様々な実施形態では、ツリー構造のレンダリングは、表示視野を選択することによって実行することができ、ここから枝部(例えば、枝部330)が広く離れて広がり、互いにブロックしないようになる。このことは、例えば、分岐点310などの任意の分岐点を見ることによって達成され得る。いくつかの実施形態では、このことは、分岐点(例えば、分岐点310)を見ることによって達成されることができ、ここでは複数の子枝部330Aおよび330Bが、単一の親枝部335から分岐することができる。親枝部335は中心線337を有することができ、子枝部は中心線325Aおよび325Bを有することができる。枝部ごとに、この視線方向は多くの場合、法線ベクトル305として示される分岐面320の法線と一致し、2つの分岐枝部の投影は、分岐面320のスパンに沿って互いに離れて広がるようになっている。分岐枝部のすべての対(例えば、枝部330Aおよび330B)の3Dベクトル方向が、ツリーの中心線(例えば、中心線325Aおよび325B)から導き出すことができるとすると、分岐面320の法線は、方向クロス積(方向クロス積315)を使用して容易に計算できる。図3は、2つの子枝部330Aおよび330Bの方向の外積315として計算された分岐面320への法線ベクトル305を示している。
図2は、一例示的な気道樹構造を使用して実装される例示的な実施形態の基本的なパイプラインの例示的な図を示す。左上の画像210では、関心のある対象物216が、決定された視点212とともに示されており、画像220において、関心のある構造216をレンダリングするために選択されたサブセット222は、暗く陰影が付けられ、一方で省略された部分224(選択されたサブセット222の前方または後方の交差)は、明るい陰影が付けられている。左下の画像230では、切断面232は、レンダリングに使用される画像平面236とともに、関心のある構造(例えば、関心のある構造216)の選択されたサブセット(例えば、選択されたサブセット222)と交差するものとして示されている。次に、右下の画像240では、最終的なレンダリングされた画像を生成するための表面の投影は、レンダリングされた画像242として示されている。
いくつかの実施形態では、ツリー全体の視線方向は、ツリー内のすべての分岐にわたる平面法線(例えば、図3に示されるように、子中心線325Aおよび325Bの外積315に関連付けられている)を集約することによって計算されることができる。いくつかの実施形態では、外積315は、一貫した配向ルールを維持するための符号変更を含み得る。この一貫したルールは、任意のベクトルの符号付きのバージョンを1つだけ含むために法線方向のセットを制限する任意のルールであることができる。例えば、ルールは、ベクトル(x,y,z)と(-x,-y,-z)が同じ配向ルールの一部にならないように定義され得る。単純な配向ルールの一例は次のとおりである。
所与の方向(x,y,z)に対して、
z>0の場合、(x,y,z)を使用し、
そうでなく、z<0の場合、(-x,-y,-z)\を使用し、
そうでなく、z=0の場合:
y>0の場合、(x,y,0)を使用し、
そうでなく、y<0の場合、(-x,-y,0)を使用し、
そうでなく、y=0の場合、
x>0である場合、(x,0,0)を使用し、
そうでない場合、(-x,0,0)を使用する。
示された例では、このルールは、含まれている(x,y,z)また(-x,-y,-z)のうち1つになる。
例示的な実装態様では、ツリーの初期の(近位の)枝部の分岐面が観察のために好ましい。いくつかのそのような例では、方法は、加重平均を使用することを含むことができ、重みが各分岐での世代番号に反比例する分岐法線ベクトル(例えば、法線ベクトル305)を集約する。一例として、分岐点bでの相対的な重みは、w(b)=1/(1+anc(b))で表され、式中、anc(b)は、ツリー内の先行するbの分岐の総数(bが派生する分岐の数)である。
データの任意の所望の態様を最適化するために、様々な重み付けスキームを選択できることが理解される。例えば、関心のある1つ以上の特定の点(例えば、疾患または異常の部位)の近傍の気道樹の最良のビューを生成するための例示的な実施形態では、重みスキームは、重みが関心のある点からの距離に反比例するような方法で選択されることができる。図6は、ツリー構造内の様々な枝部から関心のある固定点までの距離を示している。一例として、分岐点bでの相対的重みは、(b)=1/(1+d(b、P))で表されることができ、式中、d(b,P)は、分岐点bから次の関心のある点Pのセットまでの距離の測定値である。点セット距離の測定値は、従来の方法では、d(b,P)=minp∈P d(b,p)として定義され得る。さらに、各d(b,p)は、|| b-p ||として定義されることができ、bが分岐点で単一の点として扱われる場合、またはd(b,p)=minX∈bd(x,p)のように展開できる場合、式中、x ∈ bは、分岐点bに含まれる任意枝部の中心線上にあるすべての点xを意味すると解釈される(通常、親枝部と2つの同胞枝部)。様々な実施形態において、関心のある点は、ユーザによって手動で選択されることができ、またはそれらが、自動化されたセグメンテーション/検出処理(例えば、腫瘍CADアルゴリズム)の結果となり得るか、もしくは、それら両方となり得る。
追加的または代替的な方法には、形状分析手法を使用して最適な視線方向を見つけ出すことを含むことができる。主成分分析法(PCA)は、このタスクに最適になっており、視線方向は、例えば、すべての中心線点のセットから計算された副主軸として選択されることができる。
肺気道の場合のボリューム画像データを利用する様々な例において、固定された視線方向を使用することも可能であり、依然として高品質の結果を達成することができる。例えば、冠状方向(被験者の体の正面を向く方向、例えば図2の214)は、気管(気道樹の根)の全範囲、および左肺と右肺の両方の近位枝部および末梢枝部の広い範囲をキャプチャするために良好に機能する。代替的に左肺と右肺のサブツリーを個別に表示する場合は、矢状投影(被験者の身体の左側または右側を見る方向)が適切に機能する。
別の実施形態では、特定の所望の表示を、例えば、ユーザが、3次元立体表示または2次元MPR表示インターフェース(例えば、図19の左側に示されている3次元ビュー1910および1930)を回転させて配向し、次いで、結果のレンダリングを別のビュー(例えば、図19の右側に示されている切断面表示ビュー1920および1940)で表示することによってのように何らかの方法で画定することができる。
さらに別の実施形態は、ダイレクト3次元操作インターフェースを利用して、関心のある対象物のビューを操作するのと同じビュー内で、完全にレンダリングされた結果をリアルタイムでインタラクティブに表示することができる。
場合によっては、2つの時点(例えば、治療の前後)にわたって患者の解剖学的構造の比較に着眼することが有用になり得る。そのような場合には、2つのインスタンス間で解剖学的に同一になるように視点が選択され得る。さらに、両方のインスタンスの視点は、2つの時点の間で最大変化があった場所を最もよく強調するように選択または計算される場合がある。例えば、関心のある構造のサブセットは、2つのスキャン時点の間で大きな変化(例えば、ある閾値よりも大きなボリュームまたは強度の変化)があるとして定義できる。次に、特定の視点計算(PCA、分岐法線の加重平均、またはその他のメカニズム)がそのサブセットだけに適用されることができる。或いは、加重平均アプローチはその分岐に含まれる任意の枝部で示された変化量(ボリューム、密度など)に関連する分岐の重みを使用して、構造全体で使用できる。重み関数は、
Figure 0007401540000001
のようになる可能性があり、式中、c(x)は、様々な時点におけるx点での変化量の測定値である。表示がどのように選択されるかに関係なく、切断面を構築する次のステップにとって重要になる。
切断面の制約
本発明の様々な実施形態は、湾曲した切断面の構築を含み、これは、図2の画像220に示されるサブセット222のような、結果として得られる画像上に画像ボリュームのどの部分がレンダリングされるかを選択する。いくつかの実施形態では、対象物内の制約点の疎なセットが表面を初期化するために選択され、次に、残り部分が内挿/外挿されて、他のすべての部分も滑らかに変化させる(例えば、図9)。切断面を構築する他の手段が実行されることができ、例えば、平坦面から開始し、次いで、さまざまな場所で面を押し引きして、関心のある対象物を可能な限り多く通過させる。いくつかの例では、制約点は、対象物(例えば、気道樹構造)の中心線から選択されることができる。いくつかのそのような実施形態では、結果として生じる表面は、気道の一部を中央で切断し、それによって、図2に示されている例のように、気道の長さに沿ってそれらをスライスして開く。中心線ツリー全体が、視線方向に沿って自己交差せずに観察できる場合(中心線ツリーのどの部分も、視線方向の視野から他の部分のビューを遮らない)、初期化表面制約に全体的に含めることができる。しかしながら、ほとんどの解剖学的ツリー対象物(特に多くの枝部を有する対象物)は、十分に複雑であるため、これには該当しない。例えば、図5の画像510に示すように、視線方向から見たときに、様々な枝部が互いに交差し得る。そのような複雑性に対応するために、いくつかの例では、対象物のサブセットを選択するためにアルゴリズムが使用されることができ、サブセットのどの部分も視線方向の視点から見て、同じサブセットの別の部分の前を通過しないようになっている。いくつかの実施形態では、例えば、ツリー構造に関係する実施形態では、包含の選択は、枝部ごとに行うことができる。枝部は規定された順序で検討でき、各枝部は、(視線方向の視点から前方または後方で)すでに含まれている枝部と交差しない場合、表面制約に含まれるように選択され得る。例示的な実施形態では、選択されたすべての枝部の(観察面に対する)結合された長さを最大化するための枝部順序付けの問題に貪欲手法が使用されることができる。このような処理は、ツリー内の各枝部にスコアを割り当てることによって、例えば、ツリー内の末梢枝部の投影された長さを合わせた投影された長さの合計などのスコアを割り当てることによって実行され得る。投影された長さは、視線方向に垂直な平面に投影された後の各枝部の中心線の長さを決定することによって計算され得る。この方法は、一般に、ツリーの根元で最大になり、ツリーの葉で最小になるスコアとなる(例えば、図4を参照)。図4は、ツリー410A~Bを示しており、ツリーの左側表現410Aは、それらの長さに応じてラベル付けされた枝部を有し、ツリーの右側表現410Bは、それら自体の長さにすべての派生物の長さを加えた合計に従ってラベル付けされた枝部を有している。長さ412は、単一の枝部長さの一例を示している。ツリー410Aに関して、枝部414A~Cは、それぞれ1.8インチ、2.9インチ、および4.8インチの長さを有するものとしてラベル付けされている。ツリー410Bに移動すると、枝部424Bと424Cは2.9インチと4.8インチの同じラベルを有しており、そして枝部424Aは9.5インチの長さでラベル付けされていることが分かる。これは枝部414A、424Aの点までの枝部の合計が、9.5インチ(1.8インチ+4.8インチ+2.9インチ=9.5インチ)になるためである。図示されるように、親枝部424Aの値は、その値を(例えば、1.8インチの長さを有する)それ自体の合計を表すものに(例えば、2.9インチおよび4.8インチの長さを有する)その末梢枝部424Bおよび424Cを加えたものに更新することができる。
本方法は、様々な枝部にスコアを適用した後に、枝部のリストをスコアの高いものから低いものの順にトラバースすること、およびその中心線が視線方向に対して以前に含まれていた中心線の前方または後方のいずれも通過しない場合(例えば、図5および7を参照)に、枝部を含むことを選択することを含むことができる。
図5の例示的な実施形態では、暗い陰影を付けた枝部520は、初期表面制約に含めるためにすでに選択されたものを表し、明るい陰影を付けた枝部530は、拒絶された枝部を表す。枝部は拒絶されることができるが、これは所与の視点から、暗い陰影を付けた枝部520の前方または後方のいずれかで、ある時点で通過するためである。
説明されている優先順位付けは、可能な実施形態の1つにすぎない。シナリオに最も関係した情報に応じて、優先順位が割り当てられる多くの方法がある。例えば、枝部の長さの代わりに、優先順位は、画像内のもう1つの「関心」領域(疾患部位、治療標的など)までの距離に基づいて割り当てられることができる。このような例のいくつかでは、関心領域により近い枝部が高く優先付けされることができる。
図6は、ツリー610A、B上の所与の関心のある点(例えば、関心のある点630)までの距離に基づいた枝部ラベリングスキームを示している。図6に示されるように、ツリーの左側表現610Aは、その中心線に沿ったすべての点から関心のある点630への枝部の最小距離に従ってラベル付けされた枝部を有し、ツリーの右側表現610Bは、その中心線に沿ったすべての点から、および、その末梢枝部のすべての中心線上のすべての点からの最小距離に従ってラベル付けされた枝部を有している。枝部612は5.1インチのラベルを有している。ツリー610Aに示されるように、枝部612の中心線と関心のある点630との間の最小距離は5.1インチである。同様の方法で、枝部610A~Cは、4.8インチ、4.7インチ、および4.9インチの値でそれぞれラベル付けされている。ツリー610Bに目を向けると、枝部624Bおよび624Cが4.7インチおよび4.9インチの同じラベルを有し、次に枝部624Aが4.7インチの値でラベル付けされていることが分かる。これは、枝部424Aに関して、枝部624Bが、その中心線から関心のある点630までに4.7インチの最小距離を有するためである。図示されるように、親枝部624Aの値は、それ自体またはその末梢枝部のいずれかによって、関心のある点(例えば、関心のある点630)までの最小距離を表すようにその値を更新することができる。枝部の選択は、ツリー610Bのリストをラベルの最低のものから最高のものへの順にトラバースし、その中心線が、視線方向に対して、以前に含まれていた中心線の前方または後方を通過しない場合、枝部を含めることを再度選択できる。このラベリングスキームは、関心のある点に近い枝部、および根元(肺気道の場合は気管)までの経路全体を格上げする。
優先順位は、最低ラベルから最高ラベルへと続くことができる。同様に、優先順位は、ボリューム内に配置されたいくつかの2次元平面までの距離に基づくことができ、そこでは、平面により近い枝部には、遠い枝部よりもより高い優先順位が割り当てられる。いくつかの例では、そのような平面は、観察平面に平行(視線方向に垂直)であることができる。一連の切断面表示は、平面をその法線方向に沿ってボリューム内で移動すること、および離散位置ごとに切断面表示を生成することによって生成されることができる。これらすべての表示の集合が、順に「再生」または「スクロール」されることができ、関心のある構造の動的でアニメーション化された視覚化になる。
縦モード解析の場合などのいくつかの実施形態では、例えば、1つ以上の時点の間の変化量に基づいて優先順位が割り当てられ得る。そのような例のいくつかでは、より大きな変化量(狭化、壁の肥大化など)がある枝部に高い優先順位が与えられ得る。この順序は、必ずしも階層的である必要はない。枝部は、その全体にわたる最大変化量(別の時点からのスキャンと比較して)に従って厳密にラベル付けされる場合もある。制約を含めるための枝部トラバーサルは、最高のラベルから最低のラベルへと続くことができる。
優先順位が構造の様々な部分に割り当てられると、様々な成分を表面制約定義セットに含めるかが検討されることができる。優先度が最も高い成分から始まって、他の要素を妨げることなく、視線方向の視野からすでに含まれている他の要素によって妨げられていない要素を含めることによって、制約セットが定義されることができる。図7は、ツリー構造内の優先順位付けされた枝部のセットに対して行われた包含決定の例示的なシーケンスを示している。各ステップでは、妨げ基準に応じて、優先度が最も高い枝部が含まれるか、除外される。
図7は、制約セットで検討するための優先度に対応する枝部値を有するツリーを示している(値が高いほど優先度が高くなっている)。包含決定のシーケンスは、フレーム1から11に示されている。細い黒い線は、まだ考慮されていない枝部に対応しており、太い黒い線は、制約セットに含まれている枝部を表している。破線で表された枝部は、妨げのために制約セットから省略されている。フレーム1では、枝部710が、17.0の最も高い優先度の値を有しており、初めに選択されている。次に、フレーム2では、値が10.3である2番目に高い優先度の値を有する枝部である枝部720が選択されているが、これは以前に含まれていた枝部と交差していないためである。処理は、フレーム3~5において次に高い優先度の値を選択することを続け、ここでは値が7.2の枝部722が選択され、次に、値が5.6の枝部724が選択され、次に、値が3.5の枝部726が選択されている。フレーム6に移ると、最も高い優先度を有する残りの枝部である1.8の優先度の値を有する枝部730は、以前に選択された枝部724と交差するために省略されている。同様に、フレーム7では、次に高い優先度レベルを有する枝部である枝部740は、以前に選択された枝部726と交差するために省略されている。処理は、次いでフレーム9および9に続き、ここでは、値1.1を有する枝部742が選択されており、値1.0を有する枝部744が選択されている。選択された、および省略された枝部の最終セットがフレーム9に示されており、ここでは枝部710、720、722、724、726、742、および744が選択されており、一方で枝部730および740が省略されている。
いくつかの例では、セグメント化された枝部の遠位端と末端の重要な位置を少し越えた画像特性をキャプチャするために、制約の初期化に使用される中心線が、それらが終了する場所から一定程度の距離で外挿されることができる。同様に、中心線の末端から発する狭い円錐形の領域内の画像分析もまた、最終的な表示に最適なサンプルセットを取得するために、切断面の制約を拡張する必要がある場所へのガイダンスを提供することができる。さらに別のバリエーションは、MIPまたはMinIPを使用して、各中心線の末端に境界のある円錐形の領域をレンダリングして、対象物の枝部の遠位端(例えば、肺気道樹の粘液栓)にある潜在的に関心が高い特性を強調することができる。
初期化する枝部を選択するために、追加的な任意選択の制約として、親枝部がすでに選択に含まれている枝部の使用を含めることができる。さらに厳しい制約を適用し、それによって、すべての同胞枝部も含めることができる場合にのみ枝部が含まれることができる。切断面の滑らかさ(最終画像の歪み量に直接影響する属性)を制御するために、他の制約が定義されることもできる。例えば、選択した異なる枝部上の2点間の3次元距離が、画像平面上の投影位置の2次元距離の事前規定された倍数「M」を超えないように基準が設定されることができる。最終結果の歪みの量を制御するために、パラメータ「M」が使用されることができる。
関心のある対象物の性質、および対象物のどの部分が最終結果でレンダリングされるかという優先順位を考慮して、制約選択問題への代替的手法が利用され得る。例えば、貪欲法および線形の優先順位付け手法であるより、よりグローバルな最適化スキームが適用されることができ、例えば、含まれる各点での目標値の合計(または二乗和など)は、その投影が重ならない制約に従って最大化される。目標値は、枝部の長さ、もしくは周辺領域の属性、局所構造の不規則性、病気の確率、または解剖学的ラベルなどの他の優先順位付け項目に基づくことができる。さらに別の実施形態では、切断面を強制的に通過させるために対象物のどの部分を選択するかは、ユーザが行うことができる。
切断面構築
切断面で最初の点のセットが選択された後、様々な方法には、切断面の残りが画像ボリュームを切り分ける方法を定義することが含まれる。表面の残りの部分は、様々な方法で構築されることができる。いくつかの例では、切断面は、滑らかに変化し、選択された視点の視野に対してそれ自体が重ならないように画定されている。これを行うために可能な方法の1つは、初期化点セットに固定頂点を有し、最小曲率が他の場所にあるパラメトリック曲面表現(NURBS曲面など)を使用することである。いくつかの実施形態では、切断面は、最終出力画像のピクセルに正確に対応する離散した点セットの場所をその上に定義することによって暗黙的に構築することができる。これらの切断面の点位置は、レンダリング画像平面の各ピクセルから視線方向に沿った特定の深度の値までベクトルをトレースすることで定義できる。例示的な実施形態では、深度は、以前に選択された制約中心線点のセット(例えば、図8の点818)に割り当てられ、深度を画像平面内の隣接するピクセルに外向きに伝播するために反復ポーリングおよび平均化処理が使用されることができる(例えば、図9)。そのような様々な例において、画像平面は、視線方向に垂直であり、画像ボリューム内のすべての点の前に配置される任意平面であるように選択することができる。いくつかの例では、初期化セット内の各制約切断面点について、対応するグリッドピクセルは、画像平面830などの視線方向に沿った画像平面への投影を介して決定され、そこのピクセルは、その深度値に初期化される。
図8は、深度画像の初期化の例を示している。図示した例では、切断面を初期化するために、暗く陰影が付いた選択された枝部810が事前に選択されている。次に、選択された枝部810の中心線点820が、画像平面830に投影され、深度が結果として得られるピクセルにおいて記録される。いくつかの実施形態では、画像平面830は、投影された中心線820を表す複数の点および/または線840を含む。例えば、中心線820上の点812は、位置816において画像平面830上に投影される。位置816にあるピクセルは、距離の値で初期化されており、これは、中心線点812から画像平面830に投影されている距離である。
いくつかの例では、制約セット内のすべての初期化ピクセル(例えば、図9の画像910)での深度は、進化の過程を通じて固定されたままである。ここから、残りのピクセルの深度値は、画像920および930に示されるように、隣接するピクセル間で値を安定点(例えば画像940)に達するまで、継続的に伝播および平均化することによって進化し得る。一例示的な実施形態では、画像(例えば画像910)内のすべてのピクセルは、初期化ピクセルを除いて「未割り当て」としてマークされている。ステップ1において、1つ以上の初期化ピクセルに隣接する各「未割り当て」ピクセルには、すべての初期化された隣接ピクセルの平均値が「割り当て」られている。従って、「割り当てられた」ピクセルのセットは、外側に1ピクセル大きくなり得る。後続の反復ごとに、元の初期化セットのピクセルを除くすべてのピクセルの値が、「割り当てられた」隣接ピクセルのすべての平均によって置き換えられることができる。この処理は、指定された安定性基準に達するまで、および/または指定された量の反復が実行されるまで継続し得る。安定性基準のセットの一例は、(1)「割り当てられていない」ピクセルが残っていない場合、および(2)ピクセル値が前の反復での値から選択された割合を超えて変化していない場合である。
図9は、気道樹の例についての進化における様々な段階の一例を示している。左上の画像910は、初期化制約セットを示し、右上の画像920は、10回の反復後の深度画像を示し、左下の画像930は、100回の反復後の深度画像を示し、右下の画像940は、最終的な安定した深度画像を示している。
深度画像全体が読み込まれると、すべてのピクセルにおいて対応する3次元切断面の点が定義される。任意のサンプリングおよび/またはレンダリング方法が使用され、次いでソーススキャンボリュームの値に基づいて各ピクセルに画像値を割り当てることができる。例示的な実施形態では、トリリニア補間を使用して、CT画像ボリュームから様々な切断面点でのグレー値をサンプリングすることができる。いくつかの例では、結果表示は、8ビット、16ビット、または任意の好適なフォーマットであることができる。16ビット出力では、結果画像は異なる種類の市販の医療用画像ソフトウェアで確認でき、ウィンドウ/レベル調整を活用している。しかしながら、異なるソフトウェアが開発されるに従い、他の形式も好適になり得る。例示的な気道症例文書が図10に示されており、ここでは、暗黙的な切断面が画像1010および1020に示され、結果として得られる最終的な表示画像が画像1030に示されている。
図10は、本明細書で論じられるような一例示的な気道構造の場合について、最終的に得られる切断面で生成された画像を示す。図10の画像1010は、関心のある対象物1025全体(薄い陰影)と交差する暗黙的に画定された切断面1012(白で示されている)を示している。画像1020は、次いで関心のある対象物1025の交差部分だけが暗く陰影を付ける切断面を示す。画像1030に移動すると、画像1030は、ソースCT画像ボリュームからのトリリニア補間されたグレー値サンプルに基づいて最終的表示を描く。
この例では、切断面に初期制約を形成した気道は、切断面と中央で交差しているため、領域1032に示すように、結果の画像に明確に表示される。最終画像1030の領域1032は、具体的に表示されることが意図されているものの主要標的である。スキャンボリュームからの周囲実質組織および他の組織の残り部分は、表面が進化段階によって内挿および/または外挿された方法に基づいて、切断面1012と交差している。特定の関心のある対象物(例えば、特定の関心のある対象物1025)の一部ではなく、切断面と交差する「背景」の一部であった画像位置のいくつかの例、例えば、領域1034に示された例が示されている。
いくつかの例では、レンダリングに使用される切断面が湾曲している場合、得られる表示は固有の歪みを示すことになる。歪みの程度は、各ピクセルにおいて深度画像の勾配をサンプリングすることで容易に測定され得る。図11は、図10に示される例示的な気道症例文書に存在する歪みの量および位置を示している。図11は、各ピクセルに存在する歪みの量を示す画像を示している。画像1110に目を向けると、画像1110は、生の歪みデータを示しており、暗いグレー部分1114は、より少ない歪みに対応し、明るいグレー部分1112は、より大きな歪みに対応している。次に、画像1120は、画像1030上にオーバーレイされた画像1110(部分1114および1112)の歪みデータを示す。
いくつかの例では、歪み量を低減するために様々な技術が組み込まれ得る。いくつかの実施形態では、ユーザは、画像1120を表示するディスプレイを介するなどして、存在する歪み量を観察することができ、結果として生じる歪み量を低減するために、切断面を異なる方法でレンダリングすることを選択することができる。
図12は、画像歪みを低減、局所化、および/または狭化する代替的な実施形態の例示的な切断面および結果として生じる表示を示す。図12の画像1210は、交差した気道1225(暗い陰影)とともに切断面1212(薄い陰影)を示している。図示されるように、切断面1212は、領域1216などの切断面1214のより広い平坦な領域間でのより急な高さの変化を示す。次に、画像1220は、画像1210に示される切断面を利用する実施形態の最終的表示を示している。
図13は、切断面1212から生じる歪みデータを示している。図13の画像1310は、例示的な生の歪みデータを示しており、部分1314(暗い陰影)は、より小さな歪みに対応しており、部分1312(薄い陰影)は、より大きな歪みに対応している。次に、画像1320は、画像1030に重ね合わせられた画像1310(部分1314および1312)の歪みデータを示している。
いくつかの例では、この手法はシーケンス化されることができ、関心のある構造内のすべての枝部を最終的にキャプチャする複数の表示を生成することができる。可能性のある実施形態は、表示を生成して、次に前の反復でレンダリングされたすべての葉枝部(末梢枝部を有さない)を削除し、次いで、低減されたツリーで処理を再実行して、すべての葉枝部がレンダリングされるまで継続することができる。このようにして、(例えば、現在選択されているセットと重複しているために)省略された枝部が後続の反復でキャプチャされることができる。
本明細書の他の場所で説明されている様々な例に加えて、またはその代わりに、様々な機能が含まれることができる。
例えば、いくつかの実施形態では、関心のある対象物の表面制約サブセットを選択することは、固定された解剖学的サブセットとして事前定義することができる。例えば、気道樹の場合、制約サブセットは、解剖学的にラベル付けされた気道枝部の事前定義されたサブセットであることができる。いくつかの例では、そのような方法は、ラベル付けされ、セグメント化された関心のある構造がラベル付けされることを使用して実行され得る。このようなラベル付けは、様々な自動化された方法で実行されることも、ユーザによって割り当て/編集されることもできる。
いくつかの例では、表面制約サブセットの直接調整は、ユーザによって実行されることができる。例えば、いくつかの実施形態では、ユーザは、切断面の制約に影響を及ぼすために、関心のある構造の部分を明示的に選択または選択解除することができ、その後、切断面がそれに応じて更新されることができる。例えば、関心のある構造の特定の望んだ部分が表示に含まれていない場合、ユーザは、例えば、その部分内の様々な点をクリックすることによって、この一部を制約として追加することができる。同様に、表示に含まれていた特定の望まない部分を除外する。
いくつかの例では、事前計算された表示シーケンスのアニメーションまたは再生画像を作成することができる。これらのシーケンスは、連続的に変化する一連の視線方向に基づいて生成できる。例えば、関心のある構造の中心に向いた視点のシーケンスは、その周りを360度回転してサンプリングされることができる。これら視点のそれぞれの切断面表示が事前に計算されることができ、次いで、結果の画像のシーケンスがアニメーションとしてレンダリングされることができる。任意選択で、ユーザは基本的な順方向再生、逆方向再生、および一時停止コントロールを介して再生画像を制御できる。
本明細書に記載の様々な例は、単一表示、または分離した表示のセットを生成するために使用されることができ、および/またはより複雑な視覚化アプリケーションに統合されることができる。生成された表面は、多くの場合、最終画像がレンダリングされる画像平面と位相同形であり、2次元表示画像からの点は、例えば、表示内の特定の2次元位置で深度を補間することによって、3次元ボリューム内の一意の位置に広くマッピングされることができ、対応する3次元位置に到達するために、画像平面から視線方向に沿って、その深度だけ突出している。逆に、3次元ボリューム内の任意の点が、2次元表示上の対応する投影にマッピングされることができ、それが表面上に直接的にあるのか、その前方にあるのか、後方にあるのかを容易に照会できる。これらの特性により、ディスプレイインターフェイスで多くの機能が利用できるようになる。例示的な使用事例を以下に説明する。
使用事例(A)
いくつかの例では、各表示ピクセルが一意の3次元ボリューム位置に対応するという事実は、任意の選択された2次元位置の表示とともに補助ビュー(例えば、軸方向/矢状面/冠状面)が提示され得ることを意味する。いくつかの実施形態では、ユーザは、「十字線」ツールを使用して、表面表示内の十字線位置を選択することができ、一意に定義された軸方向/矢状面/冠状平面MPRは、例えば、図14に示すように、それに応じて更新されることができる。
図14は、切断面表示1410(左上隅)を示しており、ここでは、複数の気道枝部および分岐部1412が同時に可視化されている。十字線1414が2次元位置に配置され、次に、対応する3次元点が、深度から切断面まで導き出される。平面位置が十字線の位置に対応する様々な平面および/または補助MPRビューは、軸方向MPR画像1420、矢状面MPR画像1430、および冠状面MPR画像1440として示されている。
さらに、ディスプレイ内に表される3次元ボリューム位置に割り当てられた特性(例えば、組織プロパティの強調表示に対する色付け、解剖学的名前に対応するラベル付け、またはその他の注釈)は、例えば、図15に示されるように2次元表示内のピクセル位置に容易に転送できる。図15は、正常密度を下回る組織領域を示すために、切断面表示1510上に重ね合わせられた領域1512を示している。
3次元ボリューム内の補助構造または領域は、投影によって2次元表示内のいくつかのピクセルのサブセットにマッピングされることができる。様々な例において、そのような構造または領域は、表面の後方にあるか、前方にあるか、またはそれと交差するかのいずれかであることができ、従って、それらの投影された形状は、例えば、図16に示されるように、それに応じてスーパーインポーズされることができる。図16は、切断面のレンダリングにスーパーインポーズされた3次元肺結節を示している。不透明な小結節1610は(所与の視点から)切断面の前方にあり、一方で半透明の小結節(1630)はその後方にある。同時に切断面レンダリングに表示される気道は、複数の気道経路を示しており、これはオーバーレイされた結節1620の近くの肺領域へと繋がっている。
使用事例(B)
いくつかの例では、レンダリングされる表面と従来の平面断面(MPR)との類似性により、切断面表示に実装され得る視覚化ソフトウェアにおいて、MPRで通常使用できる多くの操作が可能になる。例えば、表面は、例えば、図18に示されるように、並列レンダリングのシーケンスにおいて画像ボリュームをスクロールするために、視線方向に沿って前方または後方に移動され得る。図18は、元の切断面を視線方向に沿って前後に動かして取得した画像を示している。画像1850は、元の切断面表示(0mm)を示している。画像1810~1840は、切断面が(視線方向に対して)後方に異なる量だけ平行移動された4つのサンプル画像を示している。より具体的には、画像1810は、-10mmだけ平行移動された切断面を示しており、画像1820は、-7.5mmだけ平行移動された切断面を示しており、画像1830は、-5mmだけ平行移動された切断面を示しており、画像1840は、-2.5mmだけ平行移動した切断面を示している。画像1860~1890はまた、切断面が(視線方向に対して)前方に異なる量だけ平行移動された4つのサンプル画像を示している。より具体的には、画像1860は、+10mmだけ平行移動された切断面を示しており、画像1870は、+7.5mmだけ平行移動された切断面を示しており、画像1880は、+5mmだけ平行移動された切断面を示しており、画像1890は、+2.5mmだけ平行移動した切断面を示している。切断面を異なる量で平行移動することは、平面MPR画像に典型的な「シネ」または「スクロール」操作と同様に実装され得る。MPR平面で通常行われるのと同様に、表面に「厚さ」を持たせることも可能である。例えば、いくつかの実施形態では、2次元表示の各ピクセルは、3次元ボリューム内の複数の位置のセットに対応している。厚いMPR画像の様々な処理と同様に、ピクセルにおける表示は、平均化、最大値投影法(MIP)、最小値投影法(MinIP)、または図17に示されているもののような他の手法によって設定された3次元位置から定義され得る。
図17は、気道の交差部分を除くすべての場所に一定量(例えば、5mm)の厚さが適用された切断面レンダリングを示している。この厚さは、最大値投影法(MIP)を使用してレンダリングされ得る。図17に示される例では、厚さは、厚くされていない気道位置1720の状況を維持する一方で、肺内のより多くの高密度血管1710を視覚化することを補助し得る。
使用事例(C)
ビューイングアプリケーションは、レンダリング用の表面や視点を変更する様々な方法を有し得る。例えば、ユーザは、組み合わせると、関心のある構造全体を網羅する様々な事前計算された表面オプションを切り替えることができる。そのような表面セットを作成するための様々な方法は、本明細書の他の場所で反復として説明されており、この反復において、各ステップでの表面は、例えば、図22に示されるように、関心のある構造から前の反復によって網羅された構造のすべての部分を差し引いたものに基づいて作成されている。図22は、所与の視線方向のツリー構造のすべての枝部を最終的に含めるために、複数の切断面レンダリングを生成するための例示的な処理を示している。
追加的または代替的に、ユーザは、同時表示が望まれる元の関心のある構造のいくつかのサブセットを手動で選択することができる。気道樹の場合、これは、関心のある個々の枝部を選択することによるか、1つ以上の補助領域(疾患部位、異常など)を選択して、表面が関心のある構造の規定された領域に最も近い部分との交差部分を優先するようにすることによって達成できる。例えば、気管支鏡処置が計画されている場合、ユーザは、その処置の意図するルートである気道樹を通る経路を示すことができる。切断面表示は、その特定の経路に対して最適化されることができ、例えば、図21に示されるように、経路が強調表示された状態でユーザに表示されることができる。図21は、右上隅に示される切断面図2110を含む、処置を計画するために使用され得る気管支鏡経路の様々な図を示す。
いくつかの例では、ユーザから表面制約位置を受け取るのではなく、表示がポジショニング機器に同期されることができ、ライブ処置中に医療機器(気管支鏡または血管カテーテルなど)の位置を追跡することができる。表示に使用される表面を改質するだけでなく、このアプリケーションは、それによって表面が画定され、そこから表示がレンダリングされる視点を調整するためのメカニズムも提供することができる。例えば、ユーザは、回転操作を介して視点を変更して、関心のある構造の特定の視野に視線を向けることができる。視点が調整されるとすぐに、表示に使用される表面は、新たな見地に基づいて再計算され得る。視点操作は、補助表示(例えば、3次元ビューまたは調整可能な傾斜面MPR)に関連して実行されることができ、例えば、図19に示すように、ユーザが3次元ビューを変更すると、それに応じて表面表示が更新される。図19は、補助表示(左)に表示されるビュー用に最適化された切断面表示(右)を示している。上の横列は、冠状視点用の切断面レンダリング1920および対応する3次元表示1910を示している。下の横列は、切断面レンダリング1940および垂直軸を中心に45度回転した後の対応する3次元表示1930を示している。
いくつかの例では、表面ビュー表示自体が操作可能なインターフェースを有することができ、ユーザは、表面ビュー上でインタラクティブに表示および更新されているものに従って視点を直接変更することができる。前述の医療機器の同期と同様に、ライブの解剖学的位置が使用され、その点で関心のある構造を観察するための理想的な仮想位置に視点(およびその後の表面)を変更して更新することもできる。
使用事例(D)
いくつかの例では、例えば、切断面表示上の位置とボリュームデータ内のセクションとの間の既知の関係を使用して、表示画像上で様々な測定値を定義および計算することができる。例えば、2点の位置間の実際の距離を測定するルーラーツールを切断面表示で有効にすることができる。画像上に直線ルーラーを描くことで、ユーザはボリューム内に2つの一意の3次元エンドポイントを定義できる。これらの2つの3次元エンドポイント間の結果として得られる3次元距離は、実際の測定値を示すためにルーラーの横に表示され得る。同様に、角度測定ツールは、3点で定義された角度を測定するために実装され得る。さらに、2次元画像表示と3次元表面との間の位相同形関係により、2次元画像上で定義できる任意の2次元領域は、3次元表面で明確に定義された囲まれた領域に対応する。このことは、例えば、図20に示されるように、3次元表面の面積または画像強度統計などの領域測定値を計算および表示できることを意味する。図20は、枝部を通る中心線2010Aおよび2010Bの2つの端点間の3次元距離として、長さ2020のような長さの、例示的な描かれた測定値を有した切断面表示を示す。分岐角2030も示されており、それらが発散する分岐点2040に関して2つの子枝部2050Aと2050Bの端点間に形成される3次元角度を表している。さらに、2次元領域内で表されるすべての3次元ボクセルにわたる平均HU値が、表示され得る。例えば、領域2060の平均HU値は-971HUとして表示されている。
使用事例(E)
いくつかの例では、2つ以上のスキャンボリュームが分析されているとき、切断面表示が、それらの比較の豊富な情報量を同時に表すために用いられることができる。2つ以上のスキャン間の微分同相対応が(例えば、自動画像レジストレーション技術を介して)確立された場合、図23に示すような同等の切断面表示を生成するために適切な変換シーケンスが定義されることができる。図23は、2つの同時レジストレーションされた画像ボリューム(ボリュームAおよびボリュームB)について同等の切断面表示画像(切断面表示Aおよび切断面表示B)を計算するために使用され得るマッピングスキームの一実施形態を示す。いくつかの実施形態では、このことは、同時レジストレーションが、ボリュームA内のすべての3次元ポイント(x,y,z)をボリュームB内の3次元ポイントT(x,y,z)にマッピングすることができるという仮定で実行されることができる。
いくつかのそのような例では、結果として得られる表示は、同じ解剖学的局所性を表すことができ、調整可能な重みまたは透明度機能を備えて、横並びに、または互いに直接重ねられてレンダリングされることができる。上述の操作のいずれも、様々な他のボリュームのビューにおいて類似の操作に変換できる。
本明細書に列挙された使用事例に関して説明された様々な概念は、様々な実施形態において組み合わされ得ることが理解されるであろう。
様々な特徴が説明されている。本開示のいくつかの態様が以下に列挙されており、これらは異なる実施形態に従って様々な方法で組み合わせることができる。
3次元画像ボリューム内の所与の関心のある構造について、関心のある構造のすべてまたは一部と交差する視点と(画像平面に位相同形である)関連する表面を定義し、画像平面への投影を介して表面をレンダリングし、出力画像を生成する。
3次元画像ボリューム内の視点と関連する表面を定義し、画像平面への投影を介して表面をレンダリングし、レンダリングされた画像を画面に表示し、次の機能の1つ以上を提供する。
1つ以上の補助ビューがレンダリングされた表示内の指定されたピクセル位置に対応している(例えば、使用事例(A)および図14)。
注釈や色付けなどを重ね合わせることにより表示画像を変更する(例えば、使用事例(A)および図15)。
1つ以上の他の解剖学的構造の3次元レンダリングをスーパーインポーズすることにより、表示された画像を変更する(例えば、使用事例(A)および図16)。
指定された量の「厚さ」を表面に適用し、これにより、各ピクセルにおけるレンダリングが、平均値、最大強度、最小強度、またはその他の投影方法によって、厚くなった表面投影にわたる値を集約する(例えば、使用事例(B)および図17)。
視点に近づけたり遠ざけたりすることにより表面の位置をインタラクティブに調整する(例えば使用事例(B)および図18)。
次のいずれかによる表面のインタラクティブな調整(例えば、使用事例(C))は以下の通りである。
i.所与の構造の中またはその近くの1つ以上の特定の関心のある点または領域を選択すること。
ii.関心のある構造の異なる部分をキャプチャする1つ以上の代替的表面から選択(図22)すること。
観点をインタラクティブに調整した後、以下のいずれかに基づいて表面を自動更新する(例えば、ユースケース(C)および図19)。
i.補助表示を回転操作すること、または
ii.切断面表示において直接回転操作すること。
以下の提供された解剖学的位置に基づいた表面の自動更新に続いて観点を自動調整する(例:使用事例(C))。
i.ユーザによって直接提供されたか、または補助スキャンまたは機器(例えば、外科手術用GPSユニットなど)との通信を介して提供された解剖学的位置。
ii.関心のある構造を通る3次元経路-例えば、気管支鏡処置を計画するために提案された気道経路(例えば、使用事例(C)および図21)。関心のある気道経路の複数の表現が、異なる表示パラダイムで示されている。白い点線として気道経路がスーパーインポーズされた気道樹全体の3次元ビューが、表示2120に示されている。白い点線として気道経路がスーパーインポーズされた切断面ビューが、表示2110に示されている。概略的な内気道壁および外気道壁の輪郭を有する断面図(中心線経路に沿った特定の位置に垂直な平面内)が表示2150に示されている。さらに、気道内側からの3次元フライスルー視野が表示2130に示されている。
表示された画像の歪みを正しく調整して説明する距離、角度、面積などを測定する(例えば、使用事例(D)および図20)。
2つのともに登録されたボリュームスペース間で視点と表面を同期し、両方の表示を同時に観る(横並びか、別のものの上に直接重ね合わせて、調整可能な重みまたは透明度機能を使用して、一方から他方にスムーズに切り替える(例えば、使用事例(E)および図23)。
本明細書に記載の様々な特徴、およびそれらの様々な組み合わせは、既存のシステムおよび方法に勝る改善および利点をもたらすことができる。例えば、本明細書に記載の様々な特徴および/またはそれらの組み合わせは、以下のように構成することができる。
a.外部のみの形状ベースの3次元モデルビューとは対照的に、完全なボリュームコンテキストを表示する。
b.多くの非同一平面上の枝部にわたる様々な特性(血管や気道の先細りなど)を同時に示す。
c.表示されているすべての管状枝部の端部まで解剖学的構造を表示する。
d.平面断面よりもはるかに多くの関心のある対象物をキャプチャする。
e.従来の湾曲した平面リフォーマット画像よりも良好な配向とグローバル空間コンテキストを維持する。
f.ソースデータの解像度と整合性を維持する(例えば、厚みのあるMPR、またはMIP、またはMinIPレンダリングの場合のように、平均化やフィルタリングを使用しない)。
g.3次元切断面と2次元のレンダリングされた画像との間で、1対1の連続的な対応(両方向)を保証する。これは投影法、およびほとんどの湾曲したMPRとフィレットビュー方法から欠落している特性である。この数学的関係には、3次元表現と2次元表現の間で前後に容易に、かつ自然にマッピングできるという多くの利点がある。
h.([1]とは異なって)表示を関心のある構造の実行可能サブセットに制限することにより、任意の複雑性対象物に機能する。
i.関心のある特定情報に従って最適化するために、(視線方向と切断面の定義に関して)可変的に構築される。
以下は、本明細書に記載されているシステムおよび方法の可能性のある使用と実装の非限定的なリストである。
気道樹、血管樹、大腸/小腸の中心線を含む医療用画像における管状の解剖学的構造の静的かつインタラクティブな視覚化。
頭頸部血管、腕/手血管、ならびに胸部および腹部大動脈、ならびに関連する近位動脈枝(腹腔、腸間膜など)および遠位動脈枝(腸骨、大腿、腎臓、膝窩など)を含む、広周波数範囲CT血管造影(CTA)およびMR血管撮影(MRA)分析の代替的表示。
横隔膜筋、湾曲した骨表面、肩、腰、膝、足首の中の湾曲した硝子体および線維軟骨構造のような多岐管のような解剖学的構造の視覚化。
CT、MR、または磁気共鳴胆道膵管造影スキャンにおける胆管および膵管の視覚化。
脳葉、肺葉、心腔、肝臓葉などの実質臓器の複数のセクションの単一ビューへのマッピング。
腎臓/尿管/膀胱、または膣/子宮/卵管/卵巣、または前立腺/精嚢/精管/睾丸のような複雑な有機サブシステムを1つの表示に視覚化。
上に列記した解剖学的構造の内外の病状の評価、特に他の構造または特性との局在および空間的関連性。例えば、以下のいずれかである。
i.肺気道の気管支拡張症
ii.肺気道内の粘液閉塞
iii.気道壁の炎症/肥厚
iv.COPD(慢性閉塞性肺疾患)における気道喪失/リモデリング
v.気道の様々な特性と周囲実質の状態との間の空間的関連性
vi.気道閉塞または狭化
vii.気道憩室
viii.周囲気道に関連した肺がん結節
ix.肺塞栓
x.血管狭窄
xi.血管動脈瘤
xii.血管石灰化/プラーク
xiii.血管壁の異常
xiv.大腸/小腸憩室
xv.結腸ポリープ
xvi.周囲血管系に関連する腫瘍
外科的および内視鏡的処置計画。
術中および処置中の支援(医療機器の位置に基づいた切断面画像のライブ調整)。
本明細書で説明される様々な方法は、局所的に、および/または分散システムで実装することができる。システムは、CTまたはMRIデータなどのボリュームデータを記憶するためのメモリ、および本明細書に記載の方法に従って、そのようなボリュームデータを処理するように構成されたプロセッサを含むことができる。いくつかの例では、システムはスタンドアロンコンピュータとして具体化することができる。追加的に、または代替的に、様々な処理が、クラウドコンピューティングまたは他のリモート処理構成を介するような遠隔的な場所で実行され得る。例えば、いくつかの例では、データ(例えば、ボリュームデータ)は、処理のために開始場所から遠隔的な場所に通信されることができ、得られた画像(例えば、切断面表示画像)は、通信して開始場所に戻されることができる。システムは、ユーザが、本明細書に記載の様々な処理の実行に関連する1つ以上の態様を調整および/または選択することを可能にするユーザインターフェースを含むことができる。
様々な非限定的な実施例が説明されてきた。これらおよび他の実施例は、以下に列挙する特許請求の範囲内にある。
最後に、本発明の態様の一部を以下記載する。
[態様1]
ボリュームデータのセットから関心のある管状対象物を視覚化する方法であって、
関心のある前記対象物のための視線方向を決定することと、
前記ボリュームデータ内で前記対象物の制約サブセットを選択することと、
前記ボリュームデータを通り、前記ボリュームデータ内の関心のある前記対象物の前記制約サブセットを含む切断面を画定することと、
前記決定された視線方向、および前記管状対象物の前記ボリュームデータに基づいて、前記ボリュームデータと前記画定された切断面との交差部分に沿って画像をレンダリングすることと、を含む、方法。
[態様2]
前記ボリュームデータが、CTまたはMRIデータを含む、態様1に記載の方法。
[態様3]
前記視線方向を決定することが、
事前定義された設定を実装すること、
視線方向の選択を受信すること、または
最適な視線方向を計算すること、を含む、態様1または2に記載の方法。
[態様4]
視線方向の選択を受信することが、前記ボリュームデータの回転可能な2次元視覚化を提供することと、前記回転可能な2次元視覚化の回転位置に基づく選択された配向を受信することと、を含む、態様3または態様1~3のいずれか一項に記載の方法。
[態様5]
前記回転可能な2次元視覚化が、オブリークMPR、2次元最大値投影(MIP)または2次元最小値投影(MinIP)を含む、態様4または態様1~4のいずれか一項に記載の方法。
[態様6]
視線方向の選択を受信することが、前記ボリュームデータの回転可能な3次元視覚化を提供することと、前記回転可能な3次元視覚化の回転位置に基づく選択された配向を受信することと、を含む、態様3または態様1~5のいずれか一項に記載の方法。
[態様7]
前記回転可能な3次元視覚化が、最大値投影(MIP)または最小値投影(MinIP)を含む、態様6または態様1~6のいずれか一項に記載の方法。
[態様8]
外部医療機器および/または計画システムの配向を表す情報を受信することをさらに含み、前記視線方向を決定することが、前記受信した情報に基づく、態様3または態様1~7のいずれか一項に記載の方法。
[態様9]
最適な視線方向を計算することが、
複数のベクトルの加重平均を計算することを含み、前記複数のベクトルのそれぞれが、前記管状対象物内の異なる識別された分岐に関連付けられた法線ベクトルである、態様3または態様1~8のいずれか一項に記載の方法。
[態様10]
最適な視線方向を計算することが、前記ボリューム画像データ内の前記管状対象物の主成分分析を実行することを含む、態様3または態様1~9のいずれか一項に記載の方法。
[態様11]
前記ボリュームデータ内の制約を識別することが、前記管状対象物内の複数の点を選択することを含み、前記ボリュームデータを通る切断面を画定することが、前記選択された複数の点の間に内挿すること、および/または前記選択された複数の点から外挿することを含む、態様1または態様1~10のいずれか一項に記載の方法。
[態様12]
前記管状対象物内の前記選択された複数の点が、前記管状対象物の選択された1つ以上の枝部に対応する、態様11または態様1~11のいずれか一項に記載の方法。
[態様13]
1つ以上の枝部を選択することが、
前記管状対象物の前記枝部の優先順位付けをすることと、
優先度の高い順に枝部を選択し、以前に選択された枝部の中心線の前方または後方を通過する中心線を有する枝部を除外することと、を含む、態様12または態様1~12のいずれか一項に記載の方法。
[態様14]
各枝部にスコアを割り当てることをさらに含み、前記スコアは、前記決定された視線方向に垂直な平面に投影されたときの、前記各枝部の長さと前記各枝部の派生枝部の長さとの合計に対応し、枝部が前記割り当てられたスコアに従って優先順位付けされる、態様13または態様1~13のいずれか一項に記載の方法。
[態様15]
枝部が、前記枝部から前記ボリュームデータ内の関心のある1つ以上の位置までの距離に従って、優先順位付けされる、態様13または態様1~14のいずれか一項に記載の方法。
[態様16]
枝部が、最短距離から最長距離の順で優先順位付けされる、態様15または態様1~15のいずれか一項に記載の方法。
[態様17]
前記管状対象物の前記ボリュームデータを前記管状対象物の前回に取得されたボリュームデータと比較することと、
前記ボリュームデータ内の複数の領域について、ボリュームデータにおける前記前回からの変化量を決定することと、をさらに含み、
前記前回からのボリュームデータの変化量に従って枝部が優先順位付けされる、態様13または態様1~16のいずれか一項に記載の方法。
[態様18]
前記レンダリングされた画像内の複数の領域について、前記画像内に前記切断面によって存在する歪みの量を決定することと、
前記レンダリングされた画像内の複数の位置に存在する歪みの量を示す表示を生成することと、をさらに含む、態様1または態様1~17のいずれか一項に記載の方法。
[態様19]
前記関心のある対象物の前記視線方向を更新された視線方向に変更することと、
前記制約サブセット、および前記更新された視線方向に基づいて、前記ボリュームデータを通る前記切断面を更新することと、
ボリュームデータと更新された切断面との交差部分に沿った更新された視線方向、および前記管状対象物の前記ボリュームデータに基づいて、更新された画像をレンダリングすることと、をさらに含む、態様1または態様1~18のいずれか一項に記載の方法。
[態様20]
ボリュームデータのセットから関心のある管状対象物を視覚化する方法であって、
前記管状対象物の中の複数の分岐を識別することと、
前記識別された分岐に重み係数を割り当てることと、
複数の分岐のそれぞれに関連付けられた分岐の法線ベクトルを決定することと、
前記重み係数、および前記複数の識別された分岐について決定された分岐法線ベクトルに基づいて、前記分岐法線ベクトルの加重平均を決定することと、
前記分岐の法線ベクトルの前記加重平均に平行な視野から前記ボリュームデータの画像をレンダリングすることと、を含む、方法。
[態様21]
所与の分岐に関連付けられた前記重み付き係数が、前記所与の分岐に先行する分岐の数に関し、より少ない先行する分岐を有する分岐に、より多い先行する分岐を有する分岐よりもより強い重みが与えられている、態様20または態様1~20のいずれか一項に記載の方法。
[態様22]
前記ボリューム内の関心のある1つ以上の点を識別することをさらに含み、所与の分岐に関連付けられた前記重み付き係数が、前記所与の分岐と前記関心のある1つ以上の点との間の距離メトリックに基づいている、態様20または態様1~21のいずれか一項に記載の方法。
[態様23]
前記所与の分岐と前記関心のある1つ以上の点との間の前記距離メトリックが、前記分岐と前記関心のある1つ以上の点のそれぞれとの間の最短距離に対応する、態様22または態様1~22のいずれか一項に記載の方法。
[態様24]
ボリュームデータにわたって切断面を画定することをさらに含み、
前記ボリュームデータの画像のレンダリングが、前記切断面と前記管状対象物との交差部分の画像をレンダリングすることを含む、態様20または態様1~23のいずれか一項に記載の方法。
[態様25]
ボリュームデータを受信し、態様1~24のいずれかに記載の方法を実行するように構成されたプロセッサを含む、視覚化システム。
[態様26]
ユーザからの入力を受信するための、そして前記プロセッサと通信するユーザインターフェースをさらに含み、前記入力が、
前記視線方向を決定すること、
前記制約サブセットを選択すること、
前記決定された視線方向、および前記管状対象物の前記ボリュームデータに基づいて、前記ボリュームデータと前記画定された切断面との前記交差部分に沿って前記画像をレンダリングすること、または、
前記切断面表示上の点と同じ点を含む1つ以上の補助ビューを相互参照することのうち1つ以上の態様を制御する、態様25または態様1~25のいずれか一項に記載のシステム。
[態様27]
前記プロセッサと通信し、前記レンダリングされた画像を表示するように構成されているディスプレイをさらに含む、態様25または態様1~26のいずれか一項に記載のシステム。

Claims (29)

  1. ボリュームデータのセットから管状対象物を視覚化する方法であって、
    前記管状対象物のための視線方向を決定することと、
    ボリュームデータのセット内で前記管状対象物の制約サブセットを選択することと、
    前記ボリュームデータを通る切断面であって、前記切断面は、
    前記ボリュームデータ内に3次元表面を含み、かつ、
    前記切断面が前記管状対象物の前記制約サブセットと交差するような前記ボリュームデータ内の前記管状対象物の前記制約サブセットを含む、切断面を画定することと、
    前記決定された視線方向、および前記管状対象物の前記ボリュームデータに基づいて、前記ボリュームデータと前記画定された切断面との交差部分に沿って画像をレンダリングすることと、を含み、
    前記ボリュームデータ内の制約を識別することが、前記管状対象物内の複数の点を選択することを含み、
    前記ボリュームデータを通る切断面を画定することが、前記選択された複数の点の間に内挿すること、および/または前記選択された複数の点から外挿することを含み、
    前記管状対象物内の前記選択された複数の点が、前記管状対象物の選択された1つ以上の枝部に対応し、
    1つ以上の枝部を選択することが、
    前記管状対象物の前記枝部の優先順位付けをすることと、
    優先度の高い順に枝部を選択し、以前に選択された枝部の中心線の前方または後方を通過する中心線を有する枝部を除外することと、を含む、方法。
  2. 前記ボリュームデータが、CTまたはMRIデータを含む、請求項1に記載の方法。
  3. 前記視線方向を決定することが、
    事前定義された設定を実装すること、
    視線方向の選択を受信すること、または
    最適な視線方向を計算すること、を含む、請求項1に記載の方法。
  4. 視線方向の選択を受信することが、前記ボリュームデータの回転可能な2次元視覚化を提供することと、前記回転可能な2次元視覚化の回転位置に基づく選択された配向を受信することと、を含む、請求項3に記載の方法。
  5. 前記回転可能な2次元視覚化が、オブリークMPR、2次元最大値投影(MIP)または2次元最小値投影(MinIP)を含む、請求項4に記載の方法。
  6. 視線方向の選択を受信することが、前記ボリュームデータの回転可能な3次元視覚化を提供することと、前記回転可能な3次元視覚化の回転位置に基づく選択された配向を受信することと、を含む、請求項3記載の方法。
  7. 前記回転可能な3次元視覚化が、最大値投影(MIP)または最小値投影(MinIP)を含む、請求項6に記載の方法。
  8. 最適な視線方向を計算することが、複数の分岐法線ベクトルの加重平均を計算することであって、前記複数の分岐法線ベクトルのそれぞれが、前記管状対象物内の異なる識別された分岐に関連付けられている、ことを含む、請求項3に記載の方法。
  9. 最適な視線方向を計算することが、前記ボリュームデータ内の前記管状対象物の主成分分析を実行することを含む、請求項3に記載の方法。
  10. 各枝部にスコアを割り当てることをさらに含み、前記スコアは、前記決定された視線方向に垂直な平面に投影されたときの、前記各枝部の長さと前記各枝部の派生枝部の長さとの合計に対応し、
    枝部が前記割り当てられたスコアに従って優先順位付けされる、請求項に記載の方法。
  11. 枝部が、前記枝部から前記ボリュームデータ内の関心のある1つ以上の位置までの距離に従って、優先順位付けされる、請求項に記載の方法。
  12. 枝部が、最短距離から最長距離に優先順位付けされる、請求項11に記載の方法。
  13. 前記管状対象物の前記ボリュームデータを前記管状対象物の前回に取得されたボリュームデータと比較することと、
    前記ボリュームデータ内の複数の領域について、前記前回からの前記ボリュームデータの変化量を決定することと、をさらに含み、
    前記前回からの前記ボリュームデータの変化量に従って枝部が優先順位付けされる、請求項に記載の方法。
  14. 前記レンダリングされた画像内の複数の領域について、前記画像内に前記切断面によって存在する歪みの量を決定することと、
    前記レンダリングされた画像内の複数の位置に存在する歪みの前記量を示す表示を生成することと、をさらに含む、請求項1に記載の方法。
  15. 前記管状対象物の前記視線方向を更新された視線方向に変更することと、
    前記制約サブセット、および前記更新された視線方向に基づいて、前記ボリュームデータを通る前記切断面を更新することと、
    前記更新された視線方向、および前記管状対象物の前記ボリュームデータに基づいて、前記ボリュームデータと前記更新された切断面との前記交差部分に沿って更新された画像をレンダリングすることと、をさらに含む、請求項1に記載の方法。
  16. ボリュームデータのセットから管状対象物を視覚化する方法であって、
    前記管状対象物のための視線方向を決定することであって、前記視線方向を決定することが、複数の分岐法線ベクトルの加重平均を計算することであって、前記複数の分岐法線ベクトルのそれぞれが、前記管状対象物内の異なる識別された分岐に関連付けられている、ことによって、最適な視線方向を計算することを含む、ことと、
    ボリュームデータのセット内で前記管状対象物の制約サブセットを選択することと、
    前記ボリュームデータを通る切断面であって、前記切断面は、
    前記ボリュームデータ内に3次元表面を含み、かつ、
    前記切断面が前記管状対象物の前記制約サブセットと交差するような前記ボリュームデータ内の前記管状対象物の前記制約サブセットを含む、切断面を画定することと、
    前記決定された視線方向、および前記管状対象物の前記ボリュームデータに基づいて、前記ボリュームデータと前記画定された切断面との交差部分に沿って画像をレンダリングすることと、を含む、方法。
  17. ボリュームデータのセットから管状対象物を視覚化する方法であって、
    前記管状対象物のための視線方向を決定することであって、前記視線方向を決定することが、前記ボリュームデータ内の前記管状対象物の主成分分析を実行することによって最適な視線方向を計算することを含む、ことと、
    ボリュームデータのセット内で前記管状対象物の制約サブセットを選択することと、
    前記ボリュームデータを通る切断面であって、前記切断面は、
    前記ボリュームデータ内に3次元表面を含み、かつ、
    前記切断面が前記管状対象物の前記制約サブセットと交差するような前記ボリュームデータ内の前記管状対象物の前記制約サブセットを含む、切断面を画定することと、
    前記決定された視線方向、および前記管状対象物の前記ボリュームデータに基づいて、前記ボリュームデータと前記画定された切断面との交差部分に沿って画像をレンダリングすることと、を含む、方法。
  18. ボリュームデータのセットから管状対象物を視覚化する方法であって、
    前記管状対象物のための視線方向を決定することと、
    ボリュームデータのセット内で前記管状対象物の制約サブセットを選択することと、
    前記ボリュームデータを通る切断面であって、前記切断面は、
    前記ボリュームデータ内に3次元表面を含み、かつ、
    前記切断面が前記管状対象物の前記制約サブセットと交差するような前記ボリュームデータ内の前記管状対象物の前記制約サブセットを含む、切断面を画定することと、
    前記決定された視線方向、および前記管状対象物の前記ボリュームデータに基づいて、前記ボリュームデータと前記画定された切断面との交差部分に沿って画像をレンダリングすることと、
    前記レンダリングされた画像内の複数の領域について、前記画像内に前記切断面によって存在する歪みの量を決定することと、
    前記レンダリングされた画像内の複数の位置に存在する歪みの前記量を示す表示を生成することと、を含む、方法。
  19. ボリュームデータのセットから管状対象物を視覚化する方法であって、
    前記管状対象物の中の複数の分岐を識別することと、
    前記識別された分岐のそれぞれに重み付け係数を割り当てることと、
    前記複数の分岐のそれぞれに関連付けられた分岐法線ベクトルを決定することと、
    前記重み付け係数、および前記複数の識別された分岐のそれぞれについて決定された分岐法線ベクトルに基づいて、前記分岐法線ベクトルの加重平均を決定することと、
    前記分岐法線ベクトルの前記加重平均に平行な視野から前記ボリュームデータの画像をレンダリングすることと、を含む、方法。
  20. 所与の分岐に関連付けられた前記重み付け係数が、前記所与の分岐に先行する分岐の数に関連し、より少ない先行する分岐を有する分岐に、より多い先行する分岐を有する分岐よりもより強い重みが与えられている、請求項19に記載の方法。
  21. 前記ボリュームデータ内の関心のある1つ以上の点を識別することをさらに含み、所与の分岐に関連付けられた前記重み付け係数が、前記所与の分岐と前記関心のある前記1つ以上の点との間の距離メトリックに基づいている、請求項19に記載の方法。
  22. 前記所与の分岐と前記関心のある1つ以上の点との間の前記距離メトリックが、前記分岐と前記関心のある1つ以上の点のそれぞれとの間の距離の最短距離に対応する、請求項21に記載の方法。
  23. ボリュームデータを通る切断面を画定することをさらに含み、
    前記ボリュームデータの前記画像をレンダリングすることが、前記切断面と前記管状対象物との交差部分の画像をレンダリングすることを含む、請求項19に記載の方法。
  24. ボリュームデータを受信し、請求項1~18のいずれか一項に記載の方法を実行するように構成されたプロセッサを含む、視覚化システム。
  25. ユーザからの入力を受信するための、そして前記プロセッサと通信するユーザインターフェースをさらに含み、
    前記入力が、
    前記視線方向を決定すること、
    前記制約サブセットを選択すること、
    前記決定された視線方向、および前記管状対象物の前記ボリュームデータに基づいて、前記ボリュームデータと前記画定された切断面との前記交差部分に沿って前記画像をレンダリングすること、または、
    前記切断面上の点と、同じ点を含む1つ以上の補助ビューとを相互参照することの1つ以上の態様を制御する、請求項24に記載のシステム。
  26. 前記プロセッサと通信し、前記レンダリングされた画像を表示するように構成されているディスプレイをさらに含む、請求項24に記載のシステム。
  27. ボリュームデータを受信し、請求項19~23のいずれか一項に記載の方法を実行するように構成されたプロセッサを含む、視覚化システム。
  28. ボリュームデータを受信し、請求項23に記載の方法を実行するように構成されたプロセッサを含む視覚化システムであって、
    ユーザからの入力を受信するための、そして前記プロセッサと通信するユーザインターフェースをさらに含み、
    前記入力が、前記切断面上の点と、同じ点を含む1つ以上の補助ビューとを相互参照することの態様を制御する、視覚化システム。
  29. 前記プロセッサと通信し、前記レンダリングされた画像を表示するように構成されているディスプレイをさらに含む、請求項27に記載のシステム。
JP2021525160A 2018-11-09 2019-11-08 管状構造の切断面表示 Active JP7401540B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862758309P 2018-11-09 2018-11-09
US62/758,309 2018-11-09
PCT/US2019/060407 WO2020097425A2 (en) 2018-11-09 2019-11-08 Cut-surface display of tubular structures

Publications (3)

Publication Number Publication Date
JP2022506985A JP2022506985A (ja) 2022-01-17
JPWO2020097425A5 JPWO2020097425A5 (ja) 2022-08-26
JP7401540B2 true JP7401540B2 (ja) 2023-12-19

Family

ID=69160113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021525160A Active JP7401540B2 (ja) 2018-11-09 2019-11-08 管状構造の切断面表示

Country Status (5)

Country Link
US (1) US11176666B2 (ja)
EP (1) EP3877956A2 (ja)
JP (1) JP7401540B2 (ja)
CN (1) CN113168734A (ja)
WO (1) WO2020097425A2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220144812A (ko) * 2020-01-29 2022-10-27 베르텍스 소프트웨어, 엘엘씨 3d 단면 시각화 및 평가
US11875459B2 (en) 2020-04-07 2024-01-16 Vida Diagnostics, Inc. Subject specific coordinatization and virtual navigation systems and methods
US20230260198A1 (en) * 2020-07-03 2023-08-17 Hirofumi Seo Image processing device, image processing method, and storage medium
CN116546916A (zh) * 2020-09-01 2023-08-04 纽约州立大学研究基金会 用于虚拟胰腺造影管线的系统和方法
CN117642776A (zh) * 2021-05-05 2024-03-01 哈特弗罗公司 用于处理电子图像以确定平面映射的系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004113537A (ja) 2002-09-27 2004-04-15 Ziosoft Inc 分岐体のcpr画像表示処理方法、分岐体のcpr画像表示処理装置及びプログラム
JP2004283373A (ja) 2003-03-20 2004-10-14 Toshiba Corp 管腔状構造体の解析処理装置
JP2010541114A (ja) 2007-10-09 2010-12-24 アグファ・ヘルスケア・ナームローゼ・フェンノートシャップ データセットのボリュームレンダリングのための方法及び装置
JP2014210084A (ja) 2013-04-19 2014-11-13 株式会社東芝 医用画像処理装置および医用画像処理プログラム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5558091A (en) 1993-10-06 1996-09-24 Biosense, Inc. Magnetic determination of position and orientation
US6466687B1 (en) 1997-02-12 2002-10-15 The University Of Iowa Research Foundation Method and apparatus for analyzing CT images to determine the presence of pulmonary tissue pathology
WO1998036236A1 (en) 1997-02-13 1998-08-20 Super Dimension Ltd. Six-degree tracking system
US6580938B1 (en) 1997-02-25 2003-06-17 Biosense, Inc. Image-guided thoracic therapy and apparatus therefor
JP4200546B2 (ja) * 1998-03-09 2008-12-24 株式会社日立メディコ 画像表示装置
WO2000016684A1 (en) 1998-09-24 2000-03-30 Super Dimension Ltd. System and method for determining the location of a catheter during an intra-body medical procedure
IL126333A0 (en) 1998-09-24 1999-05-09 Super Dimension Ltd System and method of recording and displaying in context of an image a location of at least one point-of-interest in body during an intra-body medical procedure
US6775404B1 (en) 1999-03-18 2004-08-10 University Of Washington Apparatus and method for interactive 3D registration of ultrasound and magnetic resonance images based on a magnetic position sensor
US6466815B1 (en) 1999-03-30 2002-10-15 Olympus Optical Co., Ltd. Navigation apparatus and surgical operation image acquisition/display apparatus using the same
US6615155B2 (en) 2000-03-09 2003-09-02 Super Dimension Ltd. Object tracking using a single sensor or a pair of sensors
WO2001078005A2 (en) 2000-04-11 2001-10-18 Cornell Research Foundation, Inc. System and method for three-dimensional image rendering and analysis
AU2001260559A1 (en) 2000-05-19 2001-11-26 Simbionics Ltd. Endoscopic tutorial system for the pancreatic system
US6690960B2 (en) 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
US20030011624A1 (en) 2001-07-13 2003-01-16 Randy Ellis Deformable transformations for interventional guidance
CA2466809A1 (en) 2001-11-21 2003-06-05 Viatronix Incorporated System and method for visualization and navigation of three-dimensional medical images
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
EP3189781A1 (en) 2002-04-17 2017-07-12 Covidien LP Endoscope structures and techniques for navigating to a target in branched structure
EP1543765A4 (en) 2002-08-30 2009-01-07 Olympus Corp MEDICAL TREATMENT SYSTEM, ENDOSCOPE SYSTEM, ENDOSCOPE INSERTION OPERATION PROGRAM, AND ENDOSCOPE DEVICE
JP4263943B2 (ja) * 2003-05-07 2009-05-13 テルモ株式会社 超音波診断装置
WO2005058137A2 (en) 2003-12-12 2005-06-30 University Of Washington Catheterscope 3d guidance and interface system
US9373166B2 (en) 2004-04-23 2016-06-21 Siemens Medical Solutions Usa, Inc. Registered video endoscopy and virtual endoscopy
US8155403B2 (en) 2004-05-05 2012-04-10 University Of Iowa Research Foundation Methods and devices for airway tree labeling and/or matching
WO2005119505A2 (en) 2004-06-04 2005-12-15 Stereotaxis, Inc. User interface for remote control of medical devices
US8073210B2 (en) 2005-02-14 2011-12-06 University Of Lowa Research Foundation Methods of smoothing segmented regions and related devices
EP1917641A2 (en) * 2005-08-17 2008-05-07 Koninklijke Philips Electronics N.V. Method and apparatus for automatic 4d coronary modeling and motion vector field estimation
DE102005039657A1 (de) 2005-08-22 2007-03-22 Siemens Ag Verfahren zur Darstellung einer Vorrichtung in einem 3-D-Bild eines Volumendatensatzes
US7760941B2 (en) 2005-09-23 2010-07-20 Mevis Research Gmbh Method and apparatus of segmenting an object in a data set and of determination of the volume of segmented object
US20070092864A1 (en) 2005-09-30 2007-04-26 The University Of Iowa Research Foundation Treatment planning methods, devices and systems
US7835785B2 (en) 2005-10-04 2010-11-16 Ascension Technology Corporation DC magnetic-based position and orientation monitoring system for tracking medical instruments
US7855723B2 (en) 2006-03-21 2010-12-21 Biosense Webster, Inc. Image registration using locally-weighted fitting
ATE553457T1 (de) * 2006-06-28 2012-04-15 Bio Tree Systems Inc Binned-micro-vessel-dichteverfahren und vorrichtungen
WO2009103046A2 (en) * 2008-02-14 2009-08-20 The Penn State Research Foundation Medical image reporting system and method
US8219179B2 (en) 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8611989B2 (en) * 2010-11-30 2013-12-17 Kabushiki Kaisha Toshiba Multi-planar reconstruction lumen imaging method and apparatus
US9824492B2 (en) * 2016-03-24 2017-11-21 Vital Images, Inc. Hollow object model visualization in medical images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004113537A (ja) 2002-09-27 2004-04-15 Ziosoft Inc 分岐体のcpr画像表示処理方法、分岐体のcpr画像表示処理装置及びプログラム
JP2004283373A (ja) 2003-03-20 2004-10-14 Toshiba Corp 管腔状構造体の解析処理装置
JP2010541114A (ja) 2007-10-09 2010-12-24 アグファ・ヘルスケア・ナームローゼ・フェンノートシャップ データセットのボリュームレンダリングのための方法及び装置
JP2014210084A (ja) 2013-04-19 2014-11-13 株式会社東芝 医用画像処理装置および医用画像処理プログラム

Also Published As

Publication number Publication date
US20200151874A1 (en) 2020-05-14
WO2020097425A3 (en) 2020-08-13
EP3877956A2 (en) 2021-09-15
JP2022506985A (ja) 2022-01-17
US11176666B2 (en) 2021-11-16
CN113168734A (zh) 2021-07-23
WO2020097425A2 (en) 2020-05-14

Similar Documents

Publication Publication Date Title
JP7401540B2 (ja) 管状構造の切断面表示
Kanitsar et al. CPR-curved planar reformation
AU759501B2 (en) Virtual endoscopy with improved image segmentation and lesion detection
US7822461B2 (en) System and method for endoscopic path planning
US7167180B1 (en) Automatic path planning system and method
US5891030A (en) System for two dimensional and three dimensional imaging of tubular structures in the human body
US8682045B2 (en) Virtual endoscopy with improved image segmentation and lesion detection
Straka et al. The VesselGlyph: Focus & context visualization in CT-angiography
WO2000032106A1 (en) Virtual endoscopy with improved image segmentation and lesion detection
WO2009103046A2 (en) Medical image reporting system and method
JP5194138B2 (ja) 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
Zhang et al. Dynamic real-time 4D cardiac MDCT image display using GPU-accelerated volume rendering
Pan et al. Comparison of medical image 3D reconstruction rendering methods for robot-assisted surgery
Robb Virtual endoscopy: evaluation using the visible human datasets and comparison with real endoscopy in patients
Kim et al. Automatic navigation path generation based on two-phase adaptive region-growing algorithm for virtual angioscopy
Kanitsar et al. Diagnostic relevant visualization of vascular structures
KR20020073841A (ko) 3차원 볼륨-단면 결합 영상 생성 방법
Hansen et al. Intraoperative adaptation and visualization of preoperative risk analyses for oncologic liver surgery
EP4231246A1 (en) Technique for optical guidance during a surgical procedure
i Bartrolı et al. Visualization techniques for virtual endoscopy
Ajani et al. Volumetric Clipping Surface: Un-occluded visualization of structures preserving depth cues into surrounding organs
Lee et al. Fast path planning in virtual colonoscopy
Neubauer et al. Fast and flexible ISO-surfacing for virtual endoscopy
Neri et al. Multidetector-Row CT: Image-Processing Techniques and Clinical Applications
Kang et al. Automatic flight path generation in a virtual colonoscopy system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220818

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R150 Certificate of patent or registration of utility model

Ref document number: 7401540

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150