JP7471814B2 - 既知の伝達関数を用いた体積レンダリングの最適化 - Google Patents

既知の伝達関数を用いた体積レンダリングの最適化 Download PDF

Info

Publication number
JP7471814B2
JP7471814B2 JP2019232402A JP2019232402A JP7471814B2 JP 7471814 B2 JP7471814 B2 JP 7471814B2 JP 2019232402 A JP2019232402 A JP 2019232402A JP 2019232402 A JP2019232402 A JP 2019232402A JP 7471814 B2 JP7471814 B2 JP 7471814B2
Authority
JP
Japan
Prior art keywords
voxels
sub
arrays
subarrays
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019232402A
Other languages
English (en)
Other versions
JP2020109652A (ja
Inventor
ベンジャミン・コーエン
リオール・ザール
アハロン・ツルゲマン
ナタン・シャロン・カッツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2020109652A publication Critical patent/JP2020109652A/ja
Application granted granted Critical
Publication of JP7471814B2 publication Critical patent/JP7471814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205Re-meshing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Developing Agents For Electrophotography (AREA)

Description

(著作権表示)
本特許文献の開示の一部には、著作権保護の対象となる資料が含まれる。著作権者は、特許文献又は特許情報開示のうちの任意のものによる複製に対して、それが特許商標庁特許出願又は記録において明らかであるとき、異議を唱えないが、そうでなければ、たとえ何であっても全ての著作権を保有する。
(発明の分野)
本発明は画像データ処理に関する。より具体的には、本発明は、画像データからの3次元構造のモデリング及びレンダリングに関する。
本明細書で使用される特定の頭字語及び略語の意味を表1に示す。
Figure 0007471814000001
中実体の内部の規則的なグリッド位置における1つ又は2つ以上の物理的特性を表すデータの3次元アレイは、コンピュータ体軸断層撮影(CAT)X線走査システムなどの非侵襲性の方法、核磁気共鳴(NMR)撮像システム、又は超音波、陽電子放出断層撮影法(PET)、放出コンピュータ断層撮影法(ECT)、及びマルチモダリティ撮像法(MMI)などの他の非侵襲性の機構により得ることができる。これらの技術のそれぞれは、中実物体の一連のスライスのそれぞれについて値の平坦なグリッド状アレイを生成し、それにより、かかる値の3次元アレイを与える。一般的に、中実物体は、人体又はその一部であるが、本方法は、他の天然又は人工物に等しく適用可能である。CATスキャニングの場合では、物理的値はX線吸収係数である。NMRイメージングの場合、物理的値は、スピン-スピン又はスピン格子緩和時間である。いずれの場合も、測定された物理的値は、下層の物理的構造の組成、密度、又は表面特性の変動を反映している。かかる3次元データアレイは、物体内の立方体又は平行六面体格子内の規則的な位置に分布した複数の3次元(x,y,z)座標のセットと、座標位置の各それぞれ1つに関連付けられた物理的特性の少なくとも1つの値(Vxyz)で通常は構成されている。8個のそのような位置の立方体上で隣接したセットのそれぞれは、「ボクセル」と呼ばれる立方体積を定義し、8個のボクセル頂点のそれぞれについて物理的特性値が指定されている。そして、各ボクセルの「近傍」は、そのボクセル自体と、共通の面を共有する直接隣接する6個のボクセルとを含み、したがって、ボクセル近傍は、ボクセル頂点に関連付けられた32個の物理的値を有する7個のボクセルを含む立方体積である。
例えばMRI又はCTスキャンからのDICOMファイルは、3Dボクセルの形態の大量のデータを含み、各ボクセルはCTスキャンの場合ではハウンスフィールドユニット値などの値を有する。典型的には、データはスライスとして生成され、スライスとして画面上に提示することができる。しかし、データを変換してより明確に見ることができるようにするためには、データをセグメント化して、例えば、骨のボクセルを皮膚のボクセルと区別できるようにする必要がある。次いで、セグメント化されたデータは、体積としてレンダリングされる。これが行われる場合であっても、用いるデータが大量であることから、異なる角度から見ることができるように骨(体積としてレンダリングされている)の画像を回転させるなどの任意の操作は、現代の高速コンピュータであっても時間がかかる。
参照により本明細書に援用するところの米国特許第4,710,876号(Clineら)は、ポリゴン、特に三角形の表面を表す座標値の生成について記載している。これらの多角形表面は、所望の表面と、ボクセルなどの3次元体積要素との交点を近似する。3次元グリッド構造の8個の頂点に定義された8個の値を用いて、8個のビットベクトルが生成される。このベクトルは、座標値を迅速に生成するためのアドレスとして用いられる。各ボクセル要素(立方体上で隣接した8個の格子点によって定義される)において、その目的は、除外された頂点から含まれる頂点を分離する表面を定義することである。米国特許第4,710,876号に記載されているこの技術は、「マーチングキューブ」法として知られている。
疑わしい病変部を特定するために更なる探索を実行するための戦略として、複数の臓器を区別するための医療画像のセグメント化が提案されている。例えば、Hui Sunらによる米国特許出願公開第2009/0116709号は、医療画像データ内に複数のマーチング領域を作成することによって画像データをセグメント化することについて記載している。領域ごとのセグメント化は、複数のマーチング領域上で実行される。ボクセルごとのセグメント化は、複数のマーチング領域のサブセット上で実行することもできる。どのボクセル又はピクセル同士が類似しているかに関する判定を、高速マーチングアルゴリズムから計算することができる。
本発明の実施形態では、任意の選択された方向からファイルを閲覧することにかかる時間を短縮するための数多くのステップを用いる。時間短縮は、データが三角形の形態である場合、グラフィック処理ユニット(GPU)がデータを操作する際に極めて高速であるという事実に基づくものである。DICOMファイルのボクセルから三角形のメッシュが生成される。平行光線がボクセルから形成され、それらの原点に応じてコード化される。例えば、骨組織を表すボクセルを1としてコード化し、骨以外のボクセルを0としてコード化することができる。メッシュと交差する光線は、X線吸収率などの組織の物理的特性に応じて、骨組織に割り当てられたピクセル色を生じることができる。同様に、コード及び色は画像の他の組織に割り当てられる。各画素の色は、メッシュ内のピクセルに衝突する1つ又は2つ以上の光線に関連する全ての色の合成色である。
ファイル内のオブジェクトの画像を操作する際、GPUは、ボクセルではなく、メッシュの三角形に対してのみ動作することが必要である。これにより、オブジェクトのレンダリング及び回転において最大400%の高速化がもたらされる。
本発明の実施形態によれば、画像処理の方法であって、3次元オブジェクトの物理的特性を表すデータを含むボクセルのアレイを受け取ることと、ボクセルのアレイを、それぞれ所定の基準を満たすボクセルの複数の局所的サブアレイにセグメント化することと、サブアレイを、サブアレイを包囲するとともにサブアレイの外側ボクセルを遮る三角形を有するそれぞれの三角形メッシュに変換することと、三角形メッシュを一連の回転ビューとしてディスプレイ上にレンダリングすることと、によって実行される、方法が提供される。
本方法の一態様によれば、ボクセルのアレイをセグメント化することは、レイマーチングによって行われる。
本方法の更なる態様によれば、サブアレイを変換することは、サブアレイ上のマーチングキューブアルゴリズムを実行することによって行われる。
本方法の更に別の態様によれば、三角形メッシュを構築することは、ボールピボットアルゴリズムを実行することによって行われる。
本方法のなおも別の態様によれば、サブアレイを変換することは、デローニ三角分割アルゴリズムを実行することによって行われる。
本方法の更なる態様によれば、三角形メッシュをレンダリングすることは、それぞれの光学特性をサブアレイに割り当てることと、ディスプレイ上に光学特性の合成結果をレンダリングすることと、を含む。
本方法の一態様によれば、光学特性は疑似色である。
本発明の実施形態によれば、プロセッサと、ディスプレイと、データ入力インターフェースと、グラフィック処理ユニットと、プログラムモジュール及びデータオブジェクトを格納したプロセッサにアクセス可能なメモリと、を含む画像処理装置が更に提供される。プログラムモジュールの実行によって、プロセッサに、3次元オブジェクトの物理的特性を表すデータを含むボクセルのアレイを受容するステップと、ボクセルのアレイを、それぞれ所定の基準を満たすボクセルの複数の局所的サブアレイにセグメント化するステップと、サブアレイをそれぞれの三角形メッシュに変換するステップと、を行わせる。メッシュは、サブアレイを包囲するとともにサブアレイの外側ボクセルを遮る三角形を含み、グラフィック処理ユニットが、三角形メッシュを一連の回転ビューとしてディスプレイ上にレンダリングする。
本発明をより深く理解するため、本発明の詳細な説明を実例として参照するが、この説明は以下の図面と併せて読むべきものである。図中、同様の要素には同様の参照数字を付してある。
本発明の一実施形態による、レイマーチングアルゴリズムを示す図である。 本発明の一実施形態による、GPU又は他のディスプレイプロセッサの動作方法のフローチャートである。 本発明の一実施形態による、ボクセルのアレイのセグメント化を示す、図1と同様の図である。 本発明の一実施形態による、ボクセルのセグメントの周囲の三角形メッシュを示す、図3と同様の図である。 三角形メッシュが導出されるボクセルを示す、図4と同様の図である。 本発明の一実施形態による、点群からの体積再構築の各段階を示す一連の図である。 本発明の一実施形態による、複数のメッシュのグラフィック処理を示す複合概略図である。 本発明の一実施形態による、グラフィック処理を実行するように適合されたコンピューティングシステムのブロック図である。
以下の説明では、本発明の様々な原理が十分に理解されるように、多くの具体的な詳細について記載する。しかしながら、これらの詳細の全てが本発明を実施する上で必ずしも必要であるとは限らない点は当業者には明らかであろう。この場合、一般的な概念を無用に分かりにくくすることのないよう、周知の回路、制御論理、並びに従来のアルゴリズム及びプロセスに対するコンピュータプログラム命令の詳細については、詳しく示していない。
第1の実施形態
本発明の原理の理解を容易にするために、図1のボクセルの体積10の表現の1つを示す。「レイマーチング」又は「レイキャスティング」として知られる手順が行われる。「視線光線」としても知られる光線12は、体積10を通過してその中のボクセルの一部とマーチング点において交差するように生成される(そのうちの一部がマーチング点14として代表的に示されている)。この例では、光線12はカメラなどの観測位置16に収束している。体積10を通過する光線12の入射点18及び出射点20が示されている。
ここで、本発明の一実施形態による画像処理の方法のフローチャートである図2を参照する。以下の考察において、画像は、通常は、医療処置から取得されたものと仮定される。ボクセルの形態の画像データのデータファイルが、最初のステップ22における処理を行うために提示される。マーチング点14のボクセルは、ボクセル内のデータの伝達関数が所定の基準を満たすかどうかを判定するために、上述のレイマーチング手順を用いてそれぞれ評価される。1つの例では、所定の範囲のハウンスフィールドユニット内に関数値を有するボクセルを、骨組織を表しているとみなすことができる。ステップ24では、上記に述べたレイマーチング手順(図1)を用いて体積10のセグメント化を行う。図1と似た図である図3に示されるように、サブ体積26(すなわち、特定の基準を満たすボクセルのサブアレイ)がステップ24において特定される。サブ体積26に含まれないボクセルは、基準を満たさない。対象となる複数のセグメントを異なる基準に従って一般的な医療用画像上で特定することができ、異なるタイプの身体組織に対応し得る。
あるいは、参照によって本明細書に援用するところのSunらによる米国特許出願公開第2009/0116709号に記載される方法を適用して、サブ体積26を特定することもできる。
ステップ28では、サブ体積に対応する構造は、ステップ24で定義された対象とする各セグメントの表面上に周囲を囲む三角形メッシュを構築することによってモデル化される。換言すれば、メッシュの三角形は、対象となるセグメントを構成するサブ体積の外側のボクセルを遮る。図4は、三角形メッシュ30がサブ体積26の周囲に追加された、図3と同様の図である。三角形メッシュ30は、太線32によって示されている。
三角形メッシュ30を生成する1つの方法として、上述の米国特許第4,710,876号に記載されている、マーチングキューブアルゴリズムがある。マーチングキューブアルゴリズムを実施する本発明の実施形態では、この手順は、メッシュの三角形表面が個々のボクセルを通過するか否かを判定するために、サブ体積26全体のボクセルにわたって調べる、すなわち「マーチ(行進)」する。簡単に述べると、任意のボクセルに関して、立方体上で隣接したボクセル(その8つの頂点に触れているボクセル)が全てサブ体積26の内側にあるか、又は全てサブ体積26の外側にある場合、いずれの三角形表面もそのボクセルを通過しない。しかしながら、立方体上で隣接したボクセルのうちの一部がサブ容積26の内側にあり、他のボクセルが外側にある場合、特定のボクセルとの交点が存在する、すなわち、特定のボクセルは一部がサブ体積26の内側に、一部が外側にある。交点はメッシュの三角形を画定する。表面交点の配置には256通りのものが存在するが、対称及び相補性に基づけば、実際には、14通りの場合のみを扱えばよい。
図5に示されるように、三角形メッシュ30は、三角形と、体積10内のマーチング点14のサブセットである中黒の丸印によって表されるマーチング点に対応したボクセルとの交点によって形成される。
再び図2を参照すると、ステップ34において、三角形メッシュ30はGPUなどのディスプレイプロセッサによって処理される。ビューの選択及び他の画像処理操作が、三角形メッシュ30上のディスプレイプロセッサによって実行される。
1つのセッションは、一般的に、通常は医師などのオペレータによって表示されるためのビューを繰り返し選択することを含む。例えば、観測者は、対象とする組織についての回転命令をディスプレイプロセッサに入力する。ディスプレイプロセッサは、これに従ってメッシュを回転させる。観測者がピクセルの画面を見ている場合、ディスプレイプロセッサは、各画素からメッシュに向けて平行な光線が照射されているものと仮定する。光線がメッシュに入射する場合、その画素は、対象とする組織についてユーザが選択した色に従って色付けされる。入射がない場合、ピクセルは色付けされない。選択されたビューがステップ36において表示される。本発明者らは、三角形メッシュ30を用いたグラフィック操作の速度が、体積10のセグメント内のボクセルをレンダリングするよりも400%速いことを見出した。
次に、判定ステップ38において、ビューセッションが完了したかどうかが判定される。判定ステップ38での判定がいいえである場合、制御は、その前のものとは異なる回転ビューであり得る別のビューを選択するためにステップ36に戻る。
判定ステップ38での判定がはいである場合、手順は、終了ステップ40で終了する。
第2の実施形態
代替的な実施形態では、点群として処理することができる、サブ体積26内のマーチング点14から三角形メッシュを構築する他の方法が開示される(図2)。次に、本発明の一実施形態による、点群からの体積の再構築における段階を示す一連の図である図6を参照する。プロセッサが、マッピングモジュールを使用して、点群の位置57同士を最初に連結することで線セグメント59のメッシュ61を画定する。
メッシュ61は、必ずしもその必要はないが一般的には三角形メッシュである。一実施形態において、プロセッサは、ボールピボットアルゴリズム(BPA)(Ball-Pivoting Algorithm)を用いてメッシュ61を生成する。一般的に、BPAが用いられる場合、ボールのサイズは、上述したボクセルのサイズに一致するように設定される。あるいは、メッシュ61は、位置57に対応する頂点を有する複数の三角形を含む、デローニ三角分割法(Delaunay triangulation)で生成されてもよい。三角分割の各三角形は、位置57の周囲に形成されたボロノイ図に基づいたものとすることができる。しかしながら、プロセッサは、メッシュを形成するための当該技術分野において周知のいずれの便宜のよい方法を用いることもできる。
表示処理
三角形メッシュ30を表示することは、ステップ34(図2)において開始する。ステップ34を実現するための1つの方法の詳細を以下に示す。メッシュ61を生成した後、プロセッサは、位置57と線セグメント59とを結ぶ概ね滑らかな表面63を生成する。表面63を生成するには、プロセッサは通常、内挿及びそれに加えるか又はそれに代わるものとして外挿を用いる。更に、表面63が概ね滑らかとなるように、プロセッサは、位置57及び/又は線セグメント59の一部に近接する(ただし、必ずしも含まない)ように表面を調整することができる。例として、表面63は、輪郭65、67、69を有する。
表面63を生成した後、プロセッサは、表面が閉じているか(すなわち、表面が球体などの閉表面とトポロジー的に等価であるか)を確認する。一般的には、表面63は閉じておらず、1つ又は2つ以上の開口部を有している。表面内の開口部は、右心房の上大静脈又は下大静脈などの臓器内に自然に存在するものであってよい。このような開口部は、自然開口部と呼ばれる。更に、臓器が完全にマッピングされていないので、本明細書で人工開口部と呼ぶ開口部が表面63内に存在し得る。
表面63が閉じていない場合には、プロセッサは、表面が閉じるまで更なる表面要素を追加することによって表面を閉じて、閉じた表面71を生成することができる。一実施形態において、開口部は、開口部を取り囲む、最小の体積を有する有向境界ボックス(oriented bounding box)を追加することにより閉じられる。これにより、ボックスは表面の一部として処理される。
ディスプレイプロセッサの動作の更なる詳細は、本明細書に参照によって援用するところの、本願と同一譲受人に譲渡された、発明の名称が「Dynamic Feature Rich Anatomical Reconstruction from a Point Cloud」である米国特許出願第9,265,434号に開示されている。
合成イメージング
実際には、画像上の異なるタイプの組織を表す、異なるサブ体積のボクセルから導出された多数の三角形メッシュが存在してよい。例えば、皮膚メッシュ及び骨メッシュが存在してもよい。各平行光線は、何にも衝突しないか、皮膚及び/又は骨に衝突してよい。サブ体積のボクセルには、擬似色、シェーディング、及びパターンなどのそれぞれの光学的標示が割り当てられる。例として、疑似色について以下の考察で説明する。
各画素の色は、メッシュに割り当てられた任意の透明性を考慮した、ピクセルの光線が衝突する全ての擬似色の合成色である。本発明の一実施形態による複数のメッシュのグラフィック処理のためのスキームを図7に示す。図7に示す種類のグラフィックハードウェアを使用した体積レンダリングは、当該技術分野では周知のものである。関連技術の要約した説明は、参照によって本明細書に援用するところのインターネット文書:Volume Rendering using Graphics Hardware,Travis Gorkin,June 2009のセクション4~10に示されている。画像ファイルの分割が完了した後(図1のステップ28)、セグメントのみを考慮し、ある体積を通過する視野光線42は、図6の第1及び第2のサブ体積44、46のような複数のセグメントからボクセルを通過することができる。各サブ体積において、光線の計算される強度は、ボクセル内にコード化された物理的特性及び光線を遮るボクセルの数に基づいた元の画像の光学的不透明度の関数である。その結果、サブ体積44、46は、それぞれの特性強度曲線48、50を生成する。同様に、サブ体積44、46によって表される組織に割り当てられた擬似色に基づいて、色強度曲線52、54を生成することもできる。曲線48、50上のそれぞれの点56、58及び曲線52、54からの点60、62からの値は、入力ペア64、66として合成関数68に提出され、そのピクセル出力70が表示画面72上の合成色として表示される。あるいは、上記に述べた米国特許第4,710,876号(コラム16、5行目~コラム17、25行目を、図8及び9と併せて)に記載される装置を、必要に応じて変更して使用して合成関数68を実行することもできる。
図7に示されるスキームは、リスト1のHLSLコードフラグメントを用いて当業者が実施することが可能である。
装置
次に、本発明の一実施形態による上記に述べた手順を実行するように適合された計算システム74のブロック図である図8を参照する。システム74は、以下に説明する機能を実行するのに適したソフトウェアによってプログラムされた、汎用又は組込み型コンピュータプロセッサを有するワークステーション76を一般的に備える。したがって、システム74の部分は、いくつかの別個の機能ブロックを含むものとして示されているが、これらのブロックは必ずしも別個の実体ではなく、むしろ例えば、プロセッサにアクセス可能なメモリに格納された異なる計算タスク又はデータオブジェクトを表しうる。これらのタスクは、単一のプロセッサ又は複数のプロセッサで動作するソフトウェアで実行することができる。ソフトウェアは、1つ又は2つ以上のプロセッサに、CD-ROM又は不揮発性メモリのような有形の非一時的媒体で提供され得る。これに代えるか又はこれに加えて、システム74は、デジタル信号プロセッサ、フィールド・プログラマブル・ゲート・アレイ又は実配線ロジックを備えてもよい。
データ入力インターフェース78は、データメモリ80内に格納するためのDICOMファイルなどのデータファイルを受け取る。マルチプロセッサであってもよい中央処理ユニット82は、ボクセルセグメント化モジュール84及びメッシュ発生器86を含むプログラムモジュールを実行する。一般的に、中央処理装置82は、メッシュ発生器86からGPUであってよいグラフィックエンジン88にデータをオフロードする。グラフィックスエンジン88は、グラフィックをディスプレイモニタ90にレンダリングし、オブジェクトの向き、回転、色付け、シェーディング、及びテクスチャリングなどのグラフィック操作を行う。オペレータとの相互作用を行うため、ワークステーション76には、ポインタデバイス92,キーボード94が設けられ、音声入力デバイス96を通じて音声コマンドを受け取ることができる。音声コマンドは、当該技術分野では周知の音声認識法を用いて他のモジュール98によって処理されてもよい。
本発明が、本明細書上に具体的に示されて記載されたものに限定されない点が、当業者により理解されよう。むしろ、本発明の範囲は、上述の様々な特徴の組み合わせ及び部分的組み合わせ、並びに上記の説明を読むことで当業者には想到されるであろう、先行技術にはない上述の特徴の変形例及び改変例をも含むものである。
コンピュータプログラムのリスト
Figure 0007471814000002
Figure 0007471814000003
Figure 0007471814000004
Figure 0007471814000005
〔実施の態様〕
(1) 画像処理の方法であって、
ボクセルのアレイを受け取るステップであって、前記ボクセルが、3次元オブジェクトの物理的特性を表すデータを含む、ステップと、
前記ボクセルのアレイを、それぞれ所定の基準を満たすボクセルの複数の局所的サブアレイにセグメント化するステップであって、前記サブアレイが外側ボクセルを有する、ステップと、
前記サブアレイをそれぞれの三角形メッシュに変換するステップであって、前記メッシュが、前記サブアレイを包囲するとともに前記サブアレイの前記外側ボクセルを遮る三角形を有する、ステップと、
前記三角形メッシュを一連の回転ビューとしてディスプレイ上にレンダリングするステップと、を含む、方法。
(2) 前記ボクセルのアレイをセグメント化するステップが、レイマーチングによって行われる、実施態様1に記載の方法。
(3) 前記サブアレイを変換するステップが、前記サブアレイに対してマーチングキューブアルゴリズムを実行することによって行われる、実施態様1に記載の方法。
(4) 三角形メッシュを構築するステップが、ボールピボットアルゴリズムを実行することによって行われる、実施態様1に記載の方法。
(5) 前記サブアレイを変換するステップが、デローニ三角分割アルゴリズムを実行することによって行われる、実施態様1に記載の方法。
(6) 前記三角形メッシュをレンダリングするステップが、それぞれの光学特性を前記サブアレイに割り当てることと、前記ディスプレイ上に前記光学特性の合成結果をレンダリングすることと、を含む、実施態様1に記載の方法。
(7) 前記光学特性が疑似色である、実施態様6に記載の方法。
(8) 画像処理装置であって、
プロセッサと、
ディスプレイと、
データ入力インターフェースと、
グラフィック処理ユニットと、
プログラムモジュール及びデータオブジェクトを内部に格納した前記プロセッサにアクセス可能なメモリと、を備え、前記プログラムモジュールの実行によって、前記プロセッサに、
前記データ入力インターフェースを介してボクセルのアレイを受け取るステップであって、前記ボクセルが、3次元オブジェクトの物理的特性を表すデータを含む、ステップと、
前記ボクセルのアレイを、それぞれ所定の基準を満たすボクセルの複数の局所的サブアレイにセグメント化するステップであって、前記サブアレイが外側ボクセルを有する、ステップと、
前記サブアレイをそれぞれの三角形メッシュに変換するステップであって、前記メッシュが、前記サブアレイを包囲するとともに前記サブアレイの前記外側ボクセルを遮る三角形を有する、ステップと、
前記グラフィック処理ユニットによって、前記三角形メッシュを一連の回転ビューとして前記ディスプレイ上にレンダリングするステップと、を行わせる、画像処理装置。
(9) 前記ボクセルのアレイをセグメント化するステップが、レイマーチングによって行われる、実施態様8に記載の装置。
(10) 前記サブアレイを変換するステップが、前記サブアレイに対してマーチングキューブアルゴリズムを実行することによって行われる、実施態様8に記載の装置。
(11) 前記サブアレイを変換するステップが、ボールピボットアルゴリズムを実行することによって行われる、実施態様8に記載の装置。
(12) 前記サブアレイを変換するステップが、デローニ三角分割アルゴリズムを実行することによって行われる、実施態様8に記載の装置。
(13) 前記三角形メッシュをレンダリングするステップが、それぞれの光学特性を前記サブアレイに割り当てることと、前記ディスプレイ上に前記光学特性の合成結果をレンダリングすることと、を含む、実施態様8に記載の装置。
(14) 前記光学特性が疑似色である、実施態様13に記載の装置。

Claims (12)

  1. 画像処理の方法であって、
    ボクセルのアレイを受け取るステップであって、前記ボクセルが、3次元オブジェクトの物理的特性を表すデータを含む、ステップと、
    前記ボクセルのアレイを、それぞれ所定の基準を満たすボクセルの複数の局所的サブアレイにセグメント化するステップであって、前記サブアレイが外側ボクセルを有する、ステップと、
    前記サブアレイをそれぞれの三角形メッシュに変換するステップであって、前記メッシュが、前記サブアレイを包囲するとともに前記サブアレイの前記外側ボクセルを遮る三角形を有する、ステップと、
    前記三角形メッシュを一連の回転ビューとしてディスプレイ上にレンダリングするステップと、を含
    前記三角形メッシュをレンダリングするステップが、それぞれの光学特性を前記サブアレイに割り当てることと、前記サブアレイのみに基づいて前記ディスプレイ上に前記光学特性の合成結果をレンダリングすることと、を含む方法。
  2. 前記ボクセルのアレイをセグメント化するステップが、レイマーチングによって行われる、請求項1に記載の方法。
  3. 前記サブアレイを変換するステップが、前記サブアレイに対してマーチングキューブアルゴリズムを実行することによって行われる、請求項1に記載の方法。
  4. 三角形メッシュを構築するステップが、ボールピボットアルゴリズムを実行することによって行われる、請求項1に記載の方法。
  5. 前記サブアレイを変換するステップが、デローニ三角分割アルゴリズムを実行することによって行われる、請求項1に記載の方法。
  6. 前記光学特性が疑似色である、請求項に記載の方法。
  7. 画像処理装置であって、
    プロセッサと、
    ディスプレイと、
    データ入力インターフェースと、
    グラフィック処理ユニットと、
    プログラムモジュール及びデータオブジェクトを内部に格納した前記プロセッサにアクセス可能なメモリと、を備え、前記プログラムモジュールの実行によって、前記プロセッサに、
    前記データ入力インターフェースを介してボクセルのアレイを受け取るステップであって、前記ボクセルが、3次元オブジェクトの物理的特性を表すデータを含む、ステップと、
    前記ボクセルのアレイを、それぞれ所定の基準を満たすボクセルの複数の局所的サブアレイにセグメント化するステップであって、前記サブアレイが外側ボクセルを有する、ステップと、
    前記サブアレイをそれぞれの三角形メッシュに変換するステップであって、前記メッシュが、前記サブアレイを包囲するとともに前記サブアレイの前記外側ボクセルを遮る三角形を有する、ステップと、
    前記グラフィック処理ユニットによって、前記三角形メッシュを一連の回転ビューとして前記ディスプレイ上にレンダリングするステップと、
    を行わせ、
    前記三角形メッシュをレンダリングするステップが、それぞれの光学特性を前記サブアレイに割り当てることと、前記サブアレイのみに基づいて前記ディスプレイ上に前記光学特性の合成結果をレンダリングすることと、を含む、画像処理装置。
  8. 前記ボクセルのアレイをセグメント化するステップが、レイマーチングによって行われる、請求項に記載の装置。
  9. 前記サブアレイを変換するステップが、前記サブアレイに対してマーチングキューブアルゴリズムを実行することによって行われる、請求項に記載の装置。
  10. 前記サブアレイを変換するステップが、ボールピボットアルゴリズムを実行することによって行われる、請求項に記載の装置。
  11. 前記サブアレイを変換するステップが、デローニ三角分割アルゴリズムを実行することによって行われる、請求項に記載の装置。
    することと、を含む、請求項に記載の装置。
  12. 前記光学特性が疑似色である、請求項に記載の装置。
JP2019232402A 2018-12-31 2019-12-24 既知の伝達関数を用いた体積レンダリングの最適化 Active JP7471814B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/236,964 US11393167B2 (en) 2018-12-31 2018-12-31 Volume rendering optimization with known transfer function
US16/236,964 2018-12-31

Publications (2)

Publication Number Publication Date
JP2020109652A JP2020109652A (ja) 2020-07-16
JP7471814B2 true JP7471814B2 (ja) 2024-04-22

Family

ID=69055911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019232402A Active JP7471814B2 (ja) 2018-12-31 2019-12-24 既知の伝達関数を用いた体積レンダリングの最適化

Country Status (5)

Country Link
US (1) US11393167B2 (ja)
EP (1) EP3675047A1 (ja)
JP (1) JP7471814B2 (ja)
CN (1) CN111383233A (ja)
IL (1) IL270485B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192204B (zh) * 2021-01-29 2022-08-26 哈尔滨工程大学 单幅倾斜遥感图像中建筑物的三维重建方法
US11900524B2 (en) 2022-03-03 2024-02-13 Biosense Webster (Israel) Ltd. Constructing topography of lumen wall in 4D ultrasound image with virtual ellipsoid or polyhedron
US20240062464A1 (en) * 2022-08-16 2024-02-22 Biosense Webster (Israel) Ltd. Anatomical modeling with the ball-pivoting algorithm

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093093A (ja) 2012-11-06 2014-05-19 Biosense Webster (Israel) Ltd 3次元表面の合成

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4710876A (en) 1985-06-05 1987-12-01 General Electric Company System and method for the display of surface structures contained within the interior region of a solid body
EP0204225B1 (en) 1985-06-05 1994-12-14 General Electric Company System and method for the display of surface structures contained within the interior region of a solid body
US5166876A (en) 1991-01-16 1992-11-24 General Electric Company System and method for detecting internal structures contained within the interior region of a solid object
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US5782762A (en) 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US6002738A (en) 1995-07-07 1999-12-14 Silicon Graphics, Inc. System and method of performing tomographic reconstruction and volume rendering using texture mapping
US7581191B2 (en) * 1999-11-15 2009-08-25 Xenogen Corporation Graphical user interface for 3-D in-vivo imaging
US6990228B1 (en) * 1999-12-17 2006-01-24 Canon Kabushiki Kaisha Image processing apparatus
EP1264281A4 (en) 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
US8073217B2 (en) 2007-11-01 2011-12-06 Siemens Medical Solutions Usa, Inc. Structure segmentation via MAR-cut
RU2526712C2 (ru) * 2008-12-01 2014-08-27 РОКСТАР КОНСОРЦИУМ ЮЭс ЛП Способ создания видеоизображений компьютерной трехмерной виртуальной среды
US20120081357A1 (en) * 2010-10-01 2012-04-05 Martin Habbecke System and method for interactive painting of 2d images for iterative 3d modeling
US8872826B2 (en) * 2011-02-17 2014-10-28 Sony Corporation System and method for decoupled ray marching for production ray tracking in inhomogeneous participating media
US9305391B2 (en) * 2013-03-15 2016-04-05 3D Systems, Inc. Apparatus and methods for detailing subdivision surfaces
US9265434B2 (en) 2013-12-18 2016-02-23 Biosense Webster (Israel) Ltd. Dynamic feature rich anatomical reconstruction from a point cloud
US11004202B2 (en) * 2017-10-09 2021-05-11 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for semantic segmentation of 3D point clouds
US10884428B2 (en) * 2018-03-06 2021-01-05 Zoox, Inc. Mesh decimation techniques and validation
US10672182B2 (en) * 2018-04-19 2020-06-02 Microsoft Technology Licensing, Llc Compact visibility state for GPUs compatible with hardware instancing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014093093A (ja) 2012-11-06 2014-05-19 Biosense Webster (Israel) Ltd 3次元表面の合成

Also Published As

Publication number Publication date
US11393167B2 (en) 2022-07-19
IL270485B2 (en) 2023-07-01
IL270485B1 (en) 2023-03-01
EP3675047A1 (en) 2020-07-01
US20200211280A1 (en) 2020-07-02
JP2020109652A (ja) 2020-07-16
CN111383233A (zh) 2020-07-07
IL270485A (en) 2020-06-30

Similar Documents

Publication Publication Date Title
US7529396B2 (en) Method, computer program product, and apparatus for designating region of interest
JP7471814B2 (ja) 既知の伝達関数を用いた体積レンダリングの最適化
CN109584349B (zh) 用于渲染材料属性的方法和设备
US7505037B2 (en) Direct volume rendering of 4D deformable volume images
US6529192B1 (en) Method and apparatus for generating mesh models of 3D objects
US10311631B2 (en) Light path fusion for rendering surface and volume data in medical imaging
US9224236B2 (en) Interactive changing of the depiction of an object displayed using volume rendering
US5150427A (en) Three dimensional disarticulation
Marino et al. Planar visualization of treelike structures
US8203553B2 (en) Distributed calculation of images of volumetric objects
Stewart et al. Rebuilding the visible man
CN112233791A (zh) 基于点云数据聚类的乳腺假体制备装置及方法
EP4273809A1 (en) Technique for real-time rendering of medical images using virtual spherical light sources
Udupa et al. New automatic mode of visualizing the colon via cine CT
DE102021110797A1 (de) Verfahren und System zum Optimieren einer Abstandsschätzung
STAGNOLI Ultrasound simulation with deformable mesh model from a Voxel-based dataset
Nurizzaty Khairi Three-dimensional visualization of brain tumor computed tomography images/Nurizzaty Khairi Mohamed
Wood et al. Real-time 3D rendering of volumes on a 64-bit architecture
Mohamed Three-Dimensional Visualization of Brain Tumor Computed Tomography Images
Mykhaylov et al. Multi-Volume Data Visualization Using Bounding Shells
Zhang et al. High-quality anatomical structure enhancement for cardiac image dynamic volume rendering
JPH0793926B2 (ja) ディスプレイリスト表面データを使用する手術シミュレーション装置
CN117011201A (zh) 用于优化医学图像的重叠的渲染参数的技术
Zhang Medical Volume Reconstruction Techniques
Gong et al. A new representation of intensity atlas for gpu-accelerated instance generation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240410

R150 Certificate of patent or registration of utility model

Ref document number: 7471814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150