JP4681885B2 - プロトコルベースのボリューム可視化 - Google Patents

プロトコルベースのボリューム可視化 Download PDF

Info

Publication number
JP4681885B2
JP4681885B2 JP2004561790A JP2004561790A JP4681885B2 JP 4681885 B2 JP4681885 B2 JP 4681885B2 JP 2004561790 A JP2004561790 A JP 2004561790A JP 2004561790 A JP2004561790 A JP 2004561790A JP 4681885 B2 JP4681885 B2 JP 4681885B2
Authority
JP
Japan
Prior art keywords
volume
ray
rendering
protocol
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2004561790A
Other languages
English (en)
Other versions
JP2006510434A (ja
Inventor
アー ヘリットセン,フランス
ロブレフト,ステーフェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2006510434A publication Critical patent/JP2006510434A/ja
Application granted granted Critical
Publication of JP4681885B2 publication Critical patent/JP4681885B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明は、特に医療用の、3次元(以下、“3D”という)ボリューム可視化システムに関する。本発明は、また、かかるシステムにおいて用いられるソフトウェアに関連する。本発明は、3次元の3Dボリュームを可視化する方法に関連する。
デジタル処理ハードウェア(専用の事前プログラムされたハードウェアやプログラム可能なプロセッサ)の増加する能力により、3次元データセットから高品質の画像を生成するために実際のシステム内のレンダリングアルゴリズムを活用することが可能となりつつある。医療の分野では、3次元データセットは、典型的には、CT(コンピュータトモグラフィ)スキャナやMR(磁気共鳴)スキャナのような3Dスキャナの使用を必要とする。3次元データセットは、スカラー値の3次元セットからなる。これらの値が付与される位置は、ボクセルと呼ばれ、3次元要素に対する略語である。ボクセルの値をボクセル値と称する。図1は、8つのボクセル110により囲まれた立方体100を示す。立方体は、ボクセルキューブ若しくはセルと称される。
医療用スキャナにおいては、典型的には、データは、スライス毎に構成され、各スライスは、2次元である。1スライス内のデータは、グレー値として表現されることができる。スライスの積層が3Dデータセットを形成する。3Dデータセットを可視化するための、知られている比較的簡易な技術は、マルチプラナーリフォーマッティング(multi-planar reformatting:多面画像再構成)と称される。この技術は、3Dデータセットにおける隣接するボクセルから断面内のボクセルを再サンプリングすることによって、3次元データを介して任意の断面を生成するために用いることができる。たいていの場合、平らな2D断面が用いられる。原理的には、他の湾曲した断面も生成できる。この技術により、操作者は、データが取得された方向から独立して画像を見ることができる。
図2は、入力として全体の離散的なデータフィールドを取り、2次元スクリーン210上にそのデータフィールドを投影する、より高性能なボリューム可視化アルゴリズムを示す。各投影は、ユーザにより選択可能とされてよく若しくは動的に変化されてよい(例えば、ボリュームを通るバーチャルツアーを与える)所定の視点220からのものである。これは、視点から仮想投影スクリーンの各ピクセル(i,j)及びデータフィールドを通る光線230を投じることによって達成される。薄い灰色で指示される、光線に沿った離散的なk個の位置240,242,244,246では、データが隣接するボクセルから再サンプリングされる。ボリューム内の光線位置の近いボクセルに依存してピクセル(i,j)に対するピクセル値を計算するための種々のレンダリングアルゴリズムが知られている。かかるレンダリングアルゴリズムの例は、サーフェスレンダリング、ボリュームレンダリング及びアイソ−サーフェス(iso-surface)レンダリングである。
上述のレンダリングアルゴリズムは、可視化結果が、光線の経路上の局所的計算に基づき、データセットから決定されるような表面の局所的形状や局所的なグレー値分布のような低次元情報にのみに依存していることを、共通点とする。これは、望ましくないレンダリング結果を生みうる。例えば、検査のためにコロン(結腸)の内面及びポリープの可能な検出を可視化することができることが非常に望ましい。データセット取得前の準備の結果として、結腸は、図3に示すようにコントラスト流体の残留物で部分的に充填されている場合がある。図3Aでは、結腸を囲む組織が300で示される。エアで満たされた結腸の部分は、310で指示され、コントラスト流体で満たされた結腸の部分は320で指示される。上述のレンダリングアルゴリズムのいずれも、正確な可視的表現を完全に自動的に生成することができない。問題は、流体が結腸の表面の部分上のビューを邪魔しているという事実により生ずる。図3Bは、現在のレンダリングアルゴリズムにより得られる可視化結果を示す。結腸の表面330が示されているが、エア310と液体320との間の表面34も示されている。これは、結果の邪魔になる。これらのアーティファクトの幾らかを回避ないし修正する通常的な方法は、グレー値を操作又は修正するための前処理又は後処理ステップ、セグメント化若しくは可視化結果を実行することである(例えば、結腸内の流体とエアとの間の境界を除去する。)。かかるステップは、レンダリングを改善するために非局所的特質の高次元の知識を適用しうる人間の操作者の制御下で実行される。これは、多大な労力と技を必要とする。更に、同一の処理が、同一若しくは異なる人間の操作者の制御下で反復的に実行される場合、再現可能でなくなりうる主観的結果をもたらしてしまう。
本発明の目的は、改善された3Dボリューム可視化方法及びシステムを提供することである。
本発明の目的を満たすため、特に医療用の、3次元(以下、“3D”という)ボリューム可視化システムであって、
3Dボリュームのボクセル値を表す3次元のデータのセットを受信する入力と、
前記データセットを記憶する記憶装置と、
レンダリングのための2次元(以下、“2D”という)画像のピクセル値を提供する出力と、
コンピュータープログラムの制御下で、前記データセットを処理して、2D投映画像の各ピクセルに対して所定の視点から仮想的な2D投映スクリーン上に前記ボリュームを投映することにより、前記ボリュームの2次元表現を取得するプロセッサと、を含み、プロセッサは、
前記視点から前記ピクセルを通して且つ前記ボリュームを通して光線を投じ、
前記光線位置に応じてレンダリングアルゴリズム及び/又はレンダリングパラメータを決定するプロトコルの制御下で前記ボリューム内の少なくとも複数の光線位置を介して前記光線に沿って横断し、
前記複数の光線位置のそれぞれに対して、前記決定したレンダリングアルゴリズム及び/又はレンダリングパラメータを用いて、前記光線位置の所定範囲内の少なくとも1つのボクセル値に基づいて前記ピクセルのピクセル値への寄与度を算出する、システムが提供される。
本発明によれば、光線位置に対して用いられるべきレンダリングを決定するプロトコルが用いられる。このようにして、より高い次元の知識を、レンダリング中に自動的に適用することができる。これは、速度を増加し、コストを低減する。更に、結果は、再現可能である。これは、使用されているプロトコル及び/又はレンダリングアルゴリズムの改善に対して方策を与える。
従属の請求項2に開示されるような対策によれば、プロトコルは、レンダリングされているボリュームの先験的な知識を反映する。先験的な知識は、前記ボリューム、前記医療的な状況、前記臨床的な状況の少なくとも1つである。例えば、ボリュームが人間の頭を表す場合、プロトコルは、頭蓋の厚さ範囲に関するものを含み、これに応じてレンダリングを操ることとしてよい。
従属の請求項3の対策に開示されるように、先験的な知識は、ボリューム内の対象(複数も可)の3Dモデルから導出される。例えば、人間の操作者は、モデルを用いてプロトコルの制御下で実行されるレンダリングをシミュレートすることによって、プロトコルの生成を制御してよい。操作者は、実際のボリュームのレンダリング中にスキップ(飛び越し)されるべきモデル内の領域、例えば頭がい骨を指示してよい。自動的には、典型的な頭蓋の厚さ範囲のような情報は、モデルから抽出してプロトコルに埋め込むことができる。モデルを用いることによって、平均的な値、範囲等のような追加的な情報を、プロトコルの生成を補助するために操作者に利用可能とすることができる。更に、可視化するのが難しい領域は、モデル内で識別されることができ、当該領域に対する最適なプロトコルを設計する際に操作者を補助する。かかるモデルは、一回だけ作成すればよく、多くの異なるプロトコルを生成するために利用できる。モデルは、セグメント化のような、その他の目的に使用することができる。
従属の請求項4の対策に開示されるように、ルール(規則)ベースのプロトコルが用いられる。規則を用いることは、光線位置の処理のためのより高い次元の知識を表すための簡単で且つ効率的な方法である。
従属の請求項5の対策に開示されるように、規則は、各光線位置に対して、既に処理された光線位置の結果に基づいて処理動作を決定する。この方法では、プロトコルは、レンダリングされているボリュームに適合する。
従属の請求項6の対策に開示されるように、作動は、次の一以上を伴ってよい。即ち、
−一以上の次の光線位置を、例えばそれらが所望のレンダリング出力に寄与しないと結論付けられた場合には、スキップすること。位置をスキップすることは、性能を改善する。
−特定の光線位置に光線に沿って前方若しくは後方にジャンプし、該位置から処理を再開すること。
−光線に沿ったステップ方向を前記視点から見て前方及び後方間で切り替えること。
−特定の位置から開始して光線の3次元方向を変更すること。
−レンダリング処理により可視化しようとしている情報の種類を決定するその他の特徴検出方法に切り替えること。かかる特徴は、所定の閾値を超えるボクセル値、アイソ−バリュー(iso-value)表面の位置、局所的な最大傾斜の位置を示す表面の位置、血管のような、細長い構造の中心位置、脳や心臓の筋肉の潅流のような、組織の機能を表すパラメータ等を含んでよい。一般的に、特徴は、ボクセル値に依存して計算され、特徴に依存して、データセットのサブボリュームが、3D構造として次のレンダリングに対して決定される。特徴の値は、構造自体がその他の特徴に基づいているときは、レンダリングされた構造に適用される例えば色や透明度を選択するためにも用いることができる。例えば、頭蓋骨のような骨構造のレンダリングは、所定の閾値を超えるグレー値に基づき、骨構造の表面上で、色が骨の局所的な厚さを指示する。その他の例は、血管の壁上に、血管の局所的な径(外側の表面と中心線との間の距離)に関連する色を備える血管の投影である(血液内のコントラスト液体のグレー値に基づく)。
−その他のレンダリングアルゴリズムに切り替えること。このように、最適なレンダリングアルゴリズムが、個々の光線に対してや、光線の位置やセグメントに対しても選択でき、レンダリング品質が向上する。
−可視化される対象に割り当てられる特性に関連した色、透明度、若しくは、局所的若しくは大域的な画像データ特徴に関連した色、透明度、可視化される対象の表面の反射特性に関連したシェーディングパラメータ、可視化される対象の表面の平滑性を決定するパラメータ(ボクセルベースのデータ中のノイズを低減するためのぼけ関数係数や、合成の表面を平滑化するための張力パラメータ)、特徴検出パラメータのような、レンダリングパラメータを適合させること。このようにして、負荷のあるレンダリングアルゴリズムは、個々の光線に対してや、光線の位置やセグメントに対しても最適に調整でき、レンダリング品質が向上する。
−光線上の次の位置への段階的に進む際のステップサイズを変更すること。このようにして、精度を、環境に応じて増減させることができる。
従属の請求項7の対策に開示されるように、システムは、幾つかのプロトコル、例えば頭、心臓、肺、結腸等のような各種ボリュームに対する特定のプロトコルを含んでよい。また、1種類のボリュームに対して複数のプロトコルを含んでよく、各プロトコルは、可視化される患者の異なる年齢や性別等、ボリュームの特定の局面のレンダリングを最適化するように設計されてよい。また、例えば特定の心停止機能の解析や外科的手術の手順の計画等、特定の診断若しくは治療の手順に関して最適化された幾つかのプロトコルを含んでよい。
従属の請求項10の対策に開示されるように、プロトコルは、人間の操作者により選択可能であり、最も適切なプロトコル(例えば、患者の年/サイズに対応するもの)を選択することによって、若しくは、最適な結果が得られるまで一以上のプロトコルを試行することによって、操作者がシステムを制御することをできるようにする。
従属の請求項11の対策に開示されるように、人間の操作者は、操作者による次の使用のための自己の好みのプロトコルを記憶させることができる。例えば、好みのプロトコルは、操作者がログインしレンダリングを開始するたびに自動的にロードされることとしてもよい。
好ましくは、従属の請求項12の対策に開示されるように、操作者は、自己の要求に合うようにプロトコルを定義及び/又は適合することができ、次の使用のために適合されたプロトコルを記憶することができる。
本発明のこれらの及びその他の局面は、明らかになり、解明されるだろう。従属の請求項3の対策に開示されるように、以下実施例を参照する。
ボリュームを可視化するシステム及び方法が、医療用アプリケーションに対して説明される。明らかなように、本システム及び方法は、一般的に、測定結果の処理が、対象のボリューム(部分)を表す3次元データセット(測定値の3Dアレイ)を生み、例えば利用可能な時間内に容易に開けることができない対象のX線検査に対して、対象の一以上の局所的な特性に関連する値を有するという、事実に特徴付けられるシステムで測定できる全ての対象の内側の部位及び構造の検査のための他のアプリケーションに対しても適用できる。本発明による本システム及び方法を説明するため、先ず、ボリューム可視化アルゴリズムの概要が与えられ、次いで、これらのアルゴリズムが人間の操作者の補助無しで容易に対処できない可視化タスクの例を説明する。
現在適用されるボリューム可視化への主要なアプローチは、サーフェスレンダリング、ボリュームレンダリング及びアイソ−サーフェスレンダリングである。サーフェスレンダリングは、幾つかの種類の表面の記述が、利用可能であるか若しくは生成され、投影画像のピクセルに割り当てられる値が、対応する光線が当該表面に当たる位置で局所的な表面形状に依存するという、事実に特徴付けられる。図4Aは、表面の記述が、通常的には、例えば3角形メッシュにより分割する表面の記述420が後続するバイナリセグメント化410(これは情報の喪失を意味する)を行うことによって、グレー値のボリューム400から導出されることができることを示す。表面記述は、解剖学的構造のデータと共に可視化されるべき例えば手術器具の形状記述のような、コンピューターが生成した形状を表してよい。図4Bは、視点440から投影面/スクリーン430のピクセルに割り当てられる値であって、局所的なグレー値及び勾配(例えば、仮想的な光源により表面のシミュレートされた照明であり、局所的なグレー値の勾配は、局所的な表面の向きの近似として用いられる)に依存する、対象特有の色及び成分を含んでよい。これは、視点440から光線450を投じることによりなされる。対応する投影面のピクセル値は、光線が表面420に当たる位置の限定された環境から算出される。
ボリュームレンダリングは、セグメント化がなく、表面の抽出や表面記述の記憶もないという事実に特徴付けられる。画像特徴は、光線に沿って規則的に離間する離散的な光線位置を段階的にたどりながら、ボリューム500から補間される。図5は、光線550に沿った13個の光線位置560を示す。上述のように、光線は、スクリーン530のピクセルを通って視点540を出発する。不透明度及び色に対する所定のルックアップテーブルの中身は、どのように材料若しくは材料間の遷移が可視化されるかを決定する。サンプルされた値の融合は、必要な結果に適合される多くの方法で実行されることができる。幾つかの例は、MIP(最大強度投影)及びAlpha Blending(従来のボリュームレンダリング)である。また、このレンダリング技術では、局所情報(各サンプル位置周りの限られた数のボクセル)だけが、算出されるサンプル値に寄与する。
アイソ−サーフェスレンダリングは、図6A,Bに示される、第3のボリューム可視化技術である。それは、ボリュームレンダリングアプローチと全く同じように、セグメント化を含まず、如何なる種類の表面記述も決定又は記憶しない。それにも拘らず、表面レンダリングアプローチと全く同じように、表面を可視化することができる。可視化が、元のグレー値分布から直接的に生成され、幾つかの種類の表面記述の形式で表面の所定の近似により制限されないので、可視化される表面の解像度は非常に高い。好ましい実施例では、本方法は、所望の表面を含むボリューム600の最小のサブボリュームを表すいわゆるバイナリシェル610が決定される前処理ステップを含む。これにより、各光線650に対する処理が、それがこのバイナリシェル610を横断する場所でのみ発生するので、処理されるべきボリュームが低減され、必要な計算を大幅に減らし、相当に高速な方法を可能とする。非常に限られた数のサンプルだけが、バイナリシェル内のアイソ−サーフェスの位置を決定するために各光線上で必要とされる。
上述のアプローチは、可視化の結果が、表面の局所形状や局所的なグレー値分布のような低次元の情報のみに依存して、光線の経路上の局所的な計算に基づくことを、共通点にする。しばしば、高次元の知識が、可視化される対象(例えば、ある種類のモデル)の予測される若しくは考えられる構成や形状について、利用可能である。この情報は、しかしながら、現在適用されるアプローチでは用いられない。利用可能な高次元の知識を活用しないと、可視化結果に、観測者にとって常に明らかとはならない重大な誤りがもたらされる。これは、図3に対して既に説明される問題を参照して図7で更に示される。例えば、部分的にコントラスト流体が充填される直腸の可視化が議論される。目標は、検査のために直腸の内面及びポリープの可能な検出を可視化することである。ここでの問題は、可視化のパラメータの設定に依存して、流体が、直腸の表面の部分上のビューを邪魔することである。公知のサーフェスレンダリング技術を用いて、最初のステップは、表面記述を生成すべく、直腸の窪み(キャビティ)のボリュームをその周囲からセグメント化することである。これは、しかしながら、この場合は些細な事項でない。図7は、番号750により指示される視点を示す。組織は、700により指示され、直腸内のエアは、710により指示され、直腸内の液体は、720により指示される。組織−エアの遷移(直腸表面の主要部)に対して最適化された閾値を選択することは、結果として、図7Aに示すような表面740を与える。直腸の表面の部分は見えない。組織−流体の遷移での表面を生成するために高い閾値を選択すると、結果としての表面742は、図7Bに示すようなものである。高低の閾値を用いると、表面が双方の遷移で生成されるが、図7Cに示すように、流体−エアの遷移でも依然として生成される。問題は、データ取得/再構成処理における部分的ボリューム効果及びPSF(点像分布関数)によって、組織の値と同一の範囲のグレー値を有するこの流体−エアの遷移領域におけるボクセルにより引き起こされる。これらのセグメント化結果からの直接的なサーフェスレンダリングは可能ではない、というのは、望ましくない表面が見え、直腸の表面上のビューを邪魔するからである。当然に、(半)対話式マニュアル手順を用いて望ましくない表面を取り除こうとするためこれらの結果を更に処理することは可能であるが、多大(過大)な時間、労力及び技が必要であり現実的でない。同一の理由により、セグメント化/表面生成に先立って患者のデータから液体ボリュームを除去することも望ましくない。そのグレー値に基づく液体ボリュームの大域的な選択の後、選択したボリュームを、エアに対応するグレー値で充填すると、液体充填部820、エア充填部810及び分離表面840を示す図8に示す結果が与えられる。
ボリュームレンダリングの問題は、サーフェスレンダリングの問題と非常に似ている。この場合、グレー値は、不透明度の値にマッピングされる。直腸の表面を検査するため、柔らかい組織を表すグレー値は、1に近い不透明度の値にマッピングされるべきである。柔らかい組織と同一範囲のグレー値を備え、流体とエアの間の遷移領域におけるボクセルが、この場合もビューを阻害するだろう。
アイソ−サーフェスレンダリングでも問題は残る。抽出されたバイナリシェルは、グレー値選択に基づくので、それは、組織−エアの遷移及び組織−液体の遷移を含むだけではなく、液体−エアの遷移で表面をも含む。
一般的な問題としては、局所的な情報に基づくだけでは、我々が探している、組織に属するボクセルと、類似するグレー値を持つ他のボクセルとを識別することが可能でないことである。
[改良型のボリューム可視化]
本発明によるシステムにおいて、光線は、プロトコルの制御下で、ボリューム内の少なくとも複数の光線位置を通って横断される。プロトコルは、光線位置に依存してレンダリングアルゴリズム及び/又はレンダリングパラメータを決定する。従って、光線に沿った実際の位置は、プロトコルを介して、自動的に、レンダリングアルゴリズムの選択を制御し、及び/又は、レンダリングアルゴリズムを制御する。上述のものを含めて、如何なる適切な光線投影型レンダリングアルゴリズムは、それ自体用いられてよい。本発明は、人間の操作者による後処理を減らす(好ましくは回避する)自動的なプロトコルの制御下で、かかるアルゴリズムを用いることを付加する。更に、同一のボリュームに関して同一のプロトコルを用いることは、同一の結果を生み、その技術の結果を再現可能とする。
好ましくは、プロトコルは、ボリューム、医療的な状況、及び、臨床的な状況のうちの少なくとも1つについての先験的な知識に基づく。このようにして、上述の問題点は、可視化されたボリュームについての先験的知識を、可視化処理自体に組み込むことによって低減される。この先験的知識は、例えば、調査されている状況に対して利用可能であるモデルから得られてもよい。その場合、先験的知識は、頭を表すボリュームに対して頭蓋骨や脳の3Dモデル等、ボリューム内の少なくとも1つの対象の3Dモデルから導出されてもよい。先験的知識は、有形である必要はなく、若しくは、3Dの有形モデルのコンピューター表現である必要もないが、解剖学的、医学的、及び/又は臨床的な知識及び/又は医療専門家の経験をも表す。
好ましくは、プロトコルは、規則ベースである。規則は、例えば、既に処理された光線に沿った光線位置での処理結果に応じた少なくとも1つの処理動作を、光線位置のそれぞれに対して指示する。かかる処理動作は、好ましくは、
−特定の光線位置に光線に沿って前方若しくは後方にジャンプし、該位置から処理を再開すること、
−光線に沿ったステップ方向を前記視点から見て前方及び後方間で切り替えること、
−ステップ方向における現在の光線位置に対する次の光線位置を決定するステップサイズを決定すること、
−特定の位置から開始して光線の3次元方向を変更すること、
−その他のレンダリングアルゴリズムに切り替えること、
−レンダリングアルゴリズムを制御するレンダリングパラメータを適合させること、及び、
−レンダリングアルゴリズムにより可視化されようとする情報の種類を決定するその他の将来的な検出方法に切り替えること、のうちの少なくとも1つである。
規則は、実際の可視化機能を超えたレベルで、‘スマートな’可視化プロトコルへと構築できる。異なる利用可能な可視化技術(サーフェスレンダリング、アルファブレンディング、MIP、...)及びバイナリセグメント化若しくはバイナリシェル抽出のような関連する後処理ステップは、提案される技術の可視化プロトコルに含めることができる。
上述の直腸の可視化に関する簡易的な規則の例が、図9Aに示される。規則は、材料間の遷移が光線に沿って起こる時、両側のグレー値のような、この遷移の特徴が解析されることができ、それらが、エア−組織間のインターフェース若しくは液体−組織間のインターフェースに対応する場合にのみ、この表面は、可視化されるべきであり(遷移910が適用される)、それ以外の場合、処理は、次に出会う遷移へと進むべきであることを、示す。従って、遷移920はスキップされる。図9Bは、可視化プロトコルが、幾分より複雑な可視化要求から導出されることもできることを示す。本例は、脳の皮質を、その下にある血管構造と共に可視化するための要求を示す。この場合、可視化プロトコルは、‘骨−CSF間のインターフェースに出会うまで全てをスキップし、そこから続けて、頭がい骨内の全ての血管構造(領域950から960)の不透明な表面可視化との組み合わせで、脳組織の50%の透明度のボリュームレンダリングを、皮質表面から1cm下方の深さまで(端点940)を行う’といったように、記述される。当業者であれば、かかるプロトコルを、自動的に処理できるような態様で実現することができるであろう。
光線に沿った可視化処理の履歴は、本発明による方法において重要な役割を果たす。現在の状況は、この履歴を考慮しつつ、解析及び解釈される。また、好ましくは、プロトコルは、可視化パラメータを動的に適合する能力を有し、若しくは、必要とされ場合は、他の可視化モードへの切り替えを行う能力を有する。
[先行技術のレンダリングアルゴリズムを超える効果]
現に適用される方法では、可視化結果は、局所的な計算に基づく。非局所的特質のより高次元の知識を利用する通常の方法は、対話的な前処理ステップ若しくは後処理ステップを通ってグレー値、セグメント化若しくは可視化結果を操作又は修正することである。これは、多大な労力と業を必要とし、主観的で、再現不能な結果をもたらす。本発明によるシステム及び方法は、形状及び構成についての統計学的情報、先験的知識のような、可視化される対象に関するより高次元の知識、及び、可視化処理の一体化部分として、動的に生成される解析結果を用いることによって、高い品質のボリューム可視化を生成する新しい方法へのドアを開ける。それは、プロトコルの設計における比較的低コストな労力をもって、時間を浪費する対話式手順における高価な労力に取って代わる。
図10は、本発明によるシステムのブロック図である。本システムは、ワークステーションや高性能パーソナルコンピューターのような、従来的なコンピューターシステムで実現されてもよい。本システム1000は、3Dボリュームのボクセル値を表す3次元データセットを受信する入力1010を含む。データは、イーサーネット、無線又は有線のテレコミュニケーションネットワーク、若しくは、その組み合わせのような、従来的なコンピューターネットワークを介して、若しくは、フラッシュメモリのような固体メモリを含む、テープ、CD,DVD及びその類の磁気若しくは光学記録のための通常的な情報キャリアを読み出すコンピューター周辺機器を介して、供給されてもよい。図10では、画像は、医療用MRやCTスキャンのような、画像取得デバイス1020により取得される。かかる取得装置は、システムの一部であってよいが、システムの外部にあってもよい。システムは、データセットを記憶する記憶装置1030を含む。好ましくは、記憶装置は、永久的な種類、例えばハードディスクである。システムの出力1040は、レンダリング用の2次元画像のピクセル値を供給するために用いられる。それは、画像を適切な形態、例えばビットマップ画像として、ディスプレイ用のその他のコンピューターにネットワークを介して供給してよい。或いは、出力は、適切なディスプレイ1050上での画像の直接のレンダリングのためのグラフィックカード/チップを含んでよい。ディスプレイは、システムの一部であってもよいが、一部である必要はない。システムは、ステレオ式ディスプレイに対して同時に2つの2D画像を提供することができてよい。その場合、2つの画像は、観測者のそれぞれの目に対応する2つの異なる視点から生成される。システムは、更に、コンピュータープログラムの制御下で、ボリュームの2次元表現を得るためにデータセットを処理するプロセッサ1060を含む。プログラムは、記憶装置1030のような永久記憶装置から、実行用のRAMのような作業メモリにロードされてよい。プロセッサ1060は、2D投影画像の各ピクセルに対して所定の視点から仮想的な2D投影スクリーン上にボリュームを投影するように、即ち、
前記視点からピクセルを通して且つボリュームを通して光線を投じ、
光線位置に応じてレンダリングアルゴリズム及び/又はレンダリングパラメータを決定するプロトコルの制御下でボリューム内の少なくとも複数の光線位置を介して光線に沿って横断し、
複数の光線位置のそれぞれに対して、決定したレンダリングアルゴリズム及び/又はレンダリングパラメータを用いて、光線位置の所定範囲内の少なくとも1つのボクセル値に基づいてピクセルのピクセル値への寄与度を算出するように、動作可能である。
好ましい実施例では、システムの記憶装置1030は、光線に沿った横断を制御するための複数のプロトコルを含む。例えば、記憶装置は、複数の識別可能な種類のボリュームに対して各々の所定のプロトコルを含む。代替的若しくは追加的に、記憶装置は、例えば異なる視点や、異なる可視化タスク等のための複数の所定のプロトコルを、少なくとも1種類のボリュームに対して含む。プロセッサは、例えばプロトコルをテストし、最も適切なものを決定するための発見的方法を用いることによって、最も適切なプロトコルを自動的に決定するようプログラムされてよい。
好ましくは、コンピュータープログラムは、プロセッサをして、人間の操作者が、複数の記憶されたプロトコルからボリュームを処理するための少なくとも1つのプロトコルを選択できるようにさせるよう動作する。この目的のため、入力1010は、人間の操作者からプログラムの選択を受けることができる。かかる入力は、如何なる適切な形式で受信されてよい。示されているのは、マウス1060及びキーボード1080である。また、声による制御が用いられてもよい。好ましくは、プロセッサは、例えばディスプレイ1050上に、グラフィックの出力を生成し、操作者が選べるプロトコルを指示(好ましくは説明)する。
好ましい実施例では、コンピュータープログラムは、プロセッサをして、後での再現のために、人間の操作者の選択を操作者のIDと対応付けて記憶させるように動作する。例えば、選択は、永久記憶装置1030内に記憶され、操作者がログインするたびに自動的に取り出されてよい。
好ましくは、コンピュータープログラムは、プロセッサをして、人間の操作者が、前記ボリュームを処理するためのプロトコルを定義及び/又は適合することができるようにさせるよう動作する。このプロトコルの定義は、如何なる形式をとってもよい。1つの方法は、操作者が、光線位置の範囲に対して若しくは個々の光線位置に対して取る動作を定義できるようにすることである。操作者がメニューを通して動作を選択する場合は、動作は全て予め定義されてよい。定義は、また、対話式であってよい。例えば、モデルボリュームや実ボリュームが、デフォルトのプロトコルを用いて可視化される。人間の操作者は、プロトコルを対話的に適合することができる。例えば、操作者は、スキップされるべき光線位置を指示したり、特定のレンダリングアルゴリズム若しくは特定のレンダリングパラメータを用いて処理されるべき光線位置の範囲を指示したり、基準を特定したり等、をできてよい。好ましくは、操作者は、適合されたプロトコルを即座に試すことができる。満足いく結果が達成されたとき、操作者は、次の使用のために当該プロトコルを保存することができる。
注意すべきこととして、上述の実施例は、本発明を限定するものではなく、当業者であれば、添付の請求項の範囲から逸脱することなく多数の代替実施例を設計することができるだろう。請求項において、カッコ内の参照記号は請求項を制限するものとして解釈されるものではない。用語“含む”は、列挙された要素やステップ以外の存在を排除するものではない。本発明は、幾つかの別個の要素を含むハードウェアにより、及び、適切にプログラムされたコンピューターにより実現されることができる。幾つかの手段を列挙するシステムクレームにおいて、これらの手段の幾つかは、1つの同一のハードウェアアイテムにより具現化されることができる。コンピュータープログラムは、光記憶装置のような、適切な媒体上で記憶/頒布されてよいが、ローカルエリアネットワーク、公衆インターネット、無線若しくは有線テレコミュニケーションネットワークシステムを介して配信されるように、他の形式で配信されてもよい。
ボクセルキューブを示す図である。 光線投影型ボリューム可視化技術を示す図である。 現在のレンダリングアルゴリズムでの問題点を示す図である。 サーフェスレンダリングを示す図である。 サーフェスレンダリングを示す図である。 ボリュームレンダリングを示す図である。 アイソ−サーフェスレンダリングを示す図である。 アイソ−サーフェスレンダリングを示す図である。 既存のレンダリングでの問題点を示す図である。 本発明によるプロトコルを用いることを示す図である。 本発明によるシステムのブロック図である。

Claims (12)

  1. 特に医療用の、3次元(以下、“3D”という)ボリューム可視化システムであって、
    3Dボリュームのボクセル値を表す3次元のデータのセットを受信する入力と、
    前記データセットを記憶する記憶装置と、
    レンダリングのための2次元(以下、“2D”という)画像のピクセル値を提供する出力と、
    コンピュータープログラムの制御下で、前記データセットを処理して、2D投映画像の各ピクセルに対して所定の視点から仮想的な2D投映スクリーン上に前記ボリュームを投映することにより、前記ボリュームの2次元表現を取得するプロセッサと、を含み、前記プロセッサによる前記データセットの処理は、
    前記視点から前記ピクセルを通して且つ前記ボリュームを通して光線を投じ、
    前記光線位置に応じてレンダリングアルゴリズム及び/又はレンダリングパラメータを決定するプロトコルの制御下で前記ボリューム内の少なくとも複数の光線位置を選択し
    前記複数の光線位置のそれぞれに対して、前記決定したレンダリングアルゴリズム及び/又はレンダリングパラメータを用いて、前記光線位置の所定範囲内の少なくとも1つのボクセル値に基づいて前記ピクセルのピクセル値への寄与度を算出し、
    前記プロトコルは、前記ボリューム内の少なくとも1つの対象の3Dモデルから導出される先験的な知識に基づくものである、システム。
  2. 前記プロトコルは、ボリューム、医療的な状況、及び、臨床的な状況のうちの少なくとも1つについての先験的な知識に基づくものである、請求項1に記載のシステム。
  3. 前記プロトコルは、規則ベースであり、規則は、前記複数の光線位置のそれぞれに対して、少なくとも1つの処理動作を、既に処理された光線に沿った光線位置での少なくとも処理結果に基づいて指示する、請求項1〜2の何れか1項に記載のシステム。
  4. 前記処理動作は、
    特定の光線位置に光線に沿って前方若しくは後方に跳び越しし、該位置から処理を再開すること、
    光線に沿ったステップ方向を前記視点から見て前方及び後方間で切り替えること、
    ステップ方向における現在の光線位置に対する次の光線位置を決定するステップサイズを決定すること、
    特定の位置から開始して光線の3次元方向を変更すること、
    その他のレンダリングアルゴリズムに切り替えること、
    レンダリングアルゴリズムを制御するレンダリングパラメータを適合させることを含む、請求項3に記載のシステム。
  5. 当該システムの記憶装置は、前記複数の光線位置の選択を制御する複数のプロトコルを含む、請求項1〜4の何れか1項に記載のシステム。
  6. 前記記憶装置は、複数の識別可能な種類のボリュームに対して各々の所定のプロトコルを含む、請求項5に記載のシステム。
  7. 前記記憶装置は、少なくとも1種類のボリュームに対して複数の所定のプロトコルを含む、請求項5に記載のシステム。
  8. 前記コンピュータープログラムは、前記プロセッサをして、人間の操作者が、複数の記憶されたプロトコルから前記ボリュームを処理するための少なくとも1つのプロトコルを選択できるようにさせるよう動作する、請求項5,6又は7に記載のシステム。
  9. 前記コンピュータープログラムは、前記プロセッサをして、後の検索のために、人間の操作者の選択を前記操作者のIDに対応付けて記憶させるよう動作する、請求項8に記載のシステム。
  10. 前記コンピュータープログラムは、前記プロセッサをして、人間の操作者が、前記ボリュームを処理するためのプロトコルを定義及び/又は適合することができるようにさせるよう動作する、請求項1〜9の何れか1項に記載のシステム。
  11. プロセッサをして、3Dボリュームのボクセル値を表す3次元のデータのセットを処理させ、2D投映画像の各ピクセルに対して所定の視点から仮想的な2D投映スクリーン上に前記ボリュームを投映することにより、前記ボリュームの2次元表現を取得させる、コンピュータープログラムであって、
    前記視点から前記ピクセルを通して且つ前記ボリュームを通して光線を投じ、
    前記光線位置に応じてレンダリングアルゴリズム及び/又はレンダリングパラメータを決定するプロトコルの制御下で前記ボリューム内の少なくとも複数の光線位置を選択し
    前記複数の光線位置のそれぞれに対して、前記決定したレンダリングアルゴリズム及び/又はレンダリングパラメータを用いて、前記光線位置の所定範囲内の少なくとも1つのボクセル値に基づいて前記ピクセルのピクセル値への寄与度を算出し、
    前記プロトコルは、前記ボリューム内の少なくとも1つの対象の3Dモデルから導出される先験的な知識に基づくものである、コンピュータープログラム。
  12. 3Dボリュームのボクセル値を表す3次元のデータのセットを処理することで、2D投映画像の各ピクセルに対して所定の視点から仮想的な2D投映スクリーン上に前記ボリュームを投映することにより、前記ボリュームの2次元表現を取得する、3Dボリューム可視化方法であって、
    前記視点から前記ピクセルを通して且つ前記ボリュームを通して光線を投じ、
    前記光線位置に応じてレンダリングアルゴリズム及び/又はレンダリングパラメータを決定するプロトコルの制御下で前記ボリューム内の少なくとも複数の光線位置を選択し
    前記複数の光線位置のそれぞれに対して、前記決定したレンダリングアルゴリズムを用いて、ピクセル値への寄与度を算出し、
    前記プロトコルは、前記ボリューム内の少なくとも1つの対象の3Dモデルから導出される先験的な知識に基づくものである、方法。
JP2004561790A 2002-12-20 2003-12-03 プロトコルベースのボリューム可視化 Expired - Lifetime JP4681885B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02080518 2002-12-20
PCT/IB2003/005701 WO2004057539A2 (en) 2002-12-20 2003-12-03 Protocol-based volume visualization

Publications (2)

Publication Number Publication Date
JP2006510434A JP2006510434A (ja) 2006-03-30
JP4681885B2 true JP4681885B2 (ja) 2011-05-11

Family

ID=32668817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004561790A Expired - Lifetime JP4681885B2 (ja) 2002-12-20 2003-12-03 プロトコルベースのボリューム可視化

Country Status (6)

Country Link
US (1) US7924279B2 (ja)
EP (1) EP1623386A2 (ja)
JP (1) JP4681885B2 (ja)
CN (1) CN1726517B (ja)
AU (1) AU2003282325A1 (ja)
WO (1) WO2004057539A2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7701550B2 (en) 2004-08-19 2010-04-20 Asml Netherlands B.V. Lithographic apparatus and device manufacturing method
US7317825B2 (en) * 2004-12-22 2008-01-08 Siemens Medical Solutions Usa, Inc. Using temporal and spatial coherence to accelerate maximum/minimum intensity projection
CN101355904B (zh) * 2005-12-20 2012-01-11 皇家飞利浦电子股份有限公司 用于重建至少一部分目标的精密再现的重建单元
WO2008091583A2 (en) * 2007-01-23 2008-07-31 Dtherapeutics, Llc Image-based extraction for vascular trees
DE102007008767B3 (de) * 2007-02-22 2008-07-24 Tomtec Imaging Systems Gmbh Verfahren und Vorrichtung zur Darstellung von 3D Bilddatensätzen auf 2D Bildern
JP4588736B2 (ja) * 2007-04-12 2010-12-01 富士フイルム株式会社 画像処理方法および装置並びにプログラム
WO2009109205A1 (de) * 2008-03-07 2009-09-11 Georg-Friedemann Rust Bildliche darstellung in der virtuellen endoskopie
WO2010014973A1 (en) * 2008-08-01 2010-02-04 Real D Method and apparatus to mark and identify stereoscopic video frames
DE102009036942B4 (de) * 2009-08-11 2013-05-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Visualisierung eines in medizinischen 3D-Bilddaten abgebildeten Schädels eines Patienten
WO2011059655A1 (en) * 2009-10-29 2011-05-19 Optovue, Inc. Enhanced imaging for optical coherence tomography
JP5654787B2 (ja) * 2010-06-30 2015-01-14 富士フイルム株式会社 放射線画像撮影表示方法およびシステム
DE102010032755B4 (de) * 2010-07-29 2019-05-23 Siemens Healthcare Gmbh Verfahren zur Visualisierung eines Vorhofs des Herzens eines Patienten
JP2012231370A (ja) * 2011-04-27 2012-11-22 Seiko Epson Corp 3d画像観賞用メガネ、及び、3d画像観賞用メガネの制御方法
US9330485B2 (en) * 2013-02-20 2016-05-03 Kabushiki Kaisha Toshiba Volume rendering of medical images
WO2014167466A1 (en) * 2013-04-09 2014-10-16 Koninklijke Philips N.V. Layered two-dimensional projection generation and display
US9842424B2 (en) * 2014-02-10 2017-12-12 Pixar Volume rendering using adaptive buckets
WO2016045701A1 (de) * 2014-09-23 2016-03-31 Siemens Aktiengesellschaft Verfahren, visualisierungsvorrichtung und computerprogrammprodukt zur visualisierung eines dreidimensionalen objekts
US10242488B1 (en) * 2015-03-02 2019-03-26 Kentucky Imaging Technologies, LLC One-sided transparency: a novel visualization for tubular objects
US9659405B2 (en) * 2015-04-01 2017-05-23 Toshiba Medical Systems Corporation Image processing method and apparatus
US9799135B2 (en) * 2015-09-01 2017-10-24 Siemens Healthcare Gmbh Semantic cinematic volume rendering
CN106447783B (zh) * 2016-09-08 2019-08-02 飞依诺科技(苏州)有限公司 一种基于光线投射算法的三维网格生成方法及装置
US10510171B2 (en) 2016-11-29 2019-12-17 Biosense Webster (Israel) Ltd. Visualization of anatomical cavities
US11653853B2 (en) 2016-11-29 2023-05-23 Biosense Webster (Israel) Ltd. Visualization of distances to walls of anatomical cavities
CN108986205B (zh) * 2018-06-08 2023-05-26 广州虎牙信息科技有限公司 一种绘制体素模型的方法、装置、设备和存储介质
CN110648752B (zh) * 2018-06-26 2020-07-24 北京埃德维亚医疗科技有限公司 一种医学数据三维可视化方法和设备
US11004253B2 (en) * 2019-02-21 2021-05-11 Electronic Arts Inc. Systems and methods for texture-space ray tracing of transparent and translucent objects
US11393158B2 (en) * 2020-04-02 2022-07-19 Adobe Inc. Utilizing voxel feature transformations for deep novel view synthesis

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5566282A (en) * 1993-02-15 1996-10-15 U.S. Philips Corporation Apparatus and method for the visualization of a three-dimensional scene by means of maximum intensity projection
US5986662A (en) * 1996-10-16 1999-11-16 Vital Images, Inc. Advanced diagnostic viewer employing automated protocol selection for volume-rendered imaging
US20030160788A1 (en) * 2002-02-28 2003-08-28 Buehler David B. Pixel pruning and rendering apparatus and method
US20040125103A1 (en) * 2000-02-25 2004-07-01 Kaufman Arie E. Apparatus and method for volume processing and rendering

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5920319A (en) * 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US6532017B1 (en) * 1998-11-12 2003-03-11 Terarecon, Inc. Volume rendering pipeline
US6690371B1 (en) * 2000-05-03 2004-02-10 Ge Medical Systems Global Technology, Llc Relevant image data extraction from a medical image data volume

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5566282A (en) * 1993-02-15 1996-10-15 U.S. Philips Corporation Apparatus and method for the visualization of a three-dimensional scene by means of maximum intensity projection
US5986662A (en) * 1996-10-16 1999-11-16 Vital Images, Inc. Advanced diagnostic viewer employing automated protocol selection for volume-rendered imaging
US20040125103A1 (en) * 2000-02-25 2004-07-01 Kaufman Arie E. Apparatus and method for volume processing and rendering
US20030160788A1 (en) * 2002-02-28 2003-08-28 Buehler David B. Pixel pruning and rendering apparatus and method

Also Published As

Publication number Publication date
WO2004057539A2 (en) 2004-07-08
CN1726517A (zh) 2006-01-25
CN1726517B (zh) 2010-05-26
WO2004057539A3 (en) 2004-09-16
EP1623386A2 (en) 2006-02-08
AU2003282325A1 (en) 2004-07-14
JP2006510434A (ja) 2006-03-30
US7924279B2 (en) 2011-04-12
US20070053553A1 (en) 2007-03-08

Similar Documents

Publication Publication Date Title
JP4681885B2 (ja) プロトコルベースのボリューム可視化
JP7324268B2 (ja) 複雑なデータのリアルタイムレンダリングのためのシステムおよび方法
US7889900B2 (en) Medical image viewing protocols
US7529396B2 (en) Method, computer program product, and apparatus for designating region of interest
EP2220621B1 (en) Volume rendering apparatus and method
EP3493161B1 (en) Transfer function determination in medical imaging
JP6273266B2 (ja) セグメント化の強調表示
JP2006075602A (ja) 血管構造の3d画像データセットからなるプラーク沈着の可視化方法
US7873197B2 (en) Changing the display angle of visualized tubular tissue
JP2008529578A5 (ja)
JP4105176B2 (ja) 画像処理方法および画像処理プログラム
CA2321049A1 (en) Automatic path planning system and method
JP2005087602A (ja) 医用画像生成装置および方法、ならびに、プログラム
JP4122314B2 (ja) 投影画像処理方法、投影画像処理プログラム、投影画像処理装置
JP2008514261A (ja) 画像処理装置及び方法
EP3989172A1 (en) Method for use in generating a computer-based visualization of 3d medical image data
WO2004095378A1 (en) Combined 3d and 2d views
JP2012085833A (ja) 3次元医用画像データの画像処理システム、その画像処理方法及びプログラム
JP2005525863A (ja) 医療用データの統合された視覚化用の医療用視検システム及び画像処理
JP2018121857A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
EP4129182A1 (en) Technique for real-time volumetric imaging from multiple sources during interventional procedures
JP4572401B2 (ja) 医療用三次元可視化画像の自動最適化
Turlington et al. Improved techniques for fast sliding thin-slab volume visualization
WO2011062108A1 (ja) 画像処理装置及び画像処理方法
Schlegel Automatic transfer function generation and extinction-based approaches in direct volume visualization

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110207

R150 Certificate of patent or registration of utility model

Ref document number: 4681885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term