JP4248399B2 - 自動枝ラベリング方法 - Google Patents

自動枝ラベリング方法 Download PDF

Info

Publication number
JP4248399B2
JP4248399B2 JP2003536990A JP2003536990A JP4248399B2 JP 4248399 B2 JP4248399 B2 JP 4248399B2 JP 2003536990 A JP2003536990 A JP 2003536990A JP 2003536990 A JP2003536990 A JP 2003536990A JP 4248399 B2 JP4248399 B2 JP 4248399B2
Authority
JP
Japan
Prior art keywords
branch
branches
voxel
wave
voxels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003536990A
Other languages
English (en)
Other versions
JP2005505397A (ja
Inventor
ブリュエインス,ヨハネス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2005505397A publication Critical patent/JP2005505397A/ja
Application granted granted Critical
Publication of JP4248399B2 publication Critical patent/JP4248399B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Labeling Devices (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Description

発明の詳細な説明
本発明は、複数の枝及び分岐を有する管状構造が生ずる、対象データセットを解析する方法であって、対象データセットは、検査されるべき対象に関連するデータ値を多次元空間中の位置に割り当てる、方法に関する。本発明は更に、対応する装置及びコンピュータプログラムに関する。
今日では、組織ボクセルと血管ボクセルの間のグレー値を明らかに区別して示す脳のボクセル表現を取得することが可能である。血管の断面積を測定する等の形状抽出は、平面をインタラクティブに位置決めし方向付けることによって行われる。この平面と体積の交差部は、血管の画素が組織の画素とは異なるグレー値を有するグレー値の2次元(2D)画像を与える。正しい対象を選択した後、断面積は、例えば黒でない画素の数を計数することによって測定されうる。平面は、形状が測定されねばならない血管に対して直交するように向けられるべきである。傾いた平面は、誤った断面積を与えることとなる。残念ながら、インタラクティブに平面を血管に対して直交するように向けるのは、時間がかかり、誤りが生じやすい作業である。
ジェイ・ブリュエインス(J.Bruijns)による「管状幾何学情報からの半自動形状抽出(Semi-Automatic Shape Extraction from Tube-like Geometry)」、視覚モデリング及び視覚化2000に関する会議議事録、独国ザールブルッケン(Saarbruecken)、2000年11月、第347−355頁には、新規な器具、即ち自己調整プローブが紹介されている。プローブは、球面と球面の中心を通る平面との組合せである。プローブが所望の位置の近傍で血管上にインタラクティブに置かれた後、プローブは、その平面が血管に対して直交し、その球面の中心が血管の中心軸上にあるように、それ自体を自動的に調整する。血管の楕円半径もまた推定される。プローブは、位置合わせ(align)されると、平面の法線の方向に血管に沿って移動しうる。プローブは、各ステップ後にそれ自体を再び位置合わせする。従って、プローブが例えば血管の端又は動脈瘤の始まりを検出するまでプローブを自動的に血管に沿って辿らせることが可能である。
現在、自己調整プローブは、例えば公知のマーチング・キューブ(marching cube)アルゴリズムによって作成される3次元三角サーフェスモデルから形状を抽出する。しかしながら、2つの血管の枝が互いに近い場合、調べられている血管の枝の局所的な形状を抽出するのに用いられる選択されたサーフェス頂点の集合に、近傍の血管の枝のサーフェス頂点が含まれることがありうる。これらの誤って含まれるサーフェス頂点は、推定される形状の精度を低下させる。
従って、本発明は、改善された精度を有する対象データセットを分析する方法を提供することを目的とする。
この目的は、請求項1に記載の方法によって達成され、方法は、
管状構造の枝の末端を見つけ、
ピーリング段階によって枝及び分岐の骨格を形成し、
骨格に基づいて、2つの隣接する分岐の間又は分岐と末端の間に骨格の枝についての有向グラフを形成し、
有向グラフに沿った位置にラベルを割り当て、各有向グラフの各枝に対して一意のラベルが選択され、
分岐又は枝のいずれかに属するとして位置が分類されうるよう、管状構造の枝及び分岐の幾何学情報を決定し、
管状構造の枝に沿った位置及び分岐の位置に最終ラベルを割り当て、各枝及び各分岐に対して一意のラベルが選択される各段階を含む。
本発明は、血管ボクセルに、そして血管ボクセルからサーフェス頂点に、上記の管状構造の血管の枝毎に一意のラベルを与えるという考えに基づく。ここで、近傍の血管の枝の頂点は、それらのラベルが異なるため排除されうる。この新しい方法は、一組の有向グラフ(各成分に対して一組)を生じさせ、これは1つのノード(即ち血管構造の末端又は分岐)から同じグラフの他のノードへの自動血管追跡を完全に自動化するのを容易とする。
本発明による完全に自動化された枝ラベル付け方法は、5つの段階を有する。開始点は、組織を含めないセグメンテーションされたボクセル体積である。このセグメンテーションされたボクセル体積の要素は、例えば、組織に対しては0、血管ボクセルに対しては1を有する符号付きバイトである。このことにより、これらの段階中に異なるラベルを血管画素に割り当てることが可能となる。ラベル1を有する血管ボクセルは、元の血管ボクセルと称される。組織ボクセルは、変化されることはない。最終的に、殆ど全ての血管ボクセルが、どの分岐又は枝に属するかを示すラベルと血管のトポロジーを記述する一組の有向グラフとを有する、セグメンテーションされたボクセル体積が得られる。
第1の段階では、ボクセル血管構造の末端が、望ましくは、例えばザールテン(Zahlten)外、「CDデータからの分岐する血管の再構成(Reconstruction of Branching Blood Vessels From CD-Data)」、科学コンピューティングに関する視覚化におけるユーログラフィックス・ワークション議事録、独国ロストック、1994年6月、に記載のウェーブ伝播(wave propagation)法を適用することによって探索される。第2の段階では、特殊ラベルで示される末端を有するセグメンテーションされたボクセル体積は、多数回の繰り返しでピーリング(peeled)される。結果として得られる枝及び分岐の骨格は、血管の中心構造を良く近似するものである。第3の段階では、グラフが作成される。開始点は、特殊ラベルで示された分岐及び末端のボクセルを有するピーリングされセグメンテーションされたボクセル体積である。有向グラフは、ピーリングされセグメンテーションされたボクセル体積中の各連結されたボクセル画素集合に対して生成される。このグラフは、各末端に対して1つのノードを含み、各分岐ボクセルに対して1つのノードを含む。隣接ノード間の血管ボクセルストリングは、枝リストに格納される。各枝リストは、一意の数を取得する。枝リストのボクセルは、この数をラベルとして取得する。第4の段階では、ノード幾何学情報が生成される。ノード幾何学情報は、管状構造の分岐の中心領域の位置及び形状と、その枝領域の位置及び形状とを含む。第5の段階では、血管ボクセルは、最終ラベルを取得する。まず、管状構造の枝領域中のボクセルは、対応する枝リストのラベルを取得する。次に、管状構造の中心領域は、他の中心領域のラベルとは異なり、枝リストのラベルとも異なるラベルを取得する。最後に、管状構造の2つの隣接する枝領域の間の枝の画素は、対応する枝リストのラベルを取得する血管ボクセルがラベル付けされた後、隣接血管ボクセルのラベルを含むサーフェス頂点を生成する修正マーチング・キューブ・アルゴリズムが提供される。
本発明の望ましい実施例は、従属項に記載されている。対象データセットを解析する装置は、請求項8に定義されている。請求項9は、本発明による方法を実施するコンピュータプログラムを定義する。
望ましい実施例によれば、対応する枝のラベルは枝に沿った位置に対する最終ラベルとして割り当てられる。主に、分岐に対してのみ、新しい最終ラベルが選択される必要がある。
他の実施例によれば、枝及び前記分岐の幾何学情報は、分岐及び隣接する枝領域の位置及び形状を与える枝球面及び分岐球面に基づいて決定される。従って、枝及び分岐の全ての領域中のボクセルは正しくラベル付けされえ、従って方法全体の精度が高められる。
望ましくは、枝及び隣接する分岐に対する枝球面及び分岐球面は、球面の半径が対応する枝又は分岐の直径に夫々対応するよう配置される。更に、枝球面又は分岐球面の半径は、球面の中心位置の距離変換から導出される。このように、ボクセル又は分岐は枝ボクセルから区別されえ、このことは続く段階におけるボクセルの正しいラベル付けに必要である。
本発明は、一般的に、肺構造や血管木(tree)のような複数の枝及び分岐を有する管状対象の多次元対象データセットの解析に適用可能である。対象データセットは、例えば、磁気共鳴血管造影法、コンピュータ断層撮影、又は3次元回転X線血管造影法といった様々な技術によって取得されうる。この種類の技術は、検査されるべき患者の脈管系(の一部)の構造を表わすデータ値を有する対象データセットを生成する。
以下、図面を参照して本発明について詳述する。
図1を参照するに、本発明による方法の各段階を示すフローチャートが示されている。これらの段階について、続く図面を参照して更に説明する。第1の段階S1では、ウェーブ伝播(wave propagation)法は、図2に示すように、この具体的な例では患者の血管構造である管状構造のセグメンテーションされたボクセル体積に適用される。従来通り、ウェーブ伝播法は、グレー値ボクセル体積をラベル付けし、対応する血管グラフを生成するのに用いられる。しかしながら、入来するウェーブは分岐においては長すぎるままであるため、ウェーブ伝播法は分岐においては十分に正確でない。本発明によれば、ウェーブ伝播法は、血管ボクセル構造の末端を生成するのに用いられる。現在のウェーブが枝の遠端にある場合、一組の末端に含められるよう、現在のウェーブのボクセルのうちの1つが選択される。ウェーブ伝播段階中に割り当てられたラベルは無視される。開始点は自動的に生成される。セグメンテーションされたボクセル体積は一般的に多くの血管グラフを含むため、ユーザによる選択はあまりにも時間がかかる。これらの開始点は、一組の末端に含められる。
枝番号が1よりも大きいウェーブは、ボクセル記述のリストである。ボクセル記述は、記述が作成されたときにボクセルが有していた値(後述の試行ウェーブを除く)を有するラベル、ボクセルの現在値への高速アクセスを可能とするボクセルのメモリアドレス、及びその添え字(ix,iy,iz)を含む。
単一のシードボクセルを初期ウェーブとして開始して、同じ枝番号を有する新しいウェーブは、まだどのウェーブのメンバにもなっていない現在ウェーブの全てのコーナ近傍血管ボクセル、即ち調べられているボクセルと少なくとも1つのコーナを共有するボクセルに対するボクセル記述を生成することによって作成される。ボクセルが既にウェーブのメンバとなっているかどうかは、セグメンテーションされたボクセル体積中の現在値から推論されえ、なぜならば、ウェーブに含まれるボクセルは現在ウェーブの枝番号を取得するからである。次に、現在ウェーブは削除され、新しいウェーブが現在ウェーブとなる。
現在ウェーブのボクセルがコーナ連結されていなければ、ウェーブは各新しい一意の枝番号を有する2つ又はそれ以上の新しいウェーブへ分割される。これらの新しいウェーブ番号はまた、分割されたウェーブのボクセルに割り当てられる。分割は、ウェーブが血管ボクセル構造の分岐を通って進行するときに生ずる。ウェーブ伝播法は、各新しいウェーブフラグメントに適用される。方法は、全ての新しいウェーブが空となったときに終了する。ウェーブ伝播方法は一般的に、ザールテン(Zahlten)外の文献に詳述されている。この文献中、3つのウェーブの生成は図3に示されており、この図は本願にも図3A乃至図Dとして含められている。図3Aは、単一のシードボクセル(×印)からなる初期ウェーブを示す。図3Bは、コーナ近傍画素(5つの×印)からなる新しいウェーブを示し、●印で示される初期ウェーブのボクセルと共に示されている。図3C及び図3Dは、図3Bのウェーブのコーナ近傍画素から生成されるウェーブを夫々示す。図3Dは、ウェーブの分割を示す。
上述のように、ボクセル構造の末端を見つけるために、ウェーブ伝播が使用されることが望ましいが、他の方法もまた可能である。末端は、新しいウェーブが空であるときに見つかる。しかしながら、ノイズの多いサーフェスの場合、ウェーブは、枝の端に達する直前に多くのサブウェーブへ分割される。このことは、多くの望ましくない末端を生じさせる。図4の例では、3つのウェーブを示されている。第1のウェーブは「1」とラベル付けされたボクセルを含み、第2のウェーブは「2」とラベル付けされたボクセルを含み、第3のウェーブは「3」とラベル付けされたボクセルを含む。第3のウェーブのボクセルはコーナ連結されていない。従って、このウェーブは3つの新しいウェーブへ分割される。これらの3つのウェーブフラグメントは子孫を有さないため、3つの末端が生成される。
ダブルウェーブがこの問題を解決する。上記の段落に記載のウェーブを、以下、シングルウェーブと称するものとする。ダブルウェーブは、以前のダブルウェーブ中に既に存在する古いボクセルと、これらの古いボクセルのコーナ近傍血管ボクセルである新しいボクセルとを含む。このようなダブルウェーブから新しいダブルウェーブが作成されるとき、古いダブルウェーブの新しいボクセルは、古いボクセルとして新しいダブルウェーブへコピーされる。次に、新しいダブルウェーブの古いボクセルのコーナ近傍血管ボクセルは、新しいボクセルとして追加される。新しいダブルウェーブの古いボクセルもまた、この新しいダブルウェーブの新しいボクセルがコーナ連結されているかどうかを調べるのに使用される。新しいダブルウェーブは、古いボクセルのみを含む場合は空であると考えられる。
図4の例では、3つのダブルウェーブがある。第1のウェーブは、古いボクセルとしてラベル「1」が付されたボクセルと、新しいボクセルとしてラベル「2」が付されたボクセルとを含む。第2のウェーブは、古いボクセルとしてラベル「2」が付されたボクセルと、新しいボクセルとしてラベル「3」が付されたボクセルとを含む。第3のウェーブは、古いボクセルとしてラベル「3」が付されたボクセルを含み、新しいボクセルを含まない。第2のダブルウェーブの新しいボクセルは、このウェーブの古いボクセルを介して互いにコーナ連結されている。従って、この第2のダブルウェーブは、第3のシングルウェーブの場合のようには分割されない。第3のダブルウェーブは古いボクセルのみを含む。従って、このウェーブは空であると考えられ、第2のダブルウェーブの全てのボクセルから末端が導出され、この枝の端に1つだけの末端を与える。以下の説明では、ウェーブ伝播のためのウェーブは(特別なウェーブを除き)ダブルウェーブである。
ウェーブ伝播は、コーナ近傍に基づく。しかしながら、ピーリング、グラフ生成、ノード幾何学情報の生成、及び最終ラベル付けは、フェース近傍(即ち調べられているボクセルと面を共有するボクセル)に基づく。実際に、各ボクセルは26個のコーナ近傍と6つのフェース近傍とを有する。従って、コーナ近傍の代わりにフェース近傍を用いることにより、計算時間のかなりの量が節約される。更に重要なことには、コーナ近傍は、平行な近傍血管の間により多くの望ましくない連結を生じさせうる。従って、新しいシードボクセルに対してウェーブ伝播が開始される前に、血管ボクセルを介してこのシードボクセルにフェース連結される元の血管ボクセルは、成分ボクセルとしてラベル付けされる。シードボクセル自体もまた、成分ボクセルとしてラベル付けされる。
これらのフェース連結された元の血管ボクセルは、以下のツインウェーブアルゴリズム、即ち2つの空のウェーブが作成されるアルゴリズム、によってラベル付けされる。第1のウェーブは、シードボクセルのボクセル記述で埋められる。シードボクセルは、成分ボクセルとしてラベル付けされる。第2のウェーブは、第1のウェーブのボクセルのフェース近傍である元の血管ボクセルのボクセル記述で埋められる。対応するボクセルは、成分ボクセルとしてラベル付けされる。この処理は、現在ウェーブのボクセルにフェース連結された元の血管ボクセルが見つからなくなるまで、第1のウェーブと第2のウェーブの役割を毎回変化させつつ繰り返される。ここで、通常のウェーブ伝播が成分ボクセルに適用されうる。この成分のボクセルにコーナ連結されているがフェース連結されていない血管ボクセルは、成分ラベルを有さないため無視される。
ウェーブ伝播は、ウェーブがより広い血管からより狭い血管へ進行する時に最善の結果を与える。ウェーブ伝播は血管構造の末端を見つけるために用いられるため、シードボクセルはこれらの末端の近傍にあるべきである。幸いなことに、大きい主な血管構造は、最も幅の広い血管を有する体積の境界から始まる場合が多い。最も幅の広い血管の中心ボクセルは、距離変換によって見つけられ得る。血管ボクセルの距離変換は、フェース連結された血管ボクセルから血管境界のボクセルへの最短経路の長さを表すものである。
距離変換の局所最大は、同じ境界体積スライス中の多数のフェース近傍血管ボクセルによって共用されることが可能である。従って、そのフェース近傍の距離変換よりも大きい距離変換を有する血管ボクセルを探すことは安全ではない。従って、そのフェース近傍の距離変換以上の距離変換を有する6つの境界体積スライス中の全てのボクセルは、それらの距離変換に基づいて挿入ソートにより、いわゆるシードウェーブである特別なウェーブに格納される。挿入ソートは、最も高い距離変換を有するシードボクセルをシードウェーブ中の最初のボクセル記述とする。
ボクセルがシードウェーブに含まれる場合、そのフェース近傍血管ボクセルの距離変換は減少される。このことは、フェース近傍として同じ距離変化を有する多くの血管ボクセルがシードウェーブに含まれるのを防止する。シードウェーブの最初のボクセル記述から始めて(そしてそれを除去して)、成分選択を含むウェーブ伝播アルゴリズムが実行される。シードウェーブの多くのボクセルは、同じ血管成分に属するため、変更されることとなる。従って、対応するボクセルが既に変更されているシードウェーブの最初のボクセル記述を飛ばし(スキップし)除去して、成分選択を含むウェーブ伝播アルゴリズムは、シードウェーブが空となるまで、対応するボクセルがまだ処理されていないシードウェーブの全ての最初のボクセル記述に対して実行される。
多くの成分は、体積の境界上では開始又は終了しない。まだ処理されていないボクセルについてセグメンテーションされたボクセル体積をスキャンしても、常に成分の末端の近傍中にシードボクセルを生じさせるわけではない。しかし、スキャンによって見つかった開始ボクセルから試行ウェーブを送ることにより、図5に示すように末端が見つけられる。図中、体積境界を参照番号5で示し、体積スキャン方向を参照番号6、左試行経路を参照番号7、右試行経路を参照番号8で示す。試行ウェーブ伝播の末端4は、一組の末端の代わりに、シードウェーブ中に格納される。
ウェーブは、枝番号を有するだけでなく、シリアル番号を有する。このシリアル番号は、古いウェーブから新しいウェーブが作成されるたびに増加される。試行ウェーブの末端ボクセルのボクセル記述は、ラベルとして試行ウェーブのシリアル番号を得る(通常の場合のように末端ボクセルの現在値ではない)。シードウェーブは挿入ソートにより埋められるため、最も大きいシリアル番号を有する試行ウェーブの末端ボクセルは、通常のウェーブ伝播パス(wave propagation pass)のためのシードボクセルとして使用される。この試行ウェーブは、通常のウェーブ伝播パスでは用いられない、特別な枝番号を得る。従って、シードボクセルが見つかった後、成分のボクセルは、それらの元の値へリセットされうる。試行ウェーブ伝播パスは、全ての内部成分が処理されるまで通常ウェーブ伝播パスと交互にされる。
ウェーブ伝播段階S1の結果は、図6に示すように末端ボクセルを有するセグメンテーションされた体積であり、図6中、末端は濃い点9で示されている。
第2の段階S2では、セグメンテーションされたボクセル体積は、ドクラダル(Dokladal)外、「新規な細線化アルゴリズム及びその血管抽出への適用(A new thinning algorithm and its application to extraction of blood vessels)」、BioMedSim '99,ESIEEの議事録、1999年4月、フランス、に記載されたのと同様のアルゴリズムによって多数の繰り返しでピーリングされる。図7に示す結果として得られる枝及び分岐の骨格(skeleton)は、血管の中心構造の忠実な近似であり、即ち、枝は血管の枝のコア線に近く、骨格の分岐は血管の分岐の中心に近い。
このような骨格を作成するには多くのアルゴリズムがある。以下、1つの特定のアルゴリズムについて説明するが、結果として得られるアルゴリズムが血管の中心構造の忠実な近似である限り他のアルゴリズムによって置き換えられてもよい。
開始点は、末端ボクセルが特別なラベルで示されている元のセグメンテーションされたボクセル体積、即ち図6の濃い点9である。各繰り返しは、末端ボクセル以外の現在境界ボクセルをラベル付けすることにより、まず表皮層を作成する。各ボクセルは、最大で6つのフェース近傍を有する。ラベル1を有する元の血管ボクセルは、これらの近傍のうち1つが正のラベルを有するボクセルでない場合にのみ、境界ボクセルである。境界のラベルは、ゼロ又は負のラベル(境界ボクセルが前回の繰り返しで除去されている)を有するフェース近傍の数だけ増加される。
次の内側表皮層の境界ボクセルを作成し、調べ、除去する前に、現在表皮層の全ての境界ボクセルを調べ(局所的なトポロジーが変化しないのであれば)除去することは、残る一組のボクセルが血管グラフのコア線を近似することを保証する。ピーリングが終了すると、分岐ボクセルは特別なラベルでマーク付けされる。分岐ボクセルは、図7に示すピーリングされたセグメンテーションされたボクセル体積中に2つよりも多い正の近傍を有するボクセルである。
現在の表皮層の境界ボクセルは、それらのラベルの順序で調べられおそらくは除去される。体積は、現在ラベルを有する境界ボクセルを探しつつ、左下の前面のコーナから右上の背面のコーナまで詳しく調べられる。フェース近傍としてちょうど1つの血管ボクセルを有する境界ボクセルは常に除去される。フェース近傍として少なくとも2つの、最大で4つの血管ボクセルを有する境界ボクセルは、このボクセルを除去することにより局所的なトポロジーが変化しない限り除去される。フェース近傍としてちょうど5つの血管ボクセルを有する境界ボクセルは、除去すれば局所的な凹部を生じさせるため、除去されることはない。境界ボクセルが除去される場合は、そのフェース近傍境界ボクセルのラベルが調整される。除去された境界ボクセルのラベル以上のラベルを有するフェース近傍は、左下前面のコーナから右上背面のコーナへの通常のスキャンが続く前にそれらの新しいラベルの降順ですぐに処理される。
トポロジーのチェックは、調べられている境界ボクセルのコーナ近傍を見ることによって行われる。このために、3×3セルの立体はゼロで埋められる。中心セルは調べられる境界ボクセルに対応する。他のセルは、そのコーナ近傍に対応する。セルは、対応するコーナ近傍が正のラベルを有する場合はゼロに設定される。対応するコーナ近傍血管ボクセルが調べられている境界ボクセルに血管ボクセルを介してフェース連結されていなくとも、これらのセルのうちの幾つかが1に等しいことが可能である。これは、2つの成分がコーナであるが、互いにフェース連結されていないときに生じうる。これらのセルはゼロにリセットされる。第1に、中心セルをゼロにリセットすることが、2つの分離したフェース連結された正のセルの集合を生じさせてはならない。第2に、中心セルをゼロにリセットすることが、フェース連結された又はコーナ連結されたゼロのセルの組の数を減少させてはならない。これらの2つの相補的なチェックのうちのいずれかに不合格である場合は、調べられている境界ボクセルは除去されてはならない。
第3の段階S3では、この骨格の枝についてのグラフが形成される。開始点は、ウェーブ伝播段階によって特別なウェーブに格納された末端を伴う特別なラベルによって示される分岐ボクセルを有する図7に示すピーリングされセグメンテーションされたボクセル体積である。有向グラフは、ピーリングされセグメンテーションされたボクセル体積中の正の血管ボクセルの各フェース連結された組に対して生成される。このグラフは、各末端ボクセルに対して1つのノードを含み、各分岐ボクセルに対して1つのノードを含む。ウェーブは、このグラフ中で2つのノード間の各枝に対して作成され格納される。この特別なウェーブは、これらの2つのノード間のフェース連結された正の血管ボクセルについてのボクセル記述のリスト、即ち枝リストからなる。各枝リストは一意の数を得る。枝ウェーブ(枝リスト)のボクセルは、この数を特別な一意のラベルとして得る。結果として得られるセグメンテーションされたボクセル体積の例を図8に示す。
生成されるグラフは、1つのノードから他のノードへの完全に自動化された血管追跡を容易とするだけでなく、短い枝を正しくラベル付けするのに必要である。後者の場合、枝の一端における分岐構造、特にその大きさ、についての情報は、枝の他端においてボクセルをラベル付けするのに必要である。生成されるグラフは、この近傍情報を含む。
グラフは、特に、グラフ中の枝の数、グラフ中のノードの数、その枝ウェーブのリストへのポインタ、並びに、2つのポインタ、即ちグラフのノードのリストの最初のノードへのポインタ及び最後のノードへのポインタを含む。ノードは特に、対応する末端又は分岐ボクセル(以下ノードの中心ボクセルと称する)のボクセル記述とこのノード中の枝の数とを含む。枝の数は、1であるか、2よりも大きく6以下であるべきである。枝の数が1である場合、ノードは血管構造の末端に対応する。ノードは末端又は分岐のいずれかに対して作成されるため、1つのノードに2つの枝は可能でない。分岐ボクセルは、少なくとも3つの、最大で6つのフェース近傍を有するボクセルである。
ノードは、各枝に対して、特に、対応する枝ウェーブへのポインタ、この枝ウェーブの先頭又は末尾がこのノードに連結されているかを示す方向番号、並びに、この枝ウェーブの他端におけるノードへのポインタを含む。他のノードへのポインタはグラフ構造を表わす。枝ウェーブは、枝ウェーブの1つのボクセルから次のボクセルへと、1つのノードから他のノードへ進行することが可能である。
ノードの枝が入るものであるか出るものであるかは当該ノードにおける血流の方向を意味するものではないことに留意すべきである。
グラフは、末端のリストをスキャンすることによって生成される。グラフの生成中、訪れられたボクセルは負にされるため、末端が既にグラフの一部であるかどうかの検出は容易である。各正の末端ボクセルについて、ノードが生成され埋められる。ノードの中心ボクセルの各正のフェース近傍について、枝ウェーブが生成され、正の末端又は分岐ボクセルに出会うまでフェース連結された正の血管ボクセルで埋められる。ノードは、閉じる末端又は分岐ボクセルに対して生成され、2つのノード中の枝情報は更新される。アルゴリズムは、新しいノードの枝の追跡へと続く。
血管構造中のサイクルの場合、閉じる分岐ボクセルに対して既にノードが存在するかもしれない。その場合、分岐ボクセルは負である。従って、枝ウェーブの端において正の末端又は分岐ボクセルが見つからない場合、最後の正のボクセルのフェース近傍に負の分岐ボクセルがあるかどうか調べられる。対応するノードは枝を閉じるのに用いられる。
ボクセルの正しいラベル付けは、分岐のボクセルが枝ボクセルから区別されうることを必要とする。このために、段階S4において、分岐又は枝のいずれかに属するとして位置が分類されうるよう、図9に示すように管状構造の枝及び分岐の端ノード幾何学情報が生成される。この段階において、血管境界は参照番号18によって示される。ノード幾何学情報は、分岐の中心領域の位置及び形状と、その枝領域の位置及び形状とを含む。まず、中心球面10が作成される。分岐ボクセルの位置は、中心球面10の中心11として用いられる。中心球面の半径(ボクセル単位)は、分岐ボクセルの距離変換から導出される。
次に、枝球面12は、各枝13に対して作成される。枝球面12の中心14は、枝球面12が中心球面10からちょうど離れるよう枝ウェーブのボクセルの位置に等しい。枝球面12の半径は、枝球面12の中心ボクセルの距離変換から導出される。枝ウェーブの各ボクセルに沿って進行し各ボクセルをチェックすることにより、これらの条件を満たす最初のボクセルが生ずる。
最後に、各枝13に対して、1つの枝平面15及び1つの中心平面16が作られる。枝平面15は、枝球面12の中心14と、枝球面12の中心14から中心球面10の中心11への接続線の方向によって与えられる法線17とによって定められる。対応する中心平面16の位置は、中心球面10とこの接続線17との交点によって決まる。その法線は、枝平面15の法線を−1で乗算したものに等しい。
2つの分岐ボクセルの間、又は、分岐と末端画素との間の連結枝ウェーブに沿ったボクセルで計った距離が中心球面の半径よりも小さい場合、中心球面10と枝球面12は重なり合う。一端のエンティティを「第1」、他端のエンティティを「第2」とすると、以下の場合が区別されうる。
1.枝ウェーブの全てのボクセルが第1の中心球面10内にあれば、最後のボクセルの位置は第1の枝球面12の中心として用いられる。この枝球面12の半径は、この場合は、この状態を示すためにマイナス1で乗算される。
2.この枝ウェーブのボクセルのうちのいくつかが第1の中心球面10の外側であるが、第1の枝球面12は枝ウェーブの最後のボクセルに対してでさえも第1の中心球面10と重なり合う場合、この最後のボクセルは第1の枝球面12の中心として用いられる。枝平面15と対応する中心平面16との間のボクセルのみが枝領域のメンバであるため、この重なり合いは最終ラベル付けに悪影響を与えることはない。
3.枝の第2のノードが分岐であり、第1の枝球面12の中心が第2の中心球面の内側である場合、第1の枝球面12の半径は、この状態を示すためにマイナス1で乗算される。実際は、枝球面12の中心が2つの分岐の間の枝の中心球面10のうちの1つの内側にある場合は、枝13の全てのボクセルは2つの分岐の内側にある。
尚、枝13の他端におけるノードが末端である場合、末端の近傍にボクセルを含む分岐の外側の全てのボクセルは枝ボクセルとしてラベル付けされる。従って、この場合は、分岐の枝球面12の中心が末端の中心球面の内部であるかどうかを検査する必要はない。
図10に、枝及び中心球面を示す。この図からわかるように、中心球面は末端に対しても生成される。図中、時折発生する球面の重なり合いも示されている。
第5の段階S5では、血管画素はそれらの最終ラベルを得る。開始点は、組織及び元の血管ボクセル、並びに、段階S4で生成されたノード幾何学情報のみを有する元のセグメンテーションされたボクセル体積である。領域中の元の血管ボクセルは、上述のように成分選択に用いられるのと同様のツインウェーブアルゴリズムによってラベル付けされる。相違点は、元の血管ボクセルが血管ボクセルを介して初期ボクセルにフェース連結されているだけではなく、現在処理されている領域に依存する制約条件も満たすべきであることである。
まず、管状構造の枝領域19中のボクセルは、それらの枝13の、即ち対応する枝リストのラベルを得る。枝領域13の単純化された2次元の例を図11に示す。ツインウェーブアルゴリズムの初期ボクセルは、枝球面12の中心ボクセル14である。追加的な制約条件は以下の通りである。
1.元の血管ボクセルから枝球面12の中心14までの距離は枝球面12の半径の2倍以下であるべきである。
2.元の血管ボクセルは、枝平面15と中心平面16との間にあるべきである。第1の制約条件は、(図11に示す右垂直血管境界の左側に関して)この側枝13に対する中心平面16がこの枝13と交わらないほど中心球面10が小さい場合は、側枝13のラベル付けされた面積が無制限に成長することを防止する。この場合、第2の制約条件を満たす主枝13’の多くの数の元の血管ボクセルは、枝球面12の中心ボクセル14にフェース連結される。
枝領域19中のボクセルがラベル付けされた後、管状構造の中心領域10中のボクセルがラベル付けされる。各中心領域10は、全ての枝番号とは異なり他の中心領域及び枝リストに割り当てられたラベルとは異なる、一意のラベルを得る。ツインウェーブアルゴリズムのための初期ボクセルは、ノードの中心ボクセル11である。更なる制約条件は以下の通りである。
1.元の血管ボクセルから中心球面10の中心11までの距離は、中心球面10の半径に現在ノードの枝半径の最大を足したもの以下であるべきである。
2.元の血管ボクセルは、ノードの枝平面15の「囲い(enclosure)」の内側にあるべきである。
3.元の血管ボクセルから現在ノードの位置までの距離は、元の血管ボクセルから近傍ノードの位置への全ての距離以下であるべきである。
枝領域19中の元の血管ボクセルをラベル付けした後、中心領域10の元の血管ボクセルは、既にラベル付けされた血管ボクセルによって枝13中の残る元の血管ボクセルから離される。しかし、枝の半径が負であるため枝領域19が飛ばされた(スキップされた)場合、又は、枝平面15と中心平面16の間の距離が非常に小さい場合、中心領域10の元の血管ボクセルは、枝13の元の血管ボクセルにフェース連結される。最初の2つの制約条件は、これらの場合にラベル付けされた面積が無制限に成長することを防止する。第3の制約条件は、中心領域が重なり合う場合に、現在の中心領域のボクセルを近傍ノードの中心領域のボクセルから離す。
中心領域10中のボクセルがラベル付けされた後、管状構造の2つの枝領域19の間の枝13のボクセルは、ラベル付けされ、対応する枝リストのラベルを得る。枝ウェーブの元の血管ボクセルは、初期ボクセルとして用いられる。しかし、枝ウェーブの1つの元の血管ボクセルをツインアルゴリズムに対する初期ボクセルとして用いることは、通常は枝ウェーブの殆どの他の元の血管ボクセルのラベル付けを生じさせる。従って、枝ウェーブの1つ又は2つの血管ボクセルのみが、実際に初期ボクセルとして使用される。
枝の残りの元の血管ボクセルは中心領域のラベル付けされたボクセルによって他の枝中の元の血管ボクセルから離されるため、ラベル付けされた領域の無制限な成長を防止するために更なる制約条件は必要ない。ラベル付けされセグメンテーションされた体積を図12に示す。
本発明による方法を適用するとき、以下の結論が得られる。
1.血管構造中のボクセルの完全に自動化された枝ラベル付けの新規な方法は、ウェーブ伝播法よりもよい方法を与える。
2.ウェーブ伝播段階は、幅の広い短い枝(例えば動脈瘤)の場合、偽の末端を生じさせる。
3.質は、ボクセル構造のサーフェスの平滑さに依存する。非常にノイズの多いサーフェスは、多くの短い枝を生じさせる。ボクセル体積の平滑化は、これらの短い枝を除去しうる。しかしながら、正しい平滑化係数を見つけることは、なお、人間による作業を必要とする。
4.ウェーブ伝播段階のための経過時間は、成分の数に依存する。ピーリング段階のための経過時間は、元のセグメンテーションされた体積中の血管ボクセルの数に依存する。最後の3つの段階に対する経過時間は、最初の2つの段階にかかる時間と比較して無視できるほど小さい。
5.本発明による方法はまた、各成分に対して1つの、一組の有向グラフを生じさせ、これは1つのノード(即ち血管構造の末端又は分岐)から同じグラフの他のノードへの完全に自動化された血管追跡を容易とする。
本発明による方法のフローチャートである。 セグメンテーションされたボクセル体積の画素マップを示す図である。 ウェーブ伝播法を示す図である。 ウェーブ伝播法を示す図である。 ウェーブ伝播法を示す図である。 ウェーブ伝播法を示す図である。 ウェーブの分割を示す図である。 本発明による試行ウェーブを示す図である。 末端が示されているセグメンテーションされたボクセル体積を示す図である。 末端及び分岐ボクセルが示されたピーリングされセグメンテーションされた体積を示す図である。 ピーリングされセグメンテーションされた体積から取得される有向グラフを示す図である。 ノード幾何学情報の決定を示す図である。 有向グラフに沿った中心及び分岐球面を示す図である。 ボクセルのラベル付けを示す図である。 ラベル付けされたセグメンテーションされたボリュームを示す図である。

Claims (9)

  1. 複数の枝及び分岐を有する管状構造が生ずる、対象データセットを解析する方法であって、前記対象データセットは、検査されるべき対象に関連するデータ値を多次元空間中の位置に割り当て、
    前記方法は、
    前記管状構造の枝の末端を見つけ、
    ピーリング段階によって枝及び分岐の骨格を形成し、
    前記骨格に基づいて、2つの隣接する分岐の間又は分岐と末端の間に前記骨格の枝についての有向グラフを形成し、
    前記有向グラフに沿った位置にラベルを割り当て、各有向グラフの各枝に対して一意のラベルが選択され、
    分岐又は枝のいずれかに属するとして位置が分類されうるよう、前記管状構造の枝及び分岐の幾何学情報を決定し、
    前記管状構造の枝に沿った位置及び分岐の位置に最終ラベルを割り当て、各枝及び各分岐に対して一意のラベルが選択される各段階を含む方法。
  2. 前記枝に沿った前記位置に対する最終ラベルとして、対応する枝のラベルが割り当てられる、請求項1記載の方法。
  3. 前記枝及び前記分岐の幾何学情報は、前記分岐及び隣接する枝領域の位置及び形状を与える枝球面及び分岐球面に基づいて決定される、請求項1記載の方法。
  4. 枝及び隣接する分岐に対する前記枝球面及び前記分岐球面は、前記球面の半径が前記対応する枝又は分岐の直径に夫々対応するよう配置される、請求項3記載の方法。
  5. 枝球面又は分岐球面の半径は、前記球面の中心位置の距離変換から求められる、請求項3記載の方法。
  6. 前記対象データセットは、セグメンテーションされたボクセル体積の、特に患者の脳の血管構造の、3次元対象データセットである、請求項1記載の方法。
  7. 前記方法は、完全に自動化された血管追跡に用いられる、請求項6記載の方法。
  8. 複数の枝及び分岐を有する管状構造が生ずる、対象データセットを解析する装置であって、前記対象データセットは、検査されるべき対象に関連するデータ値を多次元空間中の位置に割り当て、
    前記装置は、
    前記管状構造の枝の末端を見つける手段と、
    ピーリング段階によって枝及び分岐の骨格を形成する手段と、
    前記骨格に基づいて、2つの隣接する分岐の間又は分岐と末端の間に前記骨格の枝についての有向グラフを形成する手段と、
    前記有向グラフに沿った位置にラベルを割り当て、各有向グラフの各枝に対して一意のラベルが選択される手段と、
    分岐又は枝のいずれかに属するとして位置が分類されうるよう、前記管状構造の枝及び分岐の幾何学情報を決定する手段と、
    前記管状構造の枝に沿った位置及び分岐の位置に最終ラベルを割り当て、各枝及び各分岐に対して一意のラベルが選択される手段とを含む装置。
  9. 複数の枝及び分岐を有する管状構造が生ずる、検査されるべき対象に関連するデータ値を多次元空間中の位置に割り当てる、対象データセットを解析するコンピュータプログラムであって、
    前記コンピュータプログラムは、前記コンピュータプログラムが実行されたときに請求項1記載の方法の各段階を実現するコンピュータプログラムコード手段を含む、コンピュータプログラム。
JP2003536990A 2001-10-16 2002-10-14 自動枝ラベリング方法 Expired - Fee Related JP4248399B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01203938 2001-10-16
PCT/IB2002/004268 WO2003034336A2 (en) 2001-10-16 2002-10-14 Method for automatic branch labelling

Publications (2)

Publication Number Publication Date
JP2005505397A JP2005505397A (ja) 2005-02-24
JP4248399B2 true JP4248399B2 (ja) 2009-04-02

Family

ID=8181085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003536990A Expired - Fee Related JP4248399B2 (ja) 2001-10-16 2002-10-14 自動枝ラベリング方法

Country Status (6)

Country Link
US (1) US7372983B2 (ja)
EP (1) EP1442427B1 (ja)
JP (1) JP4248399B2 (ja)
AT (1) ATE314703T1 (ja)
DE (1) DE60208431T2 (ja)
WO (1) WO2003034336A2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003070102A2 (en) * 2002-02-15 2003-08-28 The Regents Of The University Of Michigan Lung nodule detection and classification
US7457444B2 (en) * 2003-05-14 2008-11-25 Siemens Medical Solutions Usa, Inc. Method and apparatus for fast automatic centerline extraction for virtual endoscopy
CN1954340A (zh) * 2004-05-18 2007-04-25 皇家飞利浦电子股份有限公司 使用三维可变形网格模型对物体的三维树状管形表面自动分段的图像处理系统
US7583829B2 (en) * 2004-09-13 2009-09-01 Siemens Medical Solutions Usa, Inc. Method and apparatus for embolism analysis
DE102004048209B3 (de) * 2004-09-30 2005-09-01 Siemens Ag Verfahren und Vorrichtung zur Erzeugung eines dreidimensionalen Bilddatensatzes eines bewegten Objekts mittels Röntgentomographie
US7532748B2 (en) * 2004-11-24 2009-05-12 General Electric Company Methods and apparatus for selecting and/or labeling vessel branches
JP2008529639A (ja) * 2005-02-11 2008-08-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 検査装置、画像処理デバイス、注目対象物を検査装置で検査する方法、コンピュータ可読媒体及びプログラム要素
WO2007002685A2 (en) * 2005-06-24 2007-01-04 Volcano Corporation Co-registration of graphical image data representing three-dimensional vascular features
US7953262B2 (en) * 2007-02-05 2011-05-31 General Electric Company Vascular image extraction and labeling system and method
DE102007046701A1 (de) * 2007-09-28 2009-04-16 Siemens Ag Verfahren zur Verarbeitung arteriographischer Bilddaten
US8200466B2 (en) 2008-07-21 2012-06-12 The Board Of Trustees Of The Leland Stanford Junior University Method for tuning patient-specific cardiovascular simulations
US9405886B2 (en) 2009-03-17 2016-08-02 The Board Of Trustees Of The Leland Stanford Junior University Method for determining cardiovascular information
JP5597429B2 (ja) * 2010-03-31 2014-10-01 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
CN102243759B (zh) * 2010-05-10 2014-05-07 东北大学 一种基于几何形变模型的三维肺血管图像分割方法
US8315812B2 (en) 2010-08-12 2012-11-20 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
US8157742B2 (en) 2010-08-12 2012-04-17 Heartflow, Inc. Method and system for patient-specific modeling of blood flow
US8548778B1 (en) 2012-05-14 2013-10-01 Heartflow, Inc. Method and system for providing information from a patient-specific model of blood flow
CN105701799B (zh) * 2015-12-31 2018-10-30 东软集团股份有限公司 从肺部掩膜影像中分割肺血管的方法和装置
GB201908440D0 (en) * 2019-06-12 2019-07-24 Brainomix Ltd Angiographic data analysis
JP6832479B1 (ja) * 2020-04-10 2021-02-24 株式会社ヴォクシス 立体を形状の狭隘部で分割する画像処理方法、画像処理プログラム、及び画像処理装置
US11966453B2 (en) 2021-02-15 2024-04-23 International Business Machines Corporation Ordering annotation sets for machine learning

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2591005B1 (fr) * 1985-12-04 1988-01-08 Thomson Csf Procede d'identification de structure arborescentes dans des images numeriques et son application a un dispositif de traitement d'images
FR2708166A1 (fr) * 1993-07-22 1995-01-27 Philips Laboratoire Electroniq Procédé de traitement d'images numérisées pour la détection automatique de sténoses.
US6047080A (en) * 1996-06-19 2000-04-04 Arch Development Corporation Method and apparatus for three-dimensional reconstruction of coronary vessels from angiographic images
US7194117B2 (en) * 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US6148095A (en) * 1997-09-08 2000-11-14 University Of Iowa Research Foundation Apparatus and method for determining three-dimensional representations of tortuous vessels
GB9909966D0 (en) * 1999-04-29 1999-06-30 Torsana Diabetes Diagnostics A Analysis of fundus images
EP1272976A1 (en) * 2000-02-11 2003-01-08 THE GOVERNMENT OF THE UNITED STATES OF AMERICA, as represented by THE SECRETARY, DEPARTMENT OF HEALTH AND HUMAN SERVICES Vessel delineation in magnetic resonance angiographic images
US6482161B1 (en) * 2000-06-29 2002-11-19 Acuson Corporation Medical diagnostic ultrasound system and method for vessel structure analysis
US7574024B2 (en) * 2000-10-02 2009-08-11 The Research Foundation Of State University Of New York Centerline and tree branch skeleton determination for virtual objects
EP1356419B1 (en) * 2000-11-22 2014-07-16 MeVis Medical Solutions AG Graphical user interface for display of anatomical information
US6718193B2 (en) * 2000-11-28 2004-04-06 Ge Medical Systems Global Technology Company, Llc Method and apparatus for analyzing vessels displayed as unfolded structures
US6845260B2 (en) * 2001-07-18 2005-01-18 Koninklijke Philips Electronics N.V. Automatic vessel indentification for angiographic screening

Also Published As

Publication number Publication date
EP1442427B1 (en) 2005-12-28
DE60208431D1 (de) 2006-02-02
WO2003034336A3 (en) 2003-11-20
WO2003034336A2 (en) 2003-04-24
US7372983B2 (en) 2008-05-13
EP1442427A2 (en) 2004-08-04
US20040258296A1 (en) 2004-12-23
ATE314703T1 (de) 2006-01-15
DE60208431T2 (de) 2006-08-31
JP2005505397A (ja) 2005-02-24

Similar Documents

Publication Publication Date Title
JP4248399B2 (ja) 自動枝ラベリング方法
JP4319031B2 (ja) 対象のセグメンテーション方法及び装置
Bitter et al. Penalized-distance volumetric skeleton algorithm
Van Uitert et al. Subvoxel precise skeletons of volumetric data based on fast marching methods
Antiga Patient-specific modeling of geometry and blood flow in large arteries
Wood et al. Removing excess topology from isosurfaces
Attene et al. Polygon mesh repairing: An application perspective
Sato et al. TEASAR: tree-structure extraction algorithm for accurate and robust skeletons
US7995810B2 (en) System and methods for image segmentation in n-dimensional space
US6982710B2 (en) System and method to obtain surface structures of multi-dimensional objects, and to represent those surface structures for animation, transmission and display
US8358819B2 (en) System and methods for image segmentation in N-dimensional space
US20070109299A1 (en) Surface-based characteristic path generation
US20080262814A1 (en) Method and system for generating a four-chamber heart model
US20090016588A1 (en) Method and system for segmentation of tubular structures in 3D images
JP4411075B2 (ja) プローブ位置合わせのための枝選択方法
WO2024187937A1 (zh) 血管重建方法、装置、计算机设备和可读存储介质
Nowinski et al. A 3D model of human cerebrovasculature derived from 3T magnetic resonance angiography
Bruijns Fully-Automatic Branch Labelling of Voxel Vessel Structures.
CN116993915A (zh) 一种基于贪婪投影的骨关节模型重建方法、装置及设备
Mayerich et al. Hardware accelerated segmentation of complex volumetric filament networks
Horn et al. Robust skeletonization for plant root structure reconstruction from MRI
Moench et al. Generation of smooth and accurate surface models for surgical planning and simulation
CN106204628A (zh) 血管分割方法和装置
Knapp et al. Semi-automatic topology independent contour-based 2 ½ D segmentation using live-wire
JP2004321439A (ja) 三次元有限要素モデル発生方法、装置及び三次元有限要素モデル発生プログラムを記憶した記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081216

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees