JP4662514B2 - 3dボリュウムデータレコード内のマークの座標を求める方法 - Google Patents
3dボリュウムデータレコード内のマークの座標を求める方法 Download PDFInfo
- Publication number
- JP4662514B2 JP4662514B2 JP2000230712A JP2000230712A JP4662514B2 JP 4662514 B2 JP4662514 B2 JP 4662514B2 JP 2000230712 A JP2000230712 A JP 2000230712A JP 2000230712 A JP2000230712 A JP 2000230712A JP 4662514 B2 JP4662514 B2 JP 4662514B2
- Authority
- JP
- Japan
- Prior art keywords
- mark
- projection
- marks
- determining
- mapped
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims description 57
- 230000005484 gravity Effects 0.000 claims description 14
- 238000009825 accumulation Methods 0.000 claims description 7
- 239000006185 dispersion Substances 0.000 claims description 5
- 238000012804 iterative process Methods 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011477 surgical intervention Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/12—Devices for detecting or locating foreign bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Description
【発明の属する技術分野】
本発明は、基準座標系を基準にして、マークを付されている対象物の3Dボリュウムデータレコードに含まれているマークの座標を求める方法に関する。
【0002】
【従来の技術】
像処理では、測定対象物の3Dボリュウムデータレコード上で働くさまざまな応用に対して、たとえば医学技術で測定対象物に対して相対的な器具のナビゲーションまたはマルチモダリティ像融合、すなわち種々の像システムにより得られた多くの像の重畳をマークを根拠として行い得るように、3Dボリュウムデータレコードに含まれているマークの三次元の座標を確実に決定するという問題がある。
【0003】
米国特許第 5,636,255号明細書には、マークを付されている対象物のデータレコードに含まれているマークの位置を決定するための3種類の方法が記載されている。第1の方法では検査すべき対象物が通常、その寸法に関して知られているフレームのなかに配置される。対象物から求められたCTデータレコードのなかにフレームも対象物に配置されているマークも写像されている。フレームの知られている寸法に基づいて、基準座標系を基準にして、CTデータレコードに写像されているマークの位置が導き出される。マークの位置を決定する第2の方法は、CTデータレコードのなかのマークの重心点を推定する方法に基づいており、マークの位置を決定するための第3の方法は機械的なポインタの使用に基づいている。
【0004】
ドイツ特許出願公開第 195 12 819 号明細書には、測定フィールドを貫くX線放射束を送り出すX線放射体と検出器とを有するX線コンピュータトモグラフが記載されている。X線コンピュータトモグラフにより3Dボリュウムデータレコードが発生されなければならないが、そのためには各々の2D投影の際の正確な撮影ジオメトリの知識、すなわち各々の2D投影の際のX線放射体および検出器の位置ならびにそれらの相対的な向きの正確な知識が必要である。X線コンピュータトモグラフは機械的な不安定性を有するので、測定フィールドのなかに、2D投影に写像され、各々の2D投影に対する撮影ジオメトリを求めることを可能にするマークが配置されている。しかし、どのような仕方でマーク(特にそれらの座標)が求められるかは記載されていない。
【0005】
さらにドイツ特許第41 20 676号明細書には、周囲を走査する電気光学的センサとその後段に接続されている評価ユニットとを使用して自然の環境における小さい対象物を検出する方法が記載されている。
【0006】
ドイツ特許出願公開第 195 38 367 号明細書には、座標系を変換する方法が記載されている。
【0007】
3Dボリュウムデータレコードのなかの3D座標を決定する好ましい方法は相互作用的な、すなわち利用者の介入により特徴付けられるマークの同定および位置認識であるが、この方法は時間がかかり、かつ誤りを生じやすいことが判明している。
【0008】
【発明が解決しようとする課題】
従って本発明の課題は、3Dボリュウムデータレコードに含まれているマークの座標を確実な仕方で自動的に、すなわち利用者の介入なしに、求める方法を提供することである。
【0009】
【課題を解決するための手段】
この課題は、本発明によれば、基準座標系を基準にして、マークを付されている対象物の3Dボリュウムデータレコードに含まれているマークの座標を求める装置を制御手段が制御して、3Dボリュウムデータレコード内のマークの座標を求める方法であって、
a)X線源および平面状のX線検出器を含んでいるX線システムにより撮影され3Dボリュウムデータレコードを発生する一連の2D投影を用意する過程と、
b)撮影された2D投影に写像されたマークを検出する過程と、
c)2D投影において検出されたマークを代表する基準点をそれぞれ決定する過程と、
d)各々の逆投影直線がX線源の焦点を通って延びているように、基準点を通って延びている逆投影直線をセットアップする過程と、
e)互いに交差する逆投影直線については該逆投影直線の交点を求め、または互いにねじれの位置にある逆投影直線(つまり互いに交差しない逆投影直線)については該逆投影直線上に位置し互いに最小間隔を有する点を求める過程と、
f)交点または互いに最小間隔を有する点の蓄積を有する空間的に限られた範囲を形成する過程と、
g)空間的に限られた範囲の各個の重心点の座標を計算する過程と
を含んでいることによって解決される。
この課題は、本発明によれば、さらに、基準座標系を基準にして、マークを付されている対象物の3Dボリュウムデータレコードに含まれているマークの座標を求める装置を制御手段が制御して、3Dボリュウムデータレコード内のマークの座標を求める方法であって、
a)対象物の3Dボリュウムデータレコードから一連の2D中央投影を発生する過程と、
b)発生された2D中央投影に写像されたマークを検出する過程と、
c)2D中央投影において検出されたマークを代表する基準点をそれぞれ決定する過程と、
d)各々の逆投影直線がそのつどの2D中央投影の投影点を通って延びているように、基準点を通って延びている逆投影直線をセットアップする過程と、
e)互いに交差する逆投影直線については該逆投影直線の交点を求め、または互いにねじれの位置にある逆投影直線(つまり互いに交差しない逆投影直線)については該逆投影直線上に位置し互いに最小間隔を有する点を求める過程と、
g)空間的に限られた範囲の各個の重心点の座標を計算する過程と
を含んでいることによっても解決される。
この課題は、本発明によれば、さらにまた、基準座標系を基準にして、マークを付されている対象物の3Dボリュウムデータレコードに含まれているマークの座標を求める装置を制御手段が制御して、3Dボリュウムデータレコード内のマークの座標を求める方法であって、
a)対象物の3Dボリュウムデータレコードから一連の2D平行投影を発生する過程と、
b)発生された2D平行投影に写像されたマークを検出する過程と、
c)2D平行投影において検出されたマークを代表する基準点をそれぞれ決定する過程と、
d)各々の逆投影直線が写像されたマークまたは相応の基準点を有する平らな2D平行投影と直角に基準点で交わるように、基準点を通って延びている逆投影直線をセットアップする過程と、
e)互いに交差する逆投影直線については該逆投影直線の交点を求め、または互いにねじれの位置にある逆投影直線(つまり互いに交差しない逆投影直線)については該逆投影直線上に位置し互いに最小間隔を有する点を求める過程と、
f)交点または互いに最小間隔を有する点の蓄積を有する空間的に限られた範囲を形成する過程と、
g)空間的に限られた範囲の各個の重心点の座標を計算する過程と
を含んでいることによっても解決される。
【0010】
本発明による方法は利用者の介入なしに3Dボリュウムデータレコードに含まれているマークの座標を望ましい仕方で全自動的に求めることを可能にする。その際に検査される2D投影の全数に対して比較的少数の2D投影(たとえば本来的に写像されたマークではない2D投影の内容)が誤って1つまたはいくつかの2D投影において過程b)でマークとして同定されていたとすると、これらのマークは過程f)で消去される。なぜならば、逆投影直線の交点の数および(または)互いに最小間隔を有する逆投影直線上の点の密度が空間的に限られた範囲のなかにまとめられるためには少なすぎるからである。それに対して、検査される2D投影の全数に対して比較的少数の2D投影におけるマークが過程b)でかかるものとして認識されていなかったとすると、これらのマークは、マークが同じく写像されている他の2D投影におけるそれらの認識に基づいて、それにもかかわらず過程f)で空間的に限られた範囲としてとらえられる。なぜならば、十分な数の逆投影直線の交点および(または)種々の逆投影直線の上に位置している互いに最小間隔を有する相応に密に並び合って位置している点が生ずるからである。本発明による方法はこうして3Dボリュウムデータレコードに含まれているマークの座標を求める際に全自動的に動作するだけでなく、非常に確実にも動作するので、マークを同定かつ位置認識する際の誤りは実際上排除されている。
【0011】
3Dボリュウムデータレコードとは本発明の場合に、対象物をさまざまな方向から見た、さまざまな部分を表し得る種々の3D像を再構成し得る対象物の像データのデータレコードとして理解される。
【0012】
本発明の実施態様によれば、逆投影直線が写像されたマークの基準点を通って延び、この基準点がマークの重心点である。基準点としての重心点は、それが簡単かつ確定的な仕方で各々の検出されたマークに対して求められ得る点で、有利であることが判明している。従って、基準点を固定するといった特別な取り決めは必要としない。
【0013】
本発明の実施態様では、撮影または発生された2D投影に写像された1個または複数個のマークを検出する過程が、
a)2D投影を第1の面要素に分割する過程と、
b)第1の面要素の各々のなかの最大または最小の光強度を有する像点を決定する過程と、
c)このような像点の光強度の第1の閾値を上回るまたは下回る際に相応の像点の周りに置かれた第2の面要素のなかに規定された大きさの光強度の局所的な最大または最小を決定する過程と、
d)局所的な最大または最小から重み付けされた差を形成する過程と、
e)重み付けされた差が第2の閾値を上回る際にマークの形状を決定する過程と、
f)マークの形状に応じてマークを類型化する過程と
を含んでいる。
【0014】
本発明の実施態様によれば、マークの形状を決定する際に、
a)そのつどの局所的な最大または最小から出発して反復的なプロセスにおいて分散と、共分散と、2D投影の平面における隣接像点に対する相関係数と、像点の数とのうちの少なくとも1つが決定され、
b)分散の値と、共分散の値と、前記相関係数の値と、像点の数の値とのうちの少なくとも1つの値が予め定められた値範囲のなかに位置している場合には、存在し得るマークの主慣性軸線が計算され、
c)そのつどの2D投影の平面における互いに相対的な存在し得るマークの主慣性軸線の位置が互いに相対的な知られている類型のマークの主慣性軸線と比較され、
d)主慣性軸線の相対的な位置が少なくともほぼ一致する際に存在し得るマークに対する周縁線が形成される。
【0015】
このようにして2D投影においてマーク(特にマークの形状)が比較的確実に検出または同定されるので、それらの重心点が問題なく求められ得る。
【0016】
【発明の実施の形態】
本発明の実施例は添付の概要図面に示されている。
【0017】
図1には対象物の中央投影の撮影が概要図で示されている。この実施例の場合には対象物は詳細には示されていない患者の頭部1である。患者の頭部1の中央投影を撮影するために、X線源2および平面状のX線検出器3を有するX線システムが理想的な仕方で患者の頭部1の周りの円軌道K上を動かされ、順次に種々の角度から患者の頭部1の2D投影が撮影される。X線システムはたとえば図示されていないが公知の仕方で可動のまたは位置固定に設置されたX線装置のCアームに配置されており、その周縁に沿って患者の頭部1のこのような2D投影を撮影するために特定の角度範囲内を移動し得る。図1にはX線システムの移動が円軌道K上の矢印aにより示されている。種々の2D投影に対するX線源2の焦点4の位置は円軌道Kに沿ってのクロス印KRにより示されている。
【0018】
X線システムの回転のもとに撮影された患者の頭部1の一連の2D投影から公知の仕方で、たとえば図1に示されていない像コンピュータを用いて、患者の頭部1の3Dボリュウムデータレコードが取得され、そのデータから患者の頭部1の種々の3D像が再構成され、それにより頭部1をさまざまな方向から見たさまざまな部分が示される。再構成可能なボリュウムとして図1には典型的な例として直方体5が示されている。
【0019】
患者の頭部1にこの実施例の場合にはX線ポジティブなマーク6′〜9′が配置されており、これらのマークが頭部1の2D投影に一緒に写像され、こうして患者の頭部1の3Dボリュウムデータレコードにもマーク6〜9として含まれている。たとえば図1に示されている再構成可能な直方体5のなかにはマーク6のみが写像されている。
【0020】
患者の頭部1の3Dボリュウムデータレコードならびに3D像に含まれているマーク6〜9は、患者の頭部1への手術介入中に頭部1に対して相対的な器具のナビゲーションを行うための、またはマルチモダリティ像融合を行うための基準点または固定点としての役割をする。これらの応用のためには、そのために重要な患者の頭部1の3D像に含まれているマークの座標の知識が必要であり、それらのマークの自動同定かつ位置認識は、たとえば図示されていないコンピュータを用いて、以下に説明するように行われる。
【0021】
3Dボリュウムデータレコードに含まれているマーク6〜9の座標を求めるために、測定過程で求められかつ記憶されマークを少なくとも大部分写像している2D投影が利用される。図2は典型的な例として種々の投影角度でX線システムにより撮影されマークを写像している4つの2D投影P1〜P4を示す。
【0022】
最初に、2D投影P1〜P4に写像されたマーク6.1〜9.4が検出される。図3には2D投影P1に、2D投影P1に写像されたマーク8.1を手がかりにして典型的な例として2D投影P1〜P4に写像されたマーク6.1〜9.4に対してマークの検出が示されている。
【0023】
投影P1はそのために完全に面要素10、好ましくは等しい大きさの面要素に分割されている。面要素10の各々において、最大または最小の光強度、この実施例の場合には放射線学的に求められた2D投影に基づいて最大の光強度を有する像点が決定され、その際に面要素10がたとえば順次に通過される。像点の各々の面要素10において求められた最大の光強度は第1の予め定め得る閾値と比較される。この実施例の場合には閾値を下回る際にすぐ次の面要素10に切換えられる。しかし求められた光強度が閾値の上に位置しているならば、好ましくは面要素10の最大の光強度を有する像点を中央にしてその周りに、マークの最大の広がりにより予め定められた大きさの第2の面要素11が置かれる。このことは図3に、写像された、検出すべきマーク8.1に対して示されている。面要素11において光強度の局所的な最大および局所的な最小が求められ、重み付けされた差が局所的な最大および最小から形成される。このような面要素11における最大および最小はそれぞれ、各2D投影に内接される位置が3Dボリュウムデータレコードの基準座標系Rに対して知られている座標系を基準にして決定される。この実施例の場合には最大および最小はx‐y直角座標系を基準にして投影P1の平面に示されている。重み付けされた差はこの実施例の場合には次の式に従って決定される。
K=n×(M−m)+m
ここで
M 最大
m 最小
n 適応選択可能な重み
【0024】
重み付けされた差の値が第2の閾値の上に位置しているならば、面要素11はマークを内包し得るであろう。従って検査は継続される。
【0025】
従って局所的な最大から出発して反復的なプロセスにおいて分散および(または)共分散および(または)2D投影の平面における最大に隣接する像点に対する相関係数および(または)光強度の予め定め得る値を上回る像点の数が決定される。分散および(または)共分散および(または)相関係数の値ならびに像点の数が写像されたマークに対して期待すべき値範囲のなかに位置しているならば、マークの存在が推定され、また分散および(または)共分散および(または)相関係数ならびに像点の数の値に関係してx‐y平面のなかの存在し得るマーク8.1の主慣性軸線12、13が計算される。続いて互いに相対的な存在し得るマーク8.1の主慣性軸線12、13の求められた位置が互いに相対的な知られている類型のマークの主慣性軸線の位置と比較され、その際に主慣性軸線12、13はたとえばそれらの交点の周りに特定の角度だけ回転されるので、存在し得るマークの位置不変性が解消される。存在し得るマークにおけるこのような位置不変性は相い異なる投影角度からのマークの投影により生ずる。図3には典型的な例として知られているマークの主慣性軸線14、15が記入されており、それらの互いに相対的な位置は少なくとも本質的に存在し得るマーク8.1の主慣性軸線12、13の互いに相対的な位置に一致する。
【0026】
互いに相対的な存在し得るマークの主慣性軸線の位置が互いに相対的な知られているマークの主慣性軸線の位置と少なくともほぼ一致する際には検出されたマークのシグネチャを用いて検出された面状に写像されたマークに対する周縁線が形成される。シグネチャは公知の形態学的なオペレーションの助けをかりて求められる。その際にシグネチャに関する予測を的中させ得るために、これはその平均値およびそのダイナミックス、すなわち振幅の高さに関して正規化される。写像されたマークがコーナー点を有するかぎり、シグネチャのなかの最大個所の数はマークのコーナー点の数を表す。図4には典型的な例として正方形マークに対するシグネチャが示されており、その際に4つの最大個所が正方形マークの4つのコーナーを表す。
【0027】
存在し得るマークのシグネチャは最後に、知られているマークの理想シグネチャと標準偏差およびコーナー点の数に関して比較される。存在し得るマークのシグネチャがたとえば十分に正確に知られているマークの理想シグネチャと合致するならば、マークはこのようなものとして類型化され、マークの周縁線が形成される。この実施例の場合には、写像されたマーク8.1に属するマーク8は球状のマークとして類型化される。
【0028】
2D投影P1のなかのマーク8またはその写像8.1に対する仕方と等しい仕方で2D投影P1またはその他の2D投影に写像された他のマークの類型も求められる。
【0029】
2D投影に写像されたマーク6.1〜9.4の検出または類型化の後に各々の検出されたマークに対して基準点(好ましくはそのつどの2D投影の平面における検出されたマークの重心点)が決定される。
【0030】
図2に投影P1〜P4を手がかりにして典型的な例として写像されたマーク8.1〜8.4、9.1〜9.4に対して示されているように、それぞれ2D投影P1〜P4に写像されたマーク8.1〜8.4、9.1〜9.4の重心点を通って、またX線源2の焦点4を通って延びている逆投影直線G8.1〜G8.4、G9.1〜G9.4がセットアップされる。これらの逆投影直線G8.1〜G8.4、G9.1〜G9.4は2D投影に写像された3Dボリュウムのなかのマーク6.1〜9.4の重心点を逆投影する。
【0031】
3Dボリュウムのなかのすべてのマーク6〜9を位置認識するためにはすべての逆投影直線の相互の交点が決定される。逆投影直線が互いにねじれの位置にあるならば、種々の逆投影直線上に位置し互いに最小間隔を有する点が決定される。このような交点または互いに最小間隔を有するこのような点の空間的な蓄積から空間的に限られた範囲(いわゆるクラスター)が形成され、またそれらの重心点が決定される。クラスターの重心点または基準座標系Rを基準にしてのそれらの座標は最後に3Dボリュウムデータレコードのなかの探索されるマーク6〜9の座標を形成する。
【0032】
この実施例の場合には直線G8.1〜G8.4は理想的な仕方で単一の交点すなわちマーク8の重心点で交わる。同じ仕方でマーク9に対する重心点を求める過程が図2に示されており、その際に直線G9.1〜G9.4は理想的な仕方でマーク9の重心点で交わる。一般的な場合には逆投影直線G8.1〜G8.4およびG9.1〜G9.4の交点の無秩序な集積が生じ、または、互いにねじれの位置にある逆投影直線の際には3Dボリュウムのなかの互いに最小間隔を有する点の集積が生ずる。3Dボリュウムのなかのマーク8および9の実際の位置はこの場合にはパターン認識の通常の方法により求められ、その際にマーク8および9は、逆投影直線の交点または3Dボリュウムのなかの互いに最小間隔を有する逆投影直線の点のそれぞれ濃密化された点の塊りを包含するクラスターB8またはB9により表されている。
【0033】
クラスターB8またはB9の重心点は最後に、前述のように、3Dボリュウムデータレコードのなかのマーク8および9の座標を形成する。
【0034】
図2を用いて、円軌道上を移動可能なX線システムにより撮影された2D投影から発生された3Dボリュウムデータレコードのなかのマークの座標を求める過程が説明された。
【0035】
しかし本発明による方法は既存のたとえばMR、CTまたは核医学設備により取得されマークを含んでいる3Dボリュウムデータレコードにも応用可能である。
【0036】
このように発生された3Dボリュウムデータレコードの際には、本発明による方法を実行するために、先ず2D投影が3Dボリュウムデータレコードから公知の方法たとえば最大強度投影(MIP)により発生されなければならない。
【0037】
3Dボリュウムデータレコードから中央投影を発生する際には、3Dボリュウムデータレコードのなかに含まれているマークの座標を決定するための方法のその後の経過は図2と関連して説明された経過に相当し、その際に逆投影直線は検出されたマークの重心点および焦点を通ってではなく、検出されたマークの重心点および焦点に相応する中央投影の投影点を通って延びている。
【0038】
図5に示されているように、3Dボリュウムデータレコードから平行投影を発生する際にも、3Dボリュウムデータレコードに含まれているマークの座標を決定するための方法の経過はほぼ図2と関連して説明された経過に相当する。相違点は逆投影直線をセットアップする過程のみである。これらは、3Dボリュウムデータレコードから発生された平行投影の場合には、2D投影に写像されかつ検出されたマークの重心点を通って延びており、重心点を有する2D投影の平面と直角に交わる。
【0039】
図5は、典型的な例として、3Dボリュウムデータレコードに含まれ、平行投影P5〜P8に写像されている2つのマーク20、21に対して、マーク20、21の重心点の座標を求める過程を示す。平行投影P5〜P8のなかのマークを図2と関連して説明された経過で検出した後、また平行投影P5〜P8に写像されている2つのマーク20.1〜21.4の重心点を検出した後に、逆投影直線をセットアップする過程が、各逆投影直線G20.1〜G20.4またはG21.1〜G21.4がそれらに対応付けられているマーク20.1〜20.4または21.1〜21.4を通って延び、マークまたはマークの重心点を有する2D投影P5〜P8の平面と直角に交わるように行われる。理想的には逆投影直線G20.1〜G20.4の交点はマーク20の重心点に、逆投影直線G21.1〜G21.4の交点はマーク21の重心点に位置している。このようにして定義されたマーク20、21の重心点の座標は公知の仕方で求められる。
【0040】
最も一般的な場合には、3Dボリュウムデータレコードから発生される平行投影の際にも逆投影直線の交点、または、互いにねじれの位置にある逆投影直線の場合には、互いに最小間隔を有する逆投影直線の点がたとえばクラスターB20およびB21に包含されている濃密化された点の塊りを形成し、それらの交点がマーク20および21の位置を表している。
【0041】
以上には本発明による方法が医学撮像を例として説明された。しかし本発明による方法は医学での応用に制限されていない。
【0042】
2D投影のなかのマークが最も低い光強度を有する範囲により特徴付けられているならば、2D投影のなかのでのそれらの検出は、先に説明された実施例と相違して、2D投影の面要素のなかで最小の光強度を有する像点を探索することにより行われる。この場合にはマークを同定するための像点の周囲の検査は、第1の閾値が下回られるときには常に続行される。その後の過程は先に説明された過程に類似している。
【0043】
その他の点では、2D投影のなかのマークの説明された検出または類型化は典型的な例としてのみ理解すべきであり、他の仕方でも行われ得る。
【図面の簡単な説明】
【図1】中央投影の撮影の概要図。
【図2】取得された中央投影を用いての3Dボリュウムデータレコードのなかのマークの位置認識を説明するための図。
【図3】2D投影のなかのマークの同定を説明するための図。
【図4】直方体状のマークのシグネチャを説明するための図。
【図5】平行投影を用いての3Dボリュウムデータレコードのなかのマークの位置認識を説明するための図。
【符号の説明】
1 患者の頭部
2 X線源
3 X線検出器
4 X線源の焦点
5 直方体状の形態
6′〜9′ 患者の頭部のマーク
6〜9 3Dボリュウムデータレコードのマーク
6.1〜9.4 2D投影に写像されたマーク
10、11 面要素
12、13 写像されたマークの主慣性軸線
14、15 知られているマークの主慣性軸線
20、21 マーク
20.1、21.4 写像されたマーク
P1〜P4 中央投影
P5〜P8 平行投影
G8.1〜G9.4、G20.1〜G21.4 逆投影直線
B8、B9、B20、B21 空間的に限られた範囲(クラスター)
a 移動方向
K 円軌道
KR クロス印
R 基準座標系
x、y 直角座標
Claims (12)
- 基準座標系(R)を基準にして、マーク(6′〜9′)を付されている対象物(1)の3Dボリュウムデータレコードに含まれているマーク(6〜9、21、22)の座標を求める装置を制御手段が制御して、3Dボリュウムデータレコード内のマークの座標を求める方法であって、
a)X線源(2)および平面状のX線検出器(3)を含んでいるX線システムにより撮影され3Dボリュウムデータレコードを発生する一連の2D投影(P1〜P4)を用意する過程と、
b)撮影された2D投影(P1〜P4)に写像されたマーク(6.1〜9.4)を検出する過程と、
c)2D投影(P1〜P4)において検出されたマーク(6.1〜9.4)を代表する基準点をそれぞれ決定する過程と、
d)各々の逆投影直線(G8.1〜G9.4)がX線源(2)の焦点(4)を通って延びているように、基準点を通って延びている逆投影直線(G8.1〜G9.4)をセットアップする過程と、
e)互いに交差する逆投影直線(G8.1〜G9.4)については該逆投影直線(G8.1〜G9.4)の交点を求め、または互いにねじれの位置にある逆投影直線については該逆投影直線上に位置し互いに最小間隔を有する点を求める過程と、
f)交点または互いに最小間隔を有する点の蓄積を有する空間的に限られた範囲(B8、B9)を形成する過程と、
g)空間的に限られた範囲(B8、B9)の各個の重心点の座標を計算する過程と
を含んでいることを特徴とする3Dボリュウムデータレコード内のマークの座標を求める方法。 - 逆投影直線(G8.1〜G9.4)は写像されたマーク(6.1〜9.4)の基準点を通って延び、この基準点は写像されたマーク(6.1〜9.4)の重心点であることを特徴とする請求項1記載の方法。
- 撮影された2D投影(P1〜P4)に写像された1個または複数個のマーク(6.1〜9.4)を検出する過程は、
a)2D投影(P1)を第1の面要素(10)に分割する過程と、
b)第1の面要素(10)の各々のなかの最大または最小の光強度を有する像点を決定する過程と、
c)このような像点の光強度の第1の閾値を上回るまたは下回る際に相応の像点の周りに置かれた第2の面要素(11)のなかに規定された大きさの光強度の局所的な最大または最小を決定する過程と、
d)局所的な最大または最小から重み付けされた差を形成する過程と、
e)重み付けされた差が第2の閾値を上回る際にマークの形状を決定する過程と、
f)マークの形状に応じてマークを類型化する過程と
を含んでいることを特徴とする請求項1または2記載の方法。 - マークの形状を決定する際に、
a)そのつどの局所的な最大または最小から出発して反復的なプロセスにおいて分散と、共分散と、2D投影(P1〜P4)の平面における隣接像点に対する相関係数と、像点の数とのうちの少なくとも1つが決定され、
b)分散の値と、共分散の値と、前記相関係数の値と、像点の数の値とのうちの少なくとも1つの値が予め定められた値範囲のなかに位置している場合には、存在し得るマークの主慣性軸線(12、13)が計算され、
c)そのつどの2D投影(P1)の平面における互いに相対的な存在し得るマークの主慣性軸線(12、13)の位置が互いに相対的な知られている類型のマークの主慣性軸線(14、15)と比較され、
d)主慣性軸線(12〜15)の相対的な位置が少なくともほぼ一致する際に存在し得るマークに対する周縁線が形成される
ことを特徴とする請求項3記載の方法。 - 基準座標系を基準にして、マークを付されている対象物の3Dボリュウムデータレコードに含まれているマークの座標を求める装置を制御手段が制御して、3Dボリュウムデータレコード内のマークの座標を求める方法であって、
a)対象物の3Dボリュウムデータレコードから一連の2D中央投影を発生する過程と、
b)発生された2D中央投影に写像されたマークを検出する過程と、
c)2D中央投影において検出されたマークを代表する基準点をそれぞれ決定する過程と、
d)各々の逆投影直線がそのつどの2D中央投影の投影点を通って延びているように、基準点を通って延びている逆投影直線をセットアップする過程と、
e)互いに交差する逆投影直線(G8.1〜G9.4)については該逆投影直線(G8.1〜G9.4)の交点を求め、または互いにねじれの位置にある逆投影直線については該逆投影直線上に位置し互いに最小間隔を有する点を求める過程と、
g)空間的に限られた範囲の各個の重心点の座標を計算する過程と
を含んでいることを特徴とする3Dボリュウムデータレコード内のマークの座標を求める方法。 - 逆投影直線は写像されたマークの基準点を通って延び、この基準点は写像されたマークの重心点であることを特徴とする請求項5記載の方法。
- 発生された2D中央投影に写像された1個または複数個のマークを検出する過程は、
a)2D中央投影を第1の面要素に分割する過程と、
b)第1の面要素の各々のなかの最大または最小の光強度を有する像点を決定する過程と、
c)このような像点の光強度の第1の閾値を上回るまたは下回る際に相応の像点の周りに置かれた第2の面要素のなかに規定された大きさの光強度の局所的な最大または最小を決定する過程と、
d)局所的な最大または最小から重み付けされた差を形成する過程と、
e)重み付けされた差が第2の閾値を上回る際にマークの形状を決定する過程と、
f)マークの形状に応じてマークを類型化する過程と
を含んでいることを特徴とする請求項5又は6記載の方法。 - マークの形状を決定する際に、
a)そのつどの局所的な最大または最小から出発して反復的なプロセスにおいて分散と、共分散と、2D中央投影の平面における隣接像点に対する相関係数と、像点の数とのうちの少なくとも1つが決定され、
b)分散の値と、共分散の値と、前記相関係数の値と、像点の数の値とのうちの少なくとも1つの値が予め定められた値範囲のなかに位置している場合には、存在し得るマークの主慣性軸線が計算され、
c)そのつどの2D中央投影の平面における互いに相対的な存在し得るマークの主慣性軸線の位置が互いに相対的な知られている類型のマークの主慣性軸線と比較され、
d)主慣性軸線の相対的な位置が少なくともほぼ一致する際に存在し得るマークに対する周縁線が形成される
ことを特徴とする請求項7記載の方法。 - 基準座標系(R)を基準にして、マークを付されている対象物(1)の3Dボリュウムデータレコードに含まれているマーク(20、21)の座標を求める装置を制御手段が制御して、3Dボリュウムデータレコード内のマークの座標を求める方法であって、
a)対象物(1)の3Dボリュウムデータレコードから一連の2D平行投影(P5〜P8)を発生する過程と、
b)発生された2D平行投影(P5〜P8)に写像されたマーク(20.1〜21.4)を検出する過程と、
c)2D平行投影(P5〜P8)において検出されたマーク(20.1〜21.4)を代表する基準点をそれぞれ決定する過程と、
d)各々の逆投影直線(G20.1〜G21.4)が写像されたマーク(20.1〜21.4)または相応の基準点を有する平らな2D平行投影(P5〜P8)と直角に基準点で交わるように、基準点を通って延びている逆投影直線(G20.1〜G21.4)をセットアップする過程と、
e)互いに交差する逆投影直線(G8.1〜G9.4)については該逆投影直線(G8.1〜G9.4)の交点を求め、または互いにねじれの位置にある逆投影直線については該逆投影直線上に位置し互いに最小間隔を有する点を求める過程と、
f)交点または互いに最小間隔を有する点の蓄積を有する空間的に限られた範囲(B20、B21)を形成する過程と、
g)空間的に限られた範囲(B20、B21)の各個の重心点の座標を計算する過程と
を含んでいることを特徴とする3Dボリュウムデータレコード内のマークの座標を求める方法。 - 逆投影直線(G20.1〜G21.4)は写像されたマーク(20.1〜21.4)の基準点を通って延び、この基準点は写像されたマーク(20.1〜21.4)の重心点であることを特徴とする請求項9記載の方法。
- 発生された2D平行投影(P5〜P8)に写像された1個または複数個のマーク(20.1〜21.4)を検出する過程は、
a)2D平行投影を第1の面要素に分割する過程と、
b)第1の面要素の各々のなかの最大または最小の光強度を有する像点を決定する過程と、
c)このような像点の光強度の第1の閾値を上回るまたは下回る際に相応の像点の周りに置かれた第2の面要素のなかに規定された大きさの光強度の局所的な最大または最小を決定する過程と、
d)局所的な最大または最小から重み付けされた差を形成する過程と、
e)重み付けされた差が第2の閾値を上回る際にマークの形状を決定する過程と、
f)マークの形状に応じてマークを類型化する過程と
を含んでいることを特徴とする請求項9または10記載の方法。 - マークの形状を決定する際に、
a)そのつどの局所的な最大または最小から出発して反復的なプロセスにおいて分散と、共分散と、2D平行投影の平面における隣接像点に対する相関係数と、像点の数とのうちの少なくとも1つが決定され、
b)分散の値と、共分散の値と、前記相関係数の値と、像点の数の値とのうちの少なくとも1つの値が予め定められた値範囲のなかに位置している場合には、存在し得るマークの主慣性軸線が計算され、
c)そのつどの2D平行投影の平面における互いに相対的な存在し得るマークの主慣性軸線の位置が互いに相対的な知られている類型のマークの主慣性軸線と比較され、
d)主慣性軸線の相対的な位置が少なくともほぼ一致する際に存在し得るマークに対する周縁線が形成される
ことを特徴とする請求項11記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19936364.1 | 1999-08-03 | ||
DE19936364A DE19936364A1 (de) | 1999-08-03 | 1999-08-03 | Verfahren zur Identifizierung und Lokalisierung von Marken in einem 3D-Volumendatensatz |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001078997A JP2001078997A (ja) | 2001-03-27 |
JP4662514B2 true JP4662514B2 (ja) | 2011-03-30 |
Family
ID=7916926
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000230712A Expired - Lifetime JP4662514B2 (ja) | 1999-08-03 | 2000-07-31 | 3dボリュウムデータレコード内のマークの座標を求める方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6359960B1 (ja) |
JP (1) | JP4662514B2 (ja) |
DE (1) | DE19936364A1 (ja) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6837892B2 (en) | 2000-07-24 | 2005-01-04 | Mazor Surgical Technologies Ltd. | Miniature bone-mounted surgical robot |
DE10201644A1 (de) * | 2002-01-17 | 2003-08-07 | Siemens Ag | Registrierungsprozedur bei projektiver intraoperativer 3D-Bildgebung |
US7277564B2 (en) * | 2002-11-26 | 2007-10-02 | Ge Medical Systems Information Technologies, Inc. | Method and system for labeling of orthogonal images |
US20050033157A1 (en) * | 2003-07-25 | 2005-02-10 | Klein Dean A. | Multi-modality marking material and method |
US20050059879A1 (en) * | 2003-09-16 | 2005-03-17 | Robert Sutherland | Localization of a sensor device in a body |
DE102004001858A1 (de) * | 2003-10-22 | 2005-05-25 | Schaerer Mayfield Technologies Gmbh | Verfahren zur Fluoroskopie-basierten Neuronavigation |
DE10357184A1 (de) * | 2003-12-08 | 2005-07-07 | Siemens Ag | Verfahren zur fusionierten Bilddarstellung |
DE502004003460D1 (de) * | 2004-03-01 | 2007-05-24 | Brainlab Ag | Verfahren und Vorrichtung zum Bestimmen einer Symmetrieebene eines dreidimensionalen Objektes |
US7477776B2 (en) * | 2004-03-01 | 2009-01-13 | Brainlab Ag | Method and apparatus for determining a plane of symmetry of a three-dimensional object |
US7333646B2 (en) * | 2004-06-01 | 2008-02-19 | Siemens Medical Solutions Usa, Inc. | Watershed segmentation to improve detection of spherical and ellipsoidal objects using cutting planes |
FR2882245B1 (fr) * | 2005-02-21 | 2007-05-18 | Gen Electric | Procede de determination du deplacement 3d d'un patient positionne sur une table d'un dispositif d'imagerie |
DE102005030607A1 (de) * | 2005-06-30 | 2007-01-04 | Siemens Ag | Interventionelles Instrument mit Markierungselement |
EP1782734B1 (de) * | 2005-11-05 | 2018-10-24 | Ziehm Imaging GmbH | Vorrichtung zur Verbesserung der Volumenrekonstruktion |
DE102005052786B3 (de) * | 2005-11-05 | 2007-07-05 | Ziehm Imaging Gmbh | Fahrgestell für eine mobile Röntgendiagnostikeinrichtung |
FR2897461A1 (fr) * | 2006-02-16 | 2007-08-17 | Gen Electric | Dispositif de rayonnement x et procede de traitement d'images |
CN103961130B (zh) * | 2006-09-25 | 2017-08-15 | 马佐尔机器人有限公司 | 使得c型臂系统适应以提供三维成像信息的方法 |
US7995819B2 (en) * | 2006-10-30 | 2011-08-09 | General Electric Company | Methods for displaying a location of a point of interest on a 3-D model of an anatomical region |
EP1925256A1 (de) | 2006-11-24 | 2008-05-28 | BrainLAB AG | Verfahren und Vorrichtung zur Registrierung einer anatomischen Struktur mit Markern |
SE0702061L (sv) * | 2007-09-17 | 2009-03-18 | Xcounter Ab | Metod för att skapa, visa och analysera röntgenbilder och anordning för att implementera metoden |
EP2245986B1 (de) * | 2008-08-22 | 2013-10-16 | BrainLAB AG | Pyramidenförmige Röntgenmarkervorrichtung |
WO2010067281A1 (en) * | 2008-12-11 | 2010-06-17 | Koninklijke Philips Electronics N.V. | System and method for generating images of a patient's interior and exterior |
CN101515370B (zh) * | 2009-03-06 | 2011-05-18 | 北京航空航天大学 | 三维显微ct扫描系统中射线源焦点的投影坐标的标定方法 |
US9082182B2 (en) * | 2009-11-25 | 2015-07-14 | Dental Imaging Technologies Corporation | Extracting patient motion vectors from marker positions in x-ray images |
US8180130B2 (en) * | 2009-11-25 | 2012-05-15 | Imaging Sciences International Llc | Method for X-ray marker localization in 3D space in the presence of motion |
US8363919B2 (en) | 2009-11-25 | 2013-01-29 | Imaging Sciences International Llc | Marker identification and processing in x-ray images |
US9082036B2 (en) * | 2009-11-25 | 2015-07-14 | Dental Imaging Technologies Corporation | Method for accurate sub-pixel localization of markers on X-ray images |
US9826942B2 (en) * | 2009-11-25 | 2017-11-28 | Dental Imaging Technologies Corporation | Correcting and reconstructing x-ray images using patient motion vectors extracted from marker positions in x-ray images |
US9082177B2 (en) * | 2009-11-25 | 2015-07-14 | Dental Imaging Technologies Corporation | Method for tracking X-ray markers in serial CT projection images |
US8506090B2 (en) * | 2010-03-22 | 2013-08-13 | Microvision, Inc. | Projection system with image orientation correction and corresponding method |
CN101936720B (zh) * | 2010-07-30 | 2012-03-21 | 北京航空航天大学 | 一种适用于锥束xct系统的探测器扭转角的标定方法 |
DE102010035924B4 (de) | 2010-08-31 | 2019-08-22 | Siemens Healthcare Gmbh | Vorrichtung und Verfahren zur Entnahme einer Gewebeprobe |
EP2525328B1 (en) * | 2011-05-19 | 2017-10-18 | Pie Medical Imaging BV | Method and apparatus for determining optimal projection images |
KR20140066177A (ko) | 2011-07-29 | 2014-05-30 | 헥사곤 메트롤로지, 인크. | 좌표 측정 시스템의 데이터 감축 |
JP5487172B2 (ja) * | 2011-09-05 | 2014-05-07 | 株式会社東芝 | 医用画像診断装置及び医用画像処理装置 |
EP2852326B1 (en) | 2012-05-22 | 2018-12-05 | Mazor Robotics Ltd. | On-site verification of implant positioning |
JP2015528713A (ja) * | 2012-06-21 | 2015-10-01 | グローバス メディカル インコーポレイティッド | 手術ロボットプラットフォーム |
US10702226B2 (en) | 2015-08-06 | 2020-07-07 | Covidien Lp | System and method for local three dimensional volume reconstruction using a standard fluoroscope |
CN109952070B (zh) | 2016-10-05 | 2022-02-01 | 纽文思公司 | 手术导航系统及相关方法 |
JP6767045B2 (ja) * | 2016-11-02 | 2020-10-14 | 株式会社ミツトヨ | 計測用x線ct装置と座標測定機の座標合せ治具 |
US10699448B2 (en) | 2017-06-29 | 2020-06-30 | Covidien Lp | System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data |
EP3694412A4 (en) | 2017-10-10 | 2021-08-18 | Covidien LP | SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION |
US10893842B2 (en) | 2018-02-08 | 2021-01-19 | Covidien Lp | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target |
US10905498B2 (en) | 2018-02-08 | 2021-02-02 | Covidien Lp | System and method for catheter detection in fluoroscopic images and updating displayed position of catheter |
JP7360470B2 (ja) * | 2019-03-08 | 2023-10-12 | ウィリアム イー バトラー, | 血管造影撮像システムの時間的較正 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2640394B1 (fr) * | 1988-12-14 | 1991-02-15 | Schlumberger Etienne | Procede pour coordonner plusieurs images d'un meme objet et dispositif pour sa mise en oeuvre |
DE4120676C2 (de) * | 1991-06-22 | 1994-09-08 | Deutsche Aerospace | Verfahren und Schaltungsanordnung zur Detektion von kleinen Objekten in natürlicher Umgebung |
JP3275252B2 (ja) * | 1993-06-21 | 2002-04-15 | 日本電信電話株式会社 | 3次元情報入力方法及びそれを使った3次元情報入力装置 |
DE19512819C2 (de) | 1995-04-05 | 1999-05-27 | Siemens Ag | Röntgen-Computertomograph |
DE19539367A1 (de) * | 1995-10-23 | 1997-04-24 | Siemens Ag | Verfahren zum Transformieren eines Koordinatensystems |
US5636255A (en) * | 1996-03-05 | 1997-06-03 | Queen's University At Kingston | Method and apparatus for CT image registration |
US6206566B1 (en) * | 1998-11-02 | 2001-03-27 | Siemens Aktiengesellschaft | X-ray apparatus for producing a 3D image from a set of 2D projections |
-
1999
- 1999-08-03 DE DE19936364A patent/DE19936364A1/de not_active Withdrawn
-
2000
- 2000-07-31 JP JP2000230712A patent/JP4662514B2/ja not_active Expired - Lifetime
- 2000-08-02 US US09/630,968 patent/US6359960B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2001078997A (ja) | 2001-03-27 |
US6359960B1 (en) | 2002-03-19 |
DE19936364A1 (de) | 2001-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4662514B2 (ja) | 3dボリュウムデータレコード内のマークの座標を求める方法 | |
EP2709060B1 (en) | Method and an apparatus for determining a gaze point on a three-dimensional object | |
JP5759161B2 (ja) | 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム | |
US6978040B2 (en) | Optical recovery of radiographic geometry | |
US7561733B2 (en) | Patient registration with video image assistance | |
JP5480914B2 (ja) | 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム | |
JP2919284B2 (ja) | 物体認識方法 | |
CN1847789B (zh) | 测量位置及姿态的方法和装置 | |
US7477776B2 (en) | Method and apparatus for determining a plane of symmetry of a three-dimensional object | |
US20080063304A1 (en) | Calibration of radiographic images | |
EP0871394A2 (en) | Method and apparatus for photogrammetric assessment of biological tissue | |
US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
JP2018515207A (ja) | 監視システム | |
CN107122754A (zh) | 姿势识别方法和装置 | |
KR20040010297A (ko) | Ct 장치, ct 촬상 방법, 및 ct 촬상 서비스 방법 | |
CN112515766B (zh) | 用于将x射线图像数据组与导航系统配准的方法和系统 | |
US9273956B2 (en) | Method for determining a distance by X-ray imaging, and X-ray device | |
JP2009253715A (ja) | カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 | |
JPH0766436B2 (ja) | 連続シルエット画像による3次元モデル構成装置 | |
Detchev et al. | Image matching and surface registration for 3D reconstruction of a scoliotic torso | |
CN116529756A (zh) | 监测方法、装置及计算机存储介质 | |
JP2001059715A (ja) | 実物体の時空間画像を用いた形状復元方法及び画像処理方法並びに形状復元システム | |
US20220096165A1 (en) | Interventional device tracking | |
CN115297780A (zh) | 用于x射线图像的三维测量网格工具 | |
WO2021074475A1 (es) | Sistema para la autolocalización de un módulo en posición, orientación y rotación a partir de una tomografía computerizada |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100226 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20100226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101229 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4662514 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |