JP5016231B2 - 撮像の幾何学的パラメータを決定する方法及び装置 - Google Patents

撮像の幾何学的パラメータを決定する方法及び装置 Download PDF

Info

Publication number
JP5016231B2
JP5016231B2 JP2006039188A JP2006039188A JP5016231B2 JP 5016231 B2 JP5016231 B2 JP 5016231B2 JP 2006039188 A JP2006039188 A JP 2006039188A JP 2006039188 A JP2006039188 A JP 2006039188A JP 5016231 B2 JP5016231 B2 JP 5016231B2
Authority
JP
Japan
Prior art keywords
imaging device
imaging system
image
phantom
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006039188A
Other languages
English (en)
Other versions
JP2006223868A (ja
JP2006223868A5 (ja
Inventor
セバスティアン・ゴルジュ
イヴ・トリュセット
ジェレミ・ペスカトール
エルワン・ケリエン
マリー−オディール・ベルジャー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2006223868A publication Critical patent/JP2006223868A/ja
Publication of JP2006223868A5 publication Critical patent/JP2006223868A5/ja
Application granted granted Critical
Publication of JP5016231B2 publication Critical patent/JP5016231B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/58Testing, adjusting or calibrating apparatus or devices for radiation diagnosis
    • A61B6/582Calibration
    • A61B6/583Calibration using calibration phantoms

Description

本発明の一実施形態は、撮像装置の内的幾何学的パラメータ及び/又は外的幾何学的パラメータを撮像装置の全ての位置について決定する方法及び装置に関する。具体的には、本発明の一実施形態は、医療分野での撮像に応用可能な方法及び装置に関する。
医療撮像の分野では、手術時の手術器具の案内を支援し且つ/又は画像の合成、例えば公知の撮像装置によって取得された画像の重ね合わせを可能にするために、患者のような対象に放射線不透過性の標識を配置して参照点として用いることが周知である。公知の撮像装置は典型的には、画像を受け取る手段に対向配置されたX線源のような放射線の線源を提供する手段であって、放射線源及び画像を受け取る手段は3本の軸の周りで互いに対して回転するように駆動される、放射線の線源を提供する手段と、動作手段と、取得手段と、画像を視覚化する手段と、制御手段とを含んでいる。対象又は患者はテーブルに載置され、テーブルは、患者の身体の被検部分及び/又は被治療部分がX線源と受像器との間に延在するように、所与の空間に関連した3種の可能な並進すなわち長手方向、横方向及び上下方向への並進で移動することができる。このテーブル、X線源及び受像器の可動性によって、医師は、テーブルに横臥している患者の身体の任意の部分から画像を取得することができる。例えば、患者の被治療器官に器具を案内するために、侵襲処置時に低X線量で患者を照射することにより得られる二次元フルオロスコピィ画像を利用することが一般的である。これらのフルオロスコピィ画像に関連する情報は、手術用具の案内を改善するために、三次元的に再構成される画像に有利なように組み込むことができる。代替的には、取得された三次元画像を、侵襲処置時に取得された二次元フルオロスコピィ画像に投影してもよい。
三次元画像の二次元フルオロスコピィ画像へのこれらの投影を可能にする又は反対に三次元画像内で二次元フルオロスコピィ画像情報を再配置するために、二次元画像から三次元画像へ変換するために適用されるべきフレームの変更を決定する必要がある。二次元画像及び三次元画像が同じX線イメージング・システムによって取得されている場合に、三次元画像取得と二次元画像取得との間で患者は移動していないと仮定すると、撮像装置及び/又はイメージング・システムの幾何学的特性が全ての取得位置について既知である限りは、フレームの変更を決定することは容易である。撮像装置及び/又はイメージング・システムの幾何学的特性との用語は、装置及び/又はシステムの内的特性及び外的特性を意味するものとする。内的パラメータは、投影画像すなわち受像器に放射線源を投影することに関わるパラメータに対応し、外的パラメータは、所与の参照フレームでの撮像装置及び/又はイメージング・システムの回転及び並進によって定義される装置及び/又はシステムの全体的な位置に対応する。
さらに、撮像装置及び/又はイメージング・システムの幾何学的特性を用いて、特に画像を再構成し、三次元画像の二次元フルオロスコピィ画像への投影を調節し、且つ/又は二次元フルオロスコピィ画像に関連する情報を患者の移動の関数として三次元画像に導入することもできるし、又は代替的には、放射線源及び受像器を担持する円弧の幾何学的変形を考慮して撮像装置及び/又はイメージング・システムの取得時の幾何学的構成を決定することもできる。
撮像装置及び/又はイメージング・システムの幾何学的特性を決定するために、受像器と放射線源との間に配置された三次元ファントムを用いる周知の所謂幾何学的較正方法が存在している。撮像装置及び/又はイメージング・システムの幾何学的特性は、ファントムを受像器に投影した画像に基づいて決定される。この一例は米国特許第5,442,674号であって、該特許は、X線イメージング・システムを自動的に較正する螺旋形状のファントムを用いる装置及び/又はシステム並びに方法を記載している。この方法は撮像装置及び/又はイメージング・システムの幾何学的特性の高速較正を可能にするが、不十分な結果を生ずる欠点がある。明確に述べると、撮像装置及び/又はイメージング・システムの位置の各々での幾何学的特性が較正係数に基づいて推定されるため、これらの幾何学的特性は極めて不正確になる。
米国特許第5,442,674号 米国特許第6,236,704号
撮像装置及び/又はシステムの所与の位置での正確な幾何学的特性を求めるために、公知の一方法は、既知の幾何学的構成の三次元ファントムを受像器とX線源との間に載置し、次いで、連続した2枚の画像の間でファントムを回転及び/又は並進で移動させながら撮像装置及び/又はシステムの所与の位置において三次元画像の複数の画像、通例約30枚の画像を撮影し、最後に、ここから撮像装置及び/又はシステムの幾何学的特性を高精度で導くことを含んでいる。撮像装置及び/又はイメージング・システムの所与の位置での幾何学的特性の精度は、特性が多数の画像から導かれるのに比例して高まる。しかしながら、この方法は、特に時間がかかると言う欠点を有する。実際に、撮像装置及び/又はイメージング・システムの位置の各々で30枚を上回る画像を撮影する必要があり、撮像装置及び/又はイメージング・システム、並びに操作者を占有する特に長い較正時間を必要とする。
本発明の一実施形態は、撮像装置の全ての位置について内的幾何学的パラメータ及び/又は外的幾何学的パラメータを決定する方法及び装置を提供することにより上述の欠点を克服し、高速で且つ正確な幾何学的パラメータの決定を可能にする。
本発明の一実施形態は、撮像装置の全ての位置について内的幾何学的パラメータ及び選択随意で外的幾何学的パラメータを決定する方法並びにシステム及び/又は装置に関し、装置は、画像を受け取る手段に対向配置されている放射線の線源を提供する手段であって、放射線の線源を提供する手段及び画像を受け取る手段は少なくとも1本の軸(通常は3本の軸)の周りを回転するように駆動される、放射線の線源を提供する手段と、動作手段と、取得手段と、画像を視覚化する手段と、制御手段とを含んでいる。この方法は、参照位置(P)と呼ばれる放射線源を提供する手段及び画像を受け取る手段の所与の回転位置について撮像装置の内的パラメータを決定するステップと、参照位置(P)と放射線源を提供する手段及び画像を受け取る手段の任意の第二の位置(P)との間での撮像装置の内的パラメータの変化を、画像を受け取る手段に固定されており第二の位置(P)にある放射線源を提供する手段と画像を受け取る手段との間に延在する二次元ファントムと呼ばれる平坦なファントムの二次元画像に基づいて決定するステップと、第二の位置(P)での撮像装置の内的パラメータを、参照位置(P)での撮像装置の内的パラメータ、並びに参照位置(P)と放射線源を提供する手段及び画像を受け取る手段すなわち受像器の第二の位置(P)との間での撮像装置の内的パラメータの変化に基づいて決定するステップと、次いで、これら二つの決定を、撮像装置の放射線源を提供する手段及び画像を受け取る手段のn箇所の位置の各々について繰り返すステップとを含んでいる。
他の利点及び特徴は、添付図面に基づいて、イメージング・システム及び/又は撮像装置の幾何学的パラメータを決定する方法及び装置の非限定的な実例として掲げられている幾つかの代替的な実施形態についての以下の記載からさらに明確に理解されよう。
図1を参照して述べると、イメージング・システム及び/又は撮像装置1は、ディジタル受像器であってよい画像を受け取る手段2と、例えば画像を受け取る手段2にX線を照射する放射線の線源を提供する手段3とを含んでおり、画像を受け取る手段2及び放射線源を提供する手段3はそれぞれC字形又はU字形アーム4の端部に配置されている。アーム4は、一点鎖線によって模式的に示す相互に垂直な3本の軸5、5′及び5″の周りを旋回する。C字形アーム4は、中間アーム6bに沿って摺動するキャリッジ6aに結合されて軸5の周りを旋回する。中間アーム6bは、L字形台6cの面に垂直な第二の軸5′の周りを旋回することができ、L字形台6cは、回転結合によって上下軸5″の周りを旋回することができる。従って、C字形アーム4は、3本の軸5、5′及び5″の周りを旋回することができ、これらの軸はC字形アーム4の特定の位置について参照フレームを形成する。このように、C字形アーム4の位置は、C字形アーム4が軸5、5′及び5″とそれぞれ成す三つの角度L、P及びCによって決定される位置においてこれらの3本の軸5、5′及び5″によって画定される参照フレームとして表現することができる。SIDは、本書の他部分では、受像器2から線源3を離隔する距離を表わすために用いられ、この距離SIDは、C字形アーム4の変形を考慮してC字形アーム4の位置に応じて変化する。
イメージング・システム及び/又は撮像装置1はさらに、線源3の出口に配置されている調節自在式コリメータ7を含んでいる。イメージング・システム及び/又は撮像装置1はまた、線源3、コリメータ7、受像器2、取得手段9及び視覚化手段10に接続されている動作手段8を含んでいる。キーボード、マウス又は制御ボタン等のような制御手段11が動作手段8に接続されている。
イメージング・システム及び/又は撮像装置の全ての位置について内的幾何学的パラメータ及び選択随意で外的幾何学的パラメータを決定するために、既知の幾何学的構成を有し放射線不透過性要素を含んでいる三次元ファントムを受像器2と線源3との間に載置することにより、参照位置(P)でのイメージング・システム及び/又は撮像装置1の内的パラメータの行列を予め決定する。三次元ファントムは、例えば米国特許第5,442,674号(既出)に記載されているような螺旋形状を有していてよい。
三次元ファントムを備え付けた線源3及び受像器2の参照位置(P)でのイメージング・システム及び/又は撮像装置の内的パラメータは、nを30程度の正の整数とすると、イメージング・システム及び/又は撮像装置1の参照位置(P)において、三次元ファントムを連続した2枚の画像の間で回転及び/又は並進で移動させながら三次元ファントムのn枚の画像を撮影することによる所謂多数画像較正方法に従って決定される。
このように、参照位置でのイメージング・システム及び/又は撮像装置の内的パラメータを決定するために、n枚の画像を取得し、次いで、n枚の画像に対応するn個の投影行列を算出する。イメージング・システム及び/又は撮像装置1はn枚の放射線画像の取得中には固定されたままであることを考慮すると、内的パラメータは全ての画像について同一である。さらに、三次元ファントムはn枚の画像の取得中に移動させられるので、内的パラメータはn枚の画像の各々で異なっている。すると、固定された参照位置(P)に対応するn枚の画像によって算出される誤差の投影に基づく誤差関数を以下の式に従って最小化すると好都合である。
E=argmin(f(u,v,α,R,T,R,T,…,R,T))
式中、参照位置(P)でのイメージング・システム及び/又は撮像装置の内的パラメータを決定するために、u、v及びαはイメージング・システム及び/又は撮像装置1の3個の内的パラメータであり、R及びTは画像番号iについての外的パラメータである。
誤差関数は、次の形態で書くことができる。
Figure 0005016231
ここで、
Figure 0005016231
は、画像番号iにおいて観察される標識の二次元位置であり、次の関係式
Figure 0005016231
において、
Figure 0005016231
は、投影行列Mによって画像に投影される三次元位置であり、
Figure 0005016231
は、画像番号iについての投影行列である。
イメージング・システム及び/又は撮像装置1の参照位置(P)でのイメージング・システム及び/又は撮像装置の内的パラメータを決定した後に、参照位置(P)と線源3及び受像器2の任意の第二の位置(P)との間でのイメージング・システム及び/又は撮像装置1の内的パラメータの変化を、受像器2に固定されており受像器2と線源3との間に延在する二次元ファントムと呼ばれる平坦なファントム12の第二の位置(P)において二次元画像に基づいて決定する。ファントム12は、例えば図2に示すような文字又は数字の形態の標識のような放射線不透過性の要素を含んでいる。
ファントム12は、別の構成を有していてもよく、例えば米国特許第6,236,704号に記載されているファントムであってもよい。ファントム12は、放射線不透過性標識をそれぞれ担持した多様な平面を含んでいてもよく、これにより本発明の範囲から逸脱することはない。
参照位置(P)と線源3及び受像器2の任意の第二の位置(P)との間でのイメージング・システム1の内的パラメータの変化は、平面射影行列(planar homography)Hすなわち図3に模式的に示されているように平面Pを形成する参照位置(P)でのファントム12の放射線画像と第二の平面Pを形成する第二の位置(P)でのファントム12の放射線画像との間でファントム12によって形成される平面πに関する平面射影行列を算出することにより決定される。
標識は同じ平面πに延在しているため、平面射影行列Hを第一の放射線画像の平面と第二の放射線画像の平面との間に割り当てることができ、このことを次の形態で書くことができる。均一な座標で表現される平面πの全ての標識について、
∝HX
式中、∝は、乗算係数を含む同等関係を表わす。
"Multiple View Geometry" by Hartley, R and Zisserman, Cambridge University Press, 2000に記載されているように、参照位置にある線源3の位置によって定義される座標系を考慮すると、異なる2箇所の位置1及び位置2にある線源3から見た座標(n,d)での平面πの平面射影行列は、次の形態で書かれる。
H=I(R−t*n/d)I−1
式中、dは二次元ファントム12の平面と線源3との間の距離であり、I及び(R,T)はそれぞれ、位置1でのイメージング・システム及び/又は撮像装置の内的パラメータ及び外的パラメータであり、I及び(R,T)はそれぞれ、位置2でのイメージング・システム及び/又は撮像装置の内的パラメータ及び外的パラメータである。さらに、(R,t)は、線源位置1と線源位置2との間の線源3の移動を位置1にある線源3の座標系で表わしたものであり、ここから、R=R及びt=Tとなり、また、nは二次元ファントム12の平面に対する法線を位置1換言すると参照位置(P)にある線源3の座標系で表わしたものである。
座標系は参照位置(P)にある線源3の位置によって定義されるので、外的パラメータは位置1については(Id,0)であり、位置2については(R,T)である。
ファントム12によって形成される平面πは受像器2に堅固に固定されているので、R=Id及びtは内的パラメータの変化に比例する。
このように、上述の式を次の形態に書くことができる。
H=I(Id−t*n)I−1
式中、t=T=sp*[u−u;v−v;f−f=sp*[du;dv;df]であり、spはピクセルの大きさである。尚、この特定的な実例では、正方形のピクセルを想定していることを特記しておく。矩形ピクセルのような他の形状のピクセルを考えることもでき、追加の内的パラメータすなわち第二の焦点長を導入する必要があるが、本発明の範囲から逸脱しない。
本発明の方法の第一の代替的な実施形態では、平面の全ての座標を算出した後に、平面射影行列Hの内部パラメータすなわち二次元ファントム12の平面に対する法線及び画像平面と線源3との間の距離の変化を決定する。平面の全ての座標の算出は、本書でさらに詳細に説明する方法のような任意の適当な方法を用いてイメージング・システム及び/又は撮像装置1の内的パラメータを複数の位置について算出し、次いで、線源3と受像器2との間に配置された二次元ファントム12の放射線画像をイメージング・システム及び/又は撮像装置1の位置の各々において取得し、次いで、参照位置とイメージング・システム及び/又は撮像装置1の位置の各々との間で平面射影行列を算出し、最後に、イメージング・システム及び/又は撮像装置1の位置の各々の内的パラメータ、並びに参照位置とイメージング・システム及び/又は撮像装置1の位置の各々との間での平面射影行列に基づいて平面再構成を行なうことにより得られる。平面射影行列は、"Multiple View Geometry" by Hartley, R and Zisserman, Cambridge University Press, 2000に記載されているようにして算出することができ、平面再構成は、"A linear algorithm for camera self-calibration, motion and structure recovery for multi-planar scenes from two perspective images", G. Xu and J. Terai and H. Shum, Proceedings of IEEE Conference on computer vision and pattern recognition, Hilton Head Island, South Carolina (USA)に記載されているようにして行なうことができる。
本発明の方法の第二の代替的な実施形態では、二次元ファントムの平面に対する法線n及び距離dの近似を一方では画像の平面に関するファントム12の近似的な高さの関数とし、他方ではイメージング・システム及び/又は撮像装置の参照位置(P)での焦点距離の関数として、平面射影行列Hの内部パラメータの変化を決定する。ファントム12は画像の平面に平行に留まるので、平面πに対する法線nを次の形態で書くことができる。
≒[0,0,1]/(sp*f−d*)
式中、d*は、画像の平面すなわち受像器2に関するファントム12の高さの近似であってこの特定の実施形態では30cm程度であり、fは、位置1でのシステム及び/又は装置の焦点距離である。
この式を平面射影行列Hに関連する上述の式に導入することにより、次式を得る。
Figure 0005016231
式中、t=T=sp*[u−u;v−v;f−f=sp*[du;dv;df]であり、spはピクセルの大きさである。次いで、次の新たな積H*Iが得られる。
Figure 0005016231
すると、平面射影行列Hは次のようになる。
Figure 0005016231
又は
Figure 0005016231
予め算出されているHの行列の要素h33によってHを正規化し、du、dv及びdfを置き換えることにより、次の式が得られる。
Figure 0005016231
又は
Figure 0005016231
次式のようなaによって、b及びcが得られる。
Figure 0005016231
式中、f、u、vは画像番号iの内的パラメータである。パラメータa、b及びcは、イメージング・システム及び/又は撮像装置の位置1と位置2との間での内的パラメータの変化にのみ依存する。
次いで、"Multiple View Geometry" by Hartley, R and Zisserman, Cambridge University Press, 2000(既出)に記載されている従来の方法を用いることにより、画像1と画像2との間での平面射影行列Hを算出することができる。このようにして、平面射影行列Hは既知となり、Iすなわちイメージング・システム及び/又は撮像装置1の第二の位置での内的パラメータを、次式を用いることにより算出することが容易になる。
Figure 0005016231
そして、次の式が得られる。
Figure 0005016231
Figure 0005016231
Figure 0005016231
d*を較正するために、2枚の画像の外的パラメータ及び内的パラメータの抽出を安定化させるように所謂多数画像法を用いて、次式を解くことができる。
H=I(R−t*n/d)I−1
上述した以外の参照位置(P)でのイメージング・システム及び/又は撮像装置の第一の位置について内的パラメータを算出した後に、この方法は、イメージング・システム及び/又は撮像装置1の線源3及び受像器2のn箇所の位置の各々について繰り返される。
本発明の方法の第三の代替的な実施形態では、二次元ファントムの平面πと線源3とを離隔する距離dが、平面射影行列Hの内部パラメータの変化を決定する前に参照位置(P)において較正される。距離dは、受像器2と線源3との間の距離を連続した2枚の画像の間で修正しながらイメージング・システム及び/又は撮像装置1の参照位置(P)において二次元ファントム12の複数の画像を一段階で撮影することにより較正される。続いて、二次元ファントム12を取り除いた後に、上述のような所謂多数画像較正を実行するために線源3と受像器2との間に三次元ファントムを配置する。次いで、二次元ファントム12を線源3から離隔する距離dを、多数画像較正及び二次元ファントム12の画像に基づいて決定する。
平面射影行列Hはまた、行列H*Iの近似を行なわないで算出することもできる。すると、行列H*Iは、6個のパラメータすなわち3個の内的パラメータf、uo及びvo、イメージング・システム及び/又は撮像装置1の位置1での線源3の座標系として表わされる平坦なファントム12に対する法線の座標n[n,n,n、並びに受像器2と線源3とを離隔する距離dの関数となる。行列Hは、dが既知である場合には、これらの6個のパラメータについて非線形最適化方法を用いるか、又は平坦なファントム12に対する法線nの座標、並びにパラメータf、uo及びvoについて非線形最適化方法を用いるかのいずれかによって決定することができ、後者の場合には、平坦なファントム12に対する法線nは、パラメータf、uo、並びにvo及びdの最小化を行なうために既知となっているものと仮定することができる。
6個のパラメータf、uo及びvo、n=[nx,ny,nz]、並びにdについての非線形最適化方法は、これらのパラメータの誤差関数を最小化するステップを含んでおり、次の形態でのファントム12の2枚の画像の間の距離測定値に基づくものである。
E=argmin(f(uo,vo,fo,n,d))
式中、
Figure 0005016231
は画像1(im)と画像2(im)との間の距離測定値であり、
H=I(Id−t*n)I−1
であって、式中、t=T=[u−u;v−v;f−fであり、spはピクセルの既知の大きさである。このように、最適化方法を、上述のようにn及びdを近似する方法を用いることにより開始することができる。
平坦なファントム12についての非線形最適化方法は、イメージング・システム及び/又は撮像装置の第一の位置において線源3の座標系での平面πの座標を較正するステップと、パラメータf、uo及びvoを決定するステップとを含んでいる。このために、例えば、イメージング・システム及び/又は撮像装置の第一の位置での線源3の固定された位置に対応する少なくとも2枚の画像を用いて算出される誤差の投影に基づいた誤差関数を、次式に従って算出することができる。
E=argmin(f(u,v,α,R,T,R,T,…,R,T))
式中、u、v及びαは上述のような3個の内的パラメータであり、R及びTは、ファントム12の法線nを推定するための画像番号iについての外的パラメータであり、次いで、ここからH*Iを導くために、次式を解くことができる。
H=I(R−t*n/d)I−1
次いで、予め較正された座標によって法線n及び固定された距離dを表現することにより、上述の方法に従って平面射影行列HのパラメータIが決定される。
撮像装置1のn箇所の位置の各々について本発明の方法を実行することを回避するために、この方法は、受像器2及び線源3との間に3Dファントムと呼ばれる三次元ファントム、例えば米国特許第5,442,674号(既出)に記載されているような螺旋形状のファントムを載置するステップを含んでおり、次いで、イメージング・システム及び/又は撮像装置のn箇所の異なる位置で三次元ファントムのn枚の画像を撮影する。次いで、三次元ファントムを取り除いて、二次元ファントムと呼ばれる平坦なファントム12を、線源3に対向する受像器の上面に載置する。二次元ファントムのn枚の画像を、三次元ファントムのn枚の画像を撮影したときと同じイメージング・システム及び/又は撮像装置のn箇所の異なる位置で撮影する。次いで、線源(3)及び受像器(2)の位置の各々(P)について連続した2枚の画像の間での撮像装置(1)の内的パラメータの変化、並びにn箇所の位置(P)の各々についての三次元ファントムの放射線画像に基づいて、すなわち全体的には多数画像較正に基づいて、イメージング・システム及び/又は撮像装置の内的パラメータをn箇所の位置(P)の各々で算出する。
一方では、n箇所の位置(P)の各々でのファントム12の二次元画像に基づく参照位置(P)と線源3及び受像器2のn箇所の位置(P)の各々のとの間でのイメージング・システム及び/又は撮像装置の内的パラメータの変化、また他方では、参照位置(P)でのイメージング・システム及び/又は撮像装置の内的パラメータ、並びに参照位置(P)と線源3及び受像器2の位置の各々(P)との間でのイメージング・システム及び/又は撮像装置の内的パラメータの変化に基づくn箇所の位置(P)の各々でのイメージング・システム及び/又は撮像装置の内的パラメータの計算が、上述のような方法を用いることにより得られる。
n箇所の位置でのイメージング・システム及び/又は撮像装置1の内的パラメータを決定した後に、較正を制限することにより、n箇所の位置でのイメージング・システム及び/又は撮像装置1の外的パラメータを正確に算出することができる。明確に述べると、一旦、上述の方法の一つを用いることによりイメージング・システム及び/又は撮像装置1のn箇所の位置の各々についてイメージング・システム及び/又は撮像装置1の内的パラメータを決定したら、三次元ファントムを線源3と受像器2との間に再び載置して、次いで、イメージング・システム及び/又は撮像装置1のn箇所の位置の各々について三次元ファントムの放射線画像を取得する。次いで、三次元ファントムの取得された放射線画像内の情報及びn箇所の位置の各々でのイメージング・システムの内的特性に基づく較正を実行することにより、n箇所の位置の各々でのイメージング・システム及び/又は撮像装置1の外的パラメータが決定される。
参照位置(P)と線源3及び受像器2の任意の第二の位置(P)との間でのイメージング・システム及び/又は撮像装置1の内的パラメータの変化は、参照位置(P)での二次元ファントムの画像と第二の位置(P)での二次元ファントムの画像との間での平面射影行列Hを算出することにより決定される。
平面射影行列Hの内部パラメータの変化を決定するために、受信器の平面に対する法線及び線源3を二次元ファントムの平面から離隔する距離を確かめる必要がある場合がある。
第一の代替的な実施形態では、平面射影行列Hの内部パラメータすなわち二次元ファントムの平面に対する法線及び二次元ファントムの平面と線源との間の距離の変化が、平面の全ての座標を算出した後に決定される。平面の全ての座標のこの計算は以下のステップを用いることができる。すなわち、複数の位置についてのX線イメージング・システム及び/又は撮像装置の内的パラメータの決定のステップ、線源と受像器との間に配置されている二次元ファントムの放射線画像のイメージング・システム及び/又は撮像装置の位置の各々での取得のステップ、参照位置とイメージング・システム及び/又は撮像装置の位置の各々との間での平面射影行列の計算のステップ、並びにイメージング・システム及び/又は撮像装置の位置の各々での内的パラメータ、並びに参照位置とイメージング・システム及び/又は撮像装置の位置の各々との間での平面射影行列に基づく平面再構成のステップである。
第二の代替的な実施形態では、平面射影行列Hの内部パラメータの変化は、受像器の平面に対する法線の近似を一方では画像の平面に関する二次元ファントムの近似的な高さの関数とし、他方ではイメージング・システム及び/又は撮像装置の参照位置での焦点距離の関数として決定される。
第三の代替的な実施形態では、二次元ファントムの平面と線源との間の距離dが、平面射影行列Hの内部パラメータの変化を決定する前に参照位置において較正される。この距離dの較正には以下のステップを用いることができる。すなわち、イメージング・システム及び/又は撮像装置の参照位置において二次元ファントムの複数の画像を取得するステップ、連続した2枚の画像の間で受像器と線源との間の距離を修正するステップ、二次元ファントムを取り除いた後に、線源と受像器との間に三次元ファントムを載置し、連続した2枚の画像の間で回転及び/又は並進で三次元ファントムを移動させながらイメージング・システム及び/又は撮像装置の参照位置において三次元ファントムの複数の画像を取得するステップ、三次元ファントムの画像に基づく較正を実行することにより、参照位置においてイメージング・システム及び/又は撮像装置の内的パラメータ及び選択随意で外的パラメータを算出するステップ、二次元ファントムの画像及び三次元ファントムの画像の関数としての較正に基づいて二次元ファントムと線源とを離隔する距離dを決定するステップである。
また、以下のステップを用いて、参照位置又は任意の位置での撮像装置の内的パラメータを決定することができる。すなわち、三次元ファントムを線源と受像器との間に載置するステップ、連続した2枚の画像の間で回転及び/又は並進で三次元ファントムを移動させながら、イメージング・システム及び/又は撮像装置の参照位置において三次元ファントムの複数の画像を取得するステップ、三次元ファントムの画像に基づく較正を実行することにより、参照位置又は任意の位置でのイメージング・システム及び/又は撮像装置の内的パラメータを算出するステップである。
第四の代替的な実施形態では、イメージング・システム及び/又は撮像装置の幾何学的パラメータを較正するのに掛かる時間を制限するために、本発明の方法は、少なくとも以下のステップを含み得る。すなわち、イメージング・システム及び/又は撮像装置のn箇所の異なる位置において三次元ファントムのn枚の画像を撮影するステップ、三次元ファントムを取り除いて、受像器と線源との間に二次元ファントムと呼ばれる平坦なファントムを載置するステップ、三次元ファントムのn枚の画像を撮影したときと同じイメージング・システム及び/又は撮像装置のn箇所の異なる位置において二次元ファントムのn枚の画像を撮影するステップ、線源及び受像器の連続した2箇所の位置の間でのイメージング・システム及び/又は撮像装置の内的パラメータの変化を、n箇所の位置の各々での二次元ファントムの二次元画像に基づいて決定するステップ、n箇所の位置の各々でのイメージング・システム及び/又は撮像装置の内的パラメータを、線源及び受像器の位置の各々について連続した2箇所の位置の間でのイメージング・システム及び/又は撮像装置の内的パラメータの変化、並びにイメージング・システム及び/又は撮像装置のn箇所の位置の各々での三次元ファントムの放射線画像に基づいて算出するステップである。
一旦、イメージング・システム及び/又は撮像装置の内的パラメータがイメージング・システム及び/又は撮像装置のn箇所の位置の各々について決定されたら、三次元ファントムを線源と受像器との間に再び載置して、イメージング・システム及び/又は撮像装置のn箇所の位置の各々について三次元ファントムの放射線画像を取得し、n箇所の位置の各々でのイメージング・システム及び/又は撮像装置の外的パラメータを、放射線画像内の情報及びn箇所の位置の各々でのイメージング・システム及び/又は撮像装置の内的特性に基づく較正を実行することにより決定する。
この特定の実施形態の一例では限定された数の内的パラメータを定義しており、内的パラメータの数は3個に制限されていた。しかしながら、正方形ピクセルでなく矩形ピクセルを想定する場合の第二の焦点距離、及び画像平面の軸に関する角度等のように、さらに多数の内的パラメータを定義することもでき、これにより本発明の範囲を逸脱することはない。
加えて、実施形態の例を参照して本発明の実施形態を説明したが、本発明の範囲から逸脱せずに、機能及び/又は方法及び/又は結果について様々な変形を施すことができ、また本発明の諸要素又は諸特徴に代えて均等構成を置換し得ることが当業者には理解されよう。加えて、本発明の本質的な範囲から逸脱せずに本発明の教示に合わせて特定の状況又は材料を適応構成するための多くの改変を施すことができる。従って、本発明は、本発明を実施するのに想到される最良の態様として開示された特定の実施形態に限定されず、特許請求の範囲に含まれる全実施形態を包含するものとする。さらに、第一、第二等、又はステップ等の用語を用いたが、如何なる序列や重要性も表わすのではなく、一つの要素若しくは特徴を他の要素若しくは特徴と識別するために用いられている。さらに、単数不定冠詞を用いたが、量の制限を表わすものではなく、参照されている要素又は特徴が少なくとも1個は存在していることを示す。
撮像装置及び/又はイメージング・システムの模式的な遠近図である。 放射線不透過性標識を含んでおり、イメージング・システム及び/又は撮像装置の画像を受け取る手段に載置される二次元ファントムの放射線画像の図である。 固定された参照フレームを構成する標識の平面によって導かれる平面射影行列による画像を受け取る手段上の標識の投影及び放射線源を提供する手段の移動の模式的な遠近図である。
符号の説明
1 イメージング・システム及び/又は撮像装置
2 画像を受け取る手段
3 放射線の線源を提供する手段
4 C字形又はU字形アーム
5、5′及び5″ 軸
6a キャリッジ
6b 中間アーム
6c L字形アーム
7 コリメータ
8 動作手段
9 取得手段
10 視覚化手段
11 制御手段
12 二次元ファントム

Claims (10)

  1. イメージング・システム及び/又は撮像装置の全ての位置での内的幾何学的パラメータ及び選択随意で外的幾何学的パラメータを決定する方法であって、前記イメージング・システム及び/又は撮像装置は、画像を受け取る手段(2)に対向配置されている放射線源を提供する手段(3)であって、該放射線源を提供する手段(3)及び前記画像を受け取る手段(2)は少なくとも1本の軸(5、5′、5″)の周りを回転するように駆動される、放射線源を提供する手段(3)と、動作手段(8)と、取得手段(9)と、画像を視覚化する手段(10)と、制御手段(11)とを含んでおり、当該方法は、
    参照位置(Pr)と呼ばれる前記線源(3)及び前記受像器(2)の所与の回転位置での前記イメージング・システム及び/又は撮像装置の内的パラメータを決定するステップと、
    第二の位置(Pn)にある前記線源(3)及び前記受像器(2)との間に配置されている二次元(2D)ファント(12)の二次元画像に基づいて、前記参照位置(Pr)と前記線源(3)及び前記受像器(2)の任意の第二の位置(Pn)との間での前記イメージング・システム及び/又は撮像装置の内的パラメータの変化を決定するステップと、
    前記参照位置(Pr)での前記イメージング・システム及び/又は撮像装置の前記内的パラメータ、並びに前記参照位置(Pr)と前記線源(3)及び前記受像器(2)の前記第二の位置(Pn)との間での前記撮像装置の前記内的パラメータの変化に基づいて、前記第二の位置(Pn)での前記イメージング・システム及び/又は撮像装置の内的パラメータを決定するステップと、
    前記イメージング・システム及び/又は撮像装置の前記線源(3)及び前記受像器(2)のn箇所の位置の各々について最後の二つの決定を繰り返すステップと、
    を備えた方法。
  2. 前記参照位置(Pr)での前記二次元ファントム(12)の前記画像と前記第二の位置(Pn)での前記ファントム(12)の前記画像との間での平面射影行列Hを算出することにより、前記参照位置(Pr)と前記線源(3)及び前記受像器(2)の前記任意の第二の位置(Pn)との間での前記イメージング・システム及び/又は撮像装置の内的パラメータを決定するステップを含んでいる請求項1に記載の方法。
  3. 前記平面の全座標を算出した後に、前記平面射影行列Hの内部パラメータすなわち前記二次元ファントム(12)の平面に対する法線及び前記二次元ファントム(12)の前記平面と前記線源(3)との間の距離を決定するステップを含んでいる請求項2に記載の方法。
  4. 複数の位置について前記撮像装置(1)の内的パラメータを決定するステップと、
    前記イメージング・システム及び/又は撮像装置(1)の前記位置の各々において前記線源(3)と前記受像器(2)との間に配置されている前記二次元ファントム(12)の放射線画像の取得のステップと、
    参照位置と前記イメージング・システム及び/又は撮像装置の前記位置の各々との間での平面射影行列の計算のステップと、
    前記イメージング・システム及び/又は撮像装置(1)の前記位置の各々についての前記内的パラメータ、並びに前記参照位置と前記イメージング・システム及び/又は撮像装置(1)の前記位置の各々との間での前記平面射影行列に基づく平面再構成のステップと、
    により前記平面の全座標を算出するステップを含んでいる請求項3に記載の方法。
  5. 前記受像器(2)の前記平面に対する前記法線の近似を一方では前記画像の前記平面に関する前記二次元ファントム(12)の近似的な高さの関数とし、他方では参照位置(Pr)での前記イメージング・システム及び/又は撮像装置の焦点距離の関数として、前記平面射影行列Hの前記内部パラメータの変化を決定するステップを含んでいる請求項2に記載の方法。
  6. 前記平面射影行列Hの前記内部パラメータの変化を決定する前に、前記参照位置(Pr)での前記二次元ファントム(12)の前記平面と前記線源(3)との間の距離dを較正するステップを含んでいる請求項2に記載の方法。
  7. 前記受像器(2)と前記線源(3)との間の距離を連続した2枚の画像の間で修正しながら、前記イメージング・システム及び/又は撮像装置(1)の前記参照位置(Pr)において前記二次元ファントム(12)の複数の画像を取得するステップと、
    前記二次元ファントムを除去した後に、前記線源(3)と前記受像器(2)との間に三次元ファントムを配置するステップと、
    前記イメージング・システム及び/又は撮像装置の前記参照位置(Pr)において前記三次元ファントムの複数の画像を取得するステップと、
    連続した2枚の画像の間で回転及び/又は並進で前記三次元ファントムを移動させるステップと、
    前記三次元ファントムの前記画像に基づく較正を実行することにより、前記参照位置(Pr)での前記イメージング・システム及び/又は撮像装置(1)の内的パラメータ及び選択随意で外的パラメータを算出するステップと、
    前記二次元ファントム(12)の前記画像及び前記三次元ファントムの前記画像の関数としての前記較正に基づいて、前記二次元ファントム(12)と前記線源(3)とを離隔する距離dを決定するステップと、
    により距離dを較正するステップを含んでいる請求項6に記載の方法。
  8. 前記線源(3)と前記受像器(2)との間に三次元ファントムを載置するステップと、
    前記イメージング・システム及び/又は撮像装置の前記参照位置(Pr)での前記三次元ファントムの複数の画像を取得するステップと、
    連続した2枚の画像の間で回転及び/又は並進で前記三次元ファントムを移動させるステップと、
    前記三次元ファントムの前記画像に基づく較正を実行することにより、前記参照位置(Pr)又は任意の位置での前記イメージング・システム及び/又は撮像装置(1)の内的パラメータを算出するステップと、
    により、前記参照位置(Pr)又は任意の位置での前記イメージング・システム及び/又は撮像装置の内的パラメータを決定するステップを含んでいる請求項1〜請求項7のいずれか一項に記載の方法。
  9. イメージング・システム及び/又は撮像装置の全ての位置について内的幾何学的パラメータ及び選択随意で外的幾何学的パラメータを決定する方法であって、前記イメージング・システム及び/又は撮像装置は、画像を受け取る手段(2)に対向配置されている放射線源を提供する手段(3)であって、該放射線源を提供する手段(3)及び前記画像を受け取る手段(2)は少なくとも1本の軸(5、5′、5″)の周りを回転するように駆動される、放射線源を提供する手段(3)と、動作手段(8)と、取得手段(9)と、画像を視覚化する手段(10)と、制御手段(11)とを含んでおり、前記方法は、
    前記受像器と前記線源との間に3Dファントムと呼ばれる三次元ファントムを載置するステップと、
    前記イメージング・システム及び/又は撮像装置のn箇所の異なる位置において前記三次元ファントムのn枚の画像を撮影するステップと、
    前記三次元ファントムを取り除くステップと、
    前記受像器(2)と前記線源(3)との間に2D(二次元)ァントム(12)を載置するステップと、
    前記三次元ファントムの前記n枚の画像が撮影されたときと同じ前記イメージング・システム及び/又は撮像装置のn箇所の異なる位置において前記二次元ファントム(12)のn枚の画像を撮影するステップと、
    前記n箇所の位置の各々での前記二次元ファントム(12)の二次元画像に基づいて、前記線源(3)及び前記受像器(2)の連続した2箇所の位置の間での前記イメージング・システム及び/又は撮像装置(2)の内的パラメータの変化を決定するステップと、
    前記線源(3)及び前記受像器(2)の前記位置(Pn)の各々についての連続した2箇所の位置の間での前記イメージング・システム及び/又は撮像装置(1)の前記内的パラメータの変化、並びに前記イメージング・システム及び/又は撮像装置(1)の前記n箇所の位置(Pn)の各々での前記三次元ファントムの前記放射線画像に基づいて、前記n箇所の位置(Pn)の各々での前記イメージング・システム及び/又は撮像装置の内的パラメータを算出するステップと、
    を備えた方法。
  10. 一旦、前記イメージング・システム及び/又は撮像装置(1)の前記内的パラメータが前記イメージング・システム及び/又は撮像装置(1)の前記n箇所の位置の各々について決定されたら、
    前記線源(3)と前記受像器(2)との間に前記三次元ファントムを再び載置するステップと、
    前記イメージング・システム及び/又は撮像装置(1)の前記n箇所の位置の各々について前記三次元ファントムの放射線画像を取得するステップと、
    前記三次元ファントムの前記取得された放射線画像内の情報、並びにn箇所の位置の各々での前記イメージング・システム及び/又は撮像装置の前記内的特性に基づく較正を実行することにより、n箇所の位置の各々での前記イメージング・システム及び/又は撮像装置(1)の外的パラメータを決定するステップと、
    を含んでいる請求項1〜請求項9のいずれか一項に記載の方法。
JP2006039188A 2005-02-16 2006-02-16 撮像の幾何学的パラメータを決定する方法及び装置 Expired - Fee Related JP5016231B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0501588 2005-02-16
FR0501588A FR2881941B1 (fr) 2005-02-16 2005-02-16 Procede de determination des parametres geometriques d'un dispositif d'imagerie par rayon x

Publications (3)

Publication Number Publication Date
JP2006223868A JP2006223868A (ja) 2006-08-31
JP2006223868A5 JP2006223868A5 (ja) 2009-04-02
JP5016231B2 true JP5016231B2 (ja) 2012-09-05

Family

ID=35033724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006039188A Expired - Fee Related JP5016231B2 (ja) 2005-02-16 2006-02-16 撮像の幾何学的パラメータを決定する方法及び装置

Country Status (3)

Country Link
JP (1) JP5016231B2 (ja)
DE (1) DE102006007255A1 (ja)
FR (1) FR2881941B1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5609112B2 (ja) * 2006-09-25 2014-10-22 メイザー ロボティックス リミテッド 三次元画像データの作成方法
DE102007042333A1 (de) * 2007-09-06 2009-03-12 Siemens Ag Verfahren zum Ermitteln einer Abbildungsvorschrift und Verfahren zum Erzeugen einer 3D-Rekonstruktion
DE102009032060B4 (de) * 2009-07-07 2016-12-01 Siemens Healthcare Gmbh Verfahren und Einrichtung zum Ermitteln der räumlichen Position und/oder Orientierung eines Objektes bei der Durchführung einer bildunterstützten medizinischen Maßnahme
DE102011076338A1 (de) 2011-05-24 2012-11-29 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Kalibrierung eines Röntgensystems mit einem verfahrbaren Bildaufnahmesystem
JP6131606B2 (ja) * 2013-01-21 2017-05-24 株式会社島津製作所 放射線撮影装置およびそれにおける画像処理方法
WO2019049234A1 (ja) * 2017-09-06 2019-03-14 株式会社島津製作所 平面検出器の歪み量算出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2700909B1 (fr) 1993-01-27 1995-03-17 Gen Electric Cgr Dispositif et procédé automatique de calibration géométrique d'un système d'imagerie par rayons X.
US6379041B1 (en) * 1998-11-02 2002-04-30 Siemens Aktiengesellschaft X-ray apparatus for producing a 3D image from a set of 2D projections
US6236704B1 (en) 1999-06-30 2001-05-22 Siemens Corporate Research, Inc. Method and apparatus using a virtual detector for three-dimensional reconstruction from x-ray images
FR2822273B1 (fr) * 2001-03-13 2003-07-11 Ge Med Sys Global Tech Co Llc Procede d'etalonnage pour la reconstruction de modelisations tri-dimensionnelles a partir d'images obtenues par tomographie
FR2823968B1 (fr) * 2001-04-27 2005-01-14 Ge Med Sys Global Tech Co Llc Procede d'etalonnage d'un systeme d'imagerie, support de memoire et dispositif associe
FR2848806B1 (fr) * 2002-12-18 2005-11-04 Ge Med Sys Global Tech Co Llc Procede de calibrage d'un appareil d'imagerie radiologique necessitant un nombre limite d'acquisitions
JP4415762B2 (ja) * 2003-06-10 2010-02-17 株式会社島津製作所 断層撮影装置

Also Published As

Publication number Publication date
FR2881941A1 (fr) 2006-08-18
JP2006223868A (ja) 2006-08-31
DE102006007255A1 (de) 2006-08-17
FR2881941B1 (fr) 2007-04-13

Similar Documents

Publication Publication Date Title
JP4832917B2 (ja) イメージャ内での被検体の動きを決定するための方法及び装置
US10492755B2 (en) Calibration phantom comprising a reflectance calibration target and a plurality of radio-opaque markers
EP3253293B1 (en) Methods and systems for removing artifacts from a tomosynthesis dataset
US7508388B2 (en) Method for extending the display of a 2D image of an object region
JP5209979B2 (ja) 無較正の幾何学的構成における三次元撮像の方法及びシステム
WO2013005833A1 (ja) X線撮影装置およびそのキャリブレーション方法
US20100172472A1 (en) Collecting images for image stitching with rotating a radiation detector
US20110188726A1 (en) Method and system for stitching multiple images into a panoramic image
JP6822781B2 (ja) 医用画像診断装置
JP2009022754A (ja) 放射線画像の位置揃えを補正する方法
JP4537129B2 (ja) トモシンセシス用途における対象物を走査するためのシステム
JP5019879B2 (ja) X線ct装置、画像処理プログラム、及び画像処理方法
US10695145B2 (en) Tomographic scan
US20150085981A1 (en) Method of image registration in a multi-source/single detector radiographic imaging system, and image acquisition apparatus
JP5016231B2 (ja) 撮像の幾何学的パラメータを決定する方法及び装置
US20210177371A1 (en) Low dose digital tomosynthesis system and method using artificial intelligence
JP2005058309A (ja) コーンビームx線ct装置及びそれに用いるファントム
WO2019073681A1 (ja) 放射線撮像装置、画像処理方法及び画像処理プログラム
JP2012527289A (ja) コンピュータ断層撮影における低線量インターベンションガイダンスのためのデータ収集及び可視化モード
US20110075798A1 (en) Method for correcting truncated projection data
JP5702240B2 (ja) X線撮影装置およびそのキャリブレーション方法
KR101768520B1 (ko) 흉부의 디지털 x선 일반촬영 및 디지털 단층영상합성의 영상을 통합적 및 연속적으로 획득하기 위한 디지털 x선 촬영 시스템의 제어방법
JP2021508549A (ja) X線撮像システムを較正するための方法及びシステム
JP3166194B2 (ja) X線断層撮影装置
JP4653461B2 (ja) ディジタルx線断層撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090227

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101228

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110809

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150615

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5016231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees