JP3895323B2 - 多視角x線立体結像の方法及びシステム - Google Patents

多視角x線立体結像の方法及びシステム Download PDF

Info

Publication number
JP3895323B2
JP3895323B2 JP2003432314A JP2003432314A JP3895323B2 JP 3895323 B2 JP3895323 B2 JP 3895323B2 JP 2003432314 A JP2003432314 A JP 2003432314A JP 2003432314 A JP2003432314 A JP 2003432314A JP 3895323 B2 JP3895323 B2 JP 3895323B2
Authority
JP
Japan
Prior art keywords
image
ray
stereoscopic
angle
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003432314A
Other languages
English (en)
Other versions
JP2004333473A (ja
Inventor
永順 肖
志強 陳
麗 張
Original Assignee
ツィンファ ユニバーシティ
清華同方威視技術股▲分▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ツィンファ ユニバーシティ, 清華同方威視技術股▲分▼有限公司 filed Critical ツィンファ ユニバーシティ
Publication of JP2004333473A publication Critical patent/JP2004333473A/ja
Application granted granted Critical
Publication of JP3895323B2 publication Critical patent/JP3895323B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03CPHOTOSENSITIVE MATERIALS FOR PHOTOGRAPHIC PURPOSES; PHOTOGRAPHIC PROCESSES, e.g. CINE, X-RAY, COLOUR, STEREO-PHOTOGRAPHIC PROCESSES; AUXILIARY PROCESSES IN PHOTOGRAPHY
    • G03C9/00Stereo-photographic or similar processes
    • GPHYSICS
    • G21NUCLEAR PHYSICS; NUCLEAR ENGINEERING
    • G21KTECHNIQUES FOR HANDLING PARTICLES OR IONISING RADIATION NOT OTHERWISE PROVIDED FOR; IRRADIATION DEVICES; GAMMA RAY OR X-RAY MICROSCOPES
    • G21K4/00Conversion screens for the conversion of the spatial distribution of X-rays or particle radiation into visible images, e.g. fluoroscopic screens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/022Stereoscopic imaging
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03CPHOTOSENSITIVE MATERIALS FOR PHOTOGRAPHIC PURPOSES; PHOTOGRAPHIC PROCESSES, e.g. CINE, X-RAY, COLOUR, STEREO-PHOTOGRAPHIC PROCESSES; AUXILIARY PROCESSES IN PHOTOGRAPHY
    • G03C5/00Photographic processes or agents therefor; Regeneration of such processing agents
    • G03C5/16X-ray, infrared, or ultraviolet ray processes
    • G03C2005/168X-ray material or process
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03CPHOTOSENSITIVE MATERIALS FOR PHOTOGRAPHIC PURPOSES; PHOTOGRAPHIC PROCESSES, e.g. CINE, X-RAY, COLOUR, STEREO-PHOTOGRAPHIC PROCESSES; AUXILIARY PROCESSES IN PHOTOGRAPHY
    • G03C5/00Photographic processes or agents therefor; Regeneration of such processing agents
    • G03C5/16X-ray, infrared, or ultraviolet ray processes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measurement Of Radiation (AREA)
  • Nuclear Medicine (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Description

本発明は、輻射結像デジタル画像処理に関し、特に多視X線立体結像の方法及びシステムに関する。
従来の技術
X線結像技術は工業的な非破壊試験や医学診断、科学研究の分野に広く応用されている。三次元または立体表示技術は、X線結像における空間位置情報を増強し、検査員に欠陥または異物の空間的な相互関係をより良く理解させるために用いられる。コンピュータ断層撮影は、一連の異なる角度の走査画像を得て、断層再構成アルゴリズムを用いて物体の断層画像を算出し、三次元可視化方法によって三次元画像を作成する。コンピュータの断層結像技術より、精確な三次元空間情報が得られるが、再構成計算と三次元作成の計算量は膨大で、計算時間もかなり掛かるので、実用上の要求に応えることが難しく、システム全体の価格も非常に高くなる問題が存在する。
立体X線結像は、20世紀のめに提案されてから、ほとんどの立体X線結像システムは視差の原理を利用して設計されたものである。その原理は以下の通りである。様々な方法で左右両眼に対応する二枚のX線の画像を取得する。各種の表示方式より左眼は左眼に対応する画像だけを見、右眼は右眼に対応する画像だけを見るようにして、最終的に人の脳で立体的画像を合成する。立体画像は、画像の空間位置情報を増強し、被検体の空間構造関係の観察効果を向上させることができる。立体X線画像を得るために最も良く使用される方法は、二回の露出の間にX線源を少しらすか、或いは、結像スクリーンを少しらす方法である。別の方法としては、X線源と結像スクリーンを小さな角度だけ回転させ、或いは、物体を小角度回転させることによって、二枚の異なる角度の画像を取得して、立体画像対とすることである。画像を得る方法が異なっているが、双方とも次のような欠点がある。すなわち、角度変えて撮影した立体画像しか提供できず、視点位置、視線方向、視差が固定されているので、人の眼による物体観察に対する視差の要求には必ずしも適合するとは限らない。他の角度の立体画像を得るには、位置を変えて改めて撮影するしかない。
本発明は、従来の技術についての問題と不足を解決するもので、多視角X線立体結像方法及びシステムを提供することを目的とする。また、本発明は、視点位置と視線方向とを指定し、視差効果を調節することができる多視角X線立体結像表示を提供して、検査員にインタラクティブな立体X線画像の検査を行わせることができ、被検査物体の空間構造をより良く理解することができるようにすることである。
前記の目的を達成するため、本発明の多視X線立体結像方法は、
1)測定或いは較正の方式によって結像システムパラメータを取得するステップと、
2)デジタル結像装置またはその中に置いた物体のいずれか一方を回転させて、前記デジタル結像装置と前記物体が相対的に円周または螺旋状の移動を行わせ、各θ度ごとに一枚の投影画像(Gk(θ)、θは任意数)をサンプリングする投影画像サンプリングステップと、
3)全ての画像画素に対して結像システムパラメータに従って2レベルに分類した索引を作成する画像索引形成ステップと、
4)ユーザがインタラクティブなインタフェースを通じて観察の必要に応じて、異なる角度から観察する効果のある立体画像対を取得することができるように立体画像対の視点パラメータを設定する視点パラメータ設定ステップと、
5)前記視点パラメータより現在の立体画像対を確定し、画像上における各画素に対応する視線パラメータを計算する視線パラメータ計算ステップと、
6)ステップ5において算出された前記視線パラメータによって、ステップ3に形成された画像索引表から前記視線パラメータに近い放射ビームを探し出す画像索引検索ステップと、
7)コンピュータの演算性能およびユーザから画像精度に対する要求に応じて、各種フィルタ補間方式を採用して、近隣放射ビームに対して補間合成の計算を行い、視線(L’ij)に対応する画像画素(p'(i,j))を合成し、ステップ3から5までを繰り返して、立体画像対上における全ての画素点について算出する画素合成ステップと、
8)ユーザの需要に応じてインタラクティブなインタフェースを通じて画像に対して増強処理を行う画像処理ステップと、
9)立体表示装置によって立体画像対の表示を行い、ユーザが左眼で左眼視角に対応する画像を見、右眼で右眼視角に対応する画像を見ることによって、立体画像を形成する立体表示ステップとを備える。
また、本発明の多視角X線立体結像システムは、
X線源(1)と平板X線検知器(3)からなるX線デジタル結像装置と、
多自由度回転可能載置台(2)と、
走査制御及びデータ獲得手段(4)と、
多自由度制御手段(5)と、
立体表示図形カード(7)と、
画像解析処理手段(6)と、
ディスプレー8と、
立体メガネ9とを備える多視角X線立体結像システムであって、
前記X線デジタル結像装置は円周軌跡或いは螺旋軌跡に沿って走査することを実現でき、前記走査制御及びデータ獲得手段は測定或いは較正の方式によって結像システムパラメータを取得し、デジタル結像装置またはその中に置いた物体のいずれか一方を回転させて、前記デジタル結像装置と前記物体を相対的に円周または螺旋状の移動を行わせ、各θ度ごとに一枚の投影画像(Gk(θ)、θが任意数値)をサンプリングし、前記画像解析処理手段は、サンプリングされた画像画素データを需要に応じてデータの圧縮を行ってコンピュータの内部メモリに記憶し、全ての画像画素が結像システムパラメータによって2レベルに分類した索引を作成する画像索引形成と、観察の必要に応じてユーザがインタラクティブなインタフェースを通じて、異なる角度から観察する効果のある立体画像対を取得することができるように立体画像対の視点パラメータを設定する視点パラメータ設定と、視点パラメータより現在の立体画像対を確定し、画像上における各画素に対応する視線パラメータを計算する視線パラメータ計算と、前記ステップにおいて前記算出された視線パラメータによって、前記画像索引表から前記視線パラメータに近い放射ビームを探し出す画像索引検索と、コンピュータの演算性能およびユーザから画像精度に対する要求に応じて、各種フィルタ補間方式を採用して、近隣放射ビームに対して補間合成の計算を行い、視線(L’ij)に対応する画像画素(p'(i,j))を合成し、立体画像対上における全ての画素点について計算を行う画素合成と、ユーザの要求に応じてインタラクティブなインタフェースを通じて画像に対して増強処理を行う画像処理と、立体表示装置によって立体画像対の表示を行い、ユーザが左眼で左眼視角に対応する画像を見させ、右眼で右眼視角に対応する画像を見させることによって、立体画像を形成する立体表示とを行うものである。
次に図面を参照して本発明の具体的方法と実施形態について詳しく説明する。
本発明の多視角X線立体結像方法は、まず、X線結像システムパラメータとデータ収集パラメータに基づいて円周軌跡及び螺旋軌跡に沿って収集された一連の投影画像データの画素列に対して、角度と距離の索引を確立し、その両索引を素早く検索することができるように順序を付けて記憶し、選択された観察視点や視線方向、視差効果によって、合成すべき立体画像対における画素の角度と距離のパラメータを計算し、記憶されている両索引とその対応する画像データを取り出して画像の合成を行う。本発明における多視角X線立体画像システムは、円周軌跡または螺旋軌跡の走査を実現させることができるX線デジタル結像装置と、コンピュータ装置と、立体デススプレイ装置などを備える。X線デジタル結像装置からX線画像をコンピュータ装置に入力させ、このコンピュータ装置が本発明の多視角立体結像方法によって立体画像を合成し、立体表示装置によって立体画像を表示する。周知のコンピュータ装置は、走査制御及びデータ取得手段と、像解析処理手段とを含む。
図1はX線デジタル結像装置の結像概念を示す図である。X線源は、図のSのところに位置し、錐形の放射ビームを発生する。通常放射線源は、異なる特定の用途により、X線源、加速器、同位元素源などのいずれかである。デジタル化X線面アレー検知器は、被検体を透過するX線をシンチレ−ション結晶体の変換スクリーン或いは蛍光スクリーンによって光信号に変換させ、さらに光電変換とA/D(アナログ/デジタル)変換によってコンピュータが処理できるデジタル画像データを得ることができる。通常のデジタル化X線面アレー検知器は、面アレーCCD検知器、デジタル平板検知器等がある。
被検体はX線源と面アレー検知器の中間、すなわち、本発明におけるX線デジタル結像装置の中に置かれる。X線源と面アレー検知器との距離をLとし、X線源と物体回転中心Oとの距離をDとし、面アレー検知器における画素間の距離をd0(このパラメータは通常面アレー検知器の工場が提供する)とする。結像装置の調整と較正において、X線源を調整して面アレー検知器に直角な放射が被検体の回転軸を通過するようにし、この放射の面アレー検知器上における位置を画素位置P0(i0,j0)とする。P0(i0,j0)を較正する方法は、設備の具体的パラメータによって異なり、普通、較正物の多数枚の画像の幾何学的関係によって計算して完成する。これは、かかる専門技術文献を参考することがてきる。結像データの走査取得過程において、X線源と面アレー検知器の距離L、X線源と物体回転中心距離D、面アレー検知器における画素間の距離d0、垂直射線の面アレー上において対応する画素位置P0 (i0,j0)は変わることなく維持される。
前記の走査制御及びデータ獲得手段の作動プロセスは:1)測定或いは較正方法によって結像システムのパラメータを取得し、2)デジタル結像装置或いはその中に置いてある物体のいずれか一方を回転させて、X線源と結像スクリーンが相対的に円周または螺旋状の移動を行い、一定の角度の間隔で一連の投影画像データを取得する。
前記の画像解析処理手段の作動プロセスは:1)画像をサンプリングする画像索引を作成し、2レベルに分類した索引を計算し、2)視点パラメータを設定し、3)視線パラメータを計算し、4)画像索引表を探し、5)画素補間を合成し、6)画像を処理し、7)立体で表示するなどである。
本発明で述べられる多視角X線立体結像方法に関する、画像データ取得サンプリング計算と立体画像合成再サンプリング計算に用いられる幾何学的関係と関係するパラメータは、図2に示される。本発明によって合成された多X線立体結像における再サンプリング視点軌跡は、X線源のある回転軸に直交している回転平面内に位置されるので、図2に記述されたのは、サンプリング画像と再サンプリングにおいて計算するべき回転平面内に垂直に投影している放射ビームの幾何学的関係である。図には各角度が全て回転平面内における平面角度である。
本発明の多視角X線立体結像方法は、まず、走査制御及びデータ取得手段により取得した投影画像画素シーケンスに対して画像画素索引を作成して、2レベルに分類した索引を計算する。図2において、物体或いは結像獲得装置が回転し、相対回転角度θ位置で第k番目の投影画像をサンプリングする場合、X線源の位置している所をサンプリング視点Pkと定義し、投影画像の画素P0(i0,j0)の対応する放射ビームは、サンプリング中心線であり、このサンプリング中心線は物体の回転中心を通って面アレー検知器に直角である。回転平面内に位置する基準座標軸からサンプリング中心線までの平面角を回転角度θと定義する。図に示されたサンプリング円周の半径は、X線源から物体回転中心までの距離Dである。
回転角度θでサンプリングした第k番目の投影画像Gk(θ)において、画素P(i,j)に対応するX線ビームをLijとする。投影画像Gk(θ)に関する画像画素索引を作成し、すなわち、画像における画素P(i,j)毎に対応するX放射ビームLijと基準座標軸との間の平面角αi、及び射線Lijから物体回転中心までの水平距離diなどを計算する。図2のようになる。
αiとdiを計算するため、まず放射ビームLijとサンプリング中心射線の回転平面内における平面角βiを計算する。サンプリング中心線は、面アレー検知器平面に直交しているので、サンプリング中心線、放射ビームLijは、回転平面内における投影線と面アレー検知器の二つの交点及びサンプリング視点Pkで一つの平面直角三角形の三つ頂点を構成した。直角三角形の辺角の幾何学的関係によって平面角βiが面する直角辺の辺長は、(i−i0)×d0であり、別の直角辺の辺長はX線源と面アレー検知器間の距離Lであるので次の式になる。
Figure 0003895323
ただしi0は、投影画像における回転中心軸に対応する画素列の一連番号であり、d0は面アレー検知器の画素間の距離であり、LはX線と面アレー検知器間の距離である。βiの符号の正負は放射ビームLijがサンプリング中心線における左側と右側を示す。本実施形態において、βi<0の時、Lijはサンプリング中心線の左側にあり、βi>0 の場合、Lijはサンプリング中心線の右側にある。
サンプリング視点を通して基準座標軸に平行する平行線を作ると、X線ビームLijとこの平行線との平面角はαiに等しく、且つ平行線の幾何角度関係よりαiは角度βiとサンプリング視点回転角度θによって計算して得られる。索引表を作成するに便利のため索引射線Lijの角度αiの値を[0,2π]の範囲に正規化する。θと角度βiの大きさの関係によってαiは次の式より計算して求める。
Figure 0003895323
X線ビームLijから物体回転中心軸までの距離diは、回転中心線を通してLijへの垂直線を作って得るため、この垂直線は、Lijとサンプリング中心線とで直角三角形を構成する。直角三角形の幾何学的関係によってdiは次の式より計算して得られる。

i=D×sin(βi) (3)

ただしDはX線源と物体回転軸間の距離であり、すなわち、サンプリング視点と物体回転軸間の距離であるが、直角三角形の斜辺でもある。βiと同じように、diの符号の正負は射線Lijの回転中心軸における左側或いは右側を示している。本例において、di<0の時、Lijはサンプリング中心射線の左側にあり、di>0の時、Lijはサンプリング中心射線の右側にある。
以上の計算を経て、サンプリング投影画像における各画素の列毎に対応する放射ビームは、投射角αiと中心距離diから索引できる。画像合成の場合に索引を素早く探し出すため、本発明は距離diを優先する2レベルの索引表を作成する。索引表は図3に示すように2レベルの索引構造として記憶している。第1レベルの索引表中に放射ビームから回転中心軸までのdi画素列番号及び対応する第2レベルの索引表のポインタを記憶し、各第2レベルの索引表中に同じ距離diの投影角度αiと投影画像番号を記憶する。第1レベルの索引をdiによって、第2レベルの索引を投影角度αiによってそれぞれ探すと、画像合成再サンプリング計算の場合に二分探索法アルゴリズムを採用して、索引を高速に探すことができ、画像合成の効率を向上させることができる。
所定の観察視点、視線方向と視差を与えると、まず、立体視角結像によって立体画像対における左右の眼がそれぞれ位置する視点と視線方向(立体視角に関する教科書を参照)を幾何学的に計算して、それぞれ左右の眼の画像における全ての画素に対して対応する放射ビームLijと基準座標軸の平面角αiと、Lijから物体回転中心軸までの距離diを求めて、αi、di値に最も近いサンプリング放射ビームを選んでLijに対応する画像画素を補間合成する。図2は、立体画像再サンプリングを合成する時一つの再サンプリング視点Riの再サンプリング合成計算の根拠となる幾何学的関係を示したものであり、立体画像対を計算する際、それぞれ左右の眼の視点に対して同じく計算する。再サンプリングの画像合成視点Riは、データ取得時の回転平面内に位置し、Riと基準座標軸との回転方位角ω、Riとデータ取得時の物体回転中心軸との距離rで表され、視線方向は、視点Riと物体回転軸との連結線を角度φだけずれた再サンプリング中心射線で表される。
投影画像の索引計算と同様に、まず、結像システムパラメータと再サンプリング画像合成パラメータによって放射ビームLijと再サンプリング視線中心の平面角βiを計算し、式(1)にしたがって、次式になる。
Figure 0003895323
ただし、β'iの正負の符号は、放射ビームL’ijが再サンプリング中心射線の左側か或いは右側であることを示す。本実施例において、β'i<0 時、L’ijは再サンプリング中心射線の左側にあり、β'i>0 時、L’ijは再サンプリング中心射線の右側にある。また、再サンプリング時の視野とサンプリング時の視野を同じとする。
幾何学の角度関係によってL’ijと基準座標軸との平面角α'iは、次式によって計算される。

α'i=ω−(φ+β'i) (5)

ただし、ωは、視点回転方位角で、計算結果からα'iは[0,2π]範囲に正規化される。
式(3)を引き出す過程と同様に、L’ijと物体回転中心間との距離d'iの計算式は次のようになる。

d'i=r×sin(φ+β'i) (6)
合成すべき画像画素に対応する放射ビームL’ijの投影角度α'iと距離d'iのパラメータを得た後、2レベル索引表から最もα'i、d'i値に近い画像画素列の索引を検索して、画像の合成速度と画像の品質要求によって適当な補間アルゴリズムを選んで画像を合成する。
アルゴリズムの画像合成速度を重点において考える場合、最近隣補間アルゴリズムを選び、2レベルの索引表からα'i、d'i値に最も近い一列の画像データを探し出して合成すればよい。
また、アルゴリズムの画像品質を重点において考える場合、双一次補間値を使用してより精確な画像を得ることができる。まず、第1レベル索引表から二分法を用いて距離パラメータd'iに最も近い二つの第2レベル索引表ポインタを探し、この二つの索引に対応する距離パラメータをd1とd2(d1<d'i<d2)とし、二つの第2レベル索引表からそれぞれ投影角パラメータα'iに一番近接している二つの索引を探し、この四つの索引に対応する投影角パラメータをα11、α12とα21、α22とし、α11<α'i<α12、α21<α'i<α22とする。索引表から得られた4列の最近接の画素P11、P12、P21、P22に対して重みファクタr1、r2、r3、r4より補間合成を行う。

ij=r111+r212+r321+r422 (7)

ただし、重みファクタr1、r2、r3、r4は、
Figure 0003895323
円周サンプリング合成による立体画像対は高度方向の視差が欠落するので、高度方向は、直接合成された同一列画素から補間法で求めて、合成画像の高さと幅方向との間の比率を一致させる。若し視線深度を物体回転中心からX線源までの距離Dとすると、その視線L’ijにおけるj’に対応する画像行番号jは次のように計算される。
Figure 0003895323
ただし、j0はサンプリング中心射線に対応する画素行番号である。通常合成画素の第j行の画素は最終合成画像の第j’行画素として選択される。
前記多視角X線立体結像方法は図4のフローチャートに示され、作動ステップにおける各技術処理ステップを次のように具体的に説明する。
1)システムパラメータ測定と較正:測定或いは較正方法によって結像システムにおけるパラメータ、すなわちL、D、P0(i0,j0),d0を取得する。
2)円周又は螺旋軌跡投影画像サンプリング:デジタル結像装置とその中に置いた物体を相対的に円周または螺旋状に移動させるようにデジタル結像装置或いは物体のいずれか一方を回転させ、θ度毎に一枚の投影Gk(θ)をサンプリングする。θは任意数値である。
3)2レベルに分類した索引の計算:サンプリングされた画像データをコンピュータの内部メモリに記憶して、必要に応じてデータの圧縮を行う。コンピュータに、全ての画像画素に対して結像システムのパラメータによって角度と距離の索引を作成する。具体的方法として、第k番目の投影画像のサンプリング点は、Pkに位置し、その回転角θは、サンプリング中心射線(すなわち、物体回転中心の射線)と回転平面内にある基準座標軸との平面角であり、Dは、サンプリング円周の半径である。投影画像Gk(θ)上における画素p(i,j)に対応する放射ビームはLijで、結像システムパラメータによってLijとサンプリング中心線との角βi、Lijと基準座標軸との平面角αi、及びLijから物体回転中心までの距離diなどを算出することができる。各画像の各列に対応するαiとdiは2レベルに分類した索引中に記憶して置く。
4)視点パラメータのセト:ユーザは、インタラクティブなインタフェースを通して観察の必要に応じて立体画像対の視点パラメータを設定して、異なる角度から観察する効果の立体画像対を取得する。インタラクティブ操作によってユーザより設定できるパラメータとしては、視点位置、観察視線方向、視景体(body of visual scene)、立体表示の視差パラメータなどがある。
5)視線パラメータの計算:視線パラメータによって現在の立体画像対を決定して、画像上における各画素毎に対応する視線パラメータを計算する。画素点p'(i,j)に対応する視線は、L’ijであり、視線L’ijと基準座標軸との平面角α'i、L’ijから物体回転中心までの距離d'iを計算し、又物体回転中心から源の距離よりそのL’ij、高さに対応する画像行jを計算する。視点パラメータによって左右の眼に対応する立体画像対を計算し、いずれも同じ方法を採用するが、両視点が垂直視線中心方向に距離tcだけずれている。
6)索引表シーク:前記ステップで計算から得られたL’ijと基準座標軸との平面角α'i、L’ijから物体回転中心までの距離d'iによって形成された画像索引表からL’ijパラメータと近隣している放射ビームを探す。隣接放射ビームの数量及び選択方式はステップ7で選ぶ画像画素合成フィルタ方法と関連する。
7)画素補間合成:コンピュータの演算性能およびユーザから画像精度に対する要求に応じて、各種フィルタ補間方式を採用して、近隣放射ビームに対して補間合成の計算を行って、L’ijに対応する画像画素p'(i,j)を合成する。通常のフィルタ補間方法には、領域補間或いは双一次補間、二次補間などがある。ステップ5から7までを繰り返して、立体画像対上における全ての画素点の計算が完了する。
8)画像処理:ユーザの需要に応じて、立体表示効果の強調のために、インタラクティブなインタフェースによって、輝度変換、擬似カラー、エッジ強調、画像増強などの処理の機能が提供される。
9)立体表示:立体表示装置によって立体画像対の表示を行い、ユーザが左眼で左眼視角に対応する画像を見、右眼で右眼視角に対応する画像を見ることによって、立体画像を形成する。ステップ3から9までを繰り返すとユーザ観察視点位置、観察視線方向、視差を絶えずに変えて、多角度立体表示の検査効果を達することができる。
前記多視角X線立体結像システムは、図5に示すように、X線源1と平板X線検知器3からなるX線結像装置と、多自由度回転可能な載置台2と、走査制御及びデータ獲得手段4と、多自由度制御手段5と、立体表示図形カード7と、画像解析処理手段6と、ディスプレー8と、立体メガネ9とを備える。前記載置台2は、前記X線源1とX線検知器3の間に設置される。走査制御及びデータ獲得手段4は、データサンプリングカードによって平板X線検知器3から送られてきた画像データをサンプリングするとともに、通信ポートによって多自由度制御手段5から送られた載物台2の走査位置情報を取得する。前記画像解析処理手段6は、走査制御及びデータ獲得手段4から送られたデータによって画像処理及び立体画像の合成を完成し、さらに、前記画像解析処理手段6は、立体表示図形カード7によって立体画像対を反転させてディスプレー8の上に表示し、また立体メガネ9を駆動させる。走査制御及びデータ獲得手段4と画像解析処理手段6は、同じパソコン上に組み込むことができ、ネットワークによって接続されている二台のパソコン上に組み込むこともできる。走査制御及びデータ獲得手段4と画像解析処理手段6は多視角X線立体結像方法に従って作動する。
本発明は、コンピュータ装置より結像システムパラメータとデジタル結像装置からサンプリングされた投影画像Gk(θ)によって画像処理と立体画像合成を行う。そて、本発明より視点位置、視線方向を指定し、視差効果を調節することができる多視角X線立体結像表示を提供するので、検査員よりインタラクティブな立体射線画像検査を行うことができ、被検体の空間構造をより良く理解することができる。本発明は、パソコンで高速に立体画像の合成を実現し、立体画像の変化をスムーズに変え、運動視差による立体効果を増強することができる。
以上は、前記実施形態を使用して本発明を説明したが、本発明はこれに限らず、円周または螺旋軌跡サンプリングの他に、螺旋軌跡サンプリング等の他のサンプリング方式を採用してもよい。これは本領域の通常の知識を有する技術者にとって容易に理解できるであろう。また、本発明のシステムは、任意の仕様を有するX線源、X線検知器、多自由度回転載置台2、立体表示設備、計算機装置を任意数量で組み込むことができる。このため、本発明の保護範囲は前記特定の実施システムによって限定されるものではない。
本発明におけるX線デジタル結像装置の結像概念図である。 本発明における多視角X線立体画像対の合成方法の画像サンプリングデータ索引と画像再サンプリング計算の幾何原理図である。 本発明における多視角X線立体画像対の合成方法の画像サンプリングデータ2レベル索引記憶方式を示す図である。 本発明における画像解析処理手段の作動フローチャート図である。 本発明における多視角X線立体結像システムの具体的実施例の構造図である。
符号の説明
1:X線源、2:載置台、3:平板X線検知器、4:コンピュータ、6:画像解析処理手段、8:ディスプレイ、9:メガネ

Claims (21)

  1. 1)X線源を調整して面アレー検知器に直角な放射が被検体(人を除く)の回転軸を通過し、この放射の面アレー検知器上における位置を画素位置P0(i0,j0)として、X線源と面アレー検知器との距離Lと、X線源と被検体(人を除く)回転中心との距離Dと、面アレー検知器における画素間の距離をd0(以下、これらのパラメータP0(i0,j0)、L、D、d0を「結像システムパラメータ」という)を取得するステップと、
    2)デジタル結像装置または被検体(人を除く)のいずれか一方を回転させて、前記デジタル結像装置と前記被検体に相対的に円周または螺旋状の移動を行わせ、各θ度毎に各一枚投影画像(Gk(θ)、θは任意数値)を取得する投影画像サンプリングステップと、
    3)結像システムパラメータに従って全ての投影画像画素に対して第1レベルの索引として放射ビームから回転中心軸までの距離diと第2レベルの索引として投影角度αiを含む索引(以下、「2レベルに分類した画像索引」という)を作成する画像索引形成ステップと、
    4)ユーザがインタラクティブなインタフェースを通じて、観察しながら、異なる角度から観察する効果のある立体画像対を取得することができるように立体画像対の視点パラメータを設定する視点パラメータ設定ステップと、
    5)前記視点パラメータにより現在の立体画像対を確定し、画像上における各画素に対応する視線パラメータを計算する視線パラメータ計算ステップと、
    6)ステップ5において算出された前記視線パラメータに基づいて、ステップ3で形成された2レベルに分類した画像索引から前記視線パラメータに近い順に複数の放射ビームを探し出す画像索引検索ステップと、
    7)フィルタ補間方式を採用して、ステップ6で探し出された複数の放射ビームに対して補間合成の計算を行い、視線(L’ij)に対応する画像画素(p'(i,j))を合成し、立体画像対上における全ての画像画素についてステップ3から5までを繰り返して画素を合成する画素合成ステップと、
    8)ユーザの要求に応じてインタラクティブなインタフェースを通じて画像に対して増強処理を行う画像処理ステップと、
    9)立体表示装置によって立体画像対の表示を行い、ユーザに左眼で左眼視角に対応する画像を見させ、右眼で右眼視角に対応する画像を見させることによって、立体画像を形成する立体表示ステップと、
    を備えることを特徴とする多視角X線立体結像方法。
  2. 前記ステップ3における前記2レベルに分類した画像索引は、各画像の各列に対応する投影角度αiと放射ビームから回転中心軸までの距離diの索引であることを特徴とする請求項1に記載の多視角X線立体結像方法。
  3. 前記ステップ3が2レベルに分類した画像索引を計算するステップをさらに含むことを特徴とする請求項1に記載の多視角X線立体結像方法。
  4. 前記ステップ3は、更に、その回転角度(θ)が回転中心射線に対応したサンプリング中心射線と回転平面内に位置する基準座標軸との平面角であり、投影画像Gk(θ)上における画素(P(i,j))に対応する放射ビームをLijとして、第k番目の投影画像サンプリング点を半径がDのサンプリング円周のサンプリング視点(Pk)に位置せしめ、
    結像システムパラメータに基づいて、前記放射ビーム(Lij)とサンプリング中心線との平面角(βi)と、前記放射ビーム(Lij)と基準座標軸との平面角(αi)並びに前記放射ビーム(Lij)から回転中心までの距離(di)を算出し、
    各画像の各列に対応する前記平面角(αi)と前記距離(di)を前記の2レベルに分類した画像索引に記憶して索引を作成するステップを含むことを特徴とする請求項3に記載の多視角X線立体結像方法。
  5. 前記視点パラメータ設定ステップ4において、インタラクティブ操作によってユーザにより設定可能なパラメータが観察視点位置、観察視線方向、視景体と立体表示の視差パラメータであることを特徴とする請求項1に記載の多視角X線立体結像方法。
  6. 前記視線パラメータ計算ステップ5が、
    前記画像画素(p'(i,j))に対応する視線(L’ij)と基準座標軸中心線との平面角(α'i)と、前記視線(L’ij) から回転中心までの距離(d'i)とを計算し、
    回転中心からX線源までの距離を用いて前記の視線(L’ij) 高さに対応する画像の行(j)を計算し、
    左右眼に対応する画像対を計算するのに、同じ方法を採用して、該両視点を垂直視線中心方向における距離(tc)だけずらして、視点パラメータに基づいて左右眼に対応する画像対を計算するステップを含むことを特徴とする請求項1に記載の多視角X線立体結像方法。
  7. 前記ステップ6において、隣接放射ビームの数と選択方式が前記のステップ7で選ばれる画像画素合成のフィルタ方法に関連することを特徴とする請求項1に記載の多視角X線立体結像方法。
  8. 前記ステップ7における前記フィルタ補間方法は近接補間、双一次補間、二次補間を含むことを特徴とする請求項1に記載の多視角X線立体結像方法。
  9. 前記ステップ8における前記画像処理は、輝度変換、擬似カラー、エッジ強調の立体表示を増強する方法を含むことを特徴とする請求項1に記載の多視角X線立体結像方法。
  10. 前記ステップ2からステップ7までを繰り返し実行し、多角度立体表示を達成するように、ユーザが視点位置、観察視線方向、視差を絶えず観察しながら変更することを特徴とする請求項1に記載の多視角X線立体結像方法。
  11. X線源(1)と平板X線検知器(3)を有するX線デジタル結像装置と、
    多自由度で回転可能な載置台(2)と、
    走査制御及びデータ獲得手段(4)と、
    多自由度制御手段(5)と、
    立体表示図形カード(7)と、
    画像解析処理手段(6)と、
    ディスプレー(8)と、
    立体メガネ(9)とを備える多視角X線立体結像システムであって、
    前記X線デジタル結像装置は円周軌跡或いは螺旋軌跡に沿って走査することが実現でき、
    前記走査制御及びデータ獲得手段は、X線源を調整して面アレー検知器に直角な放射が被検体の回転軸を通過し、この放射の面アレー検知器上における位置を画素位置P0(i0,j0)として、X線源と面アレー検知器との距離Lと、X線源と被検体回転中心との距離Dと、面アレー検知器における画素間の距離をd0(以下、これらのパラメータP0(i0,j0)、L、D、d0を「結像システムパラメータ」という)を取得し、デジタル結像装置または被検体のいずれか一方を回転させて、前記デジタル結像装置と前記被検体が相対的に円周または螺旋状の移動を行い、各θ度毎に各一枚の投影画像(Gk(θ)、θは任意数値)を取得し、
    前記画像解析処理手段は、画像索引形成と、視点パラメータ設定と、視線パラメータ計算と、画像索引検索と、画素合成と、画像処理と、立体表示のために用いられ、
    画像索引形成では、結像システムパラメータに基づいて、全ての画像画素に対して第1レベルの索引として放射ビームから回転中心軸までの距離diと第2レベルの索引として投影角度αiを含む索引(以下、「2レベルに分類した画像索引」という)を作成し、
    視点パラメータ設定では、ユーザがインタラクティブなインタフェースを通じて、観察しながら、異なる角度から観察する効果のある立体画像対を取得することができるように立体画像対の視点パラメータを設定し、
    視線パラメータ計算では、前記視点パラメータにより現在の立体画像対を確定し、画像上における各画素に対応する視線パラメータを計算し、
    画像索引検索では、視線パラメータを計算するステップで算出された前記視線パラメータに基づいて、2レベルに分類した画像索引から前記視線パラメータに近い順に複数の放射ビームを探し出し、
    画素合成では、フィルタ補間方式を採用して、前記画像索引検索で探し出された複数の放射ビームに対して補間合成の計算を行い、視線(L’ij)に対応する画像画素(p'(i,j))を合成し、それにより立体画像対上における全ての画像画素について画素を合成し、
    画像処理では、ユーザの要求に応じてインタラクティブなインタフェースを通じて画像に対して増強処理を行い、
    立体表示では、立体表示装置によって立体画像対の表示を行い、ユーザに左眼で左眼視角に対応する画像を見させ、右眼で右眼視角に対応する画像を見させることによって、立体画像を形成することを特徴とする多視角X線立体結像システム。
  12. 前記載置台(2)は、前記X線源(1)と平板X線検知器(3)の間に設置され、
    前記走査制御及びデータ獲得手段(4)は、データサンプリングカードを介して平板X線検知器(3)から送られた画像データを取得し、かつ、通信ポートによって多自由度制御手段(5)から送られた載置台(2)の走査位置情報を取得し、
    前記画像解析処理手段(6)は、走査制御及びデータ獲得手段(4)から送られたデータによって画像処理及び立体画像の合成を完成し、かつ、立体表示図形カード(7)によって立体画像対を反転させてディスプレー(8)の上に表示し、また、立体メガネ(9)を駆動することを特徴とする請求項11に記載の多視角X線立体結像システム。
  13. 結像システムパラメータに基づき、前記の画像解析処理手段(6)によって形成される前記2レベルに分類した画像索引は、各画像の各列に対応する投影角度αiと放射ビームから回転中心軸までの距離diの索引であることを特徴とする請求項11に記載の多視角X線立体結像システム。
  14. 前記の画像解析処理手段(6)は、さらに、前記2レベルに分類した画像索引を計算することを特徴とする請求項12に記載の多視角X線立体結像システム。
  15. 前記の画像解析処理手段(6)は、
    第k番目の投影画像サンプリング点が半径がDのサンプリング円周のサンプリング視点(Pk)に位置し、
    その回転角度(θ)が回転中心射線に対応したサンプリング中心射線と回転平面内に位置する基準座標軸との平面角であり、
    投影画像Gk(θ)上における画素(P(i,j))に対応する放射ビームをLijとして、
    結像システムパラメータに基づいて、前記放射ビーム(Lij)とサンプリング中心線との平面角(βi)と、前記放射ビーム(Lij)と基準座標軸との平面角(αi)並びに前記放射ビーム(Lij)から回転中心までの距離(di)を算出し、
    各画像の各列に対応する前記平面角(αi)と前記距離(di)を前記の2レベルに分類した画像索引に記憶して索引を作成することを特徴とする請求項13に記載の多視角X線立体結像システム。
  16. 前記の画像解析処理手段(6)においてインタラクティブ操作によってユーザにより設定可能なパラメータが観察視点位置、観察視線方向、視景体と立体表示の視差パラメータであることを特徴とする請求項12に記載の多視角X線立体結像システム。
  17. 前記の画像解析処理手段(6)は、
    前記画像画素(p'(i,j))に対応する視線(L’ij)と、基準座標軸中心線との平面角(α'i)と、前記視線(L’ij) から回転中心までの距離(d'i)とを計算し、
    回転中心からX線源までの距離を用いて前記の視線(L’ij) 高さに対応する画像の行(j)を計算し、
    左右眼に対応する画像対を計算するのに、同じ方法を採用して、該両視点を垂直視線中心方向における距離(tc)だけずらして、視点パラメータに基づいて左右眼に対応する画像対を計算する仕方で視線パラメータを設定することを特徴とする請求項11に記載の多視角X線立体結像システム。
  18. 前記の画像解析処理手段(6)で、隣接放射ビームの数と選択方式は、選ばれた前記画像画素合成のフィルタ方法に関連することを特徴とする請求項11に記載の多視角X線立体結像システム。
  19. 前記の画像解析処理手段(6)によって行う前記フィルタ補間方法は、近接補間、双一次補間、二次補間を含むことを特徴とする請求項11に記載の多視角X線立体結像システム。
  20. 前記の画像解析処理手段(6)によって実行する前記画像処理は、輝度変換、擬似カラー、エッジ強調の立体表示を増強する処理を含むことを特徴とする請求項11に記載の多視角X線立体結像システム。
  21. 前記の画像解析処理手段(6)は、投影画像の再サンプリングと、画像索引作成と、視点パラメータ設定と、画像索引検索と、画素合成とを繰り返し実行し、ユーザが観察視点位置、観察視線方向、視差を絶えず観察しながら変更し、多角度立体表示を達成することを特徴とする請求項11に記載の多視角X線立体結像システム。
JP2003432314A 2002-12-31 2003-12-26 多視角x線立体結像の方法及びシステム Expired - Fee Related JP3895323B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN02159995 2002-12-31

Publications (2)

Publication Number Publication Date
JP2004333473A JP2004333473A (ja) 2004-11-25
JP3895323B2 true JP3895323B2 (ja) 2007-03-22

Family

ID=33136777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003432314A Expired - Fee Related JP3895323B2 (ja) 2002-12-31 2003-12-26 多視角x線立体結像の方法及びシステム

Country Status (5)

Country Link
US (1) US6944263B2 (ja)
JP (1) JP3895323B2 (ja)
KR (1) KR100576228B1 (ja)
DE (1) DE10361663A1 (ja)
RU (1) RU2253952C1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7456881B2 (en) * 2006-01-12 2008-11-25 Aptina Imaging Corporation Method and apparatus for producing Bayer color mosaic interpolation for imagers
US8137976B2 (en) * 2006-07-12 2012-03-20 Varian Medical Systems, Inc. Dual angle radiation scanning of objects
US7692156B1 (en) 2006-08-23 2010-04-06 Radiation Monitoring Devices, Inc. Beam-oriented pixellated scintillators for radiation imaging
JP5498788B2 (ja) * 2006-08-25 2014-05-21 コーニンクレッカ フィリップス エヌ ヴェ マルチ管x線検出
GB0902138D0 (en) * 2009-02-10 2009-03-25 Durham Scient Crystals Ltd Apparatus and method for viewing an object
JP5677738B2 (ja) * 2009-12-24 2015-02-25 株式会社東芝 X線コンピュータ断層撮影装置
GB201008281D0 (en) 2010-05-19 2010-06-30 Nikonovas Arkadijus Indirect analysis and manipulation of objects
DE102010056042A1 (de) * 2010-12-23 2012-06-28 Yxlon International Gmbh Verfahren und Vorrichtung zur Sichtprüfung eines mittels Röntgenstrahlung zu überprüfenden Prüfobjekts
JP5815038B2 (ja) * 2011-09-30 2015-11-17 富士フイルム株式会社 放射線画像表示方法および装置
CN103197773A (zh) * 2012-01-09 2013-07-10 西安智意能电子科技有限公司 一种用于检测输入设备的三维位置信息的方法与系统
CN103764033B (zh) * 2012-06-28 2017-03-08 东芝医疗系统株式会社 X射线诊断装置
RU2015143523A (ru) 2013-03-13 2017-04-19 Депуи Синтез Продактс, Инк. Устройство для внешней фиксации кости
US8864763B2 (en) 2013-03-13 2014-10-21 DePuy Synthes Products, LLC External bone fixation device
US9039706B2 (en) 2013-03-13 2015-05-26 DePuy Synthes Products, Inc. External bone fixation device
JP5751556B2 (ja) * 2013-03-19 2015-07-22 株式会社ビームセンス ステレオ透視装置およびそれを用いたステレオ観察方法
CN105784741A (zh) * 2015-07-10 2016-07-20 公安部第研究所 一种多视角x射线安全检查装置
US10835318B2 (en) 2016-08-25 2020-11-17 DePuy Synthes Products, Inc. Orthopedic fixation control and manipulation
CN106725559A (zh) * 2017-03-17 2017-05-31 青岛大学 一种实时双源x线3d数字成像装置
US11439436B2 (en) 2019-03-18 2022-09-13 Synthes Gmbh Orthopedic fixation strut swapping
US11304757B2 (en) 2019-03-28 2022-04-19 Synthes Gmbh Orthopedic fixation control and visualization
US11334997B2 (en) 2020-04-03 2022-05-17 Synthes Gmbh Hinge detection for orthopedic fixation
CN114199905B (zh) * 2021-12-13 2024-02-20 中国航发南方工业有限公司 一种机匣内部缺陷的空间定位方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4672649A (en) * 1984-05-29 1987-06-09 Imatron, Inc. Three dimensional scanned projection radiography using high speed computed tomographic scanning system

Also Published As

Publication number Publication date
JP2004333473A (ja) 2004-11-25
US20040208279A1 (en) 2004-10-21
KR20040062414A (ko) 2004-07-07
KR100576228B1 (ko) 2006-05-03
RU2253952C1 (ru) 2005-06-10
DE10361663A1 (de) 2004-12-30
US6944263B2 (en) 2005-09-13

Similar Documents

Publication Publication Date Title
JP3895323B2 (ja) 多視角x線立体結像の方法及びシステム
EP1522051B1 (en) Discrete linear space sampling method and apparatus for generating digital 3d models
US6445807B1 (en) Image processing method and apparatus
AU2011206927B2 (en) A computed tomography imaging process and system
CN1264062C (zh) 一种多视角x射线立体成像的方法与系统
JP2744490B2 (ja) 物体内部構造表面の2次元像を表示する装置と方法
JP2885842B2 (ja) 固体内部領域の切断平面を表示する装置と方法
US9117278B2 (en) System and method for geometric modeling using multiple data acquisition means
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
CN101371786B (zh) 一种x射线图像三维重构的方法及系统
CA2813742A1 (en) Rapid 3d modeling
JP4914560B2 (ja) 環境内から生じる放射線についての情報を得るための方法
US6115449A (en) Apparatus for quantitative stereoscopic radiography
CN104374374B (zh) 基于主动全景视觉的3d环境复制系统及3d全景显示绘制方法
US20030016781A1 (en) Method and apparatus for quantitative stereo radiographic image analysis
JP4242527B2 (ja) 立体測定データにおける表面を表示する方法及びシステム
WO2013142819A1 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
Meierhold et al. Line-based referencing between images and laser scanner data for image-based point cloud interpretation in a CAD-environment
Jiang et al. 3D Surface Reconstruction of Spinal Ultrasound Images Based on 2D Contour Line
Petty Stereoscopic line-scan imaging using rotational motion
CN1068670A (zh) 用定位x线片重建活体颅骨立体形态方法
Xu et al. A camera network for the voxel data acquiring of the Three-Dimensional Swept Volume Display
Yoshimoto et al. Evaluation of endoscopic entire 3D image acquisition of the digestive tract using a stereo endoscope
Scheibe et al. Pose Estimation of Rotating Sensors in the Context of Accurate 3D Scene Modeling.
Baribeau et al. Color and Range Sensing for Hypermedia and Interactivity in Museums.

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050621

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050921

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060529

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3895323

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees