JP4572401B2 - 医療用三次元可視化画像の自動最適化 - Google Patents

医療用三次元可視化画像の自動最適化 Download PDF

Info

Publication number
JP4572401B2
JP4572401B2 JP2003292751A JP2003292751A JP4572401B2 JP 4572401 B2 JP4572401 B2 JP 4572401B2 JP 2003292751 A JP2003292751 A JP 2003292751A JP 2003292751 A JP2003292751 A JP 2003292751A JP 4572401 B2 JP4572401 B2 JP 4572401B2
Authority
JP
Japan
Prior art keywords
casting
anatomical structures
medical
overlap
visualization image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003292751A
Other languages
English (en)
Other versions
JP2004078960A (ja
JP2004078960A5 (ja
Inventor
チアン・シェー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Medical Systems Global Technology Co LLC
Original Assignee
GE Medical Systems Global Technology Co LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Medical Systems Global Technology Co LLC filed Critical GE Medical Systems Global Technology Co LLC
Publication of JP2004078960A publication Critical patent/JP2004078960A/ja
Publication of JP2004078960A5 publication Critical patent/JP2004078960A5/ja
Application granted granted Critical
Publication of JP4572401B2 publication Critical patent/JP4572401B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/06Ray-tracing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/40Hidden part removal

Description

本発明は、一般的に医療用可視化画像形成のための方法及び装置に関し、より具体的には、医療用三次元可視化画像の自動最適化のための方法及び装置に関する。
医療用画像形成は、一般的にコンピュータ断層撮影(CT)法や磁気共鳴撮影(MR)法のような医用走査装置を使用して、解剖学的構造体の二次元画像を生成する。解剖学的構造体のスライスを表すそのような二次元画像の集合は、医師によって分析されて解剖学的構造体内の病変を識別することができる。元来、医師は、得られた三次元構造体を概念的に可視化するために、多くの場合、複数のスライスを分析することが必要であった。
マルチスライスらせんCTのような最新装置の導入により、日常的な臨床検査では、1人の患者の検査に数百から千を越える画像を容易に生成することができる。スライス毎に画像を吟味することはかなりの時間を要し、疲労を招き易いから、医師や放射線技師の仕事の能率に大きな制限を加える可能性がある。そのような多数の画像に対処するために、医療用画像形成では、これらの画像の吟味において医師を助ける三次元可視化ツールを使用するようになってきた。
画像の検査を促進するために、今日では多様な三次元可視化ツールが利用可能である。多断面再構成(MPR)、最大値投影(MIP)、ボリュームレンダリング(VR)、及びサーフェースレンダリング(SR)ツールは、入手可能な可視化ツールのうちのほんの一部に過ぎない。これらのツールは、大量の情報を処理しかつ表示することができる。しかしながら、操作者は、三次元画像生成に最適なパラメータを決定するための再構成データの全量を調べる時間を持てないことが多い。一般的に、省略時パラメータ・セットを使用して、MPR、MIP、VR、又はSR画像を生成する。
多くの場合、三次元(3D)画像の事前定義配向及び3D画像の数は、かなり大きな改善の余地を残している。三次元(3D)キャスティング角度の不適切な選択に起因するオーバラップした構造体により、診断精度が大巾に低下する可能性がある。このオーバラップすることが原因となって、得られた3D画像内で解剖学的構造体を明瞭に見ることができないことがしばしばある。多くの場合、このことは、正しい診断にとって容認できないことである。パラメータは調節可能であり、また3D画像の数は変更可能であるが、多くの場合、そのような再構成によって望ましくない出費や時間の浪費を招くことがある。更に、元の二次元(2D)データセットを再処理することは、元の画像形成データが保管されているか又は抹消されている場合には、実用的でないか又は実行不可能となる場合がある。臨床研究により、そのような再処理は利用可能な選択肢とはならないことが判明している。
米国特許第5933146号
従って、適切な3Dキャスティング角度が使用されるように、得られる三次元(3D)可視化画像を自動的に最適化する三次元(3D)画像形成装置及び方法を獲得することが大いに望まれるであろう。更に、このような装置及び方法にとっては、解剖学的構造体の適切な可視化画像が得られるように、生成される3D画像の数を最適化することが有利であろう。
従って本発明の目的は、適切な3Dキャスティング角度が達成されるように医療用3D可視化画像を自動的に最適化するための装置及び方法を提供することである。本発明のもう1つの目的は、適切な数の3D画像が生成されるように医療用3D可視化画像を最適化する装置及び方法を提供することである。
本発明の目的に従って、医療用3D可視化画像を自動的に最適化するための方法が提供される。この方法は、3D可視化画像内で複数の解剖学的構造体を分離するステップを含む、次に、複数のキャスティング角度に対し、複数の解剖学的構造体の1つより多くと交差する光線交点の数を計算するステップが実行される。最適化された三次元可視化画像の選択を可能にするために、前記光線交点を最少化するキャスティング角度を選択するステップが実行される。最後に、選択されたキャスティング角度による最適化された医療用3D可視化画像が表示される。
本発明のその他の目的及び特徴は、添付図面と特許請求の範囲に関連してなされた、好ましい実施形態についての詳細な説明に照らして検討すると、明らかになるであろう。
次に、本発明による医療用三次元(3D)可視化画像10を示す図である図1を参照する。可視化画像10は、これらに限定するわけではないが、医学界において知られているMPR、MIP、VR、及びSR可視化画像を含む多様な3D可視化画像のうちのいずれであってもよい。一般にこれらの可視化画像は、CT法、MR法、又はその他の方法を用いて生成された解剖学的画像14の二次元(2D)画像12の再構成された集合体である。一般に解剖学的画像14は、図1乃至図3に示す造影剤で満たされた血管18のような複数の解剖学的構造体16を含む。ここでは例示のために血管18を使用したが、本発明は、多様な解剖学的構造体16を表す広範囲の解剖学的画像14に適用可能であることを理解されたい。
検査医師に対して得られた3D可視化画像10が表示される時、該可視化画像10はキャスティング角度20の透視方向により示される。図1に示すキャスティング角度20は、最適化されていないキャスティング角度22である。キャスティング光線24が複数の解剖学的構造体16と交差して光線交点25を形成し、検査医師が見た場合、それらが望ましくないオーバラップを生じるので、このキャスティング角度22は最適化されていないことが分かる。3つの血管18は、この最適化されていないキャスティング角度20からはほぼ同一平面に在るから、オーバラップするために、血管18は得られた3D可視化画像10内で明瞭に可視化できない。本発明では、3D可視化画像10の発生するオーバラップが最少化されるようにキャスティング光線24が複数の解剖学的構造体16と交差するように、図2に示すような最適化されたキャスティング角度26を選択する。次に、3D可視化画像10は、この最適化されたキャスティング角度26で、図3に示すようにディスプレイ装置28上に投影されることができる。これらの図においては再構成される2Dデータセットに対して平行に配向されたキャスティング角度20を利用しているが、この配向方向は平行な平面に限定される必要はないことを理解されたい。これらのキャスティング角度は、再構成される幾つかの2D画像を通る傾斜角度になっていてもよい。
本発明は、キャスティング角度20を最適化するように、3D可視化画像10を自動的に処理することを企図している。図4は、企図した方法の1つの実施形態を示している。本発明は、3D可視化画像10内で複数の解剖学的構造体16を分離することによって始まる(40)。これは、周知の多様な技術を用いて行うことができる。単純な閾値処理技術又はセグメンテーション技術は、画像内で解剖学的構造体16を分離するためのよく知られた方法である。公知のセグメンテーション技術もまた、骨構造体を自動的に分離することが可能であり、またそれらを画像から分離することも可能である。個々の解剖学的構造体16が識別されたら、複数のキャスティング角度26を評価することができる。
複数のキャスティング角度20は、各キャスティング角度20に対し、複数の解剖学的構造体16の1つより多くと交差する光線交点25の数を計算することによって、評価される(42)。光線交点25の数に加えて、光線交点25の量も計算することができる。次に、複数の解剖学的構造体16の1つより多くと交差する光線交点25の数を最少化することにより最少量のオーバラップを生じるよにすることに基づいて、最適キャスティング角度26が選択される(44)。これは様々な方法及びアルゴリズムを用いて達成できるが、1つの実施形態では、ディスプレイ内でオーバラップするピクセルの数を最少化する(46)ことに基づく選択(44)を考えている。特定のキャスティング角度αについてのオーバラップした3D画像を生じることになるピクセルの組をMαとすると、
Mα={(x1,y1,z1),(x2,y2,z2),...,(xn,yn,zn)}
となり、ここで、(xk,yk,zk)は、ピクセルk(k=1,...n)のx,y,z座標値を表す。次にキャスティング角度αは、それがピクセルの組Mαを最少化するように選択されなければならない。
選択(44)の後に、最適化された医療用3D可視化画像が、選択されたキャスティング角度により表示される(48)ことができる。
図5には、別の方法を示している。この方法は、解剖学的構造体の断面30(図2参照)の単純な幾何学的関係を利用する。解剖学的構造体が識別されて分離される(40)と、この実施形態は、各解剖学的構造体の断面を単純な幾何学形状に近似させる(52)。図示した血管18の幾何学形状32は楕円形として図示されているが、様々な断面に対して様々な幾何学形状32が考えられる。これらの幾何学形状の形と位置に基づいて、キャスティング角度の各々に対しオーバラップの量を分析的に求めることができる(54)。それによって、前の場合と同様に、最適キャスティング角度を、オーバラップを最少化することに基づいて選択する(44)ことができる。この場合にもまた、この選択(44)を行うために、多様な単純な幾何学的計算を利用することができる。そして選択(44)の後に、選択されたキャスティング角度により最適化された3D可視化画像を表示する(48)ことができる。
何らのオーバラップもしていない状態で3D画像を生成することを不可能にするか或いは著しく困難にする可能性がある状況及び3D可視化画像10となる場合があると考えられる。そのような場合には、複数の3D可視化画像10を生成することが推奨される。図6の実施形態は、そのような場合に好ましい本発明の方法を示している。この実施形態では、複数の解剖学的構造体を分離して(60)、上述した方法のいずれか又他の種々の方法で複数のキャスティング角度を評価する(62)。上に述べたのと同様に、全体的なオーバラップを最少化することに基づいて、第1の3D可視化画像が選択される(64)。しかしながら、この実施形態では、解剖学的構造体のオーバラップ位置を計算して記憶する(66)。次に、前のオーバラップ領域内におけるオーバラップの数を最少化する新たなキャスティング角度に基づいて、第2の3D可視化画像が選択される(68)。言い換えると、最少化ピクセル法が用いられる場合には、新しい投影角度βは、それがMαにおけるオーバラップを最少化するように選択されるべきである。オーバラップの量が所定の閾値より小さくなるまで、この手順が反復される(70)。
最後に、以上の議論は、複数の解剖学的構造体16が等しい重要度を持つものとして進めてきたが、常にこれが当てはまるとは限らない。その例を1つだけ挙げると、3D可視化画像10の目的が腎臓ドナーの生存能を判定することである場合には、腎臓構造体の部分ではない解剖学的構造体16は、腎臓構造体の部分と同じ重要度は持たないことになる。腎臓そのものを見るのを妨げるおそれがある近傍の構造体も同様に有害となる場合がある。従って、本発明は、図7に示した実施形態を考えている。
この実施形態は、異なる解剖学的構造体に対して重み関数(すなわちペナルティ関数)を割当てるステップ(72)を含む。これは様々な方法で利用できる。大きな血管の僅かなオーバラップは、小さな血管の同じサイズのオーバラップよりも低く重み付けすればよい。オーバラップのパーセンテージは、最少化のための重み係数として利用できる。その他の利用においては、前述したように、該当構造体のオーバラップに対しては重要度の低い構造体のオーバラップに対するよりも高く重み付けすることができる。更に、重み付けされた解剖学的構造体を妨げる構造体全てを、ディスプレイから自動的に除去することも考えられる。この実施形態は、上に開示したどの実施形態とも組み合わせて使用することができる。このことは、自動化された可視化画像を更に改善する。
本発明の特定実施形態を図示し説明してきたが、当業者には数多くの変更及び別の実施形態が考えられるであろう。従って、本発明は、特許請求の範囲の記載によってのみ限定されるべきであることを意図している。
最適化されていない配向において図示した、医療用3次元可視化画像を示す図。 最適化された配向おいて図示した、医療用3次元可視化画像を示す図。 図2に図示した最適化されたキャスティング角度により作られた、医療用3次元可視化画像を示す図。 本発明による、医療用3次元可視化画像を自動的に最適化する方法を示す図。 本発明による、医療用3次元可視化画像を自動的に最適化する方法の別の実施形態を示す図。 本発明による、医療用3次元可視化画像を自動的に最適化する方法の更に別の実施形態を示す図。 図4に示した、3次元可視化画像を自動的に最適化する方法の実施形態に対する改善を示す図。
符号の説明
10 医療用3D可視化画像
12 2D画像
14 解剖学的画像
16 解剖学的構造体
18 血管
20 キャスティング角度
24 キャスティング光線
25 光線交点
26 最適化されたキャスティング角度
30 解剖学的構造体の断面
32 血管の幾何学形状

Claims (10)

  1. 医療用三次元可視化画像を処理する装置が前記医療用三次元可視化画像のキャスティング角度を自動的に選択する方法であって、
    前記医療用三次元可視化画像内で複数の解剖学的構造体を前記装置のアイソレイティング手段が分離するステップと、
    複数のキャスティング角度の各々において、前記複数の解剖学的構造体が各キャスティング角度の複数のキャスティング光線と交差するオーバラップの数を前記装置のカルキュレイタ手段が計算するステップと、
    前記複数の解剖学的構造体の各々の重要度係数に基づいて前記オーバラップを前記装置のウェイティング手段が重み付けするステップと、
    前記複数のキャスティング角度の1つによる前記重み付けされたオーバラップを最少化するキャスティング角度を前記装置のセレクタ手段が選択するステップと、
    前記最少化するキャスティング角度による医療用三次元可視化画像を前記装置のディスプレイ手段が表示するステップと、
    を含むことを特徴とする方法。
  2. 前記最少化するキャスティング角度が、前記三次元可視化画像内のオーバラップしたピクセルの数を最少化することに基づいて選択されることを特徴とする、請求項1に記載の方法。
  3. 前記複数の解剖学的構造体の各々の断面を幾何学形状に近似させるステップと、
    前記幾何学形状の位置と形に基づいて前記最少化するキャスティング角度を選択するステップと、
    を更に含むことを特徴とする、請求項1または2に記載の方法。
  4. 前記最少化するキャスティング角度による医療用三次元可視化画像内の解剖学的構造体のオーバラップの位置を計算して記憶するステップと、
    前記解剖学的構造体のオーバラップの位置を最少化する第2のキャスティング角度を選択するステップと、
    前記第2のキャスティング角度による第2の三次元可視化画像を表示するステップと、
    を更に含むことを特徴とする、請求項1乃至3のいずれかに記載の方法。
  5. 前記複数の解剖学的構造体の各々のサイズに基づいて前記オーバラップを重み付けすることを特徴とする、請求項1乃至4のいずれかに記載の方法。
  6. より高く重み付けされた解剖学的構造体を妨げるより低く重み付けされた解剖学的構造体を表示から自動的に除去するステップを更に含むことを特徴とする、請求項1乃至5のいずれかに記載の方法。
  7. 前記オーバラップを重み付けするステップが、前記複数の解剖学的構造体の各々のオーバラップのパーセンテージに基づいており、
    前記分離するステップが、セグメンテーション技術を用いることにより達成されることを特徴とする、請求項1乃至6のいずれかに記載の方法。
  8. 医療用三次元可視化画像のキャスティング角度を自動的に選択する装置であって、
    前記医療用三次元可視化画像内で複数の解剖学的構造体を分離するアイソレイティング手段と、
    複数のキャスティング角度の各々において、前記複数の解剖学的構造体が各キャスティング角度の複数のキャスティング光線と交差するオーバラップの数を計算するカルキュレイタ手段と、
    前記複数の解剖学的構造体の各々の重要度係数に基づいて前記オーバラップを重み付けするウェイティング手段と、
    前記複数のキャスティング角度の1つによる前記重み付けされたオーバラップを最少化するキャスティング角度を選択するセレクタ手段と、
    前記最少化するキャスティング角度による医療用三次元可視化画像を表示するディスプレイ手段と、
    を含むことを特徴とする装置。
  9. 前記複数の解剖学的構造体の各々の断面を幾何学形状に近似させる形状近似装置を更に含むことを特徴とする、請求項8に記載の装置。
  10. 前記複数の解剖学的構造体の各々のサイズに基づいて前記オーバラップを重み付けするウェイティング手段を更に含むことを特徴とする、請求項8又は9に記載の装置。

JP2003292751A 2002-08-14 2003-08-13 医療用三次元可視化画像の自動最適化 Expired - Fee Related JP4572401B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/064,762 US7092558B2 (en) 2002-08-14 2002-08-14 Automated optimization of medical 3D visualizations

Publications (3)

Publication Number Publication Date
JP2004078960A JP2004078960A (ja) 2004-03-11
JP2004078960A5 JP2004078960A5 (ja) 2006-10-05
JP4572401B2 true JP4572401B2 (ja) 2010-11-04

Family

ID=31493954

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003292751A Expired - Fee Related JP4572401B2 (ja) 2002-08-14 2003-08-13 医療用三次元可視化画像の自動最適化

Country Status (3)

Country Link
US (1) US7092558B2 (ja)
EP (1) EP1394749A3 (ja)
JP (1) JP4572401B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7092558B2 (en) * 2002-08-14 2006-08-15 General Electric Company Automated optimization of medical 3D visualizations
US9024949B2 (en) * 2004-10-13 2015-05-05 Sony Corporation Object representation using distance functions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785312A (ja) * 1993-09-20 1995-03-31 Toshiba Corp 3次元動画作成装置
JPH09305790A (ja) * 1996-05-10 1997-11-28 Tokyo Electric Power Co Inc:The 3次元情報表示装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5226113A (en) * 1989-10-30 1993-07-06 General Electric Company Method and apparatus for volumetric projection rendering using reverse ray casting
GB9315852D0 (en) * 1993-07-30 1993-09-15 Video Logic Ltd Shading three-dimensional images
GB9424273D0 (en) * 1994-12-01 1995-01-18 Wrigley Adrian M T Improvements in and relating to image constrcution
FR2752975B1 (fr) 1996-09-04 1998-12-04 Ge Medical Syst Sa Procede de reconstruction d'une image tridimensionnelle d'un objet, en particulier une image tridimentionnelle angiographique
US5954653A (en) * 1997-05-07 1999-09-21 General Electric Company Method and apparatus for automatically enhancing contrast in projected ultrasound image
US6126603A (en) * 1997-05-07 2000-10-03 General Electric Company Method and apparatus for segmenting color flow mode data using velocity information in three-dimensional ultrasound imaging
US6074348A (en) 1998-03-31 2000-06-13 General Electric Company Method and apparatus for enhanced flow imaging in B-mode ultrasound
US6514074B1 (en) * 1999-05-14 2003-02-04 Align Technology, Inc. Digitally modeling the deformation of gingival
US6193657B1 (en) 1998-12-31 2001-02-27 Ge Medical Systems Global Technology Company, Llc Image based probe position and orientation detection
US6301497B1 (en) 1999-07-12 2001-10-09 Ge Medical Systems Global Technology Company, Llc Method and apparatus for magnetic resonance imaging intersecting slices
FR2799028B1 (fr) 1999-09-27 2002-05-03 Ge Medical Syst Sa Procede de reconstitution d'une image tridimentionnelle d'elements de fort contraste
US6277075B1 (en) 1999-11-26 2001-08-21 Ge Medical Systems Global Technology Company, Llc Method and apparatus for visualization of motion in ultrasound flow imaging using continuous data acquisition
US6947038B1 (en) * 2000-04-27 2005-09-20 Align Technology, Inc. Systems and methods for generating an appliance with tie points
US6348793B1 (en) 2000-11-06 2002-02-19 Ge Medical Systems Global Technology, Company, Llc System architecture for medical imaging systems
US6404853B1 (en) 2001-11-02 2002-06-11 Ge Medical Systems Global Technology Company, Llc Method for identifying and correcting pixels with excess pixel lag in a solid state x-ray detector
US6979196B2 (en) * 2002-06-21 2005-12-27 Align Technology, Inc. Systems and methods for automated bite-setting of tooth models
US7092558B2 (en) * 2002-08-14 2006-08-15 General Electric Company Automated optimization of medical 3D visualizations

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0785312A (ja) * 1993-09-20 1995-03-31 Toshiba Corp 3次元動画作成装置
JPH09305790A (ja) * 1996-05-10 1997-11-28 Tokyo Electric Power Co Inc:The 3次元情報表示装置

Also Published As

Publication number Publication date
EP1394749A2 (en) 2004-03-03
US7092558B2 (en) 2006-08-15
EP1394749A3 (en) 2006-02-15
JP2004078960A (ja) 2004-03-11
US20040032978A1 (en) 2004-02-19

Similar Documents

Publication Publication Date Title
US20190318512A1 (en) Apparatus and method for visualizing digital breast tomosynthesis and other volumetric images
US7529396B2 (en) Method, computer program product, and apparatus for designating region of interest
JP4359647B2 (ja) 直接検出できない内視鏡検査における自動分析
KR102109588B1 (ko) 유방 조직 이미지를 프로세싱하고, 디스플레잉하고, 네비게이팅하기 위한 방법
EP2486548B1 (en) Interactive selection of a volume of interest in an image
EP2220621B1 (en) Volume rendering apparatus and method
US20070276214A1 (en) Systems and Methods for Automated Segmentation, Visualization and Analysis of Medical Images
US8170640B2 (en) System and method for tree projection for detection of pulmonary embolism
US8077948B2 (en) Method for editing 3D image segmentation maps
EP2116973B1 (en) Method for interactively determining a bounding surface for segmenting a lesion in a medical image
US7924279B2 (en) Protocol-based volume visualization
EP1398722A2 (en) Computer aided processing of medical images
US8659602B2 (en) Generating a pseudo three-dimensional image of a three-dimensional voxel array illuminated by an arbitrary light source by a direct volume rendering method
EP2017789B1 (en) Projection image generation apparatus and program
JP2008510499A (ja) 解剖学的可視化/測定システム
EP1171033A1 (en) Method and system of measuring characteristics of an organ
US9129391B2 (en) Semi-automated preoperative resection planning
CN108876794A (zh) 体积图像数据中的动脉瘤与载瘤血管的隔离
JP2005103263A (ja) 断層撮影能力のある画像形成検査装置の作動方法およびx線コンピュータ断層撮影装置
JP4473578B2 (ja) 体の構造の孤立した視覚化されたものを形成する方法及び装置
JP4572401B2 (ja) 医療用三次元可視化画像の自動最適化
JPH0728976A (ja) 画像表示装置
Delegacz et al. Three-dimensional visualization system as an aid for lung cancer detection
WO2006057663A2 (en) Method and system for interactive visualization of locally oriented structures

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060809

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090901

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090901

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090901

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100729

R150 Certificate of patent or registration of utility model

Ref document number: 4572401

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees