JP4305991B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP4305991B2
JP4305991B2 JP03596499A JP3596499A JP4305991B2 JP 4305991 B2 JP4305991 B2 JP 4305991B2 JP 03596499 A JP03596499 A JP 03596499A JP 3596499 A JP3596499 A JP 3596499A JP 4305991 B2 JP4305991 B2 JP 4305991B2
Authority
JP
Japan
Prior art keywords
image
center position
viewpoint
cut
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP03596499A
Other languages
English (en)
Other versions
JP2000235641A (ja
JP2000235641A5 (ja
Inventor
良洋 後藤
拡樹 谷口
朋洋 永尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP03596499A priority Critical patent/JP4305991B2/ja
Publication of JP2000235641A publication Critical patent/JP2000235641A/ja
Publication of JP2000235641A5 publication Critical patent/JP2000235641A5/ja
Application granted granted Critical
Publication of JP4305991B2 publication Critical patent/JP4305991B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明が属する技術分野】
本発明は被検体の診断画像を表示する画像表示装置に係り、特に血管、腸、胃、骨等の観察対象の断面の画像を表示する画像表示装置に関する。
【0002】
【従来の技術】
従来の画像表示装置は、特願平10−175975号に記載されているように、複数の2次元画像が積み上げられた原画像に含まれる観察対象の内部に、前記観察対象に沿って複数の視点を設定する。これらの視点は公知の中心投影法において手動又は自動で設定される。続いて、上記視点を通る曲面を設定する。そして、この曲面によって上記原画像を切断することによって前記観察対象の断面像を含む原画像の断面像を作成し、この作成した断面像を表示している。
【0003】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、前記曲面を視点によって設定していたため、前記曲面上に有る視点が複雑に走行する血管や腸のような観察対象の中心位置と必ずしも一致しない場合があり、前記観察対象の走行方向の的確な断面情報が得られないことがあるという問題があった。
【0004】
本発明の目的は、切断面と観察対象の中心位置との位置ずれを表示可能な画像表示装置を提供することにある。
【0005】
また、その他の目的は、前記位置ずれを簡便に補正できる画像表示装置を提供することにある。
【0006】
【課題を解決するための手段】
上記目的は、三次元の原画像に含まれる観察対象の内部に、複数の視点を設定し、これらの視点を通る曲面を切断面として設定し、該切断面によって前記原画像を切断した切断像を構成し、該切断像を表示器に表示する画像表示装置において、前記観察対象の濃度値に基づいて前記観察対象の中心位置情報を演算する手段と、前記切断像と前記中心位置情報とを合成して合成画像を形成する手段とを備えたことを特徴とする画像表示装置によって達成される。
【0007】
これにより、前記演算手段によって前記観察対象の濃度値に基づいて前記観察対象の中心位置情報を演算され、前記合成画像形成手段によって前記切断像と前記中心位置情報とを合成して合成画像を形成されるので、前記切断像と前記中心位置情報を同一の画像上で参照できるから、切断面と観察対象の中心位置との位置ずれを表示できる。
【0008】
また、三次元の原画像に含まれる観察対象の内部に、複数の視点を設定し、これらの視点を通る曲面を切断面として設定し、該切断面によって前記原画像を切断した切断像を構成し、該切断像を表示器に表示する画像表示装置において、前記表示器に表示された前記切断像上で前記視点の位置を変更設定する手段と、この変更設定手段によって変更設定された視点の位置で断面像を再構成する手段とを備えたことを特徴とする画像表示装置によって達成される。
【0009】
これにより、前記変更設定手段によって前記表示器に表示された前記切断像上で前記視点の位置を変更設定され、前記再構成手段によって前記変更設定手段によって変更設定された視点の位置で断面像を再構成されるので、前記切断像と前記観察対象の中心位置との位置ずれを補正するための変更設定ができるから、観察対象の走行方向の的確な断面情報を得ることができる。
【0010】
また、三次元の原画像に含まれる観察対象の内部に、複数の視点を設定し、これらの視点を通る曲面を切断面として設定し、該切断面によって前記原画像を切断した切断像を構成し、該切断像を表示器に表示する画像表示装置において、前記観察対象の濃度値に基づいて前記観察対象の中心位置情報を演算する手段と、前記視点の位置と前記中心位置情報とを比較し、両者が一致しないときは前記視点を前記中心位置情報に変更する手段と、この比較変更手段によって変更された視点の位置で断面像を再構成する手段とを備えたことを特徴とする画像表示装置によって達成される。
【0011】
これにより、前記演算手段によって前記観察対象の濃度値に基づいて前記観察対象の中心位置情報を演算され、前記比較変更手段によって前記視点の位置と前記中心位置情報とを比較し、両者が一致しないときは前記視点を前記中心位置情報に変更され、前記再構成手段によって前記比較変更手段により変更された視点の位置で断面像を再構成されるので、前記切断像と前記観察対象の中心位置との位置ずれを補正するための変更が自動的にできるから、より簡便に観察対象の走行方向の的確な断面情報を得ることができる。
【0012】
また、三次元の原画像に含まれる観察対象の内部に、複数の視点を設定し、これらの視点を通る曲面を切断面として設定し、該切断面によって前記原画像を切断した切断像を構成し、該切断像を表示器に表示する画像表示装置において、前記表示器に表示された前記切断像上で前記視点を変更設定する変更設定手段と、前記観察対象の濃度値に基づいて前記観察対象の中心位置情報を演算し、前記視点と前記中心位置情報とを比較し、両者が一致しないときは前記視点を前記中心位置情報に変更する比較変更手段と、前記変更設定手段と前記比較変更手段を選択する手段を備えることを特徴とする画像表示装置によって達成される。
【0013】
これにより、上記変更設定手段による手動設定と、上記比較変更手段による自動設定とを選択できるから、前記切断像と前記観察対象の中心位置との位置ずれを補正するための変更設定について任意に選択できるという操作上の自由度を増やせる。
【0014】
【発明の実施の形態】
本発明の画像表示装置の好適な実施形態について、図面を用いて説明する。
【0015】
まず、各実施形態で共通に用いる画像表示構成のハードウエア構成を、図9を用いて説明する。
【0016】
図9は本発明に係る画像表示装置のハードウエア構成例を示すブロック図である。
【0017】
この画像表示装置は、中央演算処理装置(CPU)91と、主メモリ92と、外部記憶装置の1例として磁気ディスク93と、表示メモリ94と、マウスコントローラ96と、キーボード97とが、それぞれデータ転送バス99を介して電気的に接続され、相互に各種データを送受している。
【0018】
画像メモリ94とTVモニタ(CRT)95とはビデオ信号ケーブル等で電気的に接続され、CRT95は前記送受したデータを画像、文字等の操作者が見て理解できる情報として表示される。
【0019】
マウスコントローラ96とマウス97とはケーブル等で電気的に接続され、操作者がマウスを移動する際に生じるエンコーダ情報と、付属したボタンをクリックする際に生じるスイッチ情報とが、操作者の操作によってマウス97からマウスコントローラ96に伝達される。
【0020】
磁気ディスク93には、複数のCTのスライス画像をスライス面の垂直方向に積み上げて三次元画像(原画像)を形成し、この原画像や画像再構成プログラム等が格納され、主メモリ92には画像表示装置のハードウエア全体を制御するプログラムの他、磁気ディスク93から読み出したプログラム等を実行する演算領域が設けられている。
【0021】
CPU91は、前記原画像や各種プログラムを読み出し、主メモリ92を用いて本発明に係る断面像や合成画像の構成、視点位置補正に係る制御等を行い、その構成した画像を示す画像データを表示メモリ94にデータ転送バス99を介して転送し、CRT95に表示させる。
【0022】
次に、各実施の形態のそれぞれについて説明する。
【0023】
<第1の実施の形態>
上記ハードウエアのように構成された画像表示装置は、特願平10−175975号に記載されている方法によって、前記原画像を曲面で切断した切断面を画像情報に展開し、この画像情報をCRTに表示する。この操作について、図1を用いて概説する。
図1は原画像を曲面で切断した切断面を画像化する態様を示す図である。
【0024】
図1に示されるように、複数のCT画像について、そのスライス方向に垂直に積み上げた三次元の原画像を構成する。このとき、スライス方向の一方をX方向、X方向に垂直な方向をY方向、スライスの積み上げ方向をZ方向とする。
【0025】
このように定義すると、図1(a)では、CT画像毎に設定した視点(この場合、血管3の内部領域に視点を設定している)に基づきX方向の切断面1に沿った画像が、図1(b)では同様にY方向の切断面2に沿った画像がそれぞれ得られ、図1(c)のように、X方向の切断像、Y方向の切断像がそれぞれ別個に表示されることとなる。
【0026】
本発明の第1の実施形態ではX方向の断面像だけに着目し、その骨子たる切断面と観察対象の中心位置との位置ずれを表示することについて、図3に基づいて図1、図3を参照しながら説明する。
図2は本発明の第1の実施の形態の視点に基づく切断面と観察対象の中心位置との位置ずれを表示する合成画像の表示例と、前記観察対象の中心位置の計算原理を説明するために示した図、図3は本発明の第1の実施の形態の動作を説明するフローチャートである。
【0027】
図1(a)に示した複数のCT画像のそれぞれの画像上の血管3の内部領域に視点(×)を設定する(ステップ31)。
【0028】
図1(c)の左側に示すようなX方向の断層像をステップ31で設定した視点に基づいて作成する(ステップ32)。
【0029】
前記設定した視点のY座標での血管の中心位置を示すX座標を計算する。
具体的には、図2のように視点座標(切断位置)を通るY座標上での濃度値からプロファイルを作り、濃度変化が予め設定したある一定値Δより大きい箇所を検出して血管の両端を求めれば、それら中心位置のY座標(○)は平均値、重心、メジアンなどの公知の計算方法によって計算される(ステップ33)。
【0030】
ステップ32で作成したX方向の断層像に視点座標(×)を付けたものと、ステップ33で計算した中心位置のY座標(○)とを合成する。
この合成に際しては表示メモリ上に両者を加算してもよいし、表示メモリが画像データとグラフィックデータを別個に取り扱って画像データとグラフィックデータを重畳して合成できるものでは、画像データとしてX方向の断層像に視点座標(×)を付けたものをそれぞれ記憶し、これらを重畳して合成させてもよい(ステップ34)。
【0031】
ステップ34で合成した合成画像を表示メモリに記憶させ、この合成画像をCRTに表示する(ステップ35)。
【0032】
この実施の形態ではX方向の断層像についてのみを説明したが、Y方向の断層像についても適用できることはいうまでもない。
【0033】
以上説明した実施の形態によれば、CPUによって血管の濃度値に基づいて前記血管の中心位置座標を演算され、CPUによって前記血管の切断像と前記中心位置座標とを合成して合成画像を形成されるので、前記血管の切断像と前記中心位置座標を同一の画像上で参照できるから、切断面と血管の中心位置との位置ずれをCRTに表示できる。
【0034】
<第2の実施の形態>
本発明の第2の実施形態の骨子は、(1)観察対象の走行方向の的確な断面情報を得るために操作者がうまく手動操作による視点位置の補正ができるようにする、(2)観察対象の走行方向の的確な断面情報を得るために操作者の操作を不要にして自動的に視点位置の補正ができるようにする、(3)前記手動操作による視点位置の補正と前記自動的に行う視点位置の補正とを選択できることにある。これらについて、図5、図6、図8に基づいて図1、図4、図6を参照しながら説明する。
図4は本発明の第2の実施の形態の視点に基づく切断面について、前記視点の補正について自動とするか手動とするかの選択メニューの例を示し、そのうち手動を選択した結果の例を示す図、図5は本発明の第2の実施の形態のメインルーチンの動作を説明するフローチャート、図6は図5の手動補正処理のサブルーチンの動作を説明するフローチャート、図7は図4で自動を選択した結果の例を示す図、図8は図5の自動補正処理のサブルーチンの動作を説明するフローチャートである。
【0035】
図4(a)のように、視点の補正を自動的に補正するか、手動で補正するかを選択し、選択するアイコンにマウスのカーソルを移動してクリックする(ステップ51)。
【0036】
ここで、自動と手動を切り替える理由を説明する。例えば、頚部の大動脈や胃など周りに同じ濃度値を有する他の臓器が無いときは自動であれば簡便であることはいうまでもないが、頭蓋内の血管や腸など周りに同じ濃度値を有する他の臓器が有るときは自動では目的とする血管や臓器の識別が困難で、かえって手動で操作者が操作した方が早く好結果となる場合が多いからである。
【0037】
図4(b)に示すように、手動を選択したときは、手動補正処理のサブルーチンを実行する(ステップ52)。
【0038】
図7(a)に示すように、自動を選択したときは、自動補正処理のサブルーチンを実行する(ステップ53)。
【0039】
手動補正処理又は自動補正処理が終わったらメイン処理の終了判定を行い、終了するのであればyesを選択して処理を終了し、終了しないのであればnoを選択してステップ51を再度実行する(ステップ54)。
【0040】
手動補正処理は次の手順で行う。
図4(c)に示すように、マウスのカーソルを表示し、ドラッグして補正したい視点(×)まで移動する(ステップ61)。
【0041】
補正したい視点(×)を血管の中心位置(○)まで移動する。血管の中心位置の計算は上記第1の実施の形態で説明したものを援用する(ステップ62)。
【0042】
なお、血管の中心位置は視点位置を移動するときのガイドとして表示しているが、血管等が複雑な形状をしているときなどはこのガイド表示がないこともある。
【0043】
補正したい視点は全て終了したを判定行い、終了するのであればyesを選択して処理を終了し、終了しないのであればnoを選択してステップ61を再度実行する(ステップ63)。
【0044】
自動補正処理は次の手順で行う。
図7(b)に示すように、視点(×)のY座標の血管の中心位置のX座標を計算する。血管の中心位置の計算は上記第1の実施の形態で説明したものを援用する。なお、この図では理解しやすいように、血管の周辺のプロファイルを表示しているが、通常このプロファイルは表示しなくてもよい(ステップ81)。
【0045】
視点(×)を血管の中心位置(○)に置き換える(ステップ82)。
【0046】
視点補正の終了判定行い、終了しているのであればyesを選択して処理を終了し、終了していないのであればnoを選択してステップ81を再度実行する(ステップ83)。
【0047】
この実施の形態ではX方向の断層像についてのみを説明したが、Y方向の断層像についても適用できることはいうまでもない。
【0048】
以上説明した実施の形態によれば、マウスによってCRTに表示された切断像上で視点の位置を変更設定され、CPUによってマウスによって変更設定された視点の位置で断面像を再構成されるので、前記切断像と前記観察対象の中心位置との位置ずれを補正するための変更設定がマウスによってできるから、観察対象の走行方向の的確な断面情報を得ることができる。
【0049】
また、CPUによって観察対象の濃度値に基づいて観察対象の中心位置情報を演算され、CPUによって視点の位置と前記中心位置情報とを比較し、両者が一致しないときは前記視点を前記中心位置情報に変更され、CPUによって変更された視点の位置で断面像を再構成されるので、前記切断像と前記観察対象の中心位置との位置ずれを補正するための変更が自動的にできるから、より簡便に観察対象の走行方向の的確な断面情報を得ることができる。
【0050】
また、マウスによる手動設定と、CPUによる自動設定とを選択できるから、前記切断像と前記観察対象の中心位置との位置ずれを補正するための変更設定について任意に選択できるという操作上の自由度を増やせる。
【0051】
また、本発明によって補正された視点に基づいて断層像を更新してもよい。具体的には、補正された視点に基づいて従来技術を用い断層像を作成できる。
【0052】
また、複数の補正視点による断層像を磁気ディスクに格納しておいて、これらの複数の断層像を同一のモニタに切替表示すれば動画的な解析ができる。
【0053】
また、これらの複数の断層像を同一モニタ又は複数モニタに同時表示すればマルチ表示ができる。
【0054】
また、各実施の形態では操作者が操作する入力器をマウスで説明したが、この入力器についてキーボードやトラックボール、タッチパネル等の公知の入力器単体または任意の組み合わせによって表示または補正に係る操作を行ってもよい。
【0055】
【発明の効果】
本発明は、切断面と観察対象の中心位置との位置ずれを表示可能な画像表示装置を提供するという効果を奏する。
【0056】
また、前記位置ずれを簡便に補正できる画像表示装置を提供するという効果を奏する。
【図面の簡単な説明】
【図1】原画像を曲面で切断した切断面を画像化する態様を示す図。
【図2】本発明の第1の実施の形態の視点に基づく切断面と観察対象の中心位置との合成画像の表示例と、前記観察対象の中心位置の計算原理を説明するために示した図。
【図3】本発明の第1の実施の形態の動作を説明するフローチャート。
【図4】本発明の第2の実施の形態の自動、手動の選択と、自動を選択した結果の例を示す図。
【図5】本発明の第2の実施の形態のメインルーチンの動作を説明するフローチャート。
【図6】図5の手動補正処理のサブルーチンの動作を説明するフローチャート。
【図7】図4で自動を選択した結果の例を示す図。
【図8】図5の自動補正処理のサブルーチンの動作を説明するフローチャート。
【図9】本発明に係る画像表示装置のハードウエア構成例を示すブロック図。
【符号の説明】
1 X方向の切断面
2 Y方向の切断面
3 血管
91 中央演算装置(CPU)
92 主メモリ
93 磁気ディスク
94 表示メモリ
95 CRT
96 マウスコントローラ
97 マウス
98 キーボード
99 データ転送バス

Claims (5)

  1. 三次元の原画像に含まれる観察対象の内部に、複数の視点を設定し、前記設定された複数の視点を通る曲面を切断面として設定し、
    前記設定された切断面によって前記原画像を切断したような切断像を構成し、前記構成された切断像を表示器に表示する画像表示装置において、
    前記観察対象の濃度値が予め設定された値よりも大きい領域を抽出し、抽出された領域の座標に基づき前記観察対象の中心位置の情報を演算する中心位置演算手段と、
    前記演算された中心位置情報と前記切断像前記表示器に表示する手段と、を備えたことを特徴とする画像表示装置。
  2. 前記中心位置演算手段は、抽出された領域中の予め定められた方向における2つの境界座標の平均値を中心位置の座標とすることを特徴とする請求項1に記載の画像表示装置。
  3. 前記中心位置演算手段は、抽出された領域中の予め定められた方向における重心を中心位置の座標とすることを特徴とする請求項1に記載の画像表示装置。
  4. 前記表示された切断像上で前記設定された視点の位置を変更設定する手段と、
    前記変更設定された視点の位置での切断像を再構成する手段と、
    を備えたことを特徴とする請求項1乃至3のいずれか一項に記載の画像表示装置。
  5. 前記変更設定手段は、前記演算された観察対象の中心位置の情報によって、前記視点の位置を変更設定することを特徴とする請求項に記載の画像表示装置。
JP03596499A 1999-02-15 1999-02-15 画像表示装置 Expired - Lifetime JP4305991B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP03596499A JP4305991B2 (ja) 1999-02-15 1999-02-15 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03596499A JP4305991B2 (ja) 1999-02-15 1999-02-15 画像表示装置

Publications (3)

Publication Number Publication Date
JP2000235641A JP2000235641A (ja) 2000-08-29
JP2000235641A5 JP2000235641A5 (ja) 2006-04-27
JP4305991B2 true JP4305991B2 (ja) 2009-07-29

Family

ID=12456652

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03596499A Expired - Lifetime JP4305991B2 (ja) 1999-02-15 1999-02-15 画像表示装置

Country Status (1)

Country Link
JP (1) JP4305991B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103284737A (zh) * 2012-02-24 2013-09-11 株式会社东芝 医用图像处理装置
WO2016155515A1 (zh) * 2015-04-03 2016-10-06 阿里巴巴集团控股有限公司 图片合成方法、装置及即时通信方法、图片合成服务器

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6829379B1 (en) * 2000-11-27 2004-12-07 Ge Medical Systems Global Technology Company, Llc Methods and apparatus to assist and facilitate vessel analysis
JP2008000261A (ja) * 2006-06-21 2008-01-10 Aze Ltd 管腔状組織の観察用画像作成方法、装置およびプログラム
CN104657716A (zh) * 2015-02-12 2015-05-27 杭州秋樽网络科技有限公司 一种sns多图融合方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103284737A (zh) * 2012-02-24 2013-09-11 株式会社东芝 医用图像处理装置
WO2016155515A1 (zh) * 2015-04-03 2016-10-06 阿里巴巴集团控股有限公司 图片合成方法、装置及即时通信方法、图片合成服务器
CN106157235A (zh) * 2015-04-03 2016-11-23 阿里巴巴集团控股有限公司 图片合成方法、装置及即时通信方法、图片合成服务器

Also Published As

Publication number Publication date
JP2000235641A (ja) 2000-08-29

Similar Documents

Publication Publication Date Title
JP6438545B2 (ja) プランニングシステム及び方法
JP4798712B2 (ja) 医用画像表示装置及び方法並びにプログラム
US8965074B2 (en) Image processing apparatus
JP4200546B2 (ja) 画像表示装置
EP2420188B1 (en) Diagnosis support apparatus, diagnosis support method, and storage medium storing diagnosis support program
JP5224451B2 (ja) 投影画像作成装置、方法およびプログラム
JP5191989B2 (ja) 医用画像表示装置、医用画像表示方法
JP4845566B2 (ja) 画像表示装置
JP6353827B2 (ja) 画像処理装置
WO2007122896A1 (ja) 医用画像表示システム及び医用画像表示プログラム
JP5980776B2 (ja) 医用画像表示装置、医用画像表示方法
JP2006239253A (ja) 画像処理装置及び画像処理方法
JP6738631B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP4305991B2 (ja) 画像表示装置
JP2005087727A (ja) 画像読影支援方法および装置ならびにプログラム
JP4574770B2 (ja) 医用三次元画像表示装置
JPH1176228A (ja) 三次元画像構成装置
JP6085435B2 (ja) 画像処理装置及び関心領域設定方法
JP3654977B2 (ja) 三次元画像処理装置
WO2013114994A1 (ja) X線ct装置
JP2001101450A (ja) 三次元画像表示装置
JP6433190B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4318799B2 (ja) 画像表示装置
JP2006068350A (ja) 医用画像表示方法、医用画像表示装置及び医用画像表示のためのプログラム
JPH11110588A (ja) 三次元画像表示装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term