JP4006083B2 - 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 - Google Patents

画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP4006083B2
JP4006083B2 JP09171398A JP9171398A JP4006083B2 JP 4006083 B2 JP4006083 B2 JP 4006083B2 JP 09171398 A JP09171398 A JP 09171398A JP 9171398 A JP9171398 A JP 9171398A JP 4006083 B2 JP4006083 B2 JP 4006083B2
Authority
JP
Japan
Prior art keywords
image
gradation conversion
gradation
histogram
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP09171398A
Other languages
English (en)
Other versions
JPH11288462A (ja
Inventor
仁司 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP09171398A priority Critical patent/JP4006083B2/ja
Priority to US09/153,287 priority patent/US6449390B1/en
Priority to DE69832767T priority patent/DE69832767D1/de
Priority to EP98117922A priority patent/EP0905650B1/en
Publication of JPH11288462A publication Critical patent/JPH11288462A/ja
Application granted granted Critical
Publication of JP4006083B2 publication Critical patent/JP4006083B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、2つの画像を演算し差分をとる装置、詳しくは医療分野において同一被写体の条件を変えた複数の画像を演算処理するサブトラクション装置に用いて好適な画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体に関する。
【0002】
【従来の技術】
従来より、X線などの放射線の透過率分布を画像化して、物体の内部構造を可視化する場合において、異なるエネルギー分布をもつ2つの放射線を用い、物体内部の特定の構成要素が特有の放射線透過特性(放射線エネルギー吸収特性)を持つことを利用して、2つの透過率分布画像を収集し、デジタル化した後、それぞれの画像間の演算により、特定の物体の内部の構成要素を抽出もしくは消去した画像を得る、いわゆるエネルギーサブトラクション処理が行われている。特に、医療用のX線画像処理においては、骨部分の消去、抽出など、診断上きわめて有効な処理として用いられている。
【0003】
図4は従来のエネルギーサブトラクション装置を示す。図4において、1はX線を発生する管球を示し、2は被写体である人体、3は放射線分布を画素に分解し、電気信号に変換する固体撮像素子としてのCCD、4はアナログ電気信号をデジタル値に変換するA/D変換器、5はCCD3のオフセット・ゲインのバラツキを補正するオフセット・ゲイン補正部、6は得られた放射線強度に比例したデジタル値を対数値に変換する対数変換部であり、7及び8は画像データを記憶するメモリを示す。このメモリ7、8は信号バス11に接続されている。9は信号処理を行う中央演算処理装置(CPU)であり、バス11を通して、メモリ7、8をアクセスできる。10は処理手順をプログラムとして記録されたFD、HD、MODなどのプログラムを記憶した記憶媒体である。また、最終的なエネルギーサブトラクションされた画像はバス11につながれたメモリ12へ格納される。
【0004】
次に動作について説明する。まず、X線管球1から第1のエネルギー分布でX線を放射し、CCD3で電気信号に変換し、A/D変換器4でデジタル値に変換、オフセット・ゲイン補正部5で補正を行った後、対数変換部6で対数値に比例した値に変換してメモリ7に一旦記憶する。次に第2のエネルギー分布でX線管球1からX線を放射し、同様の手続きでメモリ8に対数変換された画像を一旦記憶する。
【0005】
上記のようにして得られた対数変換された2つの画像のある1つの画素に着目し、その部分には人体中の骨と軟部組織の両方を通過したX線が到来するとする。第1のエネルギー分布における骨の放射線透過率をμ1 、軟部組織の放射線透過率をμ2 とし、それぞれ厚みをt1 、t2 として、その部分の第1の入力放射線強度をI1 とすると、透過する放射線強度H1 は、
1 =I1 exp(−μ1 1 )exp(−μ2 2 ) ………(1)
【0006】
同様に、第2のエネルギー分布における同部分の骨の放射線透過率をμ′1 、軟部組織の放射線透過率をμ′2 とし、それぞれ厚みをt1 、t2 として、その部分の第2の入力放射線強度をI2 とすると、透過する放射線強度H2 は、
2 =I2 exp(−μ′1 1 )exp(−μ′2 2 )………(2)
【0007】
これらの対数変換に比例したデジタルデータが画素値として記憶されるので、対応する画素データh1 、h2
1 =K(μ1 1 +μ2 2 )+C1 ………(3)
2 =K(μ′1 1 +μ′2 2 )+C2 ………(4)
K、C1 、C2 は定数。
【0008】
この式(3)、(4)を連立方程式と捉え、透過率値もしくはそれらの比が明確であれば、骨部の厚みt1 、軟部組織の厚みt2 を、定数としてのオフセット値との和として得られる。このオフセット値は画像全体にほぼ一定であるので、画像を見やすくするため又は負の画素データをなくすために適当なオフセット値を加えるか、反転するなどして、エネルギーサブトラクション画像を得た後、メモリ12へ記憶する。
もちろん、画像は2つの条件で撮影するのではなく、複数の条件で撮影し、それらの適切な演算により、1つもしくは複数の部位を消去・強調した画像を得ることも可能である。
【0009】
【発明が解決しようとする課題】
X線画像を用いての診断には長い歴史があり、その中での経験から、医師は人体特有の通常の画像濃度分布を見慣れており、それを用いた診断の訓練をしている。従って、エネルギーサブトラクションされた画像、例えば骨部分を消去して、血管・腫瘍などの軟部組織のみの画像を抽出したとしても、そられは、(3)、(4)式の連立方程式の解であり、本来のX線透過率とは異なるものを画像化したものなので、画像の階調特性が医師の見慣れないものとなり、診断効率を落とす可能性がある。
【0010】
さらに言えば、エネルギーサプトラクションされた画像は、その撮影条件(2つのX線エネルギー分布)により、出力画像の階調特性は異なってしまうものであり、そのままオフセットのみを修正しただけでは、撮影条件に依存しない安定した階調特性は得難い。
【0011】
そこで、本発明は、エネルギーサブトラクションで得られた画像を階調変換し、本来のX線画像と同様の階調特性に近づけ、診断効率の低下を防ぐことを目的としている。
【0012】
【課題を解決するための手段】
本発明による画像処理装置は、標準画像のヒストグラムを平坦化するための階調変換の逆階調変換機能を有する逆階調変換手段と、入力画像のヒストグラムを平坦化するための階調変換機能を有する階調変換手段と、前記階調変換手段により階調変換した第一の入力画像から、前記階調変換手段により階調変換した第二の入力画像を減算して差分画像を得る減算手段とを有し、前記逆階調変換手段は、前記減算手段で得た差分画像を変換することを特徴とする。
【0013】
本発明の画像処理方法は、標準画像のヒストグラムを平坦化するための階調変換の逆階調変換を行う逆階調変換ステップと、入力画像のヒストグラムを平坦化するための階調変換を行う階調変換ステップと、前記階調変換ステップにより階調変換した第一の入力画像から、前記階調変換ステップにより階調変換した第二の入力画像を減算して差分画像を得る減算ステップとを有し、前記逆階調変換ステップは、前記減算ステップで得た差分画像を変換することを特徴とする。
【0014】
本発明の記憶媒体は、コンピュータを、標準画像のヒストグラムを平坦化するための階調変換の逆階調変換機能を有する逆階調変換手段と、入力画像のヒストグラムを平坦化するための階調変換機能を有する階調変換手段と、前記階調変換手段により階調変換した第一の入力画像から、前記階調変換手段により階調変換した第二の入力画像を減算して差分画像を得る減算手段として機能させるためのプログラムであり、前記逆階調変換手段が前記減算手段で得た差分画像を変換するプログラムを記憶したことを特徴とする。
【0015】
【発明の実施の形態】
まず、本発明を原理的に説明する。
本発明では、エネルギーサブトラクションで得られた画像を階調変換し、本来のX線画像と同様の階調特性に近づけ、診断効率の低下を防ぐために、具体的にはヒストグラム平坦化技術を用い、エネルギーサブトラクションされた画像のヒストグラムを大局的に元の画像又は標準的なX線画像のヒストグラムに合致させる。
【0016】
この手法の第1段階は、基準画像としての元のX線画像(差分する前の画像(両者の平均でも可)又は標準的なX線画像のヒストグラム平坦化を行う階調変換テーブル(第3の階調補正条件)を作成し、その逆変換テーブル(第1の階調補正条件)を作成することである(第1の階調補正条件を求める手段)
【0017】
次の第2の段階では、入力画像としてのエネルギーサブトラクションされた画像に対して、やはりヒストグラム平坦化を行う階調変換テーブル(第2の階調補正条件)を作成し(第2の階調補正条件を求める手段)、同一の画像に対してその階調変換テーブルを通過させ、階調変換を行う。この段階で、一般の任意の画像のヒストグラムは平坦化される。
【0018】
最終段階では、上記ヒストグラムが平坦化されたエネルギーサブトラクション画像を上記元のX線画像又は標準的なX線画像の逆変換テーブルを用いて階調変換する。
【0019】
上記の3段階の手段により、一般の任意の画像のヒストグラムは、大局的に標準画像のヒストグラムと同様の形状に変換される。
【0020】
デジタル画像のヒストグラムは、画像の画素値xの1画像中の全部又は一部の頻度分布として得られ、これをf(x)と表すと、そのf(x)を変形させ、大局的に分布の密度を均一平坦化させる技術がヒストグラム平坦化である。ヒストグラム平坦化は画像データを以下で示す階調変換テーブルH(x)を通過させて実施される。
【0021】
【数1】
Figure 0004006083
【0022】
上記(5)式でM0はデジタルデータの持つ最小値、M1はデジタルデータの持つ最大値を表し、入力のデジタルデータの幅(ビット数)と出力デジタルデータの幅(ビット数)を同じものとしている(例、一般的な12ビットデータの場合M0=0、M1=4095)。この平坦化する階調変換テーブルH(x)によってヒストグラムf(x)を持つ画像、すなわち元になった画像を階調変換すれば大局的に分布の密度を均一平坦化させることは容易に推測される。
【0023】
上述の第1段階では、標準画像のヒストグラムf0 (x)から(5)式を用いてヒストグラム平坦化階調変換テーブルH0 (x)を作り、さらにその逆変換テーブルH0 * (x)を作る。H0 (x)は一般的に解析的な関数ではないため、逆関数である逆変換テーブルH0 * (x)解析的に求め得ないが、入出力が逆になるような変換テーブルは簡便なルーチン作業(プログラム)によって容易に求められる。あるいは、H(x)を解析的な関数に近似して(最小2乗法などによる)H0 * (x)を解析的に近似してもよい。この求められた逆変換テーブルH0 * (x)には、平坦化されたヒストグラムを持つ画像を、逆に標準画像と同等のヒストグラムを持つような画像に変換する機能があることは明らかである。この様子を図1に示す。
【0024】
図1(a)は、元のX線画像又は標準的なX線画像ヒストグラムf0 (x)を表し、横軸が画素値、縦軸が頻度値である。(b)はヒストグラム平坦化階調変換テーブルH0 (x)であり、横軸が入力、縦軸が出力である。(c)はヒストグラムを持つ画像を(b)の入出力特性を持つ変換テーブルを通した出力画像のヒストグラムを模式的に描いたものであり、平坦化されている。
【0025】
この(a)→(b)→(c)という流れは、逆にたどることができ、(c)→(b)→(a)という変換も可能である(当然、限られた階調数を持つテーブルでの変換であるため、失われる情報もないわけではなく、完全に可逆であるとは言い切れない)。このとき(b)階調変換テーブルは縦軸が入力、横軸が出力である逆関数H0 * (x)となる。
【0026】
次に、上述の第2段階では、元のX線画像又は標準的なX線画像とは異なるヒストグラムを持つエネルギーサブトラクションされた画像のヒストグラム平坦化を、やはり(5)式により行う。すなわち、エネルギーサブトラクションされた画像のヒストグラムf1 (x)から(5)式を用いてヒストグラム平坦化階調変換テーブルH1 (x)を作る。この様子を図4で示す。
【0027】
同図で(d)はヒストグラムf1 (x)(横軸:画素値、縦軸:頻度値)であり、(e)がヒストグラム平坦化階調変換テーブルH1 (x)である(横軸:入力、縦軸:出力)。そして、(c)が結果的に平坦化されたヒストグラムを表す。
【0028】
上述の最終段階では、この(c)の平坦なヒストグラムを持つ画像が(b)のH0 * (x)によって変換されるので、結果的に(a)の標準的なヒストグラムを持つ画像に変換されることが、容易に理解できる。
【0029】
以上の説明の中で、注意すべきは画像は離散的なデジタル値であるため、ヒストグラム平坦化テーブルを通しても、完全にヒストグラムが平坦になるのではなく、大局的に見た密度が変化して一定になるだけであり、上述の3段階で得られる結果的な画像のヒストグラムも完全に標準画像のヒストグラムに一致するわけではない。しかし、大局的に見て一致していれば、人間の肉眼ではほぼ一致した特性の画像として認識される。
【0030】
また、これらの処理は、エネルギーサブトラクションされた画像に対してだけではなく、一般の造影剤を用いた(造影剤あり、なしの差分)サブトラクション画像(いわゆる時間サブトラクション)に対しても問題無く有効に働く。
【0031】
次に、上記原理に基づく本発明の実施の形態を説明する。
図2は本発明を実施した画像処理装置としてのエネルギーサブトラクション装置の実施の形態をブロック図として示したものであり、符号1〜12は従来例の図4と同様であるので説明を省略する。図2において、13はメモリ12へ格納されたエネルギーサブトラクションされた画像を階調変換した最終的な画像を格納するメモリであり、14、15は、データ変換を行う参照テーブル(ルックアップテーブル、以下LUT)であり、このLUT14、15を用いて階調変換を行う。
【0032】
次に第1の実施の形態の動作を説明する。
メモリ12へエネルギーサブトラクションされた画像が格納されるまでの手順は従来の技術で説明したので、それ以後の階調変換部分を説明する。また、その手順を図3のフローチャートに示す。
最初のステップS1として、メモリ12に格納してあるエネルギーサブトラクションされた画像のヒストグラムデータから(5)式に従ってヒストグラム平坦化を行うためのLUTデータを作成し、LUT14へ記憶する。
【0033】
次に、原画像であるメモリ7又は8の画像又はそれらを平均した画像のヒストグラムデータから(5)式に従ってヒストグラム平坦化を行うためのLUTデータを作成し、その逆関数を演算した後、LUT15へ記憶する(ステップS2)。最終段階で、エネルギーサブトラクションされた画像データを順次メモリ12から読み出し、LUT14で数値変換した後、変換されたデータをさらにLUT15で数値変換する(階調補正を行う手段)。この変換した画像データを階調変換された画像として順次メモリ13へ格納し、これをメモリ12の全データについて行う(ステップS3〜S6)。
【0034】
以上の操作によりメモリ13に得られるサブトラクション画像は従来のX線画像と同等の階調特性を持つ安定した階調特性を示す画像に変換されたものとなる。
【0035】
尚、本実施の形態においては、LUT14とLUT15とを分解して示したが、これらの数値変換を合成して、一つのLUTとしても同様の効果が得られる。
また、図3のステップS1、S2の順序関係はどちらでも良い。
【0036】
次に、第2の実施の形態を説明する。
第1の実施の形態では、原画像に階調を合わせたが、階調特性は特に原画像に合わせる必要はなく、標準的なX線画像の階調特性、又はエネルギーサブトラクション画像を見るための理想的な階調特性、又は撮影する人体部位に依存した理想的な階調特性に合わせることも可能である。
【0037】
本実施の形態は、階調特性を所望のものにすることにより、撮影条件に依存しない安定した階調特性をもつエネルギーサブトラクション画像を得ることができるようにしたものである。
具体的には、図3のステップS2において、LUT15へ格納する平坦化する逆関数のLUTデータを所望のヒストグラムデータから作る。
また、所望のヒストグラムデータが撮影毎に変わらなければ、このステップS2は2回目からは省略できる。
【0038】
次に、第3の実施の形態を説明する。
本実施の形態は、エネルギーサブトラクションのみでなく、他のサブトラクション、例えば造影剤に注入前後の差分をとる、いわゆる時間サブトラクション画像の階調特性を安定化させることにも適応できるようにしたものである。
【0039】
これらのエネルギーサブトラクションにおいて、2つの異なる撮影条件で画像を得るのではなく、それ以上の複数の条件で得られた画像に対して、適切な演算をして差分又は加算することにより、特定の部位もしくは臓器を消去・強調した画像に対しても同様なヒストグラム変換を行うことができる。
【0040】
尚、本発明を構成する記憶媒体10は図3の処理を含むプログラムを格納しており、この記憶媒体10を他の同等のシステム、装置、計算機などに用いても本発明と同等の効果が得られる。この記憶媒体10としては半導体メモリ、光ディスク、光磁気ディスク、磁気媒体等を用いてよい。
【0041】
【発明の効果】
以上説明したように、本発明によれば、エネルギーサブトラクションもしくは他のサブトラクション画像において、サブトラクション画像のヒストグラム特性を所望の分布に変換することにより、撮影条件にかかわりなく常に安定した階調特性を有する出力画像が得られる。
【図面の簡単な説明】
【図1】本発明を原理的に説明するための特性図である。
【図2】本発明によるエネルギーサブトラクション装置の実施の形態を示すブロック図である。
【図3】動作を示すフローチャートである。
【図4】従来のエネルギーサブトラクション装置のブロック図である。
【符号の説明】
1 X線発生装置
3 X線放射分布/電圧分布変換パネル
4 A/D変換器
6 対数変換装置
7、8、12、13 メモリ
9 中央演算処理装置
10 記憶媒体
14、15 ルックアップテーブル

Claims (5)

  1. 標準画像のヒストグラムを平坦化するための階調変換の逆階調変換機能を有する逆階調変換手段と、
    入力画像のヒストグラムを平坦化するための階調変換機能を有する階調変換手段と、
    前記階調変換手段により階調変換した第一の入力画像から、前記階調変換手段により階調変換した第二の入力画像を減算して差分画像を得る減算手段とを有し、
    前記逆階調変換手段は、前記減算手段で得た差分画像を変換することを特徴とする画像処理装置。
  2. 前記標準画像として、前記第一の入力画像又は前記第二の入力画像を用いることを特徴とする請求項1に記載の画像処理装置。
  3. 前記入力画像は医療画像であり、前記標準画像は、前記入力画像と同一の部位を示すことを特徴とする請求項1に記載の画像処理装置。
  4. 標準画像のヒストグラムを平坦化するための階調変換の逆階調変換を行う逆階調変換ステップと、
    入力画像のヒストグラムを平坦化するための階調変換を行う階調変換ステップと、
    前記階調変換ステップにより階調変換した第一の入力画像から、前記階調変換ステップにより階調変換した第二の入力画像を減算して差分画像を得る減算ステップとを有し、
    前記逆階調変換ステップは、前記減算ステップで得た差分画像を変換することを特徴とする画像処理方法。
  5. コンピュータを、標準画像のヒストグラムを平坦化するための階調変換の逆階調変換機能を有する逆階調変換手段と、入力画像のヒストグラムを平坦化するための階調変換機能を有する階調変換手段と、前記階調変換手段により階調変換した第一の入力画像から、前記階調変換手段により階調変換した第二の入力画像を減算して差分画像を得る減算手段として機能させるためのプログラムであり、前記逆階調変換手段が前記減算手段で得た差分画像を変換するプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
JP09171398A 1997-09-24 1998-04-03 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体 Expired - Fee Related JP4006083B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP09171398A JP4006083B2 (ja) 1998-04-03 1998-04-03 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
US09/153,287 US6449390B1 (en) 1997-09-24 1998-09-15 Image processing apparatus and method therefor
DE69832767T DE69832767D1 (de) 1997-09-24 1998-09-22 Bildverbesserungsgerät und Verfahren
EP98117922A EP0905650B1 (en) 1997-09-24 1998-09-22 Image enhancement processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09171398A JP4006083B2 (ja) 1998-04-03 1998-04-03 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体

Publications (2)

Publication Number Publication Date
JPH11288462A JPH11288462A (ja) 1999-10-19
JP4006083B2 true JP4006083B2 (ja) 2007-11-14

Family

ID=14034163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09171398A Expired - Fee Related JP4006083B2 (ja) 1997-09-24 1998-04-03 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体

Country Status (1)

Country Link
JP (1) JP4006083B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005287773A (ja) * 2004-03-31 2005-10-20 Canon Inc 画像撮影装置及び画像撮影システム
JP5224944B2 (ja) * 2008-07-04 2013-07-03 富士フイルム株式会社 画像補正方法および画像補正装置
KR101767094B1 (ko) * 2012-12-03 2017-08-31 한화테크윈 주식회사 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
JPH11288462A (ja) 1999-10-19

Similar Documents

Publication Publication Date Title
JP3467285B2 (ja) 放射線画像処理方法
JPH0614193A (ja) ディジタル放射線画像における自動階調スケール生成方法
EP0905650B1 (en) Image enhancement processing apparatus and method
US4674108A (en) Digital X-ray medical diagnostic apparatus
US4802093A (en) X-ray image-processing apparatus utilizing grayscale transformation
JPS6182279A (ja) ウインドウ化装置
JP6083990B2 (ja) 放射線撮影装置、その制御方法及びプログラム
JP4006083B2 (ja) 画像処理装置、方法及びコンピュータ読み取り可能な記憶媒体
JP3814864B2 (ja) 放射線画像の画像処理条件決定装置及び画像処理装置並びに放射線画像の画像処理条件決定方法及び画像処理方法
JP4651190B2 (ja) デジタルx線イメージング検出器のダイナミックレンジ拡張システム
JP2006311922A (ja) X線撮影装置
JP3051902B2 (ja) 放射線画像情報読取表示装置
JP2001178686A (ja) 画像表示方法および画像生成装置
JP3754807B2 (ja) 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
JP2976196B2 (ja) 放射線画像情報読取表示装置
JP3940971B2 (ja) 画像出力装置
JP3248238B2 (ja) X線撮像装置
JPH10229519A (ja) X線画像デジタル処理装置
JP2952483B2 (ja) 放射線画像情報読取表示装置
JP3904167B2 (ja) 医用画像用ネットワークシステム
JP2791887B2 (ja) 放射線画像情報読取表示装置
JP2004336662A (ja) 画像処理装置及び方法
JP3038428B2 (ja) 放射線画像情報読取装置
JP3038407B2 (ja) 放射線画像情報読取装置
JP2001111891A (ja) 画像処理装置およびこれを用いたx線診断装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040604

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20070619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070821

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070827

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees