JP3559596B2 - 画像処理装置およびその方法 - Google Patents

画像処理装置およびその方法 Download PDF

Info

Publication number
JP3559596B2
JP3559596B2 JP31806094A JP31806094A JP3559596B2 JP 3559596 B2 JP3559596 B2 JP 3559596B2 JP 31806094 A JP31806094 A JP 31806094A JP 31806094 A JP31806094 A JP 31806094A JP 3559596 B2 JP3559596 B2 JP 3559596B2
Authority
JP
Japan
Prior art keywords
image
holding
distance
image processing
measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP31806094A
Other languages
English (en)
Other versions
JPH08181856A (ja
Inventor
由紀彦 清水
淳一 山川
良弘 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP31806094A priority Critical patent/JP3559596B2/ja
Publication of JPH08181856A publication Critical patent/JPH08181856A/ja
Application granted granted Critical
Publication of JP3559596B2 publication Critical patent/JP3559596B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

【0001】
【産業上の利用分野】
本発明は画像処理装置およびその方法に関し、例えば、多値の粒状の集合をもつカラー画像から特徴量を検出する画像処理装置およびその方法に関するものである。
【0002】
【従来の技術】
本出願人は、フルカラー複写機などによる偽造を防止するために、複写機の出力に偽造追跡用コードを付加する技術を提案しているが、これらのコードを抽出する場合、拡大鏡を用いて目視により特徴量を検出し、その結果に基づいて付加情報を評価・判定するのが一般的である。また、画像を高密度のスキャナで読取って、一旦、メモリに保持した後、このメモリに保持した画像をプリントアウトし、目視により特徴量を検出する方法もある。
【0003】
【発明が解決しようとする課題】
しかし、上記従来例においては、次のような問題点があった。目視による特徴量の検出結果には、当然、その作業者の主観に依存する誤差が含まれている上、複数の画像から特徴量を検出する際は、その計測環境による誤差も大きくなる。これらの誤差を小さくするには、作業者の熟練度が要求される。また、多数の特徴量を検出しなくてはならない場合や、例え特徴量が同一であっても検出対象となる画像が多数ある場合なども、安定した検出結果を維持することが要求される。さらに、検出結果の評価についても、作業者の熟練度や、安定した評価基準を維持することが要求されるのはいうまでもない。
【0004】
このように、拡大鏡を用いて目視により特徴量を検出する方法は、それに要する時間が長くなり、当然、コストも高くなる。さらに、検出結果は多分に誤差を含んでいると考えられるので、それが評価に値するかどうかという疑問も生じることになる。
【0005】
本発明は、上述の問題を解決するためのものであり、原稿画像から付加情報を抽出することができる画像処理装置及びその方法を提供することを目的とする。
【0006】
【課題を解決するための手段】および
【作用】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【0007】
本発明にかかる画像処理装置は、原稿画像をその記録密度より高い密度で読取る読取手段と、前記読取手段によって読取られた画像を保持する保持手段と、前記保持手段に保持された画像から複数の画素が連結した連結領域を抽出し、その連結領域の面積の分布から算出した閾値により該画像を二値化した後、前記連結領域の代表位置を算出する算出手段と、前記算出手段によって算出された代表位置間の距離を計測する計測手段と、前記計測手段によって計測された距離に基づいて前記保持手段に保持された画像から付加情報を抽出する抽出手段とを有することを特徴とする。
【0008】
また、本発明にかかる画像処理方法は、原稿画像をその記録密度より高い密度で読取る読取ステップと、前記読取ステップで読取った画像を保持手段に保持する保持ステップと、前記保持手段に保持された画像から複数の画素が連結した連結領域を抽出し、その連結領域の面積の分布から算出した閾値により該画像を二値化した後、前記連結領域の代表位置を算出する算出ステップと、前記算出ステップで算出した代表位置間の距離を計測する計測ステップと、前記計測ステップで計測した距離に基づいて前記保持手段に保持された画像から付加情報を抽出する抽出ステップとを有することを特徴とする。
【0009】
【実施例】
上述の問題を解決する一方法として、次の方法が考えられる。計測に耐え得る解像度のスキャナを用いて原稿画像を読取り、そのRGBカラー画像を画像処理装置へ入力して、RGBカラーからインクの色版系であるCMYKカラーに変換する。そして、情報抽出に最適な一つの色版、すなわち一枚の濃淡画像を選択して、その濃淡画像を二値化した二値画像から連結領域を抽出し、その代表位置(例えば重心)を求める。そして、得られた代表位置から、付加情報を抽出するための指標(例えば基準位置や回転角などのキー情報)を求め、それらに基づいて、偽造追跡情報などの付加情報を抽出する。
【0010】
ここで、付加情報を抽出するキー情報は、作業者が与えた、あるいは自動的に得られた、基準位置や回転角で構成されるが、これらの情報には、一般的に、誤差が含まれるているので、得られた一つのキー情報だけでは、必ずしも、正しい付加情報を抽出することができるとは限らない。つまり、正しい付加情報が得られるまでに、何度か試行錯誤を繰返さなくてはならない場合がある。
【0011】
そこで、本実施例においては、最初に得られたキー情報(例えば基準位置や回転角)とその近傍の値とを用いて付加情報を抽出することにより、複数の抽出結果、すなわち複数の付加情報候補を求めて、より短時間に正しい付加情報を抽出しようとするものである。
【0012】
以下、本発明にかかる一実施例の画像処理装置を図面を参照して詳細に説明する。なお、以下では、本発明を偽造追跡用コードを抽出する装置に適用する例を説明するが、本発明はこれに限らず、多値の粒状の集合をもつカラー画像から特徴量を検出し、その検出結果を評価・判定する装置であれば、どんな目的・用途の装置にも適用することができるのはいうまでもない。
【0013】
[構成]
図1は本発明にかかる一実施例の画像処理装置の構成例を示すブロック図で、例えばカラーインクジェットプリンタなどの偽造追跡用コードを抽出する装置である。
【0014】
同図において、1は高密度のスキャナで、例えば1,200dpiから2,000dpiの密度で原稿画像を読取り、例えばRGB各8ビット計24ビットのディジタル画像データに変換して出力するカラー画像入装置である。なお、スキャナ1の分解能は、読取る原稿画像の記録密度より充分高いことが要求され、例えば400dpiの画像を読取るには、1,200dpiから2,000dpiの分解能が必要になる。
【0015】
2はコンピュータで、メモリ3に予め格納されたプログラムなどに従って装置(システム)全体を制御するとともに、後述する画像処理を行なう。なお、メモリ3は、スキャナ1から出力されたディジタル画像データの格納やワークエリアとしても使用される。
【0016】
4はディスプレイで、一連の作業を行う際に処理結果画像などを表示する。5は入力デバイスで、キーボードやマウスなどのポインティングデバイスから構成される。
【0017】
[付加情報]
カラーインクジェットプリンタは、四つのノズルから吐出される各色のインク、すなわちシアン,マゼンタ,イエロー,ブラックの四色のインクを記録紙上に付着させることによってカラー画像を形成する。このようなカラーインクジェットプリンタにおいて、情報を付加する一つの方法として、次の方法がある。
【0018】
図2および図3は情報を付加する方法を説明する図である。図2に示すように、記録密度によって決まるドット間の最小距離を単位として、隣接する八単位距離の近傍に連結するドットが存在しないドットを孤立ドットとして、図3に示すように、記録時の主走査方向(x方向)に、孤立ドットを偶数間隔で配置したラインを‘0’と定義し、奇数間隔で配置したラインを‘1’と定義する。このようにすれば、所定数のラインによりコードを表すことができ、画像に情報を付加することができる。なお、この方法で付加したコードは、例えば偽造追跡に利用されるが、これに限らず、カラーインクジェットプリンタの性能評価など、任意の目的・用途に利用可能である。
【0019】
[抽出処理]
図4は付加情報を抽出する様子を説明する図である。
【0020】
上述した付加情報を抽出するために、その記録密度よりも充分高い解像度のスキャナでプリントアウトを読取り、多値画像としてコンピュータ2へ入力する。コンピュータ2は、この多値画像を二値画像に変換し、その二値画像における各連結領域の例えば重心を、対応するドットの代表位置として計測する。理想的な孤立ドットの連結数と、読取解像度に対応する距離は予めわかっているので、オペレータから与えられた基準位置に基づいて、その連結数が孤立ドットとみなせる範囲にある主走査方向に隣接するドットの代表位置間の距離を求める。以上の処理により、付加情報を抽出することができる。
【0021】
しかしながら、画像を読取る際に、オペレータがスキャナの読取り主走査方向と、印刷時の主走査方向とを必ずしも一致させることができるとは限らないので、オペレータから与えられた基準位置から孤立ドット間の距離を求めるだけでなく、基準位置から垂直方向(つまり副走査方向)に微小距離を加えた位置を、新たな基準位置とした孤立ドット間の距離も求め、さらに、二値画像の中心を軸として微小角度の回転を与えた場合についても、各基準位置において孤立ドット間の距離を求める。このような処理を加えることにより、オペレータは付加情報の候補を自動的に得ることができ、より正しい付加情報を容易に得ることができる。
【0022】
図5は付加情報の候補群を抽出する処理手順の一例を示すフローチャートである。
【0023】
まず、ステップS1で、オペレータは、被読取原稿をスキャナ1にセットする。このとき、原稿画像の形成方向、つまり原稿画像が形成されたときのインクジェットヘッドの走査方向と、スキャナ1の読取方向とが所定の関係になるように、被読取原稿セットする。続いて、オペレータが入力デバイス5により原稿のセットが完了したこと(または処理開始)を指示すると、コンピュータ2は、スキャナ1に制御信号を送って原稿画像を読取らせる。そして、コンピュータ2は、ステップS2でスキャナ1から出力されたディジタル画像データ(例えば8ビットの濃度範囲が0(黒)から255(白)の多値画像)をメモリ3へ格納し、ステップS3でその多値画像を二値化する。なお、二値化方法の詳細は後述するが、入力された多値画像にデータ特性のばらつきがあっても、その出力における各連結領域の大きさを、予め定めた大きさ付近にほぼ一定化できる方法である。
【0024】
続いて、コンピュータ2は、ステップS4で二値画像から各連結領域の重心を求め、ステップS5で、入力デバイス5から与えられた基準位置(Xu,Yu)に基づいて実際の基準位置(Xr,Yr)を設定し、ステップS6で入力デバイス5から与えられた回転角θuに基づいて実際の回転角θrを設定し、各連結領域の重心位置を画像中心を軸として回転する。
【0025】
次に、ステップS7で、図6に一例を示すように、設定した基準位置と回転後の重心位置とに基づいて、記録密度を単位とする格子交点に、重心位置を近似する。そして、ステップS8で、各水平ライン(主走査方向)毎に格子幅を1として、格子交点に近似された隣接する重心位置間の距離を求め、ステップS9で、各水平ライン毎に奇数間隔が多いか偶数間隔が多いかを判定して、その結果からそのラインが表す情報(以下「ライン情報」という)を決定する。
【0026】
続いて、ステップS10からS17において、それぞれ式(1)から(8)によって求められる基準位置と回転角を用いて、ステップS7からS9の処理を繰返し実行する。
Xr = Xu, Yr = Yu + β, θr = θu …(1)
Xr = Xu, Yr = Yu − β, θr = θu …(2)
Xr = Xu, Yr = Yu, θr = θu + α …(3)
Xr = Xu, Yr = Yu + β, θr = θu + α …(4)
Xr = Xu, Yr = Yu − β, θr = θu + α …(5)
Xr = Xu, Yr = Yu, θr = θu − α …(6)
Xr = Xu, Yr = Yu + β, θr = θu − α …(7)
Xr = Xu, Yr = Yu − β, θr = θu − α …(8)
ただし、α: 微小角度(例えば0.05°)
β: 微小距離(例えば1)
【0027】
以上の九つのパターンについて付加情報の候補が得られると、コンピュータ2は、ステップS18で、それら候補をすべてディスプレイ4に表示するので、オペレータは、表示された付加情報の候補群から最も正しい情報を選択することができる。
【0028】
●二値化方法
図8は二値化方法の一例を説明するフローチャートで、コンピュータ2によって実行されるものである。
【0029】
ステップS201で、指定された濃淡画像を、図9に示すような例えば四つの領域に分割した部分画像を作成する。なお、図9の例は、画素数4n(nは自然数)からなる指定された濃淡画像Aを、画素数nの四つの部分画像Ak(k=1,2,3,4)に分割した例を示している。
【0030】
次に、ステップS202で、部分画像を形成する全画素の濃度値の和を画素数nで割ることにより、部分画像Akそれぞれの平均濃度値Dak(k=1,2,3,4)を算出する。なお、部分画像Akの平均濃度値Dakは、そのi番目の画素の濃度をPiとすれば式(9)によって求められる。
Dak = 1/n・ΣPi …(9)
ただし、Σ演算はi=1からnまで
【0031】
次に、ステップS203で、得られた平均濃度値Dakと、予め設定された平均濃度値の範囲とを比較して、平均濃度値Dakが設定範囲内に入る部分画像を抽出し、さらに、設定範囲の中間値に最も近い平均濃度値Dakをもつ部分画像を選択して、これを二値化閾値決定用の部分画像とする。
【0032】
図10はステップS203の処理の概念を示す図で、その横軸は濃度値を示し、各平均濃度値Dakは図のように分布している。破線で示すのは設定範囲であり、この範囲に含まれるには部分画像A2とA3であるが、設定範囲の中間値に最も近いのはA3であり、この場合、部分画像A3が閾値決定用の小領域として決定される。
【0033】
なお、平均濃度値の範囲を予め設定する方法は、例えば、次のようなものである。図11は256階調の濃淡画像のサンプルについてそれらの平均濃度値および評価適用性の一例を示す図で、あるインクジェットプリンタについて調査したものである。同図において、評価適用性が「○」のものは評価用サンプル画像として採用したものであり、「×」のものは不採用としたものである。例えば、採用サンプルの下限とした平均濃度値162と、不採用の上限とした平均濃度値149の中間値155を用いて、平均濃度値の範囲を155以上255未満に設定する。
【0034】
なお、評価対象のインクジェットプリンタが明らかな場合は、そのプリンタのサンプル画像によって平均濃度値の範囲を設定すればよい。また、評価対象のインクジェットプリンタが不明な場合は、可能性のあるプリンタすべてのサンプル画像によって平均濃度値の範囲を設定することになる。
【0035】
次に、ステップS204で二値化閾値などを算出し、ステップS205でその閾値の妥当性を判定して、妥当であればステップS206で二値化を実行し、そうでなければステップS204へ戻り、妥当な閾値が得られるまでステップS204とS205とを繰り返す。
【0036】
図12はステップS204の処理の詳細例を示すフローチャートである。
【0037】
まず、ステップS211で、全画素数に対して、その濃度値が閾値以上の画素の割合pになるような閾値をpタイル法により設定し、これを初期閾値Th(0)とする。続いて、ステップS212で選択した部分画像(小領域)を閾値Th(0)で二値化し、ステップS213で、生成された二値画像から、ある画素が‘1’であるときに隣接する画素が‘1’であるような連結領域を抽出する。続いて、ステップS214で抽出された各連結領域の面積(画素数)を求め、ステップS215でその分布を求め、ステップS216で連結領域面積の最頻値Fを得る。
【0038】
なお、図には示さないが、ステップS205で妥当でないと判定されて図12に示す処理へ戻った場合は、次に示す漸化式によりステップS211で閾値Th(n)(nは自然数)を求める。なお、前述したように、本実施例においては、孤立ドットの平均面積を、予め、連結領域面積Atとして設定する。
Th(n) = Th(n−1) + α{At − F(n)} …(10)
ただし、α: 正の定数
【0039】
ステップS205における判定は、次の何れかの条件を満足すれば妥当であると判定する。なお、At−F(m)の絶対値が所定値以下になるということは、式(10)が収束するということである。
(1) |At − F(m)| ≦ ε(所定値)
(2) m ≧ M(総二値化回数)
ただし、m: 0または正の整数
【0040】
このようにして得られた閾値Thを用いて、ステップS206において、ステップS103で指定された濃淡画像を二値化する。
【0041】
以上説明したように、本実施例によれば、与えられた一つのキー情報(例えば基準位置や回転角)に対して、そのキー情報に基づいて付加情報を抽出するほか、そのキー情報の近傍の値にも基づいて付加情報を抽出して、複数の付加情報候補を表示するので、より正しい付加情報を容易に得ることができ、正答率を高めることができる。
【0042】
【変形例】
前述した実施例においては、例えば微小距離βを1に微小角度を0.05°に設定する例を説明したが、より正答率を向上するために、基準位置のオフセット幅を±1より大きくし、回転角の範囲を±0.05°より広く、あるいは、より細かくすることも可能である。
【0043】
また、実施例においては、連結領域の代表位置として重心を用いたが、より高速に求められる位置、例えば、図7に一例を示す凸包含の中心をその代表位置とすることも可能である。
【0044】
さらに、前述した実施例においては、スキャナから入力する画像をRGB画像としたが、これに限らず、最初から濃淡画像を入力してもよい。
【0045】
なお上述した実施例においては、インクジェットプリンタから出力された画像を例に説明したが、レーザビームプリンタや熱転写プリンタなどから出力された画像にも適用することができる。とくに、インクジェットプリンタには、熱エネルギによる膜沸騰を利用して液滴を吐出させるタイプのヘッドを用いる、所謂、バブルジェット方式のプリンタが含まれることはいうまでもない。
【0046】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【0047】
また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【0048】
【発明の効果】
以上説明したように、本発明によれば、原稿画像から付加情報を抽出する画像処理装置およびその方法を提供することができる。
【図面の簡単な説明】
【図1】本発明にかかる一実施例の画像処理装置の構成例を示すブロック図、
【図2】情報を付加する方法を説明する図、
【図3】情報を付加する方法を説明する図、
【図4】付加情報を抽出する様子を説明する図、
【図5】付加情報の候補群を抽出する処理手順の一例を示すフローチャート、
【図6】重心位置の近似方法の一例を示す図、
【図7】他の代表位置の一例を示す図、
【図8】二値化方法の一例を説明するフローチャート、
【図9】四つの領域に分割した部分画像の例、
【図10】二値化閾値決定用の部分画像を決定する処理の概念を示す図、
【図11】濃淡画像のサンプルについてそれらの平均濃度値および評価適用性の一例を示す図、
【図12】図8に示すステップS204の処理の詳細例を示すフローチャートである。
【符号の説明】
1 スキャナ
2 コンピュータ
3 メモリ
4 ディスプレイ
5 入力デバイス

Claims (6)

  1. 原稿画像をその記録密度より高い密度で読取る読取手段と、
    前記読取手段によって読取られた画像を保持する保持手段と、
    前記保持手段に保持された画像から複数の画素が連結した連結領域を抽出し、その連結領域の面積の分布から算出した閾値により該画像を二値化した後、前記連結領域の代表位置を算出する算出手段と、
    前記算出手段によって算出された代表位置間の距離を計測する計測手段と、
    前記計測手段によって計測された距離に基づいて前記保持手段に保持された画像から付加情報を抽出する抽出手段と、
    を有することを特徴とする画像処理装置。
  2. 前記計測手段は前記代表位置間の距離を計測するための指標を設定する設定部を含むことを特徴とする請求項1に記載された画像処理装置。
  3. 前記指標は計測する代表位置を示す基準位置および基準角度であることを特徴とする請求項に記載された画像処理装置。
  4. 前記計測手段は、前記設定部によって設定された指標に基づいて前記代表位置間の距離を計測するとともに、該指標を微小変化させた情報に基づいて該代表位置間の距離を計測することを特徴とする請求項または請求項に記載された画像処理装置。
  5. 前記抽出手段は前記計測手段によって計測された複数の距離に基づいて複数の付加情報候補を抽出することを特徴とする請求項に記載された画像処理装置。
  6. 原稿画像をその記録密度より高い密度で読取る読取ステップと、
    前記読取ステップで読取った画像を保持手段に保持する保持ステップと、
    前記保持手段に保持された画像から複数の画素が連結した連結領域を抽出し、その連結領域の面積の分布から算出した閾値により該画像を二値化した後、前記連結領域の代表位置を算出する算出ステップと、
    前記算出ステップで算出した代表位置間の距離を計測する計測ステップと、
    前記計測ステップで計測した距離に基づいて前記保持手段に保持された画像から付加情報を抽出する抽出ステップと、
    を有することを特徴とする画像処理方法。
JP31806094A 1994-12-21 1994-12-21 画像処理装置およびその方法 Expired - Fee Related JP3559596B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31806094A JP3559596B2 (ja) 1994-12-21 1994-12-21 画像処理装置およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31806094A JP3559596B2 (ja) 1994-12-21 1994-12-21 画像処理装置およびその方法

Publications (2)

Publication Number Publication Date
JPH08181856A JPH08181856A (ja) 1996-07-12
JP3559596B2 true JP3559596B2 (ja) 2004-09-02

Family

ID=18095037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31806094A Expired - Fee Related JP3559596B2 (ja) 1994-12-21 1994-12-21 画像処理装置およびその方法

Country Status (1)

Country Link
JP (1) JP3559596B2 (ja)

Also Published As

Publication number Publication date
JPH08181856A (ja) 1996-07-12

Similar Documents

Publication Publication Date Title
US5471549A (en) Method of detecting and correcting a direction of image data and document image filing system employing the same
US7938330B2 (en) Methods and execution programs for reading and displaying a two-dimensional code
US7587066B2 (en) Method for detecting fraud in a value document such as a check
US6571001B2 (en) System for detecting photocopied or laser-printed documents
US6766056B1 (en) Image pattern detection method and apparatus
US5327260A (en) Image processing apparatus for smoothing edges of image
US8306325B2 (en) Text character identification system and method thereof
US20050018845A1 (en) Electronic watermark embedding device, electronic watermark detection device, electronic watermark embedding method, and electronic watermark detection method
US5566245A (en) The performance of a printer or an imaging system using transform-based quality measures
JPH09274660A (ja) 画像認識方法及び装置並びにそれを搭載した複写機及びスキャナ
CN1964422A (zh) 水印信息嵌入装置、水印信息嵌入方法、及计算机程序
US7438231B2 (en) Method for detecting forged barcodes
CN100568265C (zh) 字符识别装置、字符识别方法
US6501565B1 (en) Method and apparatus for smoothing text outlines
US7911653B2 (en) Device using low visibility encoded image to manage copy history
CN101848305A (zh) 图像处理装置和图像形成装置
JP3980983B2 (ja) 透かし情報埋め込み方法,透かし情報検出方法,透かし情報埋め込み装置,及び,透かし情報検出装置
JP4140519B2 (ja) 画像処理装置、プログラムおよび記録媒体
JP3559596B2 (ja) 画像処理装置およびその方法
EP0522768B1 (en) Image processor
US7142733B1 (en) Document processing method, recording medium recording document processing program and document processing device
US6400834B1 (en) Method for detecting photocopied or laser-printed documents
JPH06187496A (ja) 印字識別方法
US11200470B2 (en) Method for checking a surface of an object, which surface is imprinted and/or structured in raster shape, and an object
RU2446464C2 (ru) Способ и система встраивания и извлечения скрытых данных в печатаемых документах

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20031222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040524

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees