JP4309986B2 - ボールド体文字を区別する方法及び装置 - Google Patents

ボールド体文字を区別する方法及び装置 Download PDF

Info

Publication number
JP4309986B2
JP4309986B2 JP03256199A JP3256199A JP4309986B2 JP 4309986 B2 JP4309986 B2 JP 4309986B2 JP 03256199 A JP03256199 A JP 03256199A JP 3256199 A JP3256199 A JP 3256199A JP 4309986 B2 JP4309986 B2 JP 4309986B2
Authority
JP
Japan
Prior art keywords
total number
symbol
pixels
run
symbols
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03256199A
Other languages
English (en)
Other versions
JPH11272798A (ja
Inventor
ダビーズ ダニエル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xerox Corp
Original Assignee
Xerox Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xerox Corp filed Critical Xerox Corp
Publication of JPH11272798A publication Critical patent/JPH11272798A/ja
Application granted granted Critical
Publication of JP4309986B2 publication Critical patent/JP4309986B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/005Statistical coding, e.g. Huffman, run length coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/242Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G06V30/244Division of the character sequences into groups prior to recognition; Selection of dictionaries using graphical properties, e.g. alphabet type or font
    • G06V30/245Font recognition

Description

【0001】
【発明の属する技術分野】
本発明は、スキャンされたテキストイメージの圧縮に関する。特に、本発明は記号識別に使用される記号のストローク幅の判別に関する。
【0002】
【従来の技術】
イメージをデジタル化して使用する場合の主な障害は、サイズである。8.5″x11″のイメージを300ドット/インチ(dpi)の解像度で表示すると、約800万ピクセルが含まれる。スキャンイメージを2進化すればビット/ピクセルは1に減少するが、それでも、同じイメージを記憶するためには1メガバイトのメモリが必要になる。圧縮技術は、通常、無損失または有損失という特徴で分類する。無損失圧縮の場合、圧縮時及び後続の伸張時にデータが失われることはない。これに対し、有損失圧縮の場合、一定のデータ量が失われる。しかし、データを圧縮しても内容は伸張後も実際には変わらないため、この損失は容認される。
【0003】
2進イメージの一般的な無損失圧縮技術(CCITTグループ3またはグループ4など)では、2進イメージの圧縮率は10から20である。この技術でファイルを作成すると、同等のイメージを合成電子フォームで作成する場合と比べ、ファイルサイズは非常に大きなものになる。
【0004】
大部分の文書には、テキストが含まれている。2進イメージのテキストの圧縮は、例えば、光学文字認識でテキストストリームを作成し、特定のテキスト圧縮方法でそのテキストストリームを圧縮し、その結果を記憶することで行なう。しかし、光学文字認識時の文字、フォント、字体、及び位置の選択が間違っていて、所望の結果が得られないことがしばしばある。
【0005】
これらのアプリケーションで公開しているシステム及び方法では、ランレングス記号抽出を実行し、横方向及び縦方向のランレングス情報を基に記号を等価クラスに分類する。抽出記号と基準記号との突合せに使用される形状主体の分類基準は、対応する基準記号テンプレートにより定義されている。この基準記号テンプレートには複数の水平及び垂直テンプレートグループが含まれていて、各グループでは、1つまたは複数の記号のラン(run)が一致すれば記号を特定するための基準を定義している。形状主体の分類基準では、ランの終端から簡単に計算できる量を使用している。
【0006】
形状主体の分類基準には、サイズ、黒ピクセルの数(黒色部)、縁以外の個所の黒のピクセル数(内部)、記号の傾き計測値、及び丸さ及び四角さの計測値(量)も含まれる。形状主体の基準に加えてこれらの計測値を使用することで、使用基準に合った結果を得ることができる。
【0007】
【発明が解決しようとする課題】
しかし、形状主体の方法では、ボールド体文字と非ボールド体文字を区別するのに問題がある。文字が小さい場合、ボールド体文字のストロークは通常の文字の幅よりわずか1ピクセル太いだけである。公開されている方法では1ピクセル分のノイズを常に考慮しているため、単純な形状主体方法の場合、小さな文字のボールド体と非ボールド体とを常に区別できるとは限らない。したがって、ボールド体と非ボールド体とを区別するためには、さらに効果的な方法が必要とされている。
【0008】
【課題を解決するための手段】
本発明は、ボールド体文字と非ボールド体文字を区別する方法及び装置を提供する。
【0009】
また、本発明はスキャンされた記号を等価クラスに分類するための方法も改善している。
【0010】
本発明の方法及び装置は、ランレングス記号抽出を実行し、横方向及び縦方向のランレングス情報に従って記号を分類する。援用アプリケーションでは各文字の黒色部を計測するだけであるが、本発明の方法及び装置では、各文字のストローク幅を計測し、その文字がボールド体か非ボールド体かを判別する。
【0011】
ストローク幅を計測することで、句読点が非常に小さい場合でも、効率的に区別することができる。従来は、小さな句読点を別の小さな句読点と区別するために、内部のピクセル数を判別する必要があった。小さな句読点の場合ピクセルの合計数及びサイズは同じであるため、テールがある記号(コンマやアポストロフィなど)とほぼ同じサイズの記号とを区別するためには、縁でない部分のピクセル数が必要であった。文字のストローク幅を計測することで小さな文字の形をより明確に判別できるようになるため、小さな文字と別の小さな文字とを区別するためにその内部ピクセル数を判別する必要はなくなる。
【0012】
特に、本発明は、スキャンテキストイメージに含まれているボールド体記号と通常の字体記号とを記号のストローク幅を使用して区別できるようにしている。本発明の好ましい方法には、記号のスキャン、記号のヒストグラムの生成、ヒストグラムからのピクセル数の合計の計算、ピクセルの合計に使用されたラン数の合計の計算、及びこれら2つの合計を使用して記号のストローク幅を決定するステップが含まれる。
【0013】
【発明の実施の形態】
本発明を実施するコンピュータベースシステムを、図1を参照して説明する。図1では、複数の構成要素が、バス101を介してコンピュータベースシステムに結合されている。ここで図示しているバス101は、本発明を分かりやすくするために簡素化されている。バス101には、複数の並行バス(例えば、アドレス、データ、及びステータスバス)及びバスの階層(例えば、プロセッサバス、ローカルバス、及び入出力バス)が含まれていてもよい。コンピュータシステムにはさらにプロセッサ102が含まれていて、内部メモリ103からバス101を介して取り出される命令を実行できるようにしている。これら命令はソフトウェアで作成し、図5のフローチャート及び援用アプリケーションに含まれているフローチャートで概説する処理ステップを実行できるようにする方が良い。ソフトウェアは、Cプログラミング言語で作成することが望ましい。ヒストグラム作成部112、記号分類部113、及び統合部114の機能は、公知のソフトウェアまたは他の手段で実行できる。内部メモリ103は、通常、RAM及びROM(あるいはその両方)を組み合わせて作成する。プロセッサ102及び内部メモリROM103は、個別構成部品でも良く、また特定用途向けIC(ASIC)などの単一の集積デバイスでも良い。
【0014】
また、英数字入力データを入力するためのキーボード104、データを記憶するための外部記憶部105、カーソルを操作するためのカーソル制御装置106、及び表示出力データを表示するための表示装置107も、バス101に結合されている。キーボード104は通常は標準のQWERTYキーボードであるが、電話などのキーパッドでも構わない。外部記憶部105は、固定または取り外し可能磁気ドライブまたは光学ディスクドライブである。カーソル制御装置106には通常はボタンまたはスイッチが関連付けられていて、特定の機能の実行をプログラムできるようになっている。さらに、スキャナ108もバス101に結合されている。スキャナ108は、媒体のビットマップ表現を作成する手段である(つまり、スキャンされた文書イメージ)。
【0015】
バス101に結合できる他のオプション要素としては、プリンタ109、ファクシミリ要素110、及びネットワーク接続部111がある。プリンタ109は、ビットマップ表現の印刷に使用する。ファクシミリ要素110には特定の要素を組み込み、本発明を使用して圧縮されたイメージデータを送信するために使用することができる。また、ファクシミリ要素110には特定の要素を組み込み、本発明を使用して圧縮された文書イメージを伸張するために使用することもできる。ネットワーク接続部111は、イメージデータが含まれたデータの送受信に使用する。したがって、本発明により作成されるイメージデータは、受信されたファックスを介してまたはネットワークにより、スキャナ108から入手できる。
【0016】
ヒストグラム作成部112は、抽出記号のヒストグラムを作成する。記号分類部113は抽出記号を分類し、固有な基準記号で表現される幾つかの等価クラスにそれら抽出記号を分ける。作成される等価クラス数は、通常は、抽出記号の合計数より少ない。作成される出力分類表には、基準記号ID/位置の組が含まれ、その後ろに基準記号の辞書が続く。
【0017】
統合部114は等価クラス数を減らすことで等価クラスセットを統合し、辞書のサイズを縮小することでイメージデータを圧縮する。統合操作の実行方法は、記号と基準記号との比較操作とほぼ同じである。通常、記号の突合せ操作に費やす作業量が多ければ多いほど、一致する記号も増える。効率を考慮した場合、この作業は生(未処理)記号の全体に対し実行するよりは、比較的小さな等価クラスのセットに対し実行した方が効果的である。
【0018】
イメージ伸張時に、基準記号ID/位置の各組を処理し、識別された基準記号を指定した場所に配置する。これを、すべての組に対し継続して実行する。突合せ処理中に基準記号が元の記号に置き換わるため、この種の圧縮タイプは有損失圧縮と呼ばれる。この置換えにもかかわらず、イメージの本質は変わらない。
【0019】
記号分類部113は、ビットマップではなく記号を表すランを分析し、記号を直接分類する。ただし、記号分類部113は幅及び高さなどの記号の形状はそのまま分類で使用する。さらに詳細な記号の形状を調べるために、記号分類部113は各記号のラン終端位置と対応する正しい終端場所の範囲とを比較する。この範囲は、基準記号内で隣接する3本のスキャン行の対応するグループを調べることで計算したものである。十分な精度を上げるために、水平ランから垂直ランを作成し、両方のランのセットを分類に使用する。
【0020】
図1に示すように、コンピュータベースシステムは、できればプログラムされた汎用コンピュータで実行する方が望ましい。しかし、コンピュータベースシステムは、専用コンピュータ、プログラムされたマイクロプロセッサまたはマイクロコントローラ及び周辺集積回路要素、ASICまたは他の集積回路、個別要素回路などのハードワイヤード電子または論理回路、PLD、PLA、FPGA、またはPALなどのプログラマブル論理デバイスで実行することもできる。一般的に、本発明の方法を実行可能な有限状態マシンを補完できる装置であれば、コンピュータベースシステムを実行するために使用できる。
【0021】
形状主体の分類基準では、ラン終端から簡単に計算できる数量を使用する。これらの終端を利用するため、ビットマップの場合に比較し、記号を数値的に測定して生成することが容易である。形状主体の分類基準には、個別記号の幅と高さ、等価クラスの幅と高さ、ストロークの幅、傾き、及び水平及び垂直量が含まれる。
【0022】
記号の幅と高さは、記号を囲む境界ボックスで指定する。記号の幅と高さを使用して比較対象となる等価クラスのサブセットを選択し、適用する記号形状テストを決定する。好適な実施形態においては、等価クラスの基準記号を比較操作で使用するためには、基準記号は記号の幅及び高さの±2ピクセル以内でなければならない。
【0023】
大部分の基本テストは、大きな記号を区別するためには適切である。記号が小さい場合は、微妙な形状が重要になり、さらにテストを続ける必要がある。小さな記号は、通常、幅または高さが20ピクセル以下の記号である。
【0024】
等価クラスの幅及び高さの範囲の判別結果は、以下に述べる2つの操作で使用する。まず、非常に小さな記号の場合は一致する幅と高さの範囲が狭いため、最小許容幅及び最大及び高さを各クラスごとに記録されている。これらの範囲に収まらない記号は、このクラスには組み込まない。次に、等価クラスの統合化処理時に幅と高さの範囲を使用する。この判別作業により、各統合クラスの最小及び最大許容幅及び高さが決定される。
【0025】
文字または記号のストローク幅を決定するとき、垂直ランと水平ランを分析する。水平ランの分析は垂直ランの分析と同じであるため、水平ランの分析だけを図示し、説明する。水平ランは、ある状態のピクセルの連続行である。図2は、スキャン行201−207で形成される“o”の水平ランを示したものである。スキャン行201と207の水平ランにはそれぞれ5ピクセル含まれ、スキャン行202と206の4つの水平ランにはそれぞれ1ピクセル含まれ、スキャン行203−205の水平ランにはそれぞれ2ピクセル含まれている。短い長さの水平ラン、つまりスキャン行202−206の水平ランは、この文字の縦方向のストロークを表している。
【0026】
図3は、図2に示した記号のヒストグラムである。このヒストグラムはランレングスを横軸にし、その長さのラン数を示している。図4も、図2に示した記号のヒストグラムである。このヒストグラムはランレングスを横軸にし、その長さのランに含まれる合計ピクセル数を示している。特定のランレングスの合計ピクセル数は、そのランレングスにそのレングスのラン数を掛けて求めることができる。
【0027】
最短のランレングスから最長のランレングスの方向に、各ランレングスごとに、そのレングスのランに含まれるピクセルの合計数を第1の移動合計に加える。第1の移動合計は、その合計が記号の黒色部全体のかなりの部分を占めるようになったら停止する。記号の黒色部全体は、その記号を表すために必要な黒のピクセルの合計数である。できれば、第1の移動合計が黒色部全体の少なくとも半分になった時点で合計操作を停止する。しかし、移動合計は他の基準によって停止しても構わない。
【0028】
第2の移動合計は、第1の移動合計を求めるために使用したラン数の合計である。文字のストローク幅は、第1の移動合計を第2の移動合計で除算した値である。抽出記号のストローク幅と等価クラスの基準記号の差が0.5ピクセル以下の場合だけ、その抽出記号を特定の等価クラスに分類する。ストローク幅の増減許容量が1ピクセルの場合は、ボールド体記号の凹部や通常記号の凸部があっても、ストローク幅は一致してしまう。
【0029】
図2に示されている記号を例に使用すると、黒色部のピクセル数は26で、第1の移動合計は16である。第1の移動合計は、ランレングスが1と2のランのピクセル数を加えた後に停止する。これは、黒色部全体のピクセル数である26の半分より16の方が大きいからである。この例の場合、第2の移動合計は10である。第2の移動合計は、ランレングスが1と2のラン数の合計である。したがって、図2に示してある記号のストローク幅は16/10、つまり1.60になる。
【0030】
本発明の好ましい方法では、プロセッサ102は、イメージ文書に含まれている記号をスキャンするようにスキャナ108に指示する。また、プロセッサ102はヒストグラム作成部112に対し、記号の第1のヒストグラム(ランレングスを横軸にした各レングスのラン数)と第2のヒストグラム(ランレングスを横軸にした各レングスのランに含まれるピクセルの合計数)を作成するように指示する。プロセッサ102は、黒色部全体、第1の移動合計、第2の移動合計、及び記号のストローク幅を決定する。プロセッサ102は、記号分類部113に対しその記号を等価クラスに分類するように指示するか、または新しい等価クラスを作成する。
【0031】
本発明の好ましい方法を図5を参照して説明する。
【0032】
この方法はステップS500から開始する。ステップS510では、イメージ文書に含まれる記号をスキャンする。ステップS520では、記号の第1のヒストグラム(ランレングスを横軸にしたレングスのラン数)及び第2のヒストグラム(ランレングスを横軸にしたレングスのランの合計ピクセル数)を生成する。ステップS530では、黒色部の合計ピクセル数、第1の移動合計と第2の移動合計、および記号のストローク幅を決定する。ステップS540では、記号を等価クラスに分類するか、または新しい等価クラスを作成する。ステップS550で、この方法は終了する。
【図面の簡単な説明】
【図1】 本発明を実施する装置のブロック図である。
【図2】 記号の水平ラン数を示す図である。
【図3】 図2に示された記号のピクセルランカウントのヒストグラム(その1)図である。
【図4】 図2に示された記号のピクセルランカウントのヒストグラム(その2)図である。
【図5】 本発明の処理フローチャートである。
【符号の説明】
108 スキャナ、102 プロセッサ、113 記号分類部。

Claims (2)

  1. 2進コード化されたイメージデータに含まれる記号を分類する方法であって、
    記号を抽出するステップと、
    抽出記号の合計数を決定するステップであって、前記合計数はその記号を表現するために必要なピクセルの合計数に等しいステップと、
    それぞれのランレングスのラン合計数を決定するステップと、
    それぞれのランレングスのピクセル合計数を決定するステップであり、ピクセル合計数はランレングスにそのレングスのラン数を乗算した値であるステップと、
    第1の移動合計数としてそれぞれのランレングスのランのピクセル合計数を加算するステップであり、加算は抽出記号の合計数の半分を超えたときに終了するステップと、
    第2の移動合計数としてそれぞれのランレングスのラン合計数を加算するステップと、
    前記第1の移動合計数と前記第2の移動合計数に応じて決定されるストローク幅に基づき、抽出記号のストローク幅と等価クラスを表す基準記号の差が0.5ピクセル以下の場合に抽出記号をその等価クラスに分類し、それ以外の場合に前記抽出記号を基準記号とする新規の等価クラスを生成し、新規の等価クラスを辞書に追加するステップと、
    を有することを特徴とする方法。
  2. 2進コード化されたイメージデータに含まれる記号を分類する装置であって、
    記号を抽出するスキャナと、
    抽出記号の合計数を決定するものであって前記合計数はその記号を表現するために必要なピクセルの合計数に等しく、それぞれのランレングスのラン合計数を決定し、それぞれのランレングスのピクセル合計数を決定するものであって前記ピクセル合計数はランレングスにそのレングスのラン数を乗算した値であり、第1の移動合計数としてそれぞれのランレングスのランのピクセル合計数を加算するものであって前記加算は抽出記号の合計数の半分を超えたときに終了し、第2の移動合計数としてそれぞれのランレングスのラン合計数を加算するヒストグラム作成器と、
    前記第1の移動合計数と前記第2の移動合計数に応じて決定されるストローク幅に基づき、抽出記号のストローク幅と等価クラスを表す基準記号の差が0.5ピクセル以下の場合に抽出記号をその等価クラスに分類し、それ以外の場合に前記抽出記号を基準記号とする新規の等価クラスを生成し、新規の等価クラスを辞書に追加する記号分類部と、
    を有する装置。
JP03256199A 1998-02-13 1999-02-10 ボールド体文字を区別する方法及び装置 Expired - Fee Related JP4309986B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/023,117 1998-02-13
US09/023,117 US6088478A (en) 1998-02-13 1998-02-13 Method and apparatus for distinguishing bold face characters

Publications (2)

Publication Number Publication Date
JPH11272798A JPH11272798A (ja) 1999-10-08
JP4309986B2 true JP4309986B2 (ja) 2009-08-05

Family

ID=21813229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03256199A Expired - Fee Related JP4309986B2 (ja) 1998-02-13 1999-02-10 ボールド体文字を区別する方法及び装置

Country Status (2)

Country Link
US (1) US6088478A (ja)
JP (1) JP4309986B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7472348B2 (en) * 1998-11-05 2008-12-30 Canon Kabushiki Kaisha Image processing apparatus, image processing method and storage medium using character size and width for magnification
US7206450B2 (en) * 2002-04-25 2007-04-17 Microsoft Corporation Compression of bi-level images with explicit representation of ink clusters
US8131503B2 (en) * 2004-01-30 2012-03-06 Weber James S Method and system for determining histogram density estimators
US7603254B2 (en) * 2004-01-30 2009-10-13 Weber James S Method and system for determining histogram appearances from small data samples
US7392156B2 (en) * 2004-01-30 2008-06-24 Weber James S Method and system for determining histograms
JP6355908B2 (ja) * 2013-09-30 2018-07-11 国立大学法人広島大学 シンボル認識装置および車両用標識認識装置
CN103761520B (zh) * 2013-12-05 2016-09-21 南京理工大学 基于笔划宽度的文档图像无参二值化方法
US10248857B2 (en) * 2017-03-30 2019-04-02 Wipro Limited System and method for detecting and annotating bold text in an image document
US10628525B2 (en) * 2017-05-17 2020-04-21 International Business Machines Corporation Natural language processing of formatted documents

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668891A (en) * 1995-01-06 1997-09-16 Xerox Corporation Methods for determining font attributes of characters
US5778095A (en) * 1995-12-20 1998-07-07 Xerox Corporation Classification of scanned symbols into equivalence classes

Also Published As

Publication number Publication date
US6088478A (en) 2000-07-11
JPH11272798A (ja) 1999-10-08

Similar Documents

Publication Publication Date Title
JP3925971B2 (ja) 統合同値類の作成方法
JP6139396B2 (ja) 文書を表す二値画像を圧縮する方法及びプログラム
US8041113B2 (en) Image processing device, image processing method, and computer program product
US5563403A (en) Method and apparatus for detection of a skew angle of a document image using a regression coefficient
US7805022B2 (en) Image processing apparatus, image processing method and computer program
JP4494563B2 (ja) トークン化によるイメージ分割を用いたイメージ処理方法および装置
US6411733B1 (en) Method and apparatus for separating document image object types
US6351559B1 (en) User-enclosed region extraction from scanned document images
US6069978A (en) Method and apparatus for improving a text image by using character regeneration
JP2001297303A (ja) 文書画像認識方法、装置及びコンピュータ読み取り可能な記録媒体
JP2001351066A (ja) 文書認識処理のための装置、方法及び記録媒体
EP1017011A2 (en) Block selection of table features
JP6743092B2 (ja) 画像処理装置、画像処理の制御方法、及びプログラム
JP3977468B2 (ja) シンボル分類装置
JP4309986B2 (ja) ボールド体文字を区別する方法及び装置
JP4077919B2 (ja) 画像処理方法及び装置及びその記憶媒体
US5467410A (en) Identification of a blank page in an image processing system
US8229214B2 (en) Image processing apparatus and image processing method
US5768414A (en) Separation of touching characters in optical character recognition
US7149352B2 (en) Image processing device, program product and system
US8810877B2 (en) Image processing apparatus, image processing method, and storage medium for eliminating blurring of scanned image
US5812695A (en) Automatic typing of raster images using density slicing
US6289122B1 (en) Intelligent detection of text on a page
US11288536B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JPH08237404A (ja) 光学文字認識モードの選択方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060207

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090414

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090511

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120515

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130515

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees