JP5189056B2 - マーク項目認識装置、マーク項目認識方法及びマーク項目認識プログラム - Google Patents
マーク項目認識装置、マーク項目認識方法及びマーク項目認識プログラム Download PDFInfo
- Publication number
- JP5189056B2 JP5189056B2 JP2009227468A JP2009227468A JP5189056B2 JP 5189056 B2 JP5189056 B2 JP 5189056B2 JP 2009227468 A JP2009227468 A JP 2009227468A JP 2009227468 A JP2009227468 A JP 2009227468A JP 5189056 B2 JP5189056 B2 JP 5189056B2
- Authority
- JP
- Japan
- Prior art keywords
- mark
- character
- guide
- recognition
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Input (AREA)
- Character Discrimination (AREA)
Description
帳票のマーク記入は、不特定多数の帳票の利用者がそれぞれに行うものであるため、帳票に記入されたマークの形状は一様ではない。例えば、ガイド文字を囲むようにマークすることを促すため、ガイド文字の周囲に補助情報としてガイド図形を印刷している帳票もある。しかし、ガイド図形が印刷されていても、記入されるマークの形状は、ガイド文字を囲むようにマークされている場合ばかりではない。記入マークが、ガイド文字上にガイド文字の一部のみを囲む形状である場合、選択したガイド文字の近くにある他のガイド文字にもマークが一部重なる形状の場合、囲み記号ではなく、レ点のような他の記号をガイド文字に書き込んだ場合、記入の一部がかすれた場合等、様々なケースがある。
また、上記課題を解決するために、さらに、マーク記入位置判定手段を有するマーク項目認識装置が提供される。マーク記入位置判定手段は、ガイド文字を含む文字の字形画像を文字の識別情報に対応付けて定義した字形辞書を字形辞書記憶手段に記憶しておき、文字認識手段によって認識された認識文字の識別情報に基づいて字形辞書を検索して該認識文字の字形画像を取得し、字形画像をマーク項目領域の画像データ上の認識文字と重ね合わせ、重なる部分を除去して認識文字をマーク項目領域の画像データから除去し、残った画像データと、マーク図形定義とを比較して適合しているか否かを判定し、適合しているときは残った画像データをマーク図形と見なし、マーク図形の位置を判定し、認識制御手段は、マーク図形が検出できないとき及びマーク項目領域の一部のガイド文字で文字認識手段による文字認識ができないときは、マーク記入位置判定手段によってマーク項目領域のマーク図形の位置を特定する。
図1は、第1の実施の形態のマーク項目認識装置の構成例を示したブロック図である。
マーク項目認識装置10は、文字認識辞書記憶手段11a、ガイド文字テーブル記憶手段11b及び字形辞書記憶手段11cの記憶手段と、マーク項目位置特定手段12、ガイド図形除去手段13、認識制御手段14、文字認識手段15、マーク図形除去手段16及びマーク記入位置判定手段17の各処理手段を有する。各処理手段は、コンピュータがマーク項目認識プログラムを実行することにより、その処理機能を実現する。
マーク項目認識装置10は、帳票のイメージ画像の画像データを入力し、マーク項目位置特定手段12によってマーク項目領域の位置を特定する。次に、ガイド図形除去手段13は、マーク項目領域の画像データを読み出し、ガイド図形を探索する。ガイド図形の条件に合致する形状を探索し、検出した形状をガイド図形と判定して、画像データのガイド図形に対応する画素の色を帳票背景色に置き換え、ガイド図形を除去する。検出できないときは、ガイド図形の除去は行わない。以降の処理では、ガイド図形除去手段13によってガイド図形が除去された画像データを対象として処理を行う。
マーク項目認識装置100は、CPU(Central Processing Unit)101によって装置全体が制御されている。CPU101には、バス107を介してRAM(Random Access Memory)102、ハードディスクドライブ(HDD:Hard Disk Drive)103、グラフィック処理装置104、入力インタフェース105、及び画像入力部106が接続されている。
次に、マーク項目認識装置100のソフトウェア構成について説明する。図4は、マーク項目認識装置のソフトウェア構成例を示すブロック図である。
マーク項目認識処理部140は、認識制御部141、マーク色判定処理部142、一次文字認識処理部143、マーク付き文字認識処理部144、マーク記入位置判定部145、文字認識辞書データベース(以下、DBとする)146、字形辞書DB147及びガイド文字テーブルDB148を有する。認識制御部141は、マーク色判定処理部142、一次文字認識処理部143、マーク付き文字認識処理部144及びマーク記入位置判定部145を制御し、マーク項目の認識処理を行う。ガイド文字の文字認識を行い、マーク図形の位置を特定することにより、マーク図形によって選択されている選択項目の内容を認識する。マーク色判定処理部142は、マーク項目領域内のガイド文字やマーク図形の色を抽出する。色が異なるときは、色の違いに応じてガイド文字とマーク図形とを分離することができる。一次文字認識処理部143は、マーク項目領域内のガイド文字の位置を特定して文字を抽出し、文字認識辞書DB146を用いて文字認識を行う。マーク付き文字認識処理部144は、マーク項目領域内のマーク図形の位置を特定し、マーク図形を画像データから除去した後、文字認識を行う。マーク記入位置判定部145は、マーク項目領域の画像データからガイド文字を除去し、マーク図形を検索して、その記入位置を判定する。文字認識辞書DB146は、文字を認識するための文字画像の特徴と、文字コードとが対応付けられている。字形辞書DB147は、文字の字形(文字の画像データ)が、文字コードに対応付けられている。ガイド文字テーブルDB148は、ガイド文字として存在し得る文言のコードデータを事前に定義したガイド文字テーブルを記憶する。なお、一致率の閾値で認識文字と比較するため、ガイド文字テーブルには認識対象帳票上のガイド文字が漏れなく定義されている必要はない。
上記の構成のマーク項目認識装置100の動作及びマーク項目認識方法について説明する。以下では、マーク項目認識処理手順を、[1]準備処理、[2]一次文字認識処理、[3]マーク付き文字認識処理、[4]マーク記入位置判定処理、に分けて説明する。
準備処理では、マーク項目認識装置100が画像データを入力し、対象のマーク項目領域を特定するまでの処理手順を行う。
(a)対象帳票は、認識対象の帳票の一部を示している。帳票200には、見出し部201と、対応するデータ部202とが、それぞれ文字枠によって囲まれている。見出し部201には、予め見出し文言の「科目」が印刷されている。データ部202には、「科目」に対応するデータとして、予めガイド文字「普通預金」及び「当座預金」が上下に並んで印刷されている。「普通預金」及び「当座預金」は、「科目」の選択項目に相当する。
[2]一次文字認識処理
一次文字認識処理では、一次文字認識処理部143が、マーク項目領域のガイド文字の文字認識処理を行う。
(a)対象帳票に示した画像230は、一次文字認識処理部143が、入力イメージ格納メモリ120から読み出したマーク項目領域の画像データに基づく画像である。ガイド文字「普通預金」に対するガイド図形234aと、ガイド文字「当座預金」に対するガイド図形234bが存在する。また、利用者が記入したマーク図形231も画像230に含まれている。ここで、一次文字認識処理部143は、ガイド図形の定義に基づき、画像230の画像データを調べ、画像230内のガイド図形を探索する。ガイド図形の色の画素を矢印のようにトレースし、ガイド図形の定義に適合する形状を探索する。ここでは、ガイド図形の定義を「同じ長さの点が円状に配置されている」とし、このような形状が検出されるかどうかを探索する。探索の結果、ガイド図形234a,234bを検出する。検出したガイド図形234a,234bを画像230の画像データから除去し、画像230aの状態にする。例えば、画像230のガイド図形234a,234bに相当する画像データの画素を背景色に置き換えて除去する。こうして、ガイド図形234a,234bが除去され、マーク図形231が残った画像230aに対応する画像データを生成する。
マーク付き文字認識処理では、マーク付き文字認識処理部144が、マーク項目領域のマーク図形の位置を特定し、マーク項目領域の画像からマーク図形を除去してガイド文字の文字認識処理を行う。
認識結果情報151には、「ガイド文字列数」、「ガイド文字列1」、「ガイド文字列2」及び「選択ガイド文字」の各項目のデータを登録する。「ガイド文字列数」は、ガイド文字列の列数である。ここでは、図7に示したガイド文字列領域の検出処理で2列の文字列が検出されたので、「2」を登録する。そして、それぞれのガイド文字列について文字認識した結果を登録する。「ガイド文字列1」には、マーク付き文字認識処理部144が文字認識を行った第1のガイド文字範囲237の文字認識結果「普通預金」を登録する。「ガイド文字列2」には、一次文字認識処理部143が文字認識を行った第2のガイド文字範囲238の文字認識結果「当座預金」を登録する。「選択ガイド文字」は、マーク付き文字認識処理部144が検出したマーク図形の位置に基づいて、「普通預金」を登録する。
マーク記入位置判定処理では、マーク記入位置判定部145が、マーク項目領域の画像データからガイド文字を除去してマーク図形が記入された位置を判定する処理を行う。
幅比: Wr= W1/W2 ・・・(1)
によって、縦横それぞれの比率を算出する。そして、字形画像263を高さHr倍、幅Wr倍に拡縮し、拡縮後の字形画像263aを得る。
[ステップS01] スキャナ制御部110は、スキャナ300を制御して、認識対象の帳票のイメージを読み取る。読み取った帳票イメージの画像データは、入力イメージ格納メモリ120に格納する。
[ステップS07] ステップS06のマーク付き文字認識処理により、ガイド文字とマーク図形が重なっていた箇所の文字認識結果と、マーク図形の位置と、が得られる。認識制御部141は、取得した文字認識結果を、ガイド文字テーブルDB148に記憶されるガイド文字テーブル1480のガイド文字定義と照合し、文字認識結果が正しいかどうかを一致率で判定する。文字認識結果と、ガイド文字テーブル1480のガイド文字定義との一致率を算出し、一致率が所定の閾値を超えていれば、正しく認識できたと判定する。認識可と判定したときは、処理をステップS08に進める。認識不可と判定したときは、処理を分岐点Aに進め、リトライ処理を行う。
図20は、一次文字認証処理の処理手順の一例を示したフローチャートである。
以上の一次文字認識処理手順が実行されることにより、マーク項目領域のガイド文字のうち、文字認識ができたガイド文字の文字コードが文字結果として得られる。
文字認識結果のいずれかに認識不可、すなわち、リジェクト文字「?」が含まれる場合に呼び出され、以下の処理手順を実行する。
[ステップS111] スキャナ制御部110は、認識対象の帳票のイメージを読み取る。読み取った帳票イメージの画像データは、入力イメージ格納メモリ120に格納する。
以上のように、マーク項目認識装置100及びそのマーク項目認識方法によれば、マーク項目内のマーク項目数やガイド文字の位置を自動的に抽出して、ガイド文字とマーク図形を画像探索により分離して認識処理を行う。これにより、ガイド文字上に様々なパターンで記入されるマーク図形に対し、どのようなガイド文字上にどのような形状の図形が記入されたかをより高精度に判定できる。この結果、認識対象のすべての帳票に対して、マーク項目のある位置、その内部情報であるガイド文字の位置や文言を事前に定義しておく必要は、未記入帳票を確保する必要がなくなる。さらに、ガイド文字テーブルを使用して文字認識結果を補正することにより、様々な記入状態によって欠損したガイド文字の抽出が可能となり、より高精度なマーク認識が可能となる。
11a 文字認識辞書記憶手段
11b ガイド文字テーブル記憶手段
11c 字形辞書記憶手段
12 マーク項目位置特定手段
13 ガイド図形除去手段
14 認識制御手段
15 文字認識手段
16 マーク図形除去手段
17 マーク記入位置判定手段
Claims (8)
- 帳票の画像データからマーク項目を抽出して認識処理を行うマーク項目認識装置において、
対象帳票の画像データを取得し、前記対象帳票に予め印刷された選択項目を表すガイド文字と、前記選択項目を選択するために記入されたマーク図形とが含まれるマーク項目領域の画像データを抽出し、前記マーク図形の形状を予め定義したマーク図形定義に基づいて、前記マーク項目領域の画像データに含まれる前記マーク図形定義に適合する形状を探索し、検出した前記マーク図形の位置を特定するとともに、前記マーク図形と判定した形状を前記マーク項目領域の画像データから除去するマーク図形除去手段と、
指示された対象の画像データから文字を抽出し、文字認識辞書記憶手段に記憶する文字認識辞書に基づいて抽出した文字を認識する文字認識手段と、
前記マーク図形除去手段によって前記マーク図形を除去した前記マーク項目領域の画像データを対象とする文字認識を前記文字認識手段に行わせ、得られた文字認識結果及び前記マーク図形の位置をマーク項目認識結果として出力する認識制御手段と、
を有することを特徴とするマーク項目認識装置。 - 帳票の画像データからマーク項目を抽出して認識処理を行うマーク項目認識装置において、
対象帳票の画像データを取得し、前記対象帳票に予め印刷された選択項目を表すガイド文字と、前記選択項目を選択するために記入されたマーク図形とが含まれるマーク項目領域の画像データを抽出し、前記マーク図形の図形特徴を予め定義したマーク図形定義に基づいて、前記マーク項目領域の画像データに含まれる前記マーク図形定義に適合する形状を探索し、検出した前記マーク図形の位置を特定するとともに、前記マーク図形と判定した形状を前記マーク項目領域の画像データから除去するマーク図形除去手段と、
指示された対象の画像データから文字を抽出し、文字認識辞書記憶手段に記憶する文字認識辞書に基づいて抽出した文字を認識する文字認識手段と、
前記マーク図形除去手段によって前記マーク図形を除去した前記マーク項目領域の画像データを対象とする文字認識を前記文字認識手段に行わせ、得られた文字認識結果及び前記マーク図形の位置をマーク項目認識結果として出力する認識制御手段と、
前記ガイド文字を含む文字の字形画像を文字の識別情報に対応付けて定義した字形辞書を字形辞書記憶手段に記憶しておき、前記文字認識手段によって認識された認識文字の識別情報に基づいて前記字形辞書を検索して該認識文字の字形画像を取得し、前記字形画像を前記マーク項目領域の画像データ上の前記認識文字と重ね合わせ、重なる部分を除去して前記認識文字を前記マーク項目領域の画像データから除去し、残った画像データと、前記マーク図形定義とを比較して適合しているか否かを判定し、適合しているときは前記残った画像データを前記マーク図形と見なし、前記マーク図形の位置を判定するマーク記入位置判定手段と、
を有し、
前記認識制御手段は、前記マーク図形が検出できないとき及び前記マーク項目領域の一部のガイド文字で前記文字認識手段による文字認識ができないときは、前記マーク記入位置判定手段によって前記マーク項目領域の前記マーク図形の位置を特定する、
ことを特徴とするマーク項目認識装置。 - 前記認識制御手段は、前記ガイド文字として存在する文字を定義したガイド文字テーブルをガイド文字テーブル記憶手段に記憶しておき、前記文字認識手段の文字認識により得られた認識文字を前記ガイド文字テーブルのガイド文字定義と照合し、前記認識文字が前記ガイド文字定義と一致する割合を一致率として算出し、前記一致率が所定の閾値を超えたか否かに応じて前記認識文字が正しいかどうかを判定する、
ことを特徴とする請求項1または2記載のマーク項目認識装置。 - 前記認識制御手段は、前記ガイド文字テーブル記憶手段に格納される前記ガイド文字テーブルの前記ガイド文字定義に基づき、前記文字認識手段が認識した認識文字と前記ガイド文字定義とを比較し、前記認識文字と前記ガイド文字定義との一致率が所定の閾値を超えるときは、前記ガイド文字定義に基づいて、前記認識文字の前記ガイド文字定義と一致しない箇所の前記ガイド文字定義の文字への置き換えや、前記認識文字の文字区切り位置の変更を行うことによって前記認識文字の補正を行う、
ことを特徴とする請求項3記載のマーク項目認識装置。 - 前記文字認識手段は、前記マーク項目領域内の画素を縦方向及び横方向にそれぞれ投影してヒストグラムを求め、前記ヒストグラムに基づいて前記画素が多い領域をガイド文字範囲と見なして前記ガイド文字範囲の位置を特定し、特定した前記ガイド文字範囲について前記文字認識を行う、
ことを特徴とする請求項1または請求項2記載のマーク項目認識装置。 - 前記文字認識手段による文字認識を行う前に、前記マーク項目領域の画像データを抽出し、前記マーク図形の記入する位置を示し、前記ガイド文字にマークを記入する際のガイドとなるガイド図形の図形特徴を予め定義したガイド図形定義に基づいて、前記マーク項目領域の画像データに含まれる前記ガイド図形に適合する形状を探索し、検出した前記ガイド図形を前記マーク項目領域の画像データから除去するガイド図形除去手段、
を有することを特徴とする請求項1または請求項2記載のマーク項目認識装置。 - 帳票の画像データからマーク項目を抽出して認識処理を行うマーク項目認識方法において、
コンピュータが、
対象帳票の画像データを取得し、前記対象帳票に予め印刷された選択項目を表すガイド文字と、前記選択項目を選択するために記入されたマーク図形とが含まれるマーク項目領域の画像データを抽出し、前記マーク図形の形状を予め定義したマーク図形定義に基づいて、前記マーク項目領域の画像データに含まれる前記マーク図形定義に適合する形状を探索し、検出した前記マーク図形の位置を特定するとともに、前記マーク図形と判定した形状を前記マーク項目領域の画像データから除去し、
マーク図形除去手段によって前記マーク図形を除去した前記マーク項目領域の画像データを対象とし、前記対象の画像データから文字を抽出し、文字認識辞書記憶手段に記憶する文字認識辞書に基づいて抽出した文字を認識し、
得られた文字認識結果及び前記マーク図形の位置をマーク項目認識結果として出力する、
を有することを特徴とするマーク項目認識方法。 - 帳票の画像データからマーク項目を抽出して認識処理を行うマーク項目認識プログラムにおいて、
コンピュータを、
対象帳票の画像データを取得し、前記対象帳票に予め印刷された選択項目を表すガイド文字と、前記選択項目を選択するために記入されたマーク図形とが含まれるマーク項目領域の画像データを抽出し、前記マーク図形の形状を予め定義したマーク図形定義に基づいて、前記マーク項目領域の画像データに含まれる前記マーク図形定義に適合する形状を探索し、検出した前記マーク図形の位置を特定するとともに、前記マーク図形と判定した形状を前記マーク項目領域の画像データから除去するマーク図形除去手段、
指示された対象の画像データから文字を抽出し、文字認識辞書記憶手段に記憶する文字認識辞書に基づいて抽出した文字を認識する文字認識手段、
前記マーク図形除去手段によって前記マーク図形を除去した前記マーク項目領域の画像データを対象とする文字認識を前記文字認識手段に行わせ、得られた文字認識結果及び前記マーク図形の位置をマーク項目認識結果として出力する認識制御手段、
として機能させることを特徴とするマーク項目認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009227468A JP5189056B2 (ja) | 2009-09-30 | 2009-09-30 | マーク項目認識装置、マーク項目認識方法及びマーク項目認識プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009227468A JP5189056B2 (ja) | 2009-09-30 | 2009-09-30 | マーク項目認識装置、マーク項目認識方法及びマーク項目認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011076390A JP2011076390A (ja) | 2011-04-14 |
JP5189056B2 true JP5189056B2 (ja) | 2013-04-24 |
Family
ID=44020304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009227468A Active JP5189056B2 (ja) | 2009-09-30 | 2009-09-30 | マーク項目認識装置、マーク項目認識方法及びマーク項目認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5189056B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6193830B2 (ja) * | 2014-09-18 | 2017-09-06 | 富士通フロンテック株式会社 | 帳票認識装置、帳票認識方法、及び、プログラム |
JP2017033205A (ja) * | 2015-07-31 | 2017-02-09 | 富士通フロンテック株式会社 | 記載内容認識システム、記載内容認識方法、及び記載内容認識プログラム |
JP2018055578A (ja) * | 2016-09-30 | 2018-04-05 | 富士通フロンテック株式会社 | 帳票仕分プログラム、帳票仕分装置及び帳票仕分方法 |
JP7231844B2 (ja) * | 2020-09-11 | 2023-03-02 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理方法、プログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3266687B2 (ja) * | 1993-03-16 | 2002-03-18 | 株式会社日立製作所 | マーク認識方法 |
JP3294995B2 (ja) * | 1996-06-21 | 2002-06-24 | 三菱電機株式会社 | 帳票読取装置 |
JP3361258B2 (ja) * | 1997-11-11 | 2003-01-07 | 沖電気工業株式会社 | 文字読取装置 |
JP2000207488A (ja) * | 1999-01-19 | 2000-07-28 | Ricoh Co Ltd | 文字認識方法、装置および記録媒体 |
JP2002259909A (ja) * | 2001-02-28 | 2002-09-13 | Oki Electric Ind Co Ltd | 文字読取装置 |
JP2008077606A (ja) * | 2006-09-25 | 2008-04-03 | Oki Electric Ind Co Ltd | マーク認識装置およびマーク認識方法 |
-
2009
- 2009-09-30 JP JP2009227468A patent/JP5189056B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011076390A (ja) | 2011-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7627148B2 (en) | Image data processing apparatus and method, and image data processing program | |
KR100658119B1 (ko) | 문자 인식 장치 및 방법 | |
US8155425B1 (en) | Automated check detection and image cropping | |
EP3522038A1 (en) | Method for translating characters and apparatus therefor | |
JP2014525626A (ja) | 画像領域を使用するテキスト検出 | |
US6920247B1 (en) | Method for optical recognition of a multi-language set of letters with diacritics | |
JP5189056B2 (ja) | マーク項目認識装置、マーク項目認識方法及びマーク項目認識プログラム | |
US9224065B2 (en) | Character-recognition method and character-recognition device and program using said method | |
US11348331B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
JP5906788B2 (ja) | 文字切り出し方法、およびこの方法を用いた文字認識装置およびプログラム | |
CN115311666A (zh) | 图文识别方法、装置、计算机设备及存储介质 | |
JP5538812B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN109409180B (zh) | 图像分析装置和图像分析方法 | |
CN107798355B (zh) | 一种基于文档图像版式自动分析与判断的方法 | |
JP2023043910A (ja) | 文字列抽出装置、文字列抽出方法、および文字列抽出プログラム | |
KR102102394B1 (ko) | 문자 인식을 위한 영상 전처리 장치 및 방법 | |
US11710331B2 (en) | Systems and methods for separating ligature characters in digitized document images | |
Tersteegen et al. | Scantab: Table recognition by reference tables | |
JPH09274645A (ja) | 文字認識方法および装置 | |
KR102673900B1 (ko) | 표 데이터 추출 시스템 및 그 방법 | |
CN115100672A (zh) | 文字检测识别方法、装置、设备与计算机可读存储介质 | |
CN116958995A (zh) | 一种基于字符在平面位置信息的分段方法 | |
JPH09185675A (ja) | 様式解析方法 | |
Mishra et al. | Automatic localization and correction of line segmentation errors | |
CN114119349A (zh) | 一种图像信息提取方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130123 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160201 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5189056 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |