JP4078045B2 - 画像処理装置、方法、プログラム、及び記憶媒体 - Google Patents
画像処理装置、方法、プログラム、及び記憶媒体 Download PDFInfo
- Publication number
- JP4078045B2 JP4078045B2 JP2001200732A JP2001200732A JP4078045B2 JP 4078045 B2 JP4078045 B2 JP 4078045B2 JP 2001200732 A JP2001200732 A JP 2001200732A JP 2001200732 A JP2001200732 A JP 2001200732A JP 4078045 B2 JP4078045 B2 JP 4078045B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- ruled line
- corner
- line
- pixel group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/155—Removing patterns interfering with the pattern to be recognised, such as ruled lines or underlines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30176—Document
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、文書画像上の枠や表に記入された文字画像を切り出すための画像処理装置、方法、プログラム、及び記憶媒体に関するものである。
【0002】
【従来の技術】
申し込み用紙などの帳票に記入された文字の読み取りを行う場合、ドロップアウトカラーで作成された帳票を使用し、このドロップアウトカラーと異なる色で記入された文字を読み取って認識するように構成されていることが多いが、ドロップアウトカラー帳票は、読取装置の光源の条件に適合する色を用いて印刷し配布するため、コストがかかり利便性も悪い。
【0003】
したがって、非ドロップアウトカラー帳票を用いた方がコストも利便性もよいが、非ドロップアウトカラー帳票では、色を用いて文字と枠線とを区別することはできないため、非ドロップアウトカラー帳票を認識する方法として以下のような方法が考えられている。
【0004】
従来、あらかじめ帳票内の文字記入枠の位置や大きさを帳票定義として記憶しておき、読み取ろうとする入力帳票と帳票定義の位置ずれを修正した後、入力帳票と帳票定義を重ねあわせて差分を読み取ることにより、記入文字を抽出する方法があった。しかし、この方法では、あらかじめ帳票定義を記憶しておく必要があるため、記憶されている帳票定義以外の帳票が入力された場合、対応できないという問題点がある。そこで、あらかじめ帳票定義を記憶しておかなくても、画像から文字記入枠と該文字記入枠内の文字を認識する技術が考えられている。
【0005】
例えば、特開平07−282191では、縦・横に一定長さ以上連続する黒ランを罫線として抽出する。その際、枠の角に丸みのある場合など黒ランが一定長さ以上連続しないため、縦罫線と横罫線とが途切れてしまう場合があるが、その際はその縦罫線と横罫線が交差するまで仮想的に延長し、その延長部分が閾値以下なら双方が接続しているとみなして、矩形枠として認識するように構成されている。しかしながら、この場合、枠の認識時には直線矩形として扱っているので、枠内の文字を抽出する際に角の丸み部分が文字として切り出されて誤認識される場合がある。
【0006】
また、特開平07−14000では、長さが所定値以上の縦・横方向のランを罫線とし、端点が近い縦罫線と横罫線のペアの交差点に、あらかじめ用意された角部パターンをマッチングさせ、類似度が大きければ角部がそのパターンであるとするように構成されている。この場合、あらかじめ多数の角部パターンを記憶しておく必要があり、多くのメモリを必要としてしまう。また、これ以外の角部であった場合、認識できない。
【0007】
また、特開2000−235619では、抽出した罫線の端点から斜め成分を検出することにより丸角候補領域を抽出し、更に、端点間の斜め方向の画素密度分布を識別して丸角部を決定、もしくは、n次関数を用いて罫線の端点を結ぶパターンを生成してマッチングを行なうことにより、丸角部を決定するように構成されている。しかしながら画素密度分布を用いて丸角部を識別する方法では、角部にかすれがあるときなどの画素密度の分布の変化が少ない場合、丸角部と認識されない場合がある。また、丸角部パターンを生成してマッチングを行なう方法では、あらかじめ多数の丸角部パターンを記憶しておく必要はないが、n次関数を用いてパターンを生成する処理およびマッチング処理を行なう必要があるので、処理に時間がかかってしまう。
【0008】
【発明が解決しようとする課題】
以上述べたように、上記従来例では、多くのメモリを消費したり、マッチングなどの時間のかかる処理を行なう必要があったり、認識精度が悪かったり、罫線の丸み部分が文字として切り出されて誤認識されてしまうというような問題点があった。
【0009】
本発明は上記問題点を解消するためになされたもので、文字記入枠の角が丸い場合でも、枠内の文字を正しく抽出することを目的とする。
【0010】
【課題を解決するための手段】
上記課題を解決するために、本発明の画像処理装置は、文書画像から行方向の罫線を抽出する行方向罫線抽出手段と、前記文書画像から列方向の罫線を抽出する列方向罫線抽出手段と、前記行方向罫線抽出手段によって抽出された行方向罫線と前記列方向罫線抽出手段により抽出された列方向罫線とで囲まれた内側の矩形画像領域を抽出する画像領域抽出手段と、前記画像領域抽出手段で抽出された矩形画像領域の第1の角に、罫線の一部を構成する画素があるか判断する判断手段と、前記判断手段で罫線の一部を構成する画素があると判断した場合、前記矩形画像領域から、該罫線の一部を構成する画素を除去する除去手段とを備える画像処理装置であって、前記判断手段は、前記行方向罫線および前記列方向罫線の少なくともいずれかに接触する前記矩形画像領域内の画素群に対してラベリングを行い、当該ラベリングされた画素群のうち所定領域範囲内にある前記ラベリングされた画素群を取り出し、前記取り出された画素群を含む外接矩形を求めて当該求めた外接矩形の対角線を境界とし、前記取り出された画素群それぞれについて前記境界から前記第1の角がある側の画素数と前記境界から前記第1の角がない側の画素数とを計測し、前記第1の角がある側の画素数が前記第2の角がない側の画素数の所定倍より多い前記ラベリングされた画素群を前記罫線の一部を構成する画素であると判断し、前記除去手段は、前記判断手段で前記罫線の一部を構成する画素であると判断された画素群を除去することを特徴とする。
上記課題を解決するために、本発明の画像処理装置は、文書画像から行方向の罫線を抽出する行方向罫線抽出手段と、前記文書画像から列方向の罫線を抽出する列方向罫線抽出手段と、前記行方向罫線抽出手段によって抽出された行方向罫線と前記列方向罫線抽出手段により抽出された列方向罫線とで囲まれた内側の矩形画像領域を抽出する画像領域抽出手段と、前記画像領域抽出手段で抽出された矩形画像領域の第1の角から所定の領域範囲内において、前記行方向罫線に接触し且つ前記第1の角から最も遠い第1の画素の位置と、前記列方向罫線に接触し且つ前記第1の角から最も遠い第2の画素の位置とを求め、当該求めた第1の画素の位置と第2の画素の位置とを結ぶ直線から前記第1の角の側にある画素を対象にラベリングを行い、当該ラベリングされた画素群のうち、前記行方向罫線に接触する画素群で且つその中で前記第1の角に最も近い画素を含む画素群と、前記列方向罫線に接触する画素群で且つその中で前記第1の角に最も近い画素を含む画素群とを選択し、当該選択された画素群のうち、前記行方向罫線に接触し且つ前記第1の角から最も遠い第3の画素の位置と、前記列方向罫線に接触し且つ前記第1の角から最も遠い第4の画素の位置とを求め、前記第3の画素の位置と第4の画素の位置とを結ぶ直線と前記ラベリングされた画素群とが交差する位置を識別し、該交差位置から輪郭線追跡を行なって、該輪郭線の方向が大きく変化する位置に基づいて前記ラベリングされた画素群を分割し、前記第1の角の側にある当該分割された画素群を前記罫線の一部を構成する画素として、前記矩形画像領域から該罫線の一部を構成する画素を除去する除去手段と、を備えることを特徴とする。
【0011】
上記課題を解決するために、本発明の画像処理方法は、行方向罫線抽出手段が、文書画像から行方向の罫線を抽出する行方向罫線抽出ステップと、列方向罫線抽出手段が、前記文書画像から列方向の罫線を抽出する列方向罫線抽出ステップと、画像領域抽出手段が、前記行方向罫線抽出ステップで抽出された行方向罫線と前記列方向罫線抽出ステップで抽出された列方向罫線とで囲まれた内側の矩形画像領域を抽出する画像領域抽出ステップと、判断手段が、前記画像領域抽出ステップで抽出された矩形画像領域の第1の角に、罫線の一部を構成する画素があるか判断する判断ステップと、除去手段が、前記判断ステップで罫線の一部を構成する画素があると判断した場合、前記矩形画像領域から、該罫線の一部を構成する画素を除去する除去ステップと、を備える画像処理方法であって、前記判断ステップでは、前記行方向罫線および前記列方向罫線の少なくともいずれかに接触する前記矩形画像領域内の画素群に対してラベリングを行い、当該ラベリングされた画素群のうち所定領域範囲内にある前記ラベリングされた画素群を取り出し、前記取り出された画素群を含む外接矩形を求めて当該求めた外接矩形の対角線を境界とし、前記取り出された画素群それぞれについて前記境界から前記第1の角がある側の画素数と前記境界から前記第1の角がない側の画素数とを計測し、前記第1の角がある側の画素数が前記第2の角がない側の画素数の所定倍より多い前記ラベリングされた画素群を前記罫線の一部を構成する画素であると判断し、前記除去ステップでは、前記判断ステップで前記罫線の一部を構成する画素であると判断された画素群を除去することを特徴とする。
上記課題を解決するために、本発明の画像処理方法は、行方向罫線抽出手段が、文書画像から行方向の罫線を抽出する行方向罫線抽出ステップと、列方向罫線抽出手段が、前記文書画像から列方向の罫線を抽出する列方向罫線抽出ステップと、画像領域抽出手段が、前記行方向罫線抽出ステップで抽出された行方向罫線と前記列方向罫線抽出ステップで抽出された列方向罫線とで囲まれた内側の矩形画像領域を抽出する画像領域抽出ステップと、除去手段が、前記画像領域抽出ステップで抽出された矩形画像領域の第1の角から所定の領域範囲内において、前記行方向罫線に接触し且つ前記第1の角から最も遠い第1の画素の位置と、前記列方向罫線に接触し且つ前記第1の角から最も遠い第2の画素の位置とを求め、当該求めた第1の画素の位置と第2の画素の位置とを結ぶ直線から前記第1の角の側にある画素を対象にラベリングを行い、当該ラベリングされた画素群のうち、前記行方向罫線に接触する画素群で且つその中で前記第1の角に最も近い画素を含む画素群と、前記列方向罫線に接触する画素群で且つその中で前記第1の角に最も近い画素を含む画素群とを選択し、当該選択された画素群のうち、前記行方向罫線に接触し且つ前記第1の角から最も遠い第3の画素の位置と、前記列方向罫線に接触し且つ前記第1の角から最も遠い第4の画素の位置とを求め、前記第3の画素の位置と第4の画素の位置とを結ぶ直線と前記ラベリングされた画素群とが交差する位置を識別し、該交差位置から輪郭線追跡を行なって、該輪郭線の方向が大きく変化する位置に基づいて前記ラベリングされた画素群を分割し、前記第1の角の側にある当該分割された画素群を前記罫線の一部を構成する画素として、前記矩形画像領域から該罫線の一部を構成する画素を除去する除去ステップと、を備えることを特徴とする。
【0012】
【発明の実施の形態】
[第1の実施形態]
図1は本実施形態を実施するための帳票画像から文字を読み取る画像処理装置の構成を示すブロック図である。101はROM102に格納されている制御プログラムに従って本装置全体の制御を行うCPU、102はCPU101が実行する後述するフローチャートに示す処理など本装置の制御プログラム等を格納するROM、103は文書画像等を記憶し、CPU101のワークエリアとなるRAM、104は磁気ディスク等の外部記憶装置であり、105はディスプレイ、106はキーボード、107はマウス等のポインティングデバイス、108は画像を読み取るためのイメージスキャナである。また、109はネットワークインターフェースであり、図示しない遠隔地に存在する装置と通信し、プログラムやデータなどを読み込んだり、書き込んだりする。なお、本実施形態を実現させるためにCPU101は、制御プログラムを、前述したようにROM102から読み込んで実行するようにしてもよいし、外部記憶装置104から読み込んで実行するようにしてもよいし、ネットワークを介して接続された外部装置から受け取って実行するようにしてもよい。
【0013】
図1に示す構成の画像処理装置が実行する本実施形態1を、図2乃至図7を用いて詳細に説明する。
【0014】
本実施形態1では、図4のような1文字ごとに文字記入枠が設定されているような帳票を対象とする。なお、本実施形態では簡単のため、読み取った画像を2値化した帳票画像を対象として扱う。
【0015】
図2は、帳票画像内の枠領域から、記入された文字を切り出す手順を示すフローチャートである。
【0016】
ステップS201では、イメージスキャナ108等の光電変換装置から読み込まれ二値化された画像(以下「二値画像」)、あるいは、すでに読み込まれ外部記憶装置104等に記憶している二値画像から、横方向の罫線(以下「横罫線」)の位置を検出する。
【0017】
横罫線の位置とは、横罫線が存在する垂直方向の座標値と罫線の太さを表すために、一つの横罫線に対し、横罫線の上端の垂直方向座標値と下端の垂直方向座標値とで表現する。
【0018】
例えば、図4のような文字記入枠の領域から横罫線の位置を検出する場合、簡単に検出する手順の例をあげると、垂直な射影面に対して黒画素の水平方向ヒストグラムを取り、ピークの度数があらかじめ決めてある閾値以上存在する部分のピークの立ち上がり、立下り位置を横罫線の位置とする。なお、検出精度を高めるため、あらかじめ傾き除去やかすれの補完、記入枠の外接矩形を抽出することで処理領域を決めるようにしてもよい。その場合、閾値は外接矩形の幅の2分の1などとすればよい。また、横罫線の位置の検出は、本件出願人による出願である特願2000−380612号に記載されているような技術を使用してもよい。
【0019】
ステップS202で横罫線が2本以上抽出できたかどうか判断する。横罫線が2本以上抽出できなかった場合は、文字記入枠が存在しないとして処理を終了する。
【0020】
ステップS202で横罫線が2本以上抽出できた場合は、ステップS203に進んで、2つの横罫線の間、すなわち上の横罫線の下側の座標と下の横罫線の上側の座標の間に存在する縦罫線の位置を検出する。
【0021】
縦罫線の位置の検出は、水平な射影面に2つの横罫線の間に存在する黒画素の垂直方向ヒストグラムを取り、ピークの度数が閾値以上の部分を縦罫線として識別する。この場合の閾値は、横罫線の間の80%以上などとすればよい。なお、縦罫線の位置の検出においても特願2000−380612号に記載されているような技術を使用してもよい。
【0022】
ステップS204で縦罫線が2本以上抽出できたか否かを判断し、2本以上抽出できなかった場合には、文字記入枠が存在しないとして処理を終了する。
【0023】
縦罫線が2本以上抽出できた場合には、ステップS205にて、抽出した横罫線と縦罫線で囲まれた内側の矩形領域部分を文字記入枠領域として抽出する。図5は図4を上記ステップを用いて文字記入枠領域を抽出した結果である。この時点では、「1」が縦罫線と認識されているため、504と505は文字記入枠領域が二分割された形となっている。
【0024】
抽出された文字記入枠領域からステップS206で文字記入枠の標準ピッチを求める。標準ピッチは、各文字記入枠のピッチの分布などから決定する。すなわち、処理を行う範囲内の文字記入枠のピッチは、すべて均等であるという前提のもと、文字記入枠の各ピッチの分布をカウントし、個数が最大となる文字記入枠のピッチを標準ピッチとする。
【0025】
その結果、標準ピッチより小さいピッチで、誤って分割された領域であると判断される場合、ステップS207で標準ピッチになるように結合していく。その結果、図5の504と505は結合され、文字記入枠と一致した領域が得られる。
【0026】
ステップS208で文字記入枠内の画像の外接矩形を用いて画像を抽出する。ここでは、孤立点ノイズや、罫線に接触したノイズ等の影響を取り除くため、公知のノイズ除去を行ってもよい。また抽出された画像があらかじめ定めた大きさより小さい場合、その画像はノイズと判断し、画像が存在しないとしてもよい。
【0027】
ステップS209で文字記入枠内に画像があるかどうか判断し、ないと判断されれば、ステップS213でその文字記入枠を空欄とする。
【0028】
ステップS209で文字記入枠内に画像があると判断されれば、ステップS210に進み、抽出された画像に罫線の一部を含んでいるかどうか判断を行ない、罫線の一部を含んでいると判断した場合、その部分を除去する。
【0029】
図6に罫線の一部を含んでいる場合の例を示す。ステップS207で求められた罫線内部矩形領域508を例にすると、まず、罫線内部矩形領域508に基づいて図4から矩形の画像を切り出し、更に、その切り出した矩形領域内部の黒画素に外接する外接矩形を図6(a)の破線部分601で表している。罫線内部矩形領域508に基づいて、枠内の画像を抽出しようとすると、罫線の一部である丸み部分を含んでしまう。その結果、図6(b)に示すように罫線の一部である602、603が残ってしまい、この図6(b)に対して、そのまま文字認識を行うと誤認識してしまうことになる。
【0030】
抽出画像内に角が丸い罫線の一部が含まれた場合の除去(ステップS210)について、右上の角が丸い場合を例にして、図3のフローチャートを使用して詳細に説明する。ここでは、あらかじめステップS207で求められた罫線内部矩形領域508の座標と、ステップS208で罫線内部矩形領域508に基づき求められた黒画素の外接矩形601の座標が記憶されている前提で説明を行う。また、座標は帳票画像の左上を原点とし、X座標は左から右、Y座標は上から下に値が大きくなるものとする。
【0031】
ステップS301では、罫線内部領域508について、上端のY座標をT、右端のX座標をR、領域の高さをH、幅をWとする。ステップS302では、抽出された黒画素の外接矩形601の上端のY座標をt、右端のX座標をrとする。
【0032】
ステップS303で、罫線内部矩形領域508の右端のX座標Rと黒画素外接矩形601の右端のX座標rが同じかどうか判断する。同じであると判断した場合、ステップS304に進み、罫線内部矩形領域508の上端から高さの1/6下がった所より、黒画素外接矩形601の上端が上にあるかどうか判断する。上にあればステップS307に進み、なければ処理を終了する。なお、ここで使用した1/6という値、及び、以下で説明する各閾値は、本発明を説明するための一例であり、これらの値に限ったものではない。
【0033】
一方、ステップS303で同じでないと判断されれば、ステップS305に進み、罫線内部矩形領域508の上端のY座標Tと、黒画素外接矩形601の上端のY座標tが同じかを判断し、同じでなければ処理を終了する。同じであると判断されればステップS306に進み、罫線内部矩形領域508の右端から幅の1/6左側より、黒画素外接矩形601の右端が右にあるかを調べる。右にあればステップS307に進み、なければ処理を終了する。
【0034】
ステップS307では、罫線内部矩形領域508の右半分の領域範囲で該領域の上端に接する黒画素をラベリングし、同一ラベルがつけられた黒画素の最も下端の黒画素が、罫線内部矩形領域の上半分の領域内にあるもの(高さの1/2よりも上にあるもの)を取り出す。
【0035】
ステップS308では、罫線内部矩形領域508の上半分の領域範囲で、該領域範囲の右端に接する黒画素をラベリングし、同一ラベルがつけられた黒画素の最も左端の黒画素が、罫線内部矩形領域の右半分の領域内にあるもの(幅の1/2よりも右にあるもの)を取り出す。
【0036】
ステップS309では、全てのラベリングされた画像の外接矩形を求める。図7を例に説明すると、(a)は原画像であり、(b)はラベリング後の画像である。ラベリング処理によりラベル1とラベル2の2つの塊を取り出した。求める外接矩形は2つの塊を含む矩形である。
【0037】
ステップS310では、求めた外接矩形の左上と右下を通る直線を求め、ステップS311で、ラベリングされたそれぞれの画素が、直線の左右にいくつあるかを数える。罫線の一部であれば、画素の大部分は直線の右側に存在するはずなので、左右の画素数の比較により罫線の一部かどうかを判断できる。
【0038】
ステップS312で、左側の画素数の4倍より右側の画素数が少なければ処理を終了し、多ければステップS313に進み、外接矩形601からラベリングされた画素を除去する。図7の例では、ラベル1、ラベル2とも直線の左側に画素がないので、これら2つのラベルの画素は除去される。
【0039】
右下、左上、左下についても、同様の処理を行なうことにより、罫線の一部を含んで画像が抽出されても、罫線部分だけを除去することが可能である。
【0040】
このようにして得られた罫線を含まない画像に対して文字認識処理を行なう。罫線部分を含まないため、帳票に記入された文字を正確に文字認識することができる。
【0041】
以上説明したように、本実施形態により罫線内部領域の境界に接している黒画素を対象にラベリングし、それぞれに対し判断基準を適用して除去するので、丸み部分で罫線が切れても罫線部分を除去できる。
【0042】
また、本実施形態より、判定基準はラベリングされた画素の座標から導き出すので、角の丸みの大きさが変化したり、丸みが楕円弧状に変形しても、罫線を含まないように文字記入枠から文字画像を抽出できる。
【0043】
また、角部のパターンを記憶しておく必要がないのでメモリを節約することができる。また、複数の角部のパターンとマッチング処理を行なう必要がなく、処理時間を短縮することができる。
【0044】
[第2の実施形態]
図1に示す帳票読み取り装置が実行する他の実施形態として、ステップS210における、角に文字の一部が重なっている場合の角の罫線部分を除去する説明を図8のフローチャート及び図9を用いて説明する。
【0045】
図9は本実施形態2において処理される文字記入枠の一例を示しているものである。右上の角が丸くなっていて、そこに文字の一部がはみ出て記入されている。
【0046】
以下に右上の角が丸い場合の処理手順を例にして説明する。
【0047】
ステップS801では、求められた罫線内部矩形領域の上端のY座標をT、右端のX座標をR、高さをH、幅をWとして設定する。ステップS802では、抽出された黒画素の外接矩形の上端のY座標をt、右端のX座標をrとする。
【0048】
ステップS803で、罫線内部矩形領域の右端Rと黒画素の外接矩形の右端rの座標が同じかどうか判断する。同じであると判断した場合、ステップS804で罫線内部矩形領域の上端から高さの1/6下がった所より、黒画素外接矩形の上端が上にあるかどうか判断する。上にあればステップS807に進み、なければ処理を終了する。なお、ここで使用した1/6という値、及び、以下で説明する各閾値は、本発明を説明するための一例であり、これらの値に限ったものではない。
【0049】
ステップS803で同じでないと判断された場合、ステップS805に進み、罫線内部矩形領域の上端Tと黒画素外接矩形の上端の座標が同じかどうか判断し、同じでなければ処理を終了する。同じである場合、ステップS806で罫線内部矩形領域の右端から幅の1/6左側より、黒画素外接矩形の右端が右にあるかどうか判断を行なう。右にあると判断すればステップS807に進み、なければ処理を終了する。
【0050】
ステップS807で罫線内部矩形領域の右半分の領域範囲で罫線内部矩形領域の上端をスキャンし、最も左にある黒画素の位置を求める(901)。S808で罫線内部矩形領域の上半分の領域範囲で罫線内部矩形領域の右端をスキャンし、最も下にある黒画素の位置を求める(902)。
【0051】
S809で、得られた2つの位置を結ぶ直線(破線904)より右上にある画素だけを対象にラベリングする。
【0052】
S810において、該ラベリングされた画素のうち、罫線内部矩形領域の上端に接し、最も右側にある画素を含むラベルを選択する。
【0053】
S811において、該ラベリングされた画素のうち、罫線内部矩形領域の右端に接し、最も上側にある画素を含むラベルを選択する。なお、罫線にかすれ等がなければ、通常、S810で選択されたラベルとS811で選択されたラベルは同一になる。
【0054】
S810及びS811で選択されたラベルが複数ある場合、S812において、それらが接近しているかどうか判断する。接近していなければ、角の部分の罫線画像ではないとし、処理を終了する。接近しているかどうかの判断は、各ラベリングされた黒画素画像の外接矩形が重なるかどうか、もしくは外接矩形間の距離が所定の画素(例えば1画素)以内にあるかどうかを調べることによって判断する。
【0055】
S813で、選択されたラベルのうち、罫線内部領域上端に接し、最も左側にある画素の位置を求める(901)。
【0056】
S814で、選択されたラベルのうち、罫線内部領域右端に接し、最も下側にある画素の位置を求める(903)。
【0057】
角の丸み以外の場所で、記入した文字等が罫線に接触していなければ、S813で求めた画素の位置はS807で求めた画素の位置と、S814の画素の位置はS808で求めた画素の位置と同一となる。この段階で、抽出画像に含まれる角の丸み部分の開始位置が得られる。
【0058】
S813で得られた位置を(X,T)、S814で得られた位置を(R,Y)とすると、S815で、(X,T)と(R,Y)を結ぶ直線(破線905)によって、前記ラベリングされて選択された画像が分割されるかを調べる。罫線と交差する文字がなければ画像は分割されない。分割された場合、S816に進み、分割点(906)からラベリングされている画素の輪郭を(R,T)方向に輪郭線追跡し、輪郭の方向が大きく変化する点(907、908)を探す。罫線と交差する線の幅が2画素以上なら、輪郭上にある画素は2つ存在し、それぞれについて追跡する。幅が1画素なら、輪郭上にある画素の上側の輪郭と下側の輪郭を追跡する。
【0059】
その結果、輪郭の方向が変化する2点(907、908)が求められ、S817で2点間を結ぶ直線でラベリングされた画像を分割し、その右上側にある画像をラベリング画像として残す。
【0060】
そのようにして残ったラベリング画像は罫線の一部であると判断し、S818で除去する。
【0061】
第一の実施形態と同様に、右下、左上、左下についても、同様な処理で、罫線部分を除去する。そうすることにより、罫線部分を除去した文字画像を抽出することができる。
【0062】
以上説明したように、本実施形態により対象とする画像の領域を制限してラベリングし、そこから更に罫線の丸み部分の場所を特定しているので、文字の一部が丸み部分を貫いている場合でも罫線部分のみを除去し、枠内の文字は残すことができる。
【0063】
[その他の実施形態]
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0064】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0065】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0066】
また、本発明を構成するプログラムコードを、ネットワークで接続された外部装置から必要に応じて読み込み、CPUにて実行するように構成してもよい。
【0067】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。この記憶媒体の一例を図10に示す。図10は、本発明に係る帳票読み取り装置で読みだし可能な各種データ処理プログラムを格納する記憶媒体のメモリマップの例を示す図である。なお、特に図示しないが、各種プログラムで用いるデータも該記憶媒体のディレクトリに管理されている。また、各種プログラムをコンピュータにインストールするためのプログラム等が記憶される場合もある。
【0068】
【発明の効果】
以上説明したように、本発明によれば、角が丸い罫線で構成された文字記入枠であっても、罫線の一部を文字として抽出することがなくなり、文字記入枠内の文字を正しく抽出できる。また、記入された文字を正しく抽出できるので、文字認識率も向上する。
【0069】
また、本発明によれば、罫線の一部を含んでいるかどうかを自動的に判断し、枠線の一部を含む場合は、該一部を除去するので、あらかじめ枠の形状を指定する必要もなくなる。
【図面の簡単な説明】
【図1】本発明の実施形態に係る画像処理装置のブロック図である。
【図2】実施形態1に係る文字切り出し手順の一例を示すフローチャートである。
【図3】実施形態1に係る角の罫線部分の除去手順の一例を示すフローチャートである。
【図4】実施形態1に係る文字記入枠の一例を説明する図である。
【図5】実施形態1に係る罫線内部矩形領域を抽出する処理を説明する図である。
【図6】実施形態1に係る黒画素の外接矩形領域に罫線の一部を含んでいる一例を説明する図である。
【図7】実施形態1に係る罫線内部領域をラベリングした結果を説明する図である。
【図8】実施形態2に係る角の罫線部分の除去手順の一例を示すフローチャートである。
【図9】実施形態2に係る文字記入枠と記入された文字の一例を説明する図である。
【図10】本発明に係る帳票読み取り装置で読みだし可能な各種データ処理プログラムを格納する記憶媒体のメモリマップを説明する図である。
【符号の説明】
101 CPU
102 ROM
103 RAM
104 外部記憶装置
105 ディスプレイ
106 キーボード
107 ポインティングデバイス
108 イメージスキャナ
109 ネットワークインターフェース
Claims (12)
- 文書画像から行方向の罫線を抽出する行方向罫線抽出手段と、
前記文書画像から列方向の罫線を抽出する列方向罫線抽出手段と、
前記行方向罫線抽出手段によって抽出された行方向罫線と前記列方向罫線抽出手段により抽出された列方向罫線とで囲まれた内側の矩形画像領域を抽出する画像領域抽出手段と、
前記画像領域抽出手段で抽出された矩形画像領域の第1の角に、罫線の一部を構成する画素があるか判断する判断手段と、
前記判断手段で罫線の一部を構成する画素があると判断した場合、前記矩形画像領域から、該罫線の一部を構成する画素を除去する除去手段とを備える画像処理装置であって、
前記判断手段は、前記行方向罫線および前記列方向罫線の少なくともいずれかに接触する前記矩形画像領域内の画素群に対してラベリングを行い、当該ラベリングされた画素群のうち所定領域範囲内にある前記ラベリングされた画素群を取り出し、前記取り出された画素群を含む外接矩形を求めて当該求めた外接矩形の対角線を境界とし、前記取り出された画素群それぞれについて前記境界から前記第1の角がある側の画素数と前記境界から前記第1の角がない側の画素数とを計測し、前記第1の角がある側の画素数が前記第2の角がない側の画素数の所定倍より多い前記ラベリングされた画素群を前記罫線の一部を構成する画素であると判断し、
前記除去手段は、前記判断手段で前記罫線の一部を構成する画素であると判断された画素群を除去することを特徴とする画像処理装置。 - 前記第1の角が右上の角である場合、前記判断手段は、前記矩形画像領域の上端および右端の少なくともいずれかに接触する前記矩形画像領域内の画素群に対してラベリングを行い、当該ラベリングされた画素群のうち右上側の前記所定領域範囲内にある前記ラベリングされた画素群を取り出し、前記取り出された画素群を含む外接矩形を求めて当該求めた外接矩形の左上と右下を通る対角線を境界とし、前記取り出された画素群それぞれについて前記境界から右側の画素数と前記境界から左側の画素数とを計測し、前記右側の画素数が前記左側の画素数の所定倍より多い前記ラベリングされた画素群を前記罫線の一部を構成する画素であると判断することを特徴とする請求項1に記載の画像処理装置。
- 文書画像から行方向の罫線を抽出する行方向罫線抽出手段と、
前記文書画像から列方向の罫線を抽出する列方向罫線抽出手段と、
前記行方向罫線抽出手段によって抽出された行方向罫線と前記列方向罫線抽出手段により抽出された列方向罫線とで囲まれた内側の矩形画像領域を抽出する画像領域抽出手段と、
前記画像領域抽出手段で抽出された矩形画像領域の第1の角から所定の領域範囲内において、前記行方向罫線に接触し且つ前記第1の角から最も遠い第1の画素の位置と、前記列方向罫線に接触し且つ前記第1の角から最も遠い第2の画素の位置とを求め、
当該求めた第1の画素の位置と第2の画素の位置とを結ぶ直線から前記第1の角の側にある画素を対象にラベリングを行い、
当該ラベリングされた画素群のうち、前記行方向罫線に接触する画素群で且つその中で前記第1の角に最も近い画素を含む画素群と、前記列方向罫線に接触する画素群で且つその中で前記第1の角に最も近い画素を含む画素群とを選択し、
当該選択された画素群のうち、前記行方向罫線に接触し且つ前記第1の角から最も遠い第3の画素の位置と、前記列方向罫線に接触し且つ前記第1の角から最も遠い第4の画素の位置とを求め、
前記第3の画素の位置と第4の画素の位置とを結ぶ直線と前記ラベリングされた画素群とが交差する位置を識別し、該交差位置から輪郭線追跡を行なって、該輪郭線の方向が大きく変化する位置に基づいて前記ラベリングされた画素群を分割し、前記第1の角の側にある当該分割された画素群を前記罫線の一部を構成する画素として、前記矩形画像領域から該罫線の一部を構成する画素を除去する除去手段と、
を備えることを特徴とする画像処理装置。 - 前記第1の角が右上の角である場合、前記除去手段は、
前記矩形画像領域の右上の角から所定の領域範囲内において、前記行方向罫線に接触し且つ前記右上の角から最も遠い第1の画素の位置と、前記列方向罫線に接触し且つ前記右上の角から最も遠い第2の画素の位置とを求め、
当該求めた第1の画素の位置と第2の画素の位置とを結ぶ直線から前記右上の角の側にある画素を対象にラベリングを行い、
当該ラベリングされた画素群のうち、前記行方向罫線に接触する画素群で且つその中で前記右上の角に最も近い画素を含む画素群と、前記列方向罫線に接触する画素群で且つその中で前記右上の角に最も近い画素を含む画素群とを選択し、
当該選択された画素群のうち、前記行方向罫線に接触し且つ前記右上の角から最も遠い第3の画素の位置と、前記列方向罫線に接触し且つ前記右上の角から最も遠い第4の画素の位置とを求め、
前記第3の画素の位置と第4の画素の位置とを結ぶ直線と前記ラベリングされた画素群とが交差する位置を識別し、該交差位置から輪郭線追跡を行なって、該輪郭線の方向が大きく変化する位置に基づいて前記ラベリングされた画素群を分割し、前記右上の角の側にある当該分割された画素群を前記罫線の一部を構成する画素として、前記矩形画像領域から該罫線の一部を構成する画素を除去することを特徴とする請求項3に記載の画像処理装置。 - 前記除去手段で該罫線の一部を構成する画素が除去された前記矩形画像領域の画像を文字認識する文字認識手段を更に備えることを特徴とする請求項1乃至4のいずれかに記載の画像処理装置。
- 行方向罫線抽出手段が、文書画像から行方向の罫線を抽出する行方向罫線抽出ステップと、
列方向罫線抽出手段が、前記文書画像から列方向の罫線を抽出する列方向罫線抽出ステップと、
画像領域抽出手段が、前記行方向罫線抽出ステップで抽出された行方向罫線と前記列方向罫線抽出ステップで抽出された列方向罫線とで囲まれた内側の矩形画像領域を抽出する画像領域抽出ステップと、
判断手段が、前記画像領域抽出ステップで抽出された矩形画像領域の第1の角に、罫線の一部を構成する画素があるか判断する判断ステップと、
除去手段が、前記判断ステップで罫線の一部を構成する画素があると判断した場合、前記矩形画像領域から、該罫線の一部を構成する画素を除去する除去ステップと、を備える画像処理方法であって、
前記判断ステップでは、前記行方向罫線および前記列方向罫線の少なくともいずれかに接触する前記矩形画像領域内の画素群に対してラベリングを行い、当該ラベリングされた画素群のうち所定領域範囲内にある前記ラベリングされた画素群を取り出し、前記取り出された画素群を含む外接矩形を求めて当該求めた外接矩形の対角線を境界とし、前記取り出された画素群それぞれについて前記境界から前記第1の角がある側の画素数と前記境界から前記第1の角がない側の画素数とを計測し、前記第1の角がある側の画素数が前記第2の角がない側の画素数の所定倍より多い前記ラベリングされた画素群を前記罫線の一部を構成する画素であると判断し、
前記除去ステップでは、前記判断ステップで前記罫線の一部を構成する画素であると判断された画素群を除去することを特徴とする画像処理方法。 - 前記第1の角が右上の角である場合、前記判断ステップでは、前記矩形画像領域の上端および右端の少なくともいずれかに接触する前記矩形画像領域内の画素群に対してラベリングを行い、当該ラベリングされた画素群のうち右上側の前記所定領域範囲内にある前記ラベリングされた画素群を取り出し、前記取り出された画素群を含む外接矩形を求めて当該求めた外接矩形の左上と右下を通る対角線を境界とし、前記取り出された画素群それぞれについて前記境界から右側の画素数と前記境界から左側の画素数とを 計測し、前記右側の画素数が前記左側の画素数の所定倍より多い前記ラベリングされた画素群を前記罫線の一部を構成する画素であると判断することを特徴とする請求項6に記載の画像処理方法。
- 行方向罫線抽出手段が、文書画像から行方向の罫線を抽出する行方向罫線抽出ステップと、
列方向罫線抽出手段が、前記文書画像から列方向の罫線を抽出する列方向罫線抽出ステップと、
画像領域抽出手段が、前記行方向罫線抽出ステップで抽出された行方向罫線と前記列方向罫線抽出ステップで抽出された列方向罫線とで囲まれた内側の矩形画像領域を抽出する画像領域抽出ステップと、
除去手段が、前記画像領域抽出ステップで抽出された矩形画像領域の第1の角から所定の領域範囲内において、前記行方向罫線に接触し且つ前記第1の角から最も遠い第1の画素の位置と、前記列方向罫線に接触し且つ前記第1の角から最も遠い第2の画素の位置とを求め、
当該求めた第1の画素の位置と第2の画素の位置とを結ぶ直線から前記第1の角の側にある画素を対象にラベリングを行い、
当該ラベリングされた画素群のうち、前記行方向罫線に接触する画素群で且つその中で前記第1の角に最も近い画素を含む画素群と、前記列方向罫線に接触する画素群で且つその中で前記第1の角に最も近い画素を含む画素群とを選択し、
当該選択された画素群のうち、前記行方向罫線に接触し且つ前記第1の角から最も遠い第3の画素の位置と、前記列方向罫線に接触し且つ前記第1の角から最も遠い第4の画素の位置とを求め、
前記第3の画素の位置と第4の画素の位置とを結ぶ直線と前記ラベリングされた画素群とが交差する位置を識別し、該交差位置から輪郭線追跡を行なって、該輪郭線の方向が大きく変化する位置に基づいて前記ラベリングされた画素群を分割し、前記第1の角の側にある当該分割された画素群を前記罫線の一部を構成する画素として、前記矩形画像領域から該罫線の一部を構成する画素を除去する除去ステップと、
を備えることを特徴とする画像処理方法。 - 前記第1の角が右上の角である場合、前記除去ステップでは、
前記矩形画像領域の右上の角から所定の領域範囲内において、前記行方向罫線に接触し且つ前記右上の角から最も遠い第1の画素の位置と、前記列方向罫線に接触し且つ前記右上の角から最も遠い第2の画素の位置とを求め、
当該求めた第1の画素の位置と第2の画素の位置とを結ぶ直線から前記右上の角の側にある画素を対象にラベリングを行い、
当該ラベリングされた画素群のうち、前記行方向罫線に接触する画素群で且つその中で前記右上の角に最も近い画素を含む画素群と、前記列方向罫線に接触する画素群で且つその中で前記右上の角に最も近い画素を含む画素群とを選択し、
当該選択された画素群のうち、前記行方向罫線に接触し且つ前記右上の角から最も遠い第3の画素の位置と、前記列方向罫線に接触し且つ前記右上の角から最も遠い第4の画素の位置とを求め、
前記第3の画素の位置と第4の画素の位置とを結ぶ直線と前記ラベリングされた画素群とが交差する位置を識別し、該交差位置から輪郭線追跡を行なって、該輪郭線の方向が大きく変化する位置に基づいて前記ラベリングされた画素群を分割し、前記右上の角の側にある当該分割された画素群を前記罫線の一部を構成する画素として、前記矩形画像領域から該罫線の一部を構成する画素を除去することを特徴とする請求項8に記載の画像処理方法。 - 文字認識手段が、前記除去ステップで該罫線の一部を構成する画素が除去された前記矩形画像領域の画像を文字認識する文字認識ステップを更に備えることを特徴とする請求項6乃至9のいずれかに記載の画像処理方法。
- コンピュータを、請求項1乃至5のいずれかに記載の画像処理装置 の各手段として機能させるためのプログラム。
- コンピュータを、請求項1乃至5のいずれかに記載の画像処理装置の各手段として機能させるためのプログラムを格納した記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001200732A JP4078045B2 (ja) | 2001-07-02 | 2001-07-02 | 画像処理装置、方法、プログラム、及び記憶媒体 |
US10/153,769 US7103220B2 (en) | 2001-07-02 | 2002-05-24 | Image processing apparatus, method and program, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001200732A JP4078045B2 (ja) | 2001-07-02 | 2001-07-02 | 画像処理装置、方法、プログラム、及び記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003016385A JP2003016385A (ja) | 2003-01-17 |
JP4078045B2 true JP4078045B2 (ja) | 2008-04-23 |
Family
ID=19037807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001200732A Expired - Fee Related JP4078045B2 (ja) | 2001-07-02 | 2001-07-02 | 画像処理装置、方法、プログラム、及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7103220B2 (ja) |
JP (1) | JP4078045B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4909311B2 (ja) * | 2008-03-31 | 2012-04-04 | 富士通フロンテック株式会社 | 文字認識装置 |
CN105528607B (zh) * | 2015-10-30 | 2019-02-15 | 小米科技有限责任公司 | 区域提取方法、模型训练方法及装置 |
CN105528602A (zh) * | 2015-10-30 | 2016-04-27 | 小米科技有限责任公司 | 区域识别方法及装置 |
CN111260631B (zh) * | 2020-01-16 | 2023-05-05 | 成都地铁运营有限公司 | 一种高效刚性接触线结构光光条提取方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04270485A (ja) * | 1991-02-26 | 1992-09-25 | Sony Corp | 印刷文字認識装置 |
JP3304512B2 (ja) | 1993-06-25 | 2002-07-22 | 松下電器産業株式会社 | 表認識装置 |
JP3431267B2 (ja) | 1994-04-14 | 2003-07-28 | 株式会社リコー | 表処理方法及び装置 |
JP2730665B2 (ja) * | 1994-12-15 | 1998-03-25 | 北陸先端科学技術大学院大学長 | 文字認識装置および方法 |
JP3574584B2 (ja) | 1998-12-16 | 2004-10-06 | 富士通株式会社 | 表画像処理装置及びそのプログラム記憶媒体 |
-
2001
- 2001-07-02 JP JP2001200732A patent/JP4078045B2/ja not_active Expired - Fee Related
-
2002
- 2002-05-24 US US10/153,769 patent/US7103220B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20030002062A1 (en) | 2003-01-02 |
JP2003016385A (ja) | 2003-01-17 |
US7103220B2 (en) | 2006-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002133426A (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
JP5357612B2 (ja) | 下線除去装置 | |
US6947596B2 (en) | Character recognition method, program and recording medium | |
KR20200104488A (ko) | 지역적 이진화를 이용한 오브젝트 인식 시스템 및 그 방법 | |
JP5322517B2 (ja) | 画像処理装置および方法 | |
JP2009123206A (ja) | 画像からテキストを抽出する方法及び装置 | |
JP3728224B2 (ja) | 文書処理装置及び方法 | |
JP4078045B2 (ja) | 画像処理装置、方法、プログラム、及び記憶媒体 | |
JP6883199B2 (ja) | 画像処理装置、画像読み取り装置、および、プログラム | |
JP4867894B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
JP7406884B2 (ja) | 情報処理装置、プログラム及び制御方法 | |
KR20200131368A (ko) | 행정구역별 오브젝트 인식방법 및 그 시스템 | |
JP3794285B2 (ja) | 光学式文字読取装置 | |
JP4738645B2 (ja) | 網掛け領域検出装置、網掛け領域検出方法、プログラムおよび記憶媒体 | |
JP4731748B2 (ja) | 画像処理装置、方法、プログラム及び記憶媒体 | |
JP3113217B2 (ja) | 破線認識方法 | |
JP2023034823A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP3566738B2 (ja) | 網掛け領域処理方法および網掛け領域処理装置 | |
JP3880091B2 (ja) | 情報処理装置及び方法 | |
JP3239965B2 (ja) | 文字認識装置 | |
JP2004158041A (ja) | 表画像処理装置及びそのプログラム記憶媒体 | |
JP3517077B2 (ja) | パターン抽出装置及びパターン領域の切り出し方法 | |
JP2006107290A (ja) | 画像処理装置およびその方法 | |
JP4878057B2 (ja) | 文字認識方法,プログラム及び記録媒体 | |
JP2925270B2 (ja) | 文字読取装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070913 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080204 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |