JP4261922B2 - 文書画像処理方法、文書画像処理装置、文書画像処理プログラムおよび記憶媒体 - Google Patents
文書画像処理方法、文書画像処理装置、文書画像処理プログラムおよび記憶媒体 Download PDFInfo
- Publication number
- JP4261922B2 JP4261922B2 JP2003007567A JP2003007567A JP4261922B2 JP 4261922 B2 JP4261922 B2 JP 4261922B2 JP 2003007567 A JP2003007567 A JP 2003007567A JP 2003007567 A JP2003007567 A JP 2003007567A JP 4261922 B2 JP4261922 B2 JP 4261922B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- brightness
- inversion
- lightness
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Input (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
この発明は、文字認識処理の前処理で文書画像に対する画像処理をおこなう、より詳しくは、文字認識処理の前段階で多値画像の文書の傾きや方向検出、および反転文字の抽出をおこなうための文書画像処理方法に関する。
【0002】
【従来の技術】
従来、カラーやモノクログレースケールなど多値の画像について文書の傾き検出や文字認識をおこなう場合は、いったん二値画像データを作成し、その二値画像データに対して処理をおこなう方法が知られている。たとえば、二値画像データを作成し、その画像データに対して傾き検出をおこなう方法がある(下記の特許文献1参照。)。
【0003】
さらに、適当なしきい値で二値化をおこない、得られた画像データの平均線幅を計算して、その値が規定外であれば、文字認識処理に不向きであると判断し、二値化をやり直すような処理も提案されている(下記の特許文献2参照。)。本出願人は、傾きの検出として、下記の特許文献3に開示された技術を提案し、画像の方向の検出には下記の特許文献4に開示された技術を提案している。
【0004】
また、反転文字の抽出については、二値化した場合に画像上での地と文字がどちらになるかを判断して、文字が黒となるように反転をさせる技術がある(下記の特許文献5参照。)。また、黒白画素を計数して、その黒画素密度特徴の値から反転判別基準値と比較することで、白黒が反転されているかどうかを調べる技術がある(下記の特許文献6参照。)。これらの方法を組み合わせると、白黒反転部分が多い画像が入力された場合でも、スキュー(傾き)角度の検出や文書方向の判別が可能になる。
【0005】
【特許文献1】
特開平6−068245号公報
【特許文献2】
特開平10−143608号公報
【特許文献3】
特開平7−105310号公報
【特許文献4】
特開2000−113103号公報
【特許文献5】
特許第2743378号公報
【特許文献6】
特開平8−249421号公報
【特許文献7】
特開平11−110482号公報
【特許文献8】
特開2001−008032号公報
【0006】
【発明が解決しようとする課題】
しかしながら、特許文献1や、特許文献2に開示された技術による処理では、多値の画像データが入力された場合に、白黒反転部分(カラーであれば、背景と文字の明度が反転されているような部分)が多い画像が入力された場合、文書画像の傾き検出や、方向の判別ができなくなるという問題があった。
【0007】
傾きや方向判別の検出に失敗する理由はいくつか考えられる。たとえば、傾きを求めるための直線成分がない場合や、安定して傾きを求められる文字列が少ない場合や、どの方向から認識しても文字らしい文字で書かれている場合(記号や数字以外にも工、H、エ、田、8などさまざまある)などである。また、失敗する理由の一つとして、白地に黒文字でなく、黒地に白文字で書かれている場合がある。
【0008】
また、特許文献3や、特許文献4に開示された技術では、白地に黒文字で書かれていることを前提として、黒ランの外接矩形で文字矩形を抽出するものであるため、黒地に白文字であると正常な文字矩形が得られないことから、ほぼ確実に失敗していた。
【0009】
また、反転文字が抽出できる特許文献5や、特許文献6に開示された技術では、新聞の切り抜き記事をスキャナに載せて圧版を閉めないでスキャンしたような画像や、デジタルカメラで背景が黒っぽいところにおいた白地に黒文字の画像のようなものを処理したい場合には、本文相当の画像は白地に黒文字であるにも関わらず、黒画素の比率や画素数の方が白画素の画素数を上回るために、反転の判定を誤認するという問題が生じた。
【0010】
この発明は、上述した従来技術による問題点を解消するため、多値の画像データの画像で暗い背景中に明るい文字など明度反転状態にかかわらず画像の傾きや文書方向の判別が可能となり、文字認識処理のための情報として有効な情報を出力できる文書画像処理方法を提供することを目的とする。
【0013】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、本発明にかかる文書画像処理方法は、入力された多値の画像データの画像の傾きや画像方向を検出する文書画像処理方法において、前記多値の画像データが明度反転されているか否かを判定し、前記判定が明度反転の場合には、前記入力された多値の画像データの明度を反転させた画像データを作成し、前記明度反転された画像データを二値化し、該明度反転後の二値画像データの画像の傾きおよび/または画像方向を検出する各工程を備え、前記明度反転の判定時には、前記明度反転前後それぞれの二値画像データにおける黒画素の連結成分からなる外接矩形を抽出し、抽出された外接矩形のうち、画像上の周辺に接している外接矩形を除く外接矩形を構成する黒画素数を計数し、前記明度反転前後それぞれの二値画像データを前記計数された黒画素数に基づき明度反転の有無を判定することを特徴とする。
【0014】
本発明によれば、最初に画像データの明度反転を判定するため、画像データに対する二値化の回数を減らすことができ、入力された画像データの明度反転の有無にかかわらず、傾きや方向を高精度に検出できるようになる。また、ブック原稿をスキャンする際に出る原稿周辺のベタノイズ等によるカウントをせず、このベタノイズの影響を排除して原稿のみの明度反転を正確に判定できるようになる。
【0017】
また、本発明にかかる文書画像処理装置は、入力された多値の画像データの画像の傾きや画像方向を検出する文書画像処理装置において、前記多値の画像データが明度反転されているか否かを判定する明度反転判定手段と、前記明度反転判定手段による判定が明度反転の場合に、前記入力された多値の画像データの明度を反転させた画像データを作成する明度反転手段と、前記明度反転手段により前記明度反転された画像データを二値化する二値化手段と、該明度反転後の二値画像データの画像の傾きおよび/または画像方向を検出する回転検出手段と、を備え、前記明度反転判定手段は、前記明度反転前後それぞれの二値画像データにおける黒画素の連結成分からなる外接矩形を抽出し、抽出された外接矩形のうち、画像上の周辺に接している外接矩形を除く外接矩形を構成する黒画素数を計数し、前記明度反転前後それぞれの二値画像データを前記計数された黒画素数に基づき明度反転の有無を判定することを特徴とする。
【0018】
本発明によれば、最初に画像データの明度反転を判定するため、画像データに対する二値化の回数を減らすことができ、入力された画像データの明度反転の有無にかかわらず、傾きや方向を高精度に検出できるようになる。また、ブック原稿をスキャンする際に出る原稿周辺のベタノイズ等によるカウントをせず、このベタノイズの影響を排除して原稿のみの明度反転を正確に判定できるようになる。
【0029】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる文書画像処理方法の好適な実施の形態を詳細に説明する。
【0030】
図1は、本発明の文書画像処理方法が適用される文字認識装置の構成を示すブロック図である。文字認識装置100は、スキャナ101が読み取った画像データを文字認識してディスプレイ102、およびプリンタ等の印字装置103にテキスト等の文字データを出力する。
【0031】
文字認識装置100は、スキャナ101の画像データを格納する画像メモリ104,画像メモリ104の画像データを文字認識処理するCPU105,CPU105の文字認識処理時のデータのワークメモリとして用いられるRAM107,文字認識処理の前処理を実行する各機能部108〜112で構成される。
【0032】
これら各機能部は、文字認識処理プログラムの一部を構成するものであり、入力される多値画像データが有する濃淡階調を二値化する二値化部108,二値化された画像データで画像の傾きおよび文書の方向を検出する回転検出部109,画像の明度を反転させる明度反転部110,画像データを回転させる画像回転部111,画像データの明度反転を判定する明度反転判定部112,の各手段(機能別プログラム)で構成されている。これら各手段で検出された情報(データ)は不図示の文字認識(OCR)部に供給され、文字認識処理時の情報として利用される。
【0033】
(実施の形態1)
図2は、上記構成による文書処理手順を示すフローチャートである。この文書処理は、文字認識処理の前処理として実行されるものであり、文書の傾きや方向を検出して補正し、必要に応じて画像を反転させて再度文書の傾きや方向を検出して画像データを補正し、文字認識部(不図示)に渡すものである。
【0034】
本発明では、以下の各実施形態においてカラーの多値画像データが入力され、これをグレー化して用いる。また、グレー画像データに対して固定しきい値での一様二値化をおこなう。このときのパラメーターには比較的濃い目の画像が得られる100を用いて、二値の画像を作成する。なお、この発明で適応二値化を用いない理由は後述する。
【0035】
はじめに、二値化部108は、入力されたカラーの多値画像から、二値化をおこない二値の画像データAを作成する(ステップS201)。二値化には判別分析をするなどいずれの手法を用いても良い。つぎに、生成された二値の画像データAによって画像の傾きや方向など補正角度Aを検出する(ステップS202)。
【0036】
このように、多値の画像データを用いて直接これらの角度や方向を検出するのではなく、一度多値の画像データを二値化し、二値画像データに対して検出する方法は、上述した特許文献1に開示されている如く複数存在している。この発明では、特に画像の傾き検出や画像の方向検出の手法は特にこだわらない。
【0037】
この後、角度検出(傾きや方向の検出)に失敗したか否か判断する(ステップS203)。成功した場合には(ステップS203:No)、検出された角度や方向に基づき画像データを角度補正した画像データを作成する(ステップS204)。この発明では、傾きや方向の検出に失敗した場合に(ステップS203:Yes)、失敗した原因が白黒反転にあったかどうかを確かめるための処理をおこなう。
【0038】
すなわち、画像データを明度反転(白黒反転)させた画像Bを作成し(ステップS205)、その画像で角度検出を再度試みるものである。ここで、二値画像を単純に反転しただけでは比較的安定した文字画像が得られないことがわかっている。一般の文書画像では暗色の方が文字であることが多いため、細い暗色の文字がかすれないように設定されている。適応二値化の方式であっても、パラメーターで濃い部分(黒)を残すように設定されていることが多い。したがって、暗い背景に明るい細い文字があった場合の二値画像は、かすれ気味になる傾向がある。
【0039】
ここで、上記の適応二値化について簡単に説明する。本出願人は、特許文献8に開示されている適応二値化の提案をおこなっている。この方式は、画像をブロック単位に分け、そのブロックごとに、しきい値を決めて二値化をするとともに、隣りのブロックの決定済みのしきい値と大きく異なったしきい値にならないように補正をして、ブロックの境目に線が出たりしないように二値化するものである。上記方式によらず、部分的にしきい値を変えながら画像全面を二値化していく方法を適応二値化と呼称している。適応二値化では、ブロックごとにしきい値を決める点が特徴となっている。
【0040】
ブロックの中には白と黒が入っていると通常考え、濃度分布の谷のところをしきい値にすると、白と黒にはっきり分けることができるという考えを利用している。ところが、仮にブロックの中に黒だけがあったとする。この場合、背景の一部のブロックでは、ほぼ黒一色にもかかわらず、白と黒を分けようと計算するため、微妙に色の薄い部分が白く二値化されてしまう場合が発生する。これにより、上記のように、暗い背景に明るい細い文字があった場合の二値画像は、かすれ気味になる傾向が生じる。
【0041】
このため、ステップS205では、入力されたカラーの多値の画像データ(元画像)自体を明度反転した画像データを作成する。この後、この明度反転された画像データを改めて二値化した二値の画像データBを得た後(ステップS206)、この画像データBを用いて再度、傾きと方向を検出し(ステップS207)、角度補正された画像データを作成する(ステップS204)。
【0042】
上記処理によれば、従来成功していた画像が入力されたときには、角度および方向の検出を失敗することなく、従来失敗していた、全面が明度反転されている画像について角度および方向の検出を成功させることができる。
【0043】
なお、上記ステップS203の処理で判断する、画像の傾きと方向の検出の失敗の有無については、傾きと方向の判別をどちらもおこなう場合に、どちらか一方が失敗したら、それで終了(失敗)という判断とすることもできるが、片方(たとえば傾き)が失敗しても、もう一方(文書方向)を処理して、そちらが成功した場合は、傾き検出のみ失敗したという結果を出力し、両方失敗した場合は、両方失敗したという結果を別途通知等で出力する構成にできる。この場合、ステップS203では、傾きあるいは文書方向の検出失敗により失敗(ステップS203:Yes)と判断する。
【0044】
(実施の形態2)
つぎに、図3は、他の文書処理手順を示すフローチャートである。図示の如く実施の形態1との対比では、入力されたカラーの画像データに対し、彩度を除いた、明度成分のみのグレースケールの画像データAを作成する点が異なる(ステップS301)。
【0045】
カラーからグレー画像の生成方法には、RGBからの変換式や最も単純なものでは、近似値ということで、G成分のみ使用する方法などがある。そして、このグレースケールの画像データを保持しておき、このグレーの画像データを使用して二値の画像データAを作成する(ステップS302)。この後、この二値の画像データAによって画像の傾きの検出や、画像の方向の検出をおこなう(ステップS303)。
【0046】
この後、傾きや方向の検出に失敗したか否か判断する(ステップS304)。成功した場合には(ステップS304:No)、検出された角度や方向に基づき画像データを角度補正した画像データを作成する(ステップS305)。一方、傾きや方向の検出に失敗した場合には(ステップS304:Yes)、失敗した原因が白黒反転にあったかどうかを確かめるための処理をおこなう。
【0047】
まず、ステップS301で作成されたグレースケールの画像データAを明度反転したグレースケールの画像データBを作成する(ステップS306)。この後、この明度反転された画像データを改めて二値化した二値の画像データBを得た後(ステップS307)、この画像データBを用いて再度、角度や方向を検出し(ステップS308)、角度補正された画像データを作成する(ステップS305)。
【0048】
上記処理のように、入力されたカラーの画像を元に、グレースケールの画像データを作成しておくことにより、明度反転用のグレーの画像データの作成、二値化、反転画像の保持、という各構成は、多値画像を直接処理するのに比べ処理時間、メモリ容量の点で低コスト化できるようになる。
【0049】
(実施の形態3)
つぎに、図4は、他の文書処理手順を示すフローチャートである。図示の如く、この処理手順では、画像の明度反転判定処理を実行する構成である。まず、入力されたカラーの多値の画像データが明度全面反転されているか判定処理を実行する(ステップS401)。この明度全面反転判定処理の内容は後述する。
【0050】
そして、明度反転なしの場合は(ステップS402:No)、この画像データの二値の画像データAを作成する(ステップS403)。この後、この二値の画像データAによって画像の傾きの検出や、画像の方向の検出をおこない(ステップS404)、検出された角度や方向に基づき画像データを角度補正した画像データを作成する(ステップS405)。
【0051】
一方、明度反転があった場合には(ステップS402:Yes)、元画像であるカラーの画像データの明度を反転した画像データBを作成する(ステップS406)。この後、明度反転後の二値の画像データBを作成する(ステップS407)。この後、この二値の画像データBによって画像の傾きの検出や、画像の方向の検出をおこない(ステップS408)、検出された角度や方向に基づき画像データを角度補正した画像データを作成する(ステップS405)。
【0052】
上記処理の実行により、二値化の回数を減らすことができ、また、明度の反転に基づき傾きや方向の検出の精度向上が図れるようになる。
【0053】
(実施の形態4)
つぎに、図5は、他の文書処理手順を示すフローチャートである。図示の如く、この処理手順では、グレー画像を作成し、また、画像の明度反転判定処理を実行する構成である。まず、入力されたカラーの多値の画像データを元にグレースケールの画像データAを作成する(ステップS501)。つぎに、この画像データAが明度全面反転されているか判定処理を実行する(ステップS502)。
【0054】
そして、明度反転なしの場合は(ステップS503:No)、この画像データの二値の画像データAを作成する(ステップS504)。この後、この二値の画像データAによって画像の傾きの検出や、画像の方向の検出をおこない(ステップS505)、検出された角度や方向に基づき画像データを角度補正した画像データを作成する(ステップS506)。
【0055】
一方、明度反転があった場合には(ステップS503:Yes)、先に作成したグレースケールの画像データAの明度を反転した画像データBを作成する(ステップS507)。この後、明度反転した画像データBを二値化した画像データBを作成する(ステップS508)。この後、この二値の画像データBによって画像の傾きの検出や、画像の方向の検出をおこない(ステップS509)、検出された角度や方向に基づき画像データを角度補正した画像データを作成する(ステップS506)。
【0056】
上記処理の実行により、二値化の回数を減らすことができ、また、明度の反転に基づき傾きや方向の検出の精度向上が図れるようになる。また、ステップS501でグレースケール画像を作成しておくので、カラー画像から二値画像の作成、カラー画像の反転、反転した画像データを保持しておくための各処理時間、使用メモリ量を低コスト化できるようになる。
【0057】
(実施の形態5)
実施の形態5は、各実施の形態1〜4で説明した文書画像処理方法で、多値画像の明度反転画像を作成するのに、カラーマップだけを作り変え、データ部分は書き換えない方法で明度反転画像を作成する方法である。
【0058】
この場合24ビットフルカラー画像のようにカラーマップを持っていない画像では対応できないが、パーソナル・コンピューター(PC)で汎用のDIB形式におけるグレー画像や256色などインデックスカラーと呼ばれるものは、カラーマップを持っていて、どのデータがどの色であるかを管理している。
【0059】
具体的にカラーマップの作り変えを説明する。これは、カラーマップの明度を反転させた、別マップを作ることであり、たとえば順番に、(R,G,B)=(0,0,0),(1,1,1),(2,2,2),〜(255,255,255)と並んでいた場合に、(R,G,B)=(255,255,255),(254,254,254),〜(0,0,0)としたカラーマップを作る。このように、カラーマップの情報だけを書き換えることで、データ部のデータを変更する必要がなく、データサイズによらず高速な処理をおこなうことができる。
【0060】
(実施の形態6)
実施の形態6は、明度反転処理をおこなう実施の形態3〜5の文書画像処理方法において、明度反転判定の結果、反転されている、という判定結果の場合に、元画像データが明度反転されているという判定結果を次工程の処理に出力する構成である。
【0061】
次工程は、文字認識部による文字認識処理であり、文字認識部では、元画像データがそのまま入力されたか、あるいは元画像データが明度反転された画像データが入力されたかを判断することができるようになる。たとえば、文字認識部が明度反転された画像データを用いて文字認識処理をおこない何らかの失敗が生じた場合、元画像データを再度取り込んで文字認識処理を再度実行することが可能となる。
【0062】
(実施の形態7)
実施の形態7は、上記実施の形態1〜5において、全面反転した後の出力の二値画像データBを用いて画像の傾きや方向判別をおこなった結果が成功した場合に、出力される画像データが元画像データを明度反転させた画像データであるという結果を次工程(文字認識部)に出力する構成である。実施の形態6と比較して、結果出力は傾きや方向判別が成功した際に出力されるという点で出力のタイミングが異なり、文字認識処理前に入力される画像データが明度反転されたものであるか否かを判断できるようになる。
【0063】
(実施の形態8)
実施の形態8は、上記実施の形態1〜7の各文書画像処理方法において、明度反転をおこなって二値化した際に、画像の傾きまたは方向判別が失敗した場合の処理である。このような場合には、明度反転されていない、もしくは不明であるという結果を次工程に出力する構成である。これにより、文字認識部は、入力された結果に応じた文字認識処理を実行できるようになる。
【0064】
(実施の形態9)
実施の形態9における処理は、上記実施の形態1〜7の各文書画像処理方法において、明度反転をおこなって二値化した際に、画像の傾きまたは方向判別が失敗した場合、次工程(文字認識部)に対し、明度反転をした画像データを強制的に使用しない(出力しない)構成である。すなわち、明度反転しても失敗した画像データをそのまま次工程以降に用いることを禁止することにより、次工程以降での失敗の増加を防ぎ、元画像データで処理を継続させることにより、操作者の意図に沿った処理および処理結果を出力できるようになる。
【0065】
(実施の形態10)
実施の形態10は、上記実施の形態で説明した明度判定処理の具体的処理内容である。図6は、明度判定処理内容を示すフローチャートである。たとえば、図4のステップS401での判定処理に相当し、以下に説明する。
【0066】
まず、入力されるカラーの多値画像をグレースケール化したグレーの画像データAに基づき、このグレーの画像データAを明度反転したグレーの画像データBを作成する(ステップS601)、つぎに、グレーの画像データAから二値化された二値の画像データAを作成し(ステップS602)、明度反転されたグレーの画像データBに対しても二値の画像データBを作成する(ステップS603)。
【0067】
そして、二値の画像データAの黒画素数を計数し(ステップS604)、明度反転された二値画像データBの黒画素数を計数する(ステップS605)。この計数は画素数計測部(図示せず)がおこなう。この後、これら二値の画像データA,Bそれぞれで計数された黒画素の総数を比較する(ステップS606)。比較の結果、二値画像データAの黒画素数の方が少なければ(ステップS606:Yes)、明度反転なしと判定する(ステップS607)。一方、明度反転された二値画像データBの黒画素数の方が少なければ(ステップS606:No)、明度反転(全面反転)と判定する(ステップS608)。このように黒画素数の計数だけで容易に明度反転の有無を判定できる。
【0068】
(実施の形態11)
実施の形態11は、実施の形態10で説明した明度反転判定処理の一部を変更した構成である。グレーの画像データA,Bからそれぞれ二値の画像データA,Bを作成するまでの各処理(ステップS601〜S603)までは同様の処理である。この後、ステップS604,S605で二値の画像データA,Bをそれぞれ黒画素を計数する際に、上下左右の端から連続する黒画素は計数の対象外とする。
【0069】
上記の上下左右の端からの連続とは、画像の端に接しているものからの連続であり、斜め方向および水平、垂直方向でそれぞれ画像の端から接している黒画素は計数しない。これにより、ブック原稿をスキャンする際に生じる原稿周辺のベタノイズ等によるカウントをせず、このベタノイズの影響を排除して原稿のみの明度反転を正確に判定できるようになる。
【0070】
(実施の形態12)
実施の形態12は、明度判定処理の他の具体的処理内容である。図7は、この実施形態の明度判定処理内容を示すフローチャートである。ステップS701〜S704までの元画像データに対する処理と、ステップS705〜S709までの元画像を反転処理した画像データに対する処理は並行して実行できる。
【0071】
元画像データに対する処理(ステップS701〜S704)を説明する。カラーの多値画像データがグレースケール化された画像データAが入力されると、このグレーの画像データAを二値化し二値の画像データAを作成する(ステップS701)。つぎに、二値の画像データAにおいて黒画素の連結部分による全ての外接矩形を抽出する(ステップS702)。つぎに、得られた外接矩形のうち、外接矩形の座標値が原稿の上下左右に接触している矩形を無効にする(ステップS703)。そして、無効とされた矩形を除く各矩形中の黒画素を計数する(ステップS704)。
【0072】
元画像データを明度反転した側の処理(ステップS705〜ステップS709)も他方と同様であるが、まず、グレースケール化された画像データAを明度反転したグレーの画像データBを作成する(ステップS705)。つぎに、グレーの画像データBを二値化し二値画像データBを作成する(ステップS706)。つぎに、二値画像データBにおいて黒画素の連結部分による全ての外接矩形を抽出する(ステップS707)。つぎに、得られた外接矩形のうち、外接矩形の座標値が原稿の上下左右に接触している矩形を無効にする(ステップS708)。そして、無効とされた矩形を除く各矩形中の黒画素を計数する(ステップS709)。
【0073】
つぎに、これら画像データA,Bで得られた各矩形中の黒画素数を対比する(ステップS710)。この結果、画像データAの黒画素数の方が少なければ(ステップS710:Yes)、明度反転なしと判定する(ステップS711)。一方、画像データBの黒画素数の方が少なければ(ステップS710:No)、明度反転(全面反転)ありと判定する(ステップS712)。これにより、ブック原稿をスキャンする際に生じる原稿周辺のベタノイズ等によるカウントをせず、このベタノイズの影響を排除して原稿のみの明度反転を正確に判定できるようになる。
【0074】
(実施の形態13)
実施の形態13は、明度判定処理の他の具体的処理内容である。図8は、この実施形態の明度判定処理内容を示すフローチャートである。ステップS801〜S802の元画像データに対する処理と、ステップS803〜S805までの元画像を反転処理した画像データに対する処理は並行して実行できる。
【0075】
元画像データに対する処理(ステップS801,S802)を説明する。カラーの多値画像データをグレースケール化した画像データAが入力されると、このグレーの画像データAを二値化し、二値の画像データAを作成する(ステップS801)。つぎに、この二値の画像データAに対して、自動の領域分割処理をおこなう(ステップS802)。
【0076】
元画像データを明度反転した側の処理(ステップS803〜ステップS805)も他方と同様であるが、まず、グレースケール化された画像データAを明度反転したグレーの画像データBを作成する(ステップS803)。つぎに、グレーの画像データBを二値化し、二値画像データBを作成する(ステップS804)。つぎに、この二値画像データBに対して、自動の領域分割処理をおこなう(ステップS805)。
【0077】
つぎに、これら画像データA,Bで得られた各領域分割結果を対比する(ステップS806)。この結果、画像データAの結果の正当性が高ければ(ステップS807:Yes)、明度反転なしと判定する(ステップS808)。一方、画像データBの結果の正当性が高ければ(ステップS807:No)、明度反転(全面反転)ありと判定する(ステップS809)。
【0078】
上記2つの画像データA,Bにおける領域分割の処理概要を説明する。この領域分割処理および評価は、本出願人が先に出願した特許文献7などに開示された公知技術を用いることができる。図9は、この領域分割方法を実現する具体的構成を示すブロック図である。第1,第2の領域分割手段901,902は、それぞれ異なる領域分割方法を用いて入力文書画像を文字領域などの要素に分割する。領域分割結果評価手段903は、分割された各領域内における行頭の揃い度合い、あるいは文字サイズの変動の度合いを基に、それぞれの分割結果を評価し、評価値の高い分割結果を選択する。このような領域分割結果の評価により明度反転の有無を判定できるようになる。
【0079】
(実施の形態14)
実施の形態14は、上述した実施形態と異なり、明度反転したグレーの画像データB,二値の画像データBはすぐには作成しない。グレーの画像データAと、二値の画像データAを作成する。そして、この二値の画像データAについて、白画素の連結成分からなる外接矩形を抽出し、この外接矩形の面積と、二値画像データの全面の面積を特徴として、明度反転の条件を経験的に設定するものである。この明度判定では、基本的に、白地に黒文字で書かれていると想定される領域の面積が、全体に対して大きければ、明度が反転されていないと判断するものである。
【0080】
上記面積の特徴の使い方の例を図10のフローチャートを用いて説明する。まず、カラーの多値の元画像データから作成されたグレースケールの画像データAの入力により、二値化した画像データAを作成する(ステップS1001)。この二値の画像データAの面積をS1としておく。
【0081】
つぎに、この二値の画像データA内において、白画素により構成される全ての矩形を抽出し(ステップS1002)、得られた全ての白画素矩形を面積の大きい順にソートする(ステップS1003)。つぎに、これら白画素矩形の面積が大きい上位の所定の数N(例えばN:2〜10)個の矩形を抽出し(ステップS1004)、これら上位N個の白画素矩形の面積を積算(加算)する(ステップS1005)。N個全ての白画素の矩形の面積が積算されるまでは、ステップS1004に復帰するi回(i=0〜N)のループを実行する(ステップS1006:No)。N個全ての白画素の矩形の面積が積算されると(ステップS1006:Yes)、面積の総和をS2とする。
【0082】
つぎに、画像データAの面積S1における白画素矩形の面積S2の面積比を求め、あらかじめ設定された所定のしきい値Th1(0.4〜0.6)と対比する(ステップS1007)。そして、下記式
【0083】
(S2/S1)>Th1
を満たす場合には(ステップS1007:Yes)、明度の反転なしと判定する(ステップS1008)。上記を満たさない場合には(ステップS1007:No)、明度が反転されていると判定する(ステップS1009)。ここで、白画素矩形の面積S2が大きいほど、上記S2/S1の比は大きくなる。したがって、適当な値のしきい値Th1を用いるだけで簡単に明度反転の有無が判定できる。
【0084】
上記説明したしきい値Th1の値について説明する。背景を囲む面積は、画像の情報を持つ面積の大半を示すため、白の面積と、黒の面積のいずれが単純に大きいかの判定に5割(しきい値0.5)の線が通常の大まかなしきい値となる。しかし、上記処理内容による面積計算では、画像の総面積―白矩形の面積=黒の面積とはならない。すなわち、白の面積は白画素の外接矩形の面積であるため、たとえば、斜めの白い線があるとすると、面積は白画素よりもはるかに大きな値に計算されることになる。このため、通常値に対する余裕を見てしきい値は、0.4〜0.6の範囲とする。このしきい値は、通常値に対し経験的(統計的)な範囲で設定できる。
【0085】
また、上記処理回数規定のための所定の数Nの設定について説明する。所定の数N1を2〜10に設定した点については、白画素矩形を全て探索するのでは、処理時間がかかるため、処理時間を減らすべく面積順にして有効そうな数分だけを処理するためである。現実的には、似たような面積で、しかも白背景である領域が複数あるものは特殊な事象であり、ここでは少なくとも一つ以上の数を限定して調べるための値である。この処理回数規定のためのNの設定により、計算量(処理時間)を減らすことができる。結果として全ての矩形の面積を足すことにならないので、あらかじめ設定されるしきい値Th1には、標準的なしきい値の0.5より小さな値をセットしておく方が望ましい。
【0086】
(実施の形態15)
実施の形態15は、上記明度反転判定処理の他の例である。この実施の形態15は、実施の形態14にて面積比を計算する際に(ステップS1007)、画像データ全面の面積S1を用いない。代わりに、白画素矩形全てを含む領域の面積S3を求めておき、S1の代わりにS3を使用し、白画素矩形の面積S2との比で白画素面積比を算出する。
【0087】
面積S3の算出例は、画像上での白画素矩形が存在するX,Y座標上での最小点位置(Xs,Ys)と、最大点位置(Xe,Ye)の2点の座標値により、白画素矩形を全て含む4点の座標値が得られ、これら4点で囲まれた範囲を面積S3として得る。このような処理においても、適当な値のしきい値Th1を用い、下記式
【0088】
(S2/S3)<Th1
【0089】
を判断するだけでブック原稿をスキャンする際に生じる原稿周辺のベタノイズ等によるカウントをせず、このベタノイズの影響を排除して原稿のみの明度反転を正確に判定できるようになる。
【0090】
(実施の形態16)
実施の形態16は、実施の形態14,15で説明した明度反転の判定処理についての変形例の構成である。これら実施の形態14,15では白画素矩形の面積を用いて明度反転している。これは、白地に黒文字であった場合、背景色は当然白であり、背景色の方が文字の黒より多くなるのが通常であることに基づく。たとえば、実施の形態14では、このような、白が背景色となっている部分の面積S2を算出し、画像全体の面積S1に対する割合であるかを、明度反転判定に使用している。このため、白画素の面積比が少ない白矩形は誤認の原因になる可能性が高い。
【0091】
このため、この実施形態では、二値の画像データについて、白画素の連結成分からなる外接矩形を抽出した後、抽出された矩形の面積上位の所定の数分の矩形で、矩形中の白画素の面積比があらかじめ定めたしきい値Th2(0.3〜0.6)以下である場合は、該当する矩形を除き判定処理(ステップS1007)をおこなう構成とする。これにより、誤認の原因になる白画素の面積比が少ない白矩形を除き、明度反転の判定精度を向上できるようになる。
【0092】
上記説明したしきい値Th2の値について説明する、上記説明したように、白矩形の内部が白の斜め線などの場合には、面積は大きいが内部の白画素数が少ないことがあり得る。しきい値Th2は、この対策として、矩形中の白画素比率の低いものは白矩形として面積を足しこまないために設定される。たとえば、白背景に端まで文字が密に記載されていたとすると、実際の白画素数は少なくなる。しかし白背景であることには変わりはなく、面積としては、白画素数分だけではなく、全体を白背景領域とする方が最も自然であると判断することに基づいている。他にも、たとえば黒背景にぎざぎざが沢山あるような星型の白背景領域があると、線の谷付近に黒画素がある影響で全体の白画素比率は下がる。この対策として、背景中に存在する黒画素の占有率を考えたときに、通常のしきい値(0.5)よりも少ない方向に多く範囲を取ったしきい値Th2(0.3〜0.6)の範囲とすることが有効となる。
【0093】
(実施の形態17)
実施の形態17は、明度判定処理の他の具体的処理内容である。図11は、この実施形態の明度判定処理内容を示すフローチャートである。縮小した二値の画像データを生成し、この縮小された画像データを用いて明度反転判定をおこなう構成である。
【0094】
カラーの画像データがグレースケール化され、このグレーの画像データが入力される。はじめに、このグレーの画像データを所定の倍率(M1)%に縮小した画像データを作成する(ステップS1101)。倍率M1としては、たとえば、12.5%,25%,50%のいずれかの値を使用する。これらの数値は、それぞれ画像データを1/8,1/4,1/2に縮小処理するもので、これらの倍率設定は比較的高速に縮小処理できる倍率である。
【0095】
また、倍率M1として、入力された画像データの解像度からあらかじめ定めた所定の解像度R1を作成するための値を求め設定する構成にもできる。この場合、解像度R1の画像データを得るための変倍率M1を算出し設定する。解像度R1としては、50dpi,72dpi,100dpi,150dpi,200dpiという値が使用される。これらの数値は、通常、入力が予想される解像度に対して1/n(nは整数)倍に相当することが多く、変倍処理を円滑におこなえる値である。
【0096】
つぎに、この縮小された画像データを二値化する(ステップS1102)。そして、この二値の画像データA内において、白画素により構成される全ての矩形を抽出し(ステップS1103)、全白画素矩形からなる領域の面積(前述した面積S3に相当)を算出する(ステップS1104)。つぎに、得られた全ての白画素矩形を面積の大きい順にソートする(ステップS1105)。そして、これら白画素矩形の面積が大きい上位の所定の数N(例えば、N:2〜10)個の矩形を抽出する(ステップS1106〜S1109のループ)。このループ処理では、抽出された矩形の面積上位の所定の数分の矩形で、矩形中の白画素の面積があらかじめ定めたしきい値Th2(0.3〜0.6)以下である場合(ステップS1107:No)、何もせずにステップS1106へ戻ることで該当する矩形が除かれ、しきい値Th2よりも大きい場合(ステップS1107:Yes)にのみ、上位N個の白画素矩形の面積が積算(加算)される(ステップS1108)。
【0097】
N個全ての白画素の矩形の面積が積算されるまでは、ステップS1106に復帰するi回(i=0〜N)のループを実行する(ステップS1109:No)。N個全ての白画素の矩形の面積が積算されると(ステップS1109:Yes)、面積の総和を求め(面積S2に相当)、白画素矩形の範囲面積(S3)における白画素矩形の面積(S2)の面積比を求め、あらかじめ設定された所定のしきい値Th3(値:1/2)と対比する(ステップS1110)。
【0098】
(S2/S3)>Th3
を満たす場合には(ステップS1110:Yes)、明度の反転なしと判定する(ステップS1111)。上記を満たさない場合には(ステップS1110:No)、明度反転されていると判定する(ステップS1112)。
【0099】
上記処理で縮小された画像データを用いることにより、データ容量を小さくし明度反転の判定を高速化することができるようになる。また、JPEGなどのデータ劣化が起こる圧縮形式や、印刷に重点をおいた画像処理で黒ベタ領域の中や周辺に白ぬけノイズが発生することがある。このノイズは、矩形抽出を用いる方法では画素が白黒双方であっても無用な矩形が多数発生して明度反転判定の処理に影響が生じる。上記のような画像データの縮小化によれば、この白ぬけノイズの発生を回避することができる。なお、上記処理で縮小された二値の画像データは、そのまま以降の処理画像に用いることができる他、文字認識時に再度、元画像データを取り込み処理することもできる。
【0100】
なお、本実施の形態で説明した文書画像処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フロッピー(R)ディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、上記記録媒体を介して、インターネット等のネットワークを介して配布することができる。
【0102】
【発明の効果】
以上説明したように、本発明によれば、入力された多値の画像データの画像の傾きや画像方向を検出する文書画像処理方法において、前記多値の画像データが明度反転されているか否かを判定し、前記判定が明度反転の場合には、前記入力された多値の画像データの明度を反転させた画像データを作成し、前記明度反転された画像データを二値化し、該明度反転後の二値画像データの画像の傾きおよび/または画像方向を検出する各工程を備え、前記明度反転の判定時には、前記明度反転前後それぞれの二値画像データにおける黒画素の連結成分からなる外接矩形を抽出し、抽出された外接矩形のうち、画像上の周辺に接している外接矩形を除く外接矩形を構成する黒画素数を計数し、前記明度反転前後それぞれの二値画像データを前記計数された黒画素数に基づき明度反転の有無を判定することとしたので、最初に画像データの明度反転を判定するため、画像データに対する二値化の回数を減らすことができ、入力された画像データの明度反転の有無にかかわらず、傾きや方向を高精度に検出できるという効果を奏する。また、ブック原稿をスキャンする際に出る原稿周辺のベタノイズ等によるカウントをせず、このベタノイズの影響を排除して原稿のみの明度反転を正確に判定できるようになるという効果を奏する。
【0104】
また、本発明によれば、入力された多値の画像データの画像の傾きや画像方向を検出する文書画像処理装置において、前記多値の画像データが明度反転されているか否かを判定する明度反転判定手段と、前記明度反転判定手段による判定が明度反転の場合に、前記入力された多値の画像データの明度を反転させた画像データを作成する明度反転手段と、前記明度反転手段により前記明度反転された画像データを二値化する二値化手段と、該明度反転後の二値画像データの画像の傾きおよび/または画像方向を検出する回転検出手段と、を備え、前記明度反転判定手段は、前記明度反転前後それぞれの二値画像データにおける黒画素の連結成分からなる外接矩形を抽出し、抽出された外接矩形のうち、画像上の周辺に接している外接矩形を除く外接矩形を構成する黒画素数を計数し、前記明度反転前後それぞれの二値画像データを前記計数された黒画素数に基づき明度反転の有無を判定することとしたので、ブック原稿をスキャンする際に出る原稿周辺のベタノイズ等によるカウントをせず、このベタノイズの影響を排除して原稿のみの明度反転を正確に判定できるという効果を奏する。また、ブック原稿をスキャンする際に出る原稿周辺のベタノイズ等によるカウントをせず、このベタノイズの影響を排除して原稿のみの明度反転を正確に判定できるようになるという効果を奏する。
【図面の簡単な説明】
【図1】本発明の文書画像処理方法が適用される文字認識装置の構成を示すブロック図である。
【図2】この発明の実施の形態1にかかる文書画像処理方法の文書処理手順を示すフローチャートである。
【図3】この発明の実施の形態2にかかる文書画像処理方法の文書処理手順を示すフローチャートである。
【図4】この発明の実施の形態3にかかる文書画像処理方法の文書処理手順を示すフローチャートである。
【図5】この発明の実施の形態4にかかる文書画像処理方法の文書処理手順を示すフローチャートである。
【図6】この発明の実施の形態10にかかる文書画像処理方法の明度判定処理手順を示すフローチャートである。
【図7】この発明の実施の形態12にかかる文書画像処理方法の明度判定処理手順を示すフローチャートである。
【図8】この発明の実施の形態13にかかる文書画像処理方法の明度判定処理手順を示すフローチャートである。
【図9】実施の形態13に用いられる領域分割処理を実現する具体的構成を示すブロック図である。
【図10】この発明の実施の形態14にかかる文書画像処理方法の明度判定処理手順を示すフローチャートである。
【図11】この発明の実施の形態17にかかる文書画像処理方法の明度判定処理手順を示すフローチャートである。
【符号の説明】
100 文字認識装置
101 スキャナ
102 ディスプレイ
103 印字装置
104 画像メモリ
105 CPU
107 RAM
108 二値化部
109 回転検出部
110 明度反転部
111 画像回転部
112 明度反転判定部
901,902 領域分割手段
903 領域分割結果評価手段
Claims (4)
- 入力された多値の画像データの画像の傾きや画像方向を検出する文書画像処理方法において、
明度反転判定手段によって、前記多値の画像データが明度反転されているか否かを判定し、
前記判定が明度反転の場合には、
明度反転手段によって、前記入力された多値の画像データの明度を反転させた画像データを作成し、
二値化手段によって、前記明度反転された画像データを二値化し、
回転検出手段によって、該明度反転後の二値画像データの画像の傾きおよび/または画像方向を検出する、各工程を備え、
前記明度反転の判定時には、
前記明度反転前後それぞれの二値画像データにおける黒画素の連結成分からなる外接矩形を抽出し、
抽出された外接矩形のうち、画像上の周辺に接している外接矩形を除く外接矩形を構成する黒画素数を計数し、
前記明度反転前後それぞれの二値画像データを前記計数された黒画素数に基づき明度反転の有無を判定することを特徴とする文書画像処理方法。 - 入力された多値の画像データの画像の傾きや画像方向を検出する文書画像処理装置において、
前記多値の画像データが明度反転されているか否かを判定する明度反転判定手段と、
前記明度反転判定手段による判定が明度反転の場合に、前記入力された多値の画像データの明度を反転させた画像データを作成する明度反転手段と、
前記明度反転手段により前記明度反転された画像データを二値化する二値化手段と、
該明度反転後の二値画像データの画像の傾きおよび/または画像方向を検出する回転検出手段と、を備え、
前記明度反転判定手段は、
前記明度反転前後それぞれの二値画像データにおける黒画素の連結成分からなる外接矩形を抽出し、
抽出された外接矩形のうち、画像上の周辺に接している外接矩形を除く外接矩形を構成する黒画素数を計数し、
前記明度反転前後それぞれの二値画像データを前記計数された黒画素数に基づき明度反転の有無を判定することを特徴とする文書画像処理装置。 - 入力された多値の画像データの画像の傾きや画像方向を検出する文書画像処理プログラムにおいて、
前記多値の画像データが明度反転されているか否かを判定する明度反転判定手段、
前記明度反転判定手段による判定が明度反転の場合に、前記入力された多値の画像データの明度を反転させた画像データを作成する明度反転手段、
前記明度反転手段により前記明度反転された画像データを二値化する二値化手段、
該明度反転後の二値画像データの画像の傾きおよび/または画像方向を検出する回転検出手段、としてコンピュータを動作させ、
前記明度反転判定手段は、
前記明度反転前後それぞれの二値画像データにおける黒画素の連結成分からなる外接矩形を抽出し、
抽出された外接矩形のうち、画像上の周辺に接している外接矩形を除く外接矩形を構成する黒画素数を計数し、
前記明度反転前後それぞれの二値画像データを前記計数された黒画素数に基づき明度反転の有無を判定することを特徴とする文書画像処理プログラム。 - 請求項3に記載の文書画像処理プログラムを記憶したことを特徴とする前記コンピュータに読み取り可能な記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003007567A JP4261922B2 (ja) | 2002-01-16 | 2003-01-15 | 文書画像処理方法、文書画像処理装置、文書画像処理プログラムおよび記憶媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002-7933 | 2002-01-16 | ||
JP2002007933 | 2002-01-16 | ||
JP2003007567A JP4261922B2 (ja) | 2002-01-16 | 2003-01-15 | 文書画像処理方法、文書画像処理装置、文書画像処理プログラムおよび記憶媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008292520A Division JP4339925B2 (ja) | 2002-01-16 | 2008-11-14 | 文書画像処理方法、文書画像処理装置、文書画像処理プログラムおよび記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003281469A JP2003281469A (ja) | 2003-10-03 |
JP4261922B2 true JP4261922B2 (ja) | 2009-05-13 |
Family
ID=29252941
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003007567A Expired - Fee Related JP4261922B2 (ja) | 2002-01-16 | 2003-01-15 | 文書画像処理方法、文書画像処理装置、文書画像処理プログラムおよび記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4261922B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI245557B (en) | 2003-09-11 | 2005-12-11 | Matsushita Electric Ind Co Ltd | Image compensation apparatus and method for the same |
JP2007336143A (ja) * | 2006-06-14 | 2007-12-27 | Ricoh Co Ltd | 画像処理装置 |
CN105761219B (zh) * | 2016-02-03 | 2019-03-15 | 北京云江科技有限公司 | 文本图像倾斜矫正方法和系统 |
CN110389127B (zh) * | 2019-07-03 | 2020-08-14 | 浙江大学 | 一种金属陶瓷零件识别及表面缺陷检测系统和方法 |
-
2003
- 2003-01-15 JP JP2003007567A patent/JP4261922B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003281469A (ja) | 2003-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4339925B2 (ja) | 文書画像処理方法、文書画像処理装置、文書画像処理プログラムおよび記憶媒体 | |
JP4628882B2 (ja) | 判別器の学習方法、顔判別方法および装置並びにプログラム | |
JP3904840B2 (ja) | 多値画像から罫線を抽出する罫線抽出装置 | |
JP3950777B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
EP1091320A2 (en) | Processing multiple digital images | |
US6798906B1 (en) | Image processing apparatus and method including line segment data extraction | |
JP4522468B2 (ja) | 画像判別装置、画像検索装置、画像検索プログラムおよび記録媒体 | |
EP1081648B1 (en) | Method for processing a digital image | |
JP2010527190A (ja) | スキャンされたドキュメントを含むデジタル画像の圧縮 | |
JP4098845B2 (ja) | テキストのバイナリー画像から抽出されたシンボルを比較する方法 | |
JP4392907B2 (ja) | 文字切出し方法 | |
JP4261922B2 (ja) | 文書画像処理方法、文書画像処理装置、文書画像処理プログラムおよび記憶媒体 | |
JP4132766B2 (ja) | 画像処理装置および方法 | |
EP0870276B1 (en) | A method for transforming a gray-level image into a black-and-white image | |
JP2002342710A (ja) | 文字切出し装置及びそれに用いる文字切出し方法並びにそのプログラム | |
JP2786355B2 (ja) | 文章画像の属性判別方法 | |
Boiangiu et al. | Bitonal image creation for automatic content conversion | |
KR100537827B1 (ko) | 경계선 분포를 이용한 스캔 영상의 상역 분리 방법 | |
JPH05284356A (ja) | 画像情報2値化方法および画像情報2値化 | |
JP2881066B2 (ja) | 文章画像の属性判別方法 | |
JP3871876B2 (ja) | 二値化装置、二値化方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JPH10124665A (ja) | 画像処理方法および画像処理装置 | |
KR100484170B1 (ko) | 디지털 화질 개선방법 및 장치 | |
JP2000040153A (ja) | 画像処理方法、画像処理プログラムを記録した媒体及び画像処理装置 | |
JPH04316178A (ja) | 文書画像の属性判別方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050609 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080605 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080610 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4261922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |