JP4323606B2 - 文書画像傾き検出装置 - Google Patents
文書画像傾き検出装置 Download PDFInfo
- Publication number
- JP4323606B2 JP4323606B2 JP05261699A JP5261699A JP4323606B2 JP 4323606 B2 JP4323606 B2 JP 4323606B2 JP 05261699 A JP05261699 A JP 05261699A JP 5261699 A JP5261699 A JP 5261699A JP 4323606 B2 JP4323606 B2 JP 4323606B2
- Authority
- JP
- Japan
- Prior art keywords
- peripheral distribution
- document image
- inclination
- peripheral
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1475—Inclination or skew detection or correction of characters or of image to be recognised
- G06V30/1478—Inclination or skew detection or correction of characters or of image to be recognised of characters or characters lines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00681—Detecting the presence, position or size of a sheet or correcting its position before scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00681—Detecting the presence, position or size of a sheet or correcting its position before scanning
- H04N1/00684—Object of the detection
- H04N1/00718—Skew
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00681—Detecting the presence, position or size of a sheet or correcting its position before scanning
- H04N1/00729—Detection means
- H04N1/00734—Optical detectors
- H04N1/00737—Optical detectors using the scanning elements as detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
- H04N1/3878—Skew detection or correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は文書画像の傾き検出装置、特にＯＣＲ等のページ単位の文書画像を処理するデジタル画像処理装置において入力画像の傾きを検出する文書画像傾き検出装置に関するものである。
【０００２】
【従来の技術】
例えばＯＣＲを用いて文書画像の処理を行う際、画像を読み取るイメージスキャナに対して原稿が傾く等の原因により、入力画像に傾きが生ずることがある。この傾きが生じた文書画像においても文字認識等を正確に行うためには、入力画像の傾きを補正するか、或いは各処理で傾きを考慮した処理が必要となり、文書画像の傾きを検出することが行われている。
【０００３】
この文書画像の傾き検出としては、(１)原稿画像を微小角度毎に回転させながら周辺分布をとり、分布が最も急峻になった回転角を原稿の傾きとする手法［電子通信学会研究報告（信学技法）PRL80-70，pp9-16］、(２)二次元フーリエ変換（ＦＦＴ）により、原稿の文字や文字列の空間分布を求めて、それから傾き角度を推定する手法［電子通信学会論文誌‘84／11，VOL.670，No.9，pp1044-1051］、(３)文書画像を行方向と略直交する複数個の平行する帯状領域に分割し、各帯状領域内で部分的な周辺分布を求め、隣接する帯状領域における周辺分布のピーク点の位相ずれから傾き角を検出する手法［電子通信学会論文誌‘83/1，VOL.J66-D，No.1，pp111-118］等が提案されている。
【０００４】
また、その他にも、文書原稿の行方向と略直交する方向への走査による周辺分布において、互いに隣接する走査線における濃度累積値の差分の絶対値和を求め、その値が最大となるように傾きを補正する技術（特公昭６２−５２３３７号、特公昭６３−２５３９１号）、文書画像を２種以上の幅の帯状領域に分割し、各帯状領域に対する投影像をそれぞれ求め、帯状領域の幅の差と投影像の変化量により傾き角を検出する技術（特開昭６３−２９２３８２号）、文字を外接矩形や周辺分布により図形化し、この文字図形の領域の隣接する配列位置関係から文字図形列の傾きを検出する技術（特開平２−４４４８６号）、文字列の複数部分の周辺分布を抽出し、各周辺分布から文字列の位置を推定し、文字列全体の傾きを推定する技術（特開平３−２１２７８０号）等が知られている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前述のような各手法においては、画像回転処理、二次元フーリエ変換など時間のかかる複雑な処理を必要とするものや、多数の周辺分布を求めて比較演算処理を要したり、これの簡素化で傾き精度の検出が低下する問題を有する。
【０００６】
また、その検出原理によっては、原稿の行方向、すなわち原稿が縦書きであるか横書きであるかが予めわかっている場合には適用可能であるが、文字列の方向が分からない原稿或いは縦書き・横書き混在の原稿に対しては、部分的な周辺分布の位相ずれが不明確になって傾き検出が困難になるものがある。さらに、文書原稿が和文と欧文とでは周辺分布等の特徴が異なるのに対応できず、文字の大きさが揃っていない欧文原稿での傾き検出では検出誤差が大きくなるものもある。
【０００７】
本発明は上記事情に鑑み、縦書き原稿・横書き原稿の別なく、和文及び欧文による文書画像の傾きを高精度かつ高速に検出し得るようにした文書画像傾き検出装置を提供するものである。
【０００８】
【課題を解決するための手段】
上記課題を解決した本発明の文書画像傾き検出装置は、入力した文書画像を縦方向の分割線で複数の小領域に分割し、該小領域ごとに横方向に投影した横方向周辺分布を抽出するとともに、前記文書画像を横方向の分割線で複数の小領域に分割し、該小領域ごとに縦方向に投影した縦方向周辺分布を抽出する周辺分布抽出手段と、前記周辺分布抽出手段により抽出された横方向周辺分布と縦方向周辺分布を比較することにより前記文書画像の行方向を検出する行方向検出手段と、前記行方向検出手段により検出された行方向と同一方向に投影した前記周辺分布を成形する周辺分布成形手段と、前記周辺分布成形手段により成形された互いに隣接する小領域の成形後周辺分布の位相ずれから前記文書画像の傾きを検出する傾き検出手段とを備えたことを特徴とするものである。
【０００９】
前記行方向検出手段は、前記周辺分布抽出手段により抽出された前記横方向及び縦方向周辺分布における周期的空白部間の周辺分布個数又は周期的空白部個数を比較して、該個数が多い周辺分布の投影方向を行方向と判定することが可能である。
【００１０】
前記傾き検出手段は、同一文字列における複数の成形後周辺分布の中心点を例えば最小自乗法により結ぶ直線の傾きから文書画像の傾きを検出することが好適である。その際、複数の文字列における前記中心点を結ぶ直線の傾きから文書画像の傾きを検出することが望ましい。
【００１１】
また、前記周辺分布成形手段は、行方向と同一方向に投影した各行における前記周辺分布の端部をしきい値処理により低レベル部を除去成形するのが特に欧文文書に対して有効である。
【００１２】
【発明の効果】
上記のような本発明の文書画像傾き検出装置によれば、入力した文書画像を縦方向の分割線で分割した小領域ごとに横方向に投影した横方向周辺分布及び横方向の分割線で分割した小領域ごとに縦方向に投影した縦方向周辺分布を周辺分布抽出手段で抽出し、この横方向及び縦方向周辺分布を行方向検出手段で比較して文書画像の行方向を検出し、この行方向と同一方向に投影した周辺分布を周辺分布成形手段で成形し、傾き検出手段で互いに隣接する小領域の成形後周辺分布の位相ずれから文書画像の傾きを検出することにより、縦書き原稿・横書き原稿の別なく傾き検出を行うことができるし、傾き検出に必要な方向の周辺分布のみの成形及び傾き検出を行うことでその処理が簡素化でき、さらに、例えば欧文の文字列の特徴を考慮して周辺分布の成形を行うから、和文のみならず欧文文書画像の傾きを高精度に検出することができるものであって、行方向判定、傾き検出を総合的に高精度で高速に行うことができる。
【００１３】
特に、文書画像の文字列の部分的な周辺分布を求め、互いに隣接する小領域の周辺分布間の位相ずれから傾き検出を行うという簡易な検出手法を用いることにより、文書画像の傾き検出の複雑さを改善している。しかも、原稿の行方向に関する情報が与えられない場合や、縦書き・横書きの混在原稿に対して、傾きを検出する前に行方向の検出を予め行い、検出された行方向の周辺分布データだけを用いることでさらに傾き検出の簡易化を図っている。
【００１４】
また、行方向検出を、抽出された横方向及び縦方向周辺分布における行間に対応する周期的空白部間の周辺分布個数又は周期的空白部個数を比較して、その個数が多い周辺分布の投影方向を行方向と判定することで行うと、縦書き・横書きの混在原稿に対しても傾き検出に好適な行方向判定が行える。
【００１５】
さらに、傾き検出において、同一文字列における複数の成形後周辺分布の中心点に基づいて傾きを検出すると、高速にかつ正確に傾き検出を行うことができる。しかも、複数の文字列にわたってできるだけ多くの成形された周辺分布を対象にして傾きを検出すると、より正確な結果が得られる。
【００１６】
また、周辺分布の成形は、行方向と同一方向に投影した各行における周辺分布の端部をしきい値処理により低いレベル部を除去成形すると、文字の大きさが揃っていない欧文文書に対しても、和文文書と同様に高精度の傾き検出が行える。
【００１７】
【発明の実施の形態】
以下、本発明の文書画像傾き検出装置の実施の形態を図面に基づいて説明する。図１は本発明の文書画像傾き検出装置を備えた文書画像処理システムの全体構成を示すものである。
【００１８】
文書画像処理システムは、文書原稿をデジタル画像データとして入力するイメージスキャナ１、入力された文書画像のデータを記憶するイメージメモリ２、文書画像の傾き検出を行う文書画像傾き検出装置３、システム全体を制御するＣＰＵ４を備えている。
【００１９】
また、前記文書画像傾き検出装置３は、前記文書画像の横方向周辺分布及び縦方向周辺分布を抽出する周辺分布抽出手段３０１、文書画像の文字列の行方向を認識する行方向検出手段３０２、行方向の周辺分布にしきい値処理による成形を施す周辺分布成形手段３０３、文書画像の行方向の傾きを求める傾き検出手段３０４から構成されている。
【００２０】
前記周辺分布抽出手段３０１は、イメージメモリ２に格納されたデジタル文書画像データ（後述の図２(Ａ)参照）から、縦横両方向に対して文字列の部分的な２種の周辺分布を抽出する。つまり、一つは文書画像を縦方向の分割線で複数の帯状小領域に分割し、該小領域ごとに横方向に投影した横方向周辺分布を抽出し（図２(Ｂ)参照）、もう一つは、文書画像を横方向の分割線で複数の帯状小領域に分割し、該小領域ごとに縦方向に投影した縦方向周辺分布を抽出する（図２(Ｃ)参照）。この縦横両方向の周辺分布は文字列の行方向を認識する行方向検出手段３０２に送られる。
【００２１】
この行方向検出手段３０２は、縦横両方向の周辺分布を比較することにより入力文書画像の文字列の行方向すなわち縦書きか横書きかを推定する。具体的には、前記横方向周辺分布及び縦方向周辺分布における周期的空白部間の周辺分布個数、又は周期的空白部の個数を比較して、該個数が多い周辺分布の投影方向を行方向と判定する。その結果を周辺分布成形手段３０３に送る。
【００２２】
周辺分布成形手段３０３は、行方向検出手段３０２により推定された行方向と同じ方向に投影して得られた周辺分布に対し、その端部をしきい値処理により低レベル部分を除去する周辺分布成形処理を行い、その結果を傾き検出手段３０４に送る。
【００２３】
傾き検出手段３０４は、互いに隣接する帯状領域の成形後周辺分布の位相ずれから各文字列の傾きを求める。具体的には、同一文字列における複数の成形後周辺分布の中心点を最小自乗法により結ぶ直線の傾きを複数の文字列で求め、それぞれの文字列の傾きの平均値を入力文書画像の傾きとして検出し、文書画像の傾き角の値はＣＰＵ４に送られ、その後の処理に使用される。
【００２４】
以下、図２〜図４に示す横書き文書画像を例に各動作を詳細に説明する。図２(Ａ)は傾いた横書きの欧文文書画像１０（入力画像データ）であり、前記周辺分布抽出手段３０１はこの文書画像１０を、縦横両方向に複数の平行する帯状小領域に分割し、各帯状領域ごとに文字列の部分的な横方向及び縦方向周辺分布を求める。すなわち、図２(Ｂ)は文書画像１０を縦方向の分割線１１で縦方向に延びる８個の平行な帯状小領域に分割し、各小領域を横方向に投影して抽出された横方向周辺分布２１であり、図２(Ｃ)は文書画像１０を横方向の分割線１２で横方向に延びる１１個の平行な帯状小領域に分割し、各小領域を縦方向に投影して抽出された縦方向周辺分布２２である。
【００２５】
ここで文字列の周辺分布２１，２２とは、縦方向の分割線１１による小領域の場合を図３に示すように、分割線１１内の小領域を分割線１１に直交する横方向に投影するように走査した際に、この小領域内に存在する文書画像１０（文字列）を所定ピッチで走査して各走査ライン上で発見される黒画素ランの個数（文字部分を走査した回数）をヒストグラムで示している。なお、走査した文字部分の黒画素数をカウントしたものでもよい。
【００２６】
前記行方向検出手段３０２は、前記のような図２(Ｂ)の横方向周辺分布２１と図２(Ｃ)の縦方向周辺分布２２を比較して文書画像１０の文字列の行方向を認識する。この例では横書き文書であることから、横方向周辺分布２１は行方向と略平行に走査（投影）していることで、この横方向周辺分布２１には各行に対するヒストグラムの塊の間に行間に相当する空白部が明確にかつ周期的に存在する一方、縦方向周辺分布２２は行方向と略直交する方向に走査（投影）していることで、この縦方向周辺分布には上記のような周期的な空白部はなく連続的にヒストグラムが現れている。
【００２７】
上記のように横方向周辺分布２１と縦方向周辺分布２２とには文書画像１０の行方向に対応した顕著な特徴が現れることから、これを利用して行方向を検出する。具体的には、前記横方向周辺分布２１及び縦方向周辺分布２２における一定間隔以上離れて存在する周期的なヒストグラム塊の個数（又は周期的空白部の個数）をカウントし、両者のカウント数を比較して多い方の周辺分布２１又は２２における投影方向（走査方向）を文字列の行方向と判定する。前記図２の場合には、上記カウント数は図２(Ｂ)で１５０以上、図２(Ｃ)で２０以下となって、横方向に投影して得られた横方向周辺分布２１の方が多いため、文書画像１０の文字列の行方向は横方向と判断できる。そこで、行方向検出手段３０２は、横方向に投影して得られた図２(Ｂ)の横方向周辺分布２１のデータのみを、前記周辺分布成形手段３０３に送るものである。
【００２８】
なお、文書画像１０に縦横両方向の文字列が混在する原稿については、前記カウント数が多い方の周辺分布が対応する行方向の文字列が多いので、その方向の周辺分布データのみを周辺分布成形手段３０３に送ることで、後述の高精度の傾き検出が可能になる。
【００２９】
次に、図４は周辺分布成形手段３０３及び傾き検出手段３０４の動作を示すものであるが、傾き検出手段３０４は前述のように基本的に周辺分布２１の各ヒストグラムの行方向と直交する方向の幅（図４では上下方向の長さ）の中央点を結んだ直線の傾きを検出するものであるが、これでは欧文のときに実際の傾きと一致しない場合があり、これを周辺分布成形手段３０３で補正するものである。
【００３０】
上記目的で周辺分布成形手段３０３は、行方向検出手段３０２から送出された周辺分布２１に対して成形化処理を行う。つまり、図４(Ａ)に、欧文文字列の一部とそれらの横方向周辺分布２１の例を示し、小文字が連続する欧文の場合、“ｄ”の頭部分、“ｇ”の足の部分など、文字列の基本的な上下範囲から飛び出した部分があり文字の大きさが揃っていないため、それらの周辺分布２１をそのまま利用すると、各文字列のヒストグラムの中央点ｓを結ぶ直線Ｌ０の傾き角は実際の文字列の傾き角と一致しないで誤差を生じる。そのため、周辺分布成形手段３０３は、周辺分布２１の各ヒストグラムの端部にしきい値処理を施し、各周辺分布２１の端部におけるレベルがしきい値より小さな部分を除去する成形を行い、図４(Ｂ)のように、成形後の周辺分布２１ａは欧文文字の上記のような上下の飛び出した部分の影響を排除し、この成形後周辺分布２１ａが文字列の主要部に対応するものとしている。成形後の周辺分布２１ａにおける各ヒストグラムの長さの中央点ｓを結ぶ直線Ｌ１の傾きは、文字列の傾きに対してより高い精度で一致するようになる。上記成形処理後の周辺分布２１ａが傾き検出手段３０４に送られる。
【００３１】
傾き検出手段３０４は、成形後周辺分布２１ａにおける１つの文字列に属すると判断される互いに隣接するヒストグラムの中心位置ｓ，ｓ…を求め、このそれぞれの中心位置ｓをできるだけ長く結ぶ直線Ｌ１を最小自乗法により求め、この直線Ｌ１の傾きをその文字列の傾きとする。このような直線Ｌ１を全ての文字列の対応する周辺分布２１ａについて結んで傾きを求め、それらの傾きの平均値を文書画像１０の傾きと判断する。
【００３２】
なお、前述のような周辺分布の成形処理は、和文の文書画像に対して同様に施しても除去部分は少なく、直線の傾き検出に対する影響は小さく、和文及び欧文のいずれにおいても良好な傾き検出が行える。
【図面の簡単な説明】
【図１】本発明の一つの実施の形態による文書画像傾き検出装置を備えたシステムの構成図
【図２】一例の文書画像とその横縦両方向の周辺分布を示す図
【図３】文字列の周辺分布を求める一例を示す図
【図４】文字列の周辺分布に対する成形前後の傾き検出を示す図
【符号の説明】
１ イメージスキャナ
２ イメージメモリ
３ 文書画像傾き検出装置
10 文書画像
11,12 分割線
20,30 周辺分布
21a 成形後周辺分布
ｓ 中央点
L1 直線
301 周辺分布抽出手段
302 行方向検出手段
303 周辺分布成形手段
304 傾き検出手段
【発明の属する技術分野】
本発明は文書画像の傾き検出装置、特にＯＣＲ等のページ単位の文書画像を処理するデジタル画像処理装置において入力画像の傾きを検出する文書画像傾き検出装置に関するものである。
【０００２】
【従来の技術】
例えばＯＣＲを用いて文書画像の処理を行う際、画像を読み取るイメージスキャナに対して原稿が傾く等の原因により、入力画像に傾きが生ずることがある。この傾きが生じた文書画像においても文字認識等を正確に行うためには、入力画像の傾きを補正するか、或いは各処理で傾きを考慮した処理が必要となり、文書画像の傾きを検出することが行われている。
【０００３】
この文書画像の傾き検出としては、(１)原稿画像を微小角度毎に回転させながら周辺分布をとり、分布が最も急峻になった回転角を原稿の傾きとする手法［電子通信学会研究報告（信学技法）PRL80-70，pp9-16］、(２)二次元フーリエ変換（ＦＦＴ）により、原稿の文字や文字列の空間分布を求めて、それから傾き角度を推定する手法［電子通信学会論文誌‘84／11，VOL.670，No.9，pp1044-1051］、(３)文書画像を行方向と略直交する複数個の平行する帯状領域に分割し、各帯状領域内で部分的な周辺分布を求め、隣接する帯状領域における周辺分布のピーク点の位相ずれから傾き角を検出する手法［電子通信学会論文誌‘83/1，VOL.J66-D，No.1，pp111-118］等が提案されている。
【０００４】
また、その他にも、文書原稿の行方向と略直交する方向への走査による周辺分布において、互いに隣接する走査線における濃度累積値の差分の絶対値和を求め、その値が最大となるように傾きを補正する技術（特公昭６２−５２３３７号、特公昭６３−２５３９１号）、文書画像を２種以上の幅の帯状領域に分割し、各帯状領域に対する投影像をそれぞれ求め、帯状領域の幅の差と投影像の変化量により傾き角を検出する技術（特開昭６３−２９２３８２号）、文字を外接矩形や周辺分布により図形化し、この文字図形の領域の隣接する配列位置関係から文字図形列の傾きを検出する技術（特開平２−４４４８６号）、文字列の複数部分の周辺分布を抽出し、各周辺分布から文字列の位置を推定し、文字列全体の傾きを推定する技術（特開平３−２１２７８０号）等が知られている。
【０００５】
【発明が解決しようとする課題】
しかしながら、前述のような各手法においては、画像回転処理、二次元フーリエ変換など時間のかかる複雑な処理を必要とするものや、多数の周辺分布を求めて比較演算処理を要したり、これの簡素化で傾き精度の検出が低下する問題を有する。
【０００６】
また、その検出原理によっては、原稿の行方向、すなわち原稿が縦書きであるか横書きであるかが予めわかっている場合には適用可能であるが、文字列の方向が分からない原稿或いは縦書き・横書き混在の原稿に対しては、部分的な周辺分布の位相ずれが不明確になって傾き検出が困難になるものがある。さらに、文書原稿が和文と欧文とでは周辺分布等の特徴が異なるのに対応できず、文字の大きさが揃っていない欧文原稿での傾き検出では検出誤差が大きくなるものもある。
【０００７】
本発明は上記事情に鑑み、縦書き原稿・横書き原稿の別なく、和文及び欧文による文書画像の傾きを高精度かつ高速に検出し得るようにした文書画像傾き検出装置を提供するものである。
【０００８】
【課題を解決するための手段】
上記課題を解決した本発明の文書画像傾き検出装置は、入力した文書画像を縦方向の分割線で複数の小領域に分割し、該小領域ごとに横方向に投影した横方向周辺分布を抽出するとともに、前記文書画像を横方向の分割線で複数の小領域に分割し、該小領域ごとに縦方向に投影した縦方向周辺分布を抽出する周辺分布抽出手段と、前記周辺分布抽出手段により抽出された横方向周辺分布と縦方向周辺分布を比較することにより前記文書画像の行方向を検出する行方向検出手段と、前記行方向検出手段により検出された行方向と同一方向に投影した前記周辺分布を成形する周辺分布成形手段と、前記周辺分布成形手段により成形された互いに隣接する小領域の成形後周辺分布の位相ずれから前記文書画像の傾きを検出する傾き検出手段とを備えたことを特徴とするものである。
【０００９】
前記行方向検出手段は、前記周辺分布抽出手段により抽出された前記横方向及び縦方向周辺分布における周期的空白部間の周辺分布個数又は周期的空白部個数を比較して、該個数が多い周辺分布の投影方向を行方向と判定することが可能である。
【００１０】
前記傾き検出手段は、同一文字列における複数の成形後周辺分布の中心点を例えば最小自乗法により結ぶ直線の傾きから文書画像の傾きを検出することが好適である。その際、複数の文字列における前記中心点を結ぶ直線の傾きから文書画像の傾きを検出することが望ましい。
【００１１】
また、前記周辺分布成形手段は、行方向と同一方向に投影した各行における前記周辺分布の端部をしきい値処理により低レベル部を除去成形するのが特に欧文文書に対して有効である。
【００１２】
【発明の効果】
上記のような本発明の文書画像傾き検出装置によれば、入力した文書画像を縦方向の分割線で分割した小領域ごとに横方向に投影した横方向周辺分布及び横方向の分割線で分割した小領域ごとに縦方向に投影した縦方向周辺分布を周辺分布抽出手段で抽出し、この横方向及び縦方向周辺分布を行方向検出手段で比較して文書画像の行方向を検出し、この行方向と同一方向に投影した周辺分布を周辺分布成形手段で成形し、傾き検出手段で互いに隣接する小領域の成形後周辺分布の位相ずれから文書画像の傾きを検出することにより、縦書き原稿・横書き原稿の別なく傾き検出を行うことができるし、傾き検出に必要な方向の周辺分布のみの成形及び傾き検出を行うことでその処理が簡素化でき、さらに、例えば欧文の文字列の特徴を考慮して周辺分布の成形を行うから、和文のみならず欧文文書画像の傾きを高精度に検出することができるものであって、行方向判定、傾き検出を総合的に高精度で高速に行うことができる。
【００１３】
特に、文書画像の文字列の部分的な周辺分布を求め、互いに隣接する小領域の周辺分布間の位相ずれから傾き検出を行うという簡易な検出手法を用いることにより、文書画像の傾き検出の複雑さを改善している。しかも、原稿の行方向に関する情報が与えられない場合や、縦書き・横書きの混在原稿に対して、傾きを検出する前に行方向の検出を予め行い、検出された行方向の周辺分布データだけを用いることでさらに傾き検出の簡易化を図っている。
【００１４】
また、行方向検出を、抽出された横方向及び縦方向周辺分布における行間に対応する周期的空白部間の周辺分布個数又は周期的空白部個数を比較して、その個数が多い周辺分布の投影方向を行方向と判定することで行うと、縦書き・横書きの混在原稿に対しても傾き検出に好適な行方向判定が行える。
【００１５】
さらに、傾き検出において、同一文字列における複数の成形後周辺分布の中心点に基づいて傾きを検出すると、高速にかつ正確に傾き検出を行うことができる。しかも、複数の文字列にわたってできるだけ多くの成形された周辺分布を対象にして傾きを検出すると、より正確な結果が得られる。
【００１６】
また、周辺分布の成形は、行方向と同一方向に投影した各行における周辺分布の端部をしきい値処理により低いレベル部を除去成形すると、文字の大きさが揃っていない欧文文書に対しても、和文文書と同様に高精度の傾き検出が行える。
【００１７】
【発明の実施の形態】
以下、本発明の文書画像傾き検出装置の実施の形態を図面に基づいて説明する。図１は本発明の文書画像傾き検出装置を備えた文書画像処理システムの全体構成を示すものである。
【００１８】
文書画像処理システムは、文書原稿をデジタル画像データとして入力するイメージスキャナ１、入力された文書画像のデータを記憶するイメージメモリ２、文書画像の傾き検出を行う文書画像傾き検出装置３、システム全体を制御するＣＰＵ４を備えている。
【００１９】
また、前記文書画像傾き検出装置３は、前記文書画像の横方向周辺分布及び縦方向周辺分布を抽出する周辺分布抽出手段３０１、文書画像の文字列の行方向を認識する行方向検出手段３０２、行方向の周辺分布にしきい値処理による成形を施す周辺分布成形手段３０３、文書画像の行方向の傾きを求める傾き検出手段３０４から構成されている。
【００２０】
前記周辺分布抽出手段３０１は、イメージメモリ２に格納されたデジタル文書画像データ（後述の図２(Ａ)参照）から、縦横両方向に対して文字列の部分的な２種の周辺分布を抽出する。つまり、一つは文書画像を縦方向の分割線で複数の帯状小領域に分割し、該小領域ごとに横方向に投影した横方向周辺分布を抽出し（図２(Ｂ)参照）、もう一つは、文書画像を横方向の分割線で複数の帯状小領域に分割し、該小領域ごとに縦方向に投影した縦方向周辺分布を抽出する（図２(Ｃ)参照）。この縦横両方向の周辺分布は文字列の行方向を認識する行方向検出手段３０２に送られる。
【００２１】
この行方向検出手段３０２は、縦横両方向の周辺分布を比較することにより入力文書画像の文字列の行方向すなわち縦書きか横書きかを推定する。具体的には、前記横方向周辺分布及び縦方向周辺分布における周期的空白部間の周辺分布個数、又は周期的空白部の個数を比較して、該個数が多い周辺分布の投影方向を行方向と判定する。その結果を周辺分布成形手段３０３に送る。
【００２２】
周辺分布成形手段３０３は、行方向検出手段３０２により推定された行方向と同じ方向に投影して得られた周辺分布に対し、その端部をしきい値処理により低レベル部分を除去する周辺分布成形処理を行い、その結果を傾き検出手段３０４に送る。
【００２３】
傾き検出手段３０４は、互いに隣接する帯状領域の成形後周辺分布の位相ずれから各文字列の傾きを求める。具体的には、同一文字列における複数の成形後周辺分布の中心点を最小自乗法により結ぶ直線の傾きを複数の文字列で求め、それぞれの文字列の傾きの平均値を入力文書画像の傾きとして検出し、文書画像の傾き角の値はＣＰＵ４に送られ、その後の処理に使用される。
【００２４】
以下、図２〜図４に示す横書き文書画像を例に各動作を詳細に説明する。図２(Ａ)は傾いた横書きの欧文文書画像１０（入力画像データ）であり、前記周辺分布抽出手段３０１はこの文書画像１０を、縦横両方向に複数の平行する帯状小領域に分割し、各帯状領域ごとに文字列の部分的な横方向及び縦方向周辺分布を求める。すなわち、図２(Ｂ)は文書画像１０を縦方向の分割線１１で縦方向に延びる８個の平行な帯状小領域に分割し、各小領域を横方向に投影して抽出された横方向周辺分布２１であり、図２(Ｃ)は文書画像１０を横方向の分割線１２で横方向に延びる１１個の平行な帯状小領域に分割し、各小領域を縦方向に投影して抽出された縦方向周辺分布２２である。
【００２５】
ここで文字列の周辺分布２１，２２とは、縦方向の分割線１１による小領域の場合を図３に示すように、分割線１１内の小領域を分割線１１に直交する横方向に投影するように走査した際に、この小領域内に存在する文書画像１０（文字列）を所定ピッチで走査して各走査ライン上で発見される黒画素ランの個数（文字部分を走査した回数）をヒストグラムで示している。なお、走査した文字部分の黒画素数をカウントしたものでもよい。
【００２６】
前記行方向検出手段３０２は、前記のような図２(Ｂ)の横方向周辺分布２１と図２(Ｃ)の縦方向周辺分布２２を比較して文書画像１０の文字列の行方向を認識する。この例では横書き文書であることから、横方向周辺分布２１は行方向と略平行に走査（投影）していることで、この横方向周辺分布２１には各行に対するヒストグラムの塊の間に行間に相当する空白部が明確にかつ周期的に存在する一方、縦方向周辺分布２２は行方向と略直交する方向に走査（投影）していることで、この縦方向周辺分布には上記のような周期的な空白部はなく連続的にヒストグラムが現れている。
【００２７】
上記のように横方向周辺分布２１と縦方向周辺分布２２とには文書画像１０の行方向に対応した顕著な特徴が現れることから、これを利用して行方向を検出する。具体的には、前記横方向周辺分布２１及び縦方向周辺分布２２における一定間隔以上離れて存在する周期的なヒストグラム塊の個数（又は周期的空白部の個数）をカウントし、両者のカウント数を比較して多い方の周辺分布２１又は２２における投影方向（走査方向）を文字列の行方向と判定する。前記図２の場合には、上記カウント数は図２(Ｂ)で１５０以上、図２(Ｃ)で２０以下となって、横方向に投影して得られた横方向周辺分布２１の方が多いため、文書画像１０の文字列の行方向は横方向と判断できる。そこで、行方向検出手段３０２は、横方向に投影して得られた図２(Ｂ)の横方向周辺分布２１のデータのみを、前記周辺分布成形手段３０３に送るものである。
【００２８】
なお、文書画像１０に縦横両方向の文字列が混在する原稿については、前記カウント数が多い方の周辺分布が対応する行方向の文字列が多いので、その方向の周辺分布データのみを周辺分布成形手段３０３に送ることで、後述の高精度の傾き検出が可能になる。
【００２９】
次に、図４は周辺分布成形手段３０３及び傾き検出手段３０４の動作を示すものであるが、傾き検出手段３０４は前述のように基本的に周辺分布２１の各ヒストグラムの行方向と直交する方向の幅（図４では上下方向の長さ）の中央点を結んだ直線の傾きを検出するものであるが、これでは欧文のときに実際の傾きと一致しない場合があり、これを周辺分布成形手段３０３で補正するものである。
【００３０】
上記目的で周辺分布成形手段３０３は、行方向検出手段３０２から送出された周辺分布２１に対して成形化処理を行う。つまり、図４(Ａ)に、欧文文字列の一部とそれらの横方向周辺分布２１の例を示し、小文字が連続する欧文の場合、“ｄ”の頭部分、“ｇ”の足の部分など、文字列の基本的な上下範囲から飛び出した部分があり文字の大きさが揃っていないため、それらの周辺分布２１をそのまま利用すると、各文字列のヒストグラムの中央点ｓを結ぶ直線Ｌ０の傾き角は実際の文字列の傾き角と一致しないで誤差を生じる。そのため、周辺分布成形手段３０３は、周辺分布２１の各ヒストグラムの端部にしきい値処理を施し、各周辺分布２１の端部におけるレベルがしきい値より小さな部分を除去する成形を行い、図４(Ｂ)のように、成形後の周辺分布２１ａは欧文文字の上記のような上下の飛び出した部分の影響を排除し、この成形後周辺分布２１ａが文字列の主要部に対応するものとしている。成形後の周辺分布２１ａにおける各ヒストグラムの長さの中央点ｓを結ぶ直線Ｌ１の傾きは、文字列の傾きに対してより高い精度で一致するようになる。上記成形処理後の周辺分布２１ａが傾き検出手段３０４に送られる。
【００３１】
傾き検出手段３０４は、成形後周辺分布２１ａにおける１つの文字列に属すると判断される互いに隣接するヒストグラムの中心位置ｓ，ｓ…を求め、このそれぞれの中心位置ｓをできるだけ長く結ぶ直線Ｌ１を最小自乗法により求め、この直線Ｌ１の傾きをその文字列の傾きとする。このような直線Ｌ１を全ての文字列の対応する周辺分布２１ａについて結んで傾きを求め、それらの傾きの平均値を文書画像１０の傾きと判断する。
【００３２】
なお、前述のような周辺分布の成形処理は、和文の文書画像に対して同様に施しても除去部分は少なく、直線の傾き検出に対する影響は小さく、和文及び欧文のいずれにおいても良好な傾き検出が行える。
【図面の簡単な説明】
【図１】本発明の一つの実施の形態による文書画像傾き検出装置を備えたシステムの構成図
【図２】一例の文書画像とその横縦両方向の周辺分布を示す図
【図３】文字列の周辺分布を求める一例を示す図
【図４】文字列の周辺分布に対する成形前後の傾き検出を示す図
【符号の説明】
１ イメージスキャナ
２ イメージメモリ
３ 文書画像傾き検出装置
10 文書画像
11,12 分割線
20,30 周辺分布
21a 成形後周辺分布
ｓ 中央点
L1 直線
301 周辺分布抽出手段
302 行方向検出手段
303 周辺分布成形手段
304 傾き検出手段
Claims (7)
- 入力した文書画像を縦方向の分割線で複数の小領域に分割し、該小領域ごとに横方向に投影した横方向周辺分布を抽出するとともに、前記文書画像を横方向の分割線で複数の小領域に分割し、該小領域ごとに縦方向に投影した縦方向周辺分布を抽出する周辺分布抽出手段と、
前記周辺分布抽出手段により抽出された横方向周辺分布と縦方向周辺分布を比較することにより前記文書画像の行方向を検出する行方向検出手段と、
前記行方向検出手段により検出された行方向と同一方向に投影した前記周辺分布を成形する周辺分布成形手段と、
前記周辺分布成形手段により成形された互いに隣接する小領域の成形後周辺分布の位相ずれから前記文書画像の傾きを検出する傾き検出手段とを備え、
前記周辺分布成形手段が、行方向と同一方向に投影した各行における前記周辺分布の端部をしきい値処理により低レベル部を除去成形するものであり、
前記傾き検出手段が、前記低レベル部の除去成形後の周辺分布の位相のずれから前記文書画像の傾きを検出するものであることを特徴とする文書画像傾き検出装置。 - 前記行方向検出手段が、前記周辺分布抽出手段により抽出された前記横方向及び縦方向周辺分布における周期的空白部間の周辺分布個数又は周期的空白部個数を比較して、該個数が多い周辺分布の投影方向を行方向と判定することを特徴とする請求項１記載の文書画像傾き検出装置。
- 前記傾き検出手段が、同一文字列における複数の成形後周辺分布の中心点を結ぶ直線の傾きから文書画像の傾きを検出することを特徴とする請求項１記載の文書画像傾き検出装置。
- 前記傾き検出手段が、複数の文字列における前記中心点を結ぶ直線の傾きから文書画像の傾きを検出することを特徴とする請求項３記載の文書画像傾き検出装置。
- 前記周辺分布成形手段が、前記行方向と同一方向に投影した各行における周辺分布が、前記文字列の主要部に対応する周辺分布となるように前記しきい値処理により前記端部の低レベル部を除去成形するものであることを特徴とする請求項１から４いずれか１項記載の文書画像傾き検出装置。
- 前記文字列の主要部に対応する周辺分布が、前記文字列の全ての文字の少なくとも一部の分布が存在する範囲の周辺分布であることを特徴とする請求項５記載の文字画像傾き検出装置。
- 前記文書画像が、縦横両方向の文字列が混在したものであり、
前記傾き検出手段が、前記行方向検出手段により検出された行方向と同一方向に投影した周辺分布のうち、前記行方向の文字列から抽出された周辺分布に対し前記周辺分布成形手段により成形を行った成形後周辺分布のみに基づいて前記文書画像の傾きを検出するものであることを特徴とする請求項１から６いずれか１項記載の文書画像傾き検出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05261699A JP4323606B2 (ja) | 1999-03-01 | 1999-03-01 | 文書画像傾き検出装置 |
| EP00104088A EP1033864B1 (en) | 1999-03-01 | 2000-02-28 | Document-inclination detector |
| DE60006731T DE60006731T2 (de) | 1999-03-01 | 2000-02-28 | Detektionsgerät des Neigungswinkels eines Dokumentes |
| US09/515,331 US6683983B1 (en) | 1999-03-01 | 2000-02-29 | Document-inclination detector |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05261699A JP4323606B2 (ja) | 1999-03-01 | 1999-03-01 | 文書画像傾き検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000251082A JP2000251082A (ja) | 2000-09-14 |
| JP4323606B2 true JP4323606B2 (ja) | 2009-09-02 |
Family
ID=12919743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05261699A Expired - Fee Related JP4323606B2 (ja) | 1999-03-01 | 1999-03-01 | 文書画像傾き検出装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6683983B1 (ja) |
| EP (1) | EP1033864B1 (ja) |
| JP (1) | JP4323606B2 (ja) |
| DE (1) | DE60006731T2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3854024B2 (ja) * | 1999-11-30 | 2006-12-06 | 株式会社Ｐｆｕ | 文字認識前処理装置及び方法並びにプログラム記録媒体 |
| JP2002024762A (ja) * | 2000-06-30 | 2002-01-25 | Toshiba Corp | 文書認識装置及びその方法 |
| US6971060B1 (en) * | 2001-02-09 | 2005-11-29 | Openwave Systems Inc. | Signal-processing based approach to translation of web pages into wireless pages |
| US7058220B2 (en) * | 2002-04-29 | 2006-06-06 | Hewlett-Packard Development Company, L.P. | Method and system for processing images using histograms |
| JP4552681B2 (ja) * | 2005-02-14 | 2010-09-29 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
| JP4634261B2 (ja) * | 2005-09-09 | 2011-02-16 | 株式会社リコー | 画像形成装置、画像処理装置、画像出力装置、携帯端末、画像処理システム、画像形成方法、画像処理方法、画像出力方法、画像形成プログラム、画像処理プログラムおよび画像出力プログラム |
| US8176414B1 (en) * | 2005-09-30 | 2012-05-08 | Google Inc. | Document division method and system |
| JP4807618B2 (ja) * | 2006-03-06 | 2011-11-02 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| DE102006059659B4 (de) * | 2006-12-18 | 2009-12-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zur Erkennung von Schriftzeichen in einem Bild |
| KR101035739B1 (ko) * | 2009-02-13 | 2011-05-20 | 전남대학교산학협력단 | 문자 인식의 왜곡을 보정하는 방법 |
| US8218875B2 (en) * | 2010-06-12 | 2012-07-10 | Hussein Khalid Al-Omari | Method and system for preprocessing an image for optical character recognition |
| JP6103918B2 (ja) * | 2012-12-18 | 2017-03-29 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| WO2017014104A1 (ja) * | 2015-07-17 | 2017-01-26 | 京セラドキュメントソリューションズ株式会社 | 画像形成装置 |
| JP6642833B2 (ja) * | 2016-10-28 | 2020-02-12 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
| JP6794284B2 (ja) * | 2017-01-31 | 2020-12-02 | キヤノン株式会社 | カメラ機能を有する携帯可能な情報処理装置、その表示制御方法、及びプログラム |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4251799A (en) * | 1979-03-30 | 1981-02-17 | International Business Machines Corporation | Optical character recognition using baseline information |
| JPS55135972A (en) * | 1979-04-10 | 1980-10-23 | Toshiba Corp | Character line direction discrimination circuit |
| JPS61160180A (ja) * | 1985-01-08 | 1986-07-19 | Nippon Telegr & Teleph Corp <Ntt> | 文字列方向判別装置 |
| JPS6252337A (ja) | 1985-08-29 | 1987-03-07 | Sanyo Electric Co Ltd | 一体型空気調和機 |
| US4699577A (en) * | 1986-05-06 | 1987-10-13 | Parker Hannifin Corporation | Internal gear device with improved rotary valve |
| JPS63292382A (ja) | 1987-05-26 | 1988-11-29 | Fujitsu Ltd | 文字列傾き検出装置 |
| US5001766A (en) * | 1988-05-16 | 1991-03-19 | At&T Bell Laboratories | Apparatus and method for skew control of document images |
| JP2669661B2 (ja) | 1988-08-05 | 1997-10-29 | 日本電信電話株式会社 | 文書画像処理方法 |
| JP2893747B2 (ja) * | 1989-08-31 | 1999-05-24 | 日本電気株式会社 | 文書画像傾き検出方法及びその装置 |
| JPH03212780A (ja) * | 1990-01-18 | 1991-09-18 | Fuji Xerox Co Ltd | 文字列傾き検出装置 |
| EP0472313B1 (en) * | 1990-08-03 | 1998-11-11 | Canon Kabushiki Kaisha | Image processing method and apparatus therefor |
| JPH04177583A (ja) * | 1990-11-09 | 1992-06-24 | Seiko Epson Corp | 傾き角検出方法 |
| JP3320759B2 (ja) * | 1991-12-26 | 2002-09-03 | 株式会社東芝 | 文書画像傾き検出装置およびその方法 |
| JP3108979B2 (ja) * | 1994-07-28 | 2000-11-13 | セイコーエプソン株式会社 | 画像処理方法および画像処理装置 |
| JP3534128B2 (ja) * | 1995-01-24 | 2004-06-07 | オムロン株式会社 | 書類の上下方向検知方法及び装置 |
| US5889884A (en) * | 1995-05-23 | 1999-03-30 | Minolta Co., Ltd. | Image forming apparatus capable of recognizing top and bottom of document image |
| JPH0951422A (ja) * | 1995-08-09 | 1997-02-18 | Minolta Co Ltd | 画像編集装置 |
-
1999
- 1999-03-01 JP JP05261699A patent/JP4323606B2/ja not_active Expired - Fee Related
-
2000
- 2000-02-28 DE DE60006731T patent/DE60006731T2/de not_active Expired - Fee Related
- 2000-02-28 EP EP00104088A patent/EP1033864B1/en not_active Expired - Lifetime
- 2000-02-29 US US09/515,331 patent/US6683983B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| DE60006731T2 (de) | 2004-09-23 |
| DE60006731D1 (de) | 2004-01-08 |
| EP1033864A2 (en) | 2000-09-06 |
| EP1033864A3 (en) | 2001-07-25 |
| JP2000251082A (ja) | 2000-09-14 |
| US6683983B1 (en) | 2004-01-27 |
| EP1033864B1 (en) | 2003-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4323606B2 (ja) | 文書画像傾き検出装置 | |
| JP4525787B2 (ja) | 画像抽出装置、及び画像抽出プログラム | |
| EP2270746B1 (en) | Method for detecting alterations in printed document using image comparison analyses | |
| JPH11219407A (ja) | 文書画像認識装置および文書画像認識プログラムの記憶媒体 | |
| JP2003529114A (ja) | 光学スキャナとそのためのソフトウエア | |
| JP3698136B2 (ja) | 画像処理装置および画像処理プログラム | |
| US8064636B2 (en) | Image processing apparatus and method of controlling the same | |
| JP3774690B2 (ja) | 画像を文字画像行に分割する方法および装置、ならびに、文字画像認識方法および装置 | |
| US20130050765A1 (en) | Method and apparatus for document authentication using image comparison on a block-by-block basis | |
| JP3728224B2 (ja) | 文書処理装置及び方法 | |
| JP3887843B2 (ja) | ディジタル化画像の縦横ラインを検知し修正する方法および装置 | |
| JP4049560B2 (ja) | 網点除去方法及びシステム | |
| JPH09311905A (ja) | 行検出方法および文字認識装置 | |
| JP3303246B2 (ja) | 画像処理装置 | |
| CN112364835B (zh) | 视频信息取帧方法、装置、设备及存储介质 | |
| JP4439054B2 (ja) | 文字認識装置及び文字枠線の検出方法 | |
| JPH02278104A (ja) | 文書画像の傾き角検出方法 | |
| JPS63101983A (ja) | 文字列抽出方式 | |
| JP4254008B2 (ja) | パターン検出装置及び方法 | |
| JP2003271897A (ja) | 文字認識装置、画像処理装置、画像処理方法及び同方法の実行に用いるプログラム | |
| JPH08194776A (ja) | 帳票処理方法及び装置 | |
| JP2859307B2 (ja) | 文字切出し装置 | |
| JPH03212780A (ja) | 文字列傾き検出装置 | |
| JP3566738B2 (ja) | 網掛け領域処理方法および網掛け領域処理装置 | |
| JPH103517A (ja) | 文書画像傾き角検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060213 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |