JP3108979B2 - 画像処理方法および画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、スキャナなどにより読
み取られた文書画像を文字認識する際、読み取られた文
書画像に蛇行や傾きが生じている場合、これらを補正処
理する画像処理方法および画像処理装置に関する。

【０００２】

【従来の技術】原稿上に書かれた画像を手送り走査する
ことにより、その画像を読み取る画像入力手段（一般に
スキャナと呼ばれている）としては、先端部に設けられ
たロ−ラ部分を文字などに接触させた状態で転がしなが
ら移動させることにより、光学的に画像を読み取るもの
が従来より広く用いられている。

【０００３】このスキャナは、ロ−ラ部分を画像に確実
に接触させた状態で走査させることが条件となり、この
条件下においては、移動速度（走査速度）に関係なく、
また、ロ−ラにある程度の幅があるため、走査方向に直
進性があり、蛇行したりすることなく理想的な読み取り
が可能となる。

【０００４】しかし、常にロ−ラを画像に接触した状態
で走査させることは、ユ−ザにとっては負担であり、状
況によってはロ−ラが画像から離れた状態で走査されて
しまうこともある。このようにロ−ラが画像から離れた
状態で走査されると、走査距離が求めらないため、正確
な画像の読み取りが行われず、また、直進性も失われる
ので、蛇行したり斜め方向に走査されたりすることにも
なる。

【０００５】また、この種のスキャナは、ロ−ラ部分や
ロ−ラの回転数から移動距離に応じたパルス信号を発生
するためのエンコ−ダユニットが設けられるため、全体
として筐体部（特に先端部）が大型化する欠点がある。
また、ロ−ラのような可動部が存在するため、使用頻度
が高いと、磨耗したり破損したりすることもあり、耐久
性の面でも問題があった。

【０００６】前記したようなロ−ラ式の欠点に対処する
ために、ロ−ラ部分のを不要としたいわゆる２ラインセ
ンサ方式のスキャナが開発され実用化されている。この
スキャナは、第１，第２の２個のセンサを有し、手送り
走査方向に対して、先に進む第１のセンサが或る位置で
読み取った画像と、後から進む第２のセンサの読み取っ
た画像とを比較し、その時間差から走査速度を検出する
というものである。

【０００７】このような方式であるためロ−ラ部は不要
となり、前記したロ−ラ方式の持つ種々の欠点を克服で
きるが、ロ−ラ部が無いために、走査方向に対する直進
性が低く、蛇行走査や斜め走査を起こしやすいという欠
点がある。

【０００８】図２２は蛇行走査により読み取られた画像
の一例を示している。このように蛇行走査されて読み取
られた画像を文字認識する場合、まず、ユ−ザがどの行
を読み取ろうとしているのかを判定して、その行の文字
を一字ごとに切り出しを行って、文字認識する必要があ
る。しかし、読み取られた文書画像が図２２のように蛇
行していると、文字の切り出しを行う際、その文字が果
して読み取ろうとする行に存在している文字であるか否
かの判定が必要となる。

【０００９】このように、文字が所望とする行に存在し
ている文字であるか否かの判定を行う技術として、たと
えば、特開平３−２５０３８７がある。この特開平３−
２５０３８７の技術（以下、第１の従来技術という）
は、図２３に示すように、或る文字（ここでは「Ａ」と
する）の高さ方向（上下方向）の中心１から所定の範囲
２内に次の文字「Ｂ」の同じく高さ方向の中心３が入っ
ていれば「Ａ」と「Ｂ」は同一行であると見做すという
ような判断を行うものである。

【００１０】

【発明が解決しようとする課題】しかしながら、この第
１の従来技術は以下に説明するような問題点を有してい
る。

【００１１】読み取り対象がたとえば、アルファベット
であるような場合、たとえば「ａ，ｂ，ｃ．ｄ，・・
・」というように小文字同志においても、文字によっ
て、高さ方向の中心位置は異なり、また、小文字と大文
字が並んだ場合も、両者の高さ方向の中心位置は異なっ
ている。つまり、アルファベットには、「Centred」、
「Ascender」、「Descender」と呼ばれている文字の種
類がある。「Centred」とは、「ａ，ｃ，ｅ，ｍ，ｎ，
ｒ，ｓ，ｕ，ｖ，ｗ，ｘ，ｚ」であり、「Ascender」と
は、この「Centred」の文字に対して、上方向にその高
さが大きい文字の種類であり、「大文字やｂ，ｄ，ｆ，
ｈ，ｋ，ｌ，ｉ，ｔ」である、また、「Descender」と
は、「Centred」の文字に対して、下方向にその高さが
大きい文字の種類であり、「ｇ，ｐ，ｑ，ｙ」である。
さらにこの他に、「Full-Height 」と呼ばれる文字とし
て「ｊ」がある。

【００１２】このように、「Centred」、「Ascende
r」、「Descender」などによって、文字の中心位置が異
なることから、前記した従来技術では以下に示すような
不都合が生じることになる。

【００１３】たとえば、ある同一行内に「ｂ，ａ，ｄ，
・・・」という文字が並んでおり、この行のすぐ下の行
に「ｈ，ｐ，ｋ，・・・」という文字が並んでいる場
合、これらが図２４に示すように、スキャナの先端部７
を文字の行方向に直角にしたまま斜め右下方向に走査し
て読み取られると、図２５に示すように、文字が階段状
配列となった画像となる。なお、この図２５はこのよう
に斜め右下方向に走査して読み取られた画像の一部分を
拡大して取り出した図である。また、この図２５に示す
文字配列は蛇行入力によっても生じる場合もある。そし
て、ここでは、上の行の「ａ」と下の行の「ｐ，ｋ」の
関係を見ると、「ｋ」の高さ方向の中心４は、この
「ｋ」と同じ行である「ｐ」の高さ方向の中心５より
も、この「ｋ」とは異なる行にある「ａ」の高さ方向の
中心６に近い位置に存在することになり、たとえば、
「ｋ」の文字の切り出しを行う場合、この「ｋ」の存在
する行の判断は、この場合、「ａ」と同じ行であると判
断されてしまうことにもなる。

【００１４】したがって、このように隣接する文字同志
の中心位置による行の判断では、正確な行判断は不可能
であった。

【００１５】以上は蛇行および斜め右下方向に走査して
により読み取り走査が行われた場合であるが、図２６に
示すように、スキャナの先端部７を、列方向に対して右
方向に傾むけた状態で走査すると、その読み取り画像は
図２７（ａ）に示すように左傾斜した画像となり、ま
た、反対にスキャナの先端部７を、列方向に対して左方
向に傾むけた状態（図２６において一点鎖線で示す）で
走査すると、その読み取り画像は図２７（ｂ）に示すよ
うに右傾斜した画像となる。

【００１６】このような状態の読み取り画像を文字認識
すると、その認識率は大幅に低下する。特に、アルファ
ベットの場合は、図２７（ａ）に示すような左傾斜とい
うのは通常用いられないので、その認識率はきわめて低
いものとなる。

【００１７】このような傾斜した画像を検出し、それを
補正するという技術としては、たとえば、特開昭６４−
１５６８８７（以下、第２の従来例という）がある。こ
の第２の従来例は、文字列の並びを入力走査方向（行方
向）の幾つかの角度から見た黒画素の周辺分布を作成
し、この周辺分布の山の高さから文字列の傾きを検出
し、その傾きに応じた補正を行うというものである。し
かし、この方式であると、周辺分布を得るためには、数
多くのデータ量が必要なため、１個の単語ごとに、その
単語の傾きを検出して補正するという場合には不適当で
あった。ユーザの使用状況によっては、スキャナの走査
中にスキャナの入力走査角度が頻繁に変わることもあり
得るため、それに対処するために或る小さなブロック毎
に、傾きを検出する必要もあった。

【００１８】そこで、本発明はこれらの課題を解決する
もので、読み取るべき行の判断を正確に行うとともに、
隣接する文字が同一行か否かの判断を正確に行うことで
文字認識を行う際の文字の切り出しを正確に行い、ま
た、蛇行や傾斜して読み込まれた画像の補正を確実に行
うことで、文字認識率の向上を図ることを目的としてい
る。

【００１９】

【課題を解決するための手段】本発明は、原稿上の文書
をスキャナにより走査することによって読み取り、その
読み取り画像を、文字画像の切り出しおよび文字認識処
理を行い得る状態に画像処理する画像処理方法におい
て、複数行が蛇行した状態で読み込まれた文書画像デー
タから、文書の列方向に見た場合、その列方向の画像読
み取り幅の中心線を含む中心線上付近に存在する文字画
像を抽出し、その文字画像が含まれている行を読み込む
べき行と判断することを特徴とする。

【００２０】また、前記抽出する文字画像は、前記列方
向の画像読み取り幅の中心線を含む中心線上付近に存在
する文字画像のうち、最も中心に位置する文字画像であ
ることを特徴とする。

【００２１】また、前記スキャナにより読み込まれた文
書画像から、各文字画像ごとにその文字画像を包含する
外接矩形を、その外接矩形の始点座標とこの始点座標に
対角する終点座標として抽出することを特徴とする。

【００２２】また、前記列方向の画像読み取り幅の中心
線を含む中心線上付近に存在するか否かの判断は、前記
文字画像を包含する外接矩形の座標データから求めた外
接矩形の中心位置と前記列方向の画像読み取り幅の中心
線との位置関係から判断することを特徴とする。

【００２３】また、前記読み込むべき行の抽出は、複数
行が蛇行した状態で読み込まれた文書画像データから、
文書の列方向に見た場合、その列方向の画像読み取り幅
の中心線を含む中心線上付近に存在する文字画像を抽出
し、この抽出された文字画像に隣接する文字画像との間
で重なりを求め、順次、隣接する文字との重なりを求め
て行くことで読み込むべき行の抽出を行うことを特徴と
する。

【００２４】また、原稿上の文書をスキャナにより走査
することによって読み取り、その読み取り画像を、文字
画像の切り出しおよび文字認識処理を行い得る状態に画
像処理する画像処理方法において、隣接する文字画像同
志が同一行であるかの判断を、隣接する文字画像同志の
前記列方向の重なりから判定し、それを繰り返すことに
より行画像を抽出してなるとともに、前記読み込むべき
行の抽出は、複数行が蛇行した状態で読み込まれた文書
画像データから、文書の列方向に見た場合、その列方向
の画像読み取り幅の中心線を含む中心線上付近に存在す
る文字画像を抽出し、この抽出された文字画像に隣接す
る文字画像との間で重なりを求め、順次、隣接する文字
画像との重なりを求めて行くことで読み込むべき行の抽
出を行うことを特徴とする。

【００２５】また、原稿上の文書をスキャナにより走査
することによって読み取り、その読み取り画像を、文字
画像の切り出しおよび文字認識処理を行い得る状態に画
像処理する画像処理装置において、複数行が蛇行した状
態で読み込まれた文書画像データから、文書の列方向に
見た場合、その列方向の画像読み取り幅の中心線上を含
む中心線上付近に存在する文字画像を抽出し、その文字
画像が含まれている行を読み込むべき行と判断する行抽
出部を有したことを特徴とする。

【００２６】また、前記行抽出部は、文書の列方向に見
た場合、その列方向の画像読み取り幅の中心線を含む中
心線上付近に存在する文字画像を抽出し、その文字画像
が含まれている行を読み込むべき行と判断する注目行抽
出手段と、前記抽出された文字画像に隣接する文字画像
との間で重なりを求め、順次、隣接する文字画像との重
なりを求めて行くことで読み込むべき行の抽出を行う注
目行追跡手段とを有することを特徴とする。

【００２７】また、前記スキャナにより読み込まれた文
書画像から、各文字画像ごとにその文字画像を包含する
外接矩形を、その外接矩形の始点座標とこの始点座標に
対角する終点座標として抽出する外接矩形抽出部を前記
行抽出部の前段に設けたことを特徴とする。

【００２８】また、原稿上の文書をスキャナにより走査
することによって読み取り、その読み取り画像を、文字
画像の切り出しおよび文字認識処理を行い得る状態に画
像処理する画像処理方法において、スキャナ走査によ
り、各文字画像が階段状配列で読み込まれた文字画像に
対し、同一行に含まれる２つの文字画像間の列方向の位
置のずれを、その文字画像間の前記列方向の傾きと判定
し、その傾きに基づいて前記階段状の配列となった文字
画像の補正を行うとともに、前記２つの文字画像は、文
書画像がアルファベットである場合、アルファベットの
文字種が「Centred」であると推定された最近傍の２つ
の文字画像とすることを特徴とする。

【００２９】また、原稿上の文書をスキャナにより走査
することによって読み取り、その読み取り画像を、文字
画像の切り出しおよび文字認識処理を行い得る状態に画
像処理する画像処理方法において、スキャナ走査によ
り、各文字画像が階段状配列で読み込まれた文字画像に
対し、同一行に含まれる２つの文字画像間の前記列方向
の位置のずれを、その文字画像間の前記列方向の傾きと
判定し、その傾きに基づいて前記階段状の配列となった
文字画像の補正を行い、前記スキャナから読み込まれた
文書画像を、各文字画像ごとにその文字画像を構成する
黒画素の列方向に連続したつながりの始点座標とその黒
画素部分の長さからなるランレングスデータに変換して
なり、前記文字画像間の前記列方向の傾きに応じて、前
記ランレングスデータの始点座標を変更することで前記
階段状の配列となった文字画像の補正を行うことを特徴
とする。

【００３０】また、原稿上の文書をスキャナにより走査
することによって読み取り、その読み取り画像を、文字
画像の切り出しおよび文字認識処理を行い得る状態に画
像処理する画像処理装置において、スキャナ走査によ
り、各文字画像が階段状配列で読み込まれた文字画像に
対し、同一行に含まれる２つの文字画像間の列方向の位
置のずれを、その文字画像間の列方向の傾きと判定し、
その傾きに基づいて前記階段状の配列となった文字画像
の補正を行う階段状配列文字補正部を有し、前記階段状
配列文字補正部は、読み取り文字画像がアルファベット
である場合、アルファベットの文字種を判定する文字種
判定手段と、この文字種のうちの「Centred」であると
推定された２つの文字画像間の列方向の位置のずれをも
とに補正する階段状配列文字補正手段とを有することを
特徴とする。

【００３１】また、原稿上の文書をスキャナにより走査
することによって読み取り、その読み取り画像を、文字
画像の切り出しおよび文字認識処理を行い得る状態に画
像処理する画像処理方法において、スキャナ走査によ
り、各文字画像が列方向に対して傾斜した状態で読み込
まれた文書画像を、予め設定した幾つかの角度にしたが
って傾斜角を変えて行き、文書画像の行方向の存在幅が
最小になる角度を、文書画像の列方向に対する所望とす
る角度と判定し、その角度になるように文書画像の傾き
を補正してなり、前記スキャナから読み込まれた文書画
像から、各文字画像ごとにその文字を構成する黒画素の
列方向に連続したつながりの始点座標とその黒画素部分
の長さからなるランレングスデータに変換し、前記文書
画像を予め設定した幾つかの角度にしたがって傾斜角を
変えて行き、文書画像の行方向の存在幅を求める手段と
して、前記ランレングスデータの始点座標と終点座標
を、前記予め設定した幾つかの角度にしたがって変換し
て行き、変換後の始点座標と終点座標から文書画像の行
方向の存在幅を求めることを特徴とする。

【００３２】また、原稿上の文書をスキャナにより走査
することによって読み取り、その読み取り画像を、文字
画像の切り出しおよび文字認識処理を行い得る状態に画
像処理する画像処理方法において、スキャナ走査によ
り、各文字画像が列方向に対して傾斜した状態で読み込
まれた文書画像を、予め設定した幾つかの角度にしたが
って傾斜角を変えて行き、文書画像の行方向の存在幅が
最小になる角度を、文書画像の列方向に対する所望とす
る角度と判定し、その角度になるように文書画像の傾き
を補正してなり、前記読み取り文書画像がアルファベッ
トである場合において、１つの単語を構成する文字数が
所定数以下であるときは、その前に位置する単語の列方
向傾きをその単語の列方向の傾きとして、その傾きを基
に補正処理することを特徴とする。

【００３３】また、原稿上の文書をスキャナにより走査
することによって読み取り、その読み取り画像を、文字
画像の切り出しおよび文字認識処理を行い得る状態に画
像処理する画像処理方法において、複数行が蛇行した状
態で読み込まれた文書画像データから、文書の列方向に
見た場合、その列方向の読み取り幅の中心線上を含む中
心線上付近に存在する文字画像を抽出し、その文字画像
が含まれている行を読み込むべき行と判断し、前記読み
込むべき行の一行に含まれる２つの文字画像間の列方向
の位置のずれを、その文字画像間の列方向の傾きと判定
し、その傾きに基づいて階段状の配列となった文字画像
の補正を行い、次に、予め設定した幾つかの角度にした
がって傾斜角を変えて行き、文書画像の行方向の存在幅
が最小になる角度を、文書画像の列方向に対する所望と
する角度と判定し、その角度になるように文書画像の傾
きを補正することを特徴とする。

【００３４】また、原稿上の文書をスキャナにより走査
することによって読み取り、その読み取り画像を、文字
画像の切り出しおよび文字認識処理を行い得る状態に画
像処理する画像処理装置において、複数行が蛇行した状
態で読み込まれた文書画像データから、文書の列方向に
見た場合、その列方向の読み取り幅の中心線上を含む中
心線上付近に存在する文字画像を抽出し、その文字画像
が含まれている行を読み込むべき行と判断する行抽出部
と、前記行抽出部が抽出した行に含まれる文字画像を、
同一行に含まれる２つの文字画像間の列方向の位置のず
れを、その文字画像間の列方向の傾きと判定し、その傾
きに基づいて階段状の配列となった文字画像の補正を行
う階段状配列文字補正部と、前記階段状配列文字補正部
により補正された文字画像を、予め設定した幾つかの角
度にしたがって傾斜角を変えて行き、文書画像の行方向
の存在幅が最小になる角度を、文書画像の列方向に対す
る所望とする角度と判定し、その角度になるように文書
画像の傾きを補正する傾斜文字補正部と、を有したこと
を特徴とする。

【００３５】

【作用】前記したように本発明は、複数行が蛇行した状
態で読み込まれた文書画像データに対しては、文書の列
方向の幅の中心線を含む中心線上付近に存在する文字画
像を抽出し、その文字画像が含まれている行を読み込む
べき行と判断する。

【００３６】また、隣接する文字同志が同一行であるか
の判断を、隣接する文字画像同志の前記列方向の重なり
度から判定し、それを繰り返すことにより行画像を抽出
する。

【００３７】このような処理を行うことにより、複数行
が蛇行した状態で読み込まれた場合でも、ユーザが読み
込もうとしている行を確実に抽出することが可能とな
る。

【００３８】また、各文字画像が階段状配列で読み込ま
れた文字画像に対しては、同一行に含まれる２つの文字
画像間の前記列方向の位置のずれを、２つの文字画像の
それぞれの中心の列方向のずれとし、そのずれをその文
字画像間の列方向の傾きと判定し、そのずれに応じて前
記ランレングスデータの始点座標を変更することで前記
階段状の配列となった文字画像の補正を行う。

【００３９】このように、２つの文字画像のそれぞれの
中心の列方向のずれをもとに、そのずれに応じてランレ
ングスデータの始点座標を変更するだけで文字画像の補
正を行うので、１つ１つの画素ごとに補正処理を行う方
式に比べて高速な補正が可能となる。

【００４０】また、列方向に対して傾斜した状態で読み
込まれた文書画像に対しては、予め設定した幾つかの角
度にしたがって傾斜角を変えて行き、文書画像の行方向
の存在幅が最小になる角度を、文書画像の列方向に対す
る所望とする角度と判定し、その角度になるように文書
画像の傾きを補正する。この文書画像の行方向の存在幅
を求める手段として、前記ランレングスデータの始点座
標と終点座標を、前記予め設定した幾つかの角度にした
がって変換して行き、変換後の始点座標と終点座標から
文書画像の行方向の存在幅を求める。また、前記傾斜文
字補正部は、文書画像の行方向の存在幅が最小になる角
度となるように文書画像の傾きを補正する際、その文書
画像の傾きの補正を、行方向の画素の移動で行う。

【００４１】このように、文書画像の行方向の存在幅を
求める手段として、前記ランレングスデータの始点座標
と終点座標を変換することで行うことにより、高速な処
理が行え、また、文書画像の傾きを補正する際、その文
書画像の傾きの補正を、画素を行方向の移動（横方向へ
のずらし）で行うので、従来のように回転的な変換（ア
フィン変換）と異なり、高速でしかも正確な処理が可能
となる。

【００４２】

【実施例】以下、本発明の実施例を説明する。

【００４３】図１は本発明の実施例の全体的な構成図で
あり、大きく分けると、画像読み取り部１０、ランレン
グスデ−タ変換部２０、外接矩形抽出部３０、行抽出部
４０、階段状配列文字補正部５０、単語抽出部６０、文
字切り出し部７０などから構成されている。以下、これ
らを個々に説明する。

【００４４】画像読み取り部１０は、たとえば光学的読
み取り装置としてのスキャナ１１や、読み取った画像デ
−タを蓄える画像メモリ１２などを有している。

【００４５】ランレングスデ−タ変換部２０は、ランレ
ングスデ−タ変換手段（ランデータ変換手段という）２
１、ランレングスデ−タメモリ（ランデ−タメモリとい
う）２２を有している。

【００４６】上記ランレングスデ−タは、ここでは、各
文字を構成する黒ラン（黒い画素の列方向の連続したつ
ながり部分を黒ランという）の始点座標とその黒ランの
長さを総称してランレングスデ−タという。これを図２
で説明すると、列方向をＹ，行方向をＸとすると、たと
えば、「ｂ」という文字を構成する或る部分の黒ラン
（これを図において、黒ランＧ１とする）の始点座標は
この場合（Ｘ１，Ｙ１）となり、その長さはこの場合Ｌ
１ということになる。また、「ｂ」を構成する或る部分
の黒ラン（これを図において、黒ランＧ２とする）の始
点座標はこの場合（Ｘ２，Ｙ２）となり、その長さはこ
の場合Ｌ２ということになる。

【００４７】このようにして、文字を構成する全ての黒
ランの始点座標とその黒ランの長さからなるランレング
スデ−タを求める。このように、画像をランレングスデ
−タとして変換するのをランデ−タ変換手段２１が行
い、これにより求めた各文字の全てのランレングスデ−
タがランデ−タメモリ２２に格納される。

【００４８】前記外接矩形抽出部３０は、ラベリング手
段３１、外接矩形抽出手段３２、外接矩形デ−タメモリ
３３を有している。まず、ここで外接矩形というのは、
図３に示すように、文字に接するが如くその文字を包含
する矩形３０１，３０２をいう。

【００４９】ラベリング手段３１は、この外接矩形３０
１，３０２を求めるために、或る１つの文字を構成する
各々の黒ランに同じ番号を付して、その同じ番号の黒ラ
ンは同じ文字あることを示すためのものである。たとえ
ば、「ａ」という文字を構成する黒ランには全て１とい
う番号を付し、「ｂ」という文字を構成する黒ランには
全て２という番号を付す。

【００５０】このようにしてラベリング手段３１によ
り、各文字対応にラベリングされたのち、同じ番号ごと
に、外接矩形抽出手段３２によって外接矩形３０１，３
０２を求める。具体的には、その外接矩形３０１，３０
２の対角点の座標を求める。たとえば、図３で示すよう
に、「ａ」の文字の外接矩形３０１の対角点座標は（Ｘ
１，Ｙ２），（Ｘ２，Ｙ１）であり、「ｂ」の文字の外
接矩形３０２の対角点座標は（Ｘ３，Ｙ３），（Ｘ４，
Ｙ１）であるというように、それぞれ対角点座標を求め
る。

【００５１】これらの各外接矩形３０１，３０２の座標
デ−タは外接矩形デ−タメモリ３３に格納される。

【００５２】前記行抽出部４０は、注目行抽出手段４１
と、注目行追跡手段４２を有している。

【００５３】注目行抽出手段４１は、図４（ａ）で示し
たように、複数行に渡って入力された文書画像から、文
書の列方向に見た場合に、その列方向の読み取り幅の中
心線４０１（一点鎖線で示す）上または中心線付近に存
在する文字画像４０２を抽出し、この文字画像４０２が
含まれている行を、読み取ろうとしている行（注目行）
であると判断する。この図の場合は、中心線４０１上ま
たはその付近に存在する文字画像４０２は、「ｐ，ｔ，
ｉ」などであり、これら「ｐ，ｔ，ｉ」が含まれている
行を、読み取ろうとしている行であると判断する。

【００５４】そして、さらに上記中心線４０１上または
その付近に存在する文字画像４０２、つまり、ここでは
「ｐ，ｔ，ｉ」のうち、最も中心に近い文字として
「ｔ」を選び、これを抽出する。

【００５５】この処理のフロ−チャ−トを図５に示す。
なお、処理は実際には各文字の矩形データを用いて行わ
れる。

【００５６】図５において、まず、或る文字の外接矩形
の列方向の中心と前記中心線４０１との差αを求める
（ステップＳ１）。そして、この差αが予め設定された
しきい値以下で、かつ、それまでの最小の差min.αであ
るか否かの判断（ステップＳ２）を行い、それまでの最
小の差である場合には、その差αを最小の差min.αとし
て登録する（ステップＳ３）。次に、現在処理を行って
いるブロック（処理は被処理対象文書をブロック単位に
行う）に属する文字の外接矩形について、上記処理がす
べて終了したか否かの判断（ステップＳ４）を行い、終
わっていなければ、上記ステップＳ１の処理を行い、終
わっていれば、ステップＳ３で登録された差min.αがし
きい値以下であるか否かを判定し（ステップＳ５）、し
きい値以下である場合には、その差min.αに対応する外
接矩形を、最も中心に近い文字の矩形であるとし、その
文字を注目文字（ここでは、注目矩形）とする（ステッ
プＳ６）。以上の処理は具体的には、図６のように、た
とえば、文字「ｔ」の矩形の列方向の中心４０３と、前
記中心線４０１との差αを求め、この差αが最小の差で
あれば、この文字「ｔ」を最も中心に近い文字であると
判断する。

【００５７】なお、ステップＳ５における判断で、登録
された差min.αがしきい値以下でない場合は、全てのブ
ロックに対して処理が終了したか否かを判断（ステップ
Ｓ７）し、全てのブロックに対して処理が終了していな
ければ、前記ステップＳ１に処理が戻る。

【００５８】また、前記注目行追跡手段４２は、上記最
も中心に近い文字として抽出された文字を起点にし、こ
の文字と隣合う文字画像の列方向の重なり度を判断し
て、隣合う文字が同一行か否かを判定する。

【００５９】これを図７を参照して説明する。この図
は、ほぼ同じものを前述した従来例の説明においても用
いたが（図２５）、従来例の場合は、隣接する文字同志
の中心位置から両者が同一行か否かを判断したが、本発
明では、隣合う文字画像の列方向の重なり度により同一
行か否かを判断する。つまり、図７において、この場
合、「ｋ」という文字に注目すると、隣接する「ｐ」に
対する重なり度β１と、異なる行にある「ａ」との重な
り度β２とを比較すると、β１のほうがβ２よりも大き
い。これにより、「ｋ」は「ｐ」と同一行であると判定
される。このようにして、すべての隣接する文字同志で
この重なり度を見ることにより、同一行か否かの判断が
正確に行える。

【００６０】この処理のフロ−チャ−トを図８に示す。
なお、処理は実際には各文字の矩形デ−タを用いて行わ
れる。

【００６１】図８において、注目矩形と隣接する矩形と
の列方向の重なり（βとする）を求める（ステップＳ１
１）。次に、この重なりβと注目矩形の高さの比と、重
なりβと隣接する矩形の高さの比がともに予め設定した
しきい値以上かの判定（ステップＳ１２）を行い、両者
がともにしきい値以上であれば、隣接する矩形を注目行
に含まれる矩形とし、これを新たな注目矩形とする（ス
テップＳ１３）。

【００６２】そして、全ての矩形の処理が終わったか否
かを判断（ステップＳ１４）し、終わっていなければ、
ステップＳ１１に処理が戻る。

【００６３】このように、隣接する文字との重なり度に
よって、同一行か否かの判定を行うことにより、正確な
行判定が可能となる。このようにして、行判定されて抽
出された行が図４（ｂ）であり、この抽出された行を、
後述する補正手段によって補正されたものが図４（ｃ）
である。

【００６４】ところで、上記ステップＳ１２の処理を行
うことにより、図９のように極端に大きさの違う文字が
並んでいる場合、これらを同一行とは見做さず、分離す
ることが可能となる。つまり、中心だけを考えた従来例
では、このような場合も、同一行と見做される。しか
し、本発明では、小さい文字「Ａ，Ｂ，Ｃ」とこの小さ
い文字に比べて極端に大きさの異なる文字「Ｄ，Ｅ，
Ｆ」とで、自己の矩形の高さと重なりβとの比が大きく
異なることで、同一行とするか否かを決定できるように
している。すなわち、小さい文字「Ａ，Ｂ，Ｃ」におい
ては、重なりβは自己の矩形の高さに比べて大きく、大
きな文字「Ｄ，Ｅ，Ｆ」は、重なりβは自己の矩形の高
さに比べて小さいので、これらは同じ行とは見做さない
ようにすることができる。

【００６５】次に、図１に説明が戻って、階段状配列文
字補正部５０について説明する。

【００６６】この階段状配列文字補正部５０は、文字種
判定手段５１、階段状配列文字補正手段５２を有してい
る。

【００６７】文字種判定手段５１は、前述したように、
アルファベットには、「Centred」、「Ascender」、「D
escender」と呼ばれている種類の文字があり、これらの
種類を判別するものである。前述したように「Centre
d」とは、「ａ，ｃ，ｅ」などであり、「Ascender」と
は、この「Centred」の文字に対して、上方向にその高
さが大きい文字の種類であり、「大文字やｂ，ｄ」など
である、また、「Descender」とは、「Centred」の文字
に対して、下方向にその高さが大きい文字の種類であ
り、「ｇ，ｐ」などである。

【００６８】このような文字の種類を判定するのが文字
種判定手段５１である。この文字種判定は具体的にはつ
ぎのように行う。これを、図１０のフローチャートおよ
び図１１、図１２を参照しながら説明する。

【００６９】まず、各文字の矩形デ−タから、各文字ご
とにその矩形の列方向の高さを求め、図１１のごとく、
その高さ分布を作成する。図１１は横軸に各文字の列方
向の高さをとり、縦軸にその個数（文字数）をとる。こ
のようにして分布をとると、２つの高さｈ１，ｈ２に文
字数が集中する。そして、高さｈ１に集中しているのは
「Centred」であると判定し（図１０のステップＳ２
１，ステップＳ２２）、高さｈ２に集中しているのは
「Ascender」または「Descender」であると判定する。

【００７０】そして、図１２の如く、最近傍の「Centre
d」（同図では「ａ，ｃ，ｍ」）の矩形の中心同志を結
ぶ中心線５０１を求める（ステップＳ２３）。次ぎに、
矩形の大きさと、上記中心線５０１に対する矩形の中心
の位置関係より、「Ascender」であるか「Descender」
であるかを判定する（ステップＳ２４）。たとえば、図
１２に示すように、「ｂ」の矩形の中心５０２は、上記
中心線５０１よりも高い位置にあるので「Ascender」で
あると判定し、一方、「ｇ」の矩形の中心５０３は、上
記中心線５０１よりも低い位置にあるので「Descende
r」であると判定する。

【００７１】このようにして、文字種判定が終わると、
次ぎは、階段状配列文字補正手段５２により、階段状配
列文字の傾きを検出してそれを補正する。

【００７２】この処理を図１３のフローチャートおよび
図１４を参照しながら説明する。なお、前述の如く、図
２４に示すように、スキャナの先端部７を行方向に対し
て直角にしたまま斜め右下方向に走査して読み取られる
と、図２５に示すように文字が階段状配列された画像と
なり、このように読み取られた画像を、ここでは階段状
配列文字画像という。

【００７３】このような階段状配列された画像の補正処
理は以下のようにして行われる。まず、階段状配列され
た画像の傾きを求めるが、これは、図１４のごとく、
「Centred」の文字（この場合は、「ａ」，「ｃ」）の
矩形の中心間を結ぶ中心線６０１の傾き角θをその「Ce
ntred」の文字における画像の列方向に対する傾き角と
する（ステップＳ３１）。この場合、「Ascender」や
「Descender」の文字は無視して、「Centred」の文字だ
けを用いて傾き角θを求め、それを行の傾きとする。

【００７４】そして、これにより求めた傾きにしたがっ
て、各矩形を構成する全てのランレングスデ−タの始点
座標を補正する（ステップＳ３２）。つまり、傾き角θ
が０度となるように全てのランレングスデ−タの始点座
標の補正を行う。具体的には、図１５（ａ），（ｂ）に
示すように、各矩形３０１，３０２内の文字を構成する
全てのランレングスデ−タＤの始点座標（ここでは、Ｙ
座標）を、傾き角θに従って決定される移動量で変換す
る。このとき、補正したランレングスデ−タを基に、各
矩形の座標を補正後の座標に変更する（ステップＳ３
２）。

【００７５】このようにして補正がなされると、図１４
を例にとれば、「ｂ」，「ｃ」の文字のベースラインは
「ａ」の文字のベースラインに並ぶことになる。つま
り、上記ランレングスデ−タは前述したように、文字を
構成する各黒ランごとの始点座標データとその黒ランの
長さのデータであり、或る矩形を構成するランレングス
デ−タのすべての始点座標を変更するのみで、対応する
文字の補正を行うことができる。

【００７６】また、本発明の補正は、回転的な変換（ア
フィン変換）ではなく、画像を列方向にずらすことによ
って行うので、より高速な処理が可能となる。

【００７７】このようにして補正された画像を用いて、
文字の切り出しを行って、それを文字認識した場合の認
識正解率は、この発明による処理を行わなかった場合、
９４．４％の認識正解率であったものが、本発明によれ
ば、９７．０％にまで上昇することが実験によるデータ
として得られた。

【００７８】以上は、スキャナの先端部７を列方向に直
角にしたまま斜め右下方向に走査して読み取られた画像
処理について説明したが、次に、図２６に示したよう
に、スキャナの先端部７を、列方向に対して右方向（ま
たは左方向）に傾むけた状態で走査して読みとられた画
像の処理について説明する。

【００７９】このようにスキャナの先端部７を、列方向
に対して右方向に傾むけた状態で走査して読みとられた
画像は、図２７（ａ）に示すように、列方向の並びの黒
画素が左傾斜した画像となり、また、反対にスキャナの
先端部７を、列方向に対して左方向に傾むけた状態（図
２６において一点鎖線で示す）で走査すると、その読み
取り画像は図２７（ｂ）に示すように、列方向の並びの
黒画素が右傾斜した画像となる。なお、ここではスキャ
ナの先端部７を、列方向に対して左方向に傾むけた状態
で走査して読みとられた画像の処理についてを説明す
る。また、図２７に示したような列方向の並びの黒画素
が傾斜した画像をここでは傾斜文字という。

【００８０】この処理は図１において、主に、文字切り
出し部７０の傾斜文字補正部７１と、単語抽出部６０を
用いて行う。この処理においては、単語ごとに処理を行
うため、単語抽出部６０が用いられる。

【００８１】この処理を図１６に示すフローチャートお
よび図１７を参照しながら説明する。

【００８２】図１６において、まず、傾斜文字補正処理
される単語に含まれる文字数が３文字以上か否かの判断
を行う（ステップＳ４１）。この判断にて、処理される
単語に含まれる文字数が３文字以上である場合には、こ
れら各文字を構成するランレングスデ−タから、各文字
の中心付近に存在する黒ランの始点座標と終点座標を求
める（ステップＳ４２）。これを図１７を用いて具体的
に説明する。図１７（ａ）は「ａｎｄ」という単語であ
り、前記したように右傾斜した画像となっている。この
ような画像において、アルファベットの活字上の飾り
（これをserif という）を取り除く（その部分の画像デ
ータを無視する）処理を行う。つまり、図１７に示すよ
うに、各文字の列方向の中心部分付近の所定範囲（図
示、点線で示す範囲７０１）の部分の黒ランを取り出
す。このようにして取り出したものが同図（ｂ）であ
る。そして、このようにして取り出した各黒ランの始点
座標と終点座標を求める。なお、アルファベットの活字
上の飾りを取り除くようにしたのは、傾きによる文字の
行方向の幅（画素の存在範囲）を判断する際に、飾り部
分の影響を受けないようにするためである。

【００８３】そして次に、図１７（ｂ）の画像を幾つか
の角度に合わせて変換して行く。たとえば、３°づつ左
側に傾斜させるように変換して行き、変換した画素の行
方向の存在範囲ｗが最も小さくなったときの角度を、そ
の画像の補正後の傾斜角とする。この存在範囲が最も小
さくなったときの各文字のｗをｗ１，ｗ２，ｗ３，ｗ
４，ｗ５とし、そのときの図を同図（ｃ）とする。

【００８４】この画像を幾つかの角度に合わせて変換し
て行くという処理は、具体的には、図１７（ｂ）で示し
た各画像を構成する各黒ランの始点座標と終点座標を傾
き角に対応させて変えて行く（図１６のステップＳ４
３）。そして、この始点座標と終点座標から画像の行方
向の幅（存在範囲）ｗ１，ｗ２，ｗ３，・・・を求め
（ステップＳ４４）、これら各幅（存在範囲）ｗ１，ｗ
２，ｗ３，・・・を加算して、その合計値が最も小さい
角度を、その画像の補正後の傾斜角とする（ステップＳ
４５）。このようにして補正されたものが図１７（ｄ）
である。

【００８５】このように、本発明では、傾斜文字の検出
および補正処理を単語ごとにすることによって、ユーザ
が走査中にスキャナの入力走査角度を変えた場合にも、
傾きの検出および補正が可能となる。また、補正を行う
際、傾き角の変換は、従来のように回転的な変換（アフ
ィン変換）ではなく、図１８（ａ），（ｂ）に示すよう
に、画素を図示点線矢印のごとく、横方向（行方向）に
ずらして行う（ステップＳ４７）。このような横方向
（行方向）のずらしによる補正処理は、図１７（ａ）の
ような傾斜した文書画像の場合は、回転的な変換よりも
正確な補正が可能となり、また高速な処理が可能とな
る。また、幾つかの角度に合わせた行方向の幅ｗを求め
る際は、ランレングスデ−タの始点座標と終点座標だけ
を変換するようにしたので高速な処理が行える。

【００８６】なお、前記ステップＳ４１における判断に
て、処理される単語に含まれる文字数が３文字以下であ
る場合、たとえば、「ａ」や「ａｎ」などの単語の場合
には、これらの前に位置する単語の傾きをこれらの単語
の傾きとする。これは、１文字や２文字の場合は、正確
に傾き角を求めることができない場合もあるため、この
ような場合には、前の単語の傾き角を参照して補正処理
を行う。

【００８７】このような列方向に対して傾斜した画像の
補正処理を行ったのち、文字の切り出しを行って、それ
を文字認識した場合の認識正解率は、この実施例で説明
した右傾斜のアルファベットの場合、この補正を行う前
は、９１．９％の認識正解率であったものが、前記補正
処理を行った場合は、９７．６％に上昇することが実験
によるデータとして得られた。また、この実施例では説
明しなかったが、左傾斜のアルファベットの場合、この
補正を行う前は、７５．７％の認識正解率であったもの
が、前記補正処理を行った場合は、９５．９％に上昇す
ることが実験によるデータとして得られた。なお、左傾
斜の場合と右傾斜の場合とで認識正解率に差が生じるの
は、左傾斜のフォントがアルファベットには存在しない
ためである。

【００８８】以上説明した、スキャナの先端部７を行方
向に直角にしたまま斜め右下方向に走査して読み取られ
た画像の検出、補正処理およびスキャナの先端部７を、
列方向に対して左方向（または右方向）に傾むけた状態
で走査して読みとられた画像の検出、補正処理を組み合
わせることにより、いわゆる回転画像（前記した階段状
配列となった文字がさらに列方向に対して左または右方
向に傾いた状態の画像）の検出と補正が可能となり、こ
れにより前記したような蛇行入力された画像に対しての
補正も可能となる。

【００８９】このように前記補正処理を組み合わせた処
理を行ったのち、文字の切り出しを行って、それを文字
認識した場合の認識正解率は、これらの補正を行う前
は、８９．９％の認識正解率であったものが、前記補正
処理を組み合わせた処理を行った場合は、９８．６％に
上昇することが実験によるデータとして得られた。

【００９０】ところで、以上説明した各処理は、読み取
り対象画像を幾つかのブロックに分けて処理を行い、そ
のブロックのデータを画像メモリに蓄えておき、次の画
像データ取り込みを行っている間に、画像メモリ内の画
像データ処理を行い、全体のスキャン走査が終わった段
階で、前述したような各処理も終わるようにしている。
この実施例では、たとえば、６４ラインを１ブロックと
している。

【００９１】図１９はこの処理を説明するブロック図で
あり、まず、スキャナ１１で読み取られた１ブロック分
の画像データはＤＭＡ（Direct Memory Access）コント
ローラ８０１により画像メモリ１２に蓄えられる。そし
て、次の１ブロック分の画像データの読み込みを行って
いる間に、画像処理装置８０２が、画像メモリ１２に蓄
えられている画像データをもとに前記したような処理を
行う。

【００９２】また、図２０はこの部分の処理を説明する
フローチャートであり、まず、画像メモリ１２に１ブロ
ック相当の未処理画像データが蓄えられたか否かを判定
（ステップＳ５１）し、１ブロック相当の未処理画像デ
ータが蓄えられていれば画像処理を行い（ステップＳ５
２）、画像読み取りを終了したか否かの判定を行う（ス
テップＳ５３）という処理を繰り返す。

【００９３】このような処理を行うことにより、画像読
み取り処理と画像補正処理を並行して行うことができ、
全体のスキャン走査が終わった段階で、前述したような
各処理も終えることも可能となり、高速で効率のよい処
理が可能となる。

【００９４】次に、この実施例で説明した各処理の全体
的なフローチャートを図２１に示す。

【００９５】この図２１のフローチャートに示される個
々の処理は、前述した通りであるので、ここでは、簡単
に説明する。

【００９６】まず、未処理画像ブロックが存在するか否
かを判定（ステップＳ６１）する。これは、前記したよ
うに、読み取り対象画像を幾つかのブロックに分けて処
理を行う際、まだ、未処理画像ブロックがあるかどうか
という判断であり、未処理画像ブロックがあれば、その
未処理画像ブロックについて以下の処理を行う。

【００９７】読み取り対象の画像ブロックをスキャンす
ることにより画像データを読み取り、その読み取り画像
データをランレングスデータ（文字を構成する黒ランの
始点座標とその長さ）に変換し（ステップＳ６２）、１
つの文字を構成するそれぞれのランレングスデータにこ
れらのランレングスデータが連結領域であることを示す
ラベリング（１つの文字を構成するそれぞれのランレン
グスデータに同じ番号を付す）を行い（ステップＳ６
３）、それぞれの連結領域に外接する外接矩形を得るた
めにそれぞれの外接矩形の始点座標と終点座標を抽出す
る（ステップＳ６４）。

【００９８】次に、読み取ろうとする行の抽出が終わっ
ているか否か、つまり行抽出未処理の矩形が存在するか
否かの判定（ステップＳ６５）を行い、終わっていれば
次の文字種判定未処理の矩形が存在するか否かの判定
（ステップＳ６６）に移り、終わっていなければ、行抽
出未処理の矩形に対して行抽出処理を行う（ステップＳ
６７）。この行抽出処理については図５、図８のフロー
チャートで説明した通りである。これにより、複数行が
同時に読み込まれた場合でも所望とする行を確実に取り
出すことができる。

【００９９】そして次に、ステップＳ６６にて文字種判
定未処理の矩形が存在するか否かの判定が行われる。こ
の文字種とは前記したように「Centred」、「Ascende
r」、「Descender」などであり、このような文字種判定
が終わっていれば、次の単語抽出未処理の矩形が存在す
るか否かの判定（ステップＳ６８）に移り、文字種判定
が終わっていない矩形があれば、文字種判定処理（ステ
ップＳ６９）を行ったのち階段状配列文字の検出、補正
処理を行う（ステップＳ７０）。この文字種判定処理お
よび階段状配列文字の検出、補正処理は、図１０、図１
３のフローチャートで説明した通りである。この処理に
より、図２４に示すように、スキャナの先端部７を行方
向に直角にしたまま斜め右下方向に走査して読み取られ
たために、図２５に示すような階段状配列された画像の
補正が行われる。

【０１００】次に、ステップＳ６８にて単語抽出未処理
の矩形が存在するか否かの判定が行われ、単語抽出未処
理の矩形が存在していれば、単語抽出を行い（ステップ
Ｓ７１）、単語抽出未処理の矩形が存在していなければ
文字切り出し未処理の単語が存在するか否かの判断（ス
テップＳ７２）を行う。

【０１０１】ここで、文字切り出し未処理の単語が存在
していれば、スキャナの先端部７を、列方向に対して右
方向（または左方向）に傾むけた状態で走査して読みと
られた画像の検出、補正処理を行う。この検出、補正処
理は図１６のフローチャートで説明した通りである。

【０１０２】そして、以上のような一連の処理が行わ
れ、補正された画像が得られると、今度は、文字の切り
出し処理が行われ（ステップＳ７４）たのち、その文字
に対して文字認識処理を行う（ステップＳ７５）。その
後、ステップＳ６１に戻って、次の未処理ブロックがあ
れば、前記同様の処理を行う。

【０１０３】以上説明したように、複数行の文字列が蛇
行して読み取られたような画像においては、所望とする
行を確実に判定して、その行を抽出することができ、ま
た、スキャナの先端部を行方向に直角にしたまま斜め右
下方向に走査して読み取られたために階段状配列となっ
た画像においても、行の判定を行ったのち階段状配列と
なった画像の補正を行うことができ、さらに、スキャナ
の先端部を、列方向に対して右方向（または左方向）に
傾むけた状態で走査して読みとられた画像の検出および
その補正処理を行うことができる。したがって、このよ
うに補正された画像を用いて、文字の切り出し処理およ
び文字認識処理を行うことにより、認識率の高い文字認
識処理が可能となる。

【０１０４】

【発明の効果】以上説明したように、複数行が蛇行した
状態で読み込まれた文書画像データから、文書の列方向
に見た場合、その列方向の幅の中心線を含む中心線上付
近に存在する文字画像を抽出し、その文字画像が含まれ
ている行を読み込むべき行と判断するようにしたので、
複数行が蛇行した状態で読み込まれた場合でも、読み込
もうとする行の抽出が可能となる。

【０１０５】また、各文字ごとにその文字を包含する外
接矩形を、その外接矩形の始点座標とこの始点座標に対
角する終点座標として抽出したので、このデ−タを用い
て行抽出処理を行うことができ、高速な処理が可能とな
る。

【０１０６】また、前記抽出する文字画像を、前記列方
向の幅の中心線を含む中心線上付近に存在する文字画像
のうち、最も中心に位置する文字画像とすることによ
り、その文字画像を基点として行抽出が可能となる。

【０１０７】また、前記列方向の読み取り幅の中心線を
含む中心線上付近に存在するか否かの判断を、前記文字
を包含する外接矩形の座標データから求めた外接矩形の
中心位置と前記列方向の幅の中心線との位置関係から判
断するようにしたので、中心線を含む中心線上付近に存
在する文字を確実に、かつ、高速に判定することができ
る。

【０１０８】また、文書画像データの列方向の幅の中心
線を含む中心線上付近に存在する文字画像を抽出し、こ
の抽出された文字画像に隣接する文字画像との間で重な
りを求め、順次、隣接する文字との重なりを求めて行く
ことで読み込むべき行の抽出を行うことにより、複数行
が蛇行した状態で読み込まれた場合でも、読み込もうと
する行の抽出を確実に行うことができる。

【０１０９】また、複数行が蛇行した状態で読み込まれ
た文書画像データの列方向の幅の中心線上を含む中心線
上付近に存在する文字画像を抽出し、その文字画像が含
まれている行を読み込むべき行と判断する行抽出部を有
したので、複数行が蛇行した状態で読み込まれた場合で
も、読み込もうとする行の抽出が可能となる。

【０１１０】また、前記行抽出部は、文書の列方向の幅
の中心線を含む中心線上付近に存在する文字画像を抽出
し、その文字画像が含まれている行を読み込むべき行と
判断する注目行抽出手段と、前記抽出された文字画像に
隣接する文字画像との間で重なり度を求め、順次、隣接
する文字との重なり度を求めて行くことで読み込むべき
行の抽出を行う注目行追跡手段とを有することにより、
文書画像データの列方向の幅の中心線を含む中心線上付
近に存在する文字画像を抽出し、この抽出された文字画
像に隣接する文字画像との間で重なり度を求め、順次、
隣接する文字との重なり度を求めて行くことで読み込む
べき行の抽出を行うことにより、複数行が蛇行した状態
で読み込まれた場合でも、読み込もうとする行の抽出を
確実に行うことができる。

【０１１１】また、各文字ごとにその文字を包含する外
接矩形を、その外接矩形の始点座標とこの始点座標に対
角する終点座標として抽出する外接矩形抽出部を前記行
抽出部の前段に設けたことにより、この外接矩形デ−タ
を用いて行抽出処理を行うことができ、１画素ごとの処
理に比べて高速な処理が可能となる。

【０１１２】また、文書画像がアルファベットである場
合、アルファベットの文字種が同じ種類の文字同志であ
る最近傍の２つの文字画像を用いて、傾きを判定を行う
ようにしたので、より正確な傾き判定が可能となる。

【０１１３】また、階段状の配列となった文字画像の補
正を、前記ランレングスデータの始点座標を変更するこ
とで行うようにしたので、１画素づつ処理を行う場合に
比べて高速な処理が可能となる。

【０１１４】また、階段状配列文字補正部には、読み取
り画像文字がアルファベットである場合、アルファベッ
トの文字種を判定する文字種判定手段と、この文字種の
うちのいずれかの１つの文字種に属する２つの文字画像
間の列方向の位置のずれをもとに補正する階段状配列文
字補正手段とを有することにより、より正確な傾き判定
とその傾きに対応した正確な補正を行うことができる。

【０１１５】また、文書画像の行方向の存在幅を、前記
ランレングスデータの始点座標と終点座標を、前記予め
設定した幾つかの角度にしたがって変換して行くことで
求めているので、１画素づつ変換して存在幅を求める方
式に比べると高速に処理を行うことができる。

【０１１６】また、読み取り文書画像がアルファベット
である場合においては、１つの単語を構成する文字数が
所定数以下であるときは、その前に位置する単語の行方
向傾きをその単語の行方向の傾きとして、その傾きを基
に補正処理するようにしたので、１つの単語の構成文字
が少なくても、正確な傾き検出と補正が可能となる。

【０１１７】また、読み込むべき行の判定を正確に行う
ことができ、また、前記階段状の配列となった文字画像
の補正を行い、さらに、傾斜した状態で読み込まれた文
書画像に対して傾きを補正することができる。したがっ
て、蛇行した文書画像が複数行同時に読み込まれた場合
でも、読み込むべき行の判定を確実に行うことができ、
さらに、文字の列方向のずれ、傾斜およびその両者が同
時に発生した文書に対しても補正が可能となり、この補
正処理を行ったのち、文字認識処理を行うことにより、
文字認識率を大幅に向上させることができる。

【０１１８】また、前記同様、蛇行した文書画像が複数
行同時に読み込まれた場合でも、読み込むべき行の判定
を確実に行うことができ、さらに、文字の列方向のず
れ、傾斜およびその両者が同時に発生した文書に対して
も補正が可能となり、この補正処理を行ったのち、文字
認識処理を行うことにより、文字認識率を大幅に向上さ
せることができる。

【０１１９】以上のように、本発明による画像処理を施
したのち、文字の切り出し処理および文字認識処理を行
えば、きわめて高い文字認識率が得られる。

【図面の簡単な説明】

【図１】 本発明の実施例を説明する全体的な構成図。

【図２】 ランレングスデータを説明する図。

【図３】 外接矩形データを説明する図。

【図４】 蛇行して読み取られた文書画像の一例を説明
する図。

【図５】 行抽出処理における中心画像の判定処理を説
明するフローチャート。

【図６】 行抽出処理における中心画像の判定を説明す
る図。

【図７】 行抽出処理における隣接文字同志の重なり度
を説明する図。

【図８】 行抽出処理における読み込むべき行の抽出処
理を説明するフローチャート。

【図９】 極端に大きさの異なる文字の処理を説明する
図。

【図１０】 アルファベットの文字種の判定処理を説明
するフローチャート。

【図１１】 アルファベットの文字種の判定処理を行う
際の文字の列方向高さ分布図。

【図１２】 アルファベットの文字種の判定を説明する
図。

【図１３】 階段状配列文字の補正処理を説明するフロ
ーチャート。

【図１４】 階段状配列文字の傾きを説明する図。

【図１５】 階段状配列文字の補正処理を説明する図。

【図１６】 傾斜文字の補正処理を説明するフローチャ
ート。

【図１７】 傾斜文字の補正処理を説明する図。

【図１８】 傾斜文字の補正処理における行方向の画素
のずらしを説明する図。

【図１９】 実施例における処理をブロックごとに行う
場合の構成図。

【図２０】 処理をブロックごとに行う場合のフローチ
ャート。

【図２１】 実施例の全体の処理を説明するフローチャ
ート。

【図２２】 従来技術を説明するための複数の蛇行入力
文書画像の一例を示す図。

【図２３】 従来技術における行抽出の例を説明する
図。

【図２４】 スキャナを斜め右下方向に走査する例を説
明する図。

【図２５】 スキャナを斜め右下方向に走査して読み込
まれた場合の従来技術の処理を説明する図。

【図２６】 スキャナの先端部を列方向に対して傾斜し
た状態で走査する例を説明する図。

【図２７】 スキャナの先端部を列方向に対して傾斜し
た状態で走査して読み込まれた場合の画像例を示す図。

【符号の説明】

１０・・・画像読み取り部 ２０・・・ランレングスデータ変換部 ３０・・・外接矩形抽出部 ４０・・・行抽出部 ５０・・・階段状配列文字補正部 ６０・・・単語抽出部 ７０・・・文字切り出し部 ７１・・・傾斜文字補正部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平５−342407（ＪＰ，Ａ) 特開 平３−62284（ＪＰ，Ａ) 特開 昭59−790（ＪＰ，Ａ) 特開 平１−312682（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06K 9/20 G06K 9/22 G06K 9/32

Claims (16)

(57)【特許請求の範囲】
1. 【請求項１】 原稿上の文書をスキャナにより走査する
   ことによって読み取り、その読み取り画像を、文字画像
   の切り出しおよび文字認識処理を行い得る状態に画像処
   理する画像処理方法において、 複数行が蛇行した状態で読み込まれた文書画像データか
   ら、文書の列方向に見た場合、その列方向の画像読み取
   り幅の中心線を含む中心線上付近に存在する文字画像を
   抽出し、その文字画像が含まれている行を読み込むべき
   行と判断することを特徴とする画像処理方法。
2. 【請求項２】 前記抽出する文字画像は、前記列方向の
   画像読み取り幅の中心線を含む中心線上付近に存在する
   文字画像のうち、最も中心に位置する文字画像であるこ
   とを特徴とする請求項１記載の画像処理方法。
3. 【請求項３】 前記スキャナにより読み込まれた文書画
   像から、各文字画像ごとにその文字画像を包含する外接
   矩形を、その外接矩形の始点座標とこの始点座標に対角
   する終点座標として抽出することを特徴とする請求項１
   または請求項２記載の画像処理方法。
4. 【請求項４】 前記列方向の画像読み取り幅の中心線を
   含む中心線上付近に存在するか否かの判断は、前記文字
   画像を包含する外接矩形の座標データから求めた外接矩
   形の中心位置と前記列方向の画像読み取り幅の中心線と
   の位置関係から判断することを特徴とする請求項３記載
   の画像処理方法。
5. 【請求項５】 前記読み込むべき行の抽出は、複数行が
   蛇行した状態で読み込まれた文書画像データから、文書
   の列方向に見た場合、その列方向の画像読み取り幅の中
   心線を含む中心線上付近に存在する文字画像を抽出し、
   この抽出された文字画像に隣接する文字画像との間で重
   なりを求め、順次、隣接する文字との重なりを求めて行
   くことで読み込むべき行の抽出を行うことを特徴とする
   請求項１記載の画像処理方法。
6. 【請求項６】 原稿上の文書をスキャナにより走査する
   ことによって読み取り、その読み取り画像を、文字画像
   の切り出しおよび文字認識処理を行い得る状態に画像処
   理する画像処理方法において、 隣接する文字画像同志が同一行であるかの判断を、隣接
   する文字画像同志の前記列方向の重なりから判定し、そ
   れを繰り返すことにより行画像を抽出してなるととも
   に、 前記読み込むべき行の抽出は、複数行が蛇行した状態で
   読み込まれた文書画像データから、文書の列方向に見た
   場合、その列方向の画像読み取り幅の中心線を含む中心
   線上付近に存在する文字画像を抽出し、この抽出された
   文字画像に隣接する文字画像との間で重なりを求め、順
   次、隣接する文字画像との重なりを求めて行くことで読
   み込むべき行の抽出を行うことを特徴とする画像処理方
   法。
7. 【請求項７】 原稿上の文書をスキャナにより走査する
   ことによって読み取り、その読み取り画像を、文字画像
   の切り出しおよび文字認識処理を行い得る状態に画像処
   理する画像処理装置において、 複数行が蛇行した状態で読み込まれた文書画像データか
   ら、文書の列方向に見た場合、その列方向の画像読み取
   り幅の中心線上を含む中心線上付近に存在する文字画像
   を抽出し、その文字画像が含まれている行を読み込むべ
   き行と判断する行抽出部を有したことを特徴とする画像
   処理装置。
8. 【請求項８】 前記行抽出部は、文書の列方向に見た場
   合、その列方向の画像読み取り幅の中心線を含む中心線
   上付近に存在する文字画像を抽出し、その文字画像が含
   まれている行を読み込むべき行と判断する注目行抽出手
   段と、前記抽出された文字画像に隣接する文字画像との
   間で重なりを求め、順次、隣接する文字画像との重なり
   を求めて行くことで読み込むべき行の抽出を行う注目行
   追跡手段とを有することを特徴とする請求項７記載の画
   像処理装置。
9. 【請求項９】 前記スキャナにより読み込まれた文書画
   像から、各文字画像ごとにその文字画像を包含する外接
   矩形を、その外接矩形の始点座標とこの始点座標に対角
   する終点座標として抽出する外接矩形抽出部を前記行抽
   出部の前段に設けたことを特徴とする請求項８記載の画
   像処理装置。
10. 【請求項１０】 原稿上の文書をスキャナにより走査す
    ることによって読み取り、その読み取り画像を、文字画
    像の切り出しおよび文字認識処理を行い得る状態に画像
    処理する画像処理方法において、 スキャナ走査により、各文字画像が階段状配列で読み込
    まれた文字画像に対し、同一行に含まれる２つの文字画
    像間の列方向の位置のずれを、その文字画像間の前記列
    方向の傾きと判定し、その傾きに基づいて前記階段状の
    配列となった文字画像の補正を行うとともに、 前記２つの文字画像は、文書画像がアルファベットであ
    る場合、アルファベットの文字種が「Centred」である
    と推定された最近傍の２つの文字画像とすることを特徴
    とする画像処理方法。
11. 【請求項１１】 原稿上の文書をスキャナにより走査す
    ることによって読み取り、その読み取り画像を、文字画
    像の切り出しおよび文字認識処理を行い得る状態に画像
    処理する画像処理方法において、 スキャナ走査により、各文字画像が階段状配列で読み込
    まれた文字画像に対し、同一行に含まれる２つの文字画
    像間の列方向の位置のずれを、その文字画像間の前記列
    方向の傾きと判定し、その傾きに基づいて前記階段状の
    配列となった文字画像の補正を行い、 前記スキャナから読み込まれた文書画像を、各文字画像
    ごとにその文字画像を構成する黒画素の列方向に連続し
    たつながりの始点座標とその黒画素部分の長さからなる
    ランレングスデータに変換してなり、 前記文字画像間の前記列方向の傾きに応じて、前記ラン
    レングスデータの始点座標を変更することで前記階段状
    の配列となった文字画像の補正を行うことを特徴とする
    画像処理方法。
12. 【請求項１２】 原稿上の文書をスキャナにより走査す
    ることによって読み取り、その読み取り画像を、文字画
    像の切り出しおよび文字認識処理を行い得る状態に画像
    処理する画像処理装置において、 スキャナ走査により、各文字画像が階段状配列で読み込
    まれた文字画像に対し、同一行に含まれる２つの文字画
    像間の列方向の位置のずれを、その文字画像間の列方向
    の傾きと判定し、その傾きに基づいて前記階段状の配列
    となった文字画像の補正を行う階段状配列文字補正部を
    有し、 前記階段状配列文字補正部は、読み取り文字画像がアル
    ファベットである場合、アルファベットの文字種を判定
    する文字種判定手段と、この文字種のうちの「Centre
    d」であると推定された２つの文字画像間の列方向の位
    置のずれをもとに補正する階段状配列文字補正手段とを
    有することを特徴とする画像処理装置。
13. 【請求項１３】 原稿上の文書をスキャナにより走査す
    ることによって読み取り、その読み取り画像を、文字画
    像の切り出しおよび文字認識処理を行い得る状態に画像
    処理する画像処理方法において、 スキャナ走査により、各文字画像が列方向に対して傾斜
    した状態で読み込まれた文書画像を、予め設定した幾つ
    かの角度にしたがって傾斜角を変えて行き、文書画像の
    行方向の存在幅が最小になる角度を、文書画像の列方向
    に対する所望とする角度と判定し、その角度になるよう
    に文書画像の傾きを補正してなり、 前記スキャナから読み込まれた文書画像から、各文字画
    像ごとにその文字を構成する黒画素の列方向に連続した
    つながりの始点座標とその黒画素部分の長さからなるラ
    ンレングスデータに変換し、 前記文書画像を予め設定した幾つかの角度にしたがって
    傾斜角を変えて行き、文書画像の行方向の存在幅を求め
    る手段として、前記ランレングスデータの始点座標と終
    点座標を、前記予め設定した幾つかの角度にしたがって
    変換して行き、変換後の始点座標と終点座標から文書画
    像の行方向の存在幅を求めることを特徴とする画像処理
    方法。
14. 【請求項１４】 原稿上の文書をスキャナにより走査す
    ることによって読み取り、その読み取り画像を、文字画
    像の切り出しおよび文字認識処理を行い得る状態に画像
    処理する画像処理方法において、 スキャナ走査により、各文字画像が列方向に対して傾斜
    した状態で読み込まれた文書画像を、予め設定した幾つ
    かの角度にしたがって傾斜角を変えて行き、文書画像の
    行方向の存在幅が最小になる角度を、文書画像の列方向
    に対する所望とする角度と判定し、その角度になるよう
    に文書画像の傾きを補正してなり、 前記読み取り文書画像がアルファベットである場合にお
    いて、１つの単語を構成する文字数が所定数以下である
    ときは、その前に位置する単語の列方向傾きをその単語
    の列方向の傾きとして、その傾きを基に補正処理するこ
    とを特徴とする画像処理方法。
15. 【請求項１５】 原稿上の文書をスキャナにより走査す
    ることによって読み取り、その読み取り画像を、文字画
    像の切り出しおよび文字認識処理を行い得る状態に画像
    処理する画像処理方法において、 複数行が蛇行した状態で読み込まれた文書画像データか
    ら、文書の列方向に見た場合、その列方向の読み取り幅
    の中心線上を含む中心線上付近に存在する文字画像を抽
    出し、その文字画像が含まれている行を読み込むべき行
    と判断し、 前記読み込むべき行の一行に含まれる２つの文字画像間
    の列方向の位置のずれを、その文字画像間の列方向の傾
    きと判定し、その傾きに基づいて階段状の配列となった
    文字画像の補正を行い、 次に、予め設定した幾つかの角度にしたがって傾斜角を
    変えて行き、文書画像の行方向の存在幅が最小になる角
    度を、文書画像の列方向に対する所望とする角度と判定
    し、その角度になるように文書画像の傾きを補正するこ
    とを特徴とする画像処理方法。
16. 【請求項１６】 原稿上の文書をスキャナにより走査す
    ることによって読み取り、その読み取り画像を、文字画
    像の切り出しおよび文字認識処理を行い得る状態に画像
    処理する画像処理装置において、 複数行が蛇行した状態で読み込まれた文書画像データか
    ら、文書の列方向に見た場合、その列方向の読み取り幅
    の中心線上を含む中心線上付近に存在する文字画像を抽
    出し、その文字画像が含まれている行を読み込むべき行
    と判断する行抽出部と、 前記行抽出部が抽出した行に含まれる文字画像を、同一
    行に含まれる２つの文字画像間の列方向の位置のずれ
    を、その文字画像間の列方向の傾きと判定し、その傾き
    に基づいて階段状の配列となった文字画像の補正を行う
    階段状配列文字補正部と、 前記階段状配列文字補正部により補正された文字画像
    を、予め設定した幾つかの角度にしたがって傾斜角を変
    えて行き、文書画像の行方向の存在幅が最小になる角度
    を、文書画像の列方向に対する所望とする角度と判定
    し、その角度になるように文書画像の傾きを補正する傾
    斜文字補正部と、 を有したことを特徴とする画像処理装置。