JPH09185676A

JPH09185676A - 罫線除去方法

Info

Publication number: JPH09185676A
Application number: JP7352144A
Authority: JP
Inventors: Hideo Horiuchi; 秀雄堀内; Yoshimasa Iwata; 義正岩田; Kenji Mishima; 健司三縞
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1995-12-28
Filing date: 1995-12-28
Publication date: 1997-07-15
Anticipated expiration: 2015-12-28
Also published as: JP3830998B2; US5896464A

Abstract

(57)【要約】【課題】文字と罫線が一部で接触あるいは重なった二値
画像や濃淡画像から罫線を確実・容易に除去できる罫線
除去方法を提供する。【解決手段】文字と罫線を含む入力画像から罫線を除去
する方法において、入力画像中の罫線の存在範囲を特定
し、その特定した罫線存在範囲内の罫線に対して垂直の
方向に存在する連続した有意画素領域のうち罫線の幅に
相当する所定の幅の黒画素領域のみを罫線と見なして除
去する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば文字と罫線
を含む帳票などをスキャナで読み取って電子化した入力
画像から罫線を除去する方法に係り、特に文字と非ドロ
ップアウトカラーの罫線が重なっている領域においても
罫線を確実に除去して文字のみを抽出できる罫線除去方
法に関する。

【０００２】

【従来の技術】各種伝票類などの帳票を読み取る光学的
文字読み取り装置（以下、ＯＣＲという）は、従来では
帳票上にドロップアウトカラーで印刷された記入枠に書
かれた文字を読み取るものがほとんどであった。これに
対し、近年では様々な帳票が簡易に作成されるようにな
り、記入枠が非ドロップアウトカラーで印刷された帳票
も出現しているため、非ドロップアウトカラーの記入枠
に書かれた文字を読み取るニーズが高まってきている。

【０００３】記入枠が非ドロップアウトカラーで印刷さ
れた帳票を読み取るためのＯＣＲでは、文字と罫線が重
なっている場合にその画像から記入枠を構成する罫線を
除去し、文字のみを抽出して認識する必要がある。この
ような帳票から罫線を除去する技術は、例えば特公平６
−９７４７１（以下、公知文献１という）に開示されて
いる。この公知文献１の方式では、図１に示すような記
入枠と文字が重なっている入力画像について、記入枠の
内側の輪郭線に沿って強制的に切断することによって記
入枠を除去した図２（ａ）に示す画像と、切断開始点と
終点から外側の輪郭線にまっすぐ伸ばした線によって切
断することによって記入枠を除去した図２（ｂ）に示す
画像を作成し、この画像から文字を認識している。

【０００４】しかし、公知文献１の方式では図３（ａ）
に示すように記入枠が一辺において文字部と３つ以上の
個所で接触している場合には、図３（ｂ）に示すように
記入枠の罫線を除去しきれず、罫線が付加されたまま文
字を抽出してしまうという問題があった。

【０００５】また、この方式では図４に示すように文字
が記入枠の多数の辺と接触している場合には、図５に示
すように枠線を除去した画像として何通りもの画像が作
成され、これが文字認識対象の候補画像となる。しか
し、文字認識は一般に演算量が多くいわゆる重い処理で
あるため、このように候補画像が多くなると演算時間が
かかり過ぎるという問題がある。

【０００６】さらに、文字認識において図３（ｂ）の場
合では「２」と認識しなければならないところを文字に
付加されたままの罫線の存在のために「８」と誤読して
しまったり、また図５に示したように多数の候補画像を
認識することになると、誤読の可能性が高くなるという
問題があった。

【０００７】一方、濃淡画像から罫線を除去する方法と
しては、例えば電子通信学会論文誌’８０／４Ｖｏ
ｌ．Ｊ６３−Ｄ，Ｎｏ．４，ｐｐ．３４９−３５６「自
動しきい値選定法」（以下、公知文献２という）に記載
されているように、文字と罫線の濃度差を利用して、所
定のしきい値により二値化することで両者を分離し、罫
線の濃度を持つ画素のみを除去する方法が提案されてい
る。しかし、この公知文献２の方法は文字が濃く、罫線
が薄い画像、つまり文字と罫線の濃度差が大きい濃淡画
像の場合は、二値化しきい値から文字と罫線を分離する
ことができるが、文字と罫線の濃度差が十分にない場合
には分離が難しい。

【０００８】

【発明が解決しようとする課題】上述したように従来の
二値画像に適用される罫線除去方法では、罫線が文字部
と多数の個所で接触している二値画像については、罫線
の除去を確実に行うことができず、罫線部分が残ったま
ま文字を抽出してしまったり、また何通りもの罫線除去
画像が認識対象の候補画像として生成されるために演算
時間がかかり過ぎるという問題があり、さらに罫線をつ
けたままの文字や何通りもの候補画像を認識するために
誤読の可能性が高くなるという問題もあった。

【０００９】また、濃淡画像に適用される罫線除去技術
として、文字と罫線の濃度差を利用してしきい値により
二値化することにより両者を分離し、罫線の濃度を持つ
画素のみを除去する方法では、文字と罫線の濃度差が大
きくない場合には罫線を確実に除去することは難しいと
いう問題があった。

【００１０】本発明は、文字と罫線が一部で接触あるい
は重なった二値画像や濃淡画像から罫線を確実・容易に
除去できる罫線除去方法を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
め、本発明に係る第１の罫線除去方法は、入力画像中の
罫線の存在する範囲を特定し、その特定した罫線存在範
囲内の罫線に対して垂直の方向に存在する連続した有意
画素領域のうち罫線の幅に相当する所定の幅の有意画素
領域のみを罫線と見なして除去することを特徴とする。

【００１２】この第１の罫線除去方法においては、罫線
の存在範囲を特定した後、罫線の幅に相当する有意画素
領域のみを除去するため、例えば文字を貫通する形で罫
線が重なっている領域でも、罫線が確実に除去される。

【００１３】本発明に係る第２の罫線除去方法は、入力
画像中の罫線の存在する範囲を特定すると共に、その特
定した罫線存在範囲から外側に延びている文字部分の輪
郭線の方向に沿って入力画像中の罫線を切断または仮想
的に切断した後、特定した罫線存在範囲内の罫線に対し
て垂直の方向に存在する連続した有意画素領域のうち罫
線の幅に相当する所定の幅の有意画素領域のみを罫線と
見なして除去することを特徴とする。また、第２の罫線
除去方法において、入力画像中の罫線の一部を含む部分
の輪郭線を求め、特定した罫線存在範囲の外側に存在す
る有意画素領域の輪郭から輪郭線の方向を推定すること
を特徴とする。

【００１４】この第２の罫線除去方法では、文字部分の
輪郭線の方向に沿って入力画像中の罫線を切断または仮
想的に切断した後、第１の罫線除去方法と同様の処理を
行うことにより、罫線除去後の文字部分において罫線と
重なった領域付近に出っぱり途切れが生じることがな
く、文字認識がより容易となる。

【００１５】本発明に係る第３の罫線除去方法は、文字
と罫線を含む入力画像上に罫線と交差する方向にしきい
値を分布させ、このしきい値を用いて入力画像をしきい
値処理することにより入力画像から罫線を除去する方法
において、しきい値を罫線の部分で凸型をなす形状に分
布させたことを特徴とする。さらに、第３の罫線除去方
法において、罫線の部分で凸型をなすしきい値を罫線の
端部付近で傾斜した形状に分布させたことを特徴とす
る。

【００１６】この第３の罫線除去方法においては、文字
と罫線を分離するためのしきい値の分布を罫線の部分で
凸型とすることにより、文字と罫線の濃度差が比較的小
さい場合でも、しきい値処理により罫線が確実に文字と
分離されて除去される。さらに、しきい値の分布を罫線
の端部付近で傾斜した形状とすれば、その傾斜を罫線方
向の入力画像の濃度分布に合わせて決定することによ
り、罫線の端部の輪郭線付近で文字部分を消滅させるこ
となく罫線を除去することができる。

【００１７】また、本発明は上述した第１、第２および
第３の罫線除去方法の少なくとも一つを用いて罫線の除
去を行うことを特徴とする。この場合、これら全ての罫
線除去方法で罫線除去を行ってみて、最も良好な結果が
得られる方法を選択してもよいし、逐次的に第１、第２
および第３の罫線除去方法を実行し、良好な結果が得ら
れた段階で処理を終了して一つの方法を選択してもよ
い。また、入力画像の種類によって一つの罫線除去方法
を選択して用いることも可能である。

【００１８】さらに、本発明は二値画像のための罫線除
去方法および濃淡画像のための罫線除去方法を少なくと
も備え、これらの罫線除去方法の一つにより罫線を除去
することを特徴とする。

【００１９】

【発明の実施の形態】以下、本発明の実施形態を図面を
参照して説明する。図６は、本発明の罫線除去方法を適
用した光学的文字読み取り装置（ＯＣＲ）の機能的構成
を示すブロック図である。このＯＣＲは画像入力部１
１、罫線位置特定部１２、部分画像指定部１３、罫線種
類判別部１４、罫線除去方式選択部１５、罫線除去部１
６、文字抽出部１７、文字認識部１８および結果出力部
１９からなり、画像入力部１１の一部と、罫線位置特定
部１２、部分画像指定部１３、罫線種類判別部１４、罫
線除去方式選択部１５、罫線除去部１６、文字抽出部１
７および文字認識部１８の部分は、ソフトウェア処理に
より実現してもよいし、ハードウェアにより実現しても
よい。

【００２０】画像入力部１１は例えばスキャナであり、
読み取り対象の帳票上の画像を入力する。罫線位置特定
部１２は、画像入力部１１からの入力画像について罫線
と思われる位置（罫線位置）を特定する。部分画像指定
部１３は、特定された罫線位置から除去すべき罫線を含
む部分画像の位置を指定する。罫線種類判別部１４は、
画像入力部１１からの入力画像のうち部分画像指定部１
３により指定された部分画像に存在する罫線の種類を判
別する。

【００２１】罫線除去方式選択部１５は、複数種類用意
された罫線除去方式の中から入力画像の種類に合った最
適な方式を選択する。罫線除去部１６は、複数種類の罫
線除去方式による罫線除去処理機能を有し、画像入力部
１１からの入力画像について罫線除去方式選択部１５に
より選択された方式で罫線除去処理を行う。

【００２２】文字抽出部１７は、罫線除去部１６によっ
て罫線が除去された後の入力画像から文字部分を抽出す
る。文字認識部１８は、文字抽出部１７で抽出された文
字について認識処理を行う。結果出力部１９は、この文
字認識結果を例えばディスプレイあるいはハードコピー
により出力する。

【００２３】次に、本実施形態における罫線除去処理を
含む文字認識の処理手順を図７に示すフローチャートを
参照して説明する。

【００２４】まず、画像入力部１１によって例えば帳票
を読み取ることにより画像を入力する（ステップＳ
１）。図８は入力画像１０１の一例であり、この入力画
像１０１にはカラー画像、二値画像および濃淡画像など
の種類がある。次に、罫線位置特定部１２によって入力
画像中の罫線位置を特定する（ステップＳ２）。罫線位
置の特定には、罫線幅を特定する処理も含まれるものと
する。この罫線位置特定処理では、帳票固有の罫線情報
がある場合にはその情報を用いて罫線位置の特定を行
い、それ以外の場合、例えば入力画像がカラー画像の場
合であって帳票特有の罫線情報がない場合には、画像上
に存在する各色の分布状況を調べることによって罫線位
置を特定する。また、入力画像が二値画像の場合には黒
画素の分布状況を調べ、さらに濃淡画像の場合には微分
マスクを用い、Ｈｏｕｇｈ変換や射影によって罫線位置
を特定する。

【００２５】次に、部分画像指定部１３によって、本発
明の罫線除去方法により除去すべき罫線の罫線位置を含
む部分画像１０２の位置を指定する（ステップＳ３）。
具体的には、図８中に示す入力画像１０１について、文
字を囲む文字枠を構成する線上をある幅（Ｇ画素分）に
わたり走査し、文字部分と接触あるいは重なっている部
分を部分画像１０２として指定する。

【００２６】次に、部分画像指定部１３で指定された部
分画像１０２内に存在する罫線の種類を罫線種類判別部
１４によって判別する（ステップＳ４）。罫線の種類と
しては、大別して実線と点線（破線も含む）がある。罫
線種類の判別には、帳票固有の罫線情報から罫線の種類
が得られる場合はそれを用い、それがない場合には罫線
上を罫線方向に沿って走査し、例えばカラー画像では背
景色から罫線色に変わる回数、濃淡画像では濃度が急激
に変化する回数、二値画像では白画素から黒画素に変わ
る回数をそれぞれ数え、この回数があるしきい値を越え
た場合を点線、そうでない場合を実線とそれぞれ判別す
る。また、部分画像１０２にラベリングを施し、そのラ
ベル数があるしきい値を越えた場合を点線、そうでない
場合を実線とそれぞれ判別するようにしてもよい。

【００２７】次に、罫線除去方式選択部１５によって複
数用意された罫線除去方式を適宜組み合わせて、入力画
像１０１に最も適合したものを選択する（ステップＳ
５）。そして、選択された罫線除去方式に基づいて罫線
除去部１６で文字と接触している罫線を除去する（ステ
ップＳ６）。この結果、図９（ａ）に示すような接触罫
線除去画像１０３が得られる。

【００２８】次に、文字抽出部１６において接触罫線除
去画像１０３にラベリング等の処理を施して文字の抽出
を行い（ステップＳ７）、図９（ｂ）に示すように罫線
以外のラベルを抽出文字１０４として出力する。最後
に、文字認識部１７において抽出文字１０４の認識を行
い（ステップＳ８）、図９（ｃ）に示すような認識結果
１０５を結果出力部１８によって出力する（ステップＳ
９）。

【００２９】なお、文字認識部１７の認識方式は公知の
もので構わない。また、この例では文字と罫線が接触し
ている部分のみ部分画像を指定して罫線を除去したが、
全ての罫線に除去処理を施し、罫線を全て除去して文字
のみを抽出することも可能である。文字と接触している
罫線以外の罫線の除去には、公知の技術を用いることが
できる。

【００３０】次に、図６における罫線除去方式選択部１
５および罫線除去部１６の実現例を図１０および図１１
により説明する。

【００３１】図１０の例は、ｎ種類の罫線除去方式によ
る罫線除去部２１−１〜２１−ｎと出力結果選択部２２
を有し、罫線除去部２１−１〜２１−ｎでそれぞれ罫線
除去処理を行って、その罫線除去結果と共に確信度１０
６を出力し、出力結果選択部２２に入力する。この確信
度１０６は、各方式において罫線除去処理がどの程度う
まくいったかを示す指標であり、例えば濃淡画像におけ
る罫線除去方式では分離度がこれに当る。出力結果選択
部２２では、確信度１０６の値から最も適当な罫線除去
方式を選択する。なお、これらｎ種類の罫線除去方式に
よる罫線除去処理を全て実行する必要はなく、ある順序
で各方式の罫線除去処理を逐次行い、先に処理の終わっ
た方式によりより出力された確信度１０６がある決めら
れた条件を満たした場合にはその罫線除去方式を選択
し、それ以降の方式での罫線除去処理は行わなくともよ
い。

【００３２】図１１の例は、ｎ種類の罫線除去方式によ
る罫線除去部３１−１〜３１−ｎと出力結果選択部３２
を有し、罫線除去部３１−１〜３１−ｎで例えば精度の
高いものから順に罫線除去処理を実行し、その罫線除去
結果と共に確信度１０６を出力し、出力結果選択部３２
に入力する。そして、確信度１０６がある条件を満たし
た時点で処理を終了し、その条件を満たさなかった場合
には、次の方式による罫線除去処理を実行し、同様に処
理を続けていく。全ての方式の罫線除去部３１−１〜３
１−ｎで条件を満たさなかった場合は、例えば最も精度
の高い方式による罫線除去処理結果を出力結果選択部３
２で選択する。

【００３３】なお、図６の罫線除去方式選択部１５にお
いて、予め設定された帳票フォーマットに関する情報
や、帳票に対してレイアウト解析や線図形認識等の処理
を施して得られるフォーマットに関する情報等により罫
線除去方式を選択する方法を用いてもよい。

【００３４】個々の罫線除去方式の詳細については後述
するが、例えば入力画像１０１が二値画像の場合は、後
述する二値画像における罫線除去方式[I],[II]のいずれ
かを用い、また入力画像１０１が二値画像であって罫線
が細い場合は、二値画像における罫線除去方式[I],[II]
による罫線除去処理結果に顕著な差がないため、より簡
単で高速な方の罫線除去方式[I] を選択する。また、入
力画像１０１が濃淡画像の場合には、濃淡画像における
罫線除去方式を用いる。

【００３５】以下に、これらの各罫線除去方式について
詳細に説明する。（１）二値画像における罫線除去方式[I] 図１２を用いて、罫線除去方式[I] について順を追って
説明する。この罫線除去方式[I] は、入力画像中の罫線
の存在する範囲を特定し、その特定した罫線存在範囲内
の罫線に対して垂直の方向に存在する連続した有意画素
領域のうち罫線の幅に相当する所定の幅の有意画素領域
のみを罫線と見なして除去する方式である。

【００３６】［ステップ１］：罫線位置の特定この罫線除去方式[I] では、入力画像１０１として例え
ば図１２（ａ）に示すような文字と罫線が一部で重なっ
た二値画像が入力されたとき、まず罫線位置特定部１２
において図１２（ｂ）に示すように罫線方向（図では上
下方向）の射影をとることにより、罫線の存在すると思
われる幅Ｖ（＝罫線推定幅、図の例ではＶ＝２）の帯状
の領域を罫線位置として特定する。ここで、予め罫線位
置特定部１２において罫線位置の情報が得られている場
合には、それを特定された罫線位置として用いることが
できる。そして、このように罫線位置が特定された罫線
の左右の端を両側にＷ画素分（図の例ではＷ＝１）広
げ、これを罫線の存在範囲として特定する。

【００３７】［ステップ２］：罫線除去次に、ステップ１により特定された罫線の存在範囲内を
罫線推定幅Ｖの罫線除去マスク１０７によって走査しな
がら、この罫線推定幅Ｖ内に罫線に垂直の方向に存在す
る連続した有意画素である黒画素を１ライン毎に除去し
ていく。なお、罫線除去マスク１０７の幅は罫線推定幅
Ｖ＋αとしても構わない。この処理の結果、図１２
（ｃ）に示すように、罫線が除去された文字画像が得ら
れる。

【００３８】但し、この方式では文字と罫線が重なった
領域付近に出っぱり１０８や途切れ１０９が見られるこ
とがある。途切れ１０９については、罫線を除去したラ
インがＰライン以内しか連続していない場合には除去せ
ずに元に戻すという方法で発生させなくすることが出来
る。

【００３９】（２）二値画像における罫線除去方式[II] 図１２〜図１７を用いて、罫線除去方式[II]について順
を追って説明する。先に説明した罫線除去方式[I] で
は、前述したように罫線除去後に得られる文字画像にお
いて、図１２（ｃ）に示されるように文字と罫線が重な
った領域付近に出っぱり１０８や途切れ１０９が見られ
ることがあり、これらは輪郭を用いた文字認識手法を採
用した際に悪影響を及ぼすことがある。

【００４０】これに対し、ここで説明する罫線除去方式
[II]によると、入力画像中の罫線の存在する範囲を特定
すると共に、その特定した罫線存在範囲から外側に延び
ている文字部分の輪郭線の方向に沿って入力画像中の罫
線を切断または仮想的に切断した後、罫線存在範囲内の
罫線に対して垂直の方向に存在する連続した有意画素領
域のうち罫線の幅に相当する所定の幅の有意画素領域の
みを罫線と見なして除去することにより、罫線除去結果
として出っぱり１０８や途切れ１０９のない良好な文字
画像を得ることができる。さらに詳しくは、入力画像中
の罫線の一部を含む一部分について輪郭線を求め、入力
画像中の特定した罫線存在範囲の外側に存在する有意画
素領域の輪郭から輪郭線の方向を推定する。

【００４１】［ステップ１］：切断点の決定この罫線除去方式[II]では、図１２（ａ）に示した入力
画像に対してまず輪郭線を求めた後、図１３（ａ）に示
すように罫線の存在範囲内にある輪郭線の凹部に切断点
１１０を決定する。切断点１１０とは、罫線を切断する
際の始点または終点を表す点であり、その決定法につい
ては後に詳しく説明する。この際、二値化誤差や掠れの
ために罫線に凹凸が生じている場合もあるので、罫線の
存在範囲内の白画素を全て黒画素に置き換えることによ
って、罫線推定幅を罫線の存在範囲の幅とし、罫線除去
後にそれらの置き換えられた黒画素を元の白画素に戻し
てもよい。

【００４２】［ステップ２］：罫線の切断次に、図１３（ａ）において罫線の左側と右側にある切
断点１１０について、それらの切断点１１０間の距離
や、切断点１１０の文字輪郭方向１１２を基に最適な左
右の対を求め、それらの対の間を結んだ線（以下、連結
線と呼ぶ）上の黒画素を一旦白画素に置き換えることに
よって、罫線を切断する。

【００４３】［ステップ３］：罫線除去次に、前述した罫線除去方式[I] の場合と同様に、罫線
除去マスク１０７によって罫線推定幅Ｖ内の黒画素を１
ライン毎に除去する。この際、罫線と重なっている文字
の上側輪郭に相当する輪郭線と下側輪郭に相当する連結
線とに挟まれた黒画素１１１は除去しない。その後、白
画素に置き換えた画素を部分を元の黒画素に戻すことに
よって、図１３（ｂ）に示すように文字画像を抽出する
ことができる。図１３（ｂ）と前述した罫線除去方式
[I] による罫線除去結果を示した図１２（ｃ）を比較し
て分かるように、罫線除去方式[II]の方が出っぱり１０
８や途切れ１０９が発生しにくく、なめらかな輪郭線が
得られている。

【００４４】以上が罫線除去方式[II]における罫線除去
の概略的な手順である。

【００４５】次に、図１４および図１５を用いて、この
罫線除去方式[II]方式における切断点１１０の決定法に
ついて説明する。

【００４６】まず、図１４（ａ）に示すように罫線の左
右端から両側にＳ画素目（この例ではＳ＝３）の位置で
罫線に沿って入力画像パターンを切断する。すなわち、
罫線の左右端から両側にＳ画素目の位置を罫線に沿って
接続した切断線上の画素を一旦白画素に置き換える。次
に、この切断後の入力画像パターンについて輪郭を追跡
する。ここで、図１４（ａ）のようにＳ＝３程度で切断
すると内輪郭が出にくく、一つの外輪郭のみで以下の処
理をすることができ、処理時間を短縮することが可能で
ある。但し、この方法では切断点１１０における文字輪
郭方向１１２（後述）が求まりにくくなるため、図１４
（ｂ）に示すように例えばＳ＝５で切断した場合の輪郭
から文字輪郭方向１１２を求め、Ｓ＝３の場合の切断点
１１０と対応をとって代入を行い、最終的な文字輪郭方
向１１２を求める方法を用いてもよい。

【００４７】輪郭を追跡する際に、輪郭上の各点（以
下、輪郭点と呼ぶ）のｘｙ座標、輪郭点の方向（図１５
（ａ）参照）、各輪郭点と一つ前の輪郭点の方向との差
分（以下、方向差分と呼ぶ）および近似角度を輪郭点の
情報として蓄えておく。ここでいう近似角度とは、正確
に言うと周辺とのなす角の余弦の２乗に対して２乗する
前の符号を付加したものであるが、余弦を２乗せずにそ
の大きさを用いたり、また余弦に代えて正弦等を用いて
も構わない。

【００４８】例えば、ｉ番目の輪郭点のｘｙ座標を（ｘ
_i，ｙ_i）、その前後Ｋ点目の輪郭点のｘｙ座標をそれ
ぞれ（ｘ_i-k，ｙ_i-K）、（ｘ_i+k，ｙ_i+K）とする
と、ｉ番目の輪郭点の近似角度は以下の式により求めら
れる。

【００４９】近似角度＝ｓ＊ｃｏｓ²θ ＝ｓ＊（ｍ・ｎ）²／（｜ｍ｜²＊｜ｎ｜²）（１）但し、ｍ＝（ｘ_i-k−ｘ_i，ｙ_i-K−ｙ_i）ｎ＝（ｘ_i+k−ｘ_i，ｙ_i+K−ｙ_i） θはベクトルｍとベクトルｎとのなす角ｓはｍ・ｎが正のときｓ＝１，負のときｓ＝−１次に、このようにして求められた輪郭点の情報から方向
差分が負のもの（すなわち凹部）を抽出し、その輪郭点
の前後Ｍ点の中で最も大きな近似角度を持つ輪郭点を切
断点１１０とする。この例では、図１５（ｂ）に示され
るようにＭ＝４とする。

【００５０】但し、この方法のみではなだらかな凹部に
おける切断点１１０については抽出できないこともある
ので、その場合には以下に述べる切断点１１０の性質を
利用して切断点１１０を決定する。図１５（ｃ）は、切
断点１１０が存在すべき領域の近傍における輪郭線の動
きの例を矢印で表した図であり、切断点１１０付近では
輪郭線は必ず罫線から左右方向にＷ＋１画素以上離れた
後、再び罫線の方に戻ってくることが分かる。輪郭線が
罫線からＷ画素しか離れない場合には罫線部の二値化誤
差の可能性もあるので、切断点１１０は存在しないもの
とする。なお、図１５（ｃ）ではＷ＝１としている。

【００５１】そこで、輪郭追跡の際に罫線からＷ＋１＝
２画素以上離れた時にスイッチをオンにし、再び罫線に
戻ってきた時にスイッチをオフにすると、そのオン・オ
フの間に２つの切断点１１０があると判断できる。ま
た、図１５（ｃ）の方法でも切断点１１０が求められな
かった場合には、罫線から離れた直後の画素および罫線
に戻る寸前の画素を切断点１１０とする。切断点１１０
が既に求められている場合でも、オン・オフの間に２つ
の切断点１１０があるかどうかを確認し、切断点１１０
の数を調整することが望ましい。また、切断点１１０は
図１５（ｃ）で説明したような輪郭線が罫線から離れた
後に再び罫線に戻るという性質から、罫線の両側それぞ
れ偶数個ずつ存在することが分かる。例えば、図１４
（ｂ）の例では罫線の左側に６つ（Ｌ１〜Ｌ６）、罫線
の右側に６つ（Ｒ１〜Ｒ６）の切断点１１０が求められ
ることになる。

【００５２】次に、このようにして決定された切断点１
１０における文字輪郭方向１１２を求める。文字輪郭方
向１１２とは、図１４（ｂ）に示されるように切断点１
１０から文字側に向かって延びている輪郭線の方向を意
味する。そして、切断点１１０から文字方向に向かって
輪郭線上を最大Ｎ点分たどって、切断線と接する点もし
くは輪郭点の方向差分がある値以上になる直前の点（ｘ
_j，ｙ_j）を求め、これらから得られる直線の方程式をａｘ＋ｂｙ＋ｃ＝０（２）但し、ｘ_i≦ｙ_j ａ＝ｙ_i−ｙ_j，ｂ＝ｘ_j−ｘ_i，ｃ＝ｘ_iｙ_j−ｘ_j
ｙ_i，ｔ＝−ａ／ｂとした時の係数ａ，ｂ，ｃおよび傾きｔを切断点１１０
の情報として蓄える。

【００５３】次に、図１６および図１７を用いて罫線除
去方式[II]における切断点１１０の対を求める方法につ
いて説明する。切断点１１０の対同士を結んだ線分は、
罫線と重なった文字部分の輪郭線に当たる。例えば図１
６（ａ）の左側の切断点Ｌ１は文字の上側の輪郭線上に
当たるため、これと対になり得る右側の切断点１１０は
Ｒ１，Ｒ３，Ｒ５である。このように対となり得る複数
の切断点の組み合わせから最適な対を求めるために、切
断点１１０のｘｙ座標と、切断点１１０を決定する処理
で求めた係数ａ，ｂ，ｃを用いる。最も簡単な方法は、
対となるべき切断点１１０同士の２点間の距離を求める
ことであるが、これのみでは局所的に集中した切断点１
１０の対を求める場合に、その組み合せを誤るおそれが
ある。

【００５４】そこで、切断点１１０から文字側に向かっ
て延びている輪郭線の方向も考慮した評価値を用いて、
最適な対を求めることにする。ここでは、図１６（ｂ）
に示すように切断点Ｌ１とＲ１の対を例として、評価値
ｆ（Ｌ１，Ｒ１）を求めてみる。まず、Ｌ１のｘｙ座標
を（ｘ_L1，ｙ_L1）、文字輪郭方向１１２の情報をａ_L1，
ｂ_L1，ｃ_L1とし、同様にＲ１についてもｘｙ座標を（ｘ
_R1，ｙ_R1），文字輪郭方向１１２の情報をａ_R1，ｂ_R1，
ｃ_R1とする。ここで、評価値ｆ（Ｌ１，Ｒ１）は以下の
式で求められる。

【００５５】ｆ（Ｌ１，Ｒ１）＝ｈ１²＋ｔ＊（ｈ２²＋ｈ３²）（３）但し、ｈ１²＝（ｘ_L1−ｘ_R1）²＋（ｙ_L1−ｙ_R1）² ｈ２²＝（ａ_L1＊ｘ_R1＋ｂ_L1＊ｙ_R1＋ｃ_L1）²／（ａ²
_L1＋ｂ² _L1）ｈ３²＝（ａ_R1＊ｘ_L1＋ｂ_R1＊ｙ_L1＋ｃ_R1）²／（ａ²
_R1＋ｂ² _R1）ｔは定数（３）式におけるｈ１は切断点１１０間の距離、ｈ２お
よびｈ３は一方の切断点１１０における文字輪郭方向１
１２のなす直線と他方の切断点１１０との距離を表し、
この評価値が最小となる組合せを最適な切断点１１０の
対とする。ただし、ここでいう評価値は一例であり、ｈ
１〜ｈ３を単独で用いたり、適当に組み合わせたりして
も構わない。これにより、図１６（ａ）の例では（Ｌ
１，Ｒ１）（Ｌ２，Ｒ２）（Ｌ３，Ｒ３）（Ｌ４，Ｒ
４）（Ｌ５，Ｒ５）（Ｌ６，Ｒ６）という切断点１１０
の対が求められる。

【００５６】また、図１６（ｃ）では上側の切断点１１
０が４つ（Ｕ１〜Ｕ４）、下側の切断点１１０が２つ
（Ｄ１，Ｄ２）あるが、この場合に上記の方法で求めら
れる切断点１１０の対は（Ｕ１，Ｄ１）（Ｕ４，Ｄ２）
のみで、Ｕ２やＵ３のように対が得られずに他の切断点
１１０の対に内包されてしまう切断点１１０も存在し得
る。これらの代表的な以下に例を示す。

【００５７】まず、図１７（ａ）のように同じ側にあっ
て近接している、文字の上側輪郭線上にある切断点１１
０と下側輪郭線上にある切断点１１０（前述した輪郭追
跡の際のオン・オフの間にある２つの切断点のこと。以
下、これらを上下の対応点と呼ぶ）とが共に対を得られ
ず、かつ片側に１組しかないか、２組以上あってもそれ
らがあるしきい値以上離れている場合には、この上下の
対応点（Ｌ１，Ｌ２）（Ｒ１，Ｒ２）を対とする。

【００５８】次に、図１７（ｂ）のように対が得られな
かった上下の対応点が同じ側に２組以上存在する場合、
その２組の対応点のうち近い切断点１１０同士の距離を
求め（図中のｔｈ１）、これがあるしきい値よりも小さ
く、かつ各切断点１１０の文字輪郭方向１１２を示す直
線が罫線側で交わる場合には、外側２つの切断点１１０
の文字輪郭方向１１２を罫線側に延長して、罫線の他方
の端とぶつかった点を仮の切断点１１０として対とす
る。図１７（ｂ）の例では、（Ｌ１，ｒ１）（Ｌ４，ｒ
２）が対となり、Ｌ２とＬ３はそれらの対に内包され
る。

【００５９】また、図１６（ｂ）のように対が得られな
かった上下の対応点の距離（図中ではｔｈ２）があるし
きい値より大きく、かつ各切断点１１０における文字輪
郭方向１１２を示す直線が罫線側で交わる場合には、そ
れぞれの文字輪郭方向１１２を罫線側に延長して交わっ
た点を仮の切断点１１０として対とする。図１６（ｂ）
の例では、（Ｌ１，ｒ１）（Ｌ２，ｒ１）が対となる。

【００６０】以上のようにして切断点１１０の対が求め
られたならば、罫線の除去処理を行う。この罫線除去処
理においては、上記の手順によって得られた切断点１１
０の対同士を結び、その連結線を上から順に追ってい
く。切断点１１０の対応が正しければ、その連結線は文
字の上側輪郭線、下側輪郭線、上側輪郭線、下側輪郭線
……と交互に現れるはずである。もし、切断点１１０の
対応が違う場合は、評価値を用いてその前後の連結線を
削除することで調節する。

【００６１】次に、最終的に得られた連結線上にある画
素を一旦白画素に置き換えて、罫線除去マスク１７を用
いた罫線除去方式[I] による罫線除去を行う。この際、
文字の上側輪郭線に当たる連結線とそのすぐ下に存在す
る下側輪郭線に当たる連結線に挟まれた罫線上の黒画素
１１１については除去しない。

【００６２】そして最後に、連結線上の置き換えた黒画
素を元に戻すことによって、図１３（ｂ）に示したよう
な滑らかな輪郭線を持った文字を抽出する。

【００６３】（３）濃淡画像における罫線除去方式次に、図１８〜図２３を参照して濃淡画像における罫線
除去方式について説明する。前述したように、文字と罫
線の濃度差を利用してしきい値処理により二値化するこ
とで両者を分離し、罫線の濃度を持つ画素のみを除去す
る公知文献２の方法では、文字と罫線の濃度差が大きい
濃淡画像の場合は、固定の二値化しきい値で文字と罫線
の分離ができるが、文字と罫線の濃度差が十分にない場
合には分離が難しい。

【００６４】ここで説明する罫線除去方式は、入力画像
の罫線位置を求め、罫線付近の二値化しきい値とそれ以
外の部分の二値化しきい値を変えることによって、文字
と罫線の濃度差が小さい場合でも罫線を容易に除去でき
るようにしたものである。

【００６５】図１８（ａ）は入力画像である文字と罫線
を含む濃淡画像の例であり、ここでは白画素の値を
“０”とする。この濃淡画像について、まず個々の点の
量子化誤差を是正するため平滑化を行う。平滑化は、例
えばフィルタリングにより行われる。フィルタリングに
よる平滑化では、平滑化対象となる注目画素および近傍
の画素の濃度値を重み付け積算し、その積算値（以下、
濃度値積算値という）を注目画素の濃度値とする。この
平滑化の後、水平方向の罫線の場合は水平方向に、垂直
方向の罫線の場合は垂直方向に各画素の濃度値を積算
し、それぞれ垂直方向および水平方向への軸への射影成
分を計算する。こうして計算される射影成分を積算射影
という。ここで積算する値は濃度値そのままでもよく、
また適当に定めたしきい値、例えば背景と思われる画素
の濃度値よりやや大きい濃度値を持つ画素の数でもよ
い。

【００６６】図１８（ａ）中の罫線（クロスハッチング
で示す）は水平方向の罫線なので、水平方向に各画素の
濃度値を積算して、図１８（ｂ）に示すように垂直方向
の軸への積算射影１１３を求め、この積算射影１１３に
おいて濃度値積算値が所定値以上の領域を罫線位置１１
４として求める。ここで予め罫線情報として罫線位置が
与えられている場合には、それをそのまま罫線位置１１
４として用いる。

【００６７】図１８（ｃ）は、図１８（ａ）の垂直方向
の３つの断面Ａ，Ｂ，Ｃにおける濃度値積算値の分布
（以下、濃度分布という）と、文字と罫線の分離のため
のしきい値曲線を示している。

【００６８】一方、入力画像全体の濃度値の分布から背
景部とそれ以外の部分とを分離するための二値化しきい
値ｔｈＡを求めておく。この二値化しきい値ｔｈＡの求
め方としては、公知文献２に記載された方法を用いても
よいが、濃度分布において背景部とそれ以外の部分との
差がある一定値を越えているような場合には、背景部の
濃度値よりやや大きい濃度値を二値化しきい値ｔｈＡと
してもよい。

【００６９】図１９（ａ）に、図１８（ａ）に示した濃
淡画像全体における濃度による画素数分布を示す。図１
９（ａ）において横紬は濃度値、縦軸は各濃度値毎の画
素数である。また、ここで求められた二値化しきい値ｔ
ｈＡによる二値化しきい値曲線をＤとする。

【００７０】次に、図１８（ｂ）の罫線位置１１４の両
端をΗ画素分だけ広げて罫線存在範囲とし、この罫線存
在範囲内で今度は逆方向に画素の濃度値を積算して、図
２０に示す濃度値積算射影を求める。図２０において横
軸は図１８（ａ）における水平方向の位置、縦軸は濃度
値積算値である。罫線が図１８（ａ）中に示されるよう
な水平方向の罫線の場合は、垂直方向に濃度値を積算す
る。文字と罫線の濃度差が大きい場合には、文字が罫線
と接触している部分は接触していない部分に対して濃度
値積算値が大きいために、図２０に示すようにあるしき
い値以上の差が現われるので、接触していない部分の濃
度値（すなわち罫線の濃度値）を基に二値化しきい値ｔ
ｈＢを決定する。図１９（ｂ）に、上述した罫線存在範
囲内における濃度による画素数分布を示す。図１９
（ａ）と同様に横紬は濃度値、縦軸は各濃度値毎の画素
数である。

【００７１】二値化しきい値ｔｈΒが決定した場合、罫
線位置１１４では決定された二値化しきい値ｔｈΒを用
い、それ以外の部分では二値化しきい値ｔｈＡ（ｔｈＡ
＜ｔｈＢ）を用いた凸型の二値化しきい値曲線Εを求め
る。この凸型の二値化しきい値曲線Ｅを図１８（ｃ）中
の断面Βの濃度分布１１６と対応させて示す。一方、前
述の濃度積算値に大きな差が現れなかった場合には、以
下の処理を行う。

【００７２】図１８（ｃ）中の断面Ａの濃度分布１１５
および断面Ｃの濃度分布１１７を見てみると、罫線内お
よび文字内の画素全てが同じ濃度値であるわけではな
く、例えば罫線部分については罫線中央部をピークとし
て、端に向かって濃度値が小さくなることが多い。そこ
で、罫線中央部の画素の濃度値を用いて、例えば公知文
献２の方法に従って二値化しきい値ｔｈＣを求める。図
２１に、罫線中央部の画素のみを用いた濃度による画素
数分布を示す。罫線中央部の画素の濃度値のみを積算す
るために、図１９（ｂ）の濃度による画素数分布に比べ
て積算される画素数が少ないので、文字と罫線の境目が
より鮮明となることが分かる。

【００７３】公知文献２の方法を用いた際、同時に求め
られる分離度（求められたしきい値の確からしさを示す
指標）がある設定値より小さい場合は、その二値化しき
い値を無効として二値化しきい値曲線Ｄで二値化を行
い、他の罫線除去方式で罫線除去を行うこととする。

【００７４】断面Ａの濃度分布１１５および断面Ｃの濃
度分布１１７に、罫線位置１１４で二値化しきい値ｔｈ
Ｃを用い、それ以外の部分で二値化しきい値ｔｈＡ（ｔ
ｈＡ＜ｔｈＣ）を用いた凸型の二値化しきい値曲線Ｆを
示す。この二値化しきい値曲線Ｆを用いて二値化を行っ
てもよいが、前述したように罫線中の濃度分布は中央部
をピークとして、端に向かって値が小さくなっているこ
とが多く、場合によっては罫線の両端付近に存在する文
字部が求められた二値化しきい値ｔｈＣより小さくなっ
て、罫線の輪郭線付近の文字の一部が消えてしまうこと
もあり得る。

【００７５】図２２に、断面Ｃの濃度分布１１７の罫線
付近を拡大して示す。同図のように文字と罫線が分布し
ているとすると、斜線部分１１８に相当する文字部分の
濃度値が凸型の二値化しきい値曲線Ｆより小さい値とな
り、斜線部分１１８の文字が消滅してしまうことが分か
る。

【００７６】そこで、この濃度分布の形状を考慮して、
罫線の輪郭線付近の二値化しきい値曲線に傾斜を付ける
ことにより、文字部分の濃度がしきい値曲線より小さく
なることを防止して、このような文字の一部が消えてし
まう現象を抑制する。この方法により求められた二値化
しきい値曲線Ｇを図１８（ｃ）の断面Ｃの濃度分布に併
せて示す。

【００７７】このように傾斜を付けたしきい値曲線Ｇの
求め方を図２３を用いて説明する。すなわち、例えば図
２３（ａ）に示すように罫線推定幅＋２Ｈが「９」で、
罫線のみの部分の画素の濃度値が「１０」，「４０」，
「７０」，「９０」，「１００」，「９０」，「７
０」，「４０」，「１０」で、さらに図１８（ｃ）中に
示す二値化しきい値ｔｈＣがｔｈＣ＝１１０の場合、図
２３（ｂ）に示すように二値化しきい値曲線Ｇの凸部の
濃度値を断面Ｃの濃度分布に比例させて「１１」，「４
４」，「７７」，「９９」，「１１０」，「９９」，
「７７」，「４４」，「１１」とすることにより、二値
化しきい値曲線Ｇの凸部の裾野部分、すなわち罫線の端
部付近で傾斜を付ける。

【００７８】なお、この手法は例えば図１８（ｃ）の断
面Ｂの凸型の二値化しきい値曲線Εにも適用することが
でき、それにより傾斜を付けた二値化しきい値曲線Ε′
を図１８（ｃ）の濃度分布１１６中に示す。

【００７９】

【発明の効果】以上説明したように本発明によれば、非
ドロップアウトカラーの文字と罫線が重なっている場合
でも、高精度に罫線を除去し、文字のみを正しく抽出す
ることができる。

【００８０】すなわち、第１の罫線除去方法によれば、
入力画像について罫線の存在範囲を特定した後、罫線の
幅に相当する有意画素領域のみを除去することにより、
文字を貫通する形で罫線が多数の点で重なっているよう
な領域でも、罫線のみを確実に除去することができる。

【００８１】第２の罫線除去方法によれば、文字部分の
輪郭線の方向に沿って入力画像中の罫線を切断または仮
想的に切断した後、第１の罫線除去方法と同様の処理を
行うことにより、罫線除去後の文字部分において罫線と
重なった領域付近に出っぱり途切れが生じることがな
く、以降の文字認識処理をより容易に行うことが可能と
なる。

【００８２】第３の罫線除去方法によれば、文字と罫線
を分離するためのしきい値の分布を罫線の部分で凸型と
することにより、文字と罫線の濃度差が比較的小さい場
合でも、しきい値処理により罫線を確実に文字と分離し
て除去でき、さらにしきい値の分布を罫線の端部付近で
傾斜した形状とすれば、その傾斜を罫線と垂直方向の入
力画像の濃度分布に合わせて決定することにより、罫線
の端部の輪郭線付近で文字部分を消滅させることなく、
罫線を除去することができる。

【図面の簡単な説明】

【図１】文字と罫線が重なっている画像の例を示す図

【図２】第１の従来技術を説明するための図１の画像に
罫線除去処理を行った画像の例を示す図

【図３】第２の従来技術を説明するための記入枠の一辺
と文字が多数接触している画像およびその画像に罫線除
去処理を行った画像の例を示す図

【図４】記入枠の多数の辺と文字が接触している画像の
例を示す図

【図５】従来の方式による切断候補画像を示す図

【図６】本発明の一実施形態に係る光学的文字読み取り
装置の構成を示すブロック図

【図７】同実施形態における一連の処理手順を示すフロ
ーチャート

【図８】同実施形態の動作を説明するための入力画像お
よび部分画像の例を示す図

【図９】同実施形態の動作を説明するための接触罫線除
去画像と抽出文字および認識結果の例を示す図

【図１０】図６における罫線除去方式選択部および罫線
除去部の機能的構成を示すブロック図

【図１１】図６における罫線除去方式選択部および罫線
除去部の他の機能的構成を示すブロック図

【図１２】文字と罫線が重なっている画像とこれに対す
る射影による罫線位置の推定・罫線除去マスクの走査お
よび第１の罫線除去方法による罫線除去結果の一例を示
す図

【図１３】文字と罫線が重なっている画像に対する切断
点・除去しない黒画素・罫線除去マスクによる走査およ
び第２の罫線除去方法による罫線除去結果を示す図

【図１４】第２の罫線除去方法を説明するための文字と
罫線が重なっている画像に対する輪郭追跡および切断点
の文字輪郭方向を示す図

【図１５】第２の罫線除去方法を説明するための輪郭点
の方向と角度および切断点付近の輪郭線の動きを示す図

【図１６】第２の罫線除去方法を説明するための切断点
の対の一例と切断点同士の距離および切断点の対の他の
例を示す図

【図１７】第２の罫線除去方法を説明するための対の得
られなかった切断点の対応を示す図

【図１８】第３の罫線除去方法を説明するための文字と
罫線を含む濃淡画像と垂直方向への画素の濃度値の積算
射影および各断面位置での画素の濃度分布としきい値曲
線を示す図

【図１９】第３の罫線除去方法を説明するための濃度に
よる画素数の分布を示す図

【図２０】第３の罫線除去方法を説明するための濃度値
積算値の分布を示す図

【図２１】第３の罫線除去方法を説明するための濃度に
よる画素数の分布を示す図

【図２２】第３の罫線除去方法を説明するための特定位
置での画素の濃度分布を拡大して示す図

【図２３】第３の罫線除去方法を説明するための二値化
しきい値曲線に付ける傾斜の求め方を説明するための図

【符号の説明】

１１…画像入力部１２…罫線位置特定部１３…部分画像特定部１４…罫線種類判別部１５…罫線除去方式選択部１６…罫線除去部１７…文字抽出部１８…文字認識部１９…結果出力部１０１…入力画像１０２…部分画像１０３…接触罫線除去画像１０４…抽出文字１０５…認識結果１０６…確信度１０７…罫線除去マスク１０８…出っぱり１０９…途切れ１１０…切断点１１１…除去しない黒画素１１２…文字輪郭方向１１３…積算射影１１４…罫線位置１１５…濃度値積算射影１１６…断面Ａにおける濃度分布１１７…断面Ｂにおける濃度分布１１８…断面Ｃにおける濃度分布

Claims

【特許請求の範囲】

【請求項１】文字と罫線を含む入力画像から罫線を除去
する方法において、前記入力画像中の罫線の存在する範囲を特定し、その特
定した罫線存在範囲内の罫線に対して垂直の方向に存在
する連続した有意画素領域のうち罫線の幅に相当する所
定の幅の有意画素領域のみを罫線と見なして除去するこ
とを特徴とする罫線除去方法。
【請求項２】文字と罫線を含む入力画像から罫線を除去
する方法において、前記入力画像中の罫線の存在する範囲を特定すると共
に、その特定した罫線存在範囲から外側に延びている文
字部分の輪郭線の方向に沿って前記入力画像中の罫線を
切断または仮想的に切断した後、前記罫線存在範囲内の
罫線に対して垂直の方向に存在する連続した有意画素領
域のうち罫線の幅に相当する所定の幅の有意画素領域の
みを罫線と見なして除去することを特徴とする罫線除去
方法。
【請求項３】文字と罫線を含む入力画像上に罫線と交差
する方向にしきい値を分布させ、このしきい値を用いて
前記入力画像をしきい値処理することにより前記入力画
像から罫線を除去する方法において、前記しきい値を罫線の部分で凸型をなす形状に分布させ
たことを特徴とする罫線除去方法。
【請求項４】文字と罫線を含む入力画像上に罫線と交差
する方向にしきい値を分布させ、このしきい値を用いて
前記入力画像をしきい値処理することにより前記入力画
像から罫線を除去する方法において、前記しきい値を罫線の部分で凸型をなし、かつ罫線の端
部付近で傾斜した形状に分布させたことを特徴とする罫
線除去方法。
【請求項５】文字と罫線を含む入力画像から罫線を除去
する方法において、請求項１に記載の第１の罫線除去方法、請求項２に記載
の第２の罫線除去方法、請求項３または４に記載の第３
の罫線除去方法の少なくとも一つを用いて罫線を除去す
ることを特徴とする罫線除去方法。
【請求項６】二値画像のための罫線除去方法および濃淡
画像のための罫線除去方法を少なくとも備え、これらの
罫線除去方法の一つにより罫線を除去することを特徴と
する罫線除去方法。