JP4867400B2

JP4867400B2 - 画像処理装置及びプログラム

Info

Publication number: JP4867400B2
Application number: JP2006059345A
Authority: JP
Inventors: 勝彦糸乘
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2006-03-06
Filing date: 2006-03-06
Publication date: 2012-02-01
Anticipated expiration: 2026-03-06
Also published as: JP2007241397A

Description

本発明は、画像処理の分野において、表内の罫線を除去し、除去の際に生じた文字の分割を復元するための技術に関する。

帳票文書は、予め表が印刷された帳票フォーマットに対し、文字や数字或いは記号など（以下、単に文字という）で表された各種情報を後から印字して作成される場合が多い。このように後から上書きする形で文字を印字した場合、予め印刷されている表と文字との間で位置ずれが発生し、例えば表を構成する罫線の一部と文字の一部とが交差してしまうことがある。このような交差があると、例えばコンピュータによる画像処理で表の罫線を除去した場合、その罫線の除去によって文字の一部も失われてしまう。よって、印字されていた文字で表されていた情報を認識しようとしても、文字そのものを判別できず、情報を正確に読み取ることができない。

このような問題を改善する技術として特許文献１〜４に記載された技術がある。特許文献1には、２値画像から抽出された罫線を除去し、文字が罫線枠から部分的に突き抜けている場合にはその部分の黒画素を補間して復元することが開示されている。また、特許文献２には、２値画像上のランレングスデータをフィルタリングし、フィルタリング後のランレングスデータの連結成分データを生成し、連結成分の外形特徴から罫線と罫線以外の連結成分を区別し、罫線の連結成分の外接矩形領域から罫線の端点を検出し、罫線どうしの連続関係から罫線のかすれを判定し、かすれであると判定すれば該罫線どうしを接続することにより罫線を抽出することが開示されている。また、特許文献３には、罫線を除去した画像から文字部分の垂直分離成分を統合し、罫線除去処理によって除去してしまった文字部分の抽出を行い、抽出した文字部分を残存ノイズ除去後の画像に対し補完することで、除去された文字部分を復元することが開示されている。そして、特許文献４には、文字を構成する線の幅を算出しておき、文字枠と共に文字の一部が除去されているか否かを判定し、除去されている場合に、その除去された箇所を算出された幅の線で補完することが開示されている。
特開平１０−３３４１８４号公報特開平１１−２３２３８２号公報特開２０００−３２２５１０号公報特開２００２−２３０４８１号公報

しかしながら、特許文献１に記載の方式では、復元すべき部分に単純に罫線と同じ幅の矩形を挿入するのみであり、修正後の文字形状が著しく損なわれる可能性がある。また、特許文献２に記載の方式では、罫線と接続するランレングスデータ、もしくは数ドット上下のランレングスデータという局所的な情報で対応する画素を決定しているため、対応付けの論理を状況によって細かく使い分けなければならない。また、特許文献３に記載の方式では、高さmのマスクを使用して、マスクの両端に画素がある場合には文字の欠損が生じていると判断して復元を行うが、例えば文字と罫線が斜めに交差しているなどのように欠損が非常に大きい場合には、文字を復元することは難しい。そして、特許文献４に記載の方式では、検出した文字線幅で復元するため、罫線と文字とが斜めに交差するなどの文字線幅以上の欠損が生じている場合には文字を復元することは難しい。

このように、特許文献１〜４に開示された技術では、文字と罫線とが交差している状況によっては、欠損部分を復元できないとか或いは復元するためには処理を複雑化する必要がある、などの問題があった。
本発明は上記のような問題点に鑑みて為されたものであり、表の罫線を除去する処理に伴って文字の一部に欠損部分が生じた場合に、従来よりも簡易な処理でその文字の欠損部分を本来の文字に近い形状で復元することを目的のひとつとする。

上記従来例の問題点を解決するため、本発明は、罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力手段と、前記画像入力手段によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定手段と、前記文字列を表す文字画像を構成する画素群から、前記罫線特定手段によって特定された罫線画像に接する画素列を抽出する画素列抽出手段と、前記罫線特定手段により特定された罫線画像を、前記画像入力手段によって入力された画像から除去する罫線除去手段と、前記画素列抽出手段によって抽出された画素列のうち、前記罫線画像を挟んで所定の位置関係にある画素列どうしを所定幅の線分画像で接続する画素列接続手段とを有することを特徴とする画像処理装置であって、前記画素列接続手段は、前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング手段と、各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数手段と、前記画素列の長さを算出する算出手段とを備え、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値未満であれば、その接続すべき画素列の略中心点どうしを接続し、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値を超えている場合には、短い方の画素列の略中心点と、長い方の画素列の端点から所定の距離だけ離れた点又は当該画素列の略中心点とを接続することを特徴とする画像処理装置を提供する。
また、本発明は、罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力手段と、前記画像入力手段によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定手段と、前記罫線特定手段により特定された罫線画像を、前記画像入力手段によって入力された画像から除去する罫線除去手段と、前記罫線除去手段によって罫線画像が除去された画像において、前記文字列を表す文字画像の外接矩形を検出する外接矩形検出手段と、前記外接矩形検出手段によって検出された複数の外接矩形のうち、前記罫線画像を挟んで所定の位置関係にある外接矩形を統合する外接矩形統合手段と、前記外接矩形統合手段によって統合された外接矩形の各々に内接する文字画像を構成する画素群のうち、前記罫線画像に接する画素列を抽出する画素列抽出手段と、前記罫線画像を挟んで所定の位置関係にある外接矩形の各々に内接する文字画像どうしの間で、前記抽出手段によって抽出された画素列を線分画像で接続する画素列接続手段とを有することを特徴とする画像処理装置であって、前記画素列接続手段は、前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング手段と、各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数手段と、前記画素列の長さを算出する算出手段とを備え、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値未満であれば、その接続すべき画素列の略中心点どうしを接続し、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値を超えている場合には、短い方の画素列の略中心点と、長い方の画素列の端点から所定の距離だけ離れた点又は当該画素列の略中心点とを接続することを特徴とする画像処理装置を提供する。

また、本発明は、罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力手段と、前記画像入力手段によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定手段と、前記文字列を表す文字画像を構成する画素群から、前記罫線特定手段によって特定された罫線画像に接する画素列を抽出する画素列抽出手段と、前記罫線特定手段により特定された罫線画像を、前記画像入力手段によって入力された画像から除去する罫線除去手段と、前記画素列抽出手段によって抽出された画素列のうち、前記罫線画像を挟んで所定の位置関係にある画素列どうしを所定幅の線分画像で接続する画素列接続手段とを有することを特徴とする画像処理装置であって、前記画素列接続手段は、前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング手段と、各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数手段とを備え、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが異なっている場合には、画素列の数が多いほうの側にある各画素列の略中心点と、画素列の数が少ないほうの側にある画素列の端点から所定の距離だけ離れた点又は当該画素列の中心点とを接続することを特徴とする画像処理装置を提供する。
また、本発明は、罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力手段と、前記画像入力手段によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定手段と、前記罫線特定手段により特定された罫線画像を、前記画像入力手段によって入力された画像から除去する罫線除去手段と、前記罫線除去手段によって罫線画像が除去された画像において、前記文字列を表す文字画像の外接矩形を検出する外接矩形検出手段と、前記外接矩形検出手段によって検出された複数の外接矩形のうち、前記罫線画像を挟んで所定の位置関係にある外接矩形を統合する外接矩形統合手段と、前記外接矩形統合手段によって統合された外接矩形の各々に内接する文字画像を構成する画素群のうち、前記罫線画像に接する画素列を抽出する画素列抽出手段と、前記罫線画像を挟んで所定の位置関係にある外接矩形の各々に内接する文字画像どうしの間で、前記抽出手段によって抽出された画素列を線分画像で接続する画素列接続手段とを有することを特徴とする画像処理装置であって、前記画素列接続手段は、前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング手段と、各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数手段とを備え、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが異なっている場合には、画素列の数が多いほうの側にある各画素列の略中心点と、画素列の数が少ないほうの側にある画素列の端点から所定の距離だけ離れた点又は当該画素列の中心点とを接続することを特徴とする画像処理装置を提供する。

さらに、本発明の一態様に係るプログラムは、コンピュータに、罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力機能と、前記画像入力機能によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定機能と、前記文字列を表す文字画像を構成する画素群から、前記罫線特定機能によって特定された罫線画像に接する画素列を抽出する画素列抽出機能と、前記罫線特定機能により特定された罫線画像を、前記画像入力機能によって入力された画像から除去する罫線除去機能と、前記画素列抽出機能によって抽出された画素列のうち、前記罫線画像を挟んで所定の位置関係にある画素列どうしを所定幅の線分画像で接続する画素列接続機能とを実現させるプログラムであって、前記画素列接続機能は、前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング機能と、各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数機能と、前記画素列の長さを算出する算出機能とを備え、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値未満であれば、その接続すべき画素列の略中心点どうしを接続し、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値を超えている場合には、短い方の画素列の略中心点と、長い方の画素列の端点から所定の距離だけ離れた点又は当該画素列の略中心点とを接続することを特徴とする。
また、本発明の別の態様に係るプログラムは、コンピュータに、罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力機能と、前記画像入力機能によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定機能と、前記罫線特定機能により特定された罫線画像を、前記画像入力機能によって入力された画像から除去する罫線除去機能と、前記罫線除去機能によって罫線画像が除去された画像において、前記文字列を表す文字画像の外接矩形を検出する外接矩形検出機能と、前記外接矩形検出機能によって検出された複数の外接矩形のうち、前記罫線画像を挟んで所定の位置関係にある外接矩形を統合する外接矩形統合機能と、前記外接矩形統合機能によって統合された外接矩形の各々に内接する文字画像を構成する画素群のうち、前記罫線画像に接する画素列を抽出する画素列抽出機能と、前記罫線画像を挟んで所定の位置関係にある外接矩形の各々に内接する文字画像どうしの間で、前記抽出機能によって抽出された画素列を線分画像で接続する画素列接続機能とを実現させるプログラムであって、前記画素列接続機能は、前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング機能と、各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数機能と、前記画素列の長さを算出する算出機能とを備え、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値未満であれば、その接続すべき画素列の略中心点どうしを接続し、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値を超えている場合には、短い方の画素列の略中心点と、長い方の画素列の端点から所定の距離だけ離れた点又は当該画素列の略中心点とを接続することを特徴とする。

また、本発明の別の態様に係るプログラムは、コンピュータに、罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力機能と、前記画像入力機能によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定機能と、前記文字列を表す文字画像を構成する画素群から、前記罫線特定機能によって特定された罫線画像に接する画素列を抽出する画素列抽出機能と、前記罫線特定機能により特定された罫線画像を、前記画像入力機能によって入力された画像から除去する罫線除去機能と、前記画素列抽出機能によって抽出された画素列のうち、前記罫線画像を挟んで所定の位置関係にある画素列どうしを所定幅の線分画像で接続する画素列接続機能とを実現させるプログラムであって、前記画素列接続機能は、前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング機能と、各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数機能とを備え、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが異なっている場合には、画素列の数が多いほうの側にある各画素列の略中心点と、画素列の数が少ないほうの側にある画素列の端点から所定の距離だけ離れた点又は当該画素列の中心点とを接続することを特徴とする。
また、本発明の別の態様に係るプログラムは、コンピュータに、罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力機能と、前記画像入力機能によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定機能と、前記罫線特定機能により特定された罫線画像を、前記画像入力機能によって入力された画像から除去する罫線除去機能と、前記罫線除去機能によって罫線画像が除去された画像において、前記文字列を表す文字画像の外接矩形を検出する外接矩形検出機能と、前記外接矩形検出機能によって検出された複数の外接矩形のうち、前記罫線画像を挟んで所定の位置関係にある外接矩形を統合する外接矩形統合機能と、前記外接矩形統合機能によって統合された外接矩形の各々に内接する文字画像を構成する画素群のうち、前記罫線画像に接する画素列を抽出する画素列抽出機能と、前記罫線画像を挟んで所定の位置関係にある外接矩形の各々に内接する文字画像どうしの間で、前記抽出機能によって抽出された画素列を線分画像で接続する画素列接続機能とを実現させるプログラムであって、前記画素列接続機能は、前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング機能と、各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数機能とを備え、前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが異なっている場合には、画素列の数が多いほうの側にある各画素列の略中心点と、画素列の数が少ないほうの側にある画素列の端点から所定の距離だけ離れた点又は当該画素列の中心点とを接続することを特徴とする。

本発明によると、表の罫線を除去する処理に伴って文字の一部に欠損部分が生じた場合に、従来よりも簡易な処理で、その文字の欠損部分を本来の文字に近い形状で復元することが可能となる。

図１は、本発明の一実施形態に係る画像処理装置１のハードウェア構成を示すブロック図である。この画像処理装置１は、典型的には、汎用のコンピュータシステムによって実現される。即ち、画像処理装置１は、図１に示すように、ＣＰＵ（中央演算装置）４０とメモリ４２と各種Ｉ／Ｏ（入出力）インタフェース４４とがバス４６を介して接続された回路構成を有する。ハードディスク（記憶媒体）に対するデータの読み書きを行うハードディスクドライブ４８や、ＣＤやＤＶＤ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体に対するデータの読み書きを行うディスクドライブ５０や、キーボードのような操作部５２や、液晶ディスプレイのような表示部５４がＩ／Ｏインタフェース４４を介してバス４６に接続されている。これらのドライブ４８，５０に装着された記憶媒体には、後述するような処理手順が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して又はネットワーク経由で記憶される。そして、ＣＰＵ４０によって、これらの記憶媒体に記憶されたプログラムがメモリ４２に読み出されて実行されることにより、図２に示す各種機能が実現されることになる。

図２は、画像処理装置１の機能構成を示すブロック図であり、１０１は画像入力部、１０２は罫線特定部、１０３は接触画素群検出部、１０４は罫線除去部、１０５は外接矩形検出部、１０６は外接矩形統合部、１０７は画素列抽出部、１０８は画素列接続部を示している。画像入力部１０１は、Ｉ／Ｏインタフェース４４経由で接続されたスキャナ装置（図示略）などから、原稿上の画像を画像データ（以下、単に原稿画像と略す）を取得し、画像処理装置１に入力する。このスキャナ装置は、例えば原稿載置台、光源、ラインセンサ及びＡ／Ｄ（アナログ／デジタル）変換器などからなり、ラインセンサの受光素子の並び方向（主走査方向）と直交する方向（副走査方向）にそのラインセンサを移動させることによって原稿上の画像を読み取り、これを画像データとして出力する。なお、スキャナ装置の読み取り方式は任意であり、原稿を移動させて読み取る方式などでも良い。

この原稿画像に罫線から成る表とその表に関連する内容を表す文字列とが含まれている場合、罫線特定部１０２は、その原稿画像において罫線を表す罫線画像を特定する。接触画素群検出部１０３は、原稿画像において罫線画像とその罫線画像に接している文字画像とを検出する。罫線除去部１０４は、原稿画像から罫線画像を除去する。外接矩形検出部１０５は、罫線画像除去前にその罫線画像と接していた文字画像（文字画像の切片）に外接する矩形を外接矩形として検出する。外接矩形統合部１０６は、外接矩形検出部１０５によって検出された複数の外接矩形のうち、罫線画像を挟んで所定の位置関係にある外接矩形どうしを統合する。画素列抽出部１０７は、統合された外接矩形の各々に内接する文字画像を表す画素群のうち、罫線画像に接する画素列を抽出する。画素列接続部１０８は、罫線画像を挟んで所定の位置関係にある外接矩形の各々に内接する文字どうしの間で、画素列抽出部１０７によって抽出された画素列どうしを線分画像で接続する。

以上のように構成された画像処理装置１の処理について、図３のフローチャートを参照しながら説明する。
まず、画像入力部１０１は、スキャナ装置などから原稿画像を取得して画像処理装置１に入力する（ステップ２０１）。本実施形態における処理対象は、罫線から成る表とその表に関連した情報（内容）を表す文字列である。そのため、画像入力部１０１は、入力された原稿画像に、表及びその表に関連した（内容）を表す文字列以外の画像が含まれているか否かを判断し（ステップ２０２）、含まれている場合には（ステップ２０２；ＹＥＳ）、その原稿画像において処理対象となる画像と処理対象でない画像とを分離して、処理対象の画像のみを抽出する（ステップ２０３）。このような画像の分離方法については、画像の属性を基に自動的に分離する表領域分離技術（例えば、特開平２−２１０５８６号公報参照）などがあり、公知の技術のため詳細な説明を省略する。また、例えば表示部５４に表示された原稿画像上で操作者が操作部５２により指定することにより、処理対象となる画像の抽出を行なうようにしてもよい。以下の処理は、このようにして抽出された、処理対象となる画像に対して実行される。

次に、罫線特定部１０２は、原稿画像に含まれる罫線画像を特定する（ステップ２０４）。罫線画像を特定する方法としては、例えば原稿画像において所定長以上のランレングスデータを検出してそれを罫線画像とする方法や、原稿画像の水平／垂直方向の射影を取り、そのピーク値を取る領域を罫線画像とする方法などがある。罫線特定部１０２は、このような方法を用いて、原稿画像から罫線画像を抽出し、抽出した罫線画像の原稿画像中の位置（始点座標及び終点座標）を含む罫線特定情報を生成する。

次に、接触画素群検出部１０３は、上記罫線特定情報によって表される位置にある罫線画像と、その罫線画像に接している文字画像とを検出する（ステップ２０５）。まず、接触画素群検出部１０３はラベリング処理を行う。つまり、接触画素群検出部１０３は、原稿画像を構成する各画素に対して或る画素が他の画素に接しているか否かを１つ１つ確認しながら、相互に連結する画素からなる連結画素群を特定し、その画素郡単位で異なるラベルを付与する。罫線画像は、表を表しているので、相当大きな領域を占める連結画素群になるはずである。また、その罫線画像に接している文字画像もその連結画素群の一部を成す。よって、罫線画像及びその罫線画像に接している文字画像が相当に大きな領域を占める連結画素群として抽出される。よって、接触画素群検出部１０３は、ラベリングされた各々の連結画素群のうち、一定領域以上の面積（画素数）を有する連結画素群を、罫線画像とその罫線画像に接している文字画像として抽出する。ここでいう「一定領域」とは、原稿画像中に含まれる各文字が占める領域よりも十分に大きい領域であればよい。

ここで、図４（a）は、原稿画像の一部を例示する図である。図に示すように、「いろは」という文字画像は罫線画像に接していないのに対し、「３５６７０」という文字画像は罫線画像に接している。このような原稿画像に対して、ステップ２０５の処理を施すと、「３５６７０」という文字画像と罫線画像とが１つの連結画素群として認識される。そして、その連結画素群が占める領域は十分に大きいため、図４（ｂ）に示すように、罫線画像とその罫線画像に接している文字画像として抽出されることになる。

次に、罫線除去部１０４は、ステップ２０５で抽出された連結画素群から、ステップ２０４で生成された罫線特定情報によって表される罫線画像を除去する（ステップ２０６）。これにより、図４（ｂ）に示す画像から、図４（ｃ）に示すように、罫線画像に接している文字画像（本来の文字を表す文字画像の切片）のみを取り出すことができる。次に、外接矩形検出部１０５は、ステップ２０６で取り出された文字画像に外接する外接矩形を検出する（ステップ２０７）。これにより、図４（ｃ）に示した文字画像から、図５に示すように複数の外接矩形４０１ａ〜４０１ｆが検出される（なお、図５は、図４中の文字画像「３」、「５」、「６」についてのみ例示している）。また、別の例で説明すると、図６に示すように、「カ」という文字画像が罫線画像で図中上下に分断されている場合には、複数の外接矩形６０１ａ〜６０１ｃが検出されることになる。

次に、外接矩形統合部１０６は、外接矩形検出部１０５によって検出された複数の外接矩形のうち、罫線画像を挟んで所定の位置関係にある外接矩形どうしを統合する（ステップ２０８）。図５，６に示したように、罫線画像が除去されたことで、本来は１つの文字を表していたはずであった文字画像が幾つかの切片に分離している。この外接矩形統合部１０６は、分離してしまった文字画像を本来の文字を表す１つの画像に統合するための役割を果たすものである。

具体的な統合処理は以下の通りである。
外接矩形統合部１０６は、ステップ２０７で検出した外接矩形が罫線画像を挟んだ位置関係にあり、且つ、それぞれの外接矩形において罫線と直交する方向から見た場合に互いに重なる領域が存在するような位置関係にあるか否かを判断する。外接矩形統合部１０６は、このような所定の位置関係にある外接矩形を見つけ出すと、その外接矩形どうしを統合する（ステップ２０８）。例えば、図５に示す例では、外接矩形４０１ａと外接矩形４０１ｂとが上記の位置関係を満たしているから、これらが統合されて図７に示す外接矩形５０１ａとなる。同様に、図５の外接矩形４０１ｃと外接矩形４０１ｄとが統合されて図７に示す外接矩形５０１ｃとなり、図５の外接矩形４０１ｅと外接矩形４０１ｆとが統合されて図７に示す外接矩形５０１ｅとなる。また、図６に示す例では、外接矩形６０１ａと外接矩形６０１ｂとが上記の位置関係を満たしており、外接矩形６０１ａと外接矩形６０１ｃとが上記の位置関係を満たしている。このような場合、外接矩形６０１ａを介在して、外接矩形６０１ａ，６０１ｂ、６０１ｃが上記の位置関係を満たすことになるから、これらの全てが統合されて、図８に示すような外接矩形７００となる。

次に、画素列抽出部１０７は、ステップ２０８において統合された外接矩形の各々に内接する文字画像を表す画素群のうち、接続すべき画素列を抽出する（ステップ２０９）。具体的には、画素列抽出部１０７は、罫線特定部１０２で特定した罫線特定情報を用いて、ステップ２０８において統合された外接矩形の各々に内接する文字画像から、罫線画像に接する１列分の画素列を抽出する。罫線特定情報によって罫線画像の位置を特定することができるので、その罫線画像のエッジ部分の隣りに位置する画素列を見つけ出し、これを抽出することは容易である。これにより、例えば図８に示した例の場合であれば、図９に示すように画素列７０１〜７０４が抽出されることになる。

画素列接続部１０８は、画素列抽出部１０７が抽出した画素列のうち、罫線画像を挟んで所定の位置関係にある画素列どうしを接続する（ステップ２１０）。図１０のフローチャートを用いて具体的に説明する。
まず、画素列接続部１０８は、罫線画像を挟んだ位置関係にあり、且つ、罫線画像が延びる方向に直交する方向から見た場合に互いに重なる領域が存在するような位置関係にある画素列どうしを、接続対象画素列としてグルーピングする（ステップ８０１）。図９の例では、画素列７０１と画素列７０３とが１つにグルーピングされ、画素列７０２と画素列７０４とが１つにグルーピングされる。次に、画素列接続部１０８は、グループ内に含まれる画素列の数を計数し、罫線画像から見て一方の側に存在する画素列の数と他方の側に存在する画素列の数とを比較する（ステップ８０２）。図９の例では、罫線画像から見て一方の側に存在する画素列は２個であり（画素列７０１，７０２）、罫線画像から見て他方の側に存在する画素列は２個であるから（画素列７０３，７０４）、画素列の数は罫線を挟んで同数である（ステップ８０２：同じ数）。

次に、画素列接続部１０８は、接続対象画素列の長さ（列方向に連なる画素数）を比較する（ステップ８０３）。図９の例では、画素列７０１と画素列７０３、また、画素列７０２と画素列７０４はいずれもほぼ同じ長さ（列方向に連なる画素数の差が閾値未満）である。このような場合には（ステップ８０３；ほぼ同じ長さ）、画素列接続部１０８は、各々の画素列の中心点どうしを結ぶ線上に画素を挿入することで両者を所定幅の線分画像で接続する（ステップ８０４）。これにより、図１１に示すように、画素列７０１の中心点９０１と画素列７０３の中心点９０３とが線分画像９０５ａで接続され、画素列７０２の中心点９０２と画素列７０４の中心点９０４とが線分画像９０５ｂで接続される。そして、画素列接続部１０８は、更に未接続の接続対象画素列がある場合には（ステップ８１１；ＹＥＳ）、前述したステップ８０３の処理に戻り、上記の処理を繰り返す。

一方、画素列の長さが異なる（列方向に連なる画素数の差が閾値以上）場合には（ステップ８０３；異なる長さ）、画素列接続部１０８の処理は次のようになる。つまり、図１２に示すような画素列１００１と、画素列１００２とを接続するような場合である。画素列接続部１０８は、図１３に示すように、短い方の画素列１００２の中心点１１０２を求めた後、その画素列１００２の端点からその中心点１１０２までの距離Lを求める（ステップ８０５）。次に、画素列接続部１０８は、短い方の画素列１００２の各端点から長い方の画素列１００１に対して垂線をそれぞれ下ろしたときに、その垂線と垂線の間に画素列１００１の端点が含まれるか否かを判断する。そして、含まれる場合には、画素列接続部１０８は、長い方の画素列１００１の中心点１１０２に近い方の端点から距離Lだけ離れた点１１０１を接続点として求める（ステップ８０６）。一方、垂線と垂線の間に長い方の画素列の端点が含まれない場合には、図１４に示すように、その垂線と垂線の間に位置する中心点１２０３を長い画素列１２０１の接続点とする（ステップ８０６）。そして、画素列接続部１０８は、これらの画素列における接続点どうしを結ぶ線上に画素を挿入することで両者を所定幅の線分画像で接続する（ステップ８０７）。そして、画素列接続部１０８は、更に未接続の画素列がある場合には（ステップ８１１；ＹＥＳ）、前述したステップ８０３の処理に戻り、上記の処理を繰り返す。

さて、ステップ８０２において、罫線を挟んで画素列の数が異なる場合がある（ステップ８０２；異なる数）。例えば図１５に示すように、罫線画像から見て一方の側に存在する画素列は１個であるのに対し（画素列１３０１）、罫線画像から見て他方の側に存在する画素列は２個であるような場合である（画素列１３０２，１３０３）。この場合、画素列接続部１０８は、画素列の数が多い方の側にある画素列１３０２，１３０３から接続点の決定を試みる。

まず、画素列接続部１０８は、画素列１３０２、画素列１３０３のうちいずれか一方の未接続の画素列（ここでは画素列１３０２）を選択する（ステップ８０８）。次に、画素列接続部１０８は、図１６に示すように、この画素列１３０２の各端点から、その画素列１３０２に罫線画像を挟んで相対する画素列１３０１に対して垂線を下ろす。この２本の垂線と垂線の間に画素列１３０１の端点が含まれている場合には、画素列１３０２の端点から中心点１４０４までの距離Lを求める。そして、画素列接続部１０８は、相対する画素列１３０１において上記の垂線と垂線の間に含まれる端点から距離Ｌの点１４０３を画素列１３０１の接続点とする（ステップ８０９）。そして、これら２つの接続点の間を所定幅の線分画像で接続する（ステップ８１０）。

一方、画素列１３０３と画素列１３０１とを接続するときのように、垂線と垂線の間に画素列１３０１の端点が含まれていない場合には、垂線と垂線との間の中心点１４０１を画素列１３０１の接続点として決定し（ステップ８０９）、これら２つの接続点の間を所定幅の線分画像で接続する（ステップ８１０）。なお、上記の説明において「中心点」とは、厳密に中心である必要はなく、文字形状に影響を与えなければ、中心点から所定範囲内にある点でも構わない。

以上のような処理より、図１７に示すようにして、本来は１つの文字画像であった画像部分（切片）を互いに連結させることができる。このようにして復元された文字画像に対して文字認識を施した場合、そのときに用いる認識アルゴリズムによって若干の認識精度の違いは生じるが、どのような認識アルゴリズムであっても相当の精度で文字を認識することができるようになる。そして、出力部１０９は、このようにして復元された文字画像を表示部５４に表示したり、記憶媒体に記憶させるなどして出力する。

以上説明したように、本実施形態によれば、外接矩形を統合することで接続すべき画素列の範囲を制限することができるため、不適切な画素群を接続するような事態を生じさせにくくすることができる。また、分離された文字画像の間を線分画像で接続するだけであるため、従来よりも簡易に文字画像を復元できるし、また、文字の形状に大きな影響を与えることもない。さらに、罫線画像と文字画像とを分離することができるので、例えば罫線画像（枠画像）を拡大したが故に罫線画像と文字画像とが交差した場合であっても、その文字画像だけを処理対象とすることもできる。
上記の実施形態において、画素列接続部１０８は、接続に要した線分画像の幅をさらに太くしてより自然な文字画像となるように整形するようにしてもよい。例えば、互いに接続した文字画像のうちの幅の狭い方の文字画像の幅になるまで線分画像を太くするようにすれば、より自然な文字画像になる。
なお、画像処理装置１はパーソナルコンピュータによって実現されるものに限らず、例えば複写機などに内蔵されるコンピュータによって実現されるものであってもよい。また、上述した実施形態においては、全て横罫線を例に挙げて説明しているが、これと同様の手法を縦罫線の場合に適用することももちろん可能である。

本発明の実施の形態に係る画像処理装置のハードウェア構成を示す図である。同画像処理装置の機能構成を示す図である。同画像処理装置が実行する手順を示すフローチャートである。同画像処理装置の処理の内容を例示する図である。罫線画像に接する外接矩形の一例を表す図である。罫線画像に接する外接矩形の一例を表す図である。外接矩形を統合した例を示す図である。外接矩形を統合した例を示す図である。接続対象画素列の一例を表す図である。画素列接続部が実行する手順を示すフローチャートである。画素列の接続例を示す図である。画素列の接続例を示す図である。画素列の接続例を示す図である。画素列の接続例を示す図である。画素列の接続例を示す図である。画素列の接続例を示す図である。文字画像の復元結果の一例を表す図である。文字画像の復元に要した線分画像の太さを変更した例を表す図である。

符号の説明

１０１：画像入力部、１０２：罫線特定部、１０３：接触画素群検出部、１０４：罫線除去部、１０５：外接矩形検出部、１０６：外接矩形統合部、１０７：画素列抽出部、１０８：画素列接続部、１０９：出力部。

Claims

罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力手段と、
前記画像入力手段によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定手段と、
前記文字列を表す文字画像を構成する画素群から、前記罫線特定手段によって特定された罫線画像に接する画素列を抽出する画素列抽出手段と、
前記罫線特定手段により特定された罫線画像を、前記画像入力手段によって入力された画像から除去する罫線除去手段と、
前記画素列抽出手段によって抽出された画素列のうち、前記罫線画像を挟んで所定の位置関係にある画素列どうしを所定幅の線分画像で接続する画素列接続手段と
を有することを特徴とする画像処理装置であって、
前記画素列接続手段は、
前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング手段と、
各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数手段と、
前記画素列の長さを算出する算出手段とを備え、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値未満であれば、その接続すべき画素列の略中心点どうしを接続し、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値を超えている場合には、短い方の画素列の略中心点と、長い方の画素列の端点から所定の距離だけ離れた点又は当該画素列の略中心点とを接続する
ことを特徴とする画像処理装置。
罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力手段と、
前記画像入力手段によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定手段と、
前記罫線特定手段により特定された罫線画像を、前記画像入力手段によって入力された画像から除去する罫線除去手段と、
前記罫線除去手段によって罫線画像が除去された画像において、前記文字列を表す文字画像の外接矩形を検出する外接矩形検出手段と、
前記外接矩形検出手段によって検出された複数の外接矩形のうち、前記罫線画像を挟んで所定の位置関係にある外接矩形を統合する外接矩形統合手段と、
前記外接矩形統合手段によって統合された外接矩形の各々に内接する文字画像を構成する画素群のうち、前記罫線画像に接する画素列を抽出する画素列抽出手段と、
前記罫線画像を挟んで所定の位置関係にある外接矩形の各々に内接する文字画像どうしの間で、前記抽出手段によって抽出された画素列を線分画像で接続する画素列接続手段と
を有することを特徴とする画像処理装置であって、
前記画素列接続手段は、
前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング手段と、
各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数手段と、
前記画素列の長さを算出する算出手段とを備え、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値未満であれば、その接続すべき画素列の略中心点どうしを接続し、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値を超えている場合には、短い方の画素列の略中心点と、長い方の画素列の端点から所定の距離だけ離れた点又は当該画素列の略中心点とを接続する
ことを特徴とする画像処理装置。
罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力手段と、
前記画像入力手段によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定手段と、
前記文字列を表す文字画像を構成する画素群から、前記罫線特定手段によって特定された罫線画像に接する画素列を抽出する画素列抽出手段と、
前記罫線特定手段により特定された罫線画像を、前記画像入力手段によって入力された画像から除去する罫線除去手段と、
前記画素列抽出手段によって抽出された画素列のうち、前記罫線画像を挟んで所定の位置関係にある画素列どうしを所定幅の線分画像で接続する画素列接続手段と
を有することを特徴とする画像処理装置であって、
前記画素列接続手段は、
前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング手段と、
各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数手段とを備え、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが異なっている場合には、画素列の数が多いほうの側にある各画素列の略中心点と、画素列の数が少ないほうの側にある画素列の端点から所定の距離だけ離れた点又は当該画素列の中心点とを接続する
ことを特徴とする画像処理装置。
罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力手段と、
前記画像入力手段によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定手段と、
前記罫線特定手段により特定された罫線画像を、前記画像入力手段によって入力された画像から除去する罫線除去手段と、
前記罫線除去手段によって罫線画像が除去された画像において、前記文字列を表す文字画像の外接矩形を検出する外接矩形検出手段と、
前記外接矩形検出手段によって検出された複数の外接矩形のうち、前記罫線画像を挟んで所定の位置関係にある外接矩形を統合する外接矩形統合手段と、
前記外接矩形統合手段によって統合された外接矩形の各々に内接する文字画像を構成する画素群のうち、前記罫線画像に接する画素列を抽出する画素列抽出手段と、
前記罫線画像を挟んで所定の位置関係にある外接矩形の各々に内接する文字画像どうしの間で、前記抽出手段によって抽出された画素列を線分画像で接続する画素列接続手段と
を有することを特徴とする画像処理装置であって、
前記画素列接続手段は、
前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング手段と、
各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数手段とを備え、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが異なっている場合には、画素列の数が多いほうの側にある各画素列の略中心点と、画素列の数が少ないほうの側にある画素列の端点から所定の距離だけ離れた点又は当該画素列の中心点とを接続する
ことを特徴とする画像処理装置。
コンピュータに、
罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力機能と、
前記画像入力機能によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定機能と、
前記文字列を表す文字画像を構成する画素群から、前記罫線特定機能によって特定された罫線画像に接する画素列を抽出する画素列抽出機能と、
前記罫線特定機能により特定された罫線画像を、前記画像入力機能によって入力された画像から除去する罫線除去機能と、
前記画素列抽出機能によって抽出された画素列のうち、前記罫線画像を挟んで所定の位置関係にある画素列どうしを所定幅の線分画像で接続する画素列接続機能と
を実現させるプログラムであって、
前記画素列接続機能は、
前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング機能と、
各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数機能と、
前記画素列の長さを算出する算出機能とを備え、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値未満であれば、その接続すべき画素列の略中心点どうしを接続し、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値を超えている場合には、短い方の画素列の略中心点と、長い方の画素列の端点から所定の距離だけ離れた点又は当該画素列の略中心点とを接続する
ことを特徴とするプログラム。
コンピュータに、
罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力機能と、
前記画像入力機能によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定機能と、
前記罫線特定機能により特定された罫線画像を、前記画像入力機能によって入力された画像から除去する罫線除去機能と、
前記罫線除去機能によって罫線画像が除去された画像において、前記文字列を表す文字画像の外接矩形を検出する外接矩形検出機能と、
前記外接矩形検出機能によって検出された複数の外接矩形のうち、前記罫線画像を挟んで所定の位置関係にある外接矩形を統合する外接矩形統合機能と、
前記外接矩形統合機能によって統合された外接矩形の各々に内接する文字画像を構成する画素群のうち、前記罫線画像に接する画素列を抽出する画素列抽出機能と、
前記罫線画像を挟んで所定の位置関係にある外接矩形の各々に内接する文字画像どうしの間で、前記抽出機能によって抽出された画素列を線分画像で接続する画素列接続機能と
を実現させるプログラムであって、
前記画素列接続機能は、
前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング機能と、
各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数機能と、
前記画素列の長さを算出する算出機能とを備え、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値未満であれば、その接続すべき画素列の略中心点どうしを接続し、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが同じであり、且つ、接続すべき画素列の長さの差が閾値を超えている場合には、短い方の画素列の略中心点と、長い方の画素列の端点から所定の距離だけ離れた点又は当該画素列の略中心点とを接続する
ことを特徴とするプログラム。
コンピュータに、
罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力機能と、
前記画像入力機能によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定機能と、
前記文字列を表す文字画像を構成する画素群から、前記罫線特定機能によって特定された罫線画像に接する画素列を抽出する画素列抽出機能と、
前記罫線特定機能により特定された罫線画像を、前記画像入力機能によって入力された画像から除去する罫線除去機能と、
前記画素列抽出機能によって抽出された画素列のうち、前記罫線画像を挟んで所定の位置関係にある画素列どうしを所定幅の線分画像で接続する画素列接続機能と
を実現させるプログラムであって、
前記画素列接続機能は、
前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング機能と、
各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数機能とを備え、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが異なっている場合には、画素列の数が多いほうの側にある各画素列の略中心点と、画素列の数が少ないほうの側にある画素列の端点から所定の距離だけ離れた点又は当該画素列の中心点とを接続する
ことを特徴とするプログラム。
コンピュータに、
罫線から成る表と該表に関連する内容を表す文字列とを含む文書を画像として入力する画像入力機能と、
前記画像入力機能によって入力された画像において、前記罫線を表す罫線画像を特定する罫線特定機能と、
前記罫線特定機能により特定された罫線画像を、前記画像入力機能によって入力された画像から除去する罫線除去機能と、
前記罫線除去機能によって罫線画像が除去された画像において、前記文字列を表す文字画像の外接矩形を検出する外接矩形検出機能と、
前記外接矩形検出機能によって検出された複数の外接矩形のうち、前記罫線画像を挟んで所定の位置関係にある外接矩形を統合する外接矩形統合機能と、
前記外接矩形統合機能によって統合された外接矩形の各々に内接する文字画像を構成する画素群のうち、前記罫線画像に接する画素列を抽出する画素列抽出機能と、
前記罫線画像を挟んで所定の位置関係にある外接矩形の各々に内接する文字画像どうしの間で、前記抽出機能によって抽出された画素列を線分画像で接続する画素列接続機能と
を実現させるプログラムであって、
前記画素列接続機能は、
前記罫線画像を挟んで所定の位置関係にある画素列どうしをグループ化するグルーピング機能と、
各々のグループに含まれる複数の画素列のうち、前記罫線画像から見て一方の側にある画素列の個数と、前記罫線画像から見て他方の側にある画素列の個数とを計数する計数機能とを備え、
前記一方の側にある画素列の個数と前記他方の側にある画素列の個数とが異なっている場合には、画素列の数が多いほうの側にある各画素列の略中心点と、画素列の数が少ないほうの側にある画素列の端点から所定の距離だけ離れた点又は当該画素列の中心点とを接続する
ことを特徴とするプログラム。