JP4603807B2 - 文字認識装置，文字認識方法，媒体処理方法，文字認識プログラムおよび文字認識プログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

Description

本発明は、例えば金融機関における帳票処理に用いて好適な、文字認識装置，文字認識方法，媒体処理方法，文字認識プログラムおよび文字認識プログラムを記録したコンピュータ読取可能な記録媒体であって、特に、カラー帳票に記載された文字の認識を行なうための文字認識装置，文字認識方法，媒体処理方法，文字認識プログラムおよび文字認識プログラムを記録したコンピュータ読取可能な記録媒体に関する。

金融機関等においては、帳票に記載された文字情報をイメージデータとして読み取ってから文字認識する装置として、光学文字読取装置（ＯＣＲ（Optical Character Recognition）装置）等のイメージ読取装置が用いられ、このＯＣＲ装置を用いることにより業務の効率化を図っている。
従来のＯＣＲ手法では、帳票のイメージデータをモノクロの２値イメージとして取得して、その文字認識を行なっており、例えば、緑色や赤色等の予め定められたドロップアウト色で罫線やガイド文字等を印刷された帳票について、その文字認識対象領域（文字記入欄）にドロップアウト色以外の色（黒色等）で記載された文字を、ＯＣＲ装置を用いてモノクロ２値画像として読み取り、この２値画像に基づいて文字認識処理を行なっている（下記特許文献１〜３参照）。
特開２０００−３２２５１０号公報 特開２００１−２９７３０３号公報 特開２００３−１９６５９２号公報

ところで、帳票に記載された情報を見易くしたり、文字の記入をわかりやすくしたりするために、罫線や背景，ガイド文字等を種々の色を用いて印刷したカラー帳票が使用される場合がある。
従来のＯＣＲ手法においては、帳票のイメージデータをモノクロの２値画像として取得し、この２値画像に基づいて文字認識を行なっているので、上述のようにドロップアウト色以外の色で罫線や背景，ガイド文字等を印刷されたカラー帳票においては、記入された文字の近傍にこれらの罫線や背景，ガイド文字等があったり、又、これらの罫線や背景，ガイド文字に記入された文字が接触・交差していたりすると、その記入された文字についての文字認識が妨げられ文字認識率が低下するという課題がある。又、文字認識対象領域に背景色や網がけ等の面塗りが行なわれている場合にも、同様に、その文字認識が妨げられ文字認識率が低下する。

すなわち、従来のＯＣＲ手法においては、ドロップアウト色以外の色を用いて行なわれた面塗り内に記載された文字や、同じくドロップアウト色以外の色を用いられた罫線や背景，ガイド文字等の近傍もしくはこれらに接触・交差する文字については、文字認識を高精度で行なうことができない。
また、本来ＯＣＲ装置による文字認識を前提とせずに、記入欄に種々の色で面塗りやガイド文字が記入されたカラー帳票について、その記入欄に記載された文字情報をＯＣＲ装置を用いて読み込むことができれば利便性が高い。

本発明は、このような課題に鑑み創案されたもので、カラー帳票に記載された文字を高精度で認識することができるようにした、文字認識装置，文字認識方法，媒体処理方法，文字認識プログラムおよび文字認識プログラムを記録したコンピュータ読取可能な記録媒体を提供することを目的とする。

このため、本発明の文字認識装置は、文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識装置であって、該原画像における所定サイズの領域を構成する各画素のＲ，Ｇ，Ｂの各色の階調値に基づいて算出した色値分散量に基づいて背景領域を認定し、色相又は輝度に関する度数分布に基づいて背景色を認定する背景認定部と、該原画像における、該背景領域を構成する画素とは異なる色相又は輝度を有する画素の度数分布と、互いに同一の色相を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定部と、該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色相を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、該原画像に基づいて拡大画像を作成する拡大画像作成部と、該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部とをそなえることを特徴としている。
なお、該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色相又は輝度と該文字外線分にかかる色相又は輝度との相違に基づいて該第２文字外線分除去画像の復元を行なう文字画像復元部とをそなえ、該第２文字領域認定部が、該文字画像復元部によって復元された該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定してもよい。

また、本発明の文字認識方法は、文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識方法であって、該原画像における所定サイズの領域を構成する各画素のＲ，Ｇ，Ｂの各色の階調値に基づいて算出した色値分散量に基づいて背景領域を認定し、色相又は輝度に関する度数分布に基づいて背景領域を認定する背景認定ステップと、該原画像における、該背景領域を構成する画素とは異なる色相又は輝度を有する画素の度数分布と、互いに同一の色相を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定ステップと、該原画像において、該文字外線分認定ステップにおいて認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成ステップと、該第１文字外線分除去画像作成ステップにおいて作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色相を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定ステップと、該原画像に基づいて拡大画像を作成する拡大画像作成ステップと、該拡大画像作成ステップにおいて作成した該拡大画像において、該文字外線分認定ステップにおいて取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成ステップと、該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定ステップと、該第２文字領域認定ステップにおいて認定された文字領域を２値化して文字認識を行なう文字認識ステップとをそなえることを特徴としている。
なお、該文字外線分認定ステップにおいて取得された文字外線分情報と、該第１文字領域認定ステップにおいて認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断ステップと、該干渉判断ステップにおいて該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色相又は輝度と該文字外線分にかかる色相又は輝度との相違に基づいて該第２文字外線分除去画像の復元を行なう文字画像復元ステップとをそなえ、該第２文字領域認定ステップにおいて、該文字画像復元ステップにおいて復元された該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定してもよい。

さらに、本発明の媒体処理方法は、文字が記載された媒体から読み取った媒体画像に基づいて、文字認識を行なう媒体処理方法であって、該媒体画像に基づいて、該媒体画像のレイアウトの特徴を抽出して該レイアウトの構成を解析するレイアウト解析ステップと、該レイアウト解析ステップにおける解析結果に基づいて、文字認識を行なう対象となる文字画像をそなえた原画像を作成する原画像作成ステップと、該原画像における所定サイズの領域を構成する各画素のＲ，Ｇ，Ｂの各色の階調値に基づいて算出した色値分散量に基づいて背景領域を認定し、色相又は輝度に関する度数分布とに基づいて背景領域を認定する背景認定ステップと、該原画像における、該背景領域を構成する画素とは異なる色相又は輝度を有する画素の度数分布と、互いに同一の色相を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定ステップと、該原画像において、該文字外線分認定ステップにおいて認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成ステップと、該第１文字外線分除去画像作成ステップにおいて作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色相を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定ステップと、該原画像に基づいて拡大画像を作成する拡大画像作成ステップと、該拡大画像作成ステップにおいて作成した該拡大画像において、該文字外線分認定ステップにおいて取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成ステップと、該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定ステップと、該第２文字領域認定ステップにおいて認定された文字領域を２値化して文字認識を行なう文字認識ステップとをそなえることを特徴としている。
なお、該文字外線分認定ステップにおいて取得された文字外線分情報と、該第１文字領域認定ステップにおいて認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断ステップと、該干渉判断ステップにおいて該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色相又は輝度と該文字外線分にかかる色相又は輝度との相違に基づいて該第２文字外線分除去画像の復元を行なう文字画像復元ステップとをそなえ、該第２文字領域認定ステップにおいて、該文字画像復元ステップにおいて復元された該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定してもよい。

また、本発明の文字認識プログラムは、文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識機能をコンピュータに実行させるための文字認識プログラムであって、該原画像における所定サイズの領域を構成する各画素のＲ，Ｇ，Ｂの各色の階調値に基づいて算出した色値分散量に基づいて背景領域を認定し、色相又は輝度に関する度数分布とに基づいて背景領域を認定する背景認定部と、該原画像における、該背景領域を構成する画素とは異なる色相又は輝度を有する画素の度数分布と、互いに同一の色相を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定部と、該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色相を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、該原画像に基づいて拡大画像を作成する拡大画像作成部と、該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部として、該コンピュータを機能させることを特徴としている。
なお、該文字認識プログラムが、該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色相又は輝度と該文字外線分にかかる色相又は輝度との相違に基づいて該第２文字外線分除去画像の復元を行なう文字画像復元部として該コンピュータを機能させるとともに、該第２文字領域認定部として該コンピュータを機能させる際に、該文字画像復元部によって復元された該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定してもよい。

さらに、本発明のコンピュータ読取可能な記録媒体は、上述した文字認識プログラムを記録したものである。

本発明によれば、カラー帳票に記載された文字を高精度で認識することができる利点がある。

以下、図面を参照して本発明の実施の形態を説明する。
（Ａ）実施形態の説明
図１は本発明の一実施形態としての帳票認識装置の構成を模式的に示す図、図２（ａ），（ｂ），（ｃ），（ｄ）はそれぞれ本帳票認識装置によって識別される帳票を説明するための図であり、図２（ａ）は帳票を部分的に示す図、図２（ｂ）はその文字部分を示す図、図２（ｃ）はそのプレ印刷部分を示す図、図２（ｄ）はその背景部分を示す図である。

本帳票認識装置（媒体処理装置，文字認識装置）１は、例えば金融機関で用いられる帳票（媒体）を読み取り、その所定の項目に記載された文字を認識するものであって、特に、罫線や背景，ガイド文字等からなるプレ印刷部分を、記入される文字色やドロップアウト色以外の色で構成したカラー帳票に記載された文字認識を行なうものである。
本帳票認識装置１においては、図２（ａ）に示すカラー帳票について、その色情報に基づいて、背景（図２（ｄ）参照）やプレ印刷部分（図２（ｃ）参照）を除いた文字部分（図２（ｂ）参照）を抽出し、その文字認識を行なうようになっている。例えば、図２（ａ）〜（ｄ）に示す例においては、プレ印刷部分を赤色で構成されたカラー帳票に青色の文字を記入した例を示しており、これらの色情報（色相，輝度）を用いて認識対象の文字画像を抽出して、その文字認識を行なうものである。なお、以下、本実施形態においては、カラー帳票のことを単に帳票という場合もある。

本帳票認識装置１は、図１に示すように、カラーイメージリーダ２，メモリ３，ハードディスク４，モニタ５，キーボート６およびＣＰＵ（Central Processing Unit）１０をそなえたコンピュータシステム（情報処理装置）として構成され、ＣＰＵ１０が、メモリ３やハードディスク４に保存されたプログラム（文字認識プログラム，媒体処理プログラム）を実行することにより機能するようになっている。

カラーイメージリーダ２は、カラー帳票について、そのイメージデータ（媒体画像）を読み取るものであり、例えば、光学式文字読取装置（ＯＣＲ装置）やイメージスキャナを用いることができる。そして、本帳票認識装置１においては、カラーイメージリーダ２は、カラー帳票のイメージデータをカラー画像もしくはグレースケール画像（多値画像）で読み取るようになっている。

ハードディスク４は、カラーイメージリーダ２によって読み取られた帳票のイメージデータを保存したり、前述したプログラムを保存したりするものである。又、このハードディスク４は、事前登録データベース２２を保存するようになっている。
事前登録データベース２２は、罫線レイアウト情報や文字認識の定義情報等の帳票に関する情報を予め登録して構成されるものである（図１８参照）。罫線レイアウト情報としては、縦線や横線として形成される罫線の始点（開始位置）や終点（終了位置）の座標位置や、日付欄や金額記入欄等の帳票にそなえられる項目（罫線項目）の矩形座標等が用いられる。又、文字認識の定義情報としては、認識する矩形座標や識別カテゴリ（例えば，数字，英字，平仮名等の文字種別），記入枠を構成する罫線の線類や座標等が用いられる。

メモリ３は、ＣＰＵ１０が種々の処理を行なう際に、データを展開したり一時的に格納したりするものであり、又、このメモリ３に前述したプログラムを保存してもよい。モニタ５は、帳票の画像や文字認識の結果，オペレータが用いる操作画面等を表示するものであり、キーボード６はオペレータが種々の操作・入力を行なうものである。
ＣＰＵ１０は種々の演算処理を行なうものであり、図１に示すように、レイアウト解析部１１，部分画像作成部（原画像作成部）１２，背景認定部１３，罫線抽出部（文字外線分認定部）１４，第１文字領域認定部１５，拡大画像作成部１６，罫線除去部（第１文字外線分除去画像作成部，第２文字外線分除去画像作成部）１７，干渉判断部１８，文字画像復元部１９，第２文字領域認定部２０，文字認識部２１として機能するようになっている。

レイアウト解析部１１は、帳票のイメージデータ（媒体画像）に基づいて、そのイメージデータのレイアウトの特徴を抽出し、帳票のレイアウトの構成を解析するものであり、帳票のイメージデータに基づいて罫線レイアウト情報を抽出し、この抽出した罫線レイアウト情報と事前登録データベース２２に登録されている罫線レイアウト情報とを照合して、文字認識の定義情報を取得するようになっている。なお、このレイアウト解析部１１による処理は、例えば、特許番号第３０８８０１９号（名称：媒体処理装置及び媒体処理方法）に開示された手法によって実現することができる。

部分画像作成部（原画像作成部）１２は、レイアウト解析部１１による解析結果に基づいて、文字認識を行なう対象となる文字画像をそなえた部分画像（原画像）を作成するものであり、レイアウト解析部１１によって取得された文字認識の対象である項目等の座標に基づいて、帳票のイメージデータから文字認識を行なう部分画像（原画像）を抽出することにより、この部分画像を作成するようになっている。

背景認定部１３は、部分画像作成部１２によって作成された部分画像における色成分の分散量と色情報に関する度数分布とに基づいて背景領域を認定するものである。
ここで、本帳票認識装置１の背景認定部１３による背景色の決定手法を、図３，図４（ａ）,（ｂ）および図５（ａ），（ｂ）を参照しながら、図６に示すフローチャート（ステップＡ１０〜Ａ７０）に従って説明する。

なお、図３は縦軸を彩度Ｓ、横軸を明度Ｌとしたときの赤の色の彩度Ｓと明度Ｌとの関係を示す図、図４（ａ）,（ｂ），図５（ａ），（ｂ）はそれぞれ本発明の一実施形態としての帳票認識装置１の背景認定部１３によって作成されるヒストグラムの例を示す図であり、図４（ａ）は背景用の色相ヒストグラムの例を示す図、図４（ｂ）は背景用の輝度ヒストグラムの例を示す図、図５（ａ）は背景以外用の色相ヒストグラムの例を示す図、図５（ｂ）は背景以外用の輝度ヒストグラムの例を示す図である。なお、図４（ａ），（ｂ）は、背景が白色である場合の例を示している。

背景認定部１３は、部分画像の中の所定サイズの領域（本実施形態では８画素×８画素の矩形領域；以下、この８×８画素の矩形領域を画素ブロックという場合もある）において、この８×８の画素ブロックの各画素のＲ（Ｒｅｄ），Ｇ（Ｇｒｅｅｎ），Ｂ（Ｂｌｕｅ）の各色のデータ（階調値）の平均値Ｒ_AVE，Ｇ_AVE，Ｂ_AVEを算出し、各画素のＲ，Ｇ，Ｂデータと、８×８画素領域のＲ，Ｇ，Ｂデータの平均値Ｒ_AVE，Ｇ_AVE，Ｂ_AVEとの差分から、８×８画素領域の色値分散量を算出するようになっている。すなわち、背景認定部１３は、８×８画素ブロック内の画素が均一か否か調べるために偏差を利用しているのである。

そして、背景認定部１３は、これらのＲ_AVE，Ｇ_AVE，Ｂ_AVE，Ｒ，Ｇ，Ｂの各値を用いて、画素ブロックにおける画素の色値分散量をそれぞれ下記の式（１）を用いて算出し（ステップＡ１０）、更に、この色値分散量が小さいか否か、すなわち、予め設定された閾値（例えば１０）以下であるか否かを判断するようになっている（ステップＡ２０）。
色値分散量＝ｍａｘ（ΔＲ，ΔＧ，ΔＢ） ・・・（１）
ただし、
ΔＲ＝｜Ｒ_AVE−Ｒ｜
ΔＧ＝｜Ｇ_AVE−Ｇ｜
ΔＢ＝｜Ｂ_AVE−Ｂ｜
なお、ｍａｘ（）は、（）内の各数値の最大値を表わすものとする。

また、背景認定部１３は、各画素のＲ，Ｇ，Ｂ値に基づいて、下記式（２）を用いてＨＳＶ変換を行なって、色相Hと彩度Ｓと明度Lとからなるデータに変換し、各画素が有彩色であるか無彩色であるかを判断するようになっている。
Ｓ＝（Ｖ−Ｘ）／Ｖ ・・・（２）
ただし、
Ｖ＝ｍａｘ（Ｒ，Ｇ，Ｂ）
Ｘ＝ｍｉｎ（Ｒ，Ｇ，Ｂ）
であり、ｍｉｎ（）は、（）内の各数値の最小値を表わすものとする。

また、Ｈは以下の式で表されるものとする。
Ｒ＝Ｖの場合、Ｈ＝（ｐｉ／３）＊（ｂ−ｇ）
Ｇ＝Ｖの場合、Ｈ＝（ｐｉ／３）＊（２＋ｒ−ｂ）
Ｂ＝Ｖの場合、Ｈ＝（ｐｉ／３）＊（４＋ｇ−ｒ）
Ｌ＝（ｍａｘ（Ｒ，Ｇ，Ｂ）＋ｍｉｎ（Ｒ，Ｇ，Ｂ））／２
ただし、
ｒ＝（Ｖ−Ｒ）／（Ｖ−Ｘ）
ｇ＝（Ｖ−Ｇ）／（Ｖ−Ｘ）
ｂ＝（Ｖ−Ｂ）／（Ｖ−Ｘ）
ｐｉは円周率
であり、
Ｈ：０〜３６０
Ｓ：０〜１
Ｖ：０〜１
Ｌ：０〜１
Ｒ，Ｇ，Ｂ：０〜１
とする。

ここで、色値分散量が小さい（例えば１０以下）場合には（ステップＡ２０のＹＥＳルート参照）、その画素が背景を構成するものであると判断し、色値分散量が大きい（例えば１０よりも大きい）場合には（ステップＡ２０のＮＯルート参照）、その画素が背景以外の領域を構成するものであると判断するようになっている。
また、背景認定部１３は、部分画像について、背景を構成すると判断した画素と、背景以外の領域であると判断した画素とで、それぞれ別のヒストグラムを作成するようになっており、更に、これらのヒストグラムは有彩色と無彩色とでそれぞれ別のヒストグラム（色相ヒストグラム,輝度ヒストグラム）として作成されるようになっている（ステップＡ３０，Ａ４０；図４（ａ），（ｂ）および図５（ａ），（ｂ）参照）。

図３においては、縦軸の彩度Ｓの値が大きくなるほど鮮やかな色を表し、横軸の明度Ｌの値が大きいほど明るい色を表す。又、２次曲線ｆ１，ｆ２は、それぞれ視覚特性上の有彩色の境界と無彩色の境界を示す曲線であり、２次曲線ｆ１，ｆ２の間の色は、有彩色、無彩色の何れとも判定できない不定色となる。
これらの２次曲線ｆ１，ｆ２は、以下の式（３），（４）のように表わすことができる。
ｆ１＝（１／４０００）（２５５−ＬＵＭ）²＋１０ ・・・（３）
ｆ２＝（１／２）（１／４０００）（２５５−ＬＵＭ）²＋１０ ・・・（４）
画素の彩度Ｓと明度Ｌ（ＬＵＭ）が決まれば、上記の式（３）から、各明度における有彩色となる彩度Ｓの下限値を計算することができる。従って、彩度Ｓがその下限値以上か否かによりその画素が有彩色か否かを判定できる。また、上記の式（４）から、各明度における無彩色の上限値を計算することができる。従って、彩度Ｓが上限値以下か否により、その画素が無彩色か否かを判定できる。以下、上述の如く有彩色，無彩色および不定色を分類することを色相クラスタ分類という場合がある。

なお、有彩色の下限値を示す２次曲線ｆ１の値と、無彩色の上限値を示す２次曲線ｆ２の値とを各明度ＬＵＭについて予め計算して、有彩色の判定テーブルと無彩色の判定テーブルとをそれぞれ作成し、これらの判定テーブルを用いて判定してもよい。
背景認定部１３は、画素が有彩色である場合には、図４（ａ），図５（ａ）に示すように、その画素の色相Ｈを色相ヒストグラムに反映させ、画素が無彩色である場合には、図４（ｂ），図５（ｂ）に示すように、その画素の輝度を輝度ヒストグラムに反映させるようになっている。すなわち、有彩色の各色相Hの値の出現回数を計数して色相ヒストグラム（有彩色の色相ヒストグラム）を作成し、又、無彩色の各輝度の値の出現回数を計数して輝度ヒストグラム（無彩色のヒストグラム）を作成するのである。

そして、背景認定部１３は、８×８の画素ブロックを構成する全画素について上記ステップＡ１０〜Ａ４０にかかる処理を行なうとともに、部分画像の全ての画素ブロックについて上記ステップＡ１０〜Ａ４０にかかる処理を行なったか否かを判断して（ステップＡ５０）、全ての画素ブロックについて処理を行なっていない場合には（ステップＡ５０のＮＯルート参照）、ステップＡ１０に戻る。全ての画素について処理を行なった場合には（ステップＡ５０のＹＥＳルート参照）、背景認定部１３は、背景用ヒストグラム（色相ヒストグラム，輝度ヒストグラム）に対してピーク値検出を行ない、出現回数がピーク値の色相や輝度を背景色と認定する（ステップＡ６０）。

なお、図４（ａ），（ｂ）に示す例においては、輝度ヒストグラムにおける白色を示す輝度においてピーク値が検出された状態を示しており、これにより、背景が白色であることがわかる。
本帳票認識装置１においては、上述したステップＡ３０，Ａ４０において、画素が有彩色の場合には色相ヒストグラムを形成し、無彩色の場合には輝度ヒストグラムを形成することにより、白色等の無彩色の画素についてもその出現頻度を検出することができ、これにより、背景色が有彩色であっても無彩色であっても認定することができるのである。

次に、背景認定部１３は、ステップＡ４０において作成した背景以外用のヒストグラム（図５（ａ），（ｂ）参照）に基づいて、その部分画素における背景以外の領域について、文字や罫線の識別に色相を用いた手法（色相分離；詳細は後述）を適用することができるか否かを判断する（ステップＡ７０）。具体的には、背景認定部１３は、背景以外用ヒストグラムに基づいて、ステップＡ６０において背景として認定した色相値／輝度値以外のピーク値（ヒストグラムにおける山）を探索し、背景以外に、色相ヒストグラムに山が１つ以上あり、且つ、色相ヒストグラムと輝度ヒストグラムとを併せて２以上の山がある場合に、色相分離（色相処理；後述）を行なうことができると判断し、又、これらの背景以外用のヒストグラムにおいて山の数が上記条件を満たさない場合には、色相分離は不可能であり、後述する輝度値に基づく分離（グレー処理）を行なう必要があると判断する。

罫線抽出部（文字外線分認定部）１４は、部分画像における、背景領域を構成する画素とは異なる色情報を有する画素の度数分布と、互いに同一の色特性を有する画素が所定数以上連続する連続画素とに基づいて文字以外の罫線（文字外線分）を認定するとともに、罫線情報（文字外線分情報）を取得・抽出するものである。
この罫線抽出部１４は、部分画像の縦方向と横方向とについて、それぞれ、背景領域を構成する画素とは異なる色情報を有する画素の度数分布を求め、その結果において所定値以上の度数を有する位置を罫線の候補位置（文字外線分候補位置）と認定する罫線位置推定部（文字外線分位置推定部）２３をそなえている。

さらに、罫線抽出部１４は、この罫線位置推定部２３によって認定された罫線の候補位置における色相ヒストグラム（色情報にかかる度数分布）に基づいてその罫線にかかる色相（色情報）を特定する色相特定部（色情報特定部）２４をそなえるとともに、この色相特定部２４によって特定された色相と同一の色相にかかる画素の連続性に基づいて罫線に関する罫線情報を取得する罫線情報取得部（文字外線分情報取得部）２５をそなえている。

本帳票認識装置１における罫線抽出部１４による罫線情報の抽出手法を、図７（ａ），（ｂ），（ｃ），図８，図９（ａ），（ｂ）を参照しながら、図１０に示すフローチャート（ステップＢ１０〜Ｂ１１０）に従って説明する。なお、図７（ａ），（ｂ），（ｃ）は部分画像の縦方向および横方向におけるヒストグラムの例を示す図であり、図７（ａ）は部分画像の例を示す図、図７（ｂ）は横方向における画素のヒストグラムの例を示す図、図７（ｃ）は縦方向における画素のヒストグラムの例を示す図である。又、図８および図９（ａ），（ｂ）はそれぞれ罫線（横線分）の作成手法を説明するための図であり、図８は線分情報の例を示す図、図９（ａ），（ｂ）は図８に示した線分情報に基づいて線情報を作成する手法を説明するための図である。

罫線抽出部１４は、部分画像作成部１２によって作成された部分画像（図７（ａ）参照）について、この部分画像における背景以外の領域についての、画素の横方向のヒストグラム（図７（ｂ）参照）と、縦方向のヒストグラム（図７（ｃ）参照）とを作成する（ステップＢ１０）。
そして、罫線抽出部１４は、先ず、横方向のヒストグラム（図７（ｂ）参照）において、所定量以上の出現度数がある位置（横位置）を探索し（ステップＢ２０）、このような所定量以上の出現度数がある横位置が検出されたか否かを判断する（ステップＢ３０）。横方向のヒストグラムにおいてこのような位置が検出された場合には（ステップＢ３０のＹＥＳルート参照）、罫線位置推定部２３が、部分画像におけるその横位置に罫線の候補が存在すると判断する（文字外線分位置推定ステップ）。そして、罫線抽出部１４は、部分画像におけるその横位置で、その横位置に位置する各画素の色相ヒストグラムを作成し、色相特定部２４が、その色相ヒストグラムにおいて最も出現頻度が多い色相値を罫線の色相として決定する（ステップＢ４０；色情報特定ステップ）。

また、罫線情報取得部２５が、ステップＢ４０において罫線候補が存在すると判断された部分画像における前記横位置に存在する各画素について、ステップＢ４０において決定された色相値の画素であって所定数以上連続する画素（連続画素）を、一定範囲毎に抽出し、これらの連続画素をそれぞれ横線分（線分，線分情報）として作成する（ステップＢ５０；図８参照）。

なお、図８に示す例においては、罫線抽出部１４は、連続画素を一定範囲（所定長）の線分情報として抽出することにより複数の線分を取得するようになっており、このように、所定長を有する線分情報を複数取得することにより、斜度の発生を防止し、罫線の位置ずれ等の発生を防止して読み取り品質を向上させることができる。
そして、罫線抽出部１４は、ステップＢ５０において作成された線分情報（図９（ａ）参照）をまとめて（連結して）、１つの罫線情報を作成して（ステップＢ６０，図９（ｂ）参照）、ステップＢ２０に戻る。すなわち、罫線抽出部１４は、ステップＢ５０において作成された横線分に基づいて線情報を作成するのである（文字外線分情報取得ステップ）。

また、横方向のヒストグラムにおいて、所定量以上の出現頻度がある横位置の全てについての処理が完了し、罫線情報の作成等が未処理の横位置が検出されない場合には（ステップＢ３０のＮＯルート参照）、今度は、縦方向のヒストグラム（図７（ｃ）参照）において、所定量以上の出現度数がある位置（縦位置）を探索し（ステップＢ７０）、このような所定量以上の出現度数がある縦位置が検出されたか否かを判断する（ステップＢ８０）。縦方向のヒストグラムにおいてこのような位置が検出された場合には（ステップＢ８０のＹＥＳルート参照）、罫線位置推定部２３が、部分画像におけるその縦位置に罫線の候補が存在すると判断する。そして、罫線抽出部１４は、部分画像におけるその縦位置で、その縦位置に位置する各画素の色相ヒストグラムを作成し、色相特定部２４が、その色相ヒストグラムにおいて最も出現頻度が多い色相値を罫線の色相として決定する（ステップＢ９０）。

さらに、罫線情報取得部２５が、ステップＢ９０において罫線候補が存在すると判断された部分画像における前記縦位置に存在する各画素について、今度はステップＢ９０において決定された色相値の画素であって所定数以上連続する画素（連続画素）を、一定範囲毎に抽出し、これらの連続画素をそれぞれ縦線分（線分，線分情報）として作成する（ステップＢ１００）。

そして、罫線抽出部１４は、ステップＢ１００において作成された線分情報をまとめて（連結して）、１つの罫線情報を作成し（ステップＢ１１０）、ステップＢ７０に戻る。すなわち、罫線抽出部１４は、ステップＢ１００において作成された横線分に基づいて線情報を作成するのである。
一方、縦方向のヒストグラムにおいて、所定量以上の出現頻度がある縦位置の全てについての処理が完了し、罫線情報の作成等が未処理の縦位置が検出されない場合には（ステップＢ８０のＮＯルート参照）、処理を終了する。

罫線除去部（第１文字外線分除去画像作成部，第２文字外線分除去画像作成部）１７は、部分画像において、罫線抽出部１４によって認定された罫線を、背景と同じ色成分を有する画素で置換することにより除去して、第１罫線除去画像（第１文字外線分除去画像）を作成するものである。
この罫線除去部１７は、上述の手法を用いて部分画像から罫線を除去して第１罫線除去画像を作成する第１文字外線分除去画像作成部として機能する他、後述する拡大画像作成部１６によって作成された拡大画像においても、同様に、その拡大画像から罫線を除去して第２罫線除去画像（第２文字外線分除去画像）を作成する第２文字外線分除去画像作成部として機能するようになっている。なお、以下、第１罫線除去画像の作成にかかる罫線の削除を１次除去といい、第２罫線除去画像の作成にかかる罫線の削除を２次除去という場合がある。

第１文字領域認定部１５は、罫線除去部１７によって作成された第１罫線除去画像において、その背景領域以外の領域であって、互いに同一の色相（色特性）を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定するとともに、その色相を文字の色相として認定するようになっている。
拡大画像作成部１６は、部分画像に基づいて拡大画像を作成するものであり、本帳票認識装置１においては、拡大画像作成部１６は部分画像を構成する画素のサブピクセル化を行なうことにより拡大画像を作成するようになっている。このサブピクセル化とは、部分画像を構成する各画素をそれぞれ複数の画素に仮想的に分ける、もしくは複数の画素に置換する処理をいう。

図１１（ａ），（ｂ）は本帳票認識装置１の拡大画像作成部１６による拡大画像の作成手法の例を説明するための図であり、図１１（ａ）は拡大前の画像の状態を示す図、図１１（ｂ）は拡大画像の状態の例を示す図である。図１１（ａ）に示すような３×３画素の画像（元画像）を、サブピクセル化により図１１（ｂ）に示すような５×５画素の画像（拡大画像）に拡大する場合には、先ず、元画像を構成する各画素を、それぞれ隣合う画素間に所定数（図１１（ｂ）に示す例では１つ）の画素を配置できるような間隔をおいて配置（座標変換）することにより、拡大画像にコピーする。

そして、この拡大画像を構成する各画素間（隙間）の領域に補完を行なう。具体的には、これらの隙間の領域に配置する画素に、その隙間を形成する元画像の画素の平均値を画素値（色相）として設定する。例えば、図１１（ｂ）に示す例においては、丸付き数字１で表す画素には、その左右方向において隣り合う画素（画素１−１，１−２）の平均値を設定し、丸付き数字２で表す画素には、その上下方向において隣り合う画素（画素１−１，２−１）の平均値を設定する。又、丸付き数字３で表す画素には、その画素を囲む画素（画素１−１，１−２，２−１，２−２）の平均値を設定する。すなわち、拡大画像作成部１６は、これらの処理を部分画像を構成する各画素に対して行なうことにより、部分画像の拡大画像を作成するのである。

なお、拡大画像作成部１６による拡大画像の作成手法は、上述した方法に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
干渉判断部１８は、罫線抽出部１４によって取得された罫線情報と、第１文字領域認定部１５によって認定された文字領域とに基づいて、部分画像において文字と罫線とが干渉（接触もしくは重合）しているか否かを判断するものである。具体的には、罫線抽出部１４によって取得された罫線情報と、第１文字領域認定部１５によって認定された文字領域とを比較して、罫線と文字とが干渉していると思われる位置を特定した後に、拡大画像作成部１６によって作成された拡大画像において、罫線と同じ色相の画素と文字と同じ色相の画素とが隣接している場所を文字と罫線とが干渉していると判断するようになっている。

文字画像復元部１９は、干渉判断部１８によって文字画像と罫線とが干渉していると判断された場合に、第２罫線除去画像における文字画像と罫線との干渉位置について、文字画像にかかる色相と罫線にかかる色相との相違に基づいて文字画像の復元を行なうものである。
本帳票認識装置１においては、文字画像と罫線とが干渉（重合）している場合（図１２参照）に、罫線除去部１７により拡大画像から罫線を除去すると、その第２罫線除去画像では、文字画像において罫線と重合していた部分（干渉位置）の文字画像が罫線とともに削除され、部分的に欠落した文字画像（図１３参照）が形成される。文字画像復元部１９は、このように部分的に削除された文字画像を、欠落がない状態に復元するものである。

具体的には、文字画像復元部１９は、先ず、第２罫線除去画像を参照したり干渉判断部１８による判断結果等を参照したりして、第２罫線除去画像において部分的に文字画像が削除された位置（文字と罫線とが干渉していた位置；以下、欠落位置という場合もある）を取得し、拡大文字画像を参照してその欠落位置における文字と罫線との色相の差を用いて、欠落位置における文字輪郭を復元するようになっている。

すなわち、文字画像復元部１９は、拡大画像における欠落位置に相当する位置について、文字の色相と罫線の色相とが異なる部分が所定画素以上連続する部分を、文字と罫線との境界と認識して、その位置を拡大画像における欠落位置にプロットすることにより文字輪郭を設定し、更に、この文字輪郭をスプライン曲線で連結することにより、文字輪郭をなめらかに形成するようになっている。

そして、文字画像復元部１９は、このようにして形成した文字輪郭の内側（文字内部）を、第１文字領域認定部１５によって文字の色相として認定された色相と同一の色相の画素で埋めることにより、文字画像の復元を行なうようになっている。
本帳票認識装置１における罫線除去から文字画像の復元にかけての処理を図１２〜図１５を参照しながら、図１６に示すフローチャート（ステップＣ１０〜Ｃ６０）に従って説明する。なお、図１２〜図１５はそれぞれその罫線除去の過程における文字画像の例を示す図である。

図１２に示すように、罫線除去部１７は、罫線の除去を行なう対象の画像（部分画像，拡大画像）において、罫線抽出部１４によって認定された罫線を構成する各画素を、罫線情報取得部２５によって取得された罫線情報に基づいて、背景と同じ色の画素で置換することにより、罫線領域を背景色で埋めて罫線を削除する（ステップＣ１０）。
次に罫線除去部１７は、２次除去であるか否かを判断し（ステップＣ２０）、２次除去ではない場合には（ステップＣ２０のＮＯルート参照）、処理を終了する。又、２次除去の場合には（ステップＣ２０のＹＥＳルート参照）、干渉判断部１８が、罫線抽出部１４によって取得された罫線情報と、第１文字領域認定部１５によって認定された文字領域とに基づいて、部分画像において文字と罫線とが干渉（接触もしくは重合）しているか否かを判断する（ステップＣ３０）。

そして、部分画像において文字と罫線とが干渉（接触もしくは重合）しているか否かの判断結果に基づいて（ステップＣ４０）、文字と罫線とが干渉している場合には（ステップＣ４０のＹＥＳルート，図１２参照）、ステップＣ１０における罫線の削除により、部分的に欠落した文字画像が形成される（図１３参照）。文字画像復元部１９は、文字画像の復元を行なうとともに（ステップＣ５０，図１４参照）、その文字罫線との境界部分（図１５（ａ）参照）をスプライン曲線により補完することによりなめらかな文字画像を作成する（ステップＣ６０，図１５（ｂ）参照）。一方、文字と罫線とが干渉していない場合には（ステップＣ４０のＮＯルート参照）、処理を終了する。

第２文字領域認定部２０は、第２罫線除去画像において、背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定するものであり、文字認識部２１は、第２文字領域認定部２０によって認定された文字領域について、文字画像復元部１９によって復元された文字画像を２値化して文字認識を行なうものであり、例えば公知のＯＣＲ手法によって実現されるものである。

上述の如く構成された、本発明の一実施形態としての帳票認識装置１における文字認識処理を、図１７に示すフローチャート（ステップＤ１０〜Ｄ８０）に従って説明する。
先ず、背景認定部１３が、色相クラスタ分類等を用いて背景色を求め（ステップＤ１０；背景認定ステップ）、罫線抽出部１４が罫線情報を抽出する（ステップＤ２０；文字外線分認定ステップ）。そして、罫線除去部１７が、部分画像において罫線を除去（１次除去）することにより第１罫線除去画像を作成し（ステップＤ３０；第１文字外線分除去画像作成ステップ）、第１文字領域認定部１５が、罫線除去部１７によって作成された第１罫線除去画像において文字領域を認定するとともに、その文字の色相を認定する（ステップＤ４０；第１文字領域認定ステップ）。

拡大画像作成部１６が、部分画像に基づいて拡大画像を作成し（ステップＤ５０；拡大画像作成ステップ）、罫線除去部１７が、この拡大画像において罫線除去（２次除去）を行なうことにより、第２罫線除去画像を作成する（ステップＤ６０；第２文字外線分除去画像作成ステップ）。又、この際、干渉判断部１８により文字と罫線とが干渉していると判断された場合には（干渉判断ステップ）、文字画像復元部１９が、２次除去によって部分的に欠落した文字画像の復元を行なう（文字画像復元ステップ）。

その後、第２文字領域認定部２０が、文字領域の認定（抽出）を行ない（ステップＤ７０；第２文字領域認定ステップ）、文字認識部２１が、この第２文字領域認定部２０によって認定された文字領域について、文字画像を２値化して文字認識を行なう（ステップＤ８０；文字認識ステップ）。
本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。

例えば、上述した実施形態においては、カラー帳票のイメージデータをカラー画像として取得し、その階調値（Ｒ，Ｇ，Ｂ）や、色相，輝度等を色成分や色情報として用いて、背景や罫線，文字画像の抽出を行なっているが、これに限定されるものではなく、カラー帳票のイメージデータをグレースケールデータ（単色の多階調画像）として取得し、その輝度を色情報として用いて背景や罫線，文字画像の抽出等を行なってもよい。

このように、カラー帳票のイメージデータをグレースケールデータとして取得する場合には、色相に代えて輝度（輝度階調）を色情報として用いることにより、上述した実施形態と同様の作用効果を得ることができる。又、図６に示した背景認定部１３による背景色の決定手法をグレースケールイメージに基づいて行なう場合には、背景用ヒストグラムの輝度ヒストグラムのみ作成する。

ここで、本発明の一実施形態としての帳票認識装置１における帳票認識にかかる処理を図１８に示すフローチャート（ステップＥ１０〜Ｅ８０）に従って説明する。本例においては、カラー帳票のイメージデータをカラー画像（カラーイメージ）で処理する場合と、カラー帳票のイメージデータをグレースケール画像（グレースケールイメージ）で処理する場合との２種類の手法の内から一方を選択して実施することができる。

カラー帳票のイメージデータをカラー画像（カラーイメージ）で処理する場合には、帳票認識装置１は、先ず、カラーイメージリーダ２によりカラー帳票のカラー画像を取得し（ステップＥ１０）、この取得したカラー画像（Ｒ，Ｇ，Ｂ）からグレースケール画像（輝度）への変換を行なう（ステップＥ２０）。なお、カラー画像のＲ，Ｇ，Ｂの各値から輝度Ｙを求める変換式には、例えば以下の式を用いることができる。

Ｙ（輝度）＝Ｒ×０．２９８９１２＋Ｇ×０．５８６６１１＋Ｂ×０．１１４４７８
その後、グレースケールイメージ（輝度）を２値イメージへの変換を行なう（ステップＥ３０）。なお、グレースケールイメージから２値イメージへの変換（２値イメージ化）は、固定スライス法等の既知の手法を用いることにより実現することができる。
一方、カラー帳票のイメージデータをグレースケールで処理する場合には、帳票認識装置１は、カラーイメージリーダ２によりカラー帳票のグレースケール画像を取得し（ステップＥ８０）、ステップＥ３０に移行する。

その後、レイアウト解析部１１が、例えば特許第３０８８０１９号に開示された手法を用いて、ステップＥ３０において作成された２値化イメージに基づいて、罫線レイアウト情報の抽出を行なうとともに（ステップＥ４０）、抽出したレイアウト情報と事前登録データベース２２に予め登録されている罫線レイアウト情報とを照合して、文字認識の定義情報を取得する（ステップＥ５０；レイアウト解析ステップ）。

そして、部分画像作成部１２が、ステップＥ５０において取得した定義情報に基づいて、帳票のイメージデータ（原画；カラーイメージもしくはグレースケールイメージ）上の座標を求めて、文字認識を行なう部分画像（部分イメージ）を作成する（ステップＥ６０；原画像作成ステップ）。その後、この作成された部分画像について、背景認定部１３，罫線抽出部１４，第１文字領域認定部１５，拡大画像作成部１６，罫線除去部１７，干渉判断部１８，文字画像復元部１９，第２文字領域認定部２０および文字認識部２１による文字認識処理（図１７参照）を行なう（ステップＥ７０）。

上述の如く、本発明の一実施形態としての帳票認識装置１によれば、カラー帳票のイメージデータをカラー画像として取得し、その階調値（Ｒ，Ｇ，Ｂ）や、色相，輝度等を色成分や色情報として用いて、背景や罫線，文字画像の抽出を行なうことにより、文字認識の阻害要件となり得る、罫線，背景，ガイド文字等を除去し、ノイズの無い文字認識イメージを抽出して、ＯＣＲ認識を可能な帳票種類を拡大するとともに、文字認識精度を向上させることができる。

また、背景認定部１３が部分画像における色相の分散量や出現頻度（色相ヒストグラム）に基づいて背景画素を容易且つ高速に検出することができ、又、罫線抽出部１４（罫線位置推定部２３）が、部分画像の縦方向と横方向とについて、それぞれ、背景領域を構成する画素とは異なる色情報を有する画素の度数分布を求め、その結果において所定値以上の度数を有する位置を罫線の候補位置と認定することにより、罫線の位置を容易且つ高速に認定することができる。

さらに、罫線抽出部１４（色相特定部２４）が、罫線位置推定部２３によって認定された罫線の候補位置における色相ヒストグラムに基づいてその罫線にかかる色相を特定することにより、罫線の色相を容易且つ高速に特定することができる。
また、罫線抽出部１４（罫線情報取得部２５）が、色相特定部２４によって特定された色相と同一の色相にかかる画素の連続性に基づいて罫線に関する罫線情報を取得することにより、罫線（罫線情報）を容易かつ確実に特定することができる。

第１文字領域認定部１５が、罫線除去部１７によって作成された第１罫線除去画像において、文字領域やその色相（輝度）を容易且つ高速に認定することができる。
拡大画像作成部１６が、サブピクセル化手法により部分画像に基づいて拡大画像を作成し、この拡大画像に基づいて罫線除去や文字画像の復元を行なうので、文字画像と罫線とが干渉（重合）している場合においても、高精度な文字画像を抽出することができ、文字の認識精度を向上させることができる。

（Ｂ）その他
本帳票認識装置１においては、情報処理装置（コンピュータ）のＣＰＵ（Central Processing Unit）が、文字認識プログラム（媒体処理プログラム）を実行することにより、上述した、レイアウト解析部１１，部分画像作成部（原画像作成部）１２，背景認定部１３，罫線抽出部（文字外線分認定部）１４，第１文字領域認定部１５，拡大画像作成部１６，罫線除去部（第１文字外線分除去画像作成部，第２文字外線分除去画像作成部）１７，干渉判断部１８，文字画像復元部１９，第２文字領域認定部２０，文字認識部２１として機能するようになっている。

なお、これらのレイアウト解析部１１，部分画像作成部（原画像作成部）１２，背景認定部１３，罫線抽出部（文字外線分認定部）１４，第１文字領域認定部１５，拡大画像作成部１６，罫線除去部（第１文字外線分除去画像作成部，第２文字外線分除去画像作成部）１７，干渉判断部１８，文字画像復元部１９，第２文字領域認定部２０，文字認識部２１としての機能を実現するためのプログラム（文字認識プログラム，媒体処理プログラム）は、例えばフレキシブルディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−Ｒ／Ｗ，ＤＶＤ，ＤＶＤ−Ｒ，ＤＶＤ−Ｒ／Ｗ，磁気ディスク，光ディスク，光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。

レイアウト解析部１１，部分画像作成部（原画像作成部）１２，背景認定部１３，罫線抽出部（文字外線分認定部）１４，第１文字領域認定部１５，拡大画像作成部１６，罫線除去部（第１文字外線分除去画像作成部，第２文字外線分除去画像作成部）１７，干渉判断部１８，文字画像復元部１９，第２文字領域認定部２０，文字認識部２１としての機能を実現する際には、内部記憶装置（本実施形態ではコンピュータのＲＡＭやＲＯＭ，ハードディスク等）に格納されたプログラムがコンピュータのマイクロプロセッサ（本実施形態ではＣＰＵ１０）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。

なお、本実施形態において、コンピュータとは、ハードウェアとオペレーティングシステムとを含む概念であり、オペレーティングシステムの制御の下で動作するハードウェアを意味している。又、オペレーティングシステムが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえており、本実施形態においては、帳票認識装置１がコンピュータとしての機能を有しているのである。

さらに、本実施形態における記録媒体としては、上述したフレキシブルディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−Ｒ／Ｗ，ＤＶＤ，ＤＶＤ−Ｒ，ＤＶＤ−Ｒ／Ｗ，磁気ディスク，光ディスク，光磁気ディスクのほか、ＩＣカード，ＲＯＭカートリッジ，磁気テープ，パンチカード，コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ），外部記憶装置等や、バーコードなどの符号が印刷された印刷物等のコンピュータ読取可能な種々の媒体を利用することができる。

図１９は本発明の一実施形態としての帳票認識装置１における色相クラスタ分類手法を説明するための図であり、図２（ａ）に示した帳票の部分画像についての色相ヒストグラムの例を示す図である。
図２（ａ）に示す画像の同一の色相成分の色相ヒストグラムを作成すると、図１９に示すように、入力された文字（図２（ｂ）参照）の青の画素の色相ヒストグラム（図１９の符号（i）参照）と、プレ印刷部分（図２（ｃ）参照）の赤の画素の色相ヒストグラム（図１９の符号（ii）参照）が作成できる。なお、図１９の横軸は色相値、縦軸は色相値の出現回数を示している。

本帳票認識装置１においては、カラー帳票のイメージデータをカラー画像で処理する場合に、このような色相クラスタ分類を行なうことにより、背景部分や文字部分，プレ印刷部分の判定（色相分離，色相処理）を可能としている。
なお、数種類の色で印刷された帳票等の原稿をスキャナーで読み取った場合、読み取った画像は、図１９に示すように印刷されたインクの濃淡のむら等により、色相値がわずかに異なる画素データが生成され、出現回数のピーク値の近傍に複数のピーク値が検出される。そこで、本実施の形態においては、同一色相の一定の色相値の幅の中に存在するピーク値を１つに統合している。その際、色相値の幅（図１９のヒストグラムの横軸）が色相により異なるので、ピーク値の統合の基準となる幅を色相により個別に定めた統合判定テーブルを作成し、その統合判定テーブルを参照してピーク値を統合してもよい。

また、図２０は本発明の一実施形態としての帳票認識装置１における輝度クラスタ分類手法を説明するための図であり、図２（ａ）に示した帳票の部分画像についての輝度ヒストグラムの例を示す図である。
図２（ａ）に示す画像の同一の輝度成分の輝度ヒストグラムを作成すると、図２０に示すように、入力された文字（図２（ｂ）参照）の輝度についての輝度ヒストグラム（図２０の符号（i）参照）と、プレ印刷部分（図２（ｃ）参照）の輝度の輝度ヒストグラム（図２０の符号（ii）参照）および、背景部分（図２（ｄ）参照）の輝度の輝度ヒストグラム（図２０の符号（iii）参照）が作成できる。なお、図２０の横軸は輝度値、縦軸は輝度値の出現回数を示している。

本帳票認識装置１においては、カラー帳票のイメージデータをグレースケール画像で処理する場合に、このような輝度クラスタ分類を行なうことにより、背景部分や文字部分，プレ印刷部分の判定（グレー処理）を可能としている。
なお、本発明の各実施形態が開示されていれば、本発明を当業者によって実施・製造することが可能である。

（Ｃ）付記
（付記１） 文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識装置であって、
該原画像における色成分の分散量と色情報に関する度数分布とに基づいて背景領域を認定する背景認定部と、
該原画像における、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布と、互いに同一の色特性を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定部と、
該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景
と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、
該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色特性を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、
該原画像に基づいて拡大画像を作成する拡大画像作成部と、
該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、
該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、
該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像の復元を行なう文字画像復元部と、
該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色特性を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、
該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部とをそなえることを特徴とする、文字認識装置。

（付記２） 該文字外線分認定部が、
該原画像の縦方向と横方向とについて、それぞれ、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布を求め、その結果において所定値以上の度数を有する位置を文字外線分候補位置と認定する文字外線分位置推定部と、
該文字外線分位置推定部によって認定された文字外線分候補位置における色情報にかかる度数分布に基づいて該文字外線分にかかる色情報を特定する色情報特定部と、
該色情報特定部によって特定された該色情報と同一の色情報にかかる画素の連続性に基づいて該文字外線分に関する文字外線分情報を取得する文字外線分情報取得部とをそなえることを特徴とする、付記１記載の文字認識装置。

（付記３） 該文字画像復元部が、
該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像における文字輪郭をスプライン曲線で形成するとともに、
該文字輪郭によって囲まれる領域を前記文字画像にかかる色情報と同一の色情報を有する画素で埋めることを特徴とする、付記１又は付記２記載の文字認識装置。

（付記４） 文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識方法であって、
該原画像における色成分の分散量と色情報に関する度数分布とに基づいて背景領域を認定する背景認定ステップと、
該原画像における、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布と、互いに同一の色特性を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定ステップと、
該原画像において、該文字外線分認定ステップにおいて認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除
去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成ステップと、
該第１文字外線分除去画像作成ステップにおいて作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色特性を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定ステップと、
該原画像に基づいて拡大画像を作成する拡大画像作成ステップと、
該拡大画像作成ステップにおいて作成した該拡大画像において、該文字外線分認定ステップにおいて取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成ステップと、
該文字外線分認定ステップにおいて取得された文字外線分情報と、該第１文字領域認定ステップにおいて認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断ステップと、
該干渉判断ステップにおいて該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像の復元を行なう文字画像復元ステップと、
該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色特性を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定ステップと、
該第２文字領域認定ステップにおいて認定された文字領域を２値化して文字認識を行なう文字認識ステップとをそなえることを特徴とする、文字認識方法。

（付記５） 該文字外線分認定ステップが、
該原画像の縦方向と横方向とについて、それぞれ、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布を求め、その結果において所定値以上の度数を有する位置を文字外線分候補位置と認定する文字外線分位置推定ステップと、
該文字外線分位置推定ステップにおいて認定された文字外線分候補位置における色情報にかかる度数分布に基づいて該文字外線分にかかる色情報を特定する色情報特定ステップと、
該色情報特定ステップにおいて特定された該色情報と同一の色情報にかかる画素の連続性に基づいて該文字外線分に関する文字外線分情報を取得する文字外線分情報取得ステップとをそなえることを特徴とする、付記４記載の文字認識方法。

（付記６） 該文字画像復元ステップにおいて、
該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像における文字輪郭をスプライン曲線で形成するとともに、
該文字輪郭によって囲まれる領域を前記文字画像にかかる色情報と同一の色情報を有する画素で埋めることを特徴とする、付記４又は付記５記載の文字認識方法。

（付記７） 文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識機能をコンピュータに実行させるための文字認識プログラムであって、
該原画像における色成分の分散量と色情報に関する度数分布とに基づいて背景領域を認定する背景認定部と、
該原画像における、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布と、互いに同一の色特性を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定部と、
該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景
と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、
該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色特性を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、
該原画像に基づいて拡大画像を作成する拡大画像作成部と、
該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、
該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、
該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像の復元を行なう文字画像復元部と、
該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色特性を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、
該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部として、該コンピュータを機能させることを特徴とする、文字認識プログラム。

（付記８） 該文字外線分認定部として該コンピュータを機能させる際に、
該原画像の縦方向と横方向とについて、それぞれ、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布を求め、その結果において所定値以上の度数を有する位置を文字外線分候補位置と認定する文字外線分位置推定部と、
該文字外線分位置推定部によって認定された文字外線分候補位置における色情報にかかる度数分布に基づいて該文字外線分にかかる色情報を特定する色情報特定部と、
該色情報特定部によって特定された該色情報と同一の色情報にかかる画素の連続性に基づいて該文字外線分に関する文字外線分情報を取得する文字外線分情報取得部として該コンピュータを機能させることを特徴とする、付記７記載の文字認識プログラム。

（付記９） 該文字画像復元部として該コンピュータを機能させる際に、
該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像における文字輪郭をスプライン曲線で形成するとともに、
該文字輪郭によって囲まれる領域を前記文字画像にかかる色情報と同一の色情報を有する画素で埋めるように該コンピュータを機能させることを特徴とする、付記７又は付記８記載の文字認識プログラム。

（付記１０） 文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識機能をコンピュータに実行させるための文字認識プログラムを記録したコンピュータ読取可能な記録媒体であって、
該文字認識プログラムが、
該原画像における色成分の分散量と色情報に関する度数分布とに基づいて背景領域を認定する背景認定部と、
該原画像における、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布と、互いに同一の色特性を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得す
る文字外線分認定部と、
該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、
該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色特性を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、
該原画像に基づいて拡大画像を作成する拡大画像作成部と、
該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、
該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、
該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像の復元を行なう文字画像復元部と、
該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色特性を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、
該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部として、該コンピュータを機能させることを特徴とする、文字認識プログラムを記録したコンピュータ読取可能な記録媒体。

（付記１１） 該文字認識プログラムが、該文字外線分認定部として該コンピュータを機能させる際に、
該原画像の縦方向と横方向とについて、それぞれ、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布を求め、その結果において所定値以上の度数を有する位置を文字外線分候補位置と認定する文字外線分位置推定部と、
該文字外線分位置推定部によって認定された文字外線分候補位置における色情報にかかる度数分布に基づいて該文字外線分にかかる色情報を特定する色情報特定部と、
該色情報特定部によって特定された該色情報と同一の色情報にかかる画素の連続性に基づいて該文字外線分に関する文字外線分情報を取得する文字外線分情報取得部として該コンピュータを機能させることを特徴とする、付記１０記載の文字認識プログラムを記録したコンピュータ読取可能な記録媒体。

（付記１２） 文字が記載された媒体から読み取った媒体画像に基づいて、文字認識を行なう媒体処理装置であって、
該媒体画像に基づいて、該媒体画像のレイアウトの特徴を抽出して該レイアウトの構成を解析するレイアウト解析部と、
該レイアウト解析部による解析結果に基づいて、文字認識を行なう対象となる文字画像をそなえた原画像を作成する原画像作成部と、
該原画像における色成分の分散量と色情報に関する度数分布とに基づいて背景領域を認定する背景認定部と、
該原画像における、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布と、互いに同一の色特性を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定部と、
該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、
該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色特性を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、
該原画像に基づいて拡大画像を作成する拡大画像作成部と、
該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、
該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、
該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像の復元を行なう文字画像復元部と、
該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色特性を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、
該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部とをそなえることを特徴とする、媒体処理装置。

（付記１３） 該文字外線分認定部が、
該原画像の縦方向と横方向とについて、それぞれ、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布を求め、その結果において所定値以上の度数を有する位置を文字外線分候補位置と認定する文字外線分位置推定部と、
該文字外線分位置推定部によって認定された文字外線分候補位置における色情報にかかる度数分布に基づいて該文字外線分にかかる色情報を特定する色情報特定部と、
該色情報特定部によって特定された該色情報と同一の色情報にかかる画素の連続性に基づいて該文字外線分に関する文字外線分情報を取得する文字外線分情報取得部とをそなえることを特徴とする、付記１２記載の媒体処理装置。

（付記１４） 文字が記載された媒体から読み取った媒体画像に基づいて、文字認識を行なう媒体処理方法であって、
該媒体画像に基づいて、該媒体画像のレイアウトの特徴を抽出して該レイアウトの構成を解析するレイアウト解析ステップと、
該レイアウト解析ステップにおける解析結果に基づいて、文字認識を行なう対象となる文字画像をそなえた原画像を作成する原画像作成ステップと、
該原画像における色成分の分散量と色情報に関する度数分布とに基づいて背景領域を認定する背景認定ステップと、
該原画像における、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布と、互いに同一の色特性を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定ステップと、
該原画像において、該文字外線分認定ステップにおいて認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成ステップと、
該第１文字外線分除去画像作成ステップにおいて作成された該第１文字外線分除去画像
において、該背景領域以外の領域であって、互いに同一の色特性を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定ステップと、
該原画像に基づいて拡大画像を作成する拡大画像作成ステップと、
該拡大画像作成ステップにおいて作成した該拡大画像において、該文字外線分認定ステップにおいて取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成ステップと、
該文字外線分認定ステップにおいて取得された文字外線分情報と、該第１文字領域認定ステップにおいて認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断ステップと、
該干渉判断ステップにおいて該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像の復元を行なう文字画像復元ステップと、
該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色特性を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定ステップと、
該第２文字領域認定ステップにおいて認定された文字領域を２値化して文字認識を行なう文字認識ステップとをそなえることを特徴とする、媒体処理方法。

（付記１５） 該文字外線分認定ステップが、
該原画像の縦方向と横方向とについて、それぞれ、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布を求め、その結果において所定値以上の度数を有する位置を文字外線分候補位置と認定する文字外線分位置推定ステップと、
該文字外線分位置推定ステップにおいて認定された文字外線分候補位置における色情報にかかる度数分布に基づいて該文字外線分にかかる色情報を特定する色情報特定ステップと、
該色情報特定ステップにおいて特定された該色情報と同一の色情報にかかる画素の連続性に基づいて該文字外線分に関する文字外線分情報を取得する文字外線分情報取得ステップとをそなえることを特徴とする、付記１４記載の媒体処理方法。

（付記１６） 文字が記載された媒体から読み取った媒体画像に基づいて、文字認識を行なう媒体処理機能をコンピュータに実行させるための媒体処理プログラムであって、
該媒体画像に基づいて、該媒体画像のレイアウトの特徴を抽出して該レイアウトの構成を解析するレイアウト解析部と、
該レイアウト解析部による解析結果に基づいて、文字認識を行なう対象となる文字画像をそなえた原画像を作成する原画像作成部と、
該原画像における色成分の分散量と色情報に関する度数分布とに基づいて背景領域を認定する背景認定部と、
該原画像における、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布と、互いに同一の色特性を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定部と、
該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、
該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色特性を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、
該原画像に基づいて拡大画像を作成する拡大画像作成部と、
該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、
該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、
該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像の復元を行なう文字画像復元部と、
該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色特性を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、
該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部として、該コンピュータを機能させることを特徴とする、媒体処理プログラム。

（付記１７） 該文字外線分認定部として該コンピュータを機能させる際に、
該原画像の縦方向と横方向とについて、それぞれ、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布を求め、その結果において所定値以上の度数を有する位置を文字外線分候補位置と認定する文字外線分位置推定部と、
該文字外線分位置推定部によって認定された文字外線分候補位置における色情報にかかる度数分布に基づいて該文字外線分にかかる色情報を特定する色情報特定部と、
該色情報特定部によって特定された該色情報と同一の色情報にかかる画素の連続性に基づいて該文字外線分に関する文字外線分情報を取得する文字外線分情報取得部として該コンピュータを機能させることを特徴とする、付記１６記載の媒体処理プログラム。

（付記１８） 文字が記載された媒体から読み取った媒体画像に基づいて、文字認識を行なう媒体処理機能をコンピュータに実行させるための媒体処理プログラムを記録したコンピュータ読取可能な記録媒体であって、
該媒体処理プログラムが、
該媒体画像に基づいて、該媒体画像のレイアウトの特徴を抽出して該レイアウトの構成を解析するレイアウト解析部と、
該レイアウト解析部による解析結果に基づいて、文字認識を行なう対象となる文字画像をそなえた原画像を作成する原画像作成部と、
該原画像における色成分の分散量と色情報に関する度数分布とに基づいて背景領域を認定する背景認定部と、
該原画像における、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布と、互いに同一の色特性を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定部と、
該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、
該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色特性を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、
該原画像に基づいて拡大画像を作成する拡大画像作成部と、
該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する
背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、
該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、
該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像の復元を行なう文字画像復元部と、
該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色特性を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、
該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部として、該コンピュータを機能させることを特徴とする、媒体処理プログラムを記録したコンピュータ読取可能な記録媒体。

（付記１９） 該媒体処理プログラムが、該文字外線分認定部として該コンピュータを機能させる際に、
該原画像の縦方向と横方向とについて、それぞれ、該背景領域を構成する画素とは異なる色情報を有する画素の度数分布を求め、その結果において所定値以上の度数を有する位置を文字外線分候補位置と認定する文字外線分位置推定部と、
該文字外線分位置推定部によって認定された文字外線分候補位置における色情報にかかる度数分布に基づいて該文字外線分にかかる色情報を特定する色情報特定部と、
該色情報特定部によって特定された該色情報と同一の色情報にかかる画素の連続性に基づいて該文字外線分に関する文字外線分情報を取得する文字外線分情報取得部として該コンピュータを機能させることを特徴とする、付記１８記載の媒体処理プログラムを記録したコンピュータ読取可能な記録媒体。

（付記２０） 該媒体処理プログラムが、該文字画像復元部として該コンピュータを機能させる際に、
該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色情報と該文字外線分にかかる色情報との相違に基づいて該文字画像における文字輪郭をスプライン曲線で形成するとともに、
該文字輪郭によって囲まれる領域を前記文字画像にかかる色情報と同一の色情報を有する画素で埋めるように該コンピュータを機能させることを特徴とする、付記１８又は付記１９記載の媒体処理プログラムを記録したコンピュータ読取可能な記録媒体。

複数色を用いて作成されたカラー原稿に記載された文字情報の認識にも適用できる。

本発明の一実施形態としての帳票認識装置の構成を模式的に示す図である。 （ａ），（ｂ），（ｃ），（ｄ）はそれぞれ本帳票認識装置によって識別される帳票を説明するための図である。 赤の色の彩度Ｓと明度Ｌとの関係を示す図である。 （ａ）,（ｂ）はそれぞれ本発明の一実施形態としての帳票認識装置の背景認定部１３によって作成される背景用ヒストグラムの例を示す図である。 （ａ），（ｂ）はそれぞれ本発明の一実施形態としての帳票認識装置の背景認定部１３によって作成される背景以外用ヒストグラムの例を示す図である。 本発明の一実施形態としての帳票認識装置の背景認定部による背景色の決定手法を説明するためのフローチャートである。 （ａ），（ｂ），（ｃ）は部分画像の縦方向および横方向におけるヒストグラムの例を示す図である。 本発明の一実施形態としての帳票認識装置における罫線（横線分）の作成手法を説明するための図である。 （ａ），（ｂ）はそれぞれ本発明の一実施形態としての帳票認識装置における罫線（横線分）の作成手法を説明するための図である。 本発明の一実施形態としての帳票認識装置における罫線抽出部による罫線情報の抽出手法を説明するためのフローチャートである。 （ａ），（ｂ）は本発明の一実施形態としての帳票認識装置の拡大画像作成部による拡大画像の作成手法の例を説明するための図である。 本発明の一実施形態としての帳票認識装置の罫線除去の過程における文字画像の例を示す図である。 本発明の一実施形態としての帳票認識装置の罫線除去の過程における文字画像の例を示す図である。 本発明の一実施形態としての帳票認識装置の罫線除去の過程における文字画像の例を示す図である。 （ａ），（ｂ）は本発明の一実施形態としての帳票認識装置の罫線除去の過程における文字画像の例を示す図である。 本発明の一実施形態としての帳票認識装置における罫線除去から文字画像の復元にかけての処理を説明するためのフローチャートである。 本発明の一実施形態としての帳票認識装置における文字認識処理を説明するためのフローチャートである。 本発明の一実施形態としての帳票認識装置における帳票認識にかかる処理を説明するためのフローチャートである。 本発明の一実施形態としての帳票認識装置における色相クラスタ分類手法を説明するための図である。 本発明の一実施形態としての帳票認識装置における輝度クラスタ分類手法を説明するための図である。

符号の説明

１ 帳票認識装置（媒体処理装置，文字認識装置）
２ カラーイメージリーダ
３ メモリ
４ ハードディスク
５ モニタ
６ キーボード
１０ ＣＰＵ
１１ レイアウト解析部
１２ 部分画像作成部（原画像作成部）
１３ 背景認定部
１４ 罫線抽出部（文字外線分認定部）
１５ 第１文字領域認定部
１６ 拡大画像作成部
１７ 罫線除去部（第１文字外線分除去画像作成部，第２文字外線分除去画像作成部）
１８ 干渉判断部
１９ 文字画像復元部
２０ 第２文字領域認定部
２１ 文字認識部
２２ 事前登録データベース
２３ 罫線位置推定部（文字外線分位置推定部）
２４ 色相特定部（色情報特定部）
２５ 罫線情報取得部（文字外線分情報取得部）

Claims (10)

1. 文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識装置であって、
   該原画像における所定サイズの領域を構成する各画素のＲ，Ｇ，Ｂの各色の階調値に基づいて算出した色値分散量に基づいて背景領域を認定し、色相又は輝度に関する度数分布に基づいて背景色を認定する背景認定部と、
   該原画像における、該背景領域を構成する画素とは異なる色相又は輝度を有する画素の度数分布と、互いに同一の色相を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定部と、
   該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、
   該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色相を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、
   該原画像に基づいて拡大画像を作成する拡大画像作成部と、
   該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、
   該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、
   該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部とをそなえることを特徴とする、文字認識装置。
2. 該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、
   該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色相又は輝度と該文字外線分にかかる色相又は輝度との相違に基づいて該第２文字外線分除去画像の復元を行なう文字画像復元部とをそなえ、
   該第２文字領域認定部が、
   該文字画像復元部によって復元された該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定することを特徴とする、請求項１記載の文字認識装置。
3. 文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識方法であって、
   該原画像における所定サイズの領域を構成する各画素のＲ，Ｇ，Ｂの各色の階調値に基づいて算出した色値分散量に基づいて背景領域を認定し、色相又は輝度に関する度数分布に基づいて背景色を認定する背景認定ステップと、
   該原画像における、該背景領域を構成する画素とは異なる色相又は輝度を有する画素の度数分布と、互いに同一の色相を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定ステップと、
   該原画像において、該文字外線分認定ステップにおいて認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成ステップと、
   該第１文字外線分除去画像作成ステップにおいて作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色相を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定ステップと、
   該原画像に基づいて拡大画像を作成する拡大画像作成ステップと、
   該拡大画像作成ステップにおいて作成した該拡大画像において、該文字外線分認定ステ
   ップにおいて取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成ステップと、
   該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定ステップと、
   該第２文字領域認定ステップにおいて認定された文字領域を２値化して文字認識を行なう文字認識ステップとをそなえることを特徴とする、文字認識方法。
4. 該文字外線分認定ステップにおいて取得された文字外線分情報と、該第１文字領域認定ステップにおいて認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断ステップと、
   該干渉判断ステップにおいて該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色相又は輝度と該文字外線分にかかる色相又は輝度との相違に基づいて該第２文字外線分除去画像の復元を行なう文字画像復元ステップとをそなえ、
   該第２文字領域認定ステップにおいて、
   該文字画像復元ステップにおいて復元された該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定することを特徴とする、請求項３記載の文字認識方法。
5. 文字が記載された媒体から読み取った媒体画像に基づいて、文字認識を行なう媒体処理方法であって、
   該媒体画像に基づいて、該媒体画像のレイアウトの特徴を抽出して該レイアウトの構成を解析するレイアウト解析ステップと、
   該レイアウト解析ステップにおける解析結果に基づいて、文字認識を行なう対象となる文字画像をそなえた原画像を作成する原画像作成ステップと、
   該原画像における所定サイズの領域を構成する各画素のＲ，Ｇ，Ｂの各色の階調値に基づいて算出した色値分散量に基づいて背景領域を認定し、色相又は輝度に関する度数分布に基づいて背景色を認定する背景認定ステップと、
   該原画像における、該背景領域を構成する画素とは異なる色相又は輝度を有する画素の度数分布と、互いに同一の色相を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定ステップと、
   該原画像において、該文字外線分認定ステップにおいて認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成ステップと、
   該第１文字外線分除去画像作成ステップにおいて作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色相を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定ステップと、
   該原画像に基づいて拡大画像を作成する拡大画像作成ステップと、
   該拡大画像作成ステップにおいて作成した該拡大画像において、該文字外線分認定ステップにおいて取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成ステップと、
   該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定ステップと、
   該第２文字領域認定ステップにおいて認定された文字領域を２値化して文字認識を行な
   う文字認識ステップとをそなえることを特徴とする、媒体処理方法。
6. 該文字外線分認定ステップにおいて取得された文字外線分情報と、該第１文字領域認定ステップにおいて認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断ステップと、
   該干渉判断ステップにおいて該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色相又は輝度と該文字外線分にかかる色相又は輝度との相違に基づいて該第２文字外線分除去画像の復元を行なう文字画像復元ステップとをそなえ、
   該第２文字領域認定ステップにおいて、
   該文字画像復元ステップにおいて復元された該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定することを特徴とする、請求項５記載の媒体処理方法。
7. 文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識機能をコンピュータに実行させるための文字認識プログラムであって、
   該原画像における所定サイズの領域を構成する各画素のＲ，Ｇ，Ｂの各色の階調値に基づいて算出した色値分散量に基づいて背景領域を認定し、色相又は輝度に関する度数分布に基づいて背景色を認定する背景認定部と、
   該原画像における、該背景領域を構成する画素とは異なる色相又は輝度を有する画素の度数分布と、互いに同一の色相を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定部と、
   該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、
   該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色相を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、
   該原画像に基づいて拡大画像を作成する拡大画像作成部と、
   該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、
   該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、
   該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部として、該コンピュータを機能させることを特徴とする、文字認識プログラム。
8. 該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、
   該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色相又は輝度と該文字外線分にかかる色相又は輝度との相違に基づいて該第２文字外線分除去画像の復元を行なう文字画像復元部として該コンピュータを機能させるとともに、
   該第２文字領域認定部として該コンピュータを機能させる際に、
   該文字画像復元部によって復元された該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定することを特徴とする、請求項７記載の文字認識プログラム。
9. 文字画像を含む原画像から該文字画像を抽出し、当該文字画像にかかる文字を認識する文字認識機能をコンピュータに実行させるための文字認識プログラムを記録したコンピュータ読取可能な記録媒体であって、
   該文字認識プログラムが、
   該原画像における所定サイズの領域を構成する各画素のＲ，Ｇ，Ｂの各色の階調値に基づいて算出した色値分散量に基づいて背景領域を認定し、色相又は輝度に関する度数分布に基づいて背景色を認定する背景認定部と、
   該原画像における、該背景領域を構成する画素とは異なる色相又は輝度を有する画素の度数分布と、互いに同一の色相を有する画素が所定数以上連続する連続画素とに基づいて該文字以外の文字外線分を認定するとともに、該文字外線分に関する文字外線分情報を取得する文字外線分認定部と、
   該原画像において、該文字外線分認定部によって認定された該文字外線分を、該背景と同じ色成分を有する画素で置換することにより、該原画像から該文字外線分を除去した第１文字外線分除去画像を作成する第１文字外線分除去画像作成部と、
   該第１文字外線分除去画像作成部によって作成された該第１文字外線分除去画像において、該背景領域以外の領域であって、互いに同一の色相を有する画素が所定数以上連続する連続画素を含む領域を文字領域として認定する第１文字領域認定部と、
   該原画像に基づいて拡大画像を作成する拡大画像作成部と、
   該拡大画像作成部によって作成された該拡大画像において、該文字外線分認定部によって取得された該文字外線分情報に基づいて、該文字外線分を該背景と同じ色成分を有する背景画素で置換することにより、当該拡大画像から該文字外線分を除去した第２文字外線分除去画像を作成する第２文字外線分除去画像作成部と、
   該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定する第２文字領域認定部と、
   該第２文字領域認定部によって認定された文字領域を２値化して文字認識を行なう文字認識部として、該コンピュータを機能させることを特徴とする、文字認識プログラムを記録したコンピュータ読取可能な記録媒体。
10. 該文字認識プログラムが、
    該文字外線分認定部によって取得された文字外線分情報と、該第１文字領域認定部によって認定された文字領域とに基づいて、該原画像において該文字と該文字外線分とが干渉しているか否かを判断する干渉判断部と、
    該干渉判断部によって該文字画像と該文字外線分とが干渉していると判断された場合に、該第２文字外線分除去画像における前記文字画像と文字外線分との干渉位置について、該文字画像にかかる色相又は輝度と該文字外線分にかかる色相又は輝度との相違に基づいて該第２文字外線分除去画像の復元を行なう文字画像復元部として該コンピュータを機能させるとともに、
    該第２文字領域認定部として該コンピュータを機能させる際に、
    該文字画像復元部によって復元された該第２文字外線分除去画像において、該背景領域以外の領域であって、同一の色相を有する画素が所定数以上連続する連続画素を含む所定サイズ以上の領域を文字領域として認定することを特徴とする、請求項９記載の文字認識プログラムを記録したコンピュータ読取可能な記録媒体。

Images