JP4867894B2 - 画像認識装置、画像認識方法及びプログラム - Google Patents

Description

本発明は、画像認識装置、画像認識方法及びプログラムに関する。

表面又は裏面に印刷がされた帳票などの書類上の文字をコンピュータ上のデータとして扱う場合、ＯＣＲ等からなるスキャナ等の文字認識装置１１を用いて、帳票上の文字を読取り、文字の認識を行なう。文字認識装置１１は、例えば、帳票１２上の認識対象領域内に記載された文字に対して読取りを行い、文字認識を行なう。

従来の文字認識装置１１は、図１に示すように、例えば、画像入力部１３と、レイアウト解析部１４と、フォーマットデータベース（以下、データベースをＤＢと略す。）が記録された記録部１５と、文字認識部１７と、出力形成部１８とを備える。なお、レイアウト解析部１４には、ＣＲＴ（cathode ray tube）などの表示装置、キーボード、マウスなどの入力装置１６が接続可能となっている。図１は、従来の文字認識装置１１を示すブロック図である。

ここで、画像入力部１３は、読取り対象である帳票１２からその記載内容を画像データとして読み取る。レイアウト解析部１４は、帳票１２上における認識対象領域の位置を解析する。また、レイアウト解析部１４は、画像入力部１３が読み取った画像データから特徴情報を抽出してフォーマットの作成をし、フォーマットをフォーマットＤＢとして記録部１５に記録する。レイアウト解析部１４は、フォーマットに基づいて認識対象領域内の画像データのみを抽出する。

記録部１５は、フォーマットＤＢを記録しており、フォーマットＤＢは、レイアウト解析部１４での解析に必要な情報、例えば、読取り対象である帳票１２の認識対象領域内の画像データのみを抽出するために用いられる。

文字認識部１７は、レイアウト解析部１４によって認識対象領域と判断された領域内の画像データに対し、文字認識を行なう。出力形成部１８は、文字認識部１７で認識された文字認識結果を、帳票１２上の認識対象領域内に記載された文字として、テキストデータ等として出力する。

次に、図２を参照して、従来のレイアウト解析部１４について更に詳しく説明する。図２は、従来のレイアウト解析部１４を示すブロック図である。レイアウト解析部１４は、制御部２１と、認識対象領域矩形座標設定部２２と、フォーマットＤＢ作成部２３と、フォーマットＤＢ解析部２４と、認識対象領域作成部２５と、ラベリング部２６と、雑音判断部２７と、雑音除去部２８などを有する。

制御部２１は、レイアウト解析部１４全体の制御手段を有する。認識対象領域矩形座標設定部２２は、入力装置１６の操作に基づいて、例えば矩形からなる認識対象領域の矩形座標を設定する。フォーマットＤＢ作成部２３は、画像入力部１３が読み取った画像データから特徴情報を抽出してフォーマットの作成をする。フォーマットＤＢ解析部２４は、認識対象領域内の画像データのみを抽出するため、フォーマットＤＢの解析を行なう。認識対象領域作成部２５は、認識対象領域の矩形座標に基づいて認識対象領域を作成する。ラベリング部２６は、４近傍ラベリング処理、８近傍ラベリング処理等のラベリング処理を行って、認識対象領域のラベルを抽出する。ラベルとは、黒画素の連続している領域のことを指し、ラベリング処理は画像から黒画素が連続している部分を抽出する処理のことを指す。１つの文字は、字の形状によって１つまたは複数のラベルで構成される。雑音判断部２７は、ラベルの幅と高さが閾値を下回る黒画素を雑音と判断する。雑音除去部２８は、雑音と判断された黒画素を除去する。

上記の構成を有する従来の文字認識装置１１の動作について説明する。まず、図３を参照して、従来の文字認識装置１１のフォーマットＤＢ作成処理について説明する。図３は、従来の文字認識装置１１のフォーマットＤＢ作成処理を示すフローチャートである。

まず、画像入力部１３が帳票１２、３２表面の画像データを読み取る（ステップＳ１１）。続いて、オペレータ（操作者）による操作を介して入力装置１６に認識対象領域矩形座標が入力されることによって、認識対象領域矩形座標設定部２２が、認識対象領域１９の矩形座標を設定する（ステップＳ１２）。そして、フォーマットＤＢ作成部２３が、フォーマットＤＢを作成し（ステップＳ１３）、記録部１５にフォーマットＤＢが記録される。

次に、図４及び図５を参照して、従来の文字認識装置１１の文字認識処理について説明する。図４は、従来の文字認識装置１１の文字認識処理を示すフローチャートである。図５は、従来の文字認識装置１１の文字認識処理で読み取られる帳票を示す説明図である。ここで読み取られる帳票１２は、表面に文字認識処理対象となる、例えば、金額などの数字等が記載され、裏面に文字認識処理対象としない罫線２０等が記載されているとする。

まず、画像入力部１３が、図５に示すような帳票１２の画像データを読み取る（ステップＳ２１）。続いてフォーマットＤＢ解析部２４が、記録部１５に記録されたフォーマットＤＢを読み込み、解析する（ステップＳ２２）。次に、認識対象領域作成部２５が、認識対象領域の矩形座標に基づいて認識対象領域１９を作成する（ステップＳ２３）。そして、図５に示すような認識対象領域１９に対して文字認識部１７が文字認識を行い（ステップＳ２４）、出力形成部１８が認識結果を出力する（ステップＳ２５）。

また、図６及び図７を参照して、従来の文字認識装置１１の別の文字認識処理について説明する。図６は、従来の文字認識装置１１の文字認識処理を示すフローチャートである。図７は、従来の文字認識装置１１の文字認識処理で読み取られる帳票を示す説明図である。ここで読み取られる帳票３２は、表面に文字認識処理対象となる、例えば、金額などの数字等が記載され、裏面に文字認識処理対象としない注意事項などの文字４０等が記載されているとする。

まず、上述した従来の文字認識装置１１と同様に、画像入力部１３が図７に示すような帳票３２表面の画像データを読み取り（ステップＳ３１）、続いてフォーマットＤＢ解析部２４が、記録部１５に記録されたフォーマットＤＢを読み込み、解析する（ステップＳ３２）。次に、ラベリング部２６が認識対象領域のラベルを抽出する（ステップＳ３３）。そして、雑音判断部２７及び雑音除去部２８が、予め設定された閾値よりも低い値を有するラベルを除去する（ステップＳ３４）。次に、認識対象領域作成部２５が、認識対象領域の矩形座標に基づいて認識対象領域３９を作成する（ステップＳ３５）。そして、図７に示すような認識対象領域に対して文字認識部１７が文字認識を行い（ステップＳ３６）、出力形成部１８が認識結果を出力する（ステップＳ３７）。このような雑音除去を行う技術として、例えば特許文献１のような孤立点ノイズ除去の技術がある。

特開平０９−２３８２０８号公報

ところで、表面及び裏面に印刷がされている帳票１２、３２などの書類上の文字をスキャナで読取り、文字を認識する際、帳票１２、３２の紙の厚さや印刷の濃さ等によっては、帳票１２、３２の表面上の文字を読み取りたい場合に裏面上の罫線２０や文字４０、模様等を同時に読み取ってしまう場合がある。

例えば、図５に示すように、帳票１２の裏面に罫線２０が印刷されていることによって、帳票１２の表面画像の認識対象領域１９に裏面の罫線２０が裏映りする場合がある。このとき、認識対象領域１９内の文字を正確に認識できないという問題があった。

また、図７に示すように、帳票１２の裏面に文字４０が印刷されていることによって、帳票１２の表面画像の認識対象領域３９に裏面の文字４０が裏映りする場合がある。このとき、上述したように雑音判断部２７及び雑音判断部２８が閾値より低いラベルを除去するとしても、裏映りした文字４０を除去することができない場合がある。そのため、帳票１２の表面画像の認識対象領域３９内の文字を正確に認識できないという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、帳票表面に記載された画像を正確に認識することが可能な、新規かつ改良された画像認識装置、画像認識方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、読取り対象となる帳票の表面に対して裏面側の裏面画像に基づく情報が予め記録された記録部と、帳票の表面を読取る画像入力部と、画像入力部で読取られた表面画像に帳票の裏面の裏写りからなる雑音画像が含まれるとき、表面画像から雑音画像を情報の少なくとも一部を用いて除去する雑音除去部と、雑音画像が除去された表面画像から帳票の表面に記載された画像を認識する画像認識部とを備えることを特徴とする画像認識装置が提供される。

かかる構成により、記録部は、読取り対象となる帳票の表面に対して裏面側の裏面画像に基づく情報が予め記録され、画像入力部は、帳票の表面を読取り、雑音除去部は、画像入力部で読取られた表面画像に帳票の裏面の裏写りからなる雑音画像が含まれるとき、表面画像から雑音画像を情報の少なくとも一部を用いて除去し、画像認識部は、雑音画像が除去された表面画像から帳票の表面に記載された画像を認識する。その結果、帳票表面に記載された画像を正確に認識することができる。

上記裏面画像に基づく情報は罫線の位置情報であり、雑音除去部は、予め記録された裏面の罫線の位置と一致する罫線を除去してもよい。また、上記記録部に表面画像に基づく罫線の位置情報を記録し、雑音除去部は、予め記録した裏面の罫線と表面の罫線の位置が重なる場合は、重なる部分の罫線を除去しなくてもよい。

上記記録部に帳票の文字認識対象領域を記録し、雑音除去部は文字認識対象領域内に対して裏面の罫線と一致する罫線を除去し、画像認識部は文字認識対象領域内の文字を認識してもよい。

上記記録部に複数の帳票に対応させて帳票ごとの表面と裏面の罫線の位置情報を記録し、画像認識部は、雑音画像が除去された表面画像の罫線と予め記録された帳票ごとの表面の罫線とを比較してどの帳票かを特定してもよい。

上記裏面画像に基づく情報は文字の情報であってもよい。また、上記画像入力部で読取られた表面画像をラベリング処理して第１のラベルを生成するラベリング部を備え、雑音除去部が、所定の雑音閾値に基づいて第１のラベルを除去することによって雑音画像を除去してもよい。

上記ラベリング部は、記録部に記録された裏面画像をラベリング処理し第２のラベルを生成し、第２のラベルに基づいて雑音閾値を変更する雑音閾値変更部を備え、雑音除去部は、変更された雑音閾値に基づいて雑音画像を除去してもよい。

上記第２のラベルに基づいて、画像入力部で読取られた表面画像を複数の領域に分割する領域分割部を備え、雑音閾値変更部は、複数の領域ごとに雑音閾値を変更してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、読取り対象となる帳票の表面に対して裏面側の裏面画像を記録するステップと、帳票の表面を読取るステップと、読取られた表面画像に裏面画像の反転画像の少なくとも一部からなる雑音画像が含まれるとき、表面画像から雑音画像を除去するステップと、雑音画像が除去された表面画像から帳票の表面に記載された画像を認識するステップとを含むことを特徴とする画像認識方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、読取り対象となる帳票の表面に対して裏面側の裏面画像を記録する手段、帳票の表面を読取る手段、読取られた表面画像に裏面画像の反転画像の少なくとも一部からなる雑音画像が含まれるとき、表面画像から雑音画像を除去する手段、雑音画像が除去された表面画像から帳票の表面に記載された画像を認識する手段として、コンピュータを機能させることを特徴とするプログラムが提供される。

本発明によれば、帳票表面に記載された画像を正確に認識することができる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態の構成）
まず、本発明の第１の実施形態に係る文字認識装置（画像認識装置）１００について説明する。図８は、本実施形態に係る文字認識装置１００を示すブロック図である。文字認識装置１００は、表面又は裏面に印刷がされた帳票などの書類上の文字をコンピュータ上のデータとして扱うため、例えば、帳票１０１上の認識対象領域内に記載された文字に対して読取りを行い、文字認識を行なう。

文字認識装置１００は、図８に示すように、例えば、画像入力部１０２と、レイアウト解析部１１０と、フォーマットデータベース（以下、データベースをＤＢと略す。）が記録された記録部１２０と、文字認識部１４０と、出力形成部１５０とを備える。なお、レイアウト解析部１１０には、ＣＲＴ（cathode ray tube）などの表示装置、キーボード、マウスなどの入力装置１３０が接続可能となっている。

ここで、画像入力部１０２は、読取り対象である帳票１０１からその記載内容を画像データとして読み取る。レイアウト解析部１１０は、帳票１０１上における認識対象領域の位置を解析する。また、レイアウト解析部１１０は、画像入力部１０２が読み取った画像データから特徴情報を抽出してフォーマットの作成をし、フォーマットをフォーマットＤＢとして記録部１２０に記録する。更に、レイアウト解析部１１０は、フォーマットに基づいて認識対象領域内の画像データのみを抽出する。

記録部１２０は、フォーマットＤＢを記録しており、フォーマットＤＢは、レイアウト解析部１１０での解析に必要な情報、例えば、読取り対象である帳票１０１の認識対象領域内の画像データのみを抽出するために用いられる帳票フォーマットのデータである。フォーマットＤＢは１つの帳票ごとに作成される。

文字認識部１４０は、画像認識部の一例であり、レイアウト解析部１１０によって認識対象領域と判断された領域内の画像データに対し、文字認識を行なう。出力形成部１５０は、文字認識部１４０で認識された文字認識結果を、帳票１０１上の認識対象領域内に記載された文字として、テキストデータ等として出力する。

次に、図９を参照して、レイアウト解析部１１０について更に詳しく説明する。図９は、第１の実施形態のレイアウト解析部１１０を示すブロック図である。レイアウト解析部１１０は、制御部１１１と、認識対象領域矩形座標設定部１１２と、フォーマットＤＢ作成部１１３と、フォーマットＤＢ解析部１１４と、認識対象領域作成部１１５と、罫線検出部１１６と、表裏面罫線一致判定部１１７と、罫線除去部１１８などを有する。

制御部１１１は、レイアウト解析部１１０全体の制御手段を有する。認識対象領域矩形座標設定部１１２は、入力装置１３０の操作に基づいて、例えば矩形からなる認識対象領域の矩形座標を設定する。フォーマットＤＢ作成部１１３は、画像入力部１０２が読み取った画像データから特徴情報を抽出してフォーマットの作成をする。フォーマットＤＢ解析部１１４は、認識対象領域内の画像データのみを抽出するため、フォーマットＤＢの解析を行なう。認識対象領域作成部１１５は、認識対象領域の矩形座標に基づいて認識対象領域を作成する。

罫線検出部１１６は、帳票１０１上における水平方向又は垂直方向の連続する黒画素を探索し、罫線を検出する。表裏面罫線一致判定部１１７は、罫線検出部１１６で検出された表面画像の罫線座標と、予め記録部１２０に記録されていた裏面画像の罫線座標に一致しているものがあるか否かを判断する。また、予め記録部１２０に記録されていた表面画像の罫線座標と一致するか否かを判断することにより帳票画像に対応するフォーマットＤＢの特定を行うこともできるものとする。罫線除去部１１８は、雑音除去部の一例であり、画像入力部１０２で読み取られた帳票１０１の画像データから罫線（雑音画像）を除去する。

（第１の実施形態の動作）
次に、本発明の第１の実施形態に係る文字認識装置１００の動作について説明する。

まず、図１０及びを参照して、本実施形態に係る文字認識装置１００のフォーマットＤＢ作成処理について説明する。図１０は、本実施形態に係る文字認識装置１００のフォーマットＤＢ作成処理を示すフローチャートである。図１２は、本実施形態に係る文字認識装置１００のフォーマットＤＢ作成処理で読み取られる帳票１０１を示す説明図である。ここで読み取られる帳票１０１は、表面に文字認識処理対象となる、例えば、金額などの数字等が記載され、裏面に文字認識処理対象としない罫線１６２等が記載されているとする。

まず、画像入力部１０２が登録画像を取得するため、帳票１０１の表面及び裏面の画像データを読み取る（ステップＳ１０１）。続いて、オペレータ（操作者）による操作を介して入力装置１３０に帳票１０１表面の認識対象領域矩形座標が入力されることによって、認識対象領域矩形座標設定部１１２が、認識対象領域１６０の矩形座標を設定する（ステップＳ１０２）。また、罫線検出部１１６が、帳票１０１の裏面に印刷された罫線１６２を検出する（ステップＳ１０３）。次に、フォーマットＤＢ作成部１１３が、認識対象領域１６０の矩形座標と帳票１０１裏面の罫線の座標に基づいてフォーマットＤＢを作成し（ステップＳ１０４）、記録部１２０にフォーマットＤＢを記録する。本実施形態において、フォーマットＤＢは、１つの帳票ごとの表面および裏面の罫線の検出結果の情報を含むものである。フォーマットＤＢは各帳票に対応した名称がつけられて記録される。罫線情報が一致するフォーマットＤＢを検索することにより、その罫線情報に対応する帳票を特定することができる。さらにフォーマットＤＢには、その帳票ごとの文字認識を行う認識対象領域の帳票上の位置、認識対象文字種等の情報が含まれており、特定した帳票に応じた文字認識を行うことができるようになっている。

次に、図１１及び図１２を参照して、本実施形態に係る文字認識装置１００の文字認識処理について説明する。図１１は、本実施形態に係る文字認識装置１００の文字認識処理を示すフローチャートである。図１２は、本実施形態に係る文字認識装置１００の文字認識処理で読み取られる帳票１０１を示す説明図である。

まず、画像入力部１０２が、図１２に示すような帳票１０１の表面の画像データを読み取る（ステップＳ１１１）。続いてフォーマットＤＢ解析部１１４が、記録部１２０に記録されたフォーマットＤＢを読み込み解析し、フォーマットＤＢから認識対象領域１６０の矩形座標と、帳票１０１裏面の罫線１６２の座標を抽出する（ステップＳ１１２）。

次に、罫線検出部１１６が、画像入力部１０２で読み取られた帳票１０１表面の読み取り画像から、画像内に含まれる罫線１６２の検出を開始する（ステップＳ１１３）。このとき、裏面の罫線１６２が帳票１０１の表面に裏映りしている場合、表面の罫線とともに読み取り画像の画像内に裏面の罫線１６２が検出される。そして、表裏面罫線一致判定部１１７が、記録部１２０に予め記録された登録画像の帳票１０１裏面の罫線検出結果を反転させた情報と、読み取り画像に基づいて検出された罫線検出結果とを比較する（ステップＳ１１４）。帳票１０１の認識対象領域１６０内に両者が一致する罫線１６２がある場合（ステップＳ１１５）は、罫線除去部１１８が認識対象領域１６０内の一致する罫線１６２を除去する（ステップＳ１１６）。

帳票１０１の認識対象領域１６０内に両者が一致する罫線がない場合（ステップＳ１１５）や罫線除去部１１８による罫線除去後は、認識対象領域作成部１１５が、認識対象領域１６０の矩形座標に基づいて認識対象領域１６０を作成する（ステップＳ１１７）。そして、図１２に示すような認識対象領域１６０に対して文字認識部１４０が文字認識を行い（ステップＳ１１８）、出力形成部１５０が認識結果を出力する（ステップＳ１１９）。

次に、上記のステップＳ１１１で読み取られた帳票１０１の読み取り画像において、帳票１０１裏面の罫線が裏映りしているが、かすれた状態で読み取られた場合について説明する。

このとき、表裏面罫線一致判定部１１７が記録部１２０に記録された帳票１０１裏面の罫線検出結果と、読み取り画像に基づいて検出された罫線検出結果とを比較するとき（ステップＳ１１４）、表裏面罫線一致判定部１１７は、読み取り画像に基づいて検出された罫線が断続的に連なった罫線であっても、予め設定された所定の距離以内の間隔であれば、連続した罫線とみなして検出する。

また、表裏面罫線一致判定部１１７は、予め読み取られた帳票１０１裏面の画像データから、罫線の特徴情報（例えば、各罫線の方向（縦方向又は横方向など）、座標、長さ、太さ、線種（実線、破線など））を反転させ、表面側で罫線が裏映りして罫線が存在すると想定される領域を参照して判定をする。これにより、効率良く裏映りした罫線を除去することができる。

ステップＳ１１３において、罫線検出部１１６が、画像入力部１０２で読み取られた読み取り画像から画像内に含まれる罫線を検出するとき、かすれた罫線を破線として検出するとしてもよい。そして、表裏面罫線一致判定部１１７は、裏面の罫線情報と重なる破線を裏映りした裏面の罫線として判定する。もし、帳票１０１の表面の実線の罫線が、裏映りした裏面の罫線と近接している場合、破線のほうを裏面の罫線と判定するとすれば、裏面の罫線の判定の精度が向上する。

更に、ステップＳ１１６において罫線除去部１１８が罫線除去する際、認識対象領域１６０に限定せず、帳票１０１全面に対して帳票１０１裏面の罫線特徴に基づいて罫線除去を行うとしてもよい。これにより、記録部１２０に記録された罫線特徴に基づく帳票１０１表裏面の罫線の識別を精度良く行うことができる。

なお、ステップＳ１１２で帳票に対応するフォーマットＤＢを読み込む前に、読み込んだ帳票画像をもとに帳票を特定するようにすることもできる。すなわち、裏面の罫線を除去した画像（表面の罫線のみが残った画像）から抽出した罫線情報とフォーマットＤＢの表面の罫線情報を比較して一致するものを選択することにより、帳票識別（どの帳票かを特定する処理）を行うようにすることができる。

その場合、表裏面罫線一致判定部１１７は、ひとつのフォーマットＤＢを読み込んで、ステップＳ１１３からステップＳ１１６までと同様な処理をフォーマットＤＢごとに繰り返しつつ、残った罫線と表面の罫線の情報とを比較するようにすればよい。このとき、裏面の罫線と表面の罫線が重なる位置にある場合は、除去しないか、重ならない部分のみの罫線情報を除去する（当該罫線の座標情報を、裏面のみに存在する部分を含まないように修正する）ようにして、表面に存在する罫線を除去してしまわないようにする。このようにすれば、裏写りする可能性のある裏面の罫線を除去した上で、残った表面の罫線のみによる罫線情報による帳票識別が行えるので、帳票識別の精度を向上させることができる。

本実施形態によれば、フォーマットに帳票１０１裏面画像の罫線を記録し、読み取り時に帳票１０１裏面画像と一致する罫線がある場合は、認識対象領域１６０の罫線を除去することによって正確に文字を認識することができる。

（第２の実施形態の構成）
まず、本発明の第２の実施形態に係る文字認識装置２００について説明する。文字認識装置２００は、第１の実施形態と同様に、図８に示すように、例えば、画像入力部１０２と、レイアウト解析部１１０と、フォーマットデータベース（以下、データベースをＤＢと略す。）が記録された記録部１２０と、文字認識部１４０と、出力形成部１５０とを備える。なお、レイアウト解析部１１０には、ＣＲＴ（cathode ray tube）などの表示装置、キーボード、マウスなどの入力装置１３０が接続可能となっている。これらの構成要素については、第１の実施形態と同一であるため、詳細な説明は省略する。

次に、図１３を参照して、レイアウト解析部１１０について更に詳しく説明する。図１３は、第２の実施形態のレイアウト解析部１１０を示すブロック図である。レイアウト解析部１１０は、制御部１１１と、認識対象領域矩形座標設定部１１２と、フォーマットＤＢ作成部１１３と、フォーマットＤＢ解析部１１４と、認識対象領域作成部１１５と、ラベリング部２１６と、雑音判断部２１７と、雑音除去部２１８と、認識対象領域分割部２１９と、雑音閾値変更部２２０などを有する。

制御部１１１と、認識対象領域矩形座標設定部１１２と、フォーマットＤＢ作成部１１３と、フォーマットＤＢ解析部１１４と、認識対象領域作成部１１５については、第１の実施形態と同様であるため、詳細な説明は省略する。

ラベリング部２１６は、４近傍ラベリング処理、８近傍ラベリング処理等のラベリング処理を行って、認識対象領域内のラベルを抽出する。雑音判断部２１７は、ラベルの幅と高さが閾値を下回る黒画素を雑音と判断する。雑音除去部２１８は、雑音と判断された黒画素を除去する。認識対象領域分割部２１９は、領域分割部の一例であり、設定された認識対象領域を分割し、複数の部分領域を作成する。雑音閾値変更部２２０は、予め設定されている雑音閾値を変更する。

（第２の実施形態の動作）
次に、本発明の第２の実施形態に係る文字認識装置２００の動作について説明する。

まず、図１４及び図１６を参照して、本実施形態に係る文字認識装置２００のフォーマットＤＢ作成処理について説明する。図１４は、本実施形態に係る文字認識装置２００のフォーマットＤＢ作成処理を示すフローチャートである。図１６は、本実施形態に係る文字認識装置２００のフォーマットＤＢ作成処理で読み取られる帳票２０１を示す説明図である。ここで読み取られる帳票２０１は、表面に文字認識処理対象となる、例えば、金額などの数字等が記載され、裏面に文字認識処理対象としない例えば約款、注意事項等の文字などが記載されているとする。

まず、画像入力部１０２が登録画像を取得するため、帳票２０１の表面及び裏面の画像データを読み取る（ステップＳ２０１）。続いて、オペレータ（操作者）による操作を介して入力装置１３０に帳票２０１表面の認識対象領域矩形座標が入力されることによって、認識対象領域矩形座標設定部１１２が、認識対象領域２６０の矩形座標を設定する（ステップＳ２０２）。

また、ラベリング部２１６が帳票２０１の裏面画像のラベル（第２のラベル）を抽出する（ステップＳ２０３）。次に、フォーマットＤＢ作成部１１３が、認識対象領域の矩形座標と帳票２０１裏面の画像データのラベルに基づいてフォーマットＤＢを作成し（ステップＳ２０４）、記録部１２０にフォーマットＤＢを記録する。

次に、図１５及び図１６を参照して、本実施形態に係る文字認識装置２００の文字認識処理について説明する。図１５は、本実施形態に係る文字認識装置２００の文字認識処理を示すフローチャートである。図１６は、本実施形態に係る文字認識装置２００の文字認識処理で読み取られる帳票を示す説明図である。

まず、画像入力部１０２が、図１６に示すような帳票２０１の表面の画像データを読み取る（ステップＳ２１１）。続いてフォーマットＤＢ解析部１１４が、記録部１２０に記録されたフォーマットＤＢを読み込み、解析し、フォーマットＤＢから認識対象領域２６０の矩形座標と、帳票１０１裏面の画像データのラベルを抽出する（ステップＳ２１２）。

次に、認識対象領域分割部２１９が、抽出された帳票２０１の裏面画像のラベル（第２のラベル）を参照し（ステップＳ２１３）、例えば図１７に示すようにラベルサイズに基づいて認識対象領域２６０を複数に分割する（ステップＳ２１４）。具体的には、図１７に示すように、１行単位で文字が連なって文章が形成されているものをグルーピングする。即ち、帳票２０１の裏面画像のラベルの位置（帳票上の高さ方向）がほぼ同じであり、相互の距離が所定の間隔以内のものを１つのグループとしてグルーピングする。グルーピングされたものをラベルグループとする。そして、ラベルグループの外接矩形をそれぞれのラベルグループごとの領域２６２、２６３とする。この裏面画像のラベルグループの領域２６２、２６３は、反転されて認識対象領域２６０の分割領域の１つとして決定される。図１７は、認識対象領域２６０を示し、上記のラベルをグルーピングした領域２６２、２６３と、それ以外の領域２６４、２６５からなる。

そして、分割領域ごとにラベルサイズの最大値を抽出する（ステップＳ２１５）。次に、分割領域ごとに雑音閾値Ｔｈを変更する処理を行う。例えば、それぞれの分割領域に番号を振るとする。そして、初期値としてｎ＝０とし（ステップＳＳ２１６）、ｎ＝ｎ＋１の演算（ステップＳ２１７）により、まず、番号１の分割領域について雑音閾値Ｔｈを変更する。具体的には、番号１の分割領域における裏面ラベルサイズの最大値が、予め設定されている雑音閾値Ｔｈ_ｐｒｅより大きく、かつ予め設定されている最大雑音閾値Ｔｈ_ｍａｘよりも小さいかどうかを判断する（ステップＳ２１８）。そして、該当する場合、雑音閾値Ｔｈを裏面ラベルサイズの最大値に変更する（ステップＳ２１９）。

例えば、裏面画像のラベルをグルーピングした領域２６２、２６３は、裏面ラベルサイズの最大値が、予め設定されている雑音閾値Ｔｈ_ｐｒｅより大きく、かつ予め設定されている最大雑音閾値Ｔｈ_ｍａｘよりも小さい。また、領域２６２の裏面ラベルサイズの最大値が、領域２６３の裏面ラベルサイズの最大値よりも大きい。その結果、図１７に示すように、領域２６２の雑音閾値Ｔｈは大きく設定され、領域２６３の雑音閾値Ｔｈは領域２６２よりも小さく設定され、裏面画像のラベルをグルーピングした領域２６２、２６３以外の領域２６４、２６５については、予め設定されている雑音閾値Ｔｈ_ｐｒｅに決定される。

次に、ラベリング部２１６が帳票２０１表面における認識対象領域２６０の分割領域ｎ＝１のラベル（第１のラベル）を抽出する（ステップＳ２２０）。そして、雑音判断部２１７及び雑音除去部２１８が、雑音閾値Ｔｈよりも低い値を有するラベルを除去する（ステップＳ２２１）。そして、分割領域の数に到達するまで、上記のステップＳ２１７〜ステップＳ２２１を繰り返して、分割領域ごとに雑音閾値を変更する（ステップＳ２２２）。

次に、認識対象領域作成部１１５が、認識対象領域２６０の矩形座標に基づいて認識対象領域２６０を作成する（ステップＳ２２３）。そして、図１６に示すような認識対象領域２６０に対して文字認識部１４０が文字認識を行い（ステップＳ２２４）、出力形成部１５０が認識結果を出力する（ステップＳ２２５）。

本実施形態によれば、フォーマットとして認識対象領域２６０の位置に該当する帳票２０１裏面の画像データのラベルを予め登録し、帳票２０１の読取り時に、認識対象領域２６０を複数に分割した後、分割領域ごとに雑音閾値を変更して雑音除去を実施する。その結果、帳票２０１表面の文字を正確に認識することができる。また、分割領域ごとに雑音除去をするために必要な雑音閾値Ｔｈを設定するため、帳票２０１表面上の比較的小さな文字や記号（例えば、゛（濁点）等）を雑音と誤って判断して除去してしまう可能性を低減することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

従来の文字認識装置を示すブロック図である。 従来のレイアウト解析部を示すブロック図である。 従来の文字認識装置のフォーマットＤＢ作成処理を示すフローチャートである。 従来の文字認識装置の文字認識処理を示すフローチャートである。 従来の文字認識装置の文字認識処理で読み取られる帳票を示す説明図である。 従来の文字認識装置の文字認識処理を示すフローチャートである。 従来の文字認識装置の文字認識処理で読み取られる帳票を示す説明図である。 本発明の第１の実施形態に係る文字認識装置を示すブロック図である。 同実施形態のレイアウト解析部を示すブロック図である。 同実施形態に係る文字認識装置のフォーマットＤＢ作成処理を示すフローチャートである。 同実施形態に係る文字認識装置の文字認識処理を示すフローチャートである。 同実施形態に係る文字認識装置のフォーマットＤＢ作成処理及び文字認識処理で読み取られる帳票を示す説明図である。 本発明の第２の実施形態のレイアウト解析部を示すブロック図である。 同実施形態に係る文字認識装置のフォーマットＤＢ作成処理を示すフローチャートである。 同実施形態に係る文字認識装置の文字認識処理を示すフローチャートである。 同実施形態に係る文字認識装置の文字認識処理を示すフローチャートである。 同実施形態に係る文字認識装置のフォーマットＤＢ作成処理及び文字認識処理で読み取られる帳票を示す説明図である。 同実施形態の認識対象領域を示す説明図である。

符号の説明

１００、２００ 文字認識装置
１０２ 画像入力部
１１０ レイアウト解析部
１１１ 制御部
１１２ 認識対象領域矩形座標設定部
１１３ フォーマットＤＢ作成部
１１４ フォーマットＤＢ解析部
１１５ 認識対象領域作成部
１１６ 罫線検出部
１１７ 表裏面罫線一致判定部
１１８ 罫線除去部
１２０ 記録部
１３０ 入力装置
１４０ 文字認識部
１５０ 出力形成部
２１６ ラベリング部
２１７ 雑音判断部
２１８ 雑音除去部
２１９ 認識対象領域分割部
２２０ 雑音閾値変更部

Claims (11)

1. 読取り対象となる帳票の表面に対して裏面側の裏面画像に基づく情報が予め記録された記録部と、
   前記帳票の表面を読取る画像入力部と、
   前記画像入力部で読取られた表面画像に前記帳票の裏面の罫線の位置情報を反転させた情報と一致する罫線が検出された場合、前記表面画像から雑音画像を前記情報の少なくとも一部を用いて除去する雑音除去部と、
   前記雑音画像が除去された表面画像から前記帳票の表面に記載された画像を認識する画像認識部と、
   を備え、
   前記裏面画像に基づく情報は罫線の位置情報であり、
   前記記録部に複数の帳票に対応させて帳票ごとの表面と裏面の罫線の位置情報を記録し、
   前記雑音除去部は、予め記録された裏面の罫線の位置と一致する罫線を除去し、
   前記画像認識部は、前記雑音画像が除去された表面画像の罫線と予め記録された帳票ごとの表面の罫線とを比較してどの帳票かを特定する
   ことを特徴とする、画像認識装置。
2. 前記記録部に表面画像に基づく罫線の位置情報を記録し、
   前記雑音除去部は、予め記録した裏面の罫線と表面の罫線の位置が重なる場合は、重なる部分の罫線を除去しない
   ことを特徴とする、請求項１に記載の画像認識装置。
3. 前記記録部に前記帳票の文字認識対象領域を記録し、
   前記雑音除去部は前記文字認識対象領域内に対して裏面の罫線と一致する罫線を除去し、
   前記画像認識部は文字認識対象領域内の文字を認識する
   ことを特徴とする、請求項２に記載の画像認識装置。
4. 読取り対象となる帳票の表面に対して裏面側の裏面画像に基づく情報が予め記録された記録部と、
   前記帳票の表面を読取る画像入力部と、
   前記画像入力部で読取られた表面画像の、前記帳票の裏面の文字の位置情報を反転させた領域について、前記表面画像から雑音画像を前記情報の少なくとも一部を用いて除去する雑音除去部と、
   前記雑音画像が除去された表面画像から前記帳票の表面に記載された画像を認識する画像認識部と、
   前記画像入力部で読取られた表面画像をラベリング処理して第１のラベルを生成するラベリング部と、
   を備え、
   前記雑音除去部が、ラベルのサイズが閾値を下回る場合に雑音と判断するための雑音閾値に基づいて前記第１のラベルを除去することによって前記雑音画像を除去する
   ことを特徴とする、画像認識装置。
5. 前記ラベリング部は、前記記録部に記録された裏面画像をラベリング処理し第２のラベルを生成し、
   前記第２のラベルに基づいて前記雑音閾値を変更する雑音閾値変更部を備え、
   前記雑音閾値変更部は、前記第２のラベルのサイズが前記雑音閾値より大きい場合に当該雑音閾値を大きく変更し、
   前記雑音除去部は、前記変更された雑音閾値に基づいて前記雑音画像を除去する
   ことを特徴とする、請求項４に記載の画像認識装置。
6. 前記第２のラベルに基づいて、前記画像入力部で読取られた表面画像を複数の領域に分割する領域分割部を備え、
   前記雑音閾値変更部は、前記複数の領域ごとに前記雑音閾値を変更する
   ことを特徴とする、請求項５に記載の画像認識装置。
7. 前記雑音除去部は、前記雑音画像を判別するための雑音閾値を用いて、前記画像入力部で読取られた表面画像の、前記帳票の裏面の文字の位置情報を反転させた領域について前記雑音画像を除去し、
   前記画像認識装置は、前記雑音閾値を変更する雑音閾値変更部をさらに備える
   ことを特徴とする、請求項４に記載の画像認識装置。
8. 前記裏面画像に基づく情報は文字の情報である
   ことを特徴とする、請求項１又は４に記載の画像認識装置。
9. 読取り対象となる帳票の表面に対して裏面側の裏面画像を記録するステップと、
   前記帳票の表面を読取るステップと、
   前記読取られた表面画像に前記帳票の裏面の罫線の位置情報を反転させた情報と一致する罫線が検出された場合、前記表面画像から雑音画像を除去するステップと、
   前記雑音画像が除去された表面画像から前記帳票の表面に記載された画像を認識するステップと、
   を含み、
   前記裏面画像に基づく情報は罫線の位置情報であり、
   前記記録するステップでは複数の帳票に対応させて帳票ごとの表面と裏面の罫線の位置情報を記録し、
   前記除去するステップでは予め記録された裏面の罫線の位置と一致する罫線を除去し、
   前記認識するステップでは前記雑音画像が除去された表面画像の罫線と予め記録された帳票ごとの表面の罫線とを比較してどの帳票かを特定する
   ことを特徴とする、画像認識方法。
10. 読取り対象となる帳票の表面に対して裏面側の裏面画像を記録するステップと、
    前記帳票の表面を読取るステップと、
    前記読取られた表面画像の、前記帳票の裏面の文字の位置情報を反転させた領域について、前記表面画像から雑音画像を除去するステップと、
    前記雑音画像が除去された表面画像から前記帳票の表面に記載された画像を認識するステップと、
    前記画像入力部で読取られた表面画像をラベリング処理して第１のラベルを生成するステップと、
    を含み、
    前記除去するステップでは、ラベルのサイズが閾値を下回る場合に雑音と判断するための雑音閾値に基づいて前記第１のラベルを除去することによって前記雑音画像を除去する
    ことを特徴とする、画像認識方法。
11. 請求項９又は１０に記載の画像認識方法をコンピュータに実現させるためのプログラム。

Images