JP6170831B2 - 文字認識装置、方法、及びプログラム - Google Patents

Description

本発明は、文字認識装置、方法、及びプログラムに係り、特に、画像に含まれる文字を認識する文字認識装置、方法、及びプログラムに関する。

一般にＯＣＲによる文字認識では、１文字を１画像としてデータベースに保存された文字画像と、識別対象のテキストとをパターンマッチングにより対応付けることで文字を識別する（例えば、非特許文献１）。

Ray Smith, "An Overview of the Tesseract OCR Engine," IEEE, 2007.

しかしながら、複数文字を１文字にマッチングさせてしまうなど、文字位置の推定誤りに起因する誤認識がしばしば起こる。これにより、ＯＣＲの文字認識の精度は著しく低下することになる。

本発明は、上記の問題を解決するためになされたもので、文字の一部又は複数文字を１文字として誤認識する場合であっても、高精度に文字を認識することができる文字認識装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の文字認識装置は、文字列画像から文字を表す文字画像を文字毎に生成する文字領域抽出部と、前記文字領域抽出部により生成された前記文字画像の各々と、予めデータベースに記憶されている１文字を表す文字情報の各々、及び複数の文字を表す文字情報の各々又は１文字の一部を表す文字情報の各々とを照合し、前記文字画像毎に、該文字画像と最も一致度が高い文字情報が示す文字を各々出力する照合部と、を含んで構成されている。

本発明の文字認識方法は、文字領域抽出部及び照合部を含む文字認識装置における文字認識方法であって、前記文字領域抽出部が、文字列画像から文字を表す文字画像を文字毎に生成し、前記照合部が、前記文字領域抽出部により生成された前記文字画像の各々と、予めデータベースに記憶されている１文字を表す文字情報の各々、及び複数の文字を表す文字情報の各々又は１文字の一部を表す文字情報の各々とを照合し、前記文字画像毎に、該文字画像と最も一致度が高い文字情報が示す文字を各々出力する。

また、本発明のプログラムは、コンピュータを、上記の文字認識装置を構成する各部として機能させるためのプログラムである。

以上説明したように、本発明の文字認識装置、方法、及びプログラムによれば、文字画像の各々と、データベースに記憶されている１文字を表す文字情報の各々、及び複数の文字を表す文字情報の各々又は１文字の一部を表す文字情報の各々とを照合することにより、文字の一部又は複数文字を１文字として誤認識する場合であっても、高精度に文字を認識することができる、という効果が得られる。

本発明の実施の形態に係る文字認識装置の概要を示す図である。 本発明の第１の実施の形態に係る文字認識装置と従来の文字認識装置とにおける文字認識結果を示す図である。 本発明の第２の実施の形態に係る文字認識装置と従来の文字認識装置とにおける文字認識結果を示す図である。 本発明の第１の実施の形態に係る文字認識装置の構成の一例を示す図である。 本発明の第１の実施の形態に係る文字認識処理ルーチンのフローチャートの一例である。 本発明の第２の実施の形態に係る文字認識装置の構成の一例を示す図である。 本発明の第３の実施の形態に係る文字認識装置の構成の一例を示す図である。 本発明の第３の実施の形態に係る文字認識処理ルーチンのフローチャートの一例である。 従来技術に係る文字認識装置の概要を示す図である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜発明の概要＞
本発明の実施の形態では、データベースに、複数文字を１画像とした文字情報を加える。これにより、例えば、文字認識装置で２文字を１文字として切り出し、パターンマッチングを行った場合でも、２文字の画像と一致するため、２文字として認識できる。

したがって、文字数が正しく認識され、文字認識精度も向上することが期待できる。

ここで、図９に従来の文字認識装置の概略を示す。

一般的にＯＣＲ装置では、入力文字列画像が与えられるとまず、各文字の位置を推定する（１，２）。

次に、予め作成されている文字情報を文字データベース（ＤＢ）から順次取り出し（３）、入力文字と順次照合し（４）、最も一致度の高い文字を正解として出力する（５）。

このとき、文字データベースに保存されている文字情報は１文字を１画像とするのが一般的である。

図１に本発明の文字認識装置の概略を示す。

図１では、文字データベースに保存されている文字情報は、１文字を１画像とするものに加えて、２文字を１画像とするものなど、１文字に限定されない文字情報が保存されている。

図２に、従来の文字認識装置と本発明の文字認識装置を用いたときの挙動の違いを示す。

一般に文字認識装置の文字位置推定結果は必ずしも正しく文字位置を推定できるとは限らず、図２では、入力画像として「いけません」という文字画像が与えられたとき、「い」「け」「ま」「せん」に対応する４つの画像として文字位置を推定している。

このとき、従来手法による文字照合では、必ず１画像１文字として対応付けを行うので、「せん」を「略」という文字として認識してしまっている。

一方、本発明の実施の形態に係る手法による照合では、「せん」という文字情報をデータベースに含んでいるため、文字が正しく出力されている。

また、図３では、入力文字列「いない」に対して、文字認識装置による文字位置推定結果は「い」「な＋『い』の半分」「『い』の残り半分」という間違った推定を行っている。

このため、従来手法では、文字照合の結果、「い」「以」「丶」の３文字を出力としてしまっている。

一方、本発明の実施の形態に係る手法では、分割されやすい文字について１文字を２つの部分に分けて保存、あるいは、２文字を１．５文字と０．５文字とに分けて保存しているため、間違った文字位置推定結果にも対応できる。

さらに、組み合わせ情報を用いることで、０．５文字や１．５文字の文字情報から元の文字を推定することが可能である。

＜第１の実施の形態＞
＜システム構成＞
以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は、第１の実施の形態に係る文字認識装置の構成の一例を示す図である。

文字認識装置１０は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）と、ＣＰＵが後述する各処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Read Only Memory）とを備えたコンピュータで構成されている。また、文字認識装置１０を構成するコンピュータは、ハードディスクドライブ等の記憶部や通信インタフェース等を備えていてもよい。また、ハードディスクドライブにＣＰＵが実行するプログラムが記憶されていてもよい。ＣＰＵがＲＯＭやハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記ハードウェアとプログラムとを協働させて以下に説明する機能が実現される。

このコンピュータは、機能的には、図４に示すように、文字領域抽出部１２、文字ＤＢ（データベース）１４、照合部１６、及び文字列決定部１８を含んだ構成で表わすことができる。

文字領域抽出部１２は、文字認識対象としての入力文字列画像を取得し、画像処理により、入力文字列画像から文字列領域の画像を抽出すると共に、抽出された文字列領域から各文字領域の画像（以下、文字画像と称する。）を抽出する。

文字ＤＢ１４には、様々な書体（フォント）、サイズ、及び太さの文字を示す文字情報が予め１文字毎に登録されている。また、文字ＤＢ１４には、２文字の文字情報が、２文字毎に登録されている。なお、文字情報は、例えば、個々の文字の文字パターン画像情報であってもよいし、個々の文字の特徴を示す特徴値であってもよい。また、文字ＤＢ１４はデータベースの一例である。

照合部１６は、文字領域抽出部１２により抽出された文字画像の各々と、予め文字ＤＢ１４に記憶されている文字情報とを照合し、文字画像毎に当該文字画像と最も一致度が高い文字情報が示す１文字又は２文字と、文字画像が当該１文字又は２文字に該当することの尤もらしさを示すための指標（識別距離）と、文字列領域の画像中の文字の位置とを出力する。

文字列決定部１８は、照合部１６から文字画像毎に出力された１文字又は２文字に基づいて、照合部１６から文字画像毎に出力された各文字の位置を設定することにより、文字列を決定する。ここで決定された文字列が文字認識結果として出力される。

＜文字認識装置１０の動作＞
次に、文字認識装置１０の作用について図５を参照して詳細に説明する。

ステップＳ１００において、文字領域抽出部１２は、文字認識対象としての入力文字列画像を取得する。

次に、ステップＳ１０２において、文字領域抽出部１２は、取得した入力文字列画像から文字列領域の画像を抽出すると共に、抽出した文字列領域から各文字画像を抽出する。

ステップＳ１０４において、照合部１６は、上記ステップＳ１０２で抽出した文字画像の各々と、予め文字ＤＢ１４に記憶されている文字情報とを照合し、文字画像毎に当該文字画像と最も一致度が高い文字情報が示す１文字又は２文字と、文字画像が当該１文字又は２文字に該当することの尤もらしさを示すための指標（識別距離）と、文字の位置とを出力する。なお、ここで、例えば文字情報が文字パターン画像ではなく、文字の特徴を示すベクトル等の特徴値であった場合には、照合部１６は、文字情報を画像に展開して文字画像と照合する。なお、文字画像を文字情報と同様の形式に変換して照合するようにしてもよい。

なお、照合部１６は、文字領域抽出部１２により抽出された文字画像が、横書きの文字画像であれば、左から右に向かう（認識言語によっては右から左であってもよい）配列順に各文字画像と文字情報とを照合し、上記抽出された文字画像が、縦書きの文字画像であれば、上から下に向かう配列順に各文字画像と文字情報とを順に照合していく。

ステップＳ１０６において、文字列決定部１８は、上記ステップＳ１０４で得られた文字画像毎の１文字又は２文字に基づいて、文字列を決定して出力し、文字認識処理ルーチンを終了する。

以上説明したように、本発明の第１の実施の形態に係る文字認識装置１０によれば、文字画像の各々と、文字データベース１４に記憶されている１文字を表す文字情報の各々、及び２文字を表す文字情報の各々とを照合することにより、複数文字を１文字として誤認識して、文字位置推定結果に誤りを含んだ場合においても、高精度に文字を認識することができる。

＜第２の実施の形態＞
＜システム構成＞
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第２の実施の形態では、文字データベースに、１文字を分割した一部である０．５文字の文字情報、及び１文字と０．５文字の組み合わせである１．５文字の文字情報が登録されている点が、第１の実施の形態と異なっている。

図６に示すように、第２の実施の形態に係る文字認識装置２１０は、文字領域抽出部１２、文字ＤＢ（データベース）２１４、照合部１６、文字修正部２１７、及び文字列決定部１８を含んだ構成で表わすことができる。

文字ＤＢ２１４には、１文字毎の文字情報、及び２文字毎の文字情報が登録されている。また、文字ＤＢ２１４には、分割されやすい文字について、１文字を分割した一部である０．５文字の文字情報、及び２文字のうちの一方の文字を分割した一部と他の文字との組み合わせからなる１．５文字の文字情報が登録されている。

また、文字ＤＢ２１４には、０．５文字の文字情報のペア、０．５文字の文字情報及び１．５文字の文字情報のペア、並びに１．５文字の文字情報のペアの各々について、当該ペアが表す１文字〜３文字を登録した組み合わせ情報が記憶されている。

照合部１６は、文字領域抽出部１２により抽出された文字画像の各々と、予め文字ＤＢ２１４に記憶されている文字情報とを照合し、文字画像毎に当該文字画像と最も一致度が高い文字情報が示す０．５文字、１文字、１．５文字、又は２文字と、文字画像が当該０．５文字、１文字、１．５文字、又は２文字に該当することの尤もらしさを示すための指標（識別距離）と、文字列領域の画像中の文字の位置とを出力する。

文字修正部２１７は、照合部１６の出力から得られる０．５文字又は１．５文字のペアの各々について、文字ＤＢ２１４に記憶されている組み合わせ情報に基づいて、当該ペアが表す１文字〜３文字を復元し、出力する。

文字列決定部１８は、照合部１６から文字画像毎に出力された１文字又は２文字、及び文字修正部２１７から出力された１文字〜３文字に基づいて、照合部１６から文字画像毎に出力された各文字の位置を設定することにより、文字列を決定する。

なお、第２の実施の形態に係る文字認識装置２１０の他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。

このように、文字画像の各々と、文字データベースに記憶されている１文字、２文字、０．５文字、及び１．５文字を表す文字情報の各々とを照合することにより、文字の一部又は複数文字を１文字として誤認識して、文字位置推定結果に誤りを含んだ場合においても、高精度に文字を認識することができる。

なお、上記の実施の形態では、照合部１６によって文字画像毎に当該文字画像と最も一致度が高い文字情報が示す文字を出力し、文字修正部２１７によって、照合部１６の出力から得られる０．５文字又は１．５文字のペアの各々について、文字ＤＢ２１４に記憶されている組み合わせ情報に基づいて、当該ペアが表す１文字〜３文字を復元する場合を例に説明したが、これに限定されるものではない。例えば、照合部１６によって、文字画像毎に、当該文字画像との一致度が最も高い文字情報が示す文字だけでなく、当該文字画像との一致度が上位ｎ個の文字情報が示す文字を出力し、文字修正部２１７によって、照合部１６の出力から得られる０．５文字又は１．５文字のペアの各々について、文字ＤＢ２１４に記憶されている組み合わせ情報に合致する文字情報のペアを探索し、当該ペアが表す１文字〜３文字を復元してもよい。

また、文字修正部２１７を省略して、照合部１６から文字画像毎に出力された１文字、２文字、０．５文字、１．５文字をそのまま出力してもよい。

＜第３の実施の形態＞
＜システム構成＞
次に、第３の実施の形態について説明する。なお、第１の実施の形態及び第２の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。

第３の実施の形態では、文字領域毎に、文字数を推定している点が、第２の実施の形態と異なっている。

図７に示すように、第３の実施の形態に係る文字認識装置３１０は、文字領域抽出部１２、文字数推定部３１３、文字ＤＢ（データベース）２１４、照合部１６、文字修正部２１７、及び文字列決定部１８を含んだ構成で表わすことができる。

文字数推定部３１３は、文字領域抽出部１２により抽出された文字画像の各々について、相対的な文字画像の大きさから、文字画像が表す文字の文字数として、０．５文字、１文字、１．５文字、及び２文字の何れかを推定する。

例えば、横書きの文字列であれば、切り出された文字画像の高さはほぼ一定で、文字画像の幅が文字数に従い増減すると考える。そこで、本実施の形態では、基準とする１文字のサイズを、高さのほぼ等しい文字画像の平均幅を用いて決定し、決定した１文字のサイズに基づいて、文字画像の文字数を推定する。

基準とする１文字のサイズを決定する方法の他の例としては、一旦、全ての文字画像を１文字とみなして照合部１６により照合を行い、その結果から一致度の高い文字を抽出し、抽出された文字の文字画像の平均を、１文字のサイズとして決定する。

照合部１６は、文字領域抽出部１２により抽出された文字画像の各々と、予め文字ＤＢ１４に記憶されている文字情報とを照合する。このとき、文字数推定部３１３により推定された文字数と一致する文字数の文字情報を優先的に照合の候補とする。これにより、文字特定のための膨大な照合の負荷を軽減することが可能である。

＜文字認識装置３１０の動作＞
次に、文字認識装置３１０の作用について図８を参照して詳細に説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

ステップＳ１００において、文字領域抽出部１２は、文字認識対象としての入力文字列画像を取得する。

次に、ステップＳ１０２において、文字領域抽出部１２は、取得した入力文字列画像から文字列領域の画像を抽出すると共に、抽出した文字列領域から各文字画像を抽出する。

ステップＳ３００において、文字数推定部３１３は、上記ステップＳ１０２で抽出した文字画像の各々について、文字数を推定する。

ステップＳ３０２において、照合部１６は、上記ステップＳ３００で推定された各文字画像の文字数を用いて、上記ステップＳ１０２で抽出した文字画像の各々と、予め文字ＤＢ１４に記憶されている文字情報とを照合し、文字画像毎に当該文字画像と最も一致度が高い文字情報が示す文字と、文字画像が当該文字に該当することの尤もらしさを示すための指標（識別距離）と、文字の位置とを出力する。

ステップＳ３０４において、文字修正部２１７は、上記ステップＳ３０２の出力から得られる０．５文字又は１．５文字のペアの各々について、文字ＤＢ２１４に記憶されている組み合わせ情報に基づいて、当該ペアが表す１文字〜３文字を復元し、出力する。

ステップＳ１０６において、文字列決定部１８は、上記ステップＳ１０４で得られた文字画像毎の１文字又は２文字と、上記ステップＳ３０４で得られた１文字〜３文字とに基づいて、文字列を決定して出力し、文字認識処理ルーチンを終了する。

このように、文字位置推定結果が正しいかどうかは、抽出された文字画像の大きさからある程度判断できるため、文字画像から推定される文字数を利用することで、効率的な文字画像の照合を行うことができる。

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記の第２の実施の形態、第３の実施の形態では、文字データベース２１４に、１文字、２文字、０．５文字、１．５文字の文字情報が登録されている場合を例に説明したが、これに限定されるものではなく、文字データベース２１４に、更に、３文字、４文字、２．５文字、３．５文字などを表す文字情報が登録されていてもよい。

また、上述の文字認識装置が文字ＤＢを備えている場合について説明したが、例えば文字ＤＢが文字認識装置の外部装置に設けられ、文字認識装置は、外部装置と通信手段を用いて通信することにより、文字ＤＢを参照するようにしてもよい。

また、上述の文字認識装置は、内部にコンピュータシステムを有しているが、コンピュータシステムは、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０、２１０、３１０ 文字認識装置
１２ 文字領域抽出部
１４、２１４ 文字データベース
１６ 照合部
１８ 文字列決定部
２１７ 文字修正部
３１３ 文字数推定部

Claims (3)

1. 文字列画像から文字を表す文字画像を文字毎に生成する文字領域抽出部と、
   前記文字領域抽出部により生成された前記文字画像の各々について、前記文字画像が表わす文字の文字数として、１文字、２文字、１文字の一部である０．５文字、及び２文字のうちの１文字の一部である０．５文字と他の１文字との組み合わせである１．５文字の何れであるかを推定する文字数推定部と、
   前記文字領域抽出部により生成された前記文字画像の各々と、予めデータベースに記憶されている１文字を表す文字情報の各々、２文字を表す文字情報の各々、１文字の一部である０．５文字を表す文字情報の各々、及び２文字のうちの１文字の一部である０．５文字と他の１文字との組み合わせである１．５文字を表す文字情報の各々とを照合し、前記文字画像毎に、該文字画像と最も一致度が高い文字情報が示す文字を各々出力する照合部であって、前記文字領域抽出部により生成された前記文字画像と、前記文字数推定部によって推定された前記文字画像の文字数と一致する、前記データベースに記憶されている前記文字情報とを優先して照合する照合部と、
   前記データベースに記憶されている、前記１．５文字を表す文字情報の組み合わせのペア、前記０．５文字を表す文字情報のペア、及び前記１．５文字を表す文字情報及び前記０．５文字を表す文字情報のペアの各々が表す１文字、２文字、又は３文字に基づいて、前記照合部によって出力された前記１．５文字を表す文字情報のペア、前記０．５文字を表す文字情報のペア、又は前記１．５文字を表す文字情報及び前記０．５文字を表す文字情報のペアの各々について、前記ペアが表す１文字、２文字、又は３文字を復元する文字修正部と、
   を含む文字認識装置。
2. 文字領域抽出部、文字数推定部、照合部、及び文字修正部を含む文字認識装置における文字認識方法であって、
   前記文字領域抽出部が、文字列画像から文字を表す文字画像を文字毎に生成し、
   前記文字数推定部が、前記文字領域抽出部により生成された前記文字画像の各々について、前記文字画像が表わす文字の文字数として、１文字、２文字、１文字の一部である０．５文字、及び２文字のうちの１文字の一部である０．５文字と他の１文字との組み合わせである１．５文字の何れであるかを推定し、
   前記照合部が、前記文字領域抽出部により生成された前記文字画像の各々と、予めデータベースに記憶されている１文字を表す文字情報の各々、２文字を表す文字情報の各々、１文字の一部である０．５文字を表す文字情報の各々、及び２文字のうちの１文字の一部である０．５文字と他の１文字との組み合わせである１．５文字を表す文字情報の各々とを照合し、前記文字画像毎に、該文字画像と最も一致度が高い文字情報が示す文字を各々出力し、ただし、前記文字領域抽出部により生成された前記文字画像と、前記文字数推定部によって推定された前記文字画像の文字数と一致する、前記データベースに記憶されている前記文字情報とを優先して照合し、
   前記文字修正部が、前記データベースに記憶されている、前記１．５文字を表す文字情報の組み合わせのペア、前記０．５文字を表す文字情報のペア、及び前記１．５文字を表す文字情報及び前記０．５文字を表す文字情報のペアの各々が表す１文字、２文字、又は３文字に基づいて、前記照合部によって出力された前記１．５文字を表す文字情報のペア、前記０．５文字を表す文字情報のペア、又は前記１．５文字を表す文字情報及び前記０．５文字を表す文字情報のペアの各々について、前記ペアが表す１文字、２文字、又は３文字を復元する
   文字認識方法。
3. コンピュータを、請求項１に記載の文字認識装置の各部として機能させるためのプログラム。