JP6139658B2 - 文字認識方法及び文字認識システム - Google Patents

Description

この発明は、有価媒体に印刷された記番号等の文字を認識する文字認識方法及び文字認識システムに関する。

従来、銀行等の金融機関では、紙幣や小切手等の有価媒体に印刷された記番号等の文字を文字認識する文字認識装置が利用されている。例えば、紙幣に印刷された記番号、小切手に印刷された小切手番号や金額を文字認識して、得られた結果を紙幣処理や小切手処理に利用する。文字認識処理は、文字列を撮像した画像から各文字を含む文字画像を切り出して該文字画像から文字の特徴量を抽出し、抽出した特徴量を予め各文字の特徴量を登録しておいた辞書データと比較することにより行われる。

紙幣や小切手では、文字の背景に様々な模様（図柄）が印刷されている場合があるが、この背景模様の影響を受けて文字認識を正しく認識できない可能性がある。このため、例えば、特許文献１では、小切手のクリアバンド内で背景に模様を有する金額欄に印字された文字を読み取るために、背景模様による影響を抑制する技術が開示されている。金額欄の背景模様が金額欄に印字される文字に比べて薄い色で印刷されていることを利用して、文字と背景模様の色の境をスライスレベル（しきい値）として設定して、このスライスレベルで金額欄の画像を２値化する。これにより、金額欄の画像から背景模様を除いて、文字のみが含まれる画像とすることができるので、精度よく文字認識を行うことが可能となる。

背景模様及び文字が含まれる画像で背景模様のみを除去することができればよいが、処理過程で２値化やフィルタリング等の画像処理を施すと、文字部分の画質までもが劣化して、誤った文字認識結果を得る場合がある。特許文献２には、背景模様を除去する画像処理が逆効果となることを回避するための技術が開示されている。具体的には、背景模様のみが含まれる領域の画素値の分布に基づいて、背景模様が文字認識に影響するか否かを評価する。そして、文字認識に影響しないと判定した場合には、背景模様を除去する画像処理を行うことなく文字認識を行う。また、背景模様が文字認識に影響する可能性がある場合も、元の文字画像に背景模様を除去するための画像処理を施して、画像処理後の画像を、背景模様の画素情報を利用して評価する。そして、画像処理による効果が得られないと判定した場合には、背景模様を除去する画像処理を行わず、元の文字画像を利用して文字認識を行う。

特開平３−１０２４７０号公報 特許第４７３２６２６号公報

しかしながら、上記特許文献１の従来技術によれば、上述したように、背景模様を除去するための画像処理によって文字部分の画像の画質が劣化して文字を正しく認識できない場合がある。

また、上記特許文献２の従来技術による方法では、背景模様による影響の判定や、背景模様を除去する画像処理の効果の判定を正確に行えない場合がある。この判定は、背景模様の画素情報を利用して行われるが、例えば、紙幣では文字列を形成する各文字位置で背景模様が異なったり複雑な模様を形成したりする場合があり、判定を正確に行えない可能性がある。

また、この他にも、投入された紙幣を一枚ずつ搬送しながら各紙幣の記番号を文字認識する紙幣処理装置で濃度勾配法等を利用して文字認識を行う際に、文字認識を誤る場合があった。例えば、濃度勾配法では、記番号を撮像した文字画像で各文字のエッジを抽出して得られる各方向の濃度勾配を特徴量として、これを辞書データに登録された特徴量と比較することにより文字認識を行う。ところが、紙幣処理装置では高速搬送される紙幣の記番号を撮像するために被写界深度が浅くなり、紙幣のばたつき等があると、撮像された画像で記番号の文字に焦点が合っていない場合がある。このような画像で各文字のエッジを抽出するためにエッジ抽出等の画像処理を施すと、例えば、文字を形成する線の特徴を正確に得られなくなる場合がある。そして、文字の一部の特徴が欠けると、この特徴量を利用しても文字を正しく認識できない場合がある。

本発明は、上述した従来技術による問題点を解消するためになされたもので、有価媒体に印刷された文字列の背景に模様がある場合でも高精度に文字認識を行うことが可能であり、処理対象とする文字のフォントに対応して予め準備されたテンプレート画像を利用して文字を高精度に認識することができる文字認識方法及び文字認識システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、有価媒体で背景模様の上に印刷された文字を認識する文字認識方法であって、有価媒体に印刷された文字を撮像した文字画像を取得する文字画像取得工程と、前記文字画像と、前記有価媒体に印刷される可能性がある各文字を撮像して背景領域を均一に塗りつぶした各テンプレート画像との類似度を評価する類似度評価工程と、前記類似度評価工程で最も高い類似度を示したテンプレート画像に対応する文字が前記文字画像に含まれる文字であると決定する文字決定工程とを含んだことを特徴とする。

また、本発明は、上記発明において、前記テンプレート画像は、前記有価媒体に印刷された文字を撮像した画像を、該画像の輝度分布から求めた文字背景分離しきい値により背景領域と文字とに分離して、前記背景領域に含まれる画素の画素値の分布に基づく所定の画素値で、前記背景領域に含まれる全ての画素値を置き換えることにより塗りつぶした画像であることを特徴とする。

また、本発明は、上記発明において、文字認識処理の処理対象となる前記文字画像に文字が含まれない可能性がある場合には、前記テンプレート画像に、前記背景領域のみから成る画像を含めることを特徴とする。

また、本発明は、上記発明において、前記類似度評価工程では、各テンプレート画像により前記文字画像の全面を走査しながら、各画素位置で類似度を評価する文字認識スコアを算出することにより類似度を評価することを特徴とする。

また、本発明は、上記発明において、前記文字認識スコアとして、前記テンプレート画像及び前記文字画像の画素値に基づいて求められる濃度値残差、濃度値の２乗誤差、正規化相関係数及び位相限定相関係数のいずれかの値を利用することを特徴とする。

また、本発明は、上記発明において、前記有価媒体は紙幣であることを特徴とする。

また、本発明は、上記発明において、前記テンプレート画像は、前記有価媒体に印刷されるフォントの数に応じて準備されることを特徴とする。

また、本発明は、有価媒体で背景模様の上に印刷された文字を認識する文字認識システムであって、有価媒体に印刷された文字を撮像した文字画像を取得する文字画像取得部と、前記文字画像と、前記有価媒体に印刷される可能性がある各文字を撮像して背景領域を均一に塗りつぶした各テンプレート画像との類似度を評価する文字認識スコアを算出する文字認識スコア算出部と、各テンプレート画像について算出された前記文字認識スコアに基づいて、最も高い類似度を示したテンプレート画像に対応する文字が前記文字画像に含まれる文字であると決定する文字決定部とを備えることを特徴とする。

また、本発明は、上記発明において、前記テンプレート画像は、前記有価媒体に印刷された文字を撮像した画像を、該画像の輝度分布から求めた文字背景分離しきい値により背景領域と文字とに分離して、前記背景領域に含まれる画素の画素値の分布に基づく所定の画素値で、前記背景領域に含まれる全ての画素値を置き換えることにより塗りつぶした画像であることを特徴とする。

また、本発明は、上記発明において、文字認識処理の処理対象となる前記文字画像に文字が含まれない可能性がある場合には、前記テンプレート画像に、前記背景領域のみから成る画像を含めることを特徴とする。

本発明によれば、文字認識処理の処理対象となる文字画像と、有価媒体に印刷される可能性がある各文字の背景領域を均一に塗りつぶして生成した各テンプレート画像との類似度に基づいて文字認識処理を行うことができる。背景模様を除去するための画像処理等を施すことなく、文字画像に含まれる情報を残した状態で文字認識処理を行うので、文字を高精度に認識することができる。

また、本発明によれば、各文字を撮像した画像から、文字領域と背景領域とを分離するための文字背景分離しきい値として例えば２値化しきい値を求め、求めた値により分離した背景領域を、この背景領域に含まれる全画素の画素値から求めた平均値、中央値、最頻値等の中から選択した画素値で塗りつぶすので、文字認識処理の処理対象となる文字画像に背景模様が含まれる場合でも高精度に文字認識処理を行うことができる。

また、本発明によれば、例えば有価媒体に印刷される文字列の桁数が異なるために端の桁に文字が無い場合等、文字認識処理の処理対象とする文字画像に文字が含まれない可能性がある場合には、背景模様のみから成るテンプレート画像を予め準備しておくことにより、文字が含まれないことを高精度に認識することができる。

また、本発明によれば、テンプレート画像により文字画像上を走査して、テンプレート画像の文字と文字画像に含まれる文字とが一致する位置を探索しながらテンプレート画像と文字画像との類似度を評価することにより文字認識結果を決定するので、例えば、有価媒体上で文字の印刷位置がずれることがある場合でも、文字全体が含まれるように文字画像を取得する位置及び領域を設定して、高精度に文字認識処理を行うことができる。

また、本発明によれば、テンプレート画像と文字画像との類似度を、テンプレート画像及び文字画像の画素値に基づいて求められる濃度値残差、濃度値の２乗誤差、正規化相関係数及び位相限定相関係数のいずれかの値を用いて評価するので、高精度に文字認識処理を行うことができる。

また、本発明によれば、文字の背景に様々な背景模様が印刷される紙幣を処理対象とする場合でも、紙幣に印刷される可能性がある文字について、背景模様を考慮して背景領域を塗り潰したテンプレート画像を予め準備しておくことにより、背景模様の影響を受けることなく高精度に文字認識処理を行うことができる。

また、本発明によれば、テンプレート画像は文字認識処理の処理対象となる文字のフォントに対応して準備されるので、例えば、紙幣の複数個所で異なるフォントで記番号が印刷される場合でも、各記番号のフォントに対応したテンプレート画像を利用して高精度に文字認識処理を行うことができる。

図１は、本実施形態に係る有価媒体の文字認識方法の概要を説明する模式図である。 図２は、本実施形態に係る文字認識装置の構成概略を説明するブロック図である。 図３は、紙幣を撮像して得られる紙幣画像、記番号画像及び文字画像について説明する図である。 図４は、テンプレート画像の生成方法を説明する図である。 図５は、生成したテンプレート画像の例を示す図である。 図６は、テンプレート画像の生成時に、背景領域を塗りつぶす画素値として図４とは異なる値を用いる例を説明する図である。 図７は、テンプレート画像の生成方法を説明するフローチャートである。 図８は、テンプレート画像を利用して行う文字認識スコアの算出方法について説明する図である。 図９は、文字認識処理時に得られた結果の一例を示す図である。 図１０は、テンプレート画像を利用して行う文字認識方法を説明するフローチャートである。

以下に添付図面を参照して、この発明に係る有価媒体の文字認識方法及び文字認識システムの好適な実施例を詳細に説明する。本実施形態に係る文字認識方法では、文字認識に利用する文字認識用辞書データとして、有価媒体に含まれる可能性がある全ての文字について背景模様を考慮したテンプレート画像を予め準備しておき、このテンプレート画像を利用して文字認識処理を行う。文字認識処理では、テンプレート画像と処理対象とする有価媒体から得られた文字画像との間でパターンマッチングを行って両画像の類似度を評価し、最も類似度の高いテンプレート画像の文字が文字画像に含まれる文字であると認識する。

図１は、有価媒体の文字認識方法の概要を説明する模式図である。図１（ａ）は文字認識用辞書データとしてテンプレート画像を生成する処理の概要を示し、同図（ｂ）は生成したテンプレート画像を利用して行う文字認識処理の概要を示している。また、図１（ｃ）は、文字認識処理の処理対象となる文字列の桁数が一定ではない場合のテンプレート画像について説明する図である。

図１（ａ）に示すように、文字列２０１の背景に模様がある有価媒体２００のテンプレート画像を生成するため、有価媒体２００を撮像して、文字列２０１を形成する各文字が含まれる部分領域を切り出した文字画像２０２を取得する（Ａ−１）。このとき、文字列２０１の領域に汚れや皺のない、状態のよい有価媒体２００から文字画像２０２を取得する。

そして、文字及び背景模様が含まれる文字画像２０２から背景模様のみを除去して、文字のみが含まれるテンプレート画像３００を生成する（Ａ−２）。まず、文字画像２０２が、文字を形成する画素の画素値と背景模様の画素値とに基づく輝度分布から文字背景分離しきい値として、例えば２値化しきい値を求めて、このしきい値により文字と背景領域とを分離する。そして、分離された背景領域を単一の画素値で塗りつぶすことによってテンプレート画像３００が生成される。具体的には、例えば、背景領域を形成する画素の画素値のヒストグラムに基づいて、中央値又は平均値となる画素値で背景領域を塗りつぶす。図１（ａ）では、図示の都合上テンプレート画像３００の背景領域を塗り模様で示しているが、実際には、単一の色で塗り潰された画像となる。例えば、文字画像２０２の背景領域が白の下地に黒の模様が描かれたものである場合には、背景領域の画素値のヒストグラムに基づいて選択された明るさの画素値で、背景領域が塗りつぶされる。なお、ここで画素値として利用するのは、明るさのみの情報である。

背景領域を塗りつぶす画素値の決定方法詳細については後述するが、本実施形態では、このように背景領域を塗りつぶしてテンプレート画像３００を生成するので、背景模様のデザインによらずテンプレート画像３００を生成することができる。また、単に背景領域を除去するのではなく、背景模様を形成する画素の画素値情報を利用して背景領域を塗りつぶすので、背景模様を考慮したテンプレート画像とすることができる。

有価媒体２００に含まれる可能性のある全ての文字について、同様に、有価媒体２００から文字画像を取得して、テンプレート画像３００を生成する処理を行う。そして、各文字のテンプレート画像３００を文字認識用辞書データとして登録して、以降の文字認識処理に利用する。

文字認識処理時には、図１（ｂ）に示すように、処理対象となる有価媒体１００を撮像して、文字列１０１を形成する文字画像１０４を取得する（Ｂ−１）。そして、図１（ａ）に示す方法で準備された各テンプレート画像３００により、文字画像１０４上を走査しながらパターンマッチング処理を行うことにより、文字画像１０４に含まれる文字の位置とテンプレート画像３００の文字の位置とが一致する位置を検出すると共に、文字画像１０４に含まれる文字とテンプレート画像３００に含まれる文字との類似度を評価する。そして、最も高い類似度を示すテンプレート画像３００の文字が、文字画像１０４に含まれる文字であるとの認識結果を得る（Ｂ−２）。

例えば、有価媒体１００に、図１（ｂ）に示すように、皺１１１や汚れ１１２等があると、これらが文字画像１０４に映り込む場合がある。また、搬送される有価媒体１００を撮像する際に有価媒体１００がばたつくと、文字がぼけて撮像されたり、一部の領域が明るく又は暗く撮像されたりする場合がある。このような場合に、背景模様を除去して文字のみを抽出するために、得られた文字画像１０４で、明るさやコントラストの調整、エッジ抽出等の画像処理を行うと、画像処理による影響が文字を形成する画素部分にも及び、文字部分の画質が劣化する可能性がある。しかし、本実施形態に係る文字認識方法では、処理対象として取得した文字画像１０４に、このような画像処理を施すことがないので文字部分の画質が劣化することがない。また、文字画像１０４に皺１１１や汚れ１１２が映り込んでいる場合、文字がぼけた状態で撮像されている場合、文字画像１０４の一部領域が明るく又は暗く撮像される場合等があるが、このような場合でも文字画像１０４とテンプレート画像３００との類似度を評価することにより正確に文字認識を行うことができる。

また、文字が印刷される位置は媒体によって異なるため、文字のフォントが固定であっても文字と背景とを組み合わせた画像パターンを事前に限定することはできないが、本実施形態では、背景部分を背景色で塗り潰した画像をテンプレート画像として文字認識を行うことにより、文字部分の類似度の評価を高精度に行うことができる。

また、テンプレート画像３００で文字画像１０４上を走査しながらパターンマッチング処理を行うので、有価媒体１００上で文字列１０１の印刷位置がずれている場合でも、文字画像１０４に対応するテンプレート画像３００を正確に決定することができる。

本実施形態に係る文字認識方法では、図１（ｃ）に示すように、有価媒体１００の文字列１０１の一部に空欄の桁（１０５）が含まれる可能性がある場合には、空欄用のテンプレート画像３０１を生成する。具体的には、文字列１０１の桁数が一定ではない場合には、桁数が最も多い場合に合わせて文字認識処理を行うため、桁数が少ない文字列では一部の桁が空欄となり、背景模様のみを含む領域が文字画像１０５として切り出されることになる。文字認識処理時に、このような文字画像１０５を、文字が含まれない空欄の桁を切り出したものであると正しく認識できるように、空欄用のテンプレート画像３０１を生成するものである。例えば、図１（ｃ）に示すように、有価媒体１００に印刷される文字列が９桁又は１０桁で（ｎ＝１０）、同図右側にあるように先頭の第１桁目が空欄である可能性がある場合には、第１桁目が空欄である場合の画像を取得して、空欄用のテンプレート画像３０１を生成する。このように、文字認識用辞書データに空欄用のテンプレート画像３０１を含めることで、文字画像１０５として取得された画像が空欄の桁の画像で、この画像に皺１１１や汚れ１１２等が映り込んでいる場合でも、空欄であることを正しく認識することができる。

以下では、有価媒体１００として紙幣を例に、紙幣に印刷された記番号を文字認識する場合について説明する。図２は、本実施形態に係る文字認識装置の構成概略を示すブロック図である。文字認識装置１は、記番号を含む画像及びこの記番号が印刷されていた紙幣の金種情報及び方向情報を取得して、方向情報に基づき必要に応じて画像の回転を行って、金種情報に基づき紙幣に対応する文字認識用辞書データ（テンプレート画像）を利用した記番号の文字認識処理を行う。そして、得られた文字認識結果を外部へ出力する機能を有している。

文字認識装置１は、文字認識処理部１０と、文字画像取得部２０と、記憶部３０とを備える。文字画像取得部２０は、外部から記番号を含む画像を取得する機能を有する。図３は、文字画像取得部２０が取得する画像の例を示す図である。図３（ａ）に示すように、外部から記番号１２１、１２２を含む紙幣画像１２０を取得した場合には、文字画像取得部２０は、この紙幣画像１２０から、同図（ｃ）に示すように、記番号１２１、１２２を形成する各桁の文字画像１２４を切り出して、画像データ３１として記憶部３０に保存する。また、図３（ｂ）に示すように、外部から、紙幣画像１２０から切り出した記番号画像１２３を取得した場合には、この記番号画像１２３から各桁の文字画像１２４を切り出したものを画像データ３１として記憶部３０に保存する。また、図３（ｃ）に示すように、外部から、記番号各桁の文字画像１２４を取得した場合には、この文字画像１２４を画像データ３１として記憶部３０に保存する。なお、文字画像を切り出す領域は、文字の印刷位置のずれを考慮して、印刷位置がずれた場合でも文字全体が含まれるように設定される。

記憶部３０は、ハードディスクや半導体メモリ等から成る記憶媒体であり、文字画像取得部２０によって取得された記番号各桁の文字画像１２４を、画像データ３１として保存するために利用される。また、記憶部３０は、文字画像１２４の文字認識処理に利用する文字認識用辞書データ３２を保存するために利用される。

文字認識用辞書データ３２として利用されるテンプレート画像は、処理対象とする紙幣の金種に対応して、フォント別に保存されている。例えば、日本の壱万円札の記番号を文字認識する場合には、これに対応して保存されたテンプレート画像が利用される。また、壱万円札とは異なるフォントで記番号が印刷される日本の千円札で記番号を文字認識する場合には、このフォントに対応して保存された別のテンプレート画像が利用される。同様に、欧州のユーロ紙幣を処理対象とする場合には、これに対応して保存された別のテンプレート画像を利用して文字認識処理が行われることになる。

なお、テンプレート画像は、フォントに対応して準備されるので、複数金種で１つのテンプレート画像を利用する場合もあるし、１つの金種で複数のテンプレート画像を利用する場合もある。例えば、１枚の紙幣上に、２つの異なるフォントで記番号が印刷される場合には、この紙幣用に２種類のテンプレート画像が準備され、各記番号はそのフォントに対応するテンプレート画像を利用して文字認識される。テンプレート画像の詳細については後述する。また、天地方向が逆である場合等、紙幣を撮像して得られた画像とテンプレート画像の方向が異なっている場合には、方向が一致するように紙幣を撮像して得られた画像又はテンプレート画像を回転する。また、紙幣の斜行等により、紙幣を撮像して得られた画像が傾いている場合には、テンプレート画像に合わせるためにこの傾きを補正する。

文字認識処理部１０は、文字認識スコア算出部１１及び文字決定部１２を有している。文字認識スコア算出部１１は、記憶部３０に画像データ３１として保存された文字画像１２４を取得すると共に、この文字画像１２４が得られた紙幣の金種情報を外部から取得して、この金種情報に基づいて、処理対象とする文字に対応するテンプレート画像を記憶部３０から読み出す。そして、文字画像１２４とテンプレート画像との類似度を評価する文字認識スコアを算出する。文字決定部１２は、文字認識スコア算出部１１によって算出された文字認識スコアに基づいて、文字画像１２４に含まれる文字の文字認識結果を決定する。文字認識スコアの算出方法及び文字認識結果の決定方法の詳細については後述する。

次に、文字認識用辞書データ３２であるテンプレート画像を生成する方法の詳細について説明する。テンプレート画像は、予め、皺や汚れ等のない状態のよい紙幣から、記番号を形成する可能性のある全ての文字の文字画像を取得して生成される。そして、生成されたテンプレート画像は、文字認識用辞書データ３２として記憶部３０に保存される。

テンプレート画像は、記番号各桁の文字認識結果として得られる可能性がある全ての文字について生成される。例えば、記番号１２１、１２２がアラビア数字の０〜９から成る場合には、数字０〜９に対応するテンプレート画像が生成される。また、記番号１２１、１２２が英字大文字Ａ〜Ｚから成る場合には、英字大文字Ａ〜Ｚに対応するテンプレート画像が生成される。そして、数字の桁では数字のテンプレート画像を利用して、英字の桁では英字のテンプレート画像を利用して文字認識処理が行われる。

また、桁数の異なる記番号１２１、１２２が存在する場合には、空欄のテンプレート画像が生成される。例えば、紙幣に印刷される記番号１２１、１２２が９桁又は１０桁である場合には、１０桁分の文字画像１２４で文字認識が行われる。このため、記番号１２１、１２２が９桁である場合には、例えば、第１桁目には文字が含まれず、第２桁目〜第１０桁目にのみ９桁分の文字のみが含まれることになる。すなわち、９桁の記番号１２１、１２２の第１桁目の文字画像１２４は背景模様のみから成る画像となる。このように空欄となる文字画像１２４に対応して、空欄のテンプレート画像を生成するものである。

以下では、文字画像１２４が、英字大文字Ａ〜Ｚ及び空欄のいずれかである場合を例に、テンプレート画像の生成方法について具体的に説明する。図４は、テンプレート画像の生成方法を説明する図である。

図４（ａ）は、紙幣から取得したテンプレート画像生成用の文字画像２１０を示している。図４（ａ）は、英字大文字「Ａ」のテンプレート画像を生成するための文字画像２１０を示しており、この画像には、記番号１２１、１２２として印刷される「Ａ」の文字と背景模様とが含まれている。

なお、１枚の紙幣から取得した文字画像２１０をテンプレート画像生成用の文字画像２１０とする態様であってもよいし、取得される文字画像２１０のバラツキを考慮して、例えば、複数の紙幣から多数の文字画像を取得して、同じ文字が含まれる複数の文字画像を加算平均したものをテンプレート画像生成用の文字画像２１０とする態様であってもよい。

図４（ｂ）は、同図（ａ）に示す文字画像２１０に含まれる画素の画素値の分布を示すヒストグラムである。横軸は画素濃度（画素値）を示し、縦軸は頻度（画素数）を示している。このように、文字及び背景模様を含む文字画像２１０から画素値のヒストグラムを生成して、２値化しきい値を決定する。また、横軸上で、決定した２値化しきい値以上の領域で濃度平均値を求める。

そして、文字画像２１０上で、２値化しきい値以上の画素値を有する画素領域を背景領域として特定する。図４（ａ）に示す文字画像２１０では、同図（ｃ）に白で示した領域が背景領域２１１となる。背景領域２１１が特定されると、この背景領域２１１を、ヒストグラムから求めた濃度平均値の画素値で塗りつぶす。そして、文字全体を含む矩形を残して周囲を切り取る。こうして得られた図４（ｄ）に示す画像が、テンプレート画像３１０ａとなる。

２値化しきい値は文字を形成する画素が残るように設定されるので、文字を形成する画素と文字近傍の背景模様を形成する画素の一部だけが、元の文字画像２１０と同じ画素値を有する。これに対して、背景領域２１１は、背景領域２１１を形成する画素の画素値のヒストグラムに基づいて、濃度平均値に相当する画素値に置き換えられることになる。

同様に、記番号１２１、１２２を形成する可能性のある各文字の文字画像を取得して、背景領域を塗りつぶしたテンプレート画像を生成する。また、空欄のテンプレート画像については、文字が含まれないため、ヒストグラムに基づいて背景を塗りつぶす処理は行わず、取得した文字画像を、そのままテンプレート画像とする。

図５は、こうして生成した文字のテンプレート画像３１０ａ〜３１０ｚと、空欄のテンプレート画像３１１とを示している。英字大文字Ａ〜Ｚ及び空欄のいずれかとなる桁の文字認識では、こうして生成されたテンプレート画像３１０ａ〜３１０ｚ及び３１１が、文字認識用辞書データ３２として利用される。なお、図５に示すように、図４に示す文字画像２１０から、文字全体を含む矩形を残して、その外側の背景領域を削除した画像が各文字のテンプレート画像３１０ａ〜３１０ｚとなる（図８（ａ）参照）。そして、空欄のテンプレート画像３１１は、文字のテンプレート画像３１０ａ〜３１０ｚに合わせた大きさとされる。なお、テンプレート画像３１０ａ〜３１０ｚの大きさは、扱う文字の最大サイズに合わせて設定する。また、このサイズは、扱う文字の種別（英文字、数字）毎に、各種別の最大サイズに合わせて設定してもよい。

背景領域２１１を塗りつぶす画素値については、背景領域２１１を形成する画素の濃度平均値とする態様に限らず、背景模様によって、中央値や最頻値に相当する画素値とする場合もある。例えば、図６（ａ）に示す文字画像２２０では、同図（ｂ）に示すように、背景領域２１１での画素分布が２値化しきい値に近い領域に偏っている。このような場合には、平均値を利用することが適切でないと判定して、平均値の代わりに中央値や最頻値を求めて、これを、背景領域２１１を塗りつぶす画素値とする。図６（ｂ）の例は、背景領域２１１を塗りつぶす画素値として、平均値ではなく中央値を採用する場合の例を示している。このように、背景領域２１１を塗りつぶす画素値については、文字画像２１０、２２０に含まれる背景領域２１１の画素値の分布、すなわち背景模様の特徴に応じて決定される。

図７は、文字のテンプレート画像３１０ａ〜３１０ｚを生成する処理を示すフローチャートである。上述したように、まず、テンプレート画像生成用の文字画像２１０を取得して（ステップＳ１０）、この文字画像２１０を形成する画素の画素値のヒストグラムから、文字背景分離しきい値として、２値化しきい値を求める（ステップＳ１１）。そして、２値化しきい値に基づいて、文字を形成する画素と背景領域２１１とを分離する（ステップＳ１２）。また、文字画像２１０で背景領域２１１を形成する画素のヒストグラムから、背景領域２１１を塗りつぶす画素値として、背景領域２１１の画素値の中央値等を求める（ステップＳ１３）。そして、背景領域２１１の画素値を、求めた画素値に置き換えることにより背景領域２１１を塗りつぶして（ステップＳ１４）、テンプレート画像３１０ａ〜３１０ｚを生成する。

次に、こうして生成されたテンプレート画像３１０ａ〜３１０ｚ及び３１１を利用して行われる文字認識処理について説明する。なお、以下では、文字のテンプレート画像３１０ａ〜３１０ｚと空欄のテンプレート画像３１１を含む場合を、テンプレート画像３１０と記載する。

文字認識装置１では、文字画像取得部２０によって、文字認識処理の処理対象となる文字画像１２４が取得されると、文字認識スコア算出部１１が、文字画像１２４上で、各テンプレート画像３１０を走査させて各画素位置で文字認識スコアを算出する。

図８は、文字認識スコア算出部１１によって算出される文字認識スコアについて説明する図である。図８（ａ）は、文字画像１２４上で、文字「Ａ」のテンプレート画像３１０ａを走査する様子を最上段に示し、その下に、各文字のテンプレート画像３１０ｂ〜３１０ｚ及び空欄のテンプレート画像３１１を利用して同様の走査を行うことを示している。また、図８（ｂ）は、文字画像１２４とテンプレート画像３１０との類似度を評価する文字認識スコアの例を示している。

紙幣上では、所定位置に記番号１２１、１２２が印刷されるため、例えば、図３（ａ）に示す紙幣画像１２０上の位置情報に基づいて、記番号画像１２３及び文字画像１２４が切り出される。このとき、記番号１２１、１２２の印刷位置がずれている場合でも文字全体が含まれるように、各文字画像１２４を切り出す領域が設定されている。これに対して、テンプレート画像３１０は、文字を含む矩形を残してその外側領域を削除した画像で、文字全体とその外周の僅かな領域とによって形成されている。このため、図８（ａ）に示すように、テンプレート画像３１０で文字画像１２４全面を走査しながら、テンプレート画像３１０に含まれる文字と、文字画像１２４に含まれる文字とが一致する位置を探索する。

具体的には、例えば、文字画像１２４の左上端を開始点として、この開始点とテンプレート画像３１０の左上端とが一致する位置で、両画像の類似度を評価する文字認識スコアを算出する。そして、この位置から右方向に１画素ずつ移動しながら、各画素位置で文字認識スコアを算出して、文字画像１２４の右端とテンプレート画像３１０の右端とが一致したら、テンプレート画像３１０の左上端が開始点から１画素下の位置となるようにテンプレート画像３１０を移動する。そして、再び、各画素位置で文字認識スコアを算出しながら、テンプレート画像３１０の位置を１画素ずつ右方向に移動する。このようなテンプレート画像３１０の移動及び文字認識スコアの算出を、テンプレート画像３１０の右下端が文字画像１２４の右下端と一致する位置まで継続する。こうして、文字画像１２４全面を走査しながら各画素位置で文字認識スコアを算出する。

ここで、文字認識スコアとは、テンプレート画像３１０と文字画像１２４の類似度を評価する評価値である。文字認識スコア算出部１１は、各テンプレート画像３１０により文字画像１２４上を走査して得られた値のうち、最大値を各テンプレート画像３１０ の文字認識スコアとする。例えば、図８（ａ）の最上段に示す、英字大文字「Ａ」のテンプレート画像３１０ａと、英字大文字「Ａ」が含まれる文字画像１２４では、２つの文字「Ａ」の位置が重なる位置で、文字認識スコアが最大値を示すことになる。

なお、文字認識スコアとして、例えば、図８（ｂ）に示す正規化相互相関係数Ｒが利用される。図８（ｂ）の（ｉ，ｊ）は文字画像１２４上での座標を示し、Ｉ（ｉ，ｊ）は座標位置での文字画像１２４の画素値、Ｔ（ｉ，ｊ）は座標位置でのテンプレート画像３１０の画素値を示している。また、図８（ｂ）では、テンプレート画像３１０が、横Ｍ画素、縦Ｎ画素の大きさである場合の正規化相互相関係数Ｒの算出式を示している。なお、テンプレート画像３１０と文字画像１２４の類似度を評価することができれば、文字認識スコアがこれに限定されるものではなく、例えば、濃度値残差、濃度値の２乗誤差、位相限定相関等の値を利用することもできる。図８（ｂ）のＲの式は、開始点における正規化相互相関係数Ｒを示している。

図８（ａ）に示すように、他のテンプレート画像３１０ｂ〜３１０ｚ及び３１１についても、同様に、文字「Ａ」が含まれる文字画像１２４上を走査しながら文字認識スコアを算出する処理が行われるが、他のテンプレート画像３１０ｂ〜３１０ｚ及び３１１では、文字画像１２４に含まれる文字「Ａ」との類似度が低く文字認識スコアの値も小さくなる。

図９は、文字「Ａ」を含む文字画像１２４上で、最大値を示す文字認識スコアが得られた際の、テンプレート画像３１０の位置を示す図である。文字「Ａ」のテンプレート画像３１０ａでは、テンプレート画像３１０ａの文字と文字画像１２４に含まれる文字「Ａ」とが重なる位置で、文字認識スコアが最大値となる。これに対して、他のテンプレート画像３１０ｂ〜３１０ｚ及び３１１では、文字を形成する画素及び背景模様の画素に応じて、様々な位置で文字認識スコアが最大値を示すが、いずれの場合も、文字認識スコアの値は、テンプレート画像３１０ａの文字認識スコアの値より小さくなる。

文字認識装置１の文字決定部１２は、各テンプレート画像３１０で得られた文字認識スコアに基づいて、文字認識結果を決定する。図８及び図９の例では、全てのテンプレート画像３１０について得られた文字認識スコアのうち、テンプレート画像３１０ａの文字認識スコアが最大値を示すことから、文字画像１２４に含まれる文字の文字認識結果を、テンプレート画像３１０ａの英字大文字「Ａ」とする。

記番号１２１、１２２を形成する各桁の文字画像１２４について、同様に、各桁に対応するテンプレート画像３１０を利用した文字認識処理が行われ、各文字画像１２４の文字認識結果が決定される。そして、各桁の文字画像１２４の文字認識結果を組み合わせた文字列が、記番号１２１、１２２の文字認識結果として、文字認識装置１の文字認識処理部１０から外部へ向けて出力される。

図１０は、各桁の文字画像１２４について行われる文字認識処理の内容を示すフローチャートである。まず、文字画像取得部２０が紙幣の記番号１２１、１２２を形成する文字画像１２４を取得する（ステップＳ２０）。

文字認識処理部１０によって別途取得された紙幣の金種情報に基づいて、文字画像１２４に対応する文字認識用辞書データ３２が特定されると、この文字認識用辞書データ３２に含まれるテンプレート画像３１０が、文字認識スコア算出部１１によって読み出される（ステップＳ２１）。

続いて、文字認識スコア算出部１１は、文字画像１２４上で、各テンプレート画像３１０を走査させて、各画素位置で文字認識スコアを算出する（ステップＳ２２）。文字認識スコアの算出は、全てのテンプレート画像３１０で文字画像１２４上を走査して、各画素位置での文字認識スコアが算出されるまで継続される（ステップＳ２３；Ｎｏ）。そして、各画素位置で得られた文字認識スコアのうち、最大値がテンプレート画像３１０の文字認識スコアとされる。

全てのテンプレート画像３１０について文字認識スコアの算出を完了すると（ステップＳ２３；Ｙｅｓ）、文字決定部１２は、各テンプレート画像３１０の文字認識スコアを比較して、最大値を示すテンプレート画像３１０を、文字画像１２４の文字認識結果とする（ステップＳ２４）。ステップＳ２０〜Ｓ２４の処理を、記番号１２１、１２２を形成する各桁の文字画像１２４について行うことにより、記番号１２１、１２２の文字認識結果を得ることができる。

上述してきたように、本実施形態によれば、有価媒体に印刷された文字を文字認識する際に、背景模様を除去するための画像処理や、文字のエッジを抽出するための画像処理を行わず、取得した文字画像１２４をそのまま利用するので、文字画像１２４に含まれる情報を維持した状態で、文字認識処理を行うことができる。このとき、文字画像１２４に背景模様が含まれる場合でも、文字認識用辞書データ３２として利用するテンプレート画像３１０を、背景模様に対応する背景領域２１１を背景模様の特徴に基づいて塗りつぶした画像とすることで、正確に文字認識処理を行うことができる。

また、文字を含むように切り出した文字画像１２４上で、テンプレート画像３１０を走査して文字位置を探索しながら、文字画像１２４に含まれる文字に対応するテンプレート画像３１０を決定するので、有価媒体上で文字がずれて印刷されている場合でも、正確に文字認識を行うことができる。

以上のように、本発明は、有価媒体上の文字の背景に模様が印刷されている場合に、この文字を文字認識するために有用な技術である。

１ 文字認識装置
１０ 文字認識処理部
１１ 文字認識スコア算出部
１２ 文字決定部
２０ 文字画像取得部
３０ 記憶部
３１ 画像データ
３２ 文字認識用辞書データ
１００ 有価媒体
１０１ 文字列
１０４、１０５、１２４ 文字画像（文字認識処理対象）
１２０ 紙幣画像
１２１、１２２ 記番号
１２３ 記番号画像
１２４ 文字画像
２００ 有価媒体
２０１ 文字列
２０２、２１０、２２０ 文字画像（テンプレート画像生成処理対象）
２１１ 背景領域
３００、３０１、３１０、３１０ａ〜３１０ｚ、３１１ テンプレート画像

Claims (10)

1. 有価媒体で背景模様の上に印刷された文字を認識する文字認識方法であって、
   有価媒体に印刷された文字を撮像した文字画像を取得する文字画像取得工程と、
   前記文字画像と、前記有価媒体に印刷される可能性がある各文字を撮像して背景領域を均一に塗りつぶした各テンプレート画像との類似度を評価する類似度評価工程と、
   前記類似度評価工程で最も高い類似度を示したテンプレート画像に対応する文字が前記文字画像に含まれる文字であると決定する文字決定工程と
   を含んだことを特徴とする文字認識方法。
2. 前記テンプレート画像は、前記有価媒体に印刷された文字を撮像した画像を、該画像の輝度分布から求めた文字背景分離しきい値により背景領域と文字とに分離して、前記背景領域に含まれる画素の画素値の分布に基づく所定の画素値で、前記背景領域に含まれる全ての画素値を置き換えることにより塗りつぶした画像であることを特徴とする請求項１に記載の文字認識方法。
3. 文字認識処理の処理対象となる前記文字画像に文字が含まれない可能性がある場合には、前記テンプレート画像に、前記背景領域のみから成る画像を含めることを特徴とする請求項１に記載の文字認識方法。
4. 前記類似度評価工程では、各テンプレート画像により前記文字画像の全面を走査しながら、各画素位置で類似度を評価する文字認識スコアを算出することにより類似度を評価することを特徴とする請求項１、２又は３に記載の文字認識方法。
5. 前記文字認識スコアとして、前記テンプレート画像及び前記文字画像の画素値に基づいて求められる濃度値残差、濃度値の２乗誤差、正規化相関係数及び位相限定相関係数のいずれかの値を利用することを特徴とする請求項４に記載の文字認識方法。
6. 前記有価媒体は紙幣であることを特徴とする請求項１〜５のいずれか１項に記載の文字認識方法。
7. 前記テンプレート画像は、前記有価媒体に印刷されるフォントの数に応じて準備されることを特徴とする請求項１〜６のいずれか１項に記載の文字認識方法。
8. 有価媒体で背景模様の上に印刷された文字を認識する文字認識システムであって、
   有価媒体に印刷された文字を撮像した文字画像を取得する文字画像取得部と、
   前記文字画像と、前記有価媒体に印刷される可能性がある各文字を撮像して背景領域を均一に塗りつぶした各テンプレート画像との類似度を評価する文字認識スコアを算出する文字認識スコア算出部と、
   各テンプレート画像について算出された前記文字認識スコアに基づいて、最も高い類似度を示したテンプレート画像に対応する文字が前記文字画像に含まれる文字であると決定する文字決定部と
   を備えることを特徴とする文字認識システム。
9. 前記テンプレート画像は、前記有価媒体に印刷された文字を撮像した画像を、該画像の輝度分布から求めた文字背景分離しきい値により背景領域と文字とに分離して、前記背景領域に含まれる画素の画素値の分布に基づく所定の画素値で、前記背景領域に含まれる全ての画素値を置き換えることにより塗りつぶした画像であることを特徴とする請求項８に記載の文字認識システム。
10. 文字認識処理の処理対象となる前記文字画像に文字が含まれない可能性がある場合には、前記テンプレート画像に、前記背景領域のみから成る画像を含めることを特徴とする請求項８又は９に記載の文字認識システム。

Images