以下、本発明を実施するための形態を図面に基づき説明する。
[第1の実施の形態]
この実施形態に係る文字列照合装置1は、例えば、ユーザ側から提示された手書きの申込書と実印などの登録を行った印鑑登録カードとを基に印鑑証明の発行手続きを行う場合の処理や、また、例えば、クレジットカードと手書きの申込書とに基づいて店頭窓口で現金を貸し出しする際の処理などにおいて利用可能である。
より具体的には、この文字列照合装置1は、例えば、上記カードから読み出したID番号などを基にデータベースから検索される住所名や氏名などを表すテキストデータの内容と、ユーザが必要事項を記入した申込書をイメージスキャナなどで読み取って得た住所名や氏名などの文字列を表す画像パターン(文字イメージ)の内容と、を照合するものであって、その照合結果が例えば本人認証などに利用される。
すなわち、本実施形態の文字列照合装置1は、図1に示すように、画像パターン取得部3、テキストデータ取得部5、画像パターン生成部(第1の画像パターン生成部)7、画像パターン照合部8、記憶部14、差分抽出部10、差分比較情報生成部12、差分照合部17及び判定部18を備える。
ここで、文字列照合装置1は、主要なハードウェア部分が例えばPC(パーソナルコンピュータ)などで構成されており、このPC内のHDDなどの外部記憶装置に格納された例えば文字列照合プログラムがCPUによりメインメモリ上にロードされることによって、上記した画像パターン生成部7や差分抽出部10を含む各構成要素が、ソフトウェアなどで実現される。なお、文字列照合装置1のソフトウェアで実現される上記各構成要素を、各種の電子部品を組み合わせてハードウェアにより実現してもよい。また、本実施形態の文字列照合装置1には、例えば、液晶ディスプレイやCRTモニタなどの表示装置、マウスやキーボードなどの入力装置、及びイメージスキャナなどが接続されている。
画像パターン(文字パターン)取得部3は、ユーザが例えば手書きで必要事項を記入した申込書の紙面を上記イメージスキャナで読み取って得た例えばラスタ形式の画像イメージ中から、選択的に文字列のイメージデータを切り出し、切り出したこのイメージデータを図2に示すように第1の文字列を表す画像パターン2aとして取得する。詳細には、画像パターン取得部3は、申込書の例えばレイアウトを定めたフォーマット情報などに基づいて、申込書全体の画像イメージ中から、文字記入枠などのイメージを取り除くことにより、文字列のイメージをその属性情報(住所名、氏名、電話番号などを差別化するための情報)などと共に取り出す。
テキストデータ取得部(テキスト取得部)5は、前述したように、例えばID番号と住所名や氏名などとを予め対応付けて登録しておいた所定のデータベースから、上記カードのID番号などを基に検索される住所名や氏名などを表すテキストデータ2bを図2に示すように取得する。ここで、この第1の実施形態及び後述する第2の実施形態では、本発明の技術思想をより把握し易くするために、図2などに示すように、照合対象として、それぞれ住所名を表した画像パターン及びテキストデータを取得する場合を例示する。
記憶部14には、図1に示すように、照合対象の文字列どうしの同一性を判定する上での指標(判定基準)となる判定ルール15が記憶されている。この実施形態の判定ルール15には、照合対象の各文字列がそれぞれ持つ意味内容が一致するか否かで、文字列どうしの同一性の有無を判定すべき旨が規定されている。つまり、判定ルール15には、照合対象の各文字列が表す意味内容が一致しない場合、同一性無しと判定し、一方、各文字列が表す意味内容が一致する場合、同一性有りと判定する旨が規定されている。また、勿論、照合対象の各文字列自体が互いに同一の文字列である場合にも、同一性有りと判定することが判定ルール15に規定されている。
したがって、このような判定ルール15は、図1に示すように、互いに同一の意味内容を表すものと解釈すべき複数の表記の形態を体系的に登録した表記知識情報16を適用して規定されている。後に詳述するこの表記知識情報16は、表記ゆれ規定知識16aや名称DB(名称データベース)16bといった表記ゆれに関する情報を含んで構成されている。
画像パターン生成部7は、図1、図2に示すように、テキストデータ取得部5により取得されたテキストデータ2bと上述した表記知識情報16とに基づいて、当該テキストデータ2bで表された文字列(第3の文字列)と各々同一の意味内容を表しかつ表記の形態が互いに異なる複数の種類の文字列(第4の文字列)をそれぞれ表す複数の画像パターン2cを生成する。また、図1に示すように、画像パターン生成部7は、文字列解析部7aを備えている。文字列解析部7aは、表記知識情報16を参照しつつ、図2に示すように上記テキストデータ2bで表された文字列の解析を行う。
画像パターン照合部8は、図1〜図4に示すように、画像パターン取得部3により取得された第1の文字列を表す画像パターン2aと第2の文字列を表す画像パターン2d(及び複数の画像パターン2c)とを照合する。また、図1に示すように、画像パターン照合部8は、画像パターン選出部8aを備えている。画像パターン選出部8aは、図2〜図4に示すように、第1の文字列を表す画像パターン2aを、画像パターン生成部7により生成された複数の画像パターン2cそれぞれと照合することによって、当該生成された複数の画像パターン2cのうちで第1の文字列を表す画像パターン2aと最も類似する画像パターンを、図2に示すように、第2の文字列を表す画像パターン2dとして選出する。
差分抽出部10は、図1、図5に示すように、画像パターン照合部8により照合された個々の画像パターン2a、2dから、互いの表記の差分にそれぞれ対応する第1及び第2の差分パターン2g、2hを抽出する。
差分比較情報生成部12は、図1、図5に示すように、差分抽出部10により抽出された第1及び第2の差分パターン2g、2hから、互いに比較可能な第1及び第2の差分比較情報2j、2kを生成する。具体的には、図1に示すように、差分比較情報生成部12は、文字認識部(第1の文字認識部)12aを備える。文字認識部12aは、第1及び第2の差分パターン2g、2hをそれぞれ文字認識し、この文字認識結果となるテキストデータを第1及び第2の差分比較情報2j、2kとして得る。なお、文字認識部12aが行う文字認識処理には、部分空間法などの既知のOCR技術を利用することが可能である。
差分照合部17は、図1、図5に示すように、差分比較情報生成部12により生成された第1及び第2の差分比較情報2j、2kどうしを照合する。つまり、差分照合部17は、第1及び第2の差分比較情報2j、2kとして得られた画像パターン2a、2d中の相違部分を比較照合する。
判定部18は、図1、図2、図5に示すように、記憶部14に記憶された判定ルール15と差分照合部17による照合結果とに基づいて、画像パターン取得部3により取得された画像パターン2aで表される第1の文字列と画像パターン選出部8aにより選出された画像パターン2dで表される第2の文字列との同一性(同一性の有無)を判定する。
ここで、上述したように、画像パターン選出部8aは、図2に示すように、テキストデータ2bで表される第3の文字列とそれぞれ同一の意味内容を持つ複数の第4の文字列を各々表した複数の画像パターン2cの中から、第2の文字列を表す画像パターン2dを選出している。したがって、第3の文字列と第2の文字列とは、互いに同一の意味内容を持つ文字列となる。これにより、本実施形態の判定部18は、図2及び図5に示すように、テキストデータ2bで表される第3の文字列と、画像パターン2aで表される第1の文字列と、の同一性を実質的に判定する。
次に、本実施形態の文字列照合装置1が備える各部の機能を上述した図1、図2に加え、図3〜図5に基づきより詳細に説明する。本実施形態では、図2、図5に示すように、画像パターン取得部3が、第1の文字列として「東京都府中市武蔵台1‐1‐15東芝荘307号室」を表す画像パターン2aを取得する一方で、テキストデータ取得部5が、第3の文字列として「府中市武蔵台1‐1‐15‐307」を表すテキストデータ2bを取得し、これらを照合した結果、同一性有りと判定されるまでの一連の処理を例示する。また、画像パターン2aは、例えば256階調のグレースケール画像として与えられ、一方、テキストデータ2bは、文字コードをSJISコードで記述したデータが与えられるものとする。
図1に示すように、表記知識情報16を構成する表記ゆれ規定知識16aは、例えば「檜山町」と「桧山町」、「クローバー」と「クローバ」など、同じ意味を持つ語句の表記のゆれを体系的に登録している。また、表記ゆれ規定知識16aには、住所末尾の「丁目」、「番地」、「号」、アパートやマンションなどの集合住宅の「棟」、「階」、集合住宅の「建物名」などを、「‐」(ハイフン)やカタカナの「ノ」に置き換えた表記の形態が登録されている。さらに、表記ゆれ規定知識16aは、住所末尾の「1」丁目、「1」番地…などの算用数字を「一」丁目、「一」番地…などの漢数字に置き換えた表記の形態も登録されている。
さらに、上記の表記ゆれ規定知識16aを含む表記知識情報16には、図2に示すように、例えば集合住宅名における住所最末尾の「号室」、住所先頭の「都道府県名」などを表記上、省略可能である旨が規定されている。また、表記知識情報16を構成する名称DB16bとしては、本実施形態では、いわゆる住所データベースが適用されている。したがって、この名称DB(住所データベース)16bを、文字列解析部7aが参照することで、データ「府中市武蔵台1‐1‐15‐307」を基に、例えば「東京都」や「東芝荘」などの省略された住所データを補完することが可能となる。つまり、このような表記知識情報16は、表記の形態としては互いに異なるものの、同じ意味内容を表す文字列どうしとして許容される表記のバリエーションを規定する。
文字列解析部7aは、図2に示すように、テキストデータ取得部5で取得されたテキストデータ2bの内容を、上記の表記知識情報16を参照しつつ解析することによって、テキストデータ2bで表される文字列と各々同一の意味内容を表しかつ表記の形態が互いに異なる複数の種類の文字列を特定する。ここで、文字列解析部7aは、文字列を複数特定できない場合、単一の文字列のみを適用してもよいし、また、文字列を複数特定できた場合でも、そのうちの幾つかだけを選択的に適用してもよい。さらに、照合対象となる画像パターン2aで表された文字列の表記の形態が予め判っている場合、例えば上記の「都道府県名」や「号室」などを省略していることが予め判っている場合には、これを利用して、文字列解析部7aが文字列の特定を行うようにしてもよい。
ここで、図2では、文字列解析部7aが、テキストデータ2bとしての「府中市武蔵台1‐1‐15‐307」を解析した結果、互いに表記の形態が異なる「府中市武蔵台1‐1‐15‐307」、「府中市武蔵台1丁目1番地15号307」、「府中市武蔵台一丁目一番地十五号三〇七」、「府中市武蔵台一ノ一ノ十五ノ三〇七」…が特定された例を示している。
また、本実施形態では、上記カードのID番号を基にテキストデータ取得部5がデータベースからテキストデータ2bを住所名として取得する場合を例示しており、文字列解析部7aは、テキストデータ2bが住所名を表すデータであることを認識した上で、テキストデータ2bの1-1…(1丁目1番地…)以降の異なる表記の形態を求めている。なお、このような例示に代えて、文字列解析部7aが、例えば都道府県名や市区町村名などの住所名に一定の規則を持って含まれる特定のキーワードなどに基づいて、テキストデータ2bが住所名を表すものであるか否かを判定するようにしてもよい。
また、本実施形態では、住所名の照合について例示しているが、これに代えて、氏名、電話番号、FAX番号、Eメールアドレス、URLで表現されるアドレス、契約番号などを文字列照合装置1が照合するものであってもよい。例えば氏名などを照合対象とする場合、表記知識情報16中の名称DB16bを住所データベースから名前辞書(姓名データベース)に変更することで、この対応が可能となる。
画像パターン生成部7は、自身が備える文字列解析部7aにより特定された複数の種類の文字列を表す画像パターン2cを生成する。具体的には、画像パターン生成部7は、文字列照合装置1本体を構成するPC内にOSやアプリケーションなどと共に予め登録された標準フォントを使用し、画素毎に1バイトの情報を持つ256階調のグレースケール画像を生成する。なお、文字列照合装置1が例えばインターネットなどに接続可能な環境にある場合、インターネット上から取得した文字フォントを画像パターン2cに適用することなども可能である。
なお、画像パターン生成部7は、文字列解析部7aが特定(適用)する文字列毎に、一つずつ画像パターン2cを生成してもよいし、また、例えば文字フォントの種類などを変えて、文字列解析部7aが特定する文字列毎に、複数個ずつの画像パターン2cを生成してもよい。さらに、これに代えて、画像パターン生成部7は、文字列の例えば横書き/縦書きの変更、横書き/縦書きの混在、さらには、市区町村名などの文字列中の一部だけのフォントサイズの変更などを行って画像パターン2cを生成してもよい。また、影付き文字、太字、斜体文字、下線などを適用して画像パターン2cを生成してもよい。
さらに、図2に示すように、照合対象となる画像パターン2aに適用された文字フォントや文字列中の各部位ごとのフォントサイズなどの情報を取得できる場合には、これらの文字の書体やサイズに対応させて画像パターン生成部7が画像パターン2cを生成してもよい。また例えば、文字列中の英数字が半角で表記されることが予め決められている場合などにも、この情報に基づいた画像パターン2cを画像パターン生成部7が生成するものであってもよい。
画像パターン照合部8は、図3に示すように、画像パターン取得部3により取得された第1の文字列を表す画像パターン2aと、画像パターン生成部7により生成された複数の画像パターン2cと、のそれぞれを、高さh、幅wで各々構成される同一サイズの複数の部分画像Rに分割(スライス)する。さらに、画像パターン照合部8は、図3に示すように、この部分画像Rの単位で、画像パターン2aを、複数の画像パターン2cそれぞれと照合することによって、部分画像毎に下記の式(1)で与えられる評価値S1を求める。
ここで、上記式(1)中のXi,jは、256階調のグレースケールで表現される画像パターン2a側の部分画像Rの画素値である。一方、Yi,jは、同様に256階調のグレースケールで表現される画像パターン2c側の部分画像Rの画素値である。つまり、式(1)で与えられる評価値S1は、照合対象の画素値どうしの最小2乗誤差から得られる。より具体的には、この評価値S1は、部分画像Rの高さ方向を1、2…hとし、その幅方向を1、2…wとして、当該部分画像Rをさらに細分化した細分化画素領域毎の画素値の差分を2乗した値の総和によって得られる。
さらに、画像パターン照合部8は、評価値S1が最小となる画像パターン2c中の部分画像Rを、画像パターン2a側の部分画像Rとマッチ(一致)する画像領域として検出する。ここで、画像パターン照合部8は、評価値S1が予め定めた閾値Tを超える部分画像に関しては、マッチする部分画像が存在しないものとして処理を行う。
このように、画像パターン照合部8は、評価値S1の計算に画素値を適用しているので、画像自体の持つ情報のみから照合結果を得ることができ、これにより、照合処理の高速化を図ることができる。また、画像パターン照合部8では、画像パターン2aや画像パターン2cの画質が低品質な場合であっても、これら画像パターン中の文字部分と背景部分とに、ある程度の画素値の差があれば、これに伴う評価値S1の変化を捉えることができるので、低品質な画像パターンが照合対象の場合でも頑健な処理を行うことができる。
ここで、画像パターン照合部8は、256階調のグレースケール画像として取得された画像パターン2aと複数の画像パターン2c(2d)とをそのまま照合するものであるが、これに代えて、照合対象の画像パターン2a、2cを、部分画像Rの画素値の最大値と最小値との間を256階調にリスケールしたり、また、エッジ強調や鮮鋭化などのフィルタ処理を行った後、照合処理を行うものであってもよい。さらに、画像パターン照合部8は、2値画像やカラー画像などの照合処理を行うものであってもよい。また、画像パターン2a、2cにおいて行の高さなどが異なる場合、前処理として例えば小さいほうの行を大きさが同じになるまで拡大するなどの正規化処理を行ってもよい。
また、画像パターン照合部8は、図4に示すように、比較対象の一方の画像パターン2fを基準として、比較対象の他方の画像パターン2eとの照合処理を行う場合において、一方及び他方の画像パターン2f、2eにおける各部分画像Rどうしを図4中の左側から右側へ向けて順に照合する。ここで、画像パターン照合部8には、照合処理時の照合規則として、図4に示すように、一方の画像パターン2fの部分画像Rと既にマッチした他方の画像パターン2fの部分画像Rの左側の領域(及び既にマッチした領域)は、再度照合処理を行わない、という規則が定義されている。これにより、画像パターン照合部8は、照合処理のさらなる効率化を図っている。
また、画像パターン照合部8の備える画像パターン選出部8aは、図2に示すように、画像パターン2aに対する複数の画像パターン2cそれぞれの一致度F1を求める。具体的には、画像パターン選出部8aは、部分画像R毎に上記式(1)で求まる評価値S1の最小値と評価値S1の平均値とを平均して一致度F1を得る。つまり、画像パターン選出部8aは、一致度F1の値が最も小さい画像パターン2cを画像パターン2aと最も類似する画像パターンとして認識し、この最も類似する画像パターンを、図2に示すように、第2の文字列を表す画像パターン2dとして選出する。ここで、画像パターン選出部8aは、図3、図4に例示した照合処理でマッチしない部分画像Rが閾値P以上存在する画像パターン2cについては、一致度F1の値を無限大とする。なお、本実施形態では、画像パターン選出部8aは、閾値Pとして例えば値「2」を採用する。
また、画像パターン照合部8は、一致度を評価するための評価値を得る場合に式(1)で求まる評価値S1に代えて、例えば下記の式(2)で求まる評価値S2を適用するものであってもよい。
ここで、式(2)では、“Xk”は、画像パターン2a側の部分画像R中の上述した細分化画素領域毎の画素値を特徴量化した特徴ベクトル、“Yk”は、画像パターン2c側の部分画像R中の細分化画素領域毎の画素値を特徴量化した特徴ベクトル、“・”は、内積、“|| ||”は、ノルムを表している。つまり、式(2)で求まる評価値(cosθ)S2は、値「1」に近付く程、特徴ベクトルどうしが類似していることになる。
画像パターン照合部8が、式(2)から得られる評価値S2を適用している場合、例えば各部分画像Rの評価値S2の平均値や、各部分画像Rの評価値S2の中間値(例えば評価値S2の最大値と最小値との中間の値)を一致度F2として求めることなどが例示される。この場合、画像パターン選出部8aは、画像パターン2aと最も類似する画像パターン2dの選出基準として、一致度F2が最大となる画像パターンを選出する。
また、例えばニューラルネットワークなどを用いて、前記した特徴ベクトルXk、Ykから評価値を計算するための関数を学習させるようにしてもよい。さらに、画像パターン照合部8は、画像パターン2a、2cどうしの照合の単位であった部分画像の幅wを、画像パターン全体の幅として、照合処理を行うものであってもよい。また、第1、第2の差分比較情報としてテキストデータで各々得られた文字数の差や、互いにマッチしなかった各部分画像Rのその総面積の差などを、評価値を求めるための要素として適用してもよい。
図1、図5に示すように、差分抽出部10は、画像パターン2aと選出された画像パターン2dとの部分画像Rどうしの照合結果に基づいて、画像パターン2a中において画像パターン2dとマッチしない部分画像Rを差分パターン2gとして抽出し、一方、画像パターン2d中において画像パターン2aとマッチしない部分画像Rを差分パターン2hとして抽出する。また、差分抽出部10は、マッチしない部分画像Rが連続する場合、それらを連結させて差分パターンを抽出する。
ここで、上述した判定ルール15には、各画像パターンの個々の部分画像Rどうしの照合結果を基に行われる差分抽出部10の抽出処理により、差分パターンが得られなかった場合、この時点で第1、第3(及び第2)の各文字列を同一性有りと解釈する旨が規定されている。つまりこの場合、判定部18は、第1、第3(及び第2)の各文字列を同一性有りと判定する。
なお、図5では、画像パターン2a、2dどうしの差分が明らかになるように、画像パターン2d側に部分的にブランクを空けて図示を行っている。また、図5では、差分抽出部10が、「東京都」、「東芝荘」、「号室」をそれぞれ表す差分パターン2gと、「‐」(ハイフン)を表す差分パターン2hと、を抽出した例を示している。さらに、上記の「東芝荘」と「‐」とは、差のあったパターン部分の配置関係が互いに対応しており、差分抽出部10は、このような対応関係と共に差分パターン2g、2hを抽出する。
図5に示すように、差分比較情報生成部12の備える文字認識部12aは、上述した第1及び第2の差分パターン2g、2hをそれぞれ文字認識し、この文字認識結果となるテキストデータを第1、第2の差分比較情報2j、2kとして得る。これにより、図5に示すように、差分比較情報生成部12は、「東京都」、「東芝荘」、「号室」をテキストデータでそれぞれ表す第1の差分比較情報2jを生成すると共に、テキストデータで「‐」を表す第2の差分比較情報2kを生成する。
さらに、差分比較情報12は、図5に示すように、画像パターン中の、あるパターン部分の一方の差分比較情報にのみ、文字列を表すデータ(テキストデータ)が得られる場合、このテキストデータに対応する他方の差分比較情報として「“空白”」を表す情報を生成する。ここで、「“空白”」を表す情報としては、例えば予め定めておいた文字コードなどを割り当てたテキストデータなどを用いるようにしてもよい。図5の例では、第1の差分比較情報2j側の「東京都」及び「号室」にそれぞれ対応させるように、二つの「“空白”」を表す第2の差分比較情報2kが補完される。
差分照合部17は、図1、図5に示すように、第1の文字列を表す画像パターン2aと第2の文字列を表す画像パターン2dとの相違部分の比較照合、すなわち、第1及び第2の差分比較情報2j、2kどうしの比較照合を行う。図5に示す例では、差分照合部17は、「東京都」と「“空白”」、「東芝荘」と「‐」、「号室」と「“空白”」を照合する。
判定部18は、図1、図2、図5に示すように、記憶部14に記憶された判定ルール15と差分照合部17による照合結果とに基づいて、画像パターン取得部3により取得された画像パターン2aで表される第1の文字列と、画像パターン選出部8aにより選出された画像パターン2dで表される第2の文字列と、がそれぞれ持つ意味内容が互いに一致するか否かを判定する。
ここで、図1、図2、図5に示すように、判定ルール15を構成する表記知識情報16には、「算用数字は漢数字と置換可能」、「文字列の全角/半角は置換可能」、「名称DB16bに含まれるマンション名やアパート名などの建物名は“‐”と置換可能」、「“丁目”、“番地”、“号”は“‐”と置換可能」、「“‐”は“ノ”と置換可能」、「都道府県名は省略可能(“空白”と置換可能)」、「建物の部屋名末尾の“号室”は省略可能(“空白”と置換可能)」といった情報が登録されている。
したがって、判定部18は、図5に示すように、例えば、省略可能な「東京都」と「“空白”」は一致、名称DB16bに登録のある「東芝荘」と「‐」は一致、省略可能な「号室」と「“空白”」は一致、していると判断する。これにより、判定部18は、画像パターン2aで表される第1の文字列と、画像パターン2dで表される第2の文字列と、が互いに同一の意味内容を持つ文字列であると判定する。つまり、判定部18は、画像パターン2aで表された「東京都府中市武蔵台1‐1‐15東芝荘307号室」と、テキストデータ2bで表された第3の文字列(第2の文字列と同じ意味内容を持つ文字列)である「府中市武蔵台1‐1‐15‐307」と、が互いに同一の意味内容を表していると判定する。
さらに、図1、図5に示すように、判定部18は、画像パターン2aとテキストデータ2bとを同一性有りと判定した最終の判定結果を、例えば文字列照合装置1本体に接続された表示装置に対して表示出力する。なお、上記例示では、判定部18が全て自動で文字列どうしの同一性を判定しているが、これに代えて、同一性の判定処理の例えば一部分をオペレータに委ねるようにしてもよい。つまり、図5に示す差分パターン2g、2hなどを表示装置を介して可視的に表示させ、この表示内容を確認したオペレータが、上記入力装置を通じての入力操作により、最終の判定結果を確定させるようにしてもよい。
次に、文字列照合装置1により実現される文字列照合方法を、上記した図1〜図5に加え、図6に示すフローチャートに基づき説明する。図1、図6に示すように、まず、文字列照合装置1の記憶部14は、表記知識情報16を含む判定ルール15を記憶する(S[ステップ]1)。また、画像パターン取得部3は、図2、図6に示すように、第1の文字列を表す画像パターン2aを取得し(S2)、一方、テキストデータ取得部5は、第1の文字列の比較対象となる文字列(第3の文字列)を表すテキストデータ2bを取得する(S3)。
次いで、画像パターン生成部7の備える文字列解析部7aは、図1、図2、図6に示すように、表記知識情報16を参照しつつテキストデータ2bを解析する(S4)。文字列解析部7aの解析結果に基づき画像パターン生成部7は、当該テキストデータ2b(第3の文字列)と各々同一の意味内容を表しかつ表記の形態が互いに異なる複数の種類の文字列(第4の文字列)をそれぞれ表す複数の画像パターン2cを生成する(S5)。
次に、画像パターン照合部8は、図1〜図4及び図6に示すように、第1の文字列を表す画像パターン2aを、画像パターン生成部7により生成された(第2の文字列を表す画像パターン2dを含む)複数の画像パターン2cそれぞれと照合する(S6)。ここで、画像パターン照合部8が備える画像パターン選出部8aは、図2に示すように、複数の画像パターン2cのうちで第1の文字列を表す画像パターン2aと最も類似する画像パターンを、第2の文字列を表す画像パターン2dとして選出する(S7)。
次いで、図6に示すように、選出された画像パターン2dと画像パターン2aとの照合結果に基づく差分抽出部10の抽出処理により差分パターンが得られなかった(画像パターン2a、2dが一致していた)場合(S8のYES)、判定部18は、第1、第3(及び第2)の各文字列(画像パターン2a、2d[及び2b])を同一性有りと判定する(S13)。
一方、画像パターン2a、2dどうしが一致していない場合には(S8のNO)、差分抽出部10は、図5、図6に示すように、画像パターン照合部8により照合された個々の画像パターン2a、2dから、互いの表記の差分にそれぞれ対応する第1及び第2の差分パターン2g、2hを抽出する(S9)。差分比較情報生成部12は、抽出された第1、第2の差分パターンを文字認識し、この文字認識の結果得られるテキストデータを第1、第2の差分比較情報2j、2kとして生成する(S10)。さらに、差分照合部17は、互いに対応する第1、第2の差分比較情報2j、2kどうしを照合する(S11)。
図5、図6に示すように、判定部18は、対応する第1及び第2の差分比較情報(テキストデータ)2j、2kどうしが互いに置換可能又は一方の差分比較情報が省略可能な表記であると判断した場合(S12のYES)、第1、第3(及び第2)の各文字列を同一性有りと判定する(S13)。さらに、判定部18は、対応する第1、第2の差分比較情報2j、2kどうしが互いに置換可能でなく、また一方の差分比較情報が省略可能な表記でもないと判断した場合、(S12のNO)、第1、第3(及び第2)の各文字列を同一性無しと判定する(S14)。
既述したように、本実施形態の文字列照合装置1によれば、照合対象の文字列を各々含む画像パターンどうしを互いの差分に絞り込んで照合することができるので、文字認識処理などを極力省きつつ照合処理を効率的に行うことができる。詳細には、この文字列照合装置1によれば、一連の処理の流れの中で、差分パターンから差分比較情報を得る処理の前段の処理では、主に、画像を構成する画素毎の値を基にパターン照合の結果を得ることができ、これにより、照合処理の高速化を図ることができる。また、本実施形態の文字列照合装置1によれば、種々の表記の形態が許容される住所を表す情報どうしの照合であっても、的確な照合結果を得ることができる。
[第2の実施の形態]
次に、本発明の第2の実施形態を図7〜図9に基づき説明する。なお、図7、図8中において、図1〜図5に示した第1の実施形態中の構成要素と同一の構成要素については、同一の符号を付与しその説明を省略する。図7に示すように、この実施形態の文字列照合装置31は、文字認識処理の効率化及び文字認識精度の向上を図ることのできる装置である。
すなわち、文字列照合装置31は、図7に示すように、第1の実施形態の文字列照合装置1が備えていた画像パターン生成部7、画像パターン照合部8、差分比較情報生成部12、差分照合部17及び判定部18に代えて、画像パターン生成部(第2の画像パターン生成部)33、画像パターン照合部34、差分比較情報生成部35、差分照合部37及び判定部38を備える。また、本実施形態の文字列照合装置31は、第1の実施形態と同様の画像パターン取得部3、差分抽出部10及び記憶部14に加え、さらに文字認識部(第2の文字認識部)32を備えている。
図7、図8に示すように、画像パターン取得部3は、第1の文字列を表す画像パターン22aを取得する。文字認識部32は、部分空間法などの周知の文字認識技術を利用して画像パターン22aの文字認識を行い、この文字認識結果としてテキストデータ22bを得る。画像パターン生成部33は、文字認識部32により得られたテキストデータ22bを文字イメージ化して、第2の文字列を表す画像パターン22cを生成する。
画像パターン照合部34は、図1、図7に示すように、第1の実施形態の画像パターン照合部8が備えていた画像パターン選出部8aの機能を除き、画像パターン照合部8と同様の機能を有しており、図8に示すように、画像パターン22aと画像パターン22cとを照合する。
差分抽出部10は、図7、図8に示すように、画像パターン照合部34による画像パターン22aと画像パターン22cとの各部分画像どうしの照合結果に基づいて、画像パターン22a中において画像パターン22cとマッチしない部分画像Rを差分パターン22eとして抽出し、一方、画像パターン22c中において画像パターン22aとマッチしない部分画像Rを差分パターン22dとして抽出する。また、差分抽出部10は、マッチしない部分画像が連続する場合、それらを連結させて差分パターンを抽出する。
差分比較情報生成部35は、図7、図8に示すように、差分抽出部10により抽出された第1の差分パターン22eを基に、互いに比較可能な第1及び第2の差分比較情報となる第1及び第2の補正パターンを生成する。具体的には、差分比較情報生成部35は、図7に示すように、第1の補正パターン生成部35a、文字認識部(第3の文字認識部)35c及び第2の補正パターン生成部35bを備えている。
第1の補正パターン生成部35aは、図8に示すように、第1の差分パターン22eに例えばエッジ強調や鮮鋭化、輝度のリスケーリングなどの画像処理を施すことによって、第1の差分比較情報となる第1の補正パターン(22f、22g、22h)を生成する。文字認識部35cは、生成された第1の補正パターンの文字認識を行い、この文字認識結果となるテキストデータ(22j、22k、22m)を得る。ここで、文字認識部35cは、文字認識部32と異なる認識条件で文字認識を行うことが可能である。第2の補正パターン生成部35bは、図8に示すように、文字認識の結果得られたテキストデータを文字イメージ化することによって、第2の差分比較情報となる第2の補正パターン(22r、22p、22n)を生成する。
差分照合部37は、図7、図8に示すように、第1の文字列を表す画像パターン22aと第2の文字列を表す画像パターン22cとの間での差分を基に得られた第1及び第2の補正パターンどうしを比較照合する。この差分照合部37は、画像パターン照合部8、34と同様に、図3、図4に例示した部分画像Rの単位で各補正パターンを照合する。
また、図7に示すように、記憶部14に記憶された判定ルール36には、第1及び第2の補正パターンどうしを差分照合部37により照合した結果、マッチングが認められた場合、画像パターン22a、22cとして各々表されていた第1及び第2の各文字列を同一性有りと解釈する旨が規定されている。また、判定ルール36には、差分照合部37による照合の結果、マッチングが認められなかった場合、第1及び第2の各文字列を同一性無しと解釈する旨が規定されている。なお、判定ルール36は、画像パターン22a、22cの上記各部分画像Rどうしの照合結果を基に行われる差分抽出部10の抽出処理により、差分パターンが得られなかった場合、この時点で第1及び第2の各文字列を同一性有りと解釈すべきことを規定している。つまりこの場合、判定部38は、第1、第2の各文字列を同一性有りと判定する。
ここで、本実施形態の例示では、図8に示すように、第1の補正パターン生成部35aは、第1の差分パターン22eに対し、それぞれ異なる画像処理を施すことによって、複数の第1の補正パターン22f、22g、22hを生成する。また、文字認識部35cは、生成された複数の第1の補正パターン22f、22g、22hそれぞれの文字認識を行い、複数のテキストデータ22j、22k、22mを得る。第2の補正パターン生成部35bは、文字認識の結果得られた個々のテキストデータ22j、22k、22mをそれぞれ文字イメージ化することによって、上記第1の補正パターン22f、22g、22hと各々対応する複数の第2の補正パターン22r、22p、22nを生成する。
さらに、本実施形態では、判定ルール36は、複数組生成されたうちの互いに対応する第1及び第2の補正パターンどうしを差分照合部37により照合した結果、少なくともいずれかの補正パターンの組にマッチングが認められた場合、第1及び第2の各文字列を同一性有りと解釈する旨を規定している。
判定部38は、図7、図8に示すように、上記判定ルール36と差分照合部37による照合結果とに基づいて、画像パターン22aで表される第1の文字列と、画像パターン22cで表される第2の文字列と、の同一性の有無を判定し、この判定結果を出力する。ここで、判定部38は、第1、第2の各文字列の同一性を有りと判定した場合、マッチングが認められた補正パターンに対応するテキストデータ(図8の例では“東芝荘307号室”)と、画像パターン照合部34により画像パターン22a、22c中の予めマッチしていたパターン要素(予め差分のなかったパターン要素)に対応するテキストデータ(図8の例では“東京都府中市武蔵台1‐1‐15”)と、を互い連結した全テキストデータを最終的な文字認識結果として取得する。
つまり、判定部38は、図8に示すように、第1の文字列を表す画像パターン22aの文字認識結果を最終確定させる。さらに、判定部18は、例えば、上記した同一性の判定結果や最終確定させた文字認識結果(全テキストデータ)を、文字列照合装置31本体に例えば接続された表示装置に対して表示出力する。
次に、本実施形態の文字列照合装置1が備える各部の機能を主に図8に基づきより詳細に説明する。本実施形態では、図8に示すように、画像パターン取得部3が、第1の文字列として「東京都府中市武蔵台1‐1‐15東芝荘307号室」を表す画像パターン22aを取得する一方で、文字認識部32による文字認識結果の影響を受けて、画像パターン生成部33が、第2の文字列として「東京都府中市武蔵台1−1−15◆」を表す画像パターン22cを生成し、これらを照合した結果、同一性有りと判定されるまでの一連の処理を例示する。
換言すると、本実施形態では、画像パターン22aが、「東京都府中市武蔵台1‐1‐15東芝荘307号室」として正しく文字認識されるまでの一連の処理を例示する。ここで、図8に示すように、画像パターン22aは、「東芝荘307号室」に対応するパターン要素の濃度が他の部位よりも高い場合を想定している。
すなわち、差分抽出部10は、図7、図8に示すように、画像パターン照合部34による画像パターン22aと画像パターン22cとの各部分画像どうしの照合結果に基づいて、画像パターン22a中において画像パターン22cとマッチしない部分画像Rを差分パターン22eとして抽出し、一方、画像パターン22c中において画像パターン22aとマッチしない部分画像Rを差分パターン22dとして抽出する。これにより、差分抽出部10は、図8に示すように、第1の差分パターン22eとして「東芝荘307号室」を抽出し、第2の差分パターン22dとして「◆」を抽出する。
上記のように差分パターンが抽出されたことに伴い、差分比較情報生成部35の第1の補正パターン生成部35aは、図8に示すように、第1の差分パターン22eに対し、それぞれ異なる画像処理を施すことによって、「東芝荘307号室」をそれぞれ表す複数の第1の補正パターン22f、22g、22hを生成する。
具体的には、第1の補正パターン生成部35aは、文字認識部35cによる文字認識処理の前処理となるフィルタ処理のパラメータや、2値化閾値などを変更することにより画像処理を行う。第1の補正パターン生成部35aが変更する2値化閾値としては、予め取り決めておいた固定的な閾値に変更してもよいし、例えば大津の方法やKittlerの方法などの閾値決定法を利用して閾値を変更してもよい。
つまり、第1の補正パターン生成部35aは、上記の2値化閾値やフィルタ処理を含むパラメータの変更方法として、予め設定しておいた修正パラメータをそのまま割り当ててもよいし、これに代えて、第2の差分パターン22dの内容を解析し、その解析結果に応じてパラメータを変更するものであってもよい。例えば、第2の差分パターン22dに対応する文字認識結果「◆」が「文字の潰ぶれ」であるという解析結果に基づき、第1の補正パターン生成部35aが、第1の差分パターン22eの濃度を薄くする方向に2値化閾値を変更して第1の補正パターンを生成することなどが後者の例に該当する。
また、文字認識部35cは、このようにして生成された複数の第1の補正パターン22f、22g、22hそれぞれの文字認識を行い、テキストデータ(束之王307吊安)22j、テキストデータ(東芝荘307号室)22k、テキストデータ(◆)22mを得る。
ここで、図7に示すように、文字認識部35cは、文字認識部32と同一の認識条件で文字認識を行える一方で、文字認識部32と異なる認識条件で文字認識を行うことも可能である。つまり、文字認識部35cは、文字の大きさの推定値などを含む文字認識の条件を、文字認識部32と異なる条件に変更可能である。また、例えば、文字認識部32が、文字認識方法として上記の部分空間法を適用している場合、文字認識部35cは、これに代えて、最近傍法や、サポートベクターマシン、隠れマルコフモデルなどを利用した文字認識方法に変更することが可能である。
また、文字認識部35cは、文字認識条件の変更方法として、予め設定しておいた変更用の文字認識条件をそのまま適用してもよいし、これに代えて、第2の差分パターン22dの内容を解析し、その解析結果に応じて文字認識条件を変更するようにしてもよい。
ここで、図7に示す差分比較情報生成部35は、第1の補正パターン生成部35aによる2値化閾値やフィルタ処理などのパラメータの変更と、文字認識部35cによる認識条件の変更と、のうちの、いずれか一方だけを変更するものであってもよいし、両方を変更するものであってもよい。なお、第1の補正パターン生成部35aによる上記パラメータの変更を行わない場合(差分パターン22eを画像処理しない場合)には、文字認識部35cは、文字認識部32と異なる認識条件で、画像処理していない差分パターン22eを文字認識してテキストデータを得る。
また、第2の補正パターン生成部35bは、図8に示すように、差分比較情報生成部35により文字認識されたテキストデータ22j、22k、22mを、文字イメージ化して生成した第2の補正パターン(束之王307吊安)22r、(東芝荘307号室)22p、(◆)22nを生成する。ここで、第2の補正パターン生成部35bは、例えば算用数字やアルファベットなど、全角、半角の双方で表現可能な文字を含むテキストデータについては、単一のテキストデータについて少なくとも2種類以上の補正パターンを生成してもよい。
差分照合部37は、図8に示すように、第1、2の補正パターン生成部35a、35bによりそれぞれ補正パターンとして生成された「東芝荘307号室」22fと「束之王307吊安」22r、「東芝荘307号室」22gと「東芝荘307号室」22p、「東芝荘307号室」22hと(◆)22n、を互いに比較照合する。
判定部38は、図8に示すように、判定ルール36と差分照合部37による照合結果とに基づき、「東芝荘307号室」22gと「東芝荘307号室」22pとがマッチしていると判断し、第1、第2の各文字列(画像パターン22a、22c)を同一性有りと判定する。さらに、判定部38は、図8に示すように、画像パターン22a、22c中の予めマッチしていたパターン要素(予め差分のなかったパターン要素)に対応するテキストデータ「東京都府中市武蔵台1‐1‐15」と、新たにマッチングが認められた第1、第2の補正パターン22g、22pに対応するテキストデータ「東芝荘307号室」と、を互い連結して最終的な文字認識結果となる全テキストデータ「東京都府中市武蔵台1‐1‐15東芝荘307号室」を得る。
ここで、第1及び第2の補正パターンどうしのマッチングが全く認められなかった場合、図7中の二点鎖線の矢印で示すように、2値化閾値やフィルタ処理などのパラメータの再変更や、文字認識部35cによる認識条件の再変更を行うと共に、新たに生成した第1、第2の補正パターンどうしの再照合、再判定を行うように、差分比較情報生成部35、差分照合部37及び判定部38が、繰り返しの制御を行うものであってもよい。この場合、繰り返しの制御の回数に制限をかけてもよい。
次に、文字列照合装置31により実現される文字列照合方法を、上記した図7、図8に加え、図9に示すフローチャートに基づき説明する。図7、図9に示すように、記憶部14は判定ルール36を予め記憶する(S21)。図7〜図9に示すように、画像パターン取得部3は、第1の文字列を表す画像パターン22aを取得する(S22)。文字認識部32は、第1の文字列を表す画像パターン22aを文字認識し(S23)、画像パターン生成部33は、文字認識部32により得られたテキストデータ22bを文字イメージ化して、第2の文字列を表す画像パターン22cを生成する(S24)。
次に、図7〜図9に示すように、画像パターン照合部34は、画像パターン22a、22cどうしを照合する(S25)。この照合結果に基づく差分抽出部10の抽出処理により差分パターンが得られなかった(画像パターン22a、22cが一致していた)場合、(S26のYES)、判定部38は、第1、第2の各文字列(画像パターン22a、22c)を同一性有りと判定する(S33)。
一方、画像パターン22a、22cどうしが一致せず(S26のNO)、差分抽出部10により第1、第2の差分パターン22e、22dが抽出されると(S27)、第1の補正パターン生成部35aは、図8、図9に示すように、第1の差分パターン22eに対し、各々異なる画像処理を施して複数の第1の補正パターン22f、22g、22hを生成する(S28)。次いで、文字認識部35cは、生成された複数の第1の補正パターン22f、22g、22hをそれぞれ文字認識して、複数のテキストデータ22j、22k、22mを得る(S29)。
続いて、第2の補正パターン生成部33は、文字認識の結果得られた各テキストデータ22j、22k、22mをそれぞれ文字イメージ化して、複数の第2の補正パターン22r、22p、22nを生成する(S30)。差分照合部37は、複数組生成されたうちの互いに対応する第1、第2の補正パターンどうしを照合する(S31)。判定部38は、少なくともいずれかの組の第1、第2の補正パターンどうしが一致するか否かを判定する(S32)。判定部38は、第1、第2の補正パターンどうしの少なくとも一組が一致した場合(S32のYES)、第1、第2の各文字列(画像パターン22a、22c)を同一性有りと判定する(S33)。補正パターンどうしのいずれの組も一致しなかった場合(S32のNO)、第1、第2の文字列を同一性無しと判定する(S34)。
このように、本実施形態の文字列照合装置31によれば、照合対象の文字列を各々含む画像パターンどうしを互いの差分に絞り込んだかたちで照合できるので、効率的に照合処理を行うことができ、またこの結果、文字認識処理の認識精度を高めることもできる。
以上、本発明を第1、第2の実施の形態により具体的に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、第1及び第2の実施形態の文字列照合装置1、31の両機能を併せ持った単一の文字列照合装置を構成してもよいし、文字列照合装置1、31の個々の構成要素を適宜組み合わせて、他の文字列照合装置を構成してもよい。