JP5272664B2 - 情報処理装置、画像検索方法、及びプログラム - Google Patents

Description

本発明は、情報処理装置、画像検索方法、及びプログラムの分野に関する。

近年、コンピュータの普及に伴い文書の電子化が急速に進んでいる。従来、帳票や台帳の処理は紙ベースで行われていたため、紙帳票や紙台帳はマイクロフィルムや、スキャナ等で画像化されてファイルサーバなどで電子保管されることも多い。

そして、これら紙帳票や紙台帳は保管等の問題から画像化後は破棄されている場合も多く、このような場合、これら紙帳票や紙台帳を参照するには画像データから検索して参照せざるを得ない。したがって、文書検索システムにおいてこのような画像データ（電子データ）を検索する場合、業務の効率化の観点からも、いかに高速に所望する画像データを検索できるかは重要な課題である。

ここで、紙帳票や紙台帳にはその用途上数字が多く含まれているが、画像化された帳票や台帳において、帳票や台帳内に描画されている数字をキーとして特定の画像データを検索したい場合がある。しかしながら、画像データには一意に特定される通し番号が付されていることが多いものの、画像内の数字は画像であるのでそれをそのまま検索に利用することができない。

このような場合、ＯＣＲ（Optical Character Recognition）を用いて、画像中に含まれる数字や文字を文字認識し文字情報に変換することで、使用者が入力した番号を含む画像を高速に検索する仕組みが知られている（例えば、特許文献１参照）。

また、大量の画像データの中から特定の画像データを検索する場合、テンプレートマッチング技術が用いられることも多い。テンプレートマッチングは、テンプレート画像と参照画像とを照らしあわせて画像の類似度（一致度）を判定して該当する画像データの検索を行なう。
特開２００４−１０２４１２号公報

しかしながら、特許文献１に記載されるようなＯＣＲによる検索方法は、比較的高速に画像を検索することができるが、画像に雑音（ノイズ）が大きく乗っている場合には文字認識の間違いにより正しく文字情報に変換できないという問題があった。

また、テンプレートマッチングを用いた検索方法は、比較的画像に雑音が載っている場合の検索に強いが、一枚の画像に対する処理に時間がかかるため高速な検索には不向きであるという問題があった。即ち、特定の画像データと参照画像とを画素レベルで比較するので、処理画像数に比例して検索処理に莫大な時間を要する。

そこで本発明では上記のような問題に鑑みて、画像に雑音が多い場合でも画像中に描画されている数字をキーとして該当する画像を高速に検索する情報処理装置、画像検索方法、及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明に係る情報処理装置は、通し番号が付され、前記通し番号につれて数字番号が大きく又は小さくなる所定桁数の数字番号画像を昇順又は降順で画像内に含み、一定のフォーマットを有する画像データを記憶する記憶手段と接続され、前記画像データの中から、入力された数字番号を画像内に含む画像データを検索する情報処理装置であって、前記画像データの画像内から、前記数字番号画像の上位所定桁の数字情報を取得する数字情報取得手段と、前記数字情報取得手段により取得された前記数字情報を前記画像データに対応付けて索引を作成する索引作成手段と、前記入力された数字番号と前記索引作成手段により作成された索引とに基づいて、前記入力された数字番号の上位所定桁と一致する前記数字情報に対応する画像データを抽出する抽出手段と、前記抽出手段により抽出された画像データの中から、前記入力された数字番号に対応する前記数字番号画像を画像内に含む画像データを検索する検索手段とを有するように構成することができる。

また、上記課題を解決するため、本発明に係る情報処理装置において、所定の数字番号情報の上位所定桁を前記数字番号画像と同一フォーマットで画像化したテンプレート画像と、前記数字番号画像とを比較して、画像の一致判定処理を行う画像マッチング処理手段を有し、前記数字情報取得手段は、前記所定の数字番号情報の上位所定桁を１以上ずつ繰り上げながら不一致判定となるまで、一の前記画像データの画像内に含まれる前記数字番号画像に対して前記画像マッチング処理手段による一致判定処理を行い、一の前記画像データの画像内に含まれる前記数字番号画像の上位所定桁の数字情報を取得するようにすることができる。

また、上記課題を解決するため、本発明に係る情報処理装置において、所定の数字番号情報の上位所定桁を前記数字番号画像と同一フォーマットで画像化したテンプレート画像と、前記数字番号画像とを比較して、画像の一致判定処理を行う画像マッチング処理手段を有し、前記数字情報取得手段は、一の前記画像データの画像内に含まれる前記数字番号画像に対して前記画像マッチング処理手段による一致判定処理を行い、一致判定となったとき、次以降の通し番号が付された一の前記画像データを対象とする前記一致判定処理に移行し、一の前記画像データ内の画像内に含まれる一の前記数字番号画像の上位所定桁の数字情報を取得するようにすることができる。

また、上記課題を解決するため、本発明に係る情報処理装置において、前記画像マッチング処理手段は、複数行の前記所定の数字番号情報の上位所定桁を画像化したテンプレート画像と、複数の前記数字番号画像とを一度に比較して、画像の一致判定処理を行うようにすることができる。

また、上記課題を解決するため、本発明に係る情報処理装置において、前記所定の数字番号情報は、前記通し番号が最小である前記画像データの画像内に含まれる全ての前記数字番号画像の数字情報を取得して、全ての当該数字番号の上位所定桁で多数決をとり最も多数の上位所定桁を有する数字番号のうち、最小の数字番号であるようにすることができる。

また、上記課題を解決するため、本発明に係る情報処理装置において、前記画像マッチング処理手段は、所定数の前記画像データを処理する毎に所定数目の前記画像データの画像内に含まれる全ての前記数字番号画像の数字情報を取得して、全ての当該数字番号の上位所定桁で多数決をとり最も多数の上位所定桁に基づいて、前記所定の数字番号情報の上位所定桁の修正を行うようにすることができる。

また、上記課題を解決するため、本発明に係る情報処理装置において、前記数字番号画像の数字情報は、ＯＣＲ処理、又は数字画像０から９までのテンプレート画像を前記数字番号画像と同一フォーマットで作成し、当該画像から画像内で黒画素が連続している領域のうち一定の大きさの数字画像部分を抜き出し、前記数字画像０から９までのテンプレート画像と１つずつと比較照合し一致度を判定することにより取得されるようにすることができる。

また、上記課題を解決するため、本発明に係る情報処理装置において、前記上位所定の桁は、前記所定桁数から、一画像データの画像内に含まれる数字番号画像の最大個数の桁数を減算した桁数であるようにすることができる。

なお、本発明の構成要素、表現または構成要素の任意の組合せを、方法、装置、システム、コンピュータプログラム、記録媒体、などに適用したものも本発明の態様として有効である。

本発明によれば、画像に雑音が多い場合でも、画像中に描画されている数字を索引として画像に付与することができ、画像中に描画されている数字をキーとして該当する画像を高速に検索する情報処理装置、画像検索方法、及びプログラムを提供することができる。

以下、本発明を実施するための最良の形態を各実施形態において図面を用いて説明する。

＜システム構成＞
（ネットワーク）
はじめに、具体的な発明の内容を説明する前に、本発明を実施するにあたってシステム構成について説明する。図１は、本発明による情報処理装置１を含む画像検索システム１００のネットワーク構成図である。情報処理装置１及び端末２がネットワーク３を介して接続されている。

情報処理装置１は、いわゆる画像（検索）サーバともいえ内部の記憶手段に画像データを保管し、端末３からの画像検索要求に応じて、記憶手段に記憶（保存）する画像データの中から該当する画像データの検索／提供を行なう。また、端末２は、いわゆるユーザ端末であり、情報処理装置１に対して所望する画像データの検索を行なう。ネットワーク３は、有線、無線を含むネットワークである。

なお、画像検索システム１００は、本発明の一実施形態を説明するにあたっての一構成例を示したものであり、情報処理装置１の記憶手段や内部の機能を異なる装置上に構築してネットワーク３上に接続してもよい。例えば、画像データはファイルサーバなどの専用の記憶装置に保管し、情報処理装置１は当該ファイルサーバとのやり取りにより検索に係る機能を端末２に提供する構成とすることも可能である。

（ハードウェア）
次いで、本発明による情報処理装置１のハードウェア及び機能構成について説明する。図２は、本発明による情報処理装置１の一実施形態の主要構成を示すハードウェア構成図である。情報処理装置１は、主要な構成として、ＣＰＵ１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、補助記憶装置１０４、記憶媒体読取装置１０５、入力装置１０６、表示装置１０７、及び通信装置１０８を含む構成である。

ＣＰＵ１０１は、マイクロプロセッサ及びその周辺回路から構成され、情報処理装置１全体を制御する回路である。また、ＲＯＭ１０２は、ＣＰＵ１０１で実行される所定の制御プログラム（ソフトウェア部品）を格納するメモリであり、ＲＡＭ１０３は、ＣＰＵ１０１がＲＯＭ１０２に格納された所定の制御プログラム（ソフトウェア部品）を実行して各種の制御を行うときの作業領域（ワークエリア）として使用するメモリである。

補助記憶装置１０４は、汎用のＯＳ（Operating System）、本発明によるプログラム、検索対象の画像データなどを含む各種情報を格納する装置であり、不揮発性の記憶装置であるＨＤＤ（Hard Disk Drive）などが用いられる。なお、上記各種情報は、補助記憶装置１０４以外にも、ＣＤ−ＲＯＭ（Compact Disk - ROM）やＤＶＤ（Digital Versatile Disk）などの記憶媒体やその他のメディアを記憶されてもよく、これらの記憶媒体に格納された各種情報は、記憶媒体読取装置１０５などのドライブ装置を介して読み取ることが可能である。よって、必要に応じて記録媒体を記憶媒体読取装置１０５にセットすることで、各種情報が得られる。

入力装置１０６は、ユーザ（管理者等）が各種入力操作を行うための装置である。入力装置１０６は、マウス、キーボード、表示装置１０７の表示画面上に重畳するように設けられたタッチパネルスイッチなどを含む。表示装置１０７は、プロジェクト管理に係る各種データを表示画面に表示する装置である。例えば、ＬＣＤ(Liquid Crystal Display)、ＣＲＴ(Cathode Ray Tube)などから構成される。次に、通信装置１０８は、ネットワーク３上の装置との通信を行う装置である。有線ネットワークや無線ネットワークなど含む各種ネットワーク形態に応じた通信をサポートする。以上、情報処理装置１のハードウェア構成である。

なお、前述の端末３については、いわゆるＰＣ（Personal Computer）といった情報処理端末でよくそのハードウェアの説明は省略する。

（画像データ）
次に、情報処理装置１の有する機能の説明に先立って、本発明に係る情報処理の対象となる画像データについて説明しておく。図３は、本発明に係る画像データの一例を示す図である。マイクロフィルム等の記録媒体に記録されている場合はスキャンされて画像データ化される。本発明に係る画像データは以下の特徴を有している
（１）画像には、固定桁数・固定フォント、共通フォーマットで数字番号画像が記載されている
（２）画像データは、複数枚あり、画像データ毎に固有の通し番号が振られている
（３）画像の通し番号が大きいものほど、画像内の数字番号（の値）も大きい（或いは小さい）
再び図３を参照して、通し番号００００１画像内には、固定８桁の数字番号画像が固定フォントにより昇順で記載されている。また通し番号００００２画像内には、通し番号００００１画像からの数字番号画像に続くようにして順に数字番号画像が記載されている（飛び番号含む）。また、画像データは、通し番号からして５９１３０枚の画像データがあることがわかる。

次に、本発明により高い効果が期待できる画像データの条件を挙げておく。
（４）画像に（ある程度の）雑音が乗っている（ゆえに処理過程においてテンプレートマッチング技術を利用する）
（５）数字番号画像の上位数桁は余り大きく変動しない（一枚の画像中に同じ数字の上位所定桁が複数回記載されている）
ここでいう雑音は、紙台帳や紙帳票上にある汚れやインクむら、しわなどで、スキャンされた画像データ上にもこれら雑音が乗ってしまっており、ＯＣＲなどで文字情報を認識する場合にはエラーや誤認識を生じさせる原因となるものである。また、画像の上位数桁は余り大きく変動しないとは、例えば、一画像内に複数の数字番号画像が記載されている場合、その複数の数字番号画像における上位桁（例えば、５桁や６桁等）は同一である数字番号が多いことを意味する。

ここで、理解を容易にするため図３に示される図をさらに具体的な帳票や台帳に適用した例を示しておく。図４は、口座台帳の一例を示す図である。また図５は、請求書帳票の一例を示す図である。いずれも上記条件を満たすフォーマットで記載されている。なお、例えば、これらは紙ベースでの台帳及び帳票をスキャンして画像データ化したものであり、ある程度雑音があるものとする。本実施形態による情報処理装置１は、このような画像データの中からユーザにより入力された数字番号を含む画像データを検索する機能を有している。

（機能）
図６は、本発明の実施形態による情報処理装置１の一実施形態の主要機能を示す機能ブロック図である。情報処理装置１は、主要な機能として、記憶部６０１、数字情報取得部６０２、索引作成部６０３、抽出部６０４、及び検索部６０５を有する。以下、各機能部について説明する。

記憶部６０１は、前述の画像データを記憶する機能を有している。

数字情報取得部６０２は、記憶部６０１に記憶された画像データの画像内から、前記数字番号画像の上位所定桁の数字情報を取得する機能を有している。具体的には再び図３の参照して、上位所定桁を「６」桁とすると、通し番号００００１画像からは「０１１１６２」（上位６桁）という数字情報を取得する。また、通し番号００００３からは「０１１１６３」及び「０１１１６４」という数字情報を取得する(このように数字情報は複数取得される場合がある)。

索引作成部６０３は、数字情報取得部６０２により取得された数字情報を、その数字情報が取得された画像データに対応付けて索引を作成する機能を有している。具体的には、前述の例で言うならば、通し番号００００１画像に対応させて「０１１１６２」、通し番号００００３画像に対応させて「０１１１６３」及び「０１１１６４」というように、画像データ毎に数字情報を紐付けて、画像データを検索する際に用いられる索引を作成する。作成される索引の例等については後述する。

抽出部６０４は、ユーザにより入力された数字番号と索引作成部６０３により作成された索引とに基づいて、入力された数字番号の上位所定桁と一致する前記数字情報に対応する画像データを抽出する機能を有している。具体的には、ユーザにより入力された数字番号「０１１１６４０１」である場合、抽出部６０４は画像データの索引を利用して画像内に数字番号「０１１１６４」（上位６桁）を含む画像データを抽出し、その結果例えば、通し番号００００３画像、通し番号００００４画像、通し番号００００５画像が抽出される。

検索部６０５は、抽出部６０４により抽出された画像データの中から、入力された数字番号に対応する数字番号画像を画像内に含む画像データを検索する機能を有している。具体的には、抽出部６０４により抽出された通し番号００００３画像、通し番号００００４画像、通し番号００００５画像の３枚の画像の中から、ユーザにより入力された数字番号「０１１１６４０１」を画像内に含む画像データである通し番号００００４画像が検索される。なお、詳細は後述するが、本実施形態ではテンプレートマッチング処理により３枚の画像データから数字番号「０１１１６４０１」を画像内に含む画像データの検索を行う。

以上、これら各機能部による機能は実際にはＣＰＵ１０１が実行するプログラムにより実現される。

＜動作＞
次に、本発明による情報処理装置１の処理動作についてフローチャートを参照しつつ説明を行う。以下では前半処理と後半処理のパートにわけて説明する。前半処理は、前述の数字情報取得部６０２が画像データの画像内に含まれる数字番号画像から、数字番号の上位所定桁の数字情報を取得し、索引作成部６０３がその数字情報を画像データに対応付けて索引を作成するまでの処理である。そして、後半処理は、索引を利用して抽出部６０４がユーザにより入力された数字番号と上位所定桁と一致する数字情報に対応する画像データを抽出し、検索部６０５がその抽出された画像データの中から、入力された数字番号を画像中に含む画像データを検索するまでの処理である。

（前半処理）
図７は、情報処理装置１の行う前半処理について説明するフローチャートである。平行して図３を参照し具体的に説明する。

ステップＳ７０１において、最小の通し番号（Ａとする）を取得する。図３の例においては、通し番号Ａは０００００１から５９１３０の値を取り得る所、最小の通し番号は、Ａ＝００００１となる。通し番号は必ずしも００００１から始まらない場合も考えられるが、その取得方法として、全通し番号をチェックして最小の通し番号を算出したり、既知情報（ユーザ入力）として最小の通し番号が与えられているようにすればよい。

ステップＳ７０２で、上位所定桁数（Ｘとする）を取得する。図３の例においては、Ｘ＝６とする。この上位所定桁数は予めユーザにより設定される値であるが、ここではＸ＝６（６桁）として説明を進め、一連の処理の説明後に再度詳しく触れる。

ステップＳ７０３で、全画像内に含まれる数字番号画像から、最小の数字番号（数字列Ｂとする）を取得する。図３の例においては、数字列Ｂ＝０１１１６２０３となる。最小の数字番号の取得方法として、既知情報（ユーザ入力）として最小の数字番号が与えられているようにできる。また、自動取得方法として、最小の通し番号（例えば、００００１）の画像データを取得して、画像中の雑音が弱い場合には当該画像にＯＣＲ処理を行うことができる。一方、画像中の雑音が強い場合には、例えば、０−９までの数字画像（テンプレート画像）を画像中の数字番号画像と同一フォーマットで作成し、当該画像から画像中で黒画素が連続している領域のうち一定の大きさのもの（つまり、数字画像部分）を抜き出す。そして、抜き出した数字画像部分と０−９までのテンプレート画像１つずつと比較照合し一致度を判定することで、当該画像に含まれる全ての数字番号（情報）を取得する。取得された全ての数字番号の上位所定桁で多数決をとり、最も多数の票を得た上位所定桁を持つ数字番号の最小のものを、最小の数字番号（数字列Ｂ）とできる。多数決をとるのは、仮に１つ極端に小さく誤認識された数字番号を排除できるからである。

ステップＳ７０４で、数字列Ｂの上位Ｘ桁までをテンプレート画像として画像化（数字画像Ｂとする）する。具体的には、数字列Ｂ＝０１１１６２０３の上位６桁までを、画像データの画像フォーマットと同様のフォントや行間（テンプレートマッチング処理の為）にして画像化する。よってここでは、「０１１１６２」について画像化される。

ステップＳ７０５で、通し番号Ａの画像（データ）を取得する。図３の例においては、通し番号００００１画像（データ）を取得する。

ステップＳ７０６で、取得した画像（通し番号００００１）内に、数字画像Ｂと一致する部分（数字番号画像）があるが判定（画像マッチング処理）する。ここで、Ｓ７０４−Ｓ７０６の処理動作をさらに説明する。

図８は、テンプレートマッチング処理（その１）の一例を説明する図である。テンプレート画像は、画像データの画像内で使用されている数字のフォントや行間と同じ大きさで作成した数字列の画像（数字画像Ｂに相当）である。画像化されたテンプレート画像と対象画像（画像データ）とを用いて、テンプレート画像を一画素（一ピクセル）ずつずらし重ね合わせ、対象画像との画素の一致度を計算する。そして、所定の一致度（例えば、８０％）を設け、これを満たす（上回る）場合は、一致と判定（マッチ判定）する。一致判定は、当該画像に数字列Ｂが含まれることを意味する。なお、一致度は画像内の雑音状況に応じて設定されればよいが、一致度を高く設定すれば判定に係る正確度が高くなり、低く設定すればその正確度は低くなる。

図９は、テンプレートマッチング処理（その２）の一例を説明する図である。この例では、数字列の数字を一文字ずつ、対象画像で使用されている同じフォントで画像化することによりテンプレート画像（数字画像Ｂに相当）を作成する。また、対象画像から画像中で黒画素が連続している領域のうち一定の大きさのもののみを抜き出す。そして、前述と同様の方法により一致度でもって一致判定を行う。但し、画像中で黒画素が連続している領域を抜き出す処理を行うため、例えば、数字番号間に雑音が渡っているような場合は、数字番号の画像同士がつながっているように認識されてしまいうまく領域を抜き出すことができない。

図１０は、テンプレートマッチング処理（その３）の一例を説明する図である。具体的には、図８のテンプレートマッチング処理（その１）を変形して、複数行を含む数字画像のテンプレート画像を用いたマッチング処理の一例を説明する図である。このように複数行の大きなテンプレートを用いることにより、雑音に強い、縮小してもマッチングの精度が高い、高速化が可能といったメリットがある。また、一行のテンプレートでは偶然の一致がありうるためこれを防止する効果も期待できる。

これまで説明したテンプレートマッチング方法はあくまで一例であり、画像内に含まれる数字情報を取得できれば他のテンプレートマッチング方法も適用可能である。

再び図７のステップＳ７０６に戻り、取得した画像内に、数字画像Ｂと一致する部分（数字番号画像）があると判定すると、次のステップ７０７に進む。具体的には、図３の例においては、通し番号Ａ＝０００００１の画像内に、数字画像Ｂ（０１１１６２）と一致する部分を有する場合である。

ステップＳ７０７で、取得した画像に数字列Ｂの上位Ｘ桁の数字情報を対応（紐）付けて索引を作成する。即ち、これまでの処理で得られた画像データの画像内に含まれる数字番号画像に対応する数字情報を索引に保存しておく。図１１は、索引の一例を示す図である。索引では、通し番号（画像データを一意に識別する識別子）と数字情報が対応（紐）付けられている。これまで説明を行った処理（Ｓ７０４−７０６）でいえば、通し番号「００００１」と数字情報「０１１１６２」が対応（紐）付けられる。この索引は後述する後半処理（画像検索処理）において利用される。

ステップＳ７０８で、数字列Ｂは画像内に含まれる最大の数字番号であるか否かで分岐する。数字列Ｂが帳票や台帳において存在する最大の数字番号であるところまで処理が進めば本処理を終了させるためである（ＥＮＤへ）。この最大の数字番号は、望ましくはユーザにより予め設定される（例えば、取り得る最大の数字番号は９９９９９９９９であるのでそこまでの処理も可能）。

ステップＳ７０９で、数字列Ｂに１（以上）の整数を加算する。画像内に含まれる数字番号（数字列Ｂ）が、連番で続いておらず飛びが大きい傾向にあるような場合、処理の短縮化（高速化）を図れるので、設定によりこの整数は可変することができる。例えば「２」の整数を加算すれば処理は半分になる一方、連番で続いている数字番号は見落される。従って、この整数値は数字番号（数字列Ｂ）に応じて設定されることが望ましい。

再びステップＳ７０４に進むと、この場合は、同一画像について数字列Ｂに１（以上）加算した値が当該同一画像に含まれるかどうかを再度判定する。含まれる場合は、数字情報としてさらに索引に追加するようにする処理である。

一方、ステップＳ７０６に戻り、取得した画像中に、数字画像Ｂと一致する部分（数字番号画像）がないと判定すると、次のステップ７１０に進む。

ステップ７１０で、通し番号Ａは最大値であるか否かで分岐する。通し番号Ａが存在する最大の通し番号であるところまで処理が進めば本処理を終了させるためである（ＥＮＤへ）。この最大の通し番号は、望ましくはユーザにより予め設定される（例えば、取り得る最大の通し番号は９９９９９であるのでそこまでの処理も可能）。

ステップ７１１で、通し番号Ａに１（以上）の整数を加算する。処理対象画像において、上位所定桁（数字列ＢのＸ桁）が同一の数字画像が多い傾向にある場合（上位所定桁の変動が少ない場合）、処理の短縮化（高速化）を図れるので、設定によりこの整数は可変することができる。例えば「２」の整数を加算すれば処理は半分になる一方、次の通し番号の画像内における数字番号（情報）は見落される。従って、この整数値は前述の上位所定桁の変動の傾向に応じて設定されることが望ましい。

再びステップＳ７０４に進むと、この場合は、通し番号に１（以上）加算した値の通し番号の画像、つまり次の一画像について数字列Ｂが画像に含まれるかどうかを判定する。

なお、ステップＳ７０６の処理について補足する。ステップＳ７０６で、いわゆるテンプレートマッチング処理がなされるが、雑音の影響により、実際は存在しない数字番号について一致判定（誤認識）されてしまった場合、Ｓ７０７以降のステップに進み、数字列Ｂに１以上の整数が加算されて（Ｓ７０９）、以降存在しない上位所定桁を探して延々と処理（ループ）が発生する可能性がある。したがって、画像データに対して所定枚数毎（例えば、１０枚毎）や所定回数以上ループが発生した場合に、現在の上位所定桁（数字列Ｂ）と対象の画像内の数字番号にすれが生じていないかどうかを確認するようにする。具体的には、前述のＯＣＲ処理や数字画像（０−９のテンプレート）によるテンプレートマッチング方法等により現在処理対象の画像内の数字画像を取得し、現在の上位所定桁（数字列Ｂ）と比較して修正を行うようにする。これにより、誤認識によるズレを防止するよう担保を行なう。

また、例えば、Ｓ７０２において画像内に含まれる最大の数字番号を取得し、またＳ７０８で数字列Ｂは画像内に含まれる最小の数字番号であるか否かで分岐し、Ｓ７０９で数字列Ｂに１（以上）の整数を減算するようにすることもできる。画像内の数字番号が通し番号に反比例して小さくなるよう記載されている場合であり、画像内の数字番号が降順に記載されている場合である。

以上、フローチャートに沿って前半処理、即ち、前述の数字情報取得部６０２が画像データの画像内に含まれる数字番号画像から、数字番号の上位所定桁の数字情報を取得し、索引作成部６０３がその数字情報を画像データに対応付けて索引を作成するまでの処理について説明を行った。なお、Ｓ７０７の動作主体は索引作成部６０３であり、それ以外の動作主体は数字情報取得部６０２である。

ここで、後半処理の説明に進む前に、数字情報取得部６０２がテンプレートマッチ処理を上位所定桁単位で行なうことによる効果について説明しておく。前述のように本発明に係る画像データの画像には雑音が乗っているので、ＯＣＲ処理を行っても誤認識が生じてしまう。一致度を低めにして雑音に強いようにしたテンプレートマッチング処理であっても、あまりに雑音が強い場合やはり誤認識が生じてしまう。いずれにしても一行ずつ数字番号全て（例えば、０１１１６２２０３、０１１１６２２０４・・・）を認識していく方法では難しい。つまり、実際は画像内にその数字番号が存在しても誤認識により存在しない（読み取れない）ものとされたり、全く存在しない数字番号が存在するものとされる箇所が出てきてしまうことになる。

図１２は、雑音を有する画像データの画像の一例を示す図である。ここで、前述のテンプレートマッチング処理により、まず１行目が雑音により読み取れなかった（不一致判定）とする。そして、２行目においても同様に読み取れなかった場合、次いで３行目で、正しく読み取ることができる（一致判定）。そして、当該画像中には、「０１１１６２」が含まれると認識できるようになる。このように、一画像内に含まれる共通の数字番号画像部分（例えば、０１１１６２）に着目し、仮に雑音で１つ誤認識が生じても、次の（雑音がない）数字番号画像により０１１１６２部分の存在を認識できる。また、できるだけ画像内の数字番号画像に共通する最大範囲（上位所定桁）を取ることにより、テンプレートマッチング処理の対象範囲を大きくして誤認識を防止している。

なお、上位所定桁数は次のように設定されることが望ましい。前述では、この上位所定桁数Ｘ＝６とした。これは本発明に係る画像に含まれる数字番号が８桁の桁数をもつ番号であること、帳票画像等のフォーマット上、一の帳票画像において含まれる数字番号の個数が９９個以下（２桁）であることによるものである。つまり、Ｘの値として、１から６までの値を設定でき、７、８とすると数字番号の下１桁と下２桁は可変数字となってしまうため設定できない所、望ましくは、Ｘを変動しない上位桁の最大値（６）とする。前述の効果（認識精度向上）に加え、抽出部６０４及び検索部６０５による処理対象となる画像データを減らし検索時間の短縮を図れるからである。

（後半処理）
図１３は、情報処理装置１の行う後半処理について説明するフローチャートである。再度確認すれば、後半処理は、索引を利用して抽出部６０４がユーザにより入力された数字番号と上位所定桁と一致する数字情報に対応する画像データを抽出し、検索部６０５がその抽出された画像データの中から、入力された数字番号を画像中に含む画像データを検索するまでの処理である。同様に図３を参照し具体的に説明する。

ステップＳ１３０１において、ユーザからの入力番号（Ｃとする）を取得する。この入力番号は、例えば、画像化された帳票や台帳の中から、帳票や台帳内に描画されている数字をキーとして特定の画像データを検索するときに入力される番号である。

ステップＳ１３０２で、索引の数字情報から入力番号Ｃの上位所定桁（Ｘ）と同じ数字番号に紐付く画像の通し番号（ａ）を取得する。索引を利用することにより、少なくとも入力番号Ｃと上位所定桁において同一である数字番号を含む画像に絞って検索を行なうためである。

ステップＳ１３０３で、通し番号ａである画像データを取得する。

ステップＳ１３０４で、入力番号Ｃをテンプレート画像として画像化（数字画像Ｄとする）し、取得した画像データの画像内の数字番号画像に対して、テンプレートマッチ処理を行う。テンプレートマッチ処理は前述の方法等によればよく処理の具体例については説明を省略する。

また、例えば、入力番号Ｃを含む画像がないと判定された場合には、入力番号Ｃに前後する番号（例えば、＋−３）を含む画像を検索するようにすることもできる。入力番号Ｃと同じ数字番号上に雑音があって認識できない場合でもその前後の数字番号を含む画像（画像データ）が検索できれば、その画像は入力番号Ｃを含む画像である可能性が高いからである。また、処理の高速化を図るため、入力番号Ｃから上位所定桁を除いた数字（下位桁）のみを画像化し、取得した画像データの画像に対してテンプレートマッチ処理を行うようにすることもできる。

ステップＳ１３０５で、完全に（８桁）一致判定された画像を出力する。なお、Ｓ１３０２及びＳ１３０４で処理に失敗した場合は該当する画像なしとしてエラー表示を行なう。

以上、フローチャートに沿って後半処理、索引を利用して入力された数字番号を画像中に含む画像データを検索するまでの処理について説明を行った。なお、Ｓ１３０１−Ｓ１３０３の動作主体は抽出部６０４であり、Ｓ１３０４、Ｓ１３０５の動作主体は検索部６０５である。

なお、検索処理の高速化の観点から、前半処理と後半処理とは必ずしも一連同時に実行される必要はなく、予め前半処理（索引作成）を行っておくことで検索時に後半処理のみ行うことができる。

＜変形例＞
次いで、情報処理装置１の行う前半処理における変形例について説明する。図１４は、情報処理装置１の行う前半処理（変形例）について説明するフローチャートである。具体的には、前述の図７のフローチャートと比較して、Ｓ７０１−Ｓ７０７までの処理は同様であり、Ｓ７０８−Ｓ７１１の処理順序が異なっている。即ち、数字情報取得処理が異なる。以下、Ｓ７０６から言及して説明を行う。

ステップＳ７０６において、取得した画像内に、数字画像Ｂと一致する部分（数字番号画像）があると判定すると、次のステップ７０７に進む。具体的には、図３の例においては、通し番号Ａ０００００１画像内に、数字画像Ｂ（０１１１６２）と一致する部分（数字番号画像）を有する場合である。

ステップＳ７０７で、取得した画像に数字列Ｂの数字情報を対応（紐）付けて索引を作成する。即ち、これまでの処理で得られた画像データの画像内に含まれる数字番号を数字情報とし、索引にして保存しておく。

次にステップＳ７１０に進み、通し番号Ａは最大値であるか否かで分岐する。通し番号Ａが存在する最大の通し番号であるところまで処理が進めば本処理を終了させるためである（ＥＮＤへ）。

ステップ７１１で、通し番号Ａに１（以上）の整数を加算する。

再びステップＳ７０４に進むと、この場合は、通し番号に１（以上）加算した値の通し番号の画像、つまり次の一画像について数字列Ｂが画像内に含まれるかどうかを判定する。

ここで、Ｓ７０６、Ｓ７０７、Ｓ７１０、Ｓ７１１とのステップを見るに、Ｓ７０６で取得した画像内に、数字画像Ｂと一致する部分（数字番号画像）があると判定すると、当該画像内には他の数字番号（例えば、数字列Ｂ＋１）は存在しないものとして、次の画像に進むようにしている点で、図７のフローチャートによる数字情報取得処理と異なっている。本変形例による処理によれば、特に同一の上位所定桁がまとまっているような帳票や台帳に対して効果的である。この場合は、一画像に対して一の数字情報が対応（紐）付けられ、複数の数字情報が対応付けられることはない。具体的に図３の例において、通し番号００００１画像は、数字情報「０１１１６２０３」は取得され索引上対応付けられるが、数字情報「０１１１６２０３」をも含むにかかわらず取得できないため索引上対応付けられない。

このように、本変形例のフローチャートによる数字情報取得処理によれば、索引上対応つけるべき数字情報をある程度犠牲にする分、数字情報取得処理全体として処理の高速化を図る。

さらにここで、本変形例において説明したフローチャート（数字情報取得処理）を採用した場合、これに対応した後半処理（検索処理）について説明を行う。

再び図１３のステップＳ１３０２を参照する。前述ステップＳ１３０２で、抽出部６０４は、索引の数字情報から入力番号Ｃの上位所定桁（Ｘ）と同じ数字番号に紐付く画像の通し番号（ａ）を取得することを説明した。このとき、本変形例においては、入力番号Ｃの上位所定桁（Ｘ）と同じ数字番号に紐付く画像の通し番号（ａ）のみならず、その前後の通し番号を取得するようすることができる。例えば、通し番号「００００３」である場合、その前後＋−１（任意値）の通し番号「００００２」、「００００４」を含めて取得するようにする。そうすると、続くステップ（Ｓ１３０３、Ｓ１３０４）において検索処理が行われる際に、通し番号「００００２」、「００００４」である画像データについても検索処理の対象になる。

ここで図３を参照する。前述の本変形例による前半処理（数字情報取得処理）によれば、通し番号００００３画像データにおいて、数字情報「０１１１６４」は対応付けられない。通し番号００００３画像データには、数字情報「０１１１６３」が既に対応付けられてしまっているからである。そして、後半処理において、入力番号Ｃ「０１１１６４００」である場合、前述ステップＳ１３０２で索引から通し番号「００００４」は取得されるものの、実際には入力番号Ｃ「０１１１６４００」を含む通し番号００００３画像データは取得されないという状況が発生し得る。

このような場合、弾力的に、例えば、通し番号の前後＋−１（任意値）の通し番号を含めて取得するようにすることで、高速化を目的として本変形例による前半処理（数字情報取得処理）を採用した場合にその数字情報漏れ（抜け）を担保することができる。

また、前半処理及び後半処理において、ユーザはテンプレートマッチング処理に係る一定の設定ができるようにすることもできる。例えば、検索対象となる上限画像枚数、上限処理時間、一致度（Ｓ１３０４等）を検索に先立ち設定しておくことで、ある程度の間違いを許容して処理時間を優先できる。

以上、本発明による情報処理装置１によれば、画像化された帳票や台帳において、帳票や台帳内に描画されている数字をキーとして特定の画像データを検索する場合、画像に含まれる上位所定桁の数字情報と画像データとを対応させた索引を作成し、検索時には索引を利用して検索対象の画像データを絞って画像検索を行なうので、高速な画像検索が可能となる。また、索引は上位所定桁に注目して作成されるので、画像に雑音（ノイズ）が乗っている場合にも精度の高い画像検索を行なうことができる。即ち、本発明によれば、画像に雑音が多い場合でも画像中に描画されている数字をキーとして該当する画像を高速に検索する情報処理装置、画像検索方法、及びプログラムを提供することを目的とする。

なお、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本発明による情報処理装置１を含む画像検索システム１００のネットワーク構成図である。 本発明による情報処理装置１の一実施形態の主要構成を示すハードウェア構成図である。 本発明に係る画像データの一例を示す図である。 口座台帳の一例を示す図である。 請求書帳票の一例を示す図である。 本発明の実施形態による情報処理装置１の一実施形態の主要機能を示す機能ブロック図である。 情報処理装置１の行う前半処理について説明するフローチャートである。 テンプレートマッチング処理（その１）の一例を説明する図である。 テンプレートマッチング処理（その２）の一例を説明する図である。 テンプレートマッチング処理（その３）の一例を説明する図である。 索引の一例を示す図である。 雑音を有する画像データの画像の一例を示す図である。 情報処理装置１の行う後半処理について説明するフローチャートである。 情報処理装置１の行う前半処理（変形例）について説明するフローチャートである。

符号の説明

１ 情報処理装置
２ 端末
３ ネットワーク
１００ 画像検索システム
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 補助記憶装置
１０５ 記憶媒体読取装置
１０６ 入力装置
１０７ 表示装置
１０８ 通信装置
６０１ 記憶部
６０２ 数字情報取得部
６０３ 索引作成部
６０４ 抽出部
６０５ 検索部

Claims (15)

1. 通し番号が付され、前記通し番号につれて数字番号が大きく又は小さくなる所定桁数の数字番号画像を昇順又は降順で画像内に含み、一定のフォーマットを有する画像データを記憶する記憶手段と接続され、前記画像データの中から、入力された数字番号を画像内に含む画像データを検索する情報処理装置であって、
   前記画像データの画像内から、前記数字番号画像の上位所定桁の数字情報を取得する数字情報取得手段と、
   前記数字情報取得手段により取得された前記数字情報を前記画像データに対応付けて索引を作成する索引作成手段と、
   前記入力された数字番号と前記索引作成手段により作成された索引とに基づいて、前記入力された数字番号の上位所定桁と一致する前記数字情報に対応する画像データを抽出する抽出手段と、
   前記抽出手段により抽出された画像データの中から、前記入力された数字番号に対応する前記数字番号画像を画像内に含む画像データを検索する検索手段と、
   を有すること特徴とする情報処理装置。
2. 所定の数字番号情報の上位所定桁を前記数字番号画像と同一フォーマットで画像化したテンプレート画像と、前記数字番号画像とを比較して、画像の一致判定処理を行う画像マッチング処理手段を有し、
   前記数字情報取得手段は、前記所定の数字番号情報に１以上ずつ加算しながら不一致判定となるまで、一の前記画像データの画像内に含まれる前記数字番号画像に対して前記画像マッチング処理手段による一致判定処理を行い、一の前記画像データの画像内に含まれる前記数字番号画像の上位所定桁の数字情報を取得すること、
   を特徴とする請求項１に記載の情報処理装置。
3. 所定の数字番号情報の上位所定桁を前記数字番号画像と同一フォーマットで画像化したテンプレート画像と、前記数字番号画像とを比較して、画像の一致判定処理を行う画像マッチング処理手段を有し、
   前記数字情報取得手段は、一の前記画像データの画像内に含まれる前記数字番号画像に対して前記画像マッチング処理手段による一致判定処理を行い、一致判定となったとき、次以降の通し番号が付された一の前記画像データを対象とする前記一致判定処理に移行し、一の前記画像データ内の画像内に含まれる一の前記数字番号画像の上位所定桁の数字情報を取得すること、
   を特徴とする請求項１に記載の情報処理装置。
4. 前記画像マッチング処理手段は、複数行の前記所定の数字番号情報の上位所定桁を画像化したテンプレート画像と、複数の前記数字番号画像とを一度に比較して、画像の一致判定処理を行うこと、
   を特徴とする請求項２又は３に記載の情報処理装置。
5. 前記所定の数字番号情報は、前記通し番号が最小である前記画像データの画像内に含まれる全ての前記数字番号画像の数字情報を取得して、全ての当該数字番号の上位所定桁で多数決をとり最も多数の上位所定桁を有する数字番号のうち、最小の数字番号であること、
   を特徴とする請求項２ないし４何れか一項に記載の情報処理装置。
6. 前記数字番号画像の数字情報は、ＯＣＲ処理、又は数字画像０から９までのテンプレート画像を前記数字番号画像と同一フォーマットで作成し、当該画像から画像内で黒画素が連続している領域のうち一定の大きさの数字画像部分を抜き出し、前記数字画像０から９までのテンプレート画像と１つずつと比較照合し一致度を判定することにより取得されること、
   を特徴とする請求項５に記載の情報処理装置。
7. 前記上位所定桁は、前記所定桁数から、一画像データの画像内に含まれる数字番号画像の最大個数の桁数を減算した桁数であること、
   を特徴とする請求項１ないし６何れか一項に記載の情報処理装置。
8. 通し番号が付され、前記通し番号につれて数字番号が大きく又は小さくなる所定桁数の数字番号画像を昇順又は降順で画像内に含み、一定のフォーマットを有する画像データを記憶する記憶手段と接続され、前記画像データの中から、入力された数字番号を画像内に含む画像データを検索する情報処理装置における画像検索方法であって、
   コンピュータが、
   前記画像データの画像内から、前記数字番号画像の上位所定桁の数字情報を取得する数字情報取得手順と、
   前記数字情報取得手順により取得された前記数字情報を前記画像データに対応付けて索引を作成する索引作成手順と、
   前記入力された数字番号と前記索引作成手順により作成された索引とに基づいて、前記入力された数字番号の上位所定桁と一致する前記数字情報に対応する画像データを抽出する抽出手順と、
   前記抽出手順により抽出された画像データの中から、前記入力された数字番号に対応する前記数字番号画像を画像内に含む画像データを検索する検索手順と、
   を実行すること特徴とする画像検索方法。
9. コンピュータが、
   所定の数字番号情報の上位所定桁を前記数字番号画像と同一フォーマットで画像化したテンプレート画像と、前記数字番号画像とを比較して、画像の一致判定処理を行う画像マッチング処理手順を実行し、
   前記数字情報取得手順は、前記所定の数字番号情報に１以上ずつ加算しながら不一致判定となるまで、一の前記画像データの画像内に含まれる前記数字番号画像に対して前記画像マッチング処理手順による一致判定処理を行い、一の前記画像データの画像内に含まれる前記数字番号画像の上位所定桁の数字情報を取得すること、
   を特徴とする請求項８に記載の画像検索方法。
10. コンピュータが、
    所定の数字番号情報の上位所定桁を前記数字番号画像と同一フォーマットで画像化したテンプレート画像と、前記数字番号画像とを比較して、画像の一致判定処理を行う画像マッチング処理手順を実行し、
    前記数字情報取得手順は、一の前記画像データの画像内に含まれる前記数字番号画像に対して前記画像マッチング処理手順による一致判定処理を行い、一致判定となったとき、次以降の通し番号が付された一の前記画像データを対象とする前記一致判定処理に移行し、一の前記画像データ内の画像内に含まれる一の前記数字番号画像の上位所定桁の数字情報を取得すること、
    を特徴とする請求項８に記載の画像検索方法。
11. 前記画像マッチング処理手順は、複数行の前記所定の数字番号情報の上位所定桁を画像化したテンプレート画像と、複数の前記数字番号画像とを一度に比較して、画像の一致判定処理を行うこと、
    を特徴とする請求項９又は１０に記載の画像検索方法。
12. 前記所定の数字番号情報は、前記通し番号が最小である前記画像データの画像内に含まれる全ての前記数字番号画像の数字情報を取得して、全ての当該数字番号の上位所定桁で多数決をとり最も多数の上位所定桁を有する数字番号のうち、最小の数字番号であること、
    を特徴とする請求項９ないし１１何れか一項に記載の画像検索方法。
13. 前記数字番号画像の数字情報は、ＯＣＲ処理、又は数字画像０から９までのテンプレート画像を前記数字番号画像と同一フォーマットで作成し、当該画像から画像内で黒画素が連続している領域のうち一定の大きさの数字画像部分を抜き出し、前記数字画像０から９までのテンプレート画像と１つずつと比較照合し一致度を判定することにより取得されること、
    を特徴とする請求項１２に記載の画像検索方法。
14. 前記上位所定桁は、前記所定桁数から、一画像データの画像内に含まれる数字番号画像の最大個数の桁数を減算した桁数であること、
    を特徴とする請求項９ないし１３何れか一項に記載の画像検索方法。
15. 請求項８ないし１４何れか一項に記載の画像検索方法をコンピュータに実行させるためのプログラム。

Images