JP7396620B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

自治体や学校、企業等、多くの組織において紙の帳票が広く利用されている。近年では、こうした紙の帳票を電子化して帳票の管理コストを低減することが望まれている。

なお、帳票の文字認識結果のデータを用いて帳票データの抽出と特定とを行う技術が特許文献１に開示されている。

特開２０１８－５５４８７号公報

ここで、帳票の電子化に際しては、帳票の種類ごとに、予め各記入欄に記入される情報の種類（氏名、住所、など）と、各記入欄の位置に係る情報などとを設定した、設定情報を生成しておくことが機械処理の面から見て好適である。しかしながらこの設定情報の生成は、一般に労力が大きいものである。

また一方で、例えば各自治体で記入するべき情報等は共通しているものの、記入欄の順序が異なっていたり、記入欄の位置が異なっていたりするなど、ほとんど同一でありながら、微差のある帳票も広く利用されているのが現状である。

ところが、上記従来の技術では、類似の帳票に関する設定情報が既にあるにも関わらず、帳票の類似を判定して流用可能な設定情報を検索することができず、設定情報の利用が十分に図られていなかった。

なお、特許文献１に開示の技術のように、文字認識を利用する技術は、出納先で分類する、といった帳票データの整理には適用可能であるが、そもそも類似する帳票の設定を利用するという目的では、文字認識の結果のみでは処理できない。

本発明は上記実情に鑑みて為されたもので、帳票に関する設定情報の利用を促進できる情報処理装置及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明の一態様は、帳票に係る所定の特徴量の情報と、帳票に関連して定められた設定情報とを保持するデータベースに接続される情報処理装置であって、帳票の画像データを受け入れる手段、前記受け入れた画像データから帳票上の情報記入欄を認識する手段、前記認識の結果に基づいて、前記受け入れた画像データが表す帳票に係る特徴量の情報を生成する手段、及び、前記生成した特徴量の情報を用いて、前記データベースに格納された帳票に係る情報のうち、類似する帳票に関連する設定情報を取得する手段、を有するものである。

本発明によると、帳票に関する設定情報の利用を促進できる。

本発明の実施の形態に係る情報処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る情報処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る情報処理装置が利用する特徴量の情報の例を表す説明図である。 本発明の実施の形態に係る情報処理装置が利用する設定情報の例を表す説明図である。 本発明の実施の形態に係る情報処理装置の処理対象となる帳票に含まれる記入欄の例を表す説明図である。 本発明の実施の形態に係る情報処理装置の処理例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、インタフェース部１５と、通信部１６とを含んで構成される。

制御部１１は、プログラムに従って動作するプロセッサ等の制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態では、この制御部１１は、帳票に係る所定の特徴量の情報と、帳票に関連して定められた設定情報とを保持するデータベースにアクセス可能に設定される。また本実施の形態の制御部１１は、帳票の画像データを受け入れ、当該受け入れた画像データから帳票上の情報記入欄を認識して、当該認識の結果に基づいて、受け入れた画像データが表す帳票に係る特徴量の情報を生成する。またこの制御部１１は、当該生成した特徴量の情報を用いて、上記データベースから類似する帳票に関連する設定情報を取得する。この制御部１１の詳しい動作については後に述べる。

記憶部１２は、ディスクデバイスやメモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。また、この記憶部１２は、制御部１１のワークメモリとしても動作する。

操作部１３は、キーボード等であり、ユーザの操作を受け入れて、当該操作の内容を制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従って情報を表示出力する。

インタフェース部１５は、例えばＵＳＢインタフェース等を含む。このインタフェース部１５には、スキャナ２等のデバイスが接続される。本実施の形態の一例ではスキャナ２が帳票を読み取って得た画像データが、このインタフェース部１５を介して入力される。

通信部１６は、ネットワークインタフェース等を含んで構成され、データベースサーバ３等との間で通信を行う。本実施の形態の一例では、帳票に係る所定の特徴量の情報と、帳票に関連して定められた設定情報とを保持するデータベースサーバ３が、ネットワークを介して情報処理装置１に接続される。そして情報処理装置１の通信部１６は、制御部１１から入力される指示に従ってデータベースサーバ３にアクセスして情報を要求し、また要求した情報をデータベースサーバ３から受信して制御部１１に出力する。

本実施の形態の情報処理装置１に接続されるスキャナ２は、光学的に紙媒体上に形成された文字や図形を読み取り、画像データとして出力するものである。またデータベースサーバ３は、既に述べたように帳票に係る所定の特徴量の情報と、帳票に関連して定められた設定情報とを保持するものである。このデータベースサーバ３が保持する特徴量の情報、及び帳票に関連して定められた設定情報の例については、後に述べる。なお、ここではデータベースサーバ３が情報処理装置１と別体として構成されていることとしたが、情報処理装置１がデータベースサーバ３としての機能を備えてもよい。この場合は、情報処理装置１は、ネットワークを介することなく（あるいはローカルループバックを介して）、情報処理装置１自身が保持するデータベースにアクセスすることとなる。

次に、本実施の形態の情報処理装置１の制御部１１の動作について説明する。本実施の形態の一例では、この制御部１１は、記憶部１２に格納したプログラムを実行することで、機能的に、図２に例示するように、画像受入部２１と、画像処理部２２と、特徴量情報生成部２３と、類似帳票検索部２４と、設定情報取得部２５と、出力部２６とを含んで構成されている。

ここで画像受入部２１は、インタフェース部１５を介してスキャナ２が出力する、検索の対象となる帳票の画像を含む画像データを受け入れて、当該画像データに含まれる帳票部分の画像を抽出する。この抽出の作業は、人為的な操作により行われてもよいし、エッジを抽出する処理等を利用して人為的操作なく行われてもよい。画像受入部２１は、ここで抽出した帳票の画像データを、記憶部１２に格納する。

画像処理部２２は、記憶部１２に格納された帳票の画像データ（以下処理対象データと呼ぶ）から、帳票上の情報記入欄等の文字や図形の要素を認識する。具体的にこの画像処理部２２は、処理対象データに含まれる、紙媒体の外周辺に平行な、横方向または縦方向の線分を抽出する。そして、これらの線分により構成される、枠線により囲まれる矩形領域Ｒを抽出する。

また画像処理部２２は、ここで抽出した矩形領域Ｒの各々に固有の識別番号（ラベル）を付与する。

特徴量情報生成部２３は、画像処理部２２が抽出した矩形領域Ｒの各々について、座標位置及びサイズ（縦及び横の長さ）の情報を得る。なお本実施形態では、矩形領域Ｒの座標位置としては、処理対象データに含まれる帳票の左上頂点を原点とし、下方向をＹ軸正の方向、右方向をＸ軸正の方向としたＸＹ直交座標系を用いて、矩形領域Ｒの左上隅の頂点の座標を表すこととする。

本実施の形態の一例では、特徴量情報生成部２３は、上記矩形領域Ｒの各々の特徴量として、上述の
・座標位置
のほか、さらに、
・サイズ（面積：縦の長さｈと横の長さｗとの積ｗ・ｈ）
・アスペクト（比率：縦の長さｈと横の長さｗとの比、例えばｗ／ｈ）
・枠線の太さ
などの図形的な特徴量を生成する。

また特徴量情報生成部２３は、矩形領域Ｒの数も特徴量として生成することとしてもよい。

そして特徴量情報生成部２３は、矩形領域Ｒの各々について求めた特徴量を、画像処理部２２が対応する矩形領域Ｒについて付与した識別番号に関連付けて記憶部１２に格納する。

類似帳票検索部２４は、特徴量情報生成部２３が生成した特徴量の情報（以下、この情報を検索対象と呼ぶ）を受け入れる。またこの類似帳票検索部２４は、データベースサーバ３にアクセスし、データベースサーバ３に保持されている、帳票ごとの特徴量の情報を取得する。本実施の形態の一例では、ここで取得される特徴量の情報は、図３に例示するように、帳票ごとに帳票を特定する情報Ｐに関連付けられており、それぞれ特徴量情報生成部２３が生成した特徴量と同様の、帳票上の矩形領域に係る図形的な特徴量等であるものとする。すなわち、ここでの特徴量は、各帳票Ｐj（ｊ＝１，２，…）上にある各矩形領域Ｒの
・座標位置
・サイズ（面積：縦の長さｈと横の長さｗとの積ｗ・ｈ）
・アスペクト（比率：縦の長さｈと横の長さｗとの比、例えばｗ／ｈ）
・枠線の太さ
・数（矩形領域の数）
などの情報を含む。

類似帳票検索部２４は、検索対象の特徴量に含まれる矩形領域Ｒの特徴量ごとに、データベースサーバ３から受け入れた、対応する特徴量の情報との比較を行う。具体的に、この類似帳票検索部２４は、検索対象の特徴量に含まれる各矩形領域Ｒi（ｉ＝１，２，…）の座標位置（Ｘi，Ｙi）等を参照し、データベースサーバ３から受け入れた帳票ごとの特徴量の情報に含まれる各矩形情報Ｒの座標位置等の情報との相違（距離等）を求める。

一例として類似帳票検索部２４は、データベースサーバ３から取得した帳票Ｐj（ｊ＝１，２…）の一つ（未選択のもの）を選択し、選択した帳票Ｐjに係る各矩形情報Ｒj,k（ｋ＝１，２…）の座標位置の情報（Ｘj,k，Ｙj,k），アスペクトｒj,k，サイズＡj,k，枠線太さＴj,kを取り出す。

類似帳票検索部２４は、例えば検索対象の特徴量に含まれる各矩形領域Ｒi（ｉ＝１，２，…）ごとに、その座標位置（Ｘi，Ｙi）を読み出し、上記取り出された座標位置の情報（Ｘj,k，Ｙj,k）との距離（ユークリッド距離でよい）Ｄi,j,kを求める。また類似帳票検索部２４は、アスペクトｒi，サイズＡi，枠線太さＴiの各々と、それに対応するアスペクトｒj,k，サイズＡj,k，枠線太さＴj,kとの差を求める：
Ｄｒi,j,k＝|ｒi－ｒj,k｜
ＤＡi,j,k＝|Ａi－Ａj,k｜
ＤＴi,j,k＝|Ｔi－Ｔj,k｜
なお、｜ｘ｜は、ｘの絶対値を演算することを意味する。

そして類似帳票検索部２４は、検索対象となった帳票Ｐと、選択した帳票Ｐjとの類似度Ｓjを、例えば
Ｓj＝１／ｌｏｇ（Σ_i（ｍｉｎ（α・Ｄi,j,k＋β・Ｄｒi,j,k＋γ・ＤＡi,j,k＋ε・ＤＴi,j,k））＋１）
として求める。ここで、α、β、γ、εは、正の定数であり、予め実験的に定めておく。なお、ここでΣ_iは、ｉについて総和を求めることを意味し、ｍｉｎ（ｘik）は、ｉ，ｋの組み合わせで得られる（α・Ｄi,j,k＋β・Ｄｒi,j,k＋γ・ＤＡi,j,k＋ε・ＤＴi,j,k）の値のうち最小の値を選択することを意味する。また、ｌｏｇ（ｘ）はｘの対数（底は１０など適宜定めてよい）を意味する。

類似帳票検索部２４は、各帳票を順次選択しつつ上記の演算を帳票ごとに行い、データベースサーバ３から取得した情報に係る各帳票Ｐj（ｊ＝１，２…）について、検索対象となった帳票Ｐとの類似度Ｓjを得る。ここでは類似度Ｓjが大きいほど、各帳票が類似することを意味するものとなっている。類似帳票検索部２４は、ここで得られた類似度Ｓjが予め定めた基準値よりも大きい値となっている帳票Ｐjを特定する情報を出力する。

設定情報取得部２５は、類似帳票検索部２４が出力した情報で特定される帳票に係る設定情報を、データベースサーバ３から取得する。本実施の形態の一例において、この設定情報は、図４に例示するように、帳票Ｐを特定する情報に関連付けられており、当該帳票に含まれる矩形領域Ｒごとに、矩形領域Ｒの識別番号と、その領域を特定する情報（座標情報及び幅、高さを特定する情報）と、当該領域に記入されるべき情報の種類を表す情報（「氏名」、「住所」などといった情報）とを少なくとも関連付けた情報となっている。

設定情報取得部２５は、類似帳票検索部２４が出力した情報で特定される帳票ごとに、この設定情報をデータベースサーバ３から取得すると、当該取得した設定情報を出力部２６に出力する。

出力部２６は、設定情報取得部２５が出力する設定情報を受け入れて、当該設定情報をユーザに提示する。ここで類似帳票検索部２４が出力した情報で特定される帳票が複数ある場合は、出力部２６は、帳票ごとの設定情報をユーザに提示する。

ユーザは、提示された設定情報を参照して、検索の対象となった帳票に対する設定情報の生成の参考として利用して、検索の対象となった帳票の設定情報を生成する。

［動作］
本発明の実施の形態に係る情報処理装置１は以上の構成を備えてなり、次のように動作する。ユーザがスキャナ２を操作して検索の対象となる帳票を読み取らせると、情報処理装置１が、このスキャナ２で読み取った画像を含む画像データを受け入れて、当該画像データに含まれる帳票部分の画像を抽出する。

情報処理装置１は、ここで抽出した帳票の画像データを処理対象データとして、この処理対象データを画像処理し、帳票上の情報記入欄等の文字や図形の要素を認識し、縦横の枠線により囲まれる矩形領域Ｒを抽出する。またこのとき、情報処理装置１は、抽出した矩形領域Ｒの各々に固有の識別番号（ラベル）を付与しておく。

情報処理装置１は、抽出した矩形領域Ｒの各々について、座標位置及びサイズ（縦及び横の長さ）の情報を得るとともに、さらに、サイズ（面積）・アスペクト（比率）・枠線の太さなどの図形的な特徴量を生成する。そして情報処理装置１は、矩形領域Ｒの各々について求めた特徴量を、対応する矩形領域Ｒについて付与された識別番号に関連付けて記憶する。

そして情報処理装置１は、ここで生成した特徴量の情報を検索対象として次の処理を行う。すなわち、情報処理装置１は、データベースサーバ３にアクセスし、データベースサーバ３に保持されている、帳票ごとの特徴量の情報を取得する。ここで取得される特徴量の情報は、先に検索対象として生成した特徴量の情報に対応する種類のものとしておく。つまり、この取得した特徴量の情報には、帳票ごとに、当該帳票に含まれる矩形領域Ｒの座標位置・サイズ（面積）・アスペクト（比率）・枠線の太さなどの情報が含まれるものとする。

情報処理装置１は、データベースサーバ３から受け入れた情報に係る帳票ごとに、検索対象の特徴量に含まれる各矩形領域Ｒの特徴量と、それに対応する特徴量の情報との比較を行う。

既に述べた例のように、ここでの比較は例えば次のようにして行われる。情報処理装置１は、データベースサーバ３から取得した帳票Ｐj（ｊ＝１，２…）の一つ（未選択のもの）を選択し、選択した帳票Ｐjに係る各矩形情報Ｒj,k（ｋ＝１，２…）の座標位置の情報（Ｘj,k，Ｙj,k），アスペクトｒj,k，サイズＡj,k，枠線太さＴj,kを取り出す。そして情報処理装置１は、検索対象の特徴量に含まれる各矩形領域Ｒi（ｉ＝１，２，…）ごとに、その座標位置（Ｘi，Ｙi）を読み出し、上記取り出された座標位置の情報（Ｘj,k，Ｙj,k）との距離（ユークリッド距離でよい）Ｄi,j,kを求め、またアスペクトｒi，サイズＡi，枠線太さＴiの各々と、それに対応するアスペクトｒj,k，サイズＡj,k，枠線太さＴj,kとの差を求める。

そして情報処理装置１は、検索対象となった帳票Ｐと、選択した帳票Ｐjとの類似度Ｓjを、これらの距離及び差の絶対値の加重和、あるいは加重平均の逆数などとして求め、当該類似度Ｓjが予め定めた基準値よりも大きい値となっている帳票Ｐjを特定する情報を得る。

情報処理装置１は、ここで得られた情報で特定される帳票に係る設定情報を、データベースサーバ３から取得し、この取得した情報を、ユーザに提示する。ここで設定情報には、帳票Ｐごとに、当該帳票に含まれる各矩形領域Ｒの、矩形領域Ｒの識別番号と、その領域を特定する情報（座標情報及び幅、高さを特定する情報）と、当該領域に記入されるべき情報の種類を表す情報（「氏名」、「住所」などといった情報）とを関連付けた情報が少なくとも含まれる。

そこでユーザは、ここで提示された設定情報を参照して、検索の対象となった帳票に対する設定情報の生成の参考として利用して、検索の対象となった帳票の設定情報を生成することが可能となる。

［文字認識結果の利用］
またここまでの説明では、情報処理装置１は、帳票の特徴量として帳票に含まれる矩形領域Ｒに関する図形的な特徴量を得て、帳票間の比較に用いることとしていたが本実施の形態はこれに限られない。

例えば情報処理装置１が得る特徴量は、上記矩形領域Ｒ（情報記入欄に相当する）に係る文字列を認識した結果の情報を含んでもよい。

一例として情報処理装置１は、認識した矩形領域Ｒごとに、その周辺領域Ｒ′をさらに抽出する。ここで周辺領域Ｒ′は、例えば矩形領域Ｒの座標情報（Ｘ，Ｙ）及び幅ｗ，高さｈの情報を用いて、（Ｘ－ξ，Ｙ－η）を左上隅とし、幅ｗ＋２ξ，高さｈ＋２ηを右下隅とする矩形領域としてもよい。また日本では、情報記入欄のやや上、あるいは左に、当該情報記入欄に記入する文字列が配されることが多いことを考慮し、（Ｘ－ξ，Ｙ－η）を左上隅とし、幅ｗ＋ξ，高さｈ＋ηを右下隅とする矩形領域を周辺領域Ｒ′としてもよい。

情報処理装置１は、ここで特定した周辺領域Ｒ′内から、光学的文字認識処理を行って、文字列の認識結果（文字列がある場合）を生成する。この光学的文字認識処理については広く知られた方法が採用できるため、ここでの詳しい説明を省略する。

情報処理装置１は、周辺領域Ｒ′から文字列の認識結果が生成できた場合は、この認識結果の文字列を、矩形領域Ｒの特徴量の一つとして、矩形領域Ｒを特定する情報に関連付けて記憶する。

情報処理装置１は、このように文字列の認識結果を含む特徴量を得た場合には、次のようにして類似帳票の検索を行うこととしてもよい。情報処理装置１は、検索対象となった帳票Ｐの特徴量に含まれる各矩形領域Ｒi（ｉ＝１，２，…）ごとの座標位置（Ｘi，Ｙi）と、比較の対象となる帳票Ｐj（ｊ＝１，２…）についての、矩形領域Ｒj,k（ｋ＝１，２…）の座標位置の情報（Ｘj,k，Ｙj,k）との距離Ｄi,j,k及び、アスペクトｒi，サイズＡi，枠線太さＴiの各々と、それに対応するアスペクトｒj,k，サイズＡj,k，枠線太さＴj,kとの差：
Ｄｒi,j,k＝|ｒi－ｒj,k｜
ＤＡi,j,k＝|Ａi－Ａj,k｜
ＤＴi,j,k＝|Ｔi－Ｔj,k｜
を用い、また、この矩形領域Ｒi，Ｒj,kのそれぞれに係る文字列の認識結果に基づく類似度（後から説明する）ΔＣi,j,kとを求め、検索対象の帳票Ｐに対するＰjの類似度Ｓjを、例えば
Ｓj＝（κ・ΔＣi,j,k）／ｌｏｇ（Σ_i（ｍｉｎ（α・Ｄi,j,k＋β・Ｄｒi,j,k＋γ・ＤＡi,j,k＋ε・ＤＴi,j,k））＋１）
として求める。ここでκは、α、β、γ、εと同様、正の定数であり、予め実験的に定めておく。

そして情報処理装置１は、ここで得られた類似度Ｓjが予め定めた基準値よりも大きい値となっている帳票Ｐjの設定情報を、ユーザに提示する。

この例において矩形領域Ｒi，Ｒj,kのそれぞれに係る文字列の認識結果に基づく類似度ΔＣi,j,kは例えば次のようにして求める。

すなわち、情報処理装置１は、矩形領域Ｒi，Ｒj,kのそれぞれに係る文字列の認識結果を単語に区分する（いわゆる形態素解析処理を利用できる）。そして共通して含まれる単語の数ｎをカウントする。情報処理装置１は、矩形領域Ｒiに係る文字列に含まれる単語数Ｎで、この値ｎを除して、矩形領域Ｒi，Ｒj,kのそれぞれに係る文字列の認識結果に基づく類似度（後から説明する）ΔＣi,j,kを、
ΔＣi,j,k＝ｎ／Ｎ
とする。このΔＣi,j,kは、大きいほど類似していると判断される値である。

もっとも、文字列の特徴量に基づく類似度は、ここで説明した例に限られず、レーベンシュタイン距離を用いる方法など広く知られた種々の方法を採用できる。

本実施の形態によると、新たな帳票についての設定情報を生成するにあたり、当該新たな帳票に類似し、既に設定情報が生成されている帳票に関する設定情報を流用でき、その利用を促進できる。

なお、ここでの例では、類似度を算出する際に、互いに対応する特徴量間の差の絶対値、例えばサイズについて
ＤＡi,j,k＝|Ａi－Ａj,k｜
を用いていたが、本実施の形態はこれに限られず、比を用いてもよい。すなわち、
ＤＡi,j,k＝［Ａi／Ａj,k，Ａj,k／Ａi］
としてもよい。ただしここで、［ξ，η］は、ξとη（η＝１／ξ）とのうち、「１」より小さいほうの値をとることを意味する。

この例では、
情報処理装置１は、検索対象となった帳票Ｐの特徴量に含まれる各矩形領域Ｒi（ｉ＝１，２，…）ごとの座標位置（Ｘi，Ｙi）と、比較の対象となる帳票Ｐj（ｊ＝１，２…）についての、矩形領域Ｒj,k（ｋ＝１，２…）の座標位置の情報（Ｘj,k，Ｙj,k）との距離Ｄi,j,k及び、アスペクトｒi，サイズＡi，枠線太さＴiの各々と、それに対応するアスペクトｒj,k，サイズＡj,k，枠線太さＴj,kとの比：
Ｄｒi,j,k＝［ｒi／ｒj,k，ｒj,k／ｒi］
ＤＡi,j,k＝［Ａi／Ａj,k，Ａj,k／Ａi］
ＤＴi,j,k＝［Ｔi／Ｔj,k，Ｔj,k／Ｔi］
を用い、また、この矩形領域Ｒi，Ｒj,kのそれぞれに係る文字列の認識結果に基づく類似度ΔＣi,j,kを求め、検索対象の帳票Ｐに対するＰjの類似度Ｓjを、例えば
Ｓj＝（κ・ΔＣi,j,k）／ｌｏｇ（Σ_i（ｍｉｎ（α・Ｄi,j,k＋β・Ｄｒi,j,k＋γ・ＤＡi,j,k＋ε・ＤＴi,j,k））＋１）
として求めればよい。ここでも、κ、α、β、γ、εは正の定数であり、予め実験的に定めておく。なお、文字列の認識結果に基づく類似度ΔＣi,j,kを用いない場合は、κ＝０とする。

［文字情報記入欄の認識］
また帳票には、文字を一文字ずつ記入するための記入欄が配列されたものがある。一例として図５に例示するように、氏名の文字を一文字ずつ区切って記入させる記入欄など、文字を一文字ずつ記入する矩形欄が設けられている場合、本発明の実施の形態に係る情報処理装置１の制御部１１は、各文字に対応する欄の矩形領域Ｒを認識することとなる。

このとき制御部１１は、特徴量情報生成部２３の動作として、次のような処理を行ってもよい。すなわち、制御部１１は特徴量情報生成部２３としての動作において各矩形領域Ｒの特徴量を得た後、実質的に同じ形状の（互いに同等の幅及び高さを有する、互いに共通するサイズ）複数の矩形領域ｒ1，ｒ2…があるか否かを判断し、実質的に同じ形状の複数の矩形領域があれば、当該複数の矩形領域のうち、整列している（周期的に配列されている）矩形領域があるか否かを調べる。ここで一体的な配列は、例えば実質的に同じ間隔をおいて配列されていること、あるいは、それら複数の矩形領域が互いに予め定めた距離未満の間隔で配列されていることを意味する。

制御部１１は、このように整列された、実質的に同じ形状の複数の矩形領域（同形配列矩形領域群と呼ぶ）があれば、当該同形配列矩形領域群に含まれる矩形領域のすべてに外接する外接矩形領域（便宜的に集合領域と呼ぶ，図５のＬ）を新たに求め、当該集合領域を特定する情報を特徴量の情報に含めて類似帳票の検索のための処理を行うこととしてもよい。

具体的に本実施の形態の一例では、制御部１１は、認識して得た各矩形領域Ｒの情報を参照し、各矩形領域Ｒの縦方向の位置（座標情報（Ｘ，Ｙ）のＹの値）が予め定めた値の範囲（例えば±５ピクセルの範囲）にある矩形領域ごとにグループ化する。このグループ化は、クラスタリング等の方法によって行うことができる。

また制御部１１は、矩形領域のグループのうち、所定の数（例えば「３」）以上の矩形領域が含まれるグループを見出し、このグループに含まれる矩形領域についての座標情報のうち、幅方向を表す値Ｘを小さい順に並べ替えた順列（ｘ1，ｘ2，ｘ3…）を得る。そして制御部１１は、この順列において互いに隣り合う座標情報の幅方向の値Ｘの差（の絶対値）ｑi＝｜ｘi+1－ｘi｜＝ｘi+1－ｘiを求める。

制御部１１は、ｑiの平均値と、各ｑiとの差が予め定めたしきい値を下回るか否かを判断し、下回ると判断したとき（一定の間隔で配列されていると判断したとき）には、上記グループに含まれる矩形領域のそれぞれの幅（横方向の長さ）ｗの平均と高さ（縦方向の長さ）ｈの平均とを求める。

制御部１１は、求めた幅の平均ｗavと高さの平均ｈavと、上記グループに含まれる矩形領域のそれぞれの幅及び高さｗ，ｈとのそれぞれの差ｗ－ｗav，ｈ－ｈavを求め、各矩形領域についてのこの差の値が、いずれも、幅、高さのそれぞれについて（あるいは共通でもよい）予め定めた判定閾値ｗth，ｈthを超えていなければ、当該グループに含まれる矩形領域を、同形配列矩形領域群として、この同形配列矩形領域群に含まれる矩形領域のすべてに外接する外接矩形領域の左上隅の座標（座標情報）（Ｘ，Ｙ）と、その幅ｗ及び高さｈとを得る。

そして制御部１１は、既に得ている特徴量の情報に加え、ここで求めた外接矩形領域の、
・座標位置
・サイズ（面積：縦の長さｈと横の長さｗとの積ｗ・ｈ）
・アスペクト（比率：縦の長さｈと横の長さｗとの比、例えばｗ／ｈ）
のうち少なくとも一つの情報を帳票の特徴量として追加する。

制御部１１は、データベースサーバ３に帳票ごとの特徴量の情報を記録する際に上記の処理を行い、帳票を特定する情報Ｐに関連付けて、上記外接矩形領域の特徴量を加えた特徴量の情報を、データベースサーバ３に記録する。

また制御部１１は、類似帳票検索部２４として機能する際に、上記外接矩形領域の特徴量を加えた特徴量の情報をキーとして得て、データベースサーバ３にアクセスし、データベースサーバ３に保持されている、帳票ごとの特徴量の情報を取得して、取得した各帳票の特徴量の情報と、キーとを互いに比較する。

以下、検索対象の特徴量に含まれる矩形領域Ｒの特徴量ごとに、データベースサーバ３から受け入れた、対応する特徴量の情報との比較を行う処理については（矩形領域Ｒに、上記外接矩形領域が追加されているものの）既に説明した処理と同様であるので、繰り返しての説明を省略する。

本実施の形態によると、文字ごとの記入を行う欄全体の位置及び配列の類似度（集合領域の類似度）を、個々の欄の位置などの類似度に加えて判断できる。

またここでの例では、横方向に配列される場合について説明したが、本実施の形態はこれに限られず、例えば、認識した矩形領域ごとに幅ｗ，高さｈについてのベクトル（ｗ，ｈ）を生成し、このベクトルをクラスタリング等で類似する幅、高さのグループに分類し、そのうち複数の矩形領域に係る複数のベクトルが含まれるグループについて、当該グループに属する矩形領域の座標情報を、幅方向または高さ方向のいずれかについて再度クラスタリングし、このクラスタリングによって得たグループ（便宜的に座標グループと呼ぶ）ごとに、当該グループに属する矩形領域が予め定めた数（例えば「３」など「２」以上の値）以上あり、かつ、座標情報のＸ，Ｙの順に配列したときに、Ｘ軸方向またはＹ軸方向に隣り合う矩形領域どうしの間隔が、各軸方向の当該間隔の平均値に対していずれも予め定めたしきい値を下回る場合（Ｘ軸、Ｙ軸の方向のそれぞれに一定の間隔で配列されていると判断される場合）に、その外接矩形領域の特徴量を求めることとしてもよい。

この例では、縦横にマトリクス状に配列された文字ごと記入欄に外接する外接矩形領域（集合領域）を認識できる。

なお、ここで説明した外接矩形領域の認識の処理方法については一例であり、レイアウトの認識を行うための広く知られた種々の処理を利用して、実質的に類似の形状の矩形が周期的に配列されている範囲に外接する外接矩形領域の特徴量を、認識した矩形領域の特徴量に加えて、帳票の特徴量としてデータベースサーバ３に保持し、また、類似帳票の検索の際に用いてもよい。

［変形例１・角度補正］
さらに本実施の形態の情報処理装置１は、画像受入部２１が受け入れた画像データ（スキャナ２等により光学的に読み取られた画像に係る画像データ）の読み取り方向（上下の方向など回転角度）が必ずしも定まっていないことを考慮して、次の処理を行ってもよい。

画像受入部２１が既に説明した処理により、矩形領域Ｒを認識し、その各々に固有の識別番号（ラベル）を付与した後、特徴量情報生成部２３が、当該矩形領域Ｒの各々について、座標位置及びサイズ（縦及び横の長さ）の情報を得る際に、所定の角度で回転したときの情報を生成することとしてもよい。

ここでの回転は、画像受入部２１が抽出した帳票部分全体を元の座標系内で回転させるものとする（図６）。また、特徴量情報生成部２３は、その座標位置を定めるにあたり、回転処理後の画像データに含まれる帳票部分の左上頂点を原点とし、元の座標系と同様に、下方向をＹ軸正の方向、右方向をＸ軸正の方向としたＸＹ直交座標系を用いて、矩形領域Ｒの左上隅の頂点の座標を表すこととする。また回転角度は０度（回転処理しないオリジナルの画像データそのもの）、９０度、１８０度、２７０度などとして予め定めておく。

これによりある矩形領域Ｒの帳票内での位置を表す座標情報は、各回転角度の場合において互いに異なる値となる。

また特徴量情報生成部２３は、既に述べた例と同様、各回転角度で回転処理した画像データＩＭ（θ）ごとに、各矩形領域Ｒの
・座標情報
のほか、
・サイズ（面積：縦の長さ（回転角度によって縦横の方向は変化し得る）ｈと横の長さｗとの積ｗ・ｈ）
・アスペクト（比率：縦の長さｈと横の長さｗとの比、例えばｗ／ｈ）
・枠線の太さ
などの図形的な特徴量を生成する。以下では、回転角度θで回転処理した後の画像データＩＭ（θ）から抽出して得られた各矩形領域の情報を、Ｒiθ（ｉ＝１，２，…）と書く。ここでθとθ′とが互いに異なる回転角度であるときに、Ｒiθと、Ｒiθ′は、同じ矩形領域（一方の画像データをθ－θ′またはθ′－θに相当する角度だけ回転させれば互いに重なり合うものとなる矩形領域）であるものとする。

またここでも特徴量情報生成部２３は、矩形領域の数も特徴量として生成することとしてもよい。

そして特徴量情報生成部２３は、各回転角度で回転した画像データごとに、矩形領域Ｒiθの各々について求めた特徴量を、画像処理部２２が対応する矩形領域Ｒiθについて付与した識別番号（ｉでよい）に関連付けて記憶部１２に格納する。

類似帳票検索部２４は、各回転角度で回転した画像データごとに、特徴量情報生成部２３が生成した特徴量の情報（検索対象）を受け入れる。またこの類似帳票検索部２４は、データベースサーバ３にアクセスし、データベースサーバ３に保持されている、帳票ごとの特徴量の情報を取得する。

類似帳票検索部２４は、各回転角度で回転した画像データごとの各矩形領域Ｒiθの特徴量ごとに、データベースサーバ３から受け入れた、対応する特徴量の情報との比較を行う。

具体的に、この類似帳票検索部２４は、各回転角度θについて、検索対象の特徴量に含まれる各矩形領域Ｒiθ（ｉ＝１，２，…）の座標位置（Ｘi，Ｙi）等を参照し、データベースサーバ３から受け入れた帳票Ｐjに係る特徴量の情報に含まれる各矩形情報Ｒj,kの座標位置等の情報との相違（距離等）の最小値を求め、それぞれの矩形領域Ｒiθについて求めた最小値の総和等により、当該回転角度θで回転した画像データに含まれる帳票と、データベースサーバ３に格納されていた各帳票Ｐjとの類似度Ｓjを得る。ここでは類似度Ｓjが大きいほど、各帳票が類似することを意味するものとなっている。類似帳票検索部２４は、ここで得られた類似度Ｓjが予め定めた基準値よりも大きい値となっている（比較的類似している）帳票Ｐjを特定する情報と、その類似度Ｓjとを関連付けて記録する。以下では、回転角度θの画像データに基づく各矩形領域Ｒiθとの対比で得られた類似度の情報をＳjθ、当該類似度の情報に対応する帳票をＰjθ（帳票Ｐjを特定する情報と、回転角度θの情報とを含めたもの）とする。

そして類似帳票検索部２４は、回転角度θごとに記録した、この、比較的類似している帳票Ｐjθと類似度Ｓjθとの組のうち、得られた類似度Ｓjθが予め定めた基準値よりも大きい値となっている帳票Ｐjθを特定する情報（帳票Ｐjを特定する情報と、回転角度θの情報とを含む）を出力する。あるいは、類似帳票検索部２４は、比較的類似している帳票Ｐjθと類似度Ｓjθとの組を、類似度Ｓjθの順で並べ替えて、そのうち類似度Ｓjθが大きい順に（類似している順に）所定の数（例えば「１」でもよい）だけの組を抽出し当該抽出した組に含まれる情報から、帳票Ｐjを特定する情報をさらに抽出して出力する。

また類似帳票検索部２４は、このとき、当該出力した情報で特定される帳票に類似するとされた特徴量の算出のもととなった画像データの回転角度θを、ユーザに提示してもよい。

以下、設定情報取得部２５が、類似帳票検索部２４が出力した情報で特定される帳票に係る設定情報を、データベースサーバ３から取得し、出力部２６が、設定情報取得部２５が出力する設定情報を受け入れて、当該設定情報をユーザに提示することとなる。なお、ここでも類似帳票検索部２４が出力した情報で特定される帳票が複数ある場合は、出力部２６は、帳票ごとの設定情報をユーザに提示すればよい。

このように本実施の形態のある例では、読み取って得られた画像データ（に含まれる帳票の画像）を、互いに異なる回転角度ずつ回転処理したうえで、矩形領域の特徴量を得て、当該特徴量と、データベースサーバに格納されている帳票の特徴量とを比較する。これによって想定された向きとは異なる向きで読み取られた画像データであっても、想定された向きで読み取られた場合と同様に、類似する帳票の候補検索を行うことが可能となる。

［変形例２・縮尺比率補正］
また本実施の形態の別の例では、画像受入部２１が受け入れた画像データ（スキャナ２等により光学的に読み取られた画像に係る画像データ）と、データベースサーバ３に保持されている帳票との間で縮尺や比率が相違する場合があり得ることを考慮して、次のような処理を行ってもよい。

すなわち、この例では、類似帳票検索部２４が、画像データの縮尺（拡大縮小率）や比率（縦横比）の相違に影響される特徴量の情報を、データベースサーバ３に保持されている、比較の対象となる帳票ごとに合わせてから比較を行うようにする。

具体的に本実施の形態のこの例では、データベースサーバ３に保持されている、帳票ごとの特徴量の情報のうちに、各帳票に含まれる矩形領域に基づいて定められる、標準領域情報に係る特徴量を含める。この標準領域情報は例えば矩形情報のうち、そのサイズ（面積、つまり縦の長さｈと横の長さｗとの積）が最大の矩形情報の領域などとして予め定めておく（他の例については後に述べる）。ここで領域を表す情報は、当該領域の左上隅の座標及び、縦の長さｈ及び横の長さｗなどを含む。

この例では、特徴量情報生成部２３が、画像処理部２２が抽出した矩形領域Ｒ等を用いて、標準領域情報に係る特徴量を、各矩形領域の特徴量とともに生成する。

そして類似帳票検索部２４は、特徴量情報生成部２３が生成した検索対象である特徴量の情報（標準領域情報に係る特徴量を含む）を受け入れ、そのうち標準領域に係る特徴量を取り出す。

類似帳票検索部２４は、データベースサーバ３にアクセスし、データベースサーバ３に保持されている帳票ごとの特徴量の情報（標準領域情報に係る特徴量を含む）を取得する。

類似帳票検索部２４は、データベースサーバ３に保持されている帳票ごとの標準領域に係る特徴量と、検索対象の特徴量から取り出した、標準領域情報に係る特徴量とに基づいて、データベースサーバ３に保持されている帳票のサイズ及び比率と、検索対象に係る帳票（画像受入部２１が受け入れた画像データの元となった帳票）のサイズ及び比率との比（または差）を求める。

そして類似帳票検索部２４は、ここで求めた比（または差）に基づいて、検索対象に含まれる矩形領域Ｒの特徴量を補正し、データベースサーバ３から受け入れた、対応する特徴量の情報との比較を、この補正後の特徴量により行う。

本実施の形態の一例として類似帳票検索部２４は、データベースサーバ３から取得した帳票Ｐj（ｊ＝１，２…）の一つ（未選択のもの）を選択し、選択した帳票Ｐjに係る標準領域情報の特徴量（ここでは標準領域の位置（ＸＳj,k，ＹＳj,k）とする）と、各矩形情報Ｒj,k（ｋ＝１，２…）の座標位置の情報（Ｘj,k，Ｙj,k），アスペクトｒj,k，サイズＡj,k，枠線太さＴj,kを取り出す。

類似帳票検索部２４は、検索対象の特徴量に含まれる標準領域情報に係る特徴量（その位置（ＸＳ，ＹＳ））と、標準領域情報に係る特徴量のそれぞれに対応する、選択した帳票Ｐjに係る標準領域情報の特徴量との比を求める。すなわち、
ｒｗj,k＝ＸＳj,k／ＸＳ、
ｒｈj,k＝ＹＳj,k／ＹＳ
を求める。

類似帳票検索部２４は、検索対象となった特徴量に含まれる、各矩形領域Ｒi（ｉ＝１，２，…）ごとの特徴量から、その座標位置（Ｘi，Ｙi）を読み出し、この読み出した座標位置を、
Ｘi′＝ｒｗj,k・Ｘi、
Ｙi′＝ｒｈj,k・Ｙi
と補正する。そして類似帳票検索部２４は、上記取り出された座標位置の情報（Ｘk，Ｙk）と、ここで補正した座標位置（Ｘi′，Ｙi′）の距離（ユークリッド距離でよい）Ｄi,j,kを求める。また類似帳票検索部２４は、検索対象となった特徴量のアスペクトｒi，サイズＡiを、
ｒi′＝ｒi×（ｒｗj,k／ｒｈj,k） （ｒiがｗ／ｈで定義される場合）
Ａi′＝Ａi×ｒｗj,k×ｒｈj,k
と補正する。なお類似帳票検索部２４は、枠線太さＴiについては、縦向きの枠線か横向きの枠線かに応じて縦向きの枠線であるときに
Ｔi′＝Ｔi×ｒｗj,k、
横向きの枠線であるときに、
Ｔi′＝Ｔi×ｒｈj,k、
と補正してもよい（この場合、生成する特徴量のうちに、枠線の向きを表す情報を含めておく）。

あるいは枠線の太さに関しては、帳票全体の拡大縮小比に対する枠線太さの変化が十分無視できるとして、補正をしなくてもよい。

類似帳票検索部２４は、これら補正したアスペクトｒi′，サイズＡi′，枠線太さＴi′（補正しない場合はもとの枠線太さＴi）と、それぞれに対応するアスペクトｒj,k，サイズＡj,k，枠線太さＴj,kとの差を求める：
Ｄｒi,j,k＝|ｒi′－ｒj,k｜
ＤＡi,j,k＝|Ａi′－Ａj,k｜
ＤＴi,j,k＝|Ｔi′－Ｔj,k｜
なお、｜ｘ｜は、ｘの絶対値を演算することを意味する。

そして類似帳票検索部２４は、検索対象となった帳票Ｐと、選択した帳票Ｐjとの類似度Ｓjを、例えば
Ｓj＝１／ｌｏｇ（Σ_i（ｍｉｎ（α・Ｄi,j,k＋β・Ｄｒi,j,k＋γ・ＤＡi,j,k＋ε・ＤＴi,j,k））＋１）
として求める。ここでもα、β、γ、εは、正の定数であり、予め実験的に定めておく。

類似帳票検索部２４は、各帳票Ｐjを順次選択しつつ上記の演算を帳票ごとに行い、データベースサーバ３から取得した情報に係る各帳票Ｐj（ｊ＝１，２…）について、検索対象となった帳票Ｐjとの類似度Ｓjを得る。ここでは類似度Ｓjが大きいほど、各帳票が類似することを意味するものとなっている。類似帳票検索部２４は、ここで得られた類似度Ｓjが予め定めた基準値よりも大きい値となっている帳票Ｐjを特定する情報を出力する。

なお、標準領域情報のもととなる標準領域は、ここで述べた例に限られず、データベースサーバ３に保持されている帳票について求めたものと、検索対象のもととなる帳票について求めるものとで同じ領域についての情報となれば、他の方法で定めたものであってもよい。例えば標準領域は、上述のものに代えて、帳票内のすべての矩形情報を含む最小の矩形の領域としてもよい。

さらに本実施の形態では、これらの変形例を組み合わせてもよい。組み合わせを行う場合、各回転角度で回転した後の画像データについて、標準領域情報を求める。そして当該求めた標準領域情報と、データベースサーバ３に保持されている帳票から選択した、比較の対象となる帳票の標準領域情報とに基づいて、検索対象となった特徴量を補正して、当該各回転後の画像データに含まれる帳票の補正後の特徴量を用いてデータベースサーバ３に保持されている各帳票との類似度を求め、最も類似する帳票を検索することとしてもよい。

なお、これらの変形例においても類似度を算出する際に、互いに対応する特徴量間の差の絶対値に代えて比を用いてもよい。このとき、回転角度を変化させる際には、既に述べた比を用いる例、例えばサイズにおいて
ＤＡi,j,k＝［Ａi／Ａj,k，Ａj,k／Ａi］
（ただし［ξ，η］は、ξとη（η＝１／ξ）とのうち、「１」より小さいほうの値をとることを意味する）に代えて、
ＤＡi,j,k＝Ａi／Ａj,k
と一方の比に固定してもよい（１８０度回転したときの類似度については異なる回転角度において得られることがあるため）。

１ 情報処理装置、２ スキャナ、３ データベースサーバ、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ インタフェース部、１６ 通信部、２１ 画像受入部、２２ 画像処理部、２３ 特徴量情報生成部、２４ 類似帳票検索部、２５ 設定情報取得部、２６ 出力部。

Claims (6)

1. 帳票に係る所定の特徴量の情報と、帳票に関連して定められた設定情報とを保持するデータベースに接続され、
   帳票の画像データを受け入れる手段、
   前記受け入れた画像データから帳票上の情報記入欄を認識する手段、
   前記認識の結果に基づいて、前記受け入れた画像データが表す帳票に係る特徴量の情報を生成する手段、
   前記生成した特徴量の情報を用いて、前記データベースに格納された帳票に係る情報のうち、所定の基準値よりも類似度の高い帳票に関連する設定情報を取得する手段、及び
   設定情報をユーザに提示する手段であって、前記取得した設定情報が複数ある場合には、関連する帳票ごとの設定情報をユーザに提示する手段、
   を有し、
   前記帳票に係る特徴量の情報は、前記情報記入欄ごとの位置、サイズ、アスペクトのうち少なくとも一つの情報を含む情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記設定情報を取得する手段は、前記データベースに格納された帳票ごとに、当該帳票と、前記受け入れた画像データが表す帳票との拡大縮小率により、当該受け入れた画像データが表す帳票に係る特徴量の情報を補正して、類似度を求める情報処理装置。
3. 請求項１または２に記載の情報処理装置であって、
   前記帳票に係る特徴量の情報は、前記情報記入欄に係る文字列の認識結果の情報を含む情報処理装置。
4. 請求項１から３のいずれか一項に記載の情報処理装置であって、
   前記設定情報は、各情報記入欄と当該情報記入欄に記入されるべき情報の種類を表す情報とを関連付けた関連付け情報を含む情報処理装置。
5. 請求項１から４のいずれか一項に記載の情報処理装置であって、
   前記特徴量の情報を生成する手段は、互いに共通するサイズの情報記入欄が周期的に配列されている領域を特定し、当該領域に外接する矩形の位置、サイズ、アスペクトのうち少なくとも一つの情報を前記帳票に係る特徴量の情報として追加的に生成する情報処理装置。
6. 帳票に係る所定の特徴量の情報と、帳票に関連して定められた設定情報とを保持するデータベースに接続されるコンピュータを、
   帳票の画像データを受け入れる手段、
   前記受け入れた画像データから帳票上の情報記入欄を認識する手段、
   前記認識の結果に基づいて、前記受け入れた画像データが表す帳票に係る特徴量の情報であって、前記情報記入欄ごとの位置、サイズ、アスペクトのうち少なくとも一つの情報を含む特徴量の情報を生成する手段、
   前記生成した特徴量の情報を用いて、前記データベースに格納された帳票に係る情報のうち、所定の基準値よりも類似度の高い帳票に関連する設定情報を取得する手段、及び
   設定情報をユーザに提示する手段であって、前記取得した設定情報が複数ある場合には、関連する帳票ごとの設定情報をユーザに提示する手段、
   として機能させるプログラム。
   

Images