JP7259468B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明は、情報処理装置及びプログラムに関する。

例えば、特許文献１には、帳票の文字認識処理を行う際に用いられる帳票定義データを作成する帳票定義データ作成方法が記載されている。この帳票定義データ作成方法は、帳票のイメージデータを取得し、イメージデータから文字情報のレイアウト情報を抽出し、指定された定義領域に対応するレイアウト情報から定義領域の位置に関する第１の定義データを抽出する。また、この帳票定義データ作成方法は、定義領域の周辺あるいは内部に存在する文字情報を認識し、認識結果を定義領域の属性に関する第２の定義データに変換する。

また、特許文献２には、認識辞書と、帳票画像の認識処理を行う帳票認識部とを備えた帳票認識装置が記載されている。この帳票認識部は、帳票画像内から文字列を検出し、検出された文字列に対し、項目名もしくは項目値らしさを表す認識優先度を設定する認識優先度設定部と、認識優先度の高い順にまとめられた認識グループを設定する認識グループ設定部と、を有する。また、この帳票認識部は、認識グループごとに認識グループ内の文字列のペアから項目名－項目値関係を抽出する項目名－項目値関係抽出部と、項目名－項目値関係抽出部によって抽出された項目名－項目値関係により、帳票画像内から読み取り対象の項目名－項目値関係全てが抽出されたかを判定する項目名－項目値関係抽出終了判定部と、を有する。この項目名－項目値関係抽出部により、認識優先度の高い認識グループの文字列から順に項目名－項目値関係の抽出を行い、項目名－項目値関係抽出終了判定部により、項目名－項目値関係の抽出が終了したと判定されれば帳票認識処理を終了する。

特開２００４－２５８７０６号公報 特開２０１２－２０８５８９号公報

ところで、文書に記入された文字を認識した結果を表示し、ユーザが文字の認識結果を確認する際、予め認識対象として定義された文書中の領域以外の領域に、重要な事項が記入されている場合に、文字の認識結果には、領域外の記入が表示されない。このため、ユーザがその記入に気付かずに見落としてしまう場合がある。

本発明は、文書に記入された文字の認識結果を表示する際に、認識結果において、予め認識対象として定義された領域に記入された事項のみを表示する場合と比較して、文字の認識結果を確認するユーザが、予め認識対象として定義された領域以外の領域に記入された事項を見落とすことを抑制することができる情報処理装置及びプログラムを提供することを目的とする。

上記目的を達成するために、第１態様に係る情報処理装置は、文書に記入された文字の認識結果を表示する確認画面に、予め認識対象として定義された定義領域以外である定義外領域から抽出された画像領域を表示する制御を行う表示制御部、を備えている。

また、第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記表示制御部が、前記画像領域の認識結果である第１文字列を前記文書の認識結果の項目に追加する処理である第１処理、前記定義領域の認識結果である第２文字列を前記第１文字列に変更する処理である第２処理、もしくは、前記画像領域を前記確認画面において非表示にする処理である第３処理のいずれかの処理を選択的に行う処理部を更に備えている。

また、第３態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記処理部が、前記第１文字列に追加を表す文字が含まれている場合に、前記第１処理を行う。

また、第４態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記処理部が、前記第１文字列に変更を表す文字が含まれている場合に、前記第２処理を行う。

また、第５態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記処理部が、前記画像領域に特定の画像が含まれている場合に、前記第３処理を行う。

また、第６態様に係る情報処理装置は、第５態様に係る情報処理装置において、前記特定の画像が、予め定められた刻印を表す画像とされている。

また、第７態様に係る情報処理装置は、第２態様又は第３態様に係る情報処理装置において、前記定義領域が、複数の項目を含み、前記処理部が、前記第１処理を行う場合に、前記複数の項目のうち、前記画像領域に最も近い項目に追加する処理を行う。

また、第８態様に係る情報処理装置は、第２態様又は第３態様に係る情報処理装置において、前記定義領域が、複数の項目を含み、前記処理部が、前記第１処理を行う場合に、前記複数の項目のうち、前記画像領域から延びる線の終端に最も近い項目に追加する処理を行う。

また、第９態様に係る情報処理装置は、第２態様又は第４態様に係る情報処理装置において、前記定義領域が、複数の項目を含み、前記処理部が、前記第２処理を行う場合に、前記複数の項目のうち、前記画像領域に最も近い項目の文字列を変更する処理を行う。

また、第１０態様に係る情報処理装置は、第２態様又は第４態様に係る情報処理装置において、前記定義領域が、複数の項目を含み、前記処理部は、前記第２処理を行う場合に、前記複数の項目のうち、前記画像領域から延びる線の終端に最も近い項目の文字列を変更する処理を行う。

また、第１１態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記表示制御部が、前記画像領域の認識結果である第１文字列と、前記第１文字列に付与された項目とを対応付けて、前記文書の認識結果に追加する処理を行う処理部を更に備えている。

また、第１２態様に係る情報処理装置は、第１１態様に係る情報処理装置において、前記第１文字列が、複数の文字列として認識され、前記処理部が、前記複数の文字列の各々と、前記複数の文字列の各々に付与された項目とを対応付けて、前記文書の認識結果に追加する処理を行う。

また、第１３態様に係る情報処理装置は、第１態様～第１２態様のいずれか１の態様に係る情報処理装置において、前記確認画面が、前記定義領域の認識結果である第２文字列を表示する第１画面と、前記定義外領域から抽出された画像領域を表示する第２画面とを切り替え可能に表示する。

また、第１４態様に係る情報処理装置は、第１３態様に係る情報処理装置において、前記表示制御部が、前記定義外領域から前記画像領域が抽出されている場合に、前記第２画面を前記第１画面より強調して表示する制御を行う。

更に、上記目的を達成するために、第１５態様に係るプログラムは、コンピュータを、第１態様～第１４態様のいずれか１の態様に係る情報処理装置が備える各部として機能させる。

第１態様及び第１５態様によれば、文書に記入された文字の認識結果を表示する際に、認識結果において、予め認識対象として定義された領域に記入された事項のみを表示する場合と比較して、文字の認識結果を確認するユーザが、予め認識対象として定義された領域以外の領域に記入された事項を見落とすことを抑制することができる、という効果を有する。

第２態様によれば、画像領域の認識結果を追加する処理、画像領域の認識結果へ変更する処理、及び画像領域を非表示にする処理を選択的に行わない場合と比較して、ユーザに負担をかけることなく、文書の認識結果に対して画像領域の認識結果を反映させることができる、という効果を有する。

第３態様によれば、追加を表す文字を考慮しない場合と比較して、ユーザに負担をかけることなく、画像領域の認識結果を追加する処理を行うことができる、という効果を有する。

第４態様によれば、変更を表す文字を考慮しない場合と比較して、ユーザに負担をかけることなく、画像領域の認識結果へ変更する処理を行うことができる、という効果を有する。

第５態様によれば、特定の画像を考慮しない場合と比較して、ユーザに負担をかけることなく、画像領域を非表示にする処理を行うことができる、という効果を有する。

第６態様によれば、刻印を表す画像を考慮しない場合と比較して、ユーザに負担をかけることなく、画像領域を非表示にする処理を行うことができる、という効果を有する。

第７態様によれば、画像領域と項目との距離を考慮しない場合と比較して、ユーザに負担をかけることなく、画像領域の認識結果を追加する処理を行うことができる、という効果を有する。

第８態様によれば、画像領域から項目に延びる線を考慮しない場合と比較して、ユーザに負担をかけることなく、画像領域の認識結果を追加する処理を行うことができる、という効果を有する。

第９態様によれば、画像領域と項目との距離を考慮しない場合と比較して、ユーザに負担をかけることなく、画像領域の認識結果へ変更する処理を行うことができる、という効果を有する。

第１０態様によれば、画像領域から項目に延びる線を考慮しない場合と比較して、ユーザに負担をかけることなく、画像領域の認識結果へ変更する処理を行うことができる、という効果を有する。

第１１態様によれば、文書の認識結果に対して、画像領域の認識結果に項目を対応付けない場合と比較して、ユーザに負担をかけることなく、文書の認識結果に項目を追加することができる、という効果を有する。

第１２態様によれば、画像領域の複数の認識結果に複数の項目を対応付けない場合と比較して、ユーザに負担をかけることなく、文書の認識結果に複数の項目を追加することができる、という効果を有する。

第１３態様によれば、確認画面を第１画面と第２画面とで切り替えない場合と比較して、画像領域に記入された事項を見落とすことを抑制することができる、という効果を有する。

第１４態様によれば、画像領域が抽出されたか否かに係わらず第１画面と第２画面とを同様に表示する場合と比較して、一見して画像領域が抽出されていることを把握することができる、という効果を有する。

実施形態に係る情報処理システムの構成の一例を示す図である。 実施形態に係るサーバ装置の電気的な構成の一例を示すブロック図である。 実施形態に係るサーバ装置の機能的な構成の一例を示すブロック図である。 実施形態に係る帳票画像の一例を示す図である。 実施形態に確認画面の一例を示す正面図である。 実施形態に係るによる認識処理プログラムによる処理の流れの一例を示すフローチャートである。 実施形態に係る第２処理を行う場合のルール編集画面の一例を示す正面図である。 実施形態に係る文字列の置き換え処理の説明に供する図である。 実施形態に係る第１処理を行う場合のルール編集画面の一例を示す正面図である。 実施形態に係る第３処理を行う場合のルール編集画面の一例を示す正面図である。 実施形態に係る項目追加画面の一例を示す正面図である。 実施形態に係る認識結果編集画面の一例を示す正面図である。 実施形態に係る反映後認識結果の一例を示す図である。

以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。

図１は、本実施形態に係る情報処理システム９０の構成の一例を示す図である。
図１に示すように、本実施形態に係る情報処理システム９０は、サーバ装置１０と、端末装置４０Ａ、４０Ｂ、・・・と、画像読取装置５０と、を備えている。なお、サーバ装置１０は、情報処理装置の一例である。

サーバ装置１０は、ネットワークＮを介して、端末装置４０Ａ、４０Ｂ、・・・、及び画像読取装置５０の各々と通信可能に接続されている。このサーバ装置１０には、一例として、サーバコンピュータや、パーソナルコンピュータ（ＰＣ：Personal Computer）等の汎用的なコンピュータが適用される。また、このネットワークＮには、一例として、インターネットや、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等が適用される。

画像読取装置５０は、紙媒体の帳票等を光学的に読み取って画像を取得し、取得した画像（以下、「帳票画像」という。）をサーバ装置１０に送信する機能を備えている。なお、ここでいう帳票としては、例えば、製造指示書等の複数の項目を含む各種の帳票が用いられる。この帳票には、これら複数の項目の各々について手書き文字や、印刷文字等が記入されている。サーバ装置１０は、具体的には後述するように、画像読取装置５０から受信した帳票画像に対して、光学的文字認識処理の一例であるＯＣＲ（Optical Character Recognition）処理を行い、複数の項目の各々に対応する画像についてのテキストデータ（以下、「文字列」ともいう。）を取得する。なお、この文字列とは、１文字以上の文字の連なりを意味し、１文字であっても文字列と称する。帳票では、項目に対応する記載が記入されうる領域が枠等で定められており、記載が記入されうる領域を認識対象の領域として定義されている。定義された領域を対象にＯＣＲ処理を行い、複数の項目の各々に対応する画像についての文字列を取得する。

端末装置４０Ａは、確認作業を行う確認者（ユーザ）Ｕ１が操作する端末装置であり、端末装置４０Ｂは、確認作業を行う確認者Ｕ２が操作する端末装置である。これら複数の端末装置４０Ａ、４０Ｂ、・・・を区別して説明する必要がない場合には、端末装置４０Ａ、４０Ｂ、・・・を総称して端末装置４０ともいう。また、これら複数の確認者Ｕ１、Ｕ２、・・・を区別して説明する必要がない場合には、確認者Ｕ１、Ｕ２、・・・を総称して確認者Ｕともいう。この端末装置４０には、一例として、パーソナルコンピュータ（ＰＣ）等の汎用的なコンピュータや、スマートフォン、タブレット端末等の携帯可能な端末装置等が適用される。なお、端末装置４０には、確認者Ｕが確認作業を行うための確認作業アプリケーション・プログラム（以下、「確認作業アプリ」ともいう。）がインストールされており、確認作業用のＵＩ（User Interface）画面を生成して表示する。

サーバ装置１０は、帳票画像に含まれる各項目の画像（以下、「項目画像」という。）とＯＣＲ処理により得られた文字列とを対応付けて、端末装置４０のＵＩ画面に表示させる制御を行う。確認者Ｕは、当該項目画像を見ながら、当該項目画像に対応する文字列が正しいか否かを確認する。確認者Ｕは、確認の結果、正しい場合はそのまま、正しくない場合は正しい文字列をＵＩ画面に入力する。端末装置４０は、ＵＩ画面を介して入力を受け付けた文字列を確認結果としてサーバ装置１０に送信する。サーバ装置１０は、端末装置４０からの確認結果に基づいて、最終的な認識結果を出力し、端末装置４０のＵＩ画面に表示させる制御を行う。

図２は、本実施形態に係るサーバ装置１０の電気的な構成の一例を示すブロック図である。
図２に示すように、本実施形態に係るサーバ装置１０は、制御部１２と、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、を備えている。

制御部１２は、ＣＰＵ（Central Processing Unit）１２Ａ、ＲＯＭ（Read Only Memory）１２Ｂ、ＲＡＭ（Random Access Memory）１２Ｃ、及び入出力インターフェース（Ｉ／Ｏ）１２Ｄを備えており、これら各部がバスを介して各々接続されている。

Ｉ／Ｏ１２Ｄには、記憶部１４と、表示部１６と、操作部１８と、通信部２０と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１２Ｄを介して、ＣＰＵ１２Ａと相互に通信可能とされる。

制御部１２は、サーバ装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、サーバ装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御部１２の各ブロックの一部又は全部には、例えば、ＬＳＩ（Large Scale Integration）等の集積回路又はＩＣ（Integrated Circuit）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御部１２の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。

記憶部１４としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等が用いられる。記憶部１４には、本実施形態に係る定義外領域の認識処理を行うための認識処理プログラム１４Ａが記憶される。なお、この認識処理プログラム１４Ａは、ＲＯＭ１２Ｂに記憶されていてもよい。

認識処理プログラム１４Ａは、例えば、サーバ装置１０に予めインストールされていてもよい。認識処理プログラム１４Ａは、不揮発性の記憶媒体に記憶して、又はネットワークＮを介して配布して、サーバ装置１０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が想定される。

表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有していてもよい。操作部１８には、例えば、キーボードやマウス等の操作入力用のデバイスが設けられている。表示部１６及び操作部１８は、サーバ装置１０のユーザから各種の指示を受け付ける。表示部１６は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。

通信部２０は、インターネットや、ＬＡＮ、ＷＡＮ等のネットワークＮに接続されており、画像読取装置５０や端末装置４０との間でネットワークＮを介して通信が可能とされる。

ところで、上述したように、帳票等の文書に記入された文字を認識した結果を表示し、ユーザが文字の認識結果を確認する際、予め認識対象として定義された文書中の領域以外の領域に、重要な事項が記入されている場合がある。しかしながら、文字の認識結果には、領域外の記入が表示されないため、ユーザがその記入に気付かずに見落としてしまう場合がある。

このため、本実施形態に係るサーバ装置１０のＣＰＵ１２Ａは、記憶部１４に記憶されている認識処理プログラム１４ＡをＲＡＭ１２Ｃに書き込んで実行することにより、図３に示す各部として機能する。

図３は、本実施形態に係るサーバ装置１０の機能的な構成の一例を示すブロック図である。
図３に示すように、本実施形態に係るサーバ装置１０のＣＰＵ１２Ａは、認識処理部３０、画像領域抽出部３２、表示制御部３４、及び認識結果出力部３６として機能する。なお、本実施形態では、文書の一例として、製造指示書等の帳票を適用した場合について説明する。

本実施形態に係る記憶部１４には、帳票定義データを記憶する帳票定義データ記憶部１４Ｂと、後述する指示ルールを記憶する指示ルール記憶部１４Ｃと、が設けられている。

本実施形態に係る認識処理部３０は、帳票定義データ記憶部１４Ｂに記憶されている帳票定義データに基づいて、一例として、後述の図４に示す帳票画像から、定義領域に含まれる画像の認識結果としての文字列を取得する。この帳票画像は、記入済み帳票の一例であり、予め認識対象として定義された定義領域を含んでいる。また、この定義領域は、複数の既存項目を含んでいる。

本実施形態に係る画像領域抽出部３２は、上記帳票画像において予め認識対象として定義された領域以外の領域である定義外領域から、画像領域を抽出する。ここでいう画像領域とは、定義外領域において不特定の画像（例えば、手書き文字や刻印等。）を含む領域のことを意味する。この画像領域は、一例として、画像を囲む矩形領域として表される。

本実施形態に係る表示制御部３４は、一例として、後述の図５に示す確認画面に、定義外領域から抽出された画像領域を表示する制御を行う。この確認画面は、帳票に記入された文字の認識結果を表示する画面である。すなわち、この確認画面は、認識処理部３０により認識結果として取得された文字列及び画像領域抽出部３２により抽出された画像領域を表示する画面である。

また、表示制御部３４は、処理部３４Ａを含む。処理部３４Ａは、一例として、画像領域の認識結果である第１文字列を記入済み帳票の認識結果の項目に追加する処理である第１処理、定義領域の認識結果である第２文字列を第１文字列に変更する処理である第２処理、もしくは、画像領域を確認画面において非表示にする処理である第３処理のいずれかの処理を選択的に行う。これら第１処理、第２処理、及び第３処理の具体例については後述する。

また、処理部３４Ａは、画像領域の認識結果である第１文字列と、第１文字列に付与された項目とを対応付けて、帳票画像の認識結果に追加する処理を行う。なお、第１文字列が複数の文字列として認識される場合、処理部３４Ａは、複数の文字列の各々と、複数の文字列の各々に付与された項目とを対応付けて、帳票画像の認識結果に追加する処理（以下、「項目追加処理」という。）を行う。この項目追加処理の具体例については後述する。

本実施形態に係る認識結果出力部３６は、上記確認画面での確認結果に基づいて、最終的な認識結果を出力する。なお、最終的な認識結果の出力先は、特に限定されるものではないが、一例として、表示部１６、記憶部１４、及び端末装置４０の少なくとも１つを出力先とする。

図４は、本実施形態に係る帳票画像６０の一例を示す図である。
図４に示す帳票画像６０には、複数の定義領域６０Ａ～６０Ｃと、複数の画像領域６２Ａ～６２Ｄと、が含まれている。なお、この帳票画像６０には、一例として、製造指示書を適用しているが、これに限定されるものではなく、帳票全般が適用される。

複数の定義領域６０Ａ～６０Ｃの各々は、予め認識対象として定義された領域であり、その定義内容は帳票定義データとして帳票定義データ記憶部１４Ｂに記憶されている。具体的に、定義領域６０Ａは、複数の既存項目として、推進／開発部門の担当者及び責任者の捺印、管理部門の担当者及び責任者の捺印、及び製造部門の担当者及び責任者の捺印が定義されている。また、定義領域６０Ｂは、複数の既存項目として、商品名、推進／開発部門担当者名、管理部門担当者名、サンプル送付先住所、サンプル送付先部門、及び製造担当者が定義されている。また、定義領域６０Ｃは、複数の既存項目として、管理番号、種類、個数、製造開始日、製造完了日、出荷開始日／切替日、及び備考が定義されている。

複数の画像領域６２Ａ～６２Ｄの各々は、定義外領域に存在する画像を含む領域であり、図４の例では矩形領域として表される。画像領域６２Ａは、特定の画像の一例であるスタンプ画像として「秘」を含む領域である。また、画像領域６２Ｂは、手書きコメントとして「９／６確認済」を含む領域である。また、画像領域６２Ｃは、手書きコメントとして「ＨＡＫＯ１０２Ｘに変更 サイズ小さい」を含む領域である。また、画像領域６２Ｄは、手書きコメントとして「付属品 ＡＢＣＤ００４Ａ」を含む領域である。

図５は、本実施形態に確認画面６４の一例を示す正面図である。
図５に示す確認画面６４は、端末装置４０に表示される画面である。この確認画面６４は、左側に帳票画像６０が表示され、右側に認識結果確認画面６４Ａと定義外画像領域画面６４Ｂとが切り替え可能に表示される。

認識結果確認画面６４Ａは、定義領域の認識結果である第２文字列を表示する第１画面の一例である。また、定義外画像領域画面６４Ｂは、定義外領域から抽出された画像領域を表示する第２画面の一例である。図５の例では、認識結果確認画面６４Ａと定義外画像領域画面６４Ｂとをタブにより切り替えて表示する場合について示している。なお、画面の切り替えは、タブに限定されるものではなく、矢印キー等で切り替えてもよい。

図５の例では、定義外画像領域画面６４Ｂのタブが選択され、定義外画像領域画面６４Ｂが表示されている。なお、定義外領域から画像領域が抽出されている場合には、定義外画像領域画面６４Ｂが認識結果確認画面６４Ａより強調して表示される。このため、ユーザが一見するだけで定義外領域から画像領域が抽出されていることが把握される。この強調表示の制御は、表示制御部３４により実行される。強調表示の一例として、図５に示すように、定義外画像領域画面６４Ｂのタブに感嘆符マーク（エクスクラメーションマークともいう。）６４Ｃが付与されている。但し、強調表示の例は、この感嘆符マーク６４Ｃに限定されるものではなく、例えば、タブの背景色を赤色や黄色等の比較的目立つ色に変更する、タブの文字列（図５の例では「定義外画像領域」。）に下線を付与する、タブの文字列を太字にする、タブの文字列を斜体にする、タブの文字列にマーカを付与する、などの各種の方法を適用してもよい。

定義外画像領域画面６４Ｂには、帳票画像６０の定義外領域から抽出された複数の画像領域６２Ａ～６２Ｄの一覧がスクロール可能に表示されている。図５の例では、画像領域６２Ｂに対して設定項目群Ｒ１が設けられ、画像領域６２Ｃに対して設定項目群Ｒ２が設けられている。設定項目群Ｒ２の内容は設定項目群Ｒ１の内容と同様である。また、画像領域６２Ａ及び画像領域６２Ｄの各々についても設定項目群Ｒ１と同様の設定項目群が設けられている。なお、以下の説明において、これら複数の設定項目群Ｒ１、Ｒ２、・・・を区別して説明する必要がない場合には、設定項目群Ｒ１、Ｒ２、・・・を総称して設定項目群Ｒともいう。

設定項目群Ｒには、項目追加、ルール編集、認識結果編集、及びクリアが選択可能に設けられている。項目追加は、一例として、後述の図１１に示すように、画像領域の手書きコメントの内容を踏まえて、画像領域に応じた新たな項目を設定し、新たな項目毎に対応する値の入力を行う項目である。また、ルール編集は、一例として、後述の図７～図１０に示すように、画像領域の手書きコメントの内容を踏まえて、画像領域に応じた指示ルールを設定し、指示ルールに従って定義領域の既存項目に対して編集を行う項目である。また、認識結果編集は、一例として、後述の図１２に示すように、画像領域の手書きコメントの内容を踏まえて、定義領域の既存項目に対して編集を行う項目である。また、クリアは、画像領域の手書きコメントが不要であれば、定義外画像領域の一覧から削除する項目である。

次に、図６を参照して、本実施形態に係るサーバ装置１０の作用を説明する。

図６は、本実施形態に係るによる認識処理プログラム１４Ａによる処理の流れの一例を示すフローチャートである。

まず、サーバ装置１０に対して、定義外領域の認識処理の開始が指示されると、認識処理プログラム１４Ａが起動され、以下の各ステップを実行する。

図６のステップ１００では、認識処理部３０が、記入済み帳票の一例として、上述の図４に示す帳票画像６０の入力を受け付ける。

ステップ１０２では、認識処理部３０が、帳票定義データ記憶部１４Ｂに記憶されている帳票定義データに基づいて、帳票画像６０から得られる複数の定義領域６０Ａ～６０Ｃの各々の画像に対してＯＣＲ処理を行う。これにより、複数の定義領域６０Ａ～６０Ｃの各々の画像についての認識結果を得る。

ステップ１０４では、画像領域抽出部３２が、帳票画像６０の定義外領域から、複数の画像領域６２Ａ～６２Ｄを抽出する。

ステップ１０６では、表示制御部３４が、一例として、上述の図５に示す確認画面６４を端末装置４０に表示する制御を行う。

ステップ１０８では、表示制御部３４が、確認画面６４から、第２画面の一例である定義外画像領域画面６４Ｂが選択されたか否かを判定する。定義外画像領域画面６４Ｂが選択されていない、つまり、第１画面の一例である認識結果確認画面６４Ａが選択されたと判定した場合（否定判定の場合）、ステップ１１０に移行する。一方、定義外画像領域画面６４Ｂが選択されたと判定した場合（肯定判定の場合）、ステップ１１２に移行する。

ステップ１１０では、処理部３４Ａが、認識結果確認画面６４Ａから、複数の定義領域６０Ａ～６０Ｃの各々の既存項目の画像についての認識結果の訂正を受け付け、受け付けた訂正の内容を認識結果に反映する処理を行う。

一方、ステップ１１２では、処理部３４Ａが、定義外画像領域画面６４Ｂに含まれる複数の画像領域６２Ａ～６２Ｄのうち確認対象とされた画像領域について、「ルール編集」が選択されたか否かを判定する。「ルール編集」が選択されたと判定した場合（肯定判定の場合）、ステップ１１４に移行し、「ルール編集」が選択されていないと判定した場合（否定判定の場合）、ステップ１１８に移行する。

ステップ１１４では、処理部３４Ａが、一例として、図７、図９、図１０に示すルール編集画面を端末装置４０に表示する制御を行い、指示ルールの設定を受け付ける。

図７は、本実施形態に係る第２処理を行う場合のルール編集画面６６の一例を示す正面図である。
図７に示すルール編集画面６６には、ルール名入力欄６６Ａ、条件指定部６６Ｂ、実行処理指定部６６Ｃ、及び画像全体表示ボタン６６Ｄが表示される。

ルール編集画面６６では、画像全体表示ボタン６６Ｄが選択操作されると、帳票画像６０が別ウィンドウで開いて表示される。ユーザは帳票画像６０を確認しながら、ルール編集画面６６から設定操作を行うことが可能とされる。

ルール編集画面６６は、手書きコメントとして「ＨＡＫＯ１０２Ｘに変更 サイズ小さい」を含む画像領域６２Ｃに対して、第２処理に関する指示ルールを設定するための画面である。

ルール名入力欄６６Ａは、画像領域６２Ｃに設定するルール名を入力する欄であり、図７の例では、「変更指示」と入力される。また、条件指定部６６Ｂでは、複数の条件Ｃ１、Ｃ２のうち、条件Ｃ１のチェックボックスがチェックされている。条件Ｃ１には、「定義外文字に”変更”が含まれる場合」という条件文が含まれる。なお、この条件文における定義外文字とは、画像領域６２Ｃの認識結果としての第１文字列に対応している。また、この条件文において下線が付与された文字列（図７の例では”変更”。）をクリックすると、文字列候補一覧の別ウィンドウ（図示省略）が開き、別の文字列（図７の例では”追加”。）に変更可能とされている。

また、実行処理指定部６６Ｃでは、複数の処理Ｐ１～Ｐ６のうち、処理Ｐ３のチェックボックスがチェックされている。なお、第２処理の場合、処理Ｐ２又は処理Ｐ４を指定してもよい。

処理Ｐ３には、「最近傍の項目を[変更対象文字]に置き換える」という処理内容が含まれる。なお、[ ]内の変更対象文字には、ユーザにより適切な値が指定可能とされている。図７の例では、「ＨＡＫＯ１０２Ｘ」が指定される。また、処理Ｐ２には、「[項目名]を[変更対象文字]に置き換える」という処理内容が含まれる。この処理Ｐ２は、予めどの項目の値を変更するか決まっている場合に指定される。なお、図７の例では、[ ]内の項目名として「ＨＡＫＯ１０１Ｘ」が指定され、[ ]内の変更対象文字として「ＨＡＫＯ１０２Ｘ」が指定される。また、処理Ｐ４には、「指示線の先の項目を[変更対象文字]に置き換える」という処理内容が含まれる。なお、[ ]内の変更対象文字には、処理Ｐ３と同様に、例えば、「ＨＡＫＯ１０２Ｘ」が指定される。

処理Ｐ３、Ｐ４において、[ ]内の変更対象文字には、固定文字だけでなく、例えば、正規表現等を用いて、画像領域６２Ｃの「ＨＡＫＯ１０２Ｘに変更 サイズ小さい」から、「ＨＡＫＯ１０２Ｘ」だけを抽出してもよい。

図８は、本実施形態に係る文字列の置き換え処理の説明に供する図である。
図８に示すように、画像領域６２Ｃの最近傍には、項目Ｋの文字列である「ＨＡＫＯ１０１Ｘ」が位置している。

ここで、第２処理は、上述したように、定義領域の認識結果である第２文字列（図８の例では「ＨＡＫＯ１０１Ｘ」。）を、画像領域６２Ｃの認識結果である第１文字列（図８の例では「ＨＡＫＯ１０２Ｘ」。）に変更する処理である。具体的に、条件１、かつ、処理Ｐ３が指定された場合、つまり、第１文字列に変更を表す文字が含まれている場合、画像領域６２Ｃに最も近い項目Ｋの第２文字列を、第１文字列に変更するように設定される。また、条件１、かつ、処理Ｐ４が指定された場合、つまり、第１文字列に変更を表す文字が含まれている場合、画像領域６２Ｃから延びる指示線Ｌの終端に最も近い項目Ｋの第２文字列を、第１文字列に変更するように設定される。

なお、画像領域６２Ｃと、定義領域中の各既存項目との位置関係は、一例として、座標を用いて導出される。例えば、画像領域６２Ｃの中心座標と、各既存項目の中心座標との間の距離を求めることにより、画像領域６２Ｃと各既存項目との位置関係が導出される。

上述の図７に示すルール編集画面６６において、「保存」ボタンが選択操作されると、設定内容が指示ルール記憶部１４Ｃに保存され、「キャンセル」ボタンが選択操作されると、設定内容はキャンセルされる。

図９は、本実施形態に係る第１処理を行う場合のルール編集画面６８の一例を示す正面図である。
図９に示すルール編集画面６８には、ルール名入力欄６８Ａ、条件指定部６８Ｂ、実行処理指定部６８Ｃ、及び画像全体表示ボタン６８Ｄが表示される。

ルール編集画面６８では、図７の例と同様に、画像全体表示ボタン６８Ｄが選択操作されると、帳票画像６０が別ウィンドウで開いて表示される。ユーザは帳票画像６０を確認しながら、ルール編集画面６８から設定操作を行うことが可能とされる。

ルール編集画面６８は、手書きコメントとして「付属品 ＡＢＣＤ００４追加」を含む画像領域６２Ｄに対して、第１処理に関する指示ルールを設定するための画面である。

ルール名入力欄６８Ａは、画像領域６２Ｄに設定するルール名を入力する欄であり、図９の例では、「追加指示」と入力される。また、条件指定部６８Ｂでは、複数の条件Ｃ１、Ｃ２のうち、条件Ｃ１のチェックボックスがチェックされている。条件Ｃ１には、「定義外文字に”追加”が含まれる場合」という条件文が含まれる。なお、この条件文における定義外文字とは、画像領域６２Ｄの認識結果としての第１文字列に対応している。また、この条件文において下線が付与された文字列（図９の例では”追加”。）をクリックすると、文字列候補一覧の別ウィンドウ（図示省略）が開き、別の文字列（図９の例では”変更”。）に変更可能とされている。

また、実行処理指定部６８Ｃでは、複数の処理Ｐ１～Ｐ６のうち、処理Ｐ５のチェックボックスがチェックされている。なお、第１処理の場合、処理Ｐ６を指定してもよい。

処理Ｐ５には、「最近傍の項目に[追加対象文字]を追加する」という処理内容が含まれる。なお、[ ]内の追加対象文字には、ユーザにより適切な値が指定可能とされている。図９の例では、「ＡＢＣＤ００４Ａ」が指定される。また、処理Ｐ６には、「指示線の先の項目に[追加対象文字]を追加する」という処理内容が含まれる。なお、[ ]内の追加対象文字には、処理Ｐ５と同様に、例えば、「ＡＢＣＤ００４Ａ」が指定される。ここで、図示は省略するが、処理Ｐ７として、「[項目名]に[追加対象文字]を追加する」という処理内容を含んでもよい。この処理Ｐ７は、予めどの項目に追加するか決まっている場合に指定される。なお、図９の例では、[ ]内の項目名として「管理番号」が指定され、[ ]内の追加対象文字として「ＡＢＣＤ００４Ａ」が指定される。

処理Ｐ５、Ｐ６において、[ ]内の追加対象文字には、固定文字だけでなく、例えば、正規表現等を用いて、画像領域６２Ｄの「付属品 ＡＢＣＤ００４Ａ追加」から、「ＡＢＣＤ００４Ａ」だけを抽出してもよい。

ここで、第１処理は、上述したように、画像領域６２Ｄの認識結果である第１文字列（図９の例では「ＡＢＣＤ００４Ａ」。）を、定義領域の認識結果の項目（図９の例では「管理番号」。）に追加する処理である。具体的に、条件１、かつ、処理Ｐ５が指定された場合、つまり、第１文字列に追加を表す文字が含まれている場合、第１文字列を、画像領域６２Ｄに最も近い項目に追加するように設定される。また、条件１、かつ、処理Ｐ６が指定された場合、つまり、第１文字列に追加を表す文字が含まれている場合、第１文字列を、画像領域６２Ｄから延びる指示線Ｌの終端に最も近い項目に追加するように設定される。

なお、画像領域６２Ｄと、定義領域中の各既存項目との位置関係は、上述したように、座標を用いて導出される。例えば、画像領域６２Ｄの中心座標と、各既存項目の中心座標との間の距離を求めることにより、画像領域６２Ｄと各既存項目との位置関係が導出される。

図９に示すルール編集画面６８において、「保存」ボタンが選択操作されると、設定内容が指示ルール記憶部１４Ｃに保存され、「キャンセル」ボタンが選択操作されると、設定内容はキャンセルされる。

図１０は、本実施形態に係る第３処理を行う場合のルール編集画面７０の一例を示す正面図である。
図１０に示すルール編集画面７０には、ルール名入力欄７０Ａ、条件指定部７０Ｂ、実行処理指定部７０Ｃ、及び画像全体表示ボタン７０Ｄが表示される。

ルール編集画面７０では、図７の例と同様に、画像全体表示ボタン７０Ｄが選択操作されると、帳票画像６０が別ウィンドウで開いて表示される。ユーザは帳票画像６０を確認しながら、ルール編集画面７０から設定操作を行うことが可能とされる。

ルール編集画面７０は、スタンプ画像として「秘」を含む画像領域６２Ａに対して、第３処理に関する指示ルールを設定するための画面である。

ルール名入力欄７０Ａは、画像領域６２Ａに設定するルール名を入力する欄であり、図１０の例では、「画像を削除」と入力される。また、条件指定部７０Ｂでは、複数の条件Ｃ１、Ｃ２のうち、条件Ｃ２のチェックボックスがチェックされている。条件Ｃ２には、「[画像]が含まれる場合」という条件文が含まれる。なお、この条件文における画像とは、画像領域６２Ａの認識結果に対応している。また、この条件文の[画像]には、特定の画像が予め対応付けられており、図１０の例では、スタンプ画像の一例である「秘」及び「検」が対応付けられている。この特定の画像は、これらのスタンプ画像に限定されるものではなく、予め定められた刻印を表す画像であればよい。この刻印としては、例えば、日付印や、その他の部門の確認印、更には、重要、回覧等の各種スタンプ類、等が挙げられる。

また、実行処理指定部７０Ｃでは、複数の処理Ｐ１～Ｐ６のうち、処理Ｐ１のチェックボックスがチェックされている。

処理Ｐ１には、「定義外画像領域一覧から削除する」という処理内容が含まれる。なお、ここでいう定義外画像領域一覧とは、定義外画像領域画面６４Ｂ（図５参照）に表示される一覧のことを意味する。

ここで、第３処理は、上述したように、画像領域６２Ａを確認画面６４（図５参照）において非表示にする（確認画面６４から削除する）処理である。具体的に、条件２、かつ、処理Ｐ１が指定された場合、つまり、画像領域６２Ａに特定の画像が含まれている場合に、画像領域６２Ａが定義外画像領域画面６４Ｂに表示される一覧から自動的に削除されるように設定される。

図１０に示すルール編集画面７０において、「保存」ボタンが選択操作されると、設定内容が指示ルール記憶部１４Ｃに保存され、「キャンセル」ボタンが選択操作されると、設定内容はキャンセルされる。

図６に戻り、ステップ１１６では、処理部３４Ａが、定義外画像領域画面６４Ｂに含まれる複数の画像領域６２Ａ～６２Ｄの全てについて確認処理が終了したか否かを判定する。複数の画像領域６２Ａ～６２Ｄの全てについて確認処理が終了したと判定した場合（肯定判定の場合）、ステップ１３０に移行し、複数の画像領域６２Ａ～６２Ｄの全てについて確認処理が終了していないと判定した場合（否定判定の場合）、ステップ１１２に戻り処理を繰り返す。

一方、ステップ１１８では、処理部３４Ａが、ステップ１１２で確認対象とされた画像領域について、「項目追加」が選択されたか否かを判定する。「項目追加」が選択されたと判定した場合（肯定判定の場合）、ステップ１２０に移行し、「項目追加」が選択されていないと判定した場合（否定判定の場合）、ステップ１２４に移行する。

ステップ１２０では、処理部３４Ａが、一例として、図１１に示す項目追加画面を端末装置４０に表示する制御を行い、項目追加の設定を受け付ける。

図１１は、本実施形態に係る項目追加画面７２の一例を示す正面図である。
図１１に示す項目追加画面７２には、第１項目追加部７２Ａ、第２項目追加部７２Ｂ、項目追加ボタン７２Ｃ、及び帳票定義反映部７２Ｄが表示される。

項目追加画面７２は、手書きコメントとして「ＨＡＫＯ１０２Ｘに変更 サイズ小さい」を含む画像領域６２Ｃに対して、上述の項目追加処理に関する設定を行うための画面である。

画像領域６２Ｃの内容を複数の項目に分けたい場合、項目追加ボタン７２Ｃを選択操作すると、図１１に示すように、複数の項目が設定可能な状態で表示される。図１１に示す例では、「ＨＡＫＯ１０２Ｘに変更」と、「サイズ小さい」とが別々の追加項目として設定されている。なお、項目追加ボタン７２Ｃが選択操作されない場合、画像領域６２Ｃの内容は１つの追加項目として設定される。

第１項目追加部７２Ａには、項目名入力欄Ａ１、値入力欄Ａ２、ＯＣＲボタンＡ３、機械学習モジュール設定欄Ａ４、及びマスク設定ボタンＡ５が含まれる。項目名入力欄Ａ１には、追加する項目の項目名が入力される。図１１の例では、「変更要求」が入力される。また、機械学習モジュール設定欄Ａ４には、ＯＣＲに使用する機械学習モデルのタイプが設定される。図１１の例では、「手書き日本語」が設定される。また、認識対象として、例えば、ひらがな、漢字、英大文字、及び数字が設定される。また、マスク設定ボタンＡ５は、ＯＣＲを行わない領域にマスクをし、ＯＣＲを行う領域を設定するボタンである。

一方、第２項目追加部７２Ｂには、項目名入力欄Ｂ１、値入力欄Ｂ２、ＯＣＲボタンＢ３、機械学習モジュール設定欄Ｂ４、及びマスク設定ボタンＢ５が含まれる。項目名入力欄Ｂ１には、追加する項目の項目名が入力される。図１１の例では、「コメント」が入力される。また、機械学習モジュール設定欄Ｂ４には、ＯＣＲに使用する機械学習モデルのタイプが設定される。図１１の例では、「手書き日本語」が設定される。また、認識対象として、例えば、ひらがな、カタカナ、及び漢字が設定される。また、マスク設定ボタンＢ５は、ＯＣＲを行わない領域にマスクをし、ＯＣＲを行う領域を設定するボタンである。

ステップ１２２では、処理部３４Ａが、認識処理部３０に対して、追加項目の再認識処理の実行を指示し、ステップ１１６に移行する。具体的に、図１１の例では、ＯＣＲボタンＡ３が選択操作されると、機械学習モジュール設定欄Ａ４及びマスク設定ボタンＡ５の各々の設定内容に従って、画像領域６２Ｃに対してＯＣＲを実行する。値入力欄Ａ２には、ＯＣＲボタンＡ３の選択操作により実行されたＯＣＲの結果が入力される。図１１の例では、「ＨＡＫＯ１０２Ｘに変更」が入力される。なお、値入力欄Ａ２には、手動での入力も可能とされる。同様に、ＯＣＲボタンＢ３が選択操作されると、機械学習モジュール設定欄Ｂ４及びマスク設定ボタンＢ５の各々の設定内容に従って、画像領域６２Ｃに対してＯＣＲを実行する。値入力欄Ｂ２には、ＯＣＲボタンＢ３の選択操作により実行されたＯＣＲの結果が入力される。図１１の例では、「サイズ小さい」が入力される。なお、値入力欄Ｂ２には、手動での入力も可能とされる。

なお、帳票定義反映部７２Ｄのチェックボックスがチェックされると、設定内容が帳票定義に反映され、毎回必ず追加項目に対してＯＣＲが実行される。

図１１に示す項目追加画面７２において、「保存」ボタンが選択操作されると、設定内容が記憶部１４に保存され、「キャンセル」ボタンが選択操作されると、設定内容はキャンセルされる。

一方、ステップ１２４では、処理部３４Ａが、ステップ１１２で確認対象とされた画像領域について、「認識結果編集」が選択されたか否かを判定する。「認識結果編集」が選択されたと判定した場合（肯定判定の場合）、ステップ１２６に移行し、「認識結果編集」が選択されていないと判定した場合（否定判定の場合）、ステップ１２８に移行する。

ステップ１２６では、処理部３４Ａが、一例として、図１２に示す認識結果編集画面を端末装置４０に表示する制御を行い、認識結果の編集を受け付け、ステップ１１６に移行する。

図１２は、本実施形態に係る認識結果編集画面７４の一例を示す正面図である。
図１２に示す認識結果編集画面７４は、左側に帳票画像６０が表示され、右側に認識結果編集部７４Ｒが表示される。

認識結果編集部７４Ｒには、一例として、画像領域６２Ｃが表示されると共に、複数の認識結果７４Ａ～７４Ｃがスクロール可能に表示される。これら複数の認識結果７４Ａ～７４Ｃは、複数の定義領域６０Ａ～６０Ｃの各々から得られる認識結果の一部である。

ユーザは、画像領域６２Ｃの内容を確認し、画像領域６２Ｃの内容に応じて、認識結果の編集を行う。図１２の例では、認識結果７４Ａの「ＨＡＫＯ１０１Ｘ」が「ＨＡＫＯ１０２Ｘ」に編集される。

図１２に示す認識結果編集画面７４において、「保存」ボタンが選択操作されると、編集内容が記憶部１４に保存され、「キャンセル」ボタンが選択操作されると、編集内容はキャンセルされる。

一方、ステップ１２８では、処理部３４Ａが、ステップ１１２で確認対象とされた画像領域について、「クリア」が選択されたと判定する。この場合、当該画像領域を定義外画像領域画面６４Ｂの一覧から削除し、ステップ１１６に移行する。

ステップ１３０では、処理部３４Ａが、定義外画像領域画面６４Ｂに含まれる複数の画像領域６２Ａ～６２Ｄの各々に対して、指示ルールが設定されているか否かを判定する。指示ルールが設定されていると判定した場合（肯定判定の場合）、ステップ１３２に移行し、指示ルールが設定されていないと判定した場合（否定判定の場合）、ステップ１３４に移行する。

ステップ１３２では、処理部３４Ａが、認識処理部３０に対して、ステップ１１４で設定された指示ルールに従って、画像領域の再認識処理の実行を指示し、この再認識結果に応じて、定義領域に含まれる既存項目の認識結果を編集する。例えば、第１処理を行う場合、複数の既存項目のうち、画像領域に最も近い項目に追加する処理を行う、あるいは、画像領域から延びる線の終端に最も近い項目に追加する処理を行う。また、第２処理を行う場合、複数の既存項目のうち、画像領域に最も近い項目の文字列を変更する処理を行う、あるいは、画像領域から延びる線の終端に最も近い項目の文字列を変更する処理を行う。また、第３処理を行う場合、画像領域を定義外画像領域画面６４Ｂの一覧から削除する。

ステップ１３４では、認識結果出力部３６が、定義領域の認識結果に対して、定義外領域から抽出された画像領域の再認識結果を反映して得られた反映後認識結果を出力し、本認識処理プログラム１４Ａによる一連の処理を終了する。この反映後認識結果の一例を図１３に示す。

図１３は、本実施形態に係る反映後認識結果７６の一例を示す図である。
図１３に示す反映後認識結果７６は、複数の認識結果７６Ａ～７６Ｄを含んでいる。

認識結果７６Ａは、図４に示す定義領域６０Ａに対応する認識結果であり、認識結果７６Ｂは、図４に示す定義領域６０Ｂに対応する認識結果であり、認識結果７６Ｃは、図４に示す定義領域６０Ｃに対応する認識結果である。認識結果７６Ｄは、上述の項目追加処理により追加された認識結果である。この認識結果７６Ｄは、図４に示す画像領域６２Ｃに対応する認識結果である。

また、認識文字列Ｎ１は、上述の第２処理により既存項目の「ＨＡＫＯ１０１Ｘ」から変更された認識結果である。この認識文字列Ｎ１は、画像領域６２Ｃを認識して得られた「ＨＡＫＯ１０２Ｘ」を表している。また、認識文字列Ｎ２は、上述の第１処理により既存項目の「管理番号」に追加された認識結果である。この認識文字列Ｎ２は、図４に示す画像領域６２Ｄを認識して得られた「ＡＢＣＤ００４Ａ」を表している。

このように本実施形態によれば、記入済み帳票の認識結果を表示する際に、予め認識対象とされた定義領域に記入された事項に加え、定義領域以外の定義外領域から抽出された事項が表示される。このため、記入済み帳票の認識結果を確認するユーザが、定義外領域に記入された事項を見落とすことが抑制される。

以上、実施形態に係る情報処理装置の一例としてサーバ装置を例示して説明した。実施形態は、サーバ装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

その他、上記実施形態で説明したサーバ装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０ サーバ装置
１２ 制御部
１２Ａ ＣＰＵ
１２Ｂ ＲＯＭ
１２Ｃ ＲＡＭ
１２Ｄ Ｉ／Ｏ
１４ 記憶部
１４Ａ 認識処理プログラム
１４Ｂ 帳票定義データ記憶部
１４Ｃ 指示ルール記憶部
１６ 表示部
１８ 操作部
２０ 通信部
３０ 認識処理部
３２ 画像領域抽出部
３４ 表示制御部
３４Ａ 処理部
３６ 認識結果出力部
４０、４０Ａ、４０Ｂ端末装置
５０ 画像読取装置
６０ 帳票画像
６０Ａ～６０Ｃ定義領域
６２Ａ～６２Ｄ画像領域
６４ 確認画面
６４Ａ 認識結果確認画面
６４Ｂ 定義外画像領域画面
６４Ｃ 感嘆符マーク
６６～７０ルール編集画面
７２ 項目追加画面
７４ 認識結果編集画面
７６ 反映後認識結果
９０ 情報処理システム

Claims (14)

1. 文書に記入された文字の認識結果を表示する確認画面に、予め認識対象として定義された定義領域以外である定義外領域から抽出された画像領域を表示する制御を行う表示制御部、
   を備え、
   前記確認画面は、前記定義領域の認識結果である文字列を表示する第１画面と、前記定義外領域から抽出された画像領域を表示する第２画面とを切り替え可能に表示する
   情報処理装置。
2. 前記表示制御部は、前記画像領域の認識結果である第１文字列を前記文書の認識結果の項目に追加する処理である第１処理、前記定義領域の認識結果である第２文字列を前記第１文字列に変更する処理である第２処理、もしくは、前記画像領域を前記確認画面において非表示にする処理である第３処理のいずれかの処理を選択的に行う処理部を更に備えた請求項１に記載の情報処理装置。
3. 前記処理部は、前記第１文字列に追加を表す文字が含まれている場合に、前記第１処理を行う請求項２に記載の情報処理装置。
4. 前記処理部は、前記第１文字列に変更を表す文字が含まれている場合に、前記第２処理を行う請求項２に記載の情報処理装置。
5. 前記処理部は、前記画像領域に特定の画像が含まれている場合に、前記第３処理を行う請求項２に記載の情報処理装置。
6. 前記特定の画像は、予め定められた刻印を表す画像である請求項５に記載の情報処理装置。
7. 前記定義領域は、複数の項目を含み、
   前記処理部は、前記第１処理を行う場合に、前記複数の項目のうち、前記画像領域に最も近い項目に追加する処理を行う請求項２又は３に記載の情報処理装置。
8. 前記定義領域は、複数の項目を含み、
   前記処理部は、前記第１処理を行う場合に、前記複数の項目のうち、前記画像領域から延びる線の終端に最も近い項目に追加する処理を行う請求項２又は３に記載の情報処理装置。
9. 前記定義領域は、複数の項目を含み、
   前記処理部は、前記第２処理を行う場合に、前記複数の項目のうち、前記画像領域に最も近い項目の文字列を変更する処理を行う請求項２又は４に記載の情報処理装置。
10. 前記定義領域は、複数の項目を含み、
    前記処理部は、前記第２処理を行う場合に、前記複数の項目のうち、前記画像領域から延びる線の終端に最も近い項目の文字列を変更する処理を行う請求項２又は４に記載の情報処理装置。
11. 前記表示制御部は、前記画像領域の認識結果である第１文字列と、前記第１文字列に付与された項目とを対応付けて、前記文書の認識結果に追加する処理を行う処理部を更に備えた請求項１に記載の情報処理装置。
12. 前記第１文字列は、複数の文字列として認識され、
    前記処理部は、前記複数の文字列の各々と、前記複数の文字列の各々に付与された項目とを対応付けて、前記文書の認識結果に追加する処理を行う請求項１１に記載の情報処理装置。
13. 前記表示制御部は、前記定義外領域から前記画像領域が抽出されている場合に、前記第２画面を前記第１画面より強調して表示する制御を行う請求項１～１２のいずれか１項に記載の情報処理装置。
14. コンピュータを、請求項１～１３のいずれか１項に記載の情報処理装置が備える各部として機能させるためのプログラム。

Images