WO2019194028A1

WO2019194028A1 - 画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体

Info

Publication number: WO2019194028A1
Application number: PCT/JP2019/012888
Authority: WO
Inventors: 裕一中谷; 克彦近藤; 哲 ▲瀬▼川; 杉本　充; 康日高; 隼哉秋山
Original assignee: 日本電気株式会社
Priority date: 2018-04-02
Filing date: 2019-03-26
Publication date: 2019-10-10
Also published as: SG11202009548UA; JP2019185141A; JP6874729B2; US11328504B2; EP3779782A4; US20210049394A1; EP3779782A1

Abstract

文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する信頼度算出部と、前記信頼度に応じて前記文字認識処理結果の出力先を選択する出力先選択部と、を備える画像処理装置。

Description

画像処理装置、画像処理方法、およびプログラムを記憶する記憶媒体

　本発明は、画像処理装置、画像処理方法およびプログラムを記憶する記憶媒体に関する。

　帳票の読み取りに関連して特許文献１には、読み取った帳票画像に基づいて帳票フォーマットを選択する方法が記載されている。この方法では、帳票フォーマットをグループ分けし、グループ毎に代表帳票フォーマットを１つ定めておく。そして、この方法では、読み取った帳票画像と代表帳票フォーマットとの特徴合致率に基づいて何れか１つのグループを選出する。さらにこの方法では、選出したグループ内の各帳票フォーマットのうち、読み取った帳票画像との特徴合致率が最も高い帳票フォーマットを選択する。
　また、特許文献２には、ニューラルネットワークを用いた機械学習が示されている。帳票の読み取りにおいても機械学習を用いて読み取り精度を向上させることが考えられる。

特開２０１６－０４８４４４号公報特開２００８－０４０６８２号公報

　帳票の読み取りでは、読み取り結果の確認および修正を支援できることが好ましい。例えば、読み取り結果の確認および修正を行う者が複数いる場合に、読み取り結果の確認および修正を効率よく行えるように、読み取り結果を振り分けられることが好ましい。

　本発明は、上述の課題を解決することのできる画像処理装置、画像処理方法およびプログラムを提供することを目的としている。

　本発明の第１の態様によれば、画像処理装置は、画像処理装置は、文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する信頼度算出部と、前記信頼度に応じて前記文字認識処理結果の出力先を選択する出力先選択部と、を備える。

　本発明の第２の態様によれば、画像処理方法は、文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出し、前記信頼度に応じて前記文字認識処理結果の出力先を選択する。

　本発明の第３の態様によれば、記憶媒体に記憶されたプログラムは、コンピュータに、文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出し、前記信頼度に応じて前記文字認識処理結果の出力先を選択する、処理を実行させる。

　この発明によれば、帳票の読み取り結果の確認および修正を行う者が複数いる場合に、読み取り結果の確認および修正を効率よく行えるように、読み取り結果を振り分けることができる。

実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。実施形態に係る画像処理装置のハードウェア構成例を示す図である。第一実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。第一実施形態に係る端末装置の機能構成を示す概略ブロック図である。文書帳票の一例を示す図である。第一実施形態に係るデータベースが記憶する記録テーブルの概要を示す図である。第一実施形態に係る画像処理装置の処理フローを示す第一の図である。第一実施形態に係る画像処理装置の処理フローを示す第二の図である。第一実施形態に係る画像処理装置の処理結果について端末装置にて確認・修正を行わせるための、画像処理装置１の処理手順の例を示す図である。第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。第二実施形態に係る画像処理装置の処理フローを示す第一の図である。第二実施形態に係る画像処理装置の処理フローを示す第二の図である。実施形態に係る画像処理装置の構成の例を示す図である。

　以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

　図１は、実施形態に係る画像処理装置を含む画像処理システムの装置構成例を示す図である。
　図１に示す構成で、画像処理システム１００は画像処理装置１、画像読取装置２、記録装置３、データベース４、端末装置６－１および端末装置６－２により構成される。
　画像処理装置１は画像読取装置２と通信ケーブルにより接続されている。画像読取装置２は光学的に文書帳票などの画像データを取得して画像処理装置１へ出力する。画像処理装置１は文書帳票の画像データをＯＣＲ（Optical character recognition）処理し文字認識する。画像処理装置１は文字認識結果を記録装置３に出力し、記録装置３がその文字認識結果をデータベースに記録する。
なお、画像処理装置１が処理対象とする文書は、特定の種類のものに限定されない。ＯＣＲ処理可能ないろいろな文書を、画像処理装置１の処理対象とすることができる。

　端末装置６－１および端末装置６－２は、それぞれ画像処理装置１に接続されている。また、端末装置６－１は端末装置６－２に接続されている。端末装置６－１、６－２のいずれも、画像処理装置１での処理結果を確認および修正するための端末装置である。但し、端末装置６－１と端末装置６－２とでは、使用者が異なる。端末装置６－１よりも端末装置６－２の方が、業務に関してより実体的な判断を行う者が使用する。
　例えば、画像処理システム１００が税関で使用されて輸入申請書類等の書類の文字を読み取る場合、端末装置６－１をキーパンチャーが使用し、端末装置６－２を通関士または審査員（税関職員）等が使用するようにしてもよい。

　端末装置６－１と端末装置６－２とでは、使用者の違いに応じて使用形態に差異がある。画像処理装置１は、自らの処理結果について信頼度を算出し、信頼度が低いと判断した場合、端末装置６－１で処理結果に対する確認および修正を受けた後、端末装置６－２で処理結果に対する確認および修正を受ける。この場合、端末装置６－１が、画像処理装置１の処理結果に端末装置６－１での確認・修正を反映させ、直接端末装置６－２へ送信するようにしてもよい。あるいは、端末装置６－１が、端末装置６－１での確認・修正結果を画像処理装置１へ送信し、画像処理装置１が、画像処理装置１の処理結果に端末装置６－１での確認・修正を反映させ、端末装置６－２へ送信するようにしてもよい。

　一方、画像処理装置１は、自らの処理結果の信頼度が高いと判断した場合、端末装置６－１での確認および修正を省略して、端末装置６－２で処理結果に対する確認および修正を受ける。
　端末装置６－１と端末装置６－２とを総称して端末装置６と表記する。画像処理システム１００が備える端末装置６の数は、２つ以上であればよい。従って、画像処理システム１００が備える端末装置６の数は、図１に示す２つに限定されず、３つ以上であってもよい。

　データベース４は画像処理装置１と記録装置３とに接続されている。データベース４は記録装置３から過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうち記録対象となる文字列を示す記録文字列の対応関係を記憶している。記録文字列が示す文字列は文書帳票に記述される文字列のうちデータベース４に記録、保存しておくべき重要な文字列である。画像処理システム１００を利用する作業者は予め、記録装置３を用いて過去に登録された複数の文書帳票の画像データとその画像データに含まれる文字列のうちの記録文字列をデータベース４に登録しておく。
　作業者を、画像処理装置１のユーザ、または単にユーザとも称する。作業者（画像処理システム１００を実運用するための準備を行う者）と、画像処理システム１００を実運用してＯＣＲ処理結果を取得する者とは、同一人物であってもよいし、異なる人物であってもよい。

　そしてデータベース４には文書帳票の画像データとその画像データに含まれる文字列の情報のうち記録対象となる文字列を示す記録文字列の情報との対応関係が、多くの文書帳票について十分に記録されているものとする。このような状態において、画像処理装置１は処理を行う。

　図２は画像処理装置のハードウェア構成例を示す図である。
　画像処理装置１は、ＣＰＵ（Central Processing Unit）１１、ＩＦ（Interface）１２、通信モジュール１３、ＲＯＭ（Read Only Memory）１４、ＲＡＭ（Random Access Memory）１５、ＨＤＤ（Hard Disk Drive）１６などの構成を備えたコンピュータである。通信モジュール１３は画像読取装置２、記録装置３、データベース４および端末装置６の各々との間で無線通信を行うものであってもよいし、有線通信を行うものであってもよく、それら２つの機能を有していてもよい。

＜第一実施形態＞
　図３は、第一実施形態に係る画像処理装置１の機能構成を示す概略ブロック図である。
　通信部１１０は、図２の通信モジュールを用いて構成され、他の装置と通信を行う。特に、通信部１１０は、画像読取装置２、記録装置３、データベース４および端末装置６の各々と通信を行う。
　記憶部１８０は、図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６を用いて構成され、各種データを記憶する。
　制御部１９０は、図２のＣＰＵ１１が、記憶部１８０（図２のＲＯＭ１４、ＲＡＭ１５およびＨＤＤ１６）からプログラムを読み出して実行することで構成される。制御部１９０は、画像処理装置１の各部を制御して各種処理を実行する。
　取得部１９１は、文書帳票の画像データを取得する。

　特徴量抽出部１９２は、複数の文書帳票の画像データの認識処理結果に基づいて、文書帳票の画像データに含まれる記録文字列の特徴を示す第一特徴量を文書帳票の画像データ毎に抽出する。特徴量の抽出を特徴量の生成とも称する。

　記録部１９３は、新たな文書帳票の画像データにおける文字列の特徴量を用いて、新たな文書帳票の画像データから読み取った文字列の情報のうちの記録文字列を抽出して記録する。

　信頼度算出部１９６は、画像処理装置１の処理結果の信頼度を算出する。特に、信頼度算出部１９６は、画像処理システム１００の実運用の際、画像処理装置１が新たな文書帳票の画像から記録文字列を抽出すると、得られた記録文字列の信頼度を算出する。具体的には、信頼度算出部１９６は、文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する。ここでいう特定項目の文字列は、記録文字列であってもよいし、記録文字列以外の所定の文字列であってもよい。例えば、特定項目の文字列が、記録文字列以外の文字列、かつ、予め位置を指定された文字列であってもよい。

　信頼度算出部１９６が信頼度算出に用いる特徴量として、いろいろな特徴量を用いることができる。例えば、信頼度算出部１９６が、文字認識そのものの信頼度（文字認識で得られた文字または文字列の確信度）に基づいて、画像処理装置１の処理結果の信頼度を算出するようにしてもよい。
　あるいは、信頼度算出部１９６が、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、文字認識処理対象の文書画像の書式についての特徴量に基づいて、信頼度を算出するようにしてもよい。例えば、信頼度算出部１９６が、特定項目の文字列に含まれる文字の属性、または、その文字列の範囲の座標など、特定項目の文字列の書式的な特性に関する特徴量に基づいて、画像処理装置１の処理結果の信頼度を算出するようにしてもよい。
　項目は、例えば、文書画像に含まれる情報の所定の種別を示す。項目は、例えば、日付情報、宛名情報、所属情報、商品情報、数値情報などである。特定項目は、文書画像に含まれる複数の項目のうち、予め特定された１つまたは複数の項目である。
　特徴量は、例えば、特定項目の文字列の、文書画像における、書式に関する所定の特徴を定量的に示す値である。所定の特徴は複数であってもよい。所定の特徴は、文字列に応じて異なっていてもよいし、複数の文字列の間で同一であってもよい。
　信頼度は、例えば、複数の文書画像に基づいて取得された特定項目毎の文字列の特徴量と、処理対象の文書画像における特定項目毎の文字列の特徴量との相関度を示す。信頼度は、例えば、複数の文書画像に基づいて取得された特定項目毎の文字列の特徴量と、処理対象の文書画像における特定項目毎の文字列の特徴量との類似度であってもよい。

　ここでいう書式には、文字の属性と文字列の範囲の座標とが含まれる。
　ここでいう文字の属性（文字属性）は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。以下、文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。
　あるいは、信頼度算出部１９６が、文字認識そのものの信頼度と、特定項目の文字列の書式的な特性に関する特徴量との両方に基づいて、画像処理装置１の処理結果の信頼度を算出するようにしてもよい。

　信頼度算出部１９６が、特定項目の文字列の書式的な特性に関する特徴量に基づいて画像処理装置１の処理結果の信頼度を算出する場合、処理対象の文書画像に限らず、文書の書式（Format）の解析等で処理済みの文書画像の特徴量を用いるようにしてもよい。
　例えば、信頼度算出部１９６が、処理済みの文書画像について予め記録された特徴量のばらつき度合いに基づいて信頼度を算出するようにしてもよい。特徴量のばらつき度合いが大きい場合、画像処理装置に与えられる文書の書式が一定していない、あるいは、画像処理装置１が解析した書式の特徴が実際の書式を十分に反映していないといった原因が考えられる。この場合、処理対象の文書画像についても、画像処理装置１が想定している書式と異なる書式である可能性が比較的高い。この点で、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が低いと考えられる。

　一方、特徴量のばらつき度合いが小さい場合、画像処理装置に与えられる文書の書式が一定しており、かつ、画像処理装置１が解析した書式の特徴が実際の書式を十分に反映していると考えられる。この場合、処理対象の文書画像の処理機が、画像処理装置１が想定している書式と同じであり、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が高いと考えられる。すなわち、画像処理装置１が、処理対象の画像を適切に処理していると期待される。

　あるいは、信頼度算出部１９６が、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いに基づいて信頼度を算出するようにしてもよい。ここでいう偏差の度合いは、平均値、中央値または最頻値などの標準値との差の大きさである。偏差の度合いが大きいとは、標準値との差が大きいことである。偏差の度合いが小さいとは、標準値との差が小さいことである。
　偏差の度合いが大きい場合、処理対象の文書画像の書式が、画像処理装置１が想定している書式と異なる、あるいは、想定している書式は合っていても画像処理装置１が解析した書式の特徴が、処理対象の文書画像については適切でないといった原因が考えられる。この場合、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が比較的低いと考えられる。

　一方、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いが小さい場合、処理対象の文書画像の書式が、画像処理装置１が想定している書式と同じであり、かつ、画像処理装置１が解析した書式の特徴が、処理対象の文書画像について適切であると考えられる。この場合、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が比較的高いと考えられる。すなわち、画像処理装置１が、処理対象の画像を適切に処理していると期待される。

　出力先選択部１９７は、信頼度算出部が算出した信頼度に応じて、画像処理装置１による文字認識処理結果の出力先を選択する。図１を参照して出力先選択について説明したように、信頼度算出部１９６が算出した信頼度が低いと判定された場合、出力先選択部１９７は、画像処理装置１の処理結果を端末装置６－１へ送信する。この場合、画像処理装置１は、画像処理装置自らの処理結果について、端末装置６－１での確認・修正を受けた後、端末装置６－２での確認修正を受ける。
　一方、信頼度算出部１９６が算出した信頼度が高いと判定された場合、出力先選択部１９７は、画像処理装置１の処理結果を端末装置６－２へ送信する。この場合、画像処理装置１は、画像処理装置自らの処理結果について、端末装置６－１での確認・修正を省略して、端末装置６－２における確認修正を受ける。

　このような処理により画像処理装置１は新たな文書帳票の画像データに含まれる記録するべき文字列情報の記録の労力を軽減する。

　図４は、第一実施形態に係る端末装置６の機能構成を示す概略ブロック図である。
　通信部２１０は、他の装置と通信を行う。特に、通信部２１０は、画像処理装置１または他の端末装置６と通信を行い、画像処理装置１による処理対象の文書画像の処理結果、あるいは、その処理結果に対して他の端末装置で修正が加えられた処理結果を取得する。
　また、通信部２１０は、得られた処理結果に対して端末装置６で確認・修正が行われた結果を、画像処理装置１または他の端末装置６へ送信する。

　表示部２２０は、例えば液晶パネルまたはＬＥＤ（Light Emitting Diode）パネル等の表示画面を備え、各種画像を表示する。特に、表示部２２０は、画像処理装置１による処理対象の文書画像の処理結果、あるいは、その処理結果に対して他の端末装置で修正が加えられた処理結果を表示する。例えば、表示部２２０は、処理対象の文書画像と、その文書画像に対する画像処理装置１によるＯＣＲ結果の文字列とを表示する。

　操作入力部２３０は、例えばキーボードおよびマウス、あるいは、表示部２２０の表示画面に設けられてタッチパネルを構成するタッチセンサ、あるいはこれらの組み合わせなどの入力デバイスを備え、ユーザ操作を受け付ける。特に、操作入力部２３０は、画像処理装置１による処理対象の文書画像の処理結果、あるいは、その処理結果に対して他の端末装置で修正が加えられた処理結果に対する修正操作を受け付ける。
　記憶部２８０は、端末装置６が備える記憶デバイスを用いて構成され、各種データを記憶する。
　制御部２９０は、端末装置６が備えるＣＰＵが記憶部２８０からプログラムを読み出して実行することで構成され、端末装置６の各部を制御して各種処理を実行する。特に、制御部２９０は、表示部２２０による画像の表示、および、通信部２１０による通信を制御する。また、制御部２９０は、操作入力部２３０が受け付けるユーザ操作を検出する。

　図５は文書帳票の一例を示す図である。
　この図が示すように文書帳票には、例えば、その文書を作成した企業のマーク、作成日、作成担当者、文書内容等が、その文書帳票に特有のフォーマットで記述されている。文書内容は、例えば文書帳票が発注票であれば発注した商品名やその発注個数などの情報の組が１つまたは複数示される。作業者はある１つの文書帳票に基づいて、その文書帳票に記述されている文字列のうち記録すべき特定の文字列（記録文字列）を、記録装置３を用いてデータベース４へ記録する。具体的には作業者は文書帳票を見ながら記録装置３がデータベース４に記録すべき記録文字列を入力する。また作業者は文書帳票の画像データを画像読取装置２に読み込ませる。文書帳票は作業者の操作に基づいて画像読取装置２が読み取り画像処理装置１へ出力する。そして記録装置３は作業者の操作と画像処理装置１の制御とに基づいて、１つの文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けてデータベース４に記録する。
　図５の例において、項目は、例えば、日付５１、発注先５２、商品名５３、数量５４、及び金額５５である。また、図５の例においては、日付５１、発注先５２、商品名５３、数量５４、及び金額５５の文字列が記録文字列である。文書帳票５には作業者によって記録されない非記録文字列等のその他の情報も印字されている。当該情報は例えば文書帳票を発行した発注者の名称５０１、発注者のエンブレム画像５０２、文書帳票のタイトル５０３、挨拶文５０４などである。

　図６はデータベースが記憶する記録テーブルの概要を示す図である。
　図６で示すようにデータベース４は文書帳票についての画像データと、その文書帳票に記述されている文字列のうち記録文字列を対応付けて記録テーブルに記憶する。

　図７は第一実施形態に係る画像処理装置の処理フローを示す第一の図である。図７は、画像処理装置１が第一特徴量を抽出する処理手順の例を示す。
　次に画像処理装置１の処理フローについて順を追って説明する。
　まずデータベース４にはある文書帳票についての画像データと、その文書帳票に記述されている記録文字列との組み合わせが、同じ書式の文書帳票複数枚分記録されている。例えば図５で示す文書帳票５の書式の記録文字列情報（記録文字列を示す情報）が複数枚分記録されているとする。
　これら画像データと記録文字列情報との組み合わせとして、例えば過去の業務で扱われた文書帳票の画像データおよび記録文字列情報を用いることができる。過去の業務から画像データおよび記録文字列情報を必要量確保できる場合、画像処理装置に第一特徴量を取得させるために画像データおよび記録文字列情報を別途用意する必要はない。
　このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。

　画像処理装置１の取得部１９１は、通信部１１０を制御してデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ６０１）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。
　特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列と、当該文字列の範囲を示す画像データ内の座標とを検出する（ステップＳ６０２）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。

　特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ６０３）。

　上述したように、文字の属性（文字属性）は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。また、文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。

　また、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。

　なお、特徴量抽出部１９２が記録文字列と文字情報が一致する文字列を一意に特定できない場合、画像処理装置１が、その文書画像を処理対象（第一特徴量の抽出対象）から除外するようにしてもよい。あるいは、画像処理装置１が、記録文字列の候補それぞれの範囲を枠で示した画像を端末装置６の表示部２２０に表示させ、作業者によって選択された文字列を記録文字列として特定させるようにしてもよい。ここでいう記録文字列の候補は、文字情報が記録文字列の文字情報と一致した文字列のうち、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。また、ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。
　特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。

　次に、特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する（ステップＳ６０４）。
　具体的には、特徴量抽出部１９２は、記録文字列毎に、複数の文書帳票におけるその記録文字列の文字列属性を解析して、１つの記録文字列に１つの特徴量を抽出する。
　特徴量抽出部１９２が、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を抽出する方法は、特定の方法に限定されない。例えば、特徴量抽出部１９２が、複数の文書帳票から得られた複数の文字列属性について、先頭の文字の座標、末尾の文字の座標、文字の種類、文字の高さ、フォントの種類などの項目毎に最頻値（Mode）を求めるようにしてもよい。また、特徴量抽出部１９２が、先頭の文字の座標、末尾の文字の座標、文字の高さ、文字間の距離など数値で示される属性について項目毎に平均値（Average）または中央値（Median）を求めるようにしてもよい。また、特徴量抽出部１９２が、数値で表される項目について、その最大値および最小値を特徴量とするなど、範囲を有する特徴量、あるいは、複数の数値で表される特徴量を用いるようにしてもよい。また、特徴量抽出部１９２が、文字の種類、フォントの種類など数値以外の属性を数値化して特徴量を求めるようにしてもよい。また、特徴量抽出部１９２が、公知の機械学習アルゴリズムを用いて特徴量を抽出するようにしてもよい。
　特徴量抽出部１９２が、文書帳票の１つの書式かつ１つの記録文字列について複数の数値を取得した場合、これら複数の数値をベクトル化して１つのベクトルの特徴量を抽出するようにしてもよい。
　特徴量抽出部１９２が、ステップＳ６０４で、文書帳票毎かつ文字列毎（例えば記録文字列毎）に特徴量を抽出しておき、信頼度算出部１９６が信頼度の算出に用いるようにしてもよい。

　特徴量抽出部１９２が抽出した、同じ書式の文書帳票に共通かつ記録文字列毎の特徴量を第一特徴量と称する。特徴量抽出部１９２は、同じ書式の複数枚の文書帳票を用いて、その書式における記録文字列それぞれの第一特徴量を抽出する。第一特徴量は記録文字列を抽出するための特徴量である。第一特徴量に、文字の属性を示す情報、文字列の範囲を示す座標の何れか、またはこれらの組み合わせが含まれていてもよい。
　特徴量抽出部１９２は、記録文字列毎に得られた第一特徴量を、文書帳票の書式の識別子に紐づけてデータベース４に記録する（ステップＳ６０５）。

　例えば特徴量抽出部１９２は、図５の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、及び金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す各第一特徴量を、文書帳票５の書式識別子に紐づけてデータベース４に記録する。
　ステップＳ６０５の後、画像処理装置１は、図７の処理を終了する。

　以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために利用する情報（第一特徴量）を抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。図８を参照して、その処理について説明する。

　図８は第一実施形態に係る画像処理装置の処理フローを示す第二の図である。図８は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
　作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ７０１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ７０２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ７０３）。つまり第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。その後、特徴量抽出部１９２はデータベース４から記録文字列毎の第一特徴量を読み出す（ステップＳ７０４）。特徴量抽出部１９２は記録部１９３へ第三特徴量と第一特徴量とを出力する。

　記録部１９３は画像データ中の文字列毎の第三特徴量と、記録文字列毎の第一特徴量とを取得する。記録部１９３は、各第一特徴量に対して第三特徴量が一意に対応付けられるか否かを判定する（ステップＳ７０５）。例えば、第一特徴量が文字列の範囲を示す座標を含んで構成されている。この場合、記録部１９３は、各第一特徴量に含まれる文字列の範囲を示す座標を用いて、各第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するか否かを判定する。
　各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合（ステップＳ７０５：ＹＥＳ）には、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には（ステップＳ７０５：ＮＯ）、文書帳票内の何れかの記載事項に文字の記載が無い状態である。

　ステップＳ７０５でＹＥＳの場合、記録部１９３は、第一特徴量に含まれる文字属性と、その第一特徴量に対応する第三特徴量に含まれる文字属性がそれぞれ一致するかどうかを判定する（ステップＳ７０６）。

　記録部１９３は、ステップＳ７０６の判定結果がＹＥＳとなり文字属性が一致する場合（ステップＳ７０６：ＹＥＳ）、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１９３はその確認画面をモニタに出力する（ステップＳ７０７）。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いか否かを確認することができる。すなわち、作業者は全ての記録文字列が選択されているか否かを（確認画面において矩形枠で囲まれているか否か）確認することができる。
　確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。

　なお確認画面をモニタに出力する理由を、図５を用いて説明する。図５では、記録文字列のうち商品名５３が６つ記入されている。過去の文書帳票においても６つの商品名５３の記入が最大だった場合、新たな文書帳票に対して、商品名５３は１～６個の範囲内で自動的に記録文字列と判定される。したがって、例えば新たな帳票では商品名５３が７つ記載されていた場合、１～６個目までの部分については、ステップＳ７０５、Ｓ７０６いずれもＹＥＳとなる。このため、画像処理装置１は７個目の文字列を記録せずに終了してしまう。
　このような事象が改善されるように、画像処理装置１は、ステップＳ７０７で記録文字列を記録する前に、確認画面を表示して、作業者に対して、記録して終了してよいか否かの確認を行う。

　記録部１９３は作業者のボタンのアイコン画像の押下に応じて、全ての記録文字列が選択されているかを判定する（ステップＳ７０８）。記録部１９３は全ての記録文字列が選択されている場合（ステップＳ７０８：ＹＥＳ）には、画像処理装置１は、画像処理装置１自らの処理結果として得られた記録文字列について、端末装置６にて確認・修正を行わせるための処理を行う（ステップＳ７０９）。

　図９は、画像処理装置１の処理結果について端末装置６にて確認・修正を行わせるための、画像処理装置１の処理手順の例を示す図である。画像処理装置１は、図８のステップＳ７０９で図９の処理を行う。
　図９の処理で、信頼度算出部１９６は、画像処理装置１の処理結果の信頼度を算出する（ステップＳ８０１）。例えば、信頼度算出部１９６は、記録部１９３が特定した記録文字列の信頼度を算出する。記録文字列が複数ある場合、信頼度算出部１９６は、記録文字列の信頼度の平均値を算出するなど、処理対象の文書帳票全体についての信頼度を算出する。上述したように、信頼度算出部１９６が信頼度算出に用いる特徴量として、いろいろな特徴量を用いることができる。

　次に、出力先選択部１９７は、信頼度算出部１９６が算出した信頼度が高いか否かの判定を行う（ステップＳ８０２）。例えば、出力先選択部１９７は、信頼度が所定の閾値以上か否かを判定し、閾値以上である場合に信頼度が高いと判定する。
　ステップＳ８０２で信頼度が低いと判定した場合（ステップＳ８０２：ＮＯ）、画像処理装置１は、画像処理装置１自らの処理結果および文書帳票の画像を端末装置６－１へ送信し、処理結果の確認および修正を受ける（ステップＳ８０３）。具体的には、出力先選択部１９７が、信頼度の判定結果に基づいて、処理結果および文書帳票の画像音送信先を端末装置６－１に決定する。そして、出力先選択部１９７は、通信部１１０を制御して、画像処理装置１の処理結果および文書帳票の画像を端末装置６－１へ送信させる。
　端末装置６－１は、例えばキーパンチャーなど、業務に関してより形式的な判断を行う者が使用する端末装置である。

　次に画像処理装置１は、画像処理装置１自らの処理結果について、端末装置６－２での確認および修正を受ける（ステップＳ８０４）。ステップＳ８０２でＹＥＳの場合も、処理がステップＳ８０４へ進む。上述したように、端末装置６－１から端末装置６－２へ、（端末装置６－１で修正後の）画像処理装置１の処理結果および文書帳票の画像を送信するようにしてもよい。あるいは、端末装置６－１が確認・修正結果を画像処理装置１へ送信し、画像処理装置１が、（端末装置６－１で修正後の）画像処理装置１の処理結果および文書帳票の画像を端末装置６－２へ送信するようにしてもよい。
　端末装置６－２は、例えば通関士または審査員（税関職員）など、業務に関してより実体的な判断を行う者が使用する。端末装置６－２による画像処理装置１の処理結果の表示は、処理結果の確認・修正の意味合いもあるが、端末装置６－２の使用者への情報提供の意味合いが強い。

　その後、画像処理装置１は、画像処理装置１自らの処理結果の確認・修正結果を取得する（ステップＳ８０５）。具体的には、端末装置６－２がユーザ操作に従って画像処理装置１の処理結果の確認・修正結果を画像処理装置１へ送信する。画像処理装置１では、通信部１１０が、その確認・修正結果を受信する。
　ステップＳ８０５の後、図９の処理を終了する。

　図８のステップＳ７０９の後、記録部１９３は、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ７１０）。

　例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、第三特徴量ｄ３が取得できたとする。そして第三特徴量ａ３が予めデータベースに記録されている第一特徴量ａ１と、第三特徴量ｂ３が第一特徴量ｂ１と、第三特徴量ｃ３が第一特徴量ｃ１と、第三特徴量ｄ３が第一特徴量ｄ１とそれぞれ特徴量が一致したとする。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、及び第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。
　端末装置６－１または端末装置６－２で記録文字列が修正された場合、記録部１９３は、修正後の記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する。
　ステップＳ７１０の後、画像処理装置１は、図８の処理を終了する。

　上述のステップＳ７０５でＮＯの場合、またはステップＳ７０６でＮＯの場合、またはステップＳ７０８でＮＯの場合、記録部１９３は、第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１９３は、画像データ中の対応する座標の第三特徴量が存在しなかった第一特徴量の座標の範囲に入力欄を設けた帳票画像（文書帳票の画像）の入力用画像データを生成してモニタに出力する（ステップＳ７２１）。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１９３は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を抽出する（ステップＳ７２２）。

　次に、画像処理装置１は、画像処理装置１自らの処理結果として得られた記録文字列について、端末装置６にて確認・修正を行わせるための処理を行う（ステップＳ７２３）。ステップＳ７２３は、ステップＳ７０９と同様である。
　ステップＳ７２３の後、記録部１９３は、帳票画像データの識別子と記録文字列とを対応付けてデータベース４に記録する（ステップＳ７２４）。具体的には、記録部１９３は、ステップＳ７２２で入力欄に入力された文字列については、入力された文字列を記録文字列とし、それ以外の記録文字については、第一特徴量と第三特徴量との比較で特定された文字列を記録文字列とする。そして、記録部１９３は、記録文字列と帳票画像データの識別子とを対応付けてデータベース４に記録する。端末装置６－１または６－２で修正があった場合、記録部１９３は、修正後の記録文字列と帳票画像データの識別子とを対応付けてデータベース４に記録する。
　ステップＳ７２４の後、画像処理装置１は、図８の処理を終了する。

　画像処理装置１が、図８の処理で第一特徴量を更新するようにしてもよい。例えば画像処理装置１が、ステップＳ７２３の後、図７の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が、ステップＳ７２３の後に追加学習を行うことで、図７で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。さらに、画像処理装置１が、ステップＳ７０９の後も、図７の処理フローの再実施または追加学習にて第一特徴量を更新するようにしてもよい。
　画像処理装置１が、図８の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図８の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。

　図８に示す処理によれば、画像処理装置１は予め作業者が記録しておいた文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
　また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置１は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。

＜第二実施形態＞
　第二実施形態では、画像処理装置１が、文書帳票の複数の書式に対応する場合について説明する。
　図１０は第二実施形態に係る画像処理装置の機能構成を示す概略ブロック図である。
　図１０に示すように第二実施形態に係る画像処理装置１は、図３で示した各機能部に加え、さらにグループ分類部１９４、及びグループ特定部１９５の機能を有する。第二実施形態に係る端末装置６の機能構成は図４で示した構成と同様である。

　図１１は第二実施形態に係る画像処理装置の処理フローを示す第一の図である。
　次に第二実施形態に係る画像処理装置１の処理フローについて順を追って説明する。
　データベース４には書式が異なる複数の文書帳票についての画像データと、各文書帳票に記述されている記録文字列の組み合わせが、その文書帳票毎に多数記録されている。このような状態で作業者が画像処理装置１を起動し、当該画像処理装置１へ処理開始を指示する。

　画像処理装置１の取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだか否かを判定する（ステップＳ９０１）。ＮＯの場合、取得部１９１はデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを読み取る（ステップＳ９０２）。取得部１９１は画像データと記録文字列とを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して画像データ中の全ての文字列とその画像データ内の座標とを検出する（ステップＳ９０３）。なお文字列は複数の文字によって構成される文字の纏まりである。特徴量抽出部１９２は他の文字との間隔などによってその１つの纏まりの範囲を解析し、その範囲に含まれる１つまたは複数の文字を文字列として抽出すると共に、その画像データ内の文字列の範囲を示す座標を検出する。文字列として含まれる文字は、表意文字、表音文字などの記号、マーク、アイコン画像などを含んでよい。

　特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列と、画像データと共にデータベース４から読み取った記録文字列とを比較する。特徴量抽出部１９２はＯＣＲ処理により画像データから抽出した文字列のうち、記録文字列の文字情報と一致した画像データ中の文字列と、その文字列に含まれる文字の属性と、その範囲の座標とを特定する（ステップＳ９０４）。

　第一実施形態で説明したように、文字の属性は、数字、アルファベット、ひらがな、漢字、文字数、文字高さ、フォントなどにより表される情報である。また文字列の範囲の座標は、文書帳票における文字列の位置を示す座標である。例えば、文字列の範囲の座標は、文字列に含まれる先頭文字の座標、終了文字の座標などを示す情報であってもよい。文字列に含まれる文字の属性と文字列の範囲の座標とを総称して、文字列の属性または文字列属性と表記する。

　第一実施形態の場合と同様、ここでの文字情報は、文字列のみであってもよいし、文字列属性を含んでいてもよい。すなわち、特徴量抽出部１９２が、記録文字列と画像データ中の文字列とが文字列として同一か否かを判定するようにしてもよい。あるいは、特徴量抽出部１９２が、文字の同一性に加えて、文字列属性の同一性を判定するようにしてもよい。

　なお、特徴量抽出部１９２が記録文字列と文字情報が一致する文字列を一意に特定できない場合、画像処理装置１が、その文書画像を処理対象（第一特徴量の抽出対象）から除外するようにしてもよい。あるいは、画像処理装置１が、記録文字列の候補それぞれの範囲を枠で示した画像を端末装置６の表示部２２０に表示させ、作業者によって選択された文字列に記録文字列を特定するようにしてもよい。第一実施形態で説明したように、ここでいう記録文字列の候補は、文字情報が記録文字列の文字情報と一致した文字列のうち、一意に特定されていないと判定された記録文字列に対応付けられている文字列である。また、ここでいう記録文字列の特定は、文書帳票における文字列のうち何れか１つを、１つの記録文字列に決定することである。
　特徴量抽出部１９２が、１つの記録文字列の文字情報に対して、文書帳票における複数の文字列それぞれの文字情報が一致すると判定した場合、これら複数の文字列が、その記録情報の候補となる。作業者が、これら複数の文字列のうち何れか１つを選択することで、記録文字列が一意に特定される。

　次に、特徴量抽出部１９２は、文書帳票毎かつ記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ記録文字列毎の特徴量を抽出する（ステップＳ９０５）。具体的には、特徴量抽出部１９２は、ステップＳ９０４で記録文字列に対応付けた文字列の文字列属性を特徴量化する。第二実施形態では複数種類の書式を対象とするため、文書帳票を書式毎にグループ分けしていないステップＳ９０５の時点では、図７のステップＳ６０４の場合と異なり直接第一特徴量を抽出することはできない。そこで、特徴量抽出部１９２は、グループ毎の第一特徴量を抽出する準備として、文書帳票毎かつ記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ記録文字列毎の特徴量を個別第一特徴量と称する。
　特徴量抽出部１９２は、得られた個別第一特徴量を、文書帳票の識別子および記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０６）。記録文字列の識別子として、例えばその記録文字列の位置を示す座標値を用いることができる。

　例えば特徴量抽出部１９２は、図５の文書帳票５の書式に含まれる記録文字列である日付５１、発注先５２、商品名５３、数量５４、及び金額５５それぞれの、文字属性、文字列の範囲を示す座標などを示す個別第一特徴量を、文書帳票毎かつ記録文字列毎に、文書帳票５の識別子および記録文字列の識別子に紐づけてデータベース４に記録する。

　特徴量抽出部１９２はまた、記録文字列に含まれる文字情報と一致しない画像データ中の非記録文字列と、その非記録文字列の文字列属性とを抽出する（ステップＳ９０７）。
　上述したように、非記録文字列は、作業者によって記録されない文字列、すなわち、記録文字列以外の文字列である。文字列属性には、その文字列に含まれる文字の属性を示す情報、その文字列の範囲の座標を示す情報の何れか一方あるは両方が含まれていてもよい。

　特徴量抽出部１９２は、文書帳票毎かつ非記録文字列毎に抽出した文字列属性を用いて、文書帳票毎かつ非記録文字列毎の特徴量を抽出する（ステップＳ９０８）。
　具体的には、特徴量抽出部１９２は、ステップＳ９０４で何れの記録文字列にも対応付けられなかった文字列の各々について、その文字列の属性（文字列属性）を特徴量化する。第一特徴量の場合と同様、文書帳票を書式毎にグループ分けしていないステップＳ９０８の時点では、同じ書式の文書帳票に共通の特徴量を生成することはできない。そこで、特徴量抽出部１９２は、グループ毎の第二特徴量を抽出する準備として、文書帳票毎かつ非記録文字列毎の特徴量を抽出しておく。この文書帳票毎かつ非記録文字列毎の特徴量を個別第二特徴量と称する。
　特徴量抽出部１９２が、文書帳票毎、かつ、複数の非記録文字列を纏めた個別第二特徴量を生成するようにしてもよい。例えば、特徴量抽出部１９２が、１つの文書帳票につき１つの個別第二特徴量を生成するようにしてもよい。

　特徴量抽出部１９２は、得られた個別第二特徴量を、文書帳票の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する（ステップＳ９０９）。非記録文字列の識別子として、例えばその非記録文字列の位置を示す座標値を用いることができる。
　例えば特徴量抽出部１９２は、図５の文書帳票５の書式に含まれる非記録文字列である発注者の名称５０１、発注者のエンブレム画像、文書帳票のタイトル５０３、挨拶文５０４などを示す個別第二特徴量を、文書帳票５の識別子および非記録文字列の識別子に紐づけてデータベース４に記録する。

　データベース４には、文書帳票の複数の書式それぞれについて、その書式の文書帳票の画像データとその画像データに対応する記録文字列の情報が記録されている。画像処理装置１の取得部１９１は全ての文書帳票についての画像データと記録文字列の情報を読み込むまでステップＳ９０１～ステップＳ９０９の処理を繰り返す。

　ステップＳ９０１で、取得部１９１がデータベース４から文書帳票の画像データとその画像データに対応する記録文字列の情報とを全て読み込んだと判定した場合（ステップＳ９０１：ＹＥＳ）、グループ分類部１９４が文書帳票をグループ分けする（ステップＳ９２１）。グループ分類部１９４は、文書帳票の画像データに含まれる個別第二特徴量に基づいて、文書帳票をグループ分けする。例えばグループ分類部１９４は、各文書帳票を、個別第二特徴量が示す非記録文字列の一致度、エンブレム画像の一致度、又は非記録文字列の座標範囲の一致度などに基づいてグループ分けする。グループ分類部１９４はこのグループ分けの処理において文書帳票のグループ識別子を決定する。グループ分類部１９４は全ての文書帳票についてグループ分けが終了したか否かを判定する（ステップＳ９２２）。

　グループ分類部１９４は全ての文書帳票のグループ分けが完了していない場合にはステップＳ９２１の処理を繰り返す。具体的には、ステップＳ９２２で、グループ分けを終了していない文書帳票があるとグループ分類部１９４が判定した場合（ステップＳ９２２：ＮＯ）、処理がステップＳ９２１へ戻る。
　グループ分類部１９４は、全ての文書帳票のグループ分けが完了した場合（ステップＳ９２２：ＹＥＳ）、文書帳票の識別子とその文書帳票に付与されたグループ識別子とを対応付けてデータベース４のグループテーブル（記録テーブル）に記録する（ステップＳ９２３）。

　そして特徴量抽出部１９２は、あるグループに属する１つまたは複数の文書帳票の各個別第一特徴量および各個別第二特徴量をデータベース４から読み取る。特徴量抽出部１９２は、グループに属する文書帳票の各個別第一特徴量および各個別第二特徴量に対応する各グループ第一特徴量と、各グループ第二特徴量とを抽出する（ステップＳ９２４）。各グループ第一特徴量はグループに属する文書帳票の各個別第一特徴量の平均等の値であってもよい。同様に各グループ第二特徴量はグループに属する文書帳票の各個別第二特徴量の平均等の値であってもよい。各グループ第一特徴量、各グループ第二特徴量は、各個別第一特徴量の平均、各個別第二特徴量の平均でなくとも、所定の統計処理や機械学習等の手法を用いて、グループに属する１つ又は複数の文書帳票の記録文字列や非記録文字列を特定できるよう算出された特徴量であれば、どのような手法を用いて、各グループ第一特徴量、各グループ第二特徴量を抽出してもよい。
　例えば、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票から記録文字列毎に文字列属性を抽出して（直接的に）グループ第一特徴量を生成するようにしてもよい。この場合、特徴量抽出部１９２が、ステップＳ９０５およびステップＳ９０６での個別第一特徴量の抽出および記録をパスする（特に何も処理を行わない）。
　一方、個別第二特徴量については、ステップＳ９２１でのグループ分けで使用できるように、特徴量抽出部１９２がステップＳ９０８で抽出しておく。但し、ステップ９２１で、グループ分類部１９４が、個別第二特徴量を用いず非記録文字列を用いて文書帳票のグループ分けを行うようにしてもよい。この場合、特徴量抽出部１９２がステップＳ９２４で、同一グループに属する複数の文書帳票の非記録文字列の文字列属性から（直接的に）グループ第二特徴量を抽出するようにしてもよい。この場合、特徴量抽出部１９２は、ステップＳ９０７～ステップＳ９０９では特に何も処理を行わない。
　特徴量抽出部１９２は、グループそれぞれについて各グループ第一特徴量、各グループ第二特徴量を算出し、グループの識別子に対応付けてデータベース４に記録する（ステップＳ９２５）。
　ステップＳ９２５の後、画像処理装置１は、図１１の処理を終了する。

　以上の処理により画像処理装置１は、作業者の記録文字列を記録する労力を軽減するために必要な情報（グループ第一特徴量およびグループ第二特徴量）を文書帳票のグループ毎に抽出してデータベース４に蓄積することができる。これにより画像処理装置１は新たな文書帳票の画像データの入力を受けて、その文書帳票に含まれる記録文字列を自動でデータベース４に記録していくことができる。図１２を参照して、その処理について説明する。

　図１２は第二実施形態に係る画像処理装置の処理フローを示す第二の図である。図１２は、画像処理装置１が、新たに入力された画像データから記録文字列を抽出する処理手順の例を示す。
　作業者は新たな文書帳票を画像読取装置２に読み取らせる操作を行う。これにより画像読取装置２は文書帳票の画像データを生成して画像処理装置１へ出力（送信）する。画像処理装置１の取得部１９１は、通信部１１０の受信データから画像データを取得する（ステップＳ１００１）。取得部１９１は画像データを特徴量抽出部１９２へ出力する。特徴量抽出部１９２は画像データをＯＣＲ処理して、文字列と、その文字列に含まれる文字の特徴（文字属性）と、その文字列の範囲の画像データ中の座標とを文字列毎に検出する（ステップＳ１００２）。特徴量抽出部１９２はそれら検出した情報を特徴量化した第三特徴量を、画像データ中の文字列毎に抽出する（ステップＳ１００３）。第三特徴量は新たに読み込んだ画像データの文書帳票に含まれる文字列の特徴を示す情報である。

　次にグループ特定部１９５が、データベース４が記憶しているグループ第二特徴量のうち新たな文書帳票のグループ特定に利用するグループ第二特徴量を読み取る。当該グループ第二特徴量は例えば文書帳票の画像データに表示される発注者のエンブレム画像５０２に対応する特徴量であってよい。グループ特定部１９５はあるグループ第二特徴量に示す情報が、ステップＳ１００１で取得した文書帳票の画像データから特定できるかどうかを判定する。グループ特定部１９５は全てのグループについてのグループ第二特徴量を用いて同様の処理を行う。グループ特定部１９５はデータベース４から読み取ったグループ第二特徴量に一致する情報が新たに読み込んだ文書帳票の画像データから特定できた場合、そのグループ第二特徴量を有するグループを、新たに読み込んだ文書帳票の画像データのグループと特定する（ステップＳ１００４）。その後、グループ特定部１９５はデータベース４からそのグループについての１つまたは複数のグループ第一特徴量を読み出す（ステップＳ１００５）。グループ特定部１９５は記録部１９３へ第三特徴量と１つまたは複数のグループ第一特徴量とを出力する。グループ第一特徴量はそのグループに属する文書帳票内の１つまたは複数の記録文字列を特定するための特徴量である。

　記録部１９３は画像データ中の１つまたは複数の文字列についての第三特徴量と、１つまたは複数のグループ第一特徴量とを取得する。記録部１９３は各グループ第一特徴量に含まれる文字列の範囲を示す座標を用いて、各グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が全て存在するか否かを判定する（ステップＳ１００６）。各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在する場合には（ステップＳ１００６：ＹＥＳ）、記録文字列に対応する文書帳票内の全ての記載事項に文字の記載が存在する。一方、各グループ第一特徴量の座標に対応する座標を有する第三特徴量が全て存在しない場合には（ステップＳ１００６：ＮＯ）、文書帳票内の何れかの記載事項に文字の記載が無い状態である。

　ステップＳ１００６でＹＥＳの場合、記録部１９３は、グループ第一特徴量に含まれる文字属性と、座標に基づいて特定された対応する第三特徴量に含まれる文字属性とがそれぞれ一致するかどうかを判定する（ステップＳ１００７）。

　記録部１９３は、ステップＳ１００７の判定結果がＹＥＳとなり、すなわち文字属性が一致する場合、現在処理している画像データにおいて１つまたは複数の第三特徴量が示す座標に基づく記録文字列の範囲に矩形枠を表示した確認画面を生成する。記録部１９３はその確認画面をモニタに出力する（ステップＳ１００８）。作業者はこの確認画面に表示された矩形領域を確認して、画像処理装置１が記録しようとする記録文字列を確認することができる。これにより作業者は記録文字列に不足が無いか否かを確認することができる。すなわち、作業者は全ての記録文字列が選択されているか否かを（確認画面において矩形枠で囲まれているか否か）確認することができる。
　確認画面にはＯＫまたはＮＧの何れかのボタンのアイコン画像が表示されている。このボタンのアイコン画像のうちＯＫのボタンを選択することにより作業者は記録文字列としての選択に不足がないことを指示することができる。他方、ボタンのアイコン画像のうちＮＧのボタンを選択することにより作業者は記録文字列としての選択に不足があることを指示することができる。

　記録部１９３は作業者のボタンのアイコン画像の押下に応じて、全ての記録文字列が選択されているか否かを判定する（ステップＳ１００９）。記録部１９３は全ての記録文字列が選択されている場合（ステップＳ１００９：ＹＥＳ）には、画像処理装置１は、画像処理装置１自らの処理結果として得られた記録文字列について、端末装置６にて確認・修正を行わせるための処理を行う（ステップＳ１０１０）。ステップＳ１０１０は、図８のステップＳ７０９と同様である。
　ステップＳ１０１０の後、記録部１９３は、記録文字列を文書帳票の識別情報に対応付けて記録テーブルに記録する（ステップＳ１０１１）。

　例えば、文書帳票の画像データ中から第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、及び第三特徴量ｄ３が取得できた場合を例示する。そして第三特徴量ａ３が予めデータベースに記録されているグループ第一特徴量ｇ１１と、第三特徴量ｂ３がグループ第一特徴量ｇ１２と、第三特徴量ｃ３がグループ第一特徴量ｇ１３と、第三特徴量ｄ３がグループ第一特徴量ｇ１４とそれぞれ特徴量が一致した場合を例示する。この場合、記録部１９３は、第三特徴量ａ３、第三特徴量ｂ３、第三特徴量ｃ３、及び第三特徴量ｄ３それぞれに対応する文字列を、記録文字列として文書帳票の記録テーブルに記録する。ここでいう第三特徴量に対応する文字列は、その第三特徴量の抽出元の文字列である。
　ステップＳ１０１１の後、画像処理装置１は、図１２の処理を終了する。

　上述のステップＳ１００６でＮＯの場合、またはステップＳ１００７でＮＯの場合、またはステップＳ１００９でＮＯの場合、記録部１９３は、グループ第一特徴量が示す当該座標に対応する座標を有する第三特徴量が存在しなかった場合の処理を行う。具体的には記録部１９３は、画像データ中の対応する座標の第三特徴量が存在しなかったグループ第一特徴量の座標の範囲に入力欄を設けた帳票画像（文書帳票の画像）の入力用画像データを生成してモニタに出力する（ステップＳ１０２１）。入力用画像データはＨＴＭＬやＸＭＬなどのマークアップ言語で記述されたデータであってよい。作業者はこの入力用画像データを見ながら、画像処理装置１のキーボード等の入力装置を操作して、モニタに表示されている入力用画像データ内の入力欄に記録文字列を入力する。当該入力用画像データには保存ボタンが表示されており、保存ボタンの押下操作をすると記録部１９３は既に文書帳票について取得した第三特徴量の他、新たに入力用画像データの入力欄に入力された文字列を含む第三特徴量を抽出する（ステップＳ１０２２）。
　次に、画像処理装置１は、画像処理装置１自らの処理結果として得られた記録文字列について、端末装置６にて確認・修正を行わせるための処理を行う（ステップＳ１０２３）。ステップＳ１０２３は、ステップＳ１０１０と同様である。
　ステップＳ１０２３の後、記録部１９３は帳票画像データの識別子と記録文字列とを対応付けてデータベース４に記録する（ステップＳ１０２４）。具体的には、記録部１９３は、ステップＳ１０２２で入力欄に入力された文字列については、入力された文字列を記録文字列とし、それ以外の記録文字については、第一特徴量と第三特徴量との比較で特定された文字列を記録文字列とする。そして、記録部１９３は、記録文字列と帳票画像データの識別子とを対応付けてデータベース４に記録する。端末装置６－１または６－２で修正があった場合、記録部１９３は、修正後の記録文字列と帳票画像データの識別子とを対応付けてデータベース４に記録する。
　ステップＳ１０２４の後、画像処理装置１は、図１２の処理を終了する。

　画像処理装置１が、図１２の処理で第一特徴量を更新するようにしてもよい。例えば画像処理装置１が、ステップＳ１０２３の後、図７の処理フローを再度実施するようにしてもよい。あるいは画像処理装置１が、ステップＳ１０２３の後に追加学習を行うことで、図７で処理済みのデータについては再度処理を行うことなく第一特徴量を更新するようにしてもよい。さらに、画像処理装置１が、ステップＳ１０１０の後も、図７の処理フローの再実施または追加学習にて第一特徴量を更新するようにしてもよい。
　画像処理装置１が、図１２の処理で第一特徴量を更新することで、サンプルデータ数が増加して第一特徴量の精度が向上し、画像処理装置１が記録文字列を抽出する精度が向上することが期待される。また、図１２の処理で記録文字列が追加された場合、画像処理装置１が新たに追加された記録文字列についても画像データから抽出できるようになり、作業者が文字列を入力する手間を省けることが期待される。

　図１２に示す処理によれば、画像処理装置１は予め作業者が記録しておいた複数の書式それぞれの文書帳票の画像データと記録文字列とによって、新たに入力させた文書帳票の種別によらずにその文書帳票の画像データにおける記録文字列を自動的に記録することができる。したがって画像処理装置１は文書帳票における記録文字列の記録の作業者の労力を軽減することができる。
　また文書帳票に記録文字列が記載されていない場合でも、本来、記載されているべき記録文字列に対応する記載事項が記載されていない場合には画像処理装置１は入力用画像データを出力する。これにより文書帳票において記載すべき記載事項に対して入力していない誤りが見つかると共に、その記載事項が示す記録文字列を容易に記録することができる。

＜第三実施形態＞
　なお、画像処理装置１の処理の他の例としては、作業者が予め文書帳票のグループを画像処理装置１に登録しておいてもよい。例えば作業者は、過去において文書帳票の画像データを登録する際、文書帳票の種類に合わせてグループ識別子を入力しておき文書帳票の画像データと紐づけてデータベース４に登録しておく。これにより、同一グループ内に画像処理装置１の処理誤り等により異種の帳票が混じることがなくなり、精度のよい第一特徴量を抽出することができる。なおこの場合、登録時は作業者が文書帳票のグループを入力するが、新たな帳票に対しては、ステップＳ１００４と同じく、第二特徴量を用いてグループ特定する。

＜第四実施形態＞
　また、画像処理装置１の処理の他の例としては、画像処理装置１は第二特徴量を用いて文書帳票をグループ分けするだけでなく、第一特徴量を用いて、また第二特徴量と共に第一特徴量を用いて、文書帳票をグループ分けするようにしてもよい。第一特徴量は記録文字列の特徴量であるが、同じ種類の文書帳票であれば、記録文字列の座標やその文字属性は同じであると考えられ、第一特徴量を用いて帳票をグループ分けすることが可能となる。最初のグループ分けを第四実施形態で示すように作業者が行い、新たな文書帳票に対してはステップＳ１００４の処理により第一特徴量を用いてグループ分けすることにより、ＯＣＲ処理において精度よく記録文字列を読み取ることが可能となる。
　この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そしてグループ分類部１９４が第一特徴量に基づいて帳票画像データをグループ分けする。そして、特徴量抽出部１９２は、グループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。

＜第五実施形態＞
　第二実施形態においてはステップＳ１００４において第二特徴量に基づいて新たな帳票のグループを特定している。しかしながら、別の処理態様として、画像処理装置１はグループを特定する処理を行わずに、作業者により設定された全グループに対して、１グループごとに順に特定して第一特徴量を読み出し、第三特徴量と一致する個数をカウントする。正しいグループの場合には最も多く第一特徴量と第三特徴量とが一致するはずである。このため、画像処理装置１は一致個数が最も多いときの特定グループの第三特徴量それぞれに含まれる文字列をステップＳ１００８において記録する。これにより、グループを特定しなくても記録文字列を記録することができる。
　この場合、取得部１９１が、複数の帳票画像データとその帳票画像データに含まれる文字列のうち記録対象となった記録文字列とを取得する。そして、特徴量抽出部１９２は、取得部１９１の取得した帳票画像データを認識処理した結果に基づいて、記録文字列の特徴を示す第一特徴量または記録文字列以外の認識情報を示す第二特徴量を抽出する。特徴量抽出部１９２は、予め設定された所定のグループに含まれる帳票画像データに対応する第一特徴量を用いて記録文字列を抽出する。

　以上のように、信頼度算出部１９６は、文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する。出力先選択部１９７は、信頼度算出部１９６が算出した信頼度に応じて文字認識処理結果の出力先を選択する。
　これにより、画像処理装置１は、文字認識処理結果の信頼度が低いと判定された場合には、例えばキーパンチャーに処理結果の確認・修正を受けた後、通関士または審査員に処理結果を提示することができる。また、画像処理装置１は、文字認識処理結果の信頼度が高いと判定された場合には、例えばキーパンチャーによる確認・修正を省略して、通関士または審査員に処理結果を提示することができる。
　このように、画像処理装置１によれば、帳票の読み取り結果の確認および修正を行う者が複数いる場合に、読み取り結果の確認および修正を効率よく行えるように、読み取り結果を振り分けることができる。

　また、信頼度算出部１９６は、複数の文書画像を用いた学習の結果に基づいて予め記録され、文書画像の種別毎かつ特定項目毎にその項目の文字列の特徴を示す特徴量のうち、文字認識処理対象の文書画像の書式についての特徴量に基づいて、信頼度を算出する。
　このように、信頼度算出部１９６が、文字認識処理対象の文書画像の書式についての特徴量に基づいて信頼度を算出することで、信頼度を比較的高精度に算出できることが期待される。例えば、信頼度算出部１９６が、文字認識そのものの信頼度と、文字認識処理対象の文書画像の書式についての特徴量に基づいて信頼度を算出することで文字認識そのものの信頼度のみに基づく場合よりも、信頼度を高精度に算出できることが期待される。
　また、信頼度算出部１９６は、記録部１９３が記録文字列の特定に用いる第一特徴量に基づいて信頼度を算出することができる。記録部１９３が記録文字列の特定に用いる特徴量に基づいて信頼度を算出する点で、信頼度算出部１９６が、精度の高い信頼度を算出できることが期待される。

　また、信頼度算出部１９６は、予め記録された特徴量のばらつき度合いに基づいて信頼度を算出する。
　特徴量のばらつき度合いが大きい場合、画像処理装置に与えられる文書の書式が一定していない、あるいは、画像処理装置１が解析した書式の特徴が実際の書式を十分に反映していないといった原因が考えられる。この場合、処理対象の文書画像についても、画像処理装置１が想定している書式と異なる書式である可能性が比較的高い。この点で、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が低いと考えられる。

　一方、特徴量のばらつき度合いが小さい場合、画像処理装置に与えられる文書の書式が一定しており、かつ、画像処理装置１が解析した書式の特徴が実際の書式を十分に反映していると考えられる。この場合、処理対象の文書画像の処理機が、画像処理装置１が想定している書式と同じであり、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が高いと考えられる。すなわち、画像処理装置１が、処理対象の画像を適切に処理していると期待される。
　この点で、信頼度算出部１９６が、予め記録された特徴量のばらつき度合いに基づいて信頼度を算出することで、高精度に信頼度を算出できる。

　また、信頼度算出部１９６は、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いに基づいて信頼度を算出する。
　偏差の度合いが大きい場合、処理対象の文書画像の書式が、画像処理装置１が想定している書式と異なる、あるいは、想定している書式は合っていても画像処理装置１が解析した書式の特徴が、処理対象の文書画像については適切でないといった原因が考えられる。この場合、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が比較的低いと考えられる。

　一方、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いが小さい場合、処理対象の文書画像の書式が、画像処理装置１が想定している書式と同じであり、かつ、画像処理装置１が解析した書式の特徴が、処理対象の文書画像について適切であると考えられる。この場合、処理対象の文書画像に対する画像処理装置１の処理結果の信頼度が比較的高いと考えられる。すなわち、画像処理装置１が、処理対象の画像を適切に処理していると期待される。
　この点で、信頼度算出部１９６が、文字認識対象の文書画像における特徴量の、予め記録された特徴量における偏差の度合いに基づいて信頼度を算出することで、高精度に信頼度を算出できる。

　次に、図１３を参照して、本発明の実施形態の構成について説明する。
　図１３は、実施形態に係る画像処理装置の構成の例を示す図である。図１３に示す画像処理装置６００は、信頼度算出部６０１と、出力先選択部６０２とを備える。
　かかる構成にて、信頼度算出部６０１は、文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する。出力先選択部６０２は、信頼度算出部６０１が算出した信頼度に応じて前記文字認識処理結果の出力先を選択する。
　これにより、画像処理装置６００は、文字認識処理結果の信頼度が低いと判定された場合には、例えばキーパンチャーに処理結果の確認・修正を受けた後、通関士または審査員に処理結果を提示することができる。また、画像処理装置６００は、文字認識処理結果の信頼度が高いと判定された場合には、例えばキーパンチャーによる確認・修正を省略して、通関士または審査員に処理結果を提示することができる。
　このように、画像処理装置６００によれば、帳票の読み取り結果の確認および修正を行う者が複数いる場合に、読み取り結果の確認および修正を効率よく行えるように、読み取り結果を振り分けることができる。

　上述の各装置は内部に、コンピュータシステムを有している。そして、各装置に上述した各処理を行わせるためのプログラムは、それら装置のコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムを各装置のコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。
また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

　また、上記プログラムは、前述した各処理部の機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

　以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

　この出願は、２０１８年４月２日に日本出願された特願２０１８－０７１１４５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

　１　画像処理装置
　２　画像読取装置
　３　記録装置
　４　データベース
　６、６－１、６－２　端末装置
　１１０　通信部
　１８０　記憶部
　１９０　制御部
　１９１　取得部
　１９２　特徴量抽出部
　１９３　記録部
　１９４　グループ分類部
　１９５　グループ特定部
　１９６　信頼度算出部
　１９７　出力先選択部

Claims

　文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出する信頼度算出部と、
　前記信頼度に応じて前記文字認識処理結果の出力先を選択する出力先選択部と、
　を備える画像処理装置。
　前記信頼度算出部は、複数の前記文書画像を用いた学習の結果に基づいて予め記録され、前記文書画像の種別毎かつ特定項目毎に前記項目の文字列の特徴を示す特徴量のうち、文字認識処理対象の前記文書画像の書式についての前記特徴量に基づいて、前記信頼度を算出する
　請求項１に記載の画像処理装置。
　前記信頼度算出部は、予め記録された前記特徴量のばらつき度合いに基づいて前記信頼度を算出する、
　請求項２に記載の画像処理装置。
　前記信頼度算出部は、前記文字認識対象の前記文書画像における前記特徴量の、予め記録された前記特徴量における偏差の度合いに基づいて前記信頼度を算出する、
　請求項２または請求項３に記載の画像処理装置。
　文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出し、
　前記信頼度に応じて前記文字認識処理結果の出力先を選択する、
　画像処理方法。
　コンピュータに、
　文書画像に含まれる特定項目の文字列の特徴量に基づいて、文字認識処理対象の文書画像に対する文字認識処理結果の信頼度を算出し、
　前記信頼度に応じて前記文字認識処理結果の出力先を選択する、
　処理を実行させるためのプログラムを記憶する記憶媒体。