JP6950252B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置及びプログラムに関する。

近年、分割された複数の画像を合成する画像処理装置が提案されている（例えば、特許文献１参照。）。

特許文献１に記載された画像合成装置は、スキャンする対象物を保持した状態でスキャナにセットされ対象物とともに複数回に分割してスキャンされるシートであって、スキャナへの位置決め用の基準位置を表す画像、および対象物の一部分の当該対象物上での位置を特定するための番号を表す位置判別画像が、複数の異なる位置に印刷されたシートから、対象物の一部分の画像と位置判別画像とを含む複数の分割画像を取得する画像取得部と、画像取得部により取得された分割画像毎に位置判別画像のパターン認識を行うパターン認識部と、パターン認識部による認識結果に基づいて、複数の分割画像を配列させた合成画像を生成する画像合成部と、を具備する。

特許第４９０１９２８号公報

本発明の課題の１つは、１つの原稿が２つ以上の画像に分けて読み取られた場合であっても、原稿内容を踏まえずに複数の画像を１つの原稿の画像に合成する場合よりも、合成画像の精度を向上させることが可能な画像処理装置及びプログラムを提供することにある。

［１］読取対象に対して、読取範囲から一部が外れて読み取られた第１の画像と、前記一部が含まれるように読み取られた第２の画像を取得する取得手段と、
前記第１及び第２の画像に対して文字認識処理を行う認識手段と、
前記文字認識処理により得られた文字情報に基づいて、前記第１及び前記第２の画像から前記読取対象に対応する合成画像を生成する生成手段と、を備え、
前記生成手段は、前記第１及び前記第２の画像の記載内容が整合した場合として、前記第１及び前記第２の画像間で前記記載内容中の項目を合計した合計項目数が整合した場合に、前記第１及び前記第２の画像から前記合成画像を生成する画像処理装置。
［２］コンピュータを、読取対象に対して、読取範囲から一部が外れて読み取られた第１の画像と、前記一部が含まれるように読み取られた第２の画像を取得する取得手段と、
前記第１及び前記第２の画像に対して文字認識処理を行う認識手段と、
前記文字認識処理により得られた文字情報に基づいて、前記第１及び前記第２の画像から前記読取対象に対応する合成画像を生成する生成手段として、機能させるためのプログラムであって、
前記生成手段は、前記第１及び前記第２の画像の記載内容が整合した場合として、前記第１及び前記第２の画像間で前記記載内容中の項目を合計した合計項目数が整合した場合に、前記第１及び前記第２の画像から前記合成画像を生成するプログラム。

請求項１、２に係る発明によれば、１つの原稿が２つ以上の画像に分けて読み取られた場合であっても、原稿内容を踏まえずに複数の画像を１つの原稿の画像に合成する場合よりも、合成画像の精度を向上させることが可能になり、また、レシートの場合に、記載内容に整合がない画像の合成を除くことで、合成画像の精度を向上させることが可能になる。

図１は、本発明の第１の本実施の形態に係る画像処理装置の制御系の一例を示すブロック図である。 図２（ａ）〜（ｃ）は、読取対象とその読取画像の一例を示す図である。 図３は、読取画像の一例を示す図であり、（ａ）は、第１の読取画像の一例を示す図、（ｂ）は、第２の読取画像の一例を示す図である。 図４（ａ）〜（ｃ）は、第１の実施の形態に係る画像処理装置の結果の一例を示すテーブルである。 図５は、第１の実施の形態に係る画像処理装置の動作の一例を示すフローチャートである。 図６は、第２の実施の形態に係る画像処理装置の動作の一例を示すフローチャートである。

以下、本発明の実施の形態について図面を参照して説明する。なお、各図中、実質的に同一の機能を有する構成要素については、同一の符号を付してその重複した説明を省略する。

［実施の形態の要約］
本実施の形態に係る画像処理装置は、読取対象に対して、読取範囲から一部が外れて読み取られた第１の画像と、この一部が含まれるように読み取られた第２の画像を取得する取得手段と、第１及び第２の画像に対して文字認識処理を行う認識手段と、文字認識処理により得られた文字情報に基づいて、第１及び第２の画像から読取対象に対応する合成画像を生成する生成手段と、を備える。

画像処理装置は、画像を読み取る読取機能を有するものであれば、例えば、スキャナや、多機能携帯電話機（スマートフォン）等でもよい。

読取対象には、例えば、伝票などの帳票やレシート等が含まれる。読取対象は、主に長方形を有しているものであるが、正方形を有しているものでもよい。この読取対象には、読取範囲に収まらない大きさを有しているものが含まれる。読取範囲とは、画像処理装置の画像読取部が読み取る範囲をいう。読取範囲は、最大の場合（例えば、原稿台の読取面の全体の範囲）もあれば、操作者により設定されたＡ４、Ｂ５等の規格で表される範囲の場合もある。

文字認識処理とは、読取対象が含まれる画像に対して、例えば、ＯＣＲ（Optical Character Recognition）を実行することにより、読取対象に含まれる文字情報を取得する処理をいう。

文字情報とは、文字認識処理により取得する文字に関する情報をいう。文字情報には、例えば、文字そのもの、文字列、文字数、どんな単語が記載されているか等の記載内容に関する情報や、文字の位置を示す位置情報等が含まれる。

［第１の実施の形態］
（画像処理装置の構成）
図１は、本発明の第１の実施の形態に係る画像処理装置１の制御系の一例を示すブロック図である。この画像処理装置１は、画像処理装置１の各部を制御する制御部１０と、各種のデータを記憶する記憶部１２と、情報の入力及び表示を行う操作表示部１３、読取対象を読み取る画像読取部１４と、端末装置２及び外部装置３との間でネットワーク４を介して通信する通信部１５とを備える。

制御部１０は、ＣＰＵ（Central Processing Unit）、インターフェース等から構成されている。ＣＰＵは、プログラム格納部１２０に格納されたプログラムに従って動作することにより、受付手段１００、輪郭検出手段１０１、外周接触部検出手段１０２、回転処理手段１０３、認識手段１０４、算出手段１０５、生成手段１０６、出力手段１０７、表示手段１０８等として機能する。受付手段１００、輪郭検出手段１０１、外周接触部検出手段１０２、及び回転処理手段１０３は、取得手段の一例である。各手段１００〜１０８の詳細については後述する。

記憶部１２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ハードディスク等から構成され、プログラムを格納するプログラム格納部１２０、画像データを格納する画像データ格納部１２１、結果情報を格納する結果情報格納部１２２等を有する。

画像読取部１４は、読取対象を光学的に読み取り、読み取った画像（以下、「読取画像」ともいう。）を受付手段１００に渡す。

通信部１５は、ネットワーク４を介して、外部装置３との間で信号を送受信する。外部装置３には、例えば、パーソナルコンピュータ、サーバ装置等が含まれる。

ネットワーク４は、例えば、ローカルエリアネットワーク（ＬＡＮ）、インターネット等であり、有線でも無線でもよい。

各手段１００〜１０８の詳細について、図２を参照して説明する。図２は、読取対象とその読取画像の一例を示す図である。

図２（ａ）は、読取対象の一例を示す図である。図２（ａ）に示すように、読取対象２０は、長方形の形状を有する帳票である。図２（ｂ）は、読取対象２０に対して、読取対象２０の一部が読取範囲５０から外れて読み取られた第１の読取画像３０の一例を示す。図２（ｃ）は、第１の読取画像３０から外れた一部が含まれるように読み取られた第２の読取画像４０の一例を示す。なお、この読取対象２０には、金額等に関する情報が横書き（図示左右方向）で長手方向に並んで記載されているものとして説明するが、これに限定されるものではない。また、図２（ｂ）に示す第１の読取画像３０及び図２（ｃ）に示す第２の読取画像４０には、それぞれ読取対象２０が１つの含まれる例を示しているが、これに限定されるものではなく、複数の読取対象が含まれるものでもよい。

受付手段１００は、画像読取部１４が読み取った読取画像を受け付ける。具体的には、受付手段１００は、画像読取部１４が読み取った第１の読取画像３０を受け付けるとともに、画像読取部１４が読み取った第２の読取画像４０を受け付ける。

輪郭検出手段１０１は、受付手段１００が受け付けた読取画像から読取対象２０の輪郭を検出し、読取画像から読取対象２０の輪郭で囲まれた領域の画像（以下、「輪郭画像」ともいう。）を切り出す。具体的には、輪郭検出手段１０１は、受付手段１００が受け付けた第１の読取画像３０から、読取対象２０の第１の輪郭画像３１（図２（ｂ）の実線参照）を切り出すとともに、第２の読取画像４０から、読取対象２０の輪郭画像である第２の輪郭画像４１（図２（ｃ）の実線参照）を切り出す。

外周接触部検出手段１０２は、読取対象２０の外周接触部を抽出する。ここで、外周接触部とは、読取範囲５０の縁部で読み取られた読取対象２０の部分をいう。具体的には、外周接触部検出手段１０２は、第１の輪郭画像３１から第１の外周接触部３３を抽出するとともに、第２の輪郭画像４１から第２の外周接触部４３を抽出する。

回転処理手段１０３は、輪郭検出手段１０１により切り出された輪郭画像の傾きの程度を示す量（以下、「スキュー量」ともいう。）を求め、このスキュー量に基づいて輪郭画像を回転して輪郭画像の傾きを補正する（以下、「スキュー補正」ともいう。）。具体的には、回転処理手段１０３は、輪郭検出手段１０１により切り出された第１の輪郭画像３１のスキュー量を求め、このスキュー量に基づいて第１の輪郭画像３１を回転して第１の輪郭画像３１の傾きを補正するとともに、第２の輪郭画像４１のスキュー量を求め、このスキュー量に基づいて第２の輪郭画像４１を回転して第２の輪郭画像４１の傾きをそれぞれ補正する。

スキュー補正後の第１の輪郭画像３１は、読取対象２０に対して、読取範囲５０から一部２１（図２（ａ）の破線枠参照）が外れて読み取られた第１の画像の一例である。また、スキュー補正後の第２の輪郭画像４１は、読取対象２０に対して、第１の輪郭画像３１で読取範囲５０から外れて読み取られた一部２１が含まれるように読み取られた第２の画像の一例である。

認識手段１０４は、輪郭画像に対して文字認識処理を実行し、輪郭画像に含まれる読取対象に記載されている文字情報を取得する。具体的には、認識手段１０４は、第１の輪郭画像３１について、ＯＣＲ処理を実行し、第１の輪郭画像３１に含まれる読取対象２０に記載されている文字情報３２０（以下、「第１の文字情報３２０」ともいう。）を取得するとともに、第２の輪郭画像４１について、ＯＣＲ処理を実行し、第２の輪郭画像４１に含まれる読取対象２０に記載されている文字情報４２０（以下、「第２の文字情報４２０」ともいう。）を取得する。

認識手段１０４は、外周接触部検出手段１０２により抽出された外周接触部に最も近い位置に記載された文字列（以下、「最端の文字列」ともいう。）を抽出する。具体的には、認識手段１０４は、第１の輪郭画像３１から第１の外周接触部３３に最も近い位置に記載された文字列３２１（以下、「第１の最端の文字列３２１」ともいう。）を抽出するとともに、第２の輪郭画像４１から第２の外周接触部４３に最も近い位置にある最端の文字列４２１（以下、「第２の最端の文字列４２１」ともいう。）を抽出する。認識手段１０４は、図２（ｂ）に示す例では、第１の最端の文字列３２１として「個数 ３個」（２点鎖線枠参照）を抽出し、図２（ｃ）に示す例では、第２の最端の文字列４２１として「ishiyama」（点線枠参照）を抽出する。

認識手段１０４は、異なる読取画像に含まれる２つの輪郭画像間において、一方の輪郭画像に含まれる最端の文字列が他方の輪郭画像に含まれるか否かを判断するとともに、他方の輪郭画像に含まれる最端の文字列が一方の輪郭画像に含まれるか否かを判断する。具体的には、認識手段１０４は、第２の輪郭画像４１に第１の最端の文字列３２１と同じ文字列３２１Ａが含まれるか否か、及び第１の輪郭画像３１に第２の最端の文字列４２１と同じ文字列４２１Ａが含まれるか否かを判断する。

認識手段１０４は、異なる読取画像に含まれる２つの輪郭画像間において、一方の輪郭画像に他方の輪郭画像の最端の文字列が含まれ、他方の輪郭画像に一方の輪郭画像の最端の文字列が含まれると判断したときに、この２つの輪郭画像を合成対象に決定する。具体的には、認識手段１０４は、第１の輪郭画像３１に第２の文字列４２１と同じ文字列４２１Ａ（例えば、「ishiyama」）が含まれ、かつ、第２の輪郭画像４１に第１の文字列３２１と同じ文字列３２１Ａ（例えば、「個数 ３個」）が含まれれば、認識手段１０４は、この第１の輪郭画像３１及び第２の輪郭画像を合成対象に決定する。

算出手段１０５は、異なる読取画像に含まれる２つの輪郭画像間において、互いに重複する範囲（以下、「重複範囲」ともいう。）に記載されている記載内容の一致の度合い（以下、「合成度」ともいう。）を算出する。ここで、重複範囲とは、２つの輪郭画像のうち一方の読取画像において、外周接触部の位置から他方の読取画像の最端の文字列が記載された位置までの範囲をいう。なお、重複範囲は、２つの輪郭画像のうち他方の読取画像において、外周接触部の位置から一方の読取画像の最端の文字列が記載された位置までの範囲としてもよい。また、記載内容の一致の度合いとは、例えば、重複範囲に記載されている文字列が２つの輪郭画像間で互いに一致する割合をいう。

算出手段１０５は、算出した合成度が予め定められた閾値（例えば、９０％）以上か否かを判断する。予め定められた閾値は、操作者により与えられる。予め定められた閾値は、合成画像の精度の目的値に応じて定めればよい。

具体的には、算出手段１０５は、第１の輪郭画像３１の長手方向において、第１の外周接触部３３の位置から第２の文字列４２１と同じ文字列４２１Ａ（「ishiyama」）が記載された位置までの第１の範囲３２（図２（ｂ）の１点鎖線枠参照）に記載されている文字列と、第２の輪郭画像４１の長手方向において、第２の外周接触部４３が記載された位置から第１の文字列３２１と同じ文字列３２１Ａ（「個数 ３個」）が記載された位置までの第２の範囲４２（図２（ｃ）の１点鎖線枠参照）に記載されている文字列との一致の割合を算出する。第１の範囲３２及び第２の範囲４２は、重複範囲の一例である。

算出手段１０５は、算出した合成度を結果情報格納部１２２に格納する。

生成手段１０６は、合成度が予め定められた閾値以上と判断した場合、認識手段１０４により得られた文字情報に基づいて、読取対象に対応する合成画像を生成する。具体的には、生成手段１０６は、算出手段１０５により算出された合成度が予め定められた閾値以上のときに、第１の輪郭画像３１と第２の輪郭画像４１とを合成して合成画像を生成する。

生成手段１０６は、合成画像を生成するとき、異なる読取画像に含まれる２つの輪郭画像間において、重複範囲に記載された文字同士の重なり合いや、輪郭同士の重なり合い、ロゴ情報の有無等の特徴量を抽出するとともに、２つの輪郭画像の罫線等を抽出するレイアウト解析を行う。生成手段１０６は、レイアウト解析の結果や抽出された特徴量に基づいて、２つの輪郭画像を合成する。

出力手段１０７は、生成手段１０６により合成された合成画像を外部装置３に出力する。出力手段１０７は、合成画像を画像データ格納部１２１に格納する。

表示手段１０８は、合成画像を生成する合成対象を操作表示部１３に表示する。外部装置３がパーソナルコンピュータの場合は、表示手段１０８は、外部装置３の表示部（不図示）に合成対象を表示してもよい。表示手段１０８は、生成手段１０６により２つの輪郭画像が合成された場合、合成された合成画像を合成対象とともに操作表示部１３に表示する。表示手段１０８は、生成手段１０６が合成画像を生成しなかった場合に、エラーの内容を示すエラーメッセージ（警告）を表示する。

（第１の実施の形態の動作）
次に、画像処理装置１の動作の一例について図３〜図５を参照して説明する。図５は、画像処理装置１の動作の一例を示すフローチャートである。

（１）読取対象の読み取り
操作者は、読取対象２０を画像処理装置１の図示しない原稿台に配置し、例えば、操作表示部１３のスタートボタンを押下する等のスキャン開始を画像処理装置１に指示する操作を行う。操作者は、読取対象２０の一部が読取範囲５０から外れるように読取対象２０を配置してもよく、複数の読取対象２０を並べて配置してもよい。

操作者によるスキャンを開始する指示を受け付けると、画像読取部１４は、読取対象２０を読み取り（Ｓ１）、読み取られた第１の読取画像３０を受付手段１００に渡す。

図３（ａ）は、第１の読取画像の一例を示す図である。図３（ａ）中の「Ａ０１」等の文字は、読取対象２０Ａ，２０Ｂ，２０ＣのＩＤを示す。図３（ａ）に示すように、読み取られた第１の読取画像３０には、複数の読取対象２０Ａ，２０Ｂ，２０Ｃが含まれる。

次に、操作者は、再び、読取対象２０を画像処理装置１の原稿台に配置し、スキャン開始を画像処理装置１に指示する操作を行う。なお、第１の読取画像３０で読取対象２０の一部が読取範囲５０から外れて読み取られた場合は、操作者は、当該一部が読取範囲５０に含まれるように読取対象２０を配置する。また、複数の読取対象２０のうちの一部は、第１の読取画像に含まれる複数の読取対象２０と異なるものであってもよい。

操作者によるスキャンを開始する指示を受け付けると、画像読取部１４は、読取対象２０を読み取り（Ｓ１）、読み取られた第２の読取画像４０を受付手段１００に渡す。

図３（ｂ）は、第２の読取画像の一例を示す図である。図３（ｂ）中の「Ｂ０１」等の文字は、読取対象２０Ｄ，２０ＥのＩＤを示す。図３（ｂ）に示すように、読み取られた第２の読取画像４０には、複数の読取対象２０Ｄ，２０Ｅが含まれる。

（２）輪郭画像の切り出し
次に、輪郭検出手段１０１は、受付手段１００が受け付けた第１の読取画像３０から読取対象２０Ａ，２０Ｂ，２０Ｃの第１の輪郭画像３１Ａ，３１Ｂ，３１Ｃをそれぞれ切り出すとともに、受付手段１００が受け付けた第２の読取画像４０から読取対象２０Ｄ，２０Ｅの第２の輪郭画像４１Ｄ，４１Ｅをそれぞれ切り出す（Ｓ２）。

次に、回転処理手段１０３は、第１の輪郭画像３１Ａ，３１Ｂ，３１Ｃのスキュー量をそれぞれ求め、スキュー量に基づいて第１の輪郭画像３１Ａ，３１Ｂ，３１Ｃをそれぞれ回転し、第１の輪郭画像３１Ａ，３１Ｂ，３１Ｃの傾きを補正するとともに、第２の輪郭画像４１Ｄ，４１Ｅのスキュー量をそれぞれ求め、スキュー量に基づいて第２の輪郭画像４１Ｄ，４１Ｅをそれぞれ回転し、第２の輪郭画像４１Ｄ，４１Ｅの傾きを補正する。

（３）外周接触部の抽出
次に、外周接触部検出手段１０２は、第１の輪郭画像３１Ａ，３１Ｂ，３１Ｃ及び第２の輪郭画像４１Ｄ，４１Ｅから外周接触部を抽出する（Ｓ３）。

図４（ａ）は、外周接触部検出手段１０２による、外周接触部の抽出の結果を示す外周接触部抽出結果テーブルを示す。「読取対象のＩＤ」の欄には、第１及び第２の輪郭画像に対応する読取対象のＩＤが示されている。「外周接触部」の欄には、外周接触部の抽出の有無が示されている。図４（ａ）に示すように、外周接触部検出手段１０２は、ＩＤがＡ０２，Ａ０３，Ｂ０１，Ｂ０２の読取対象２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅで外周接触部を抽出し、一方、ＩＤがＡ０１の読取対象２０Ａでは外周接触部を抽出しない。

次に、外周接触部検出手段１０２が外周接触部を抽出すれば（Ｓ４：Ｙｅｓ）、外周接触部が抽出された読取対象２０Ｂ，２０Ｃを含む第１の輪郭画像３１Ｂ，３１Ｃ、及び外周接触部が抽出された読取対象２０Ｄ，２０Ｅを含む第２の輪郭画像４１Ｄ，４１Ｅについて、ＯＣＲ処理を行う（Ｓ５）。そして、認識手段１０４は、読取対象２０Ｂ，２０Ｃ、２０Ｄ，２０Ｅに含まれる最端の文字列（不図示）をそれぞれ抽出する（Ｓ６）。

（４）合成対象の決定
次に、認識手段１０４は、外周接触部が検出された第１の輪郭画像３１Ｂ，３１Ｃ、及び外周接触部が検出された第２の輪郭画像４１Ｄ，４１Ｅ間において、互いの最端の文字列を含む一対の輪郭画像があるか否かを判断する（Ｓ７）。

互いの最端の文字列を含む一対の輪郭画像があれば（Ｓ７：Ｙｅｓ）、認識手段１０４は当該一対の輪郭画像を合成対象に決定する（Ｓ８）。

次に、表示手段１０８は、これら合成対象を操作表示部１３に表示する。

次に、算出手段１０５は、合成対象に決定された一対の輪郭画像間の重複範囲の合成度を算出する（Ｓ９）。次に、算出手段１０５は、算出した合成度を結果情報格納部１２２に格納する。

図４（ｂ）は、合成度の算出結果の一例を示す合成度結果テーブルを示す。図４（ｂ）に示すように、ＩＤが「Ａ０２」の読取対象２０Ｂに対応する第１の輪郭画像３１ＢとＩＤが「Ｂ０１」の読取対象２０Ｄに対応する第２の輪郭画像４１Ｄとの間（以下、単に「Ａ０２−Ｂ０１」ともいう。以下、同様）で算出された合成度は、９３％、Ａ０３−Ｂ０１で算出された合成度は、８２％、Ａ０２−Ｂ０２で算出された合成度は、７８％、Ａ０３−Ｂ０２で算出された合成度は、９５％である。

合成対象となる一対の輪郭画像が複数検出されれば、算出手段１０５は、個々の合成度を組み合わせて、新たな合成度（以下、「組み合わせ合成度」ともいう。）を算出してもよい。図４（ｃ）は、上記の合成度を組み合わせた結果の一例を示す合成度の組み合わせ結果テーブルを示す。「読取対象の組み合わせ」の欄には、合成対象となる一対の輪郭画像に対応する読取対象のＩＤが示されている。「合成度」の欄には、算出された組み合わせ合成度が示されている。算出手段１０５は、例えば、上記の合成度の結果の掛け算により組み合わせ合成度を算出してもよい。図４（ｃ）に示すように、Ａ０２−Ｂ０１及びＡ０３−Ｂ０２の組み合わせでは、合成度は、９３％ｘ９５％＝８８％、Ａ０３−Ｂ０１及びＡ０２−Ｂ０２の組み合わせでは、合成度は、８２％ｘ７８％＝６４％である。

（５）合成画像の生成
次に、算出手段１０５は、上記の合成度（組み合わせ合成度が算出されている場合は、組み合わせ合成度）が予め定められた閾値（例えば、９０％）以上か否かを判断する（Ｓ１０）ことにより、合成対象を合成するか否かを判断する。

合成度が予め定められた閾値以上であれば（Ｓ１０：Ｙｅｓ）、生成手段１０６は、合成対象を合成する（Ｓ１１）。上述の例では、生成手段１０６は、第１の輪郭画像３１Ｂ，３１Ｃと第２の輪郭画像４１Ｄ，４１Ｅとを合成して合成画像を生成する。

（６）結果の出力
出力手段１０７は、合成画像を出力する（Ｓ１２）。具体的には、出力手段１０７は、合成画像を外部装置３に出力するとともに、画像データ格納部１２１に格納する。表示手段１０８は、合成画像を操作表示部１３に表示する。

表示手段１０８は、各種のエラーメッセージを操作表示部１３に表示する（Ｓ１３）。具体的には、互いの最端の文字列を含む輪郭画像の組がなければ（Ｓ７：Ｎｏ）、合成対象が無いことを表示する。また、算出手段１０５が算出した合成度が予め定められた閾値未満であれば（Ｓ１０：Ｎｏ）、その旨を表示する。また、合成度が予め定められた閾値以上であったとしても、生成手段１０６が上述したレイアウト解析や特徴量に基づく合成ができなかった場合、その旨を表示する。

図２（ａ）、（ｂ）に示すように、読取範囲から一部が外れて読み取られた第１の輪郭画像３１、及び当該一部が含まれるように読み取られた第２の輪郭画像４１については、図２（ａ）に示す読取対象２０に対応する合成画像を生成することができる。

［第２の実施の形態］
第２の実施の形態について図６を参照して説明する。図６は、本発明の第２の実施の形態に係る画像処理装置の動作の一例を示すフローチャートである。第２の実施の形態では、算出手段１０５が２つの輪郭画像間で記載内容が整合するか否かの判断を行う点で、第１の実施の形態と相違する。以下、第１の実施の形態と異なる点を中心に説明する。なお、第２の実施の形態では、読取対象２０をレシートとして説明する。また、画像処理装置１は、読取対象２０がレシートであることは、例えば、操作者により入力操作により認識する。

算出手段１０５は、第１の実施の形態で説明した機能に加えて、異なる読取画像に含まれる２つの輪郭画像間において重複範囲の記載内容を抽出する。ここで、記載内容には、例えば、図２（ｂ）、（ｃ）に示すような、単価を示す単価情報３２３，４２３、単価を合計した金額、すなわち小計を示す小計情報３２４，４２４、消費税等の税情報３２５，４２５（内税で表示されたものでも外税で表示されたものでもよい）や、図示はないが、購入した商品の個数を示す個数情報等が含まれる。商品は、記載内容中の項目の一例である。

算出手段１０５は、抽出した記載内容に基づいて、第１の輪郭画像３１に含まれる読取対象２０における支払いの合計の金額（以下、「総計金額」ともいう。）を算出するとともに、第２の輪郭画像４１に含まれる読取対象２０における総計金額を算出する。

生成手段１０６は、認識手段１０４により得られた文字情報に基づいて、読取対象に対応する合成画像を生成する。具体的には、生成手段１０６は、算出手段１０５が算出した総計金額が一致する場合に、第１の輪郭画像３１と第２の輪郭画像４１と合成して合成画像を生成する。算出した総計金額が一致することは、記載内容が整合することの一例である。

（第２の実施の形態の動作）
第２の実施の形態に係る画像処理装置１の動作の一例について、図６に示すフローチャートに従って説明する。ステップＳ２１からＳ２８までは、第１の実施の形態におけるステップＳ１からＳ８までと同様に動作する。すなわち、画像読取部１４により読取対象２０が読み取られ（Ｓ２１）、読取対象２０の輪郭画像が切り出され（Ｓ２２）、外周接触部が抽出される（Ｓ２３）。外周接触部が抽出されれば（Ｓ２４：Ｙｅｓ）、ＯＣＲ処理が施され（Ｓ２５）、最端の文字列が抽出される（Ｓ２６）。第１の輪郭画像及び第２の輪郭画像に、互いの最端の文字列が含まれれば（Ｓ２７：Ｙｅｓ）、第１の輪郭画像３１及び第２の輪郭画像４１は合成対象として決定される（Ｓ２８）。

次に、算出手段１０５は、第１の範囲３２及び第２の範囲４２から、それぞれ金額、個数等の情報を抽出する（Ｓ２９）。次に、算出手段１０５は、抽出した情報に基づいて総計金額を算出する。

次に、算出手段１０５は、算出した総計金額が第１の輪郭画像３１及び第２の輪郭画像４１間で一致するか否かを判断する（Ｓ３０）。

次に、総計金額が第１の輪郭画像３１及び第２の輪郭画像４１間で一致すれば（Ｓ３０：Ｙｅｓ）、以下、ステップＳ３１及びＳ３２で、第１の実施の形態におけるステップＳ１１及びＳ１２と同様に動作する。すなわち、合成対象が合成され（Ｓ３１）、合成画像が出力される（Ｓ３２）。

表示手段１０８は、各種のエラーメッセージを操作表示部１３に表示する（Ｓ３３）。第１の実施の形態で説明した内容に加えて、算出手段１０５が算出した総計金額が第１の輪郭画像３１及び第２の輪郭画像４１間で一致しなければ（Ｓ３０：Ｎｏ）、その旨を操作表示部１３に表示する。

＜変形例＞
上述の第２の実施の形態では、生成手段１０６は、第１の輪郭画像３１及び第２の輪郭画像４１間で総計金額一致する場合に合成対象を合成したが、これに限定されるものではなく、例えば、第１の輪郭画像３１及び第２の輪郭画像４１間で、商品の個数の合計数が一致した場合に合成対象を合成してもよい。商品の個数の合計数は、総計数の一例である。

以上、本発明の実施の形態を説明したが、本発明の実施の形態は上記実施の形態に限定されるものではなく、本発明の要旨を変更しない範囲内で種々の変形、実施が可能である。

制御部１０の各手段は、それぞれ一部又は全部を再構成可能回路（ＦＰＧＡ：Field Programmable Gate Array）、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）等のハードウエア回路によって構成してもよい。

また、本発明の要旨を変更しない範囲内で、上記実施の形態の構成要素の一部を省くことや変更することが可能である。また、本発明の要旨を変更しない範囲内で、上記実施の形態のフローにおいて、ステップの追加、削除、変更、入替え等が可能である。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録して提供することができ、クラウドサーバ等の外部サーバに格納しておき、ネットワークを介して利用することもできる。

１…画像処理装置、２…端末装置、３…外部装置、４…ネットワーク、
１０…制御部、１２…記憶部、１３…操作表示部、
１４…画像読取部、１５…通信部、２０…読取対象、
２０，２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅ…読取対象、２１…一部、
３０…第１の読取画像、３１，３１Ａ，３１Ｂ，３１Ｃ…第１の輪郭画像、
３２…第１の範囲、３３…第２の外周接触部、４０…第２の読取画像、
４１，４１Ｄ，４１Ｅ…第２の輪郭画像、４２…第２の範囲、
４３…第２の外周接触部、５０…読取範囲、１００…受付手段、
１０１…輪郭検出手段、１０２…外周接触部検出手段、１０３…回転処理手段、
１０４…認識手段、１０５…算出手段、１０６…生成手段、１０７…出力手段、
１０８…表示手段、１２０…プログラム格納部、１２１…画像データ格納部、
１２２…結果情報格納部、３２０…第１の文字情報、３２１…第１の最端の文字列、
３２１Ａ，４２１Ａ…文字列、３２３，４２３…単価情報、
３２４，４２４…小計情報、３２５，４２５…税情報、４２０…第２の文字情報、
４２１…第２の最端の文字列

Claims (2)

1. 読取対象に対して、読取範囲から一部が外れて読み取られた第１の画像と、前記一部が含まれるように読み取られた第２の画像を取得する取得手段と、
   前記第１及び第２の画像に対して文字認識処理を行う認識手段と、
   前記文字認識処理により得られた文字情報に基づいて、前記第１及び前記第２の画像から前記読取対象に対応する合成画像を生成する生成手段と、を備え、
   前記生成手段は、前記第１及び前記第２の画像の記載内容が整合した場合として、前記第１及び前記第２の画像間で前記記載内容中の項目を合計した合計項目数が整合した場合に、前記第１及び前記第２の画像から前記合成画像を生成する画像処理装置。
2. コンピュータを、
   読取対象に対して、読取範囲から一部が外れて読み取られた第１の画像と、前記一部が含まれるように読み取られた第２の画像を取得する取得手段と、
   前記第１及び前記第２の画像に対して文字認識処理を行う認識手段と、
   前記文字認識処理により得られた文字情報に基づいて、前記第１及び前記第２の画像から前記読取対象に対応する合成画像を生成する生成手段として、機能させるためのプログラムであって、
   前記生成手段は、前記第１及び前記第２の画像の記載内容が整合した場合として、前記第１及び前記第２の画像間で前記記載内容中の項目を合計した合計項目数が整合した場合に、前記第１及び前記第２の画像から前記合成画像を生成するプログラム。

Images