JP7081179B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理プログラムに関する。

従来、領収書が撮像された領収書画像をディスプレイに表示させ、領収書画像に含まれる店名や品目別金額や合計金額等の明細を確認可能とする画像処理プログラムが知られている（特許文献１参照）。

特開２０１６‐１２６３５６号公報

しかしながら、領収書画像がディスプレイに表示されたとき、領収書の上端側や下端側には、企業の広告や各種アンケート等、明細とは無関係の事項が掲載されていることがある。そのため、領収書画像の中で明細が相対的に小さく表示されたり、明細が画面内に入らなかったりして、ユーザーは明細を確認しづらい場合があった。

画像処理装置は、領収書の読み取りにより生成された領収書画像を取得する制御部と、前記領収書画像を表示する表示部と、を備え、前記制御部は、文字認識により前記領収書画像に含まれている文字列を認識し、前記領収書画像に含まれている文字列に基づいて前記領収書画像内の明細領域を特定し、前記領収書画像のうち前記領収書画像の上端を省略し前記明細領域の一部または全部を含む領域を前記表示部に表示させる。

画像処理装置の構成を簡易的に示す図。 第１実施形態にかかる処理を示すフローチャート。 領収書の一例を示す図。 設定画面の一例を示す図。 図５Ａは領収書表示欄における領収書画像の表示態様の一例を示す図、図５Ｂは領収書表示欄における領収書画像の表示態様の別の例を示す図。 図６Ａは領収書画像の従来の表示態様の一例を示す図、図６Ｂは領収書画像の従来の表示態様の別の例を示す図。 第２実施形態にかかる処理を示すフローチャート。 第３実施形態にかかる設定画面を例示する図。 第４および第５実施形態にかかる設定画面を例示する図。

以下、各図を参照しながら本発明の実施形態を説明する。なお各図は、本実施形態を説明するための例示に過ぎない。

１．装置構成の概略的説明：
図１は、本実施形態にかかる画像処理装置１０の構成を簡易的に示している。画像処理装置１０は、原稿を光学的に読み取って読取結果としての所定のフォーマットの画像データを生成し当該画像データを外部へ出力する読取装置（スキャナー３０）と、通信可能に接続する。スキャナー３０は、公知の製品を含めて画像読取装置として機能する装置であればよい。

画像処理装置１０は、例えば、パーソナルコンピューター（ＰＣ）、スマートフォン、タブレット型端末、携帯電話機、或いはそれらと同程度の処理能力を有する情報処理装置によって実現される。また、本実施形態にかかる制御部１１および表示部１２を実現可能なハードウェアを画像処理装置と呼んでもよい。

画像処理装置１０は、制御部１１、表示部１２、操作受付部１３、通信インターフェイス（ＩＦ）１４、記憶部１５等を備える。制御部１１は、プロセッサー（例えばＣＰＵ１１ａ。ＡＳＩＣやＡＳＩＣとＣＰＵ等の協働であってもよい。）、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ等を有する１つ又は複数のＩＣや、その他のメモリー等を適宜含んで構成される。記憶部１５は、例えば、ハードディスクドライブ（ＨＤＤ）やフラッシュメモリー等の不揮発性の記憶装置である。記憶部１５は、制御部１１の一部であってもよい。

制御部１１では、プロセッサー（ＣＰＵ１１ａ）が、ＲＯＭ１１ｂや記憶部１５等に保存されたプログラムに従った演算処理を、ＲＡＭ１１ｃ等をワークエリアとして用いて実行することにより、画像処理装置１０を制御する。制御部１１はプログラムの一つとしてプログラムＡを搭載しており、プログラムＡに従って、データ取得部２０、明細領域特定部２１、表示制御部２２等といった各機能を実現する。プログラムＡは、領収書の読み取りにより生成された領収書画像に対する処理をコンピューターに実行させる画像処理プログラムである。また、プログラムＡは、領収書画像の保存や管理を実行するためのアプリケーションである。

通信ＩＦ１４は、公知の通信規格を含む所定の通信プロトコルに準拠して有線あるいは無線で外部と通信を実行するＩＦである。図１の例では、画像処理装置１０は、通信ＩＦ１４を介してスキャナー３０と接続している。画像処理部１０は、通信ＩＦ１４あるいは不図示の別の通信ＩＦを介して、外部のネットワークに接続することも可能であり、制御部１１は、例えば、前記ネットワーク（ローカルエリアネットワークやインターネット通信網等）を通じて、図示しない外部のサーバーに、スキャナー３０から取得した画像データをアップロードすることも可能である。

表示部１２は、視覚的情報を表示するための手段であり、例えば、液晶ディスプレイ（ＬＣＤ）や、有機ＥＬディスプレイ等により構成される。表示部１２は、ディスプレイと、ディスプレイを駆動するための駆動回路とを含む構成であってもよい。操作受付部１３は、ユーザーによる操作を受け付けるための手段であり、例えば、物理的なボタンや、タッチパネルや、マウスや、キーボード等によって実現される。むろん、タッチパネルは、表示部１２の一機能として実現されるとしてもよい。また、表示部１２および操作受付部１３を含めて操作パネル等と呼ぶことができる。

操作受付部１３、記憶部１５等の図１に示した一部の構成は、画像処理装置１０に外付けされた周辺機器であってもよい。また、図１に示した画像処理装置１０とスキャナー３０とを含んだ構成を１つのシステムとして捉えることも可能である。あるいは、画像処理装置１０とスキャナー３０とは、実態としてそれら全体が１つの装置に含まれていてもよい。画像処理装置１０とスキャナー３０とが１つの装置に含まれている場合、そのような１つの装置を読取装置等と呼ぶことができる。また、画像処理装置１０とスキャナー３０とを含む構成は、プリンター（コピー機）やファクシミリ等としての複数の機能を併せ持った複合機であってもよい。

２．領収書画像の表示処理：
図２は、制御部１１がプログラムＡに従って実行する処理をフローチャートにより示している。図２のフローチャートは、領収書画像を表示する処理を含んでいる。図２のフローチャートに従って説明する実施形態を第１実施形態とも呼ぶ。

スキャナー３０は、ユーザーが任意にセットした原稿を読み取ることにより画像データを生成する。本実施形態では、ユーザーがスキャナー３０に読み取らせる原稿は、ユーザーが買い物をした店舗により発行された領収書４０であるとする。スキャナー３０は、領収書４０の読取結果としての画像データを、画像処理装置１０へ送信する。本実施形態では、領収書４０の読取結果としての画像データを、領収書画像と呼ぶ。制御部１１は、通信ＩＦ１４を介してスキャナー３０へ原稿の読取開始を指示し、スキャナー３０は、制御部１１からの読取開始の指示に従って原稿（領収書４０）の読み取りを開始するとしてもよい。

図３は、ユーザーがスキャナー３０に読み取らせた領収書４０の例を示している。領収書４０には、領収書４０の発行元である店名、発行の日付、店舗の連絡先、ユーザーが購入した物やサービス毎の金額（品目別金額）、ユーザーが支払った合計金額等が記載されている。その他にも、領収書４０には、広告や各種アンケート、ユーザーが保有するポイント数等の様々な情報が記載されることがある。

データ取得部２０は、上述のようにスキャナー３０から送信された領収書画像を、通信ＩＦ１４を介して取得する（ステップＳ１００）。なお、データ取得部２０は、スキャナー３０から直接に領収書画像を取得（受信）するのではなく、スキャナー３０から領収書画像が転送された転送先としての記憶部（例えば、記憶部１５）から領収書画像を取得するとしてもよい。

明細領域特定部２１は、ステップＳ１００でデータ取得部２０により取得された領収書画像を対象として、文字認識（ＯＣＲ：Optical Character Recognition/Reader）を実行することにより、領収書画像に含まれている文字列を認識する（ステップＳ１１０）。この場合、明細領域特定部２１は、領収書画像に含まれている文字列と認識可能な対象を文字データ（テキストデータ）に変換する。文字認識処理は、公知の技術であるため説明は省略する。

ステップＳ１２０では、明細領域特定部２１は、ステップＳ１１０において認識した領収書画像に含まれている文字列（以下、画像内文字列）に基づいて、領収書画像内の明細領域を特定する。明細領域とは、店名や品目別金額や合計金額等といった所定の項目毎の文字列が記載された領域である。明細領域特定部２１は、このような明細領域に含まれる項目別の文字列を画像内文字列から抽出し、領収書画像内の、前記抽出した文字列が記載されている領域を明細領域として特定する。

より具体的には、明細領域特定部２１は、画像内文字列の中から、所定の第１項目に該当する第１文字列と所定の第２項目に該当する第２文字列とを抽出し、領収書画像内の第１文字列から第２文字列までの領域を明細領域に特定する。領収書においては、多くの場合、店名と合計金額との間に、品目別金額が記載されている。そこで、一例として、第１項目は店名であり、第２項目は合計金額であるとする。

明細領域特定部２１は、例えば、記憶部１５等に予め記憶された店名リストを参照し、画像内文字列の中から、店名リストに含まれている何れか一つの店名と一致したり店名リストに含まれている何れか一つの店名を含んだりしている文字列を、第１項目（店名）に該当する第１文字列として抽出する。店名リストには、例えば、過去にプログラムＡの機能により領収書画像とともに保存された店名が記録されている。また、明細領域特定部２１は、画像内文字列の中から、例えば「合計」や「total」や「売上額」等といった特定のワードと、特定のワードに続いて記載されている金額を示す数字と、を含んだ文字列を、第２項目（合計金額）に該当する第２文字列として抽出する。明細領域特定部２１は、画像内文字列のうち、物やサービスの名称と金額を示す数字との組み合わせが領収書画像の上下方向に並列する範囲を、品目別金額を表す文字列として抽出することもできる。そして、明細領域特定部２１は、第１文字列を明細の先頭行とし、第２文字列を明細の最終行とし、領収書画像内における明細の先頭行から最終行までの領域を明細領域に特定する。図３を参照すると、領収書４０内の、店名「XYZ Mart」と記載された行から「合計 ＼5,550」と記載された行までの範囲４１が、領収書画像内の明細領域に対応する。

ステップＳ１３０では、表示制御部２２は、領収書画像のうち領収書画像の上端を省略しステップＳ１２０で特定された明細領域の一部または全部を含む領域を、表示部１２に表示させる。ステップＳ１３０で表示部１２に表示させる領収書画像の領域を、便宜上、「対象領域」とも呼ぶ。

図４は、表示制御部２２がステップＳ１３０で表示部１２に表示させる設定画面５０の一例を示している。設定画面５０は、領収書画像を表示するための領収書表示欄５１、明細領域に含まれる複数の項目の文字列を表示するための明細表示欄５２、保存用ボタン（ＯＫボタン）５５等を含んでいる。領収書表示欄５１には、ステップＳ１００で取得された領収書画像ＩＭが表示される。ユーザーは、スキャナー３０に読み取らせた領収書４０を、領収書表示欄５１を通じて視認することができる。ただしステップＳ１３０では、領収書表示欄５１には、領収書画像ＩＭのうちの対象領域ＩＭ３が表示される。

明細表示欄５２には、領収書の発行元（店名や事業者名等）を設定するための発行元設定欄５３や、領収書の発行の日付を設定するための発行日設定欄５４や、その他、代金の支払方法、税金の額、代金の合計金額、等をそれぞれ設定するための各設定欄が含まれている。ユーザーは、操作受付部１３等を操作して、明細表示欄５２の各設定欄に対して任意に入力や編集を行うことができる。また、制御部１１は、ステップＳ１１０において認識した画像内文字列から店名や日付や合計金額等の各種情報（文字列）を抽出し、抽出した各文字列を明細表示欄５２の対応する各設定欄に自動的に表示するとしてもよい。

このような設定画面５０が表示部１２に表示されることが、対象領域ＩＭ３が表示部１２に表示されることに該当する。ユーザーの視点に立てば、設定画面５０が表示部１２に表示された時点で、領収書表示欄５１には、領収書画像ＩＭのうちの対象領域ＩＭ３が表示されている。

図５Ａおよび図５Ｂはそれぞれ、表示制御部２２がステップＳ１３０で表示部１２に設定画面５０を表示させた時点での領収書表示欄５１を抜き出して例示している。表示制御部２２は、図５Ａ，５Ｂの表示態様のいずれを採用してもよい。
図５Ａは、上下方向を長辺とする領収書画像ＩＭの短辺（横方向を向く辺）が領収書表示欄５１の短辺（横方向を向く辺）に一致するサイズで領収書画像ＩＭの一部を領収書表示欄５１に表示した例である。
一方、図５Ｂは、領収書画像ＩＭの上下方向における明細領域ＩＭ１の上端Ｅ１から下端Ｅ２までの範囲が領収書表示欄５１の長辺（上下方向を向く辺）に一致するサイズで領収書画像ＩＭの一部を領収書表示欄５１に表示した例である。
図５Ａや、後述の図６Ａ，６Ｂでは、説明の便宜上、明細領域ＩＭ１の上端Ｅ１や下端Ｅ２の位置を２点鎖線で示しているが、このような上端Ｅ１、上端Ｅ２を示す２点鎖線が実際に領収書４０に存在している訳ではない。

図５Ａにおいては、領収書表示欄５１に表示されている画像のうち上端Ｅ１よりも上側の画像は、領収書画像ＩＭのうちステップＳ１２０で特定された明細領域ＩＭ１に該当しない非明細領域ＩＭ２の一部である。図５Ａにおいて、領収書表示欄５１に表示されている画像のうち非明細領域ＩＭ２以外の画像は、ステップＳ１２０で特定された明細領域ＩＭ１の一部に該当する。図５Ａにおいては、領収書表示欄５１に表示されている非明細領域ＩＭ２は、明細領域ＩＭ１の上端Ｅ１近傍のごく一部であり、領収書画像ＩＭの上端ＥＵを含まない画像である。

従って、図５Ａに示す領収書表示欄５１内の画像は、領収書画像ＩＭのうち上端ＥＵを省略しステップＳ１２０で特定された明細領域ＩＭ１の一部または全部を含む領域（対象領域ＩＭ３）、の一例に該当する。ちなみに、図５Ａの領収書表示欄５１内の画像は、図４の領収書表示欄５１内の画像と同じものである。図５Ａの領収書表示欄５１内の画像のうち非明細領域ＩＭ２をグレー色で表現している理由については後述する。

表示制御部２２はステップＳ１３０において、図５Ａのように、領収書画像ＩＭの短辺が領収書表示欄５１の短辺に一致するサイズで領収書画像ＩＭの一部を領収書表示欄５１に表示させる場合、明細領域ＩＭ１の上端Ｅ１の位置を領収書表示欄５１の上端に一致させて、上端Ｅ１よりも上側の非明細領域ＩＭ２を領収書表示欄５１に表示させないようにしてもよい。このように、明細領域ＩＭ１の上端Ｅ１を領収書表示欄５１の上端に一致させた状態の領収書表示欄５１内の画像も、領収書画像ＩＭのうち上端ＥＵを省略しステップＳ１２０で特定された明細領域ＩＭ１の一部または全部を含む領域（対象領域ＩＭ３）、に該当する。

図５Ｂにおいては、明細領域ＩＭ１の上端Ｅ１が領収書表示欄５１の上端に一致し、明細領域ＩＭ１の下端Ｅ２が領収書表示欄５１の下端に一致しており、その結果、領収書表示欄５１には明細領域ＩＭ１の全体が表示されている。従って、図５Ｂに示す領収書表示欄５１内の画像も、領収書画像ＩＭのうち上端ＥＵを省略しステップＳ１２０で特定された明細領域ＩＭ１の一部または全部を含む領域（対象領域ＩＭ３）、に該当する。

つまり対象領域ＩＭ３は、領収書画像ＩＭの上端ＥＵを含まず且つ明細領域ＩＭ１の一部または全部を含むという条件を満たす、領収書画像ＩＭの一部領域であり、明細領域ＩＭ１全体であったり、明細領域ＩＭ１の一部であったり、明細領域ＩＭ１全体および非明細領域ＩＭ２の一部であったり、明細領域ＩＭ１の一部および非明細領域ＩＭ２の一部であったりする。また、本実施形態の一態様として、対象領域ＩＭ３を、明細領域ＩＭ１の一部または全部を含む領域であって領収書画像ＩＭの上端ＥＵを含まず且つ明細領域ＩＭ１の上端Ｅ１を含む領域、と定義してもよい。

図６Ａおよび図６Ｂは、表示部１２における領収書画像ＩＭの従来の表示態様をそれぞれ例示している。従来、領収書画像に対する処理を行うためのアプリケーションは、領収書画像ＩＭの短辺が領収書表示欄５１の短辺に一致するサイズで領収書画像ＩＭの一部を領収書表示欄５１に表示させる場合、図６Ａのように、領収書画像ＩＭの上端ＥＵの位置を領収書表示欄５１の上端に一致させて表示していた。つまり、領収書画像ＩＭの上端ＥＵが表示されていた。そのため、領収書表示欄５１の大部分あるいは全てを明細領域ＩＭ１の上側の非明細領域ＩＭ２が占めることとなり、ユーザーは、画面上で明細領域ＩＭ１を確認するには領収書表示欄５１内の画像を下方向へスクロールする操作をして明細領域ＩＭ１を表示させる必要があった。

また従来、領収書画像に対する処理を行うためのアプリケーションは、図６Ｂのように、領収書画像ＩＭの上端ＥＵの位置を領収書表示欄５１の上端に一致させ、かつ領収書画像ＩＭの下端の位置を領収書表示欄５１の下端に一致させて、領収書画像ＩＭの全体を領収書表示欄５１に表示させていた。このような場合、領収書画像ＩＭの一部である明細領域（上端Ｅ１から下端Ｅ２までの領域）は、領収書表示欄５１の中で相対的に小さく見え辛い状態であり、ユーザーは、画面上で明細領域ＩＭ１を確認するには領収書表示欄５１内の画像の表示倍率を上げる操作をする必要があった。

このような従来例（図６Ａ，６Ｂ）に対して、本実施形態では、図４、図５Ａ，５Ｂの例のように、ステップＳ１３０で設定画面５０が表示部１２に表示された時点で、領収書表示欄５１には明細領域ＩＭ１の大部分あるいは全てが表示されている。また、図６Ｂに示した領収書画像ＩＭの全体を表示させる態様と比較したとき、本実施形態では、明細領域ＩＭ１は拡大表示されている。そのためユーザーは、煩雑な操作をすることなく、領収書表示欄５１を通じて領収書画像ＩＭの明細領域ＩＭ１を容易に視認することができる。

上述のように設定画面５０を表示部１２に表示させた状態で、表示制御部２２は、操作受付部１３を介してユーザーによる任意の操作を受け付けた場合には、受け付けた操作に応じた表示制御を行う（ステップＳ１４０）。例えば、表示制御部２２は、明細表示欄５２の各設定欄に対する文字入力を受け付けた場合に、受け付けた文字入力に応じて各設定欄に文字列を表示する。また、表示制御部２２は、領収書表示欄５１とともに表示したスクロールバーＳＢ（図５参照）への操作を受け付けたとき、スクロールバーＳＢの操作に応じて領収書表示欄５１内の表示をスクロールする。

制御部１１は、設定画面５０に対する設定入力を終了させる所定の操作、例えばＯＫボタン５５の操作をユーザーから受け付けた場合に、ステップＳ１００で取得した領収書画像をファイルとして記憶部１５等に保存し（ステップＳ１５０）、設定画面５０を閉じて、図２のフローチャートを終了する。制御部１１は、領収書画像をファイルとして保存する際、明細表示欄５２の各設定欄における現在の設定内容（表示内容）と共に保存する。ユーザーは、領収書画像とともに保存した設定内容については、再び設定画面５０を開くことで随時編集することが可能である。

このように本実施形態によれば、画像処理装置１０は、領収書４０の読み取りにより生成された領収書画像を取得し（ステップＳ１００）、領収書画像を表示部１２に表示させる制御部１１を備える。制御部１１は、プログラムＡに従うことにより、文字認識により領収書画像に含まれている文字列（画像内文字列）を認識し（ステップＳ１１０）、画像内文字列に基づいて領収書画像内の明細領域を特定し（ステップＳ１２０）、領収書画像のうち領収書画像の上端を省略し明細領域の一部または全部を含む領域（対象領域）を表示部１２に表示させる（ステップＳ１３０）。この結果、領収書画像内でユーザーにとって重要な領域である明細領域が視認し易い状態で表示部１２に表示され、ユーザーは明細領域を容易に確認することが可能となる。

また、本実施形態によれば、制御部１１は、画像内文字列の中から所定の第１項目（例えば、店名）に該当する第１文字列と所定の第２項目（例えば、合計金額）に該当する第２文字列とを抽出し、領収書画像内の第１文字列から第２文字列までの領域を明細領域に特定する（ステップＳ１２０）。当該構成によれば、制御部１１は、明細領域に含まれる所定の複数の項目の文字列を抽出することにより、容易に明細領域を特定することができる。

また、本実施形態によれば、制御部１１は、領収書画像を表示するための領収書表示欄５１と、明細領域に含まれる複数の項目の文字列を表示するための明細表示欄５２とを含んだ設定画面５０を表示部１２に表示させる。当該構成によれば、ユーザーは、領収書画像内の明細領域の確認と、領収書４０の発行元や発行日等の各項目の設定とを一画面で行うことができる。
ただし、図４や後述する図８，９は、領収書画像の一部である対象領域を表示する画面の例に過ぎない。対象領域を表示する画面のレイアウトやデザインや役割は様々であり、領収書表示欄５１と明細表示欄５２とは互いに異なる画面に表示されるとしてもよい。

これまでの説明から明らかなように、画像処理プログラムとしてのプログラムＡは、領収書画像を表示部１２に表示させる制御機能をプロセッサーに実行させる。また、本実施形態は、画像処理プログラムによる処理に相当する方法や、画像処理プログラムを記憶したコンピューター読み取り可能な記憶媒体も開示していると言える。

本実施形態は、上述した態様だけでなく後述するような種々の態様を含む。各実施形態を組み合わせた構成も本明細書による開示範囲に含まれる。以下では、既に説明した事項と共通する事項については説明を適宜省略する。

３．第２実施形態：
制御部１１は、領収書画像の全体を表示部１２に表示させる全体表示と、対象領域を表示部１２に表示させる一部表示とを実行可能であり、外部からの指示に従って全体表示又は一部表示を実行する、としてもよい。

図７は、制御部１１がプログラムＡに従って実行する第２実施形態にかかる処理をフローチャートにより示している。図７のフローチャートを実行する前提として、制御部１１は、ユーザーからの指示に従って、一部表示モードと全体表示モードとのいずれか一方を有効化している。一部表示モードを有効化した状態では全体表示モードは無効であり、逆に、全体表示モードを有効化した状態では一部表示モードは無効である。本実施形態では、制御部１１は、デフォルトの設定では一部表示モードを有効化している。従って、ユーザーが全体表示モードを有効化する指示をしない限り、一部表示モードが有効な状態である。

図７のフローチャートは、図２のフローチャートと比較したとき、ステップＳ１１５，Ｓ１３５を含んでいる点で異なる。ステップＳ１１０の後、制御部１１は、現在、一部表示モードが有効であるか否かを判定し（ステップＳ１１５）、一部表示モードが有効であればステップＳ１１５からステップＳ１２０へ進む。一方、制御部１１は、一部表示モードが無効、つまり全体表示モードが有効であれば、ステップＳ１１５からステップＳ１３５へ進む。

ステップＳ１３５では、表示制御部２２は、ステップＳ１００で取得された領収書画像の全体を表示部１２に表示させる。つまり、表示制御部２２は、図６Ｂに例示したように、設定画面５０の領収書表示欄５１に、領収書画像ＩＭの全体を表示させる。このような第２実施形態によれば、ユーザーの自由な選択に応じて、制御部１１は、領収書画像の全体を表示部１２に表示させたり、対象領域を表示部１２に表示させたりすることができる。
なお、後述する第３～第５実施形態は、第２実施形態と組み合わせた場合は、全て一部表示モードが有効化されている状態での実施形態である。

４．第３実施形態：
制御部１１は、スクロールバーＳＢを表示部１２に表示させる。そして、制御部１１は、スクロールバーＳＢの明細領域に対応する範囲と、スクロールバーＳＢの領収書画像内の明細領域以外の領域（非明細領域）に対応する範囲とを異なる態様で表示させる、としてもよい。

図８は、第３実施形態においてステップＳ１３０で表示部１２に表示される設定画面５０を例示している。設定画面５０内において、領収書表示欄５１には併せてスクロールバーＳＢが表示されている。図８に示すスクロールバーＳＢは、領収書表示欄５１内の画像を上下方向にスクロールさせるためのＧＵＩ（Graphical User Interface）である。ユーザーは、操作受付部１３を操作してスクロールバーＳＢのエリアの中でノブＳＢＮを上下に動かすことで、領収書表示欄５１内の画像を上下方向にスクロールさせる。ノブＳＢＮが移動可能なスクロールバーＳＢのエリアの長さに対するノブＳＢＮの長さの比率は、領収書画像の上下方向の長さに対する領収書表示欄５１に表示される画像の上下方向の長さの比率を表している。

表示制御部２２は、例えば、ノブＳＢＮが移動可能なスクロールバーＳＢのエリア内のうち非明細領域に対応する範囲ＮＨを、明細領域に対応する範囲よりも暗い色で表示する。言い換えると、表示制御部２２は、ノブＳＢＮが移動可能なスクロールバーＳＢのエリア内のうち明細領域に対応する範囲を、非明細領域に対応する範囲ＮＨよりも明るい色で表示する。このような構成とすれば、ユーザーはノブＳＢＮをスクロールバーＳＢのエリア内のどの位置へ移動させれば明細領域が領収書表示欄５１内に表示されるかを直感的に理解することができるため、領収書表示欄５１を通じて明細領域を確認したいユーザーの助けとなる。

５．第４実施形態：
制御部１１は、明細領域に含まれる複数の項目のうち予め選択されていない項目に該当する文字列を省略して生成した領域を、表示部１２に表示させるとしてもよい。明細領域に含まれる複数の項目とは、上述したように、店名や品目別金額や合計金額等である。一例として、ユーザーは、操作受付部１３を操作して、領収書表示欄５１に表示すべき明細領域内の項目として、店名および合計金額を選択し、品目別金額を選択せず、この選択結果を制御部１１に指示済みであるとする。

図９は、第４実施形態においてステップＳ１３０で表示部１２に表示される設定画面５０を例示している。設定画面５０内の領収書表示欄５１には、領収書画像ＩＭのうち領収書画像ＩＭの上端を省略し明細領域の一部（後述する再生成した明細領域）を含む対象領域ＩＭ３´が表示される。表示制御部２２は、ステップＳ１２０で明細領域を特定する過程で画像内文字列から抽出した項目毎の文字列のうち、上述のようにユーザーにより選択されている項目（店名および合計金額）の文字列を含む行を残し、ユーザーにより選択されていない項目（品目別金額）の文字列を省いて明細領域の画像を再生成する。そして、表示制御部２２は、上下の非明細領域の間に前記再生成した明細領域の画像を挟んで結合した領収書画像（再生成後の領収書画像）に基づいて、領収書表示欄５１内の表示を行う。この結果、図９に示したような対象領域ＩＭ３´が領収書表示欄５１内に表示される。図９に示した対象領域ＩＭ３´は、店名としての文字列「XYZ Mart」および合計金額の文字列だけを含んだ再生成後の明細領域、を含んだ画像である。

このような第４実施形態によれば、明細領域内の項目としてユーザーが予め選択した項目にかかる文字列だけを含んだ明細領域が領収書表示欄５１に表示されるため、ユーザーは、上下に長い領収書４０の中の自身が確認したい項目を、領収書表示欄５１を通じて効率的に確認することができる。なお、第４実施形態において、上述のような再生成した明細領域は、あくまで表示部１２を通じてユーザーに視認させるための画像である。制御部１１は、ステップＳ１５０では、前記再生成する前の明細領域、つまりユーザーが選択しなかった項目（品目別金額）の文字列を省く前の明細領域を含んだ領収書画像をファイルとして保存すればよい。

６．第５実施形態：
制御部１１は、明細領域を領収書画像内の明細領域以外の領域（非明細領域）と異なる態様で表示部１２に表示させるとしてもよい。図９では、領収書表示欄５１内の対象領域ＩＭ３´のうち非明細領域については、一例としてグレー色で表現している。また、図５Ａでは、領収書表示欄５１内の画像（つまり対象領域ＩＭ３）のうち非明細領域ＩＭ２をグレー色で表現している。このようなグレー色は、表示制御部２２が、ステップＳ１３０の処理において、非明細領域をグレーアウト表示していることを示している。むろん、非明細領域をグレーアウト表示することは一例であり、表示制御部２２は、領収書表示欄５１内で、非明細領域を白画像に置換して実質的に表示しないようにしてもよい。また、表示制御部２２は、領収書表示欄５１内で、明細領域の明るさや色を変更することで、明細領域を非明細領域より目立たせるとしてもよい。このような第５実施形態によれば、ユーザーは、表示部１２を通じて領収書画像内の明細領域を明確に認識することができる。

７．第６実施形態：
制御部１１は、領収書画像から明細領域の画像を分割し、分割した明細領域の画像を記憶部（例えば、記憶部１５）に記憶させるとしてもよい。つまり、制御部１１は、ステップＳ１５０において、ステップＳ１００で取得した領収書画像をファイルとして保存する際、領収書画像の全体を保存するのではなく、領収書画像からステップＳ１２０で特定した明細領域を分割し、明細領域の画像だけを、明細表示欄５２の各設定欄における設定内容と共に保存する。このような第６実施形態によれば、領収書画像の保存に要する記憶容量の消費を抑えることができる。

１０…画像処理装置、１１…制御部、１２…表示部、１３…操作受付部、１４…通信ＩＦ、１５…記憶部、２０…データ取得部、２１…明細領域特定部、２２…表示制御部、３０…スキャナー、４０…原稿、５０…設定画面、５１…領収書表示欄、５２…明細表示欄、Ａ…プログラム

Claims (9)

1. 領収書の読み取りにより生成された領収書画像を取得する制御部と、
   前記領収書画像を表示する表示部と、を備え、
   前記制御部は、文字認識により前記領収書画像に含まれている文字列を認識し、前記領収書画像に含まれている文字列に基づいて前記領収書画像内の明細領域を特定し、前記領収書画像のうち前記領収書画像の上端を省略し、前記明細領域に含まれる複数の項目のうち、予め選択された項目である選択項目が複数あるとき、前記選択項目に該当する文字列を前記選択項目毎に抽出し、抽出された文字列毎に生成した複数の領域を結合して再生成された１つの領域を前記表示部に表示させることを特徴とする画像処理装置。
2. 前記制御部は、前記領収書画像に含まれている文字列の中から、所定の第１項目に該当
   する第１文字列と所定の第２項目に該当する第２文字列とを抽出し、前記領収書画像内の
   前記第１文字列から前記第２文字列までの領域を前記明細領域に特定することを特徴とす
   る請求項１に記載の画像処理装置。
3. 前記第１項目は店名であり、前記第２項目は合計金額であることを特徴とする請求項２
   に記載の画像処理装置。
4. 前記制御部は、スクロールバーを前記表示部に表示させ、前記スクロールバーの前記明
   細領域に対応する範囲と、前記スクロールバーの前記領収書画像内の前記明細領域以外の
   領域に対応する範囲とを異なる態様で表示させることを特徴とする請求項１～請求項３の
   いずれかに記載の画像処理装置。
5. 前記制御部は、前記明細領域を前記領収書画像内の前記明細領域以外の領域と異なる態
   様で前記表示部に表示させることを特徴とする請求項１～請求項４のいずれかに記載の画
   像処理装置。
6. 前記制御部は、前記領収書画像の全体を前記表示部に表示させる全体表示と、前記領収
   書画像のうち前記上端を省略し前記明細領域の一部または全部を含む領域を前記表示部に
   表示させる一部表示とを実行可能であり、外部からの指示に従って前記全体表示又は前記
   一部表示を実行することを特徴とする請求項１～請求項５のいずれかに記載の画像処理装
   置。
7. 前記制御部は、前記領収書画像を表示するための領収書表示欄と、前記明細領域に含ま
   れる複数の項目の文字列を表示するための明細表示欄とを含んだ画面を前記表示部に表示
   させることを特徴とする請求項１～請求項６のいずれかに記載の画像処理装置。
8. 前記制御部は、前記領収書画像から前記明細領域の画像を分割し、前記分割した前記明
   細領域の画像を記憶部に記憶させることを特徴とする請求項１～請求項７のいずれかに記
   載の画像処理装置。
9. 領収書の読み取りにより生成された領収書画像に対する処理をコンピューターに実行さ
   せる画像処理プログラムであって、
   前記領収書画像を表示部に表示させる制御機能を実行させ、
   前記制御機能は、文字認識により前記領収書画像に含まれている文字列を認識し、前記
   領収書画像に含まれている文字列に基づいて前記領収書画像内の明細領域を特定し、前記
   領収書画像のうち前記領収書画像の上端を省略し、前記明細領域に含まれる複数の項目のうち、予め選択された項目である選択項目が複数あるとき、前記選択項目に該当する文字列を前記選択項目毎に抽出し、抽出された文字列毎に生成した複数の領域を結合して再生成された１つの領域を前記表示部に表示させることを特徴とする画像処理プログラム。

Images