JP4882585B2 - 画像処理装置、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、及び画像処理プログラムに関する。

従来より、見積書や帳票などの紙文書をスキャンし、その内容を画像解析した後、電子的な構造化文書を作成する構造化文書作成装置がある。この装置は、紙文書をスキャナによりスキャンし、様々な画像処理（ＯＣＲ（光学式文字認識）処理やレイアウト認識処理など）を行った後、所定の構造化文書規則（文書スキーマ）に則って電子的な構造化文書（ＸＭＬやＨＴＭＬなど）に変換するものである。

このような構造化文書を利用した技術として、例えば特許文献１には、構造化文書を、暗号署名を付加した別の構造化文書に変換したときに正しく変換されたか否かを通知する技術が開示されている。

また、特許文献２には、文書レイアウトを簡単に実施できるようにレイアウト単位の座標値と属性値を表示する技術が開示されている。また、特許文献３には、文書構造部品ＤＢから文書構造をいくつか選択し、選ばれた文書構造をそれぞれ関連づけて新しい文書構造部品を作成する技術が開示されている。

更に特許文献４には、文章レイアウトの論理構造を一旦統一された記述様式に変換し、統一記述様式を介して別の論理構造を持つ文書レイアウトに変換する技術が開示されている。
特開２００４−３４２０２０号公報 特開平３−８４６５９号公報 特開平３−１２１５６１号公報 特開平３−２７３４４５号公報

このような技術背景において、異なる紙文書から抽出した値が正しいか否かの判断の多くは目視で行われている。特に帳票や見積書のように各社でフォーマットは異なるものの、実質的に同一の項目を有する紙文書を大量にスキャンして上記抽出処理を行った場合には、典型的な項目（品名/単価/総額/個数/納期、など）やその値を誤ることなく抽出する必要があり、また確認作業も確実に実施する必要があるため、抽出した値の内容確認に膨大な労力が伴う。

本発明は上記問題点に鑑み、所定の項目に対応する値が記述された複数の紙文書から抽出された値が正しいか否かの判断を自動的かつ高精度に実行することのできる画像処理装置、及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために請求項１の画像処理装置は、所定の項目、及び該項目に対応する値が記述された紙文書を読み込み、該紙文書に記述された前記項目、及び該項目に対応する値を画像データとして取得する画像データ取得手段と、前記画像データ取得手段により取得された画像データから、前記項目、及び該項目に対応する値を抽出する抽出手段と、複数の前記紙文書から前記画像データ取得手段により取得された複数の画像データから前記抽出手段により抽出された項目毎に、該項目に対応する前記複数の画像データから抽出された値の平均値を算出する平均値算出手段と、前記抽出手段により抽出された値を前記平均値算出手段により算出された平均値で除算して得られた値が所定の範囲に属する場合に、前記値が前記紙文書から正しく抽出されたと判断する抽出値判断手段と、を有する。

請求項２の画像処理装置は、所定の項目、及び該項目に対応する値が記述された紙文書を読み込み、該紙文書に記述された前記項目、及び該項目に対応する値を画像データとして取得する画像データ取得手段と、前記画像データ取得手段により取得された画像データから、前記項目、及び該項目に対応する値を抽出する抽出手段と、複数の前記紙文書から前記画像データ取得手段により取得された複数の画像データから前記抽出手段により抽出された項目毎に、該項目に対応する前記複数の画像データから抽出された値の平均値を算出する平均値算出手段と、前記平均値算出手段により算出された平均値と、該平均値に対応する値との差分を各項目毎に求める差分算出手段と、前記差分算出手段により算出された差分が所定の範囲に属する場合に、前記値が前記紙文書から正しく抽出されたと判断する抽出値判断手段と、を有する。

請求項３の画像処理プログラムは、所定の項目、及び該項目に対応する値が記述された紙文書を読み込み、該紙文書に記述された前記項目、及び該項目に対応する値を画像データとして取得する画像データ取得ステップと、前記画像データ取得ステップにより取得された画像データから、前記項目、及び該項目に対応する値を抽出する抽出ステップと、複数の前記紙文書から前記画像データ取得ステップにより取得された複数の画像データから前記抽出ステップにより抽出された項目毎に、該項目に対応する前記複数の画像データから抽出された値の平均値を算出する平均値算出ステップと、前記抽出ステップにより抽出された値を前記平均値算出ステップにより算出された平均値で除算して得られた値が所定の範囲に属する場合に、前記値が前記紙文書から正しく抽出されたと判断する抽出値判断ステップと、を有する処理をコンピュータに実行させる。

請求項４の画像処理プログラムは、所定の項目、及び該項目に対応する値が記述された紙文書を読み込み、該紙文書に記述された前記項目、及び該項目に対応する値を画像データとして取得する画像データ取得ステップと、前記画像データ取得ステップにより取得された画像データから、前記項目、及び該項目に対応する値を抽出する抽出ステップと、複数の前記紙文書から前記画像データ取得ステップにより取得された複数の画像データから前記抽出ステップにより抽出された項目毎に、該項目に対応する前記複数の画像データから抽出された値の平均値を算出する平均値算出ステップと、前記平均値算出ステップにより算出された平均値と、該平均値に対応する値との差分を各項目毎に求める差分算出ステップと、前記差分算出ステップにより算出された差分が所定の範囲に属する場合に、前記値が前記紙文書から正しく抽出されたと判断する抽出値判断ステップと、を有する処理をコンピュータに実行させる。

本発明によれば、所定の項目に対応する値が記述された複数の紙文書から抽出された値が正しいか否かの判断を自動的かつ高精度に実行することのできる画像処理装置、及び画像処理プログラムを提供することができるという効果が得られる。

以下、図面を参照して、本発明の実施の形態について詳細に説明する。なお、本実施の形態では、画像処理装置を、パソコン（Personal Computer）とスキャナの組み合わせたものに適用している。

まず、図１を用いて画像処理装置について説明する。図１には、ＬＡＮやＵＳＢなどで接続されたパソコン１０と、スキャナ３４とが示されている。

このうち、スキャナ３４は、紙文書を読込み、紙文書に記述された情報を画像データとして取得する。また、スキャナ３４は、画像データをパソコン１０に送信する。

パソコン１０は、スキャナ３４から送信された画像データから後述する所定の項目、及びその項目に対応する値を抽出する。

次に、図２を用いて、パソコン１０の構成について説明する。パソコン１０は、ＣＰＵ（中央処理装置）１８と、ＨＤＤ（ハードディスクドライブ）２０と、ＲＡＭ２２と、ネットワークＩ／Ｆ（インタフェース）部２４と、ＲＯＭ２６と、表示部２８と、操作入力部３０と、それらを接続するバス３２とを含む。

ＣＰＵ１８は、パソコン１０の全体の動作を司るものであり、後述するパソコン１０の処理を示すフローチャートは、ＣＰＵ１８により実行される。ＨＤＤ２０は、各データベース、各種プログラム、そしてＯＳなどが記録される不揮発性の記憶装置である。ＲＡＭ２２は、ＯＳ、プログラム、データなどが展開される揮発性の記憶装置である。

ネットワークＩ／Ｆ部２４は、ネットワークに接続するためのものであり、ＬＡＮに接続するためのＮＩＣやそのドライバ、又はＵＳＢデバイスを含んで構成される。ＲＯＭ２６は、パソコン１０の起動時に動作するブートプログラムなどが記憶されている不揮発性の記憶装置である。表示部２８は、各種情報をオペレータに表示するものである。操作入力部３０は、オペレータがパソコン１０の操作指示や各種情報を入力する際に用いられるものである。バス３２は、以上の各部間で情報のやりとりが行われる際に使用される。

なお、上述したＨＤＤ２０には、ＣＰＵ１８により実行される後述する画像処理プログラムやそのプログラムが用いるデータなどが記録される。このプログラムは、必ずしもＨＤＤ２０に記録されたプログラムでなくても良い。ＨＤＤ２０以外の記録媒体として、具体的には可搬型の記録媒体にプログラムを記録したものが挙げられる。この場合、パソコン１０に、可搬型の記録媒体を読み取るための読み取り装置を設け、可搬型の記録媒体は読み取り装置に対して、磁気、光、電気等のエネルギーの変化状態を引き起こし、それに対応する信号の形式で、読み取り装置にプログラムの記述内容を伝達できるものである。

可搬型の記録媒体として、例えば光磁気ディスク、光ディスク（ＣＤやＤＶＤなどを含む）、磁気ディスク、メモリ（ＩＣカード、メモリカードなどを含む）などが挙げられる。

以上が本実施の形態における画像処理装置の構成となっている。次に、紙文書から抽出された値が正しいか否かを判断する処理（以下、正否判断処理）の概要について、図３を用いて説明する。図３は、商品の見積価格である値が、商品の項目毎に記述された紙文書から抽出された値の正否判断を示す処理の流れを示している。

まず、見積書である紙文書５０は、スキャナ３４により読み込まれ、画像データとしてパソコン１０に送信されると、パソコン１０は、ＯＣＲ処理などの画像処理を用いて、紙文書毎に項目とその項目に対応する値を抽出し、それらを構造化文書５２として記憶する。このときの紙文書例と構造化文書例を示す。図４は、紙文書例を示す図である。図４に示される見積書には、項目として「トナー」、「Ａ４用紙」、「パソコン」、「消しゴム」、及び「ボールペン」が記述されている。また、項目に対応する値として、それぞれ「１０，５００」、「２，２００」、「１２０，０００」、「５０」、及び「７０」が記述されている。

このように、本実施の形態に係る紙文書は、所定の項目、及びその項目に対応する値が記述されたものである。なお、ここで項目は商品を一意的に特定できるものとする。具体的に、例えば「Ａ４用紙」の場合、製造メーカはもちろん、その中でも紙質や枚数により価格が異なるため、それらが一意的に特定できる品番などが項目となる。また、各見積書により、項目及び見積価格の表現が異なる可能性も十分にあるため、見積書に記述されている「商品名」、「型番」、「品目」、などに対応する記述を項目と見なし、「値段」、「価格」、「金額」などに対応する記述を見積価格と見なすようにしても良い。

次に、構造化文書例を、図５を用いて説明する。同図に示される構造化文書例は、図４で示した紙文書から抽出された情報により構成された構造化文書の一例を模式的に示している。同図に示されるように、この構造化文書では、図４で示した紙文書の項目と、その項目に対応する値とが記されている。ちなみにこの構造化文書における値は正しく抽出されたものとなっている。

なお、同図で示される構造化文書は、通常のデータベースで記述されても良いし、ＸＭＬを用いて記述されるものでも良く、紙文書の項目と、その項目に対応する値とが記述されるものであれば良い。

以上説明した構造化文書例が、図３における構造化文書５２の例である。このような構造化文書５２から、パソコン１０は、図３に示されるように項目毎に値を抽出し、抽出した項目毎に平均値を算出する。この際の抽出例を図６に示す。同図には、上述した項目と、見積書を発行したＡ社、Ｂ社での見積価格、及び平均値が示されている。

例えば、「トナー」はＡ社の見積価格は「１００００」であり、Ｂ社の見積価格は「９８００」となっている。また、平均値は、各会社の項目毎の見積価格の平均値を示している。例えば「トナー」の平均値は「９９２５」である。

このようにして算出された平均値に基づき、パソコン１０は、抽出された見積価格である値が紙文書から正しく抽出されたか否かを判断する。

次に、パソコン１０は、平均値と、その平均値に対応する見積価格との差分を各項目毎に算出する。この算出例を、図７に示す。同図には、項目毎に見積価格から平均値を引いた値が示されている。例えば、Ａ社のトナーの見積価格は「１００００」であり、平均値は「９９２５」であるので、その差分は「７５」となる。

このような差分を用いる場合と、除算して得られた値を用いる判断方法がある。具体的には、差分が所定の範囲に属すると正常に抽出されたと判断する方法と、抽出された見積価格である値と平均値との比を求め、その比が所定の範囲に属すると正常に抽出されたと判断する方法である。

前者は、例えば差分が「±１０００」以内であれば正常と判断するもので、この判断方法であれば、図７の「パソコン」の場合、抽出されたＡ社の見積価格は正しく抽出されたと判断され、抽出されたＢ社の見積価格は正しく抽出されていないと判断される。この場合、同図に示されるように差分を示す部分を網掛け状態として表示部２８により表示とすることで、正しく抽出されていないことを示す警告を表示するようにしても良い。

一方、後者の場合、見積価格Ｘを平均値Ｙで除算して得られた値（Ｘ／Ｙ）を用い、例えばその値が±１０％、すなわち０．９≦Ｘ／Ｙ≦１．１を満たす場合は正常と判断するものである。図６の「パソコン」の場合、抽出されたＡ社の見積価格「１２００００」を平均値「１１１９３８」で除算して得られる値は、約１．０７であるので、抽出されたＡ社の見積価格は正しく抽出されたと判断される。一方、抽出されたＢ社の見積価格「１２５００」を平均値「１１１９３８」で除算して得られる値は、約０．１であるので、抽出されたＢ社の見積価格は正しく抽出されていないと判断される。この場合も前者と同様に、正しく抽出されていないことを示す警告を表示するようにしても良い。

以上説明した正否判断処理の流れを、図８、図９のフローチャートを用いて説明する。この処理は、ＨＤＤ２０に記録された画像処理プログラムがパソコン１０のＣＰＵ１８により実行される処理である。また、図８に示されるフローチャートは、差分を用いて判断する正否判断処理の流れを示し、図９に示されるフローチャートは、除算して得られた値を用いて判断する正否判断処理の流れを示している。最初に、図８に示されるフローチャートから説明する。

まず、ステップ１００で、ＣＰＵ１８は、スキャナ３４に対し所定の項目、及びその項目に対応する値が記述された見積書を読み込み、見積書に記述された情報を画像データとして取得するように指示する。次に、ステップ１０１で、ＣＰＵ１８は、スキャナ３４から画像データを取得したか否かを判断し、取得した場合、ステップ１０２に処理が進む。

ＣＰＵ３４は、ステップ１０２で、画像データから、項目、及びその項目に対応する価格Ｘを抽出する。上記ステップ１０１とステップ１０２の処理は、見積書の枚数だけ繰り返される。

ステップ１０３で、ＣＰＵ３４は、全ての見積書から項目、及びその項目に対応する価格Ｘを抽出したかどうか判断し、否定判断した場合は、再びステップ１０１の処理が実行され、肯定判断した場合、ＣＰＵ３４は、ステップ１０４で項目毎の価格の平均値Ｙを算出し、ステップ１０５で、全ての項目の価格の平均値Ｙを算出したかどうか判断する。

ステップ１０５で、ＣＰＵ３４が否定判断した場合、再びステップ１０４の処理が実行され、肯定判断した場合、ステップ１０６で、価格Ｘを平均値Ｙで除算して得られる差分Ｘ−Ｙを算出する。次に、ＣＰＵ３４は、ステップ１０７で、｜Ｘ−Ｙ｜≦Ｓか否か判断する。このＳは予め定められた値であり、上述した例においてはＳ＝１０００が適用されている。

ステップ１０７で、ＣＰＵ３４が否定判断した場合、所定の範囲内に差分が属さないため、正しく抽出されていないと判断し、ステップ１０８で、価格Ｘに対する警告を表示し、ステップ１０９に処理が進む。この警告は、上述したように価格に対応する表示部分を網掛け表示しても良い。

ステップ１０７で、ＣＰＵ３４が肯定判断した場合、所定の範囲に差分が属するため、正しく抽出されていると判断し、ステップ１０９で、全ての差分が所定の範囲に属するかどうかの判断が終了したか否を判断し、終了していない場合は、再びステップ１０６の処理が実行される。

以上説明した差分を用いる正否判断処理は、商品の大体の価格が分かっている場合に有用である。

次に、図９に示されるフローチャートを説明する。

まず、ステップ２００で、ＣＰＵ１８は、スキャナ３４に対し所定の項目、及びその項目に対応する値が記述された見積書を読み込み、見積書に記述された情報を画像データとして取得するように指示する。次に、ＣＰＵ１８は、ステップ２０１で、スキャナ３４から画像データを取得したか否かを判断し、取得した場合、ステップ２０２に処理が進む。

ＣＰＵ３４は、ステップ２０２で、画像データから、項目、及びその項目に対応する価格Ｘを抽出する。上記ステップ２０１とステップ２０２の処理は、見積書の枚数だけ繰り返される。

ステップ２０３で、ＣＰＵ３４は、全ての見積書から項目、及びその項目に対応する価格Ｘを抽出したかどうか判断し、否定判断した場合は、再びステップ２０１の処理が実行され、肯定判断した場合、ＣＰＵ３４は、ステップ２０４で項目毎の価格の平均値Ｙを算出し、ステップ２０５で、全ての項目の価格の平均値Ｙを算出したかどうか判断する。

ステップ２０５で、ＣＰＵ３４が否定判断した場合、再びステップ２０４の処理が実行され、肯定判断した場合、ステップ２０６で、価格Ｘを平均値Ｙで除算して得られる値Ｘ／Ｙを算出する。次に、ＣＰＵ３４は、ステップ２０７で、Ｌ≦Ｘ／Ｙ≦Ｈか否か判断する。このＬ、Ｈは予め定められた値であり、上述した例においてはＬ＝０．９、Ｈ＝１．１が適用されている。

ステップ２０７で、ＣＰＵ３４が否定判断した場合、所定の範囲内に値が属さないため、正しく抽出されていないと判断し、ステップ２０８で、価格Ｘに対する警告を表示し、ステップ２０９に処理が進む。この警告は、上述したように価格に対応する表示部分を網掛け表示しても良い。

ステップ２０７で、ＣＰＵ３４が肯定判断した場合、所定の範囲に値が属するため、正しく抽出されていると判断し、ステップ２０９で、全ての値が所定の範囲に属するかどうかの判断が終了したか否を判断し、終了していない場合は、再びステップ２０６の処理が実行される。

以上説明した除算した値を用いる正否判断処理は、商品の大体の価格が分からない場合に有用である。

以上説明した実施の形態では、商品の個数が１つである場合について説明したが、「単価に相当する項目」、「個数に相当する項目」、「総額に相当する項目」などの項目を作成し、各構造化文書内で、抽出した「単価」と「個数」とから総額をもとめ、抽出した「総額」と一致するか否かで正しく変換された構造化文書か否かを判別する仕組みを加えてもよい。

また、上述した処理で、正しく抽出されていないと判断された紙文書をスキャナ３４で再読込するようにしても良い。

以上説明したように、本実施の形態では、所定の項目（品番）、及び該項目に対応する値（価格）が記述された紙文書（見積書）を読み込み、該紙文書に記述された前記項目、及び該項目に対応する値を画像データとして取得する画像データ取得手段（ステップ１０１、ステップ２０１）と、前記画像データ取得手段により取得された画像データから、前記項目、及び該項目に対応する値を抽出する抽出手段（ステップ１０２、２０２）と、複数の前記紙文書から前記画像データ取得手段により取得された複数の画像データから前記抽出手段により抽出された項目毎に、該項目に対応する前記複数の画像データから抽出された値の平均値を算出する平均値算出手段（ステップ１０４、２０４）と、前記平均値算出手段により算出された平均値に基づき、前記値が前記紙文書から正しく抽出されたか否かを判断する抽出値判断手段（ステップ１０７、２０７）と、を有する。

また、前記抽出値判断手段は、前記抽出手段により抽出された値を前記平均値で除算して得られた値が所定の範囲に属する場合（ステップ２０７でＮ）に、前記値が前記紙文書から正しく抽出されたと判断するようにしても良い。

また、前記平均値算出手段により算出された平均値と、該平均値に対応する値との差分を各項目毎に求める差分算出手段（ステップ１０６）を更に有し、前記抽出値判断手段は、前記差分算出手段により算出された差分が所定の範囲に属する場合（ステップ１０７でＮ）に、前記値が前記紙文書から正しく抽出されたと判断するようにしても良い。

また、本実施の形態では、所定の項目（品番）、及び該項目に対応する値（価格）が記述された紙文書を読み込み、該紙文書に記述された前記項目、及び該項目に対応する値を画像データとして取得する画像データ取得ステップ（ステップ１０１、ステップ２０１）と、前記画像データ取得ステップにより取得された画像データから、前記項目、及び該項目に対応する値を抽出する抽出ステップ（ステップ１０２、２０２）と、複数の前記紙文書から前記画像データ取得ステップにより取得された複数の画像データから前記抽出ステップにより抽出された項目毎に、該項目に対応する前記複数の画像データから抽出された値の平均値を算出する平均値算出ステップ（ステップ１０４、２０４）と、前記平均値算出ステップにより算出された平均値に基づき、前記値が前記紙文書から正しく抽出されたか否かを判断する抽出値判断ステップ（ステップ１０７、２０７）と、を有する処理をコンピュータに実行させる。

画像処理装置の構成例を示す外観図である。 パソコンの構成例を示すブロック図である。 抽出された値が紙文書から抽出された値か否かを判断する処理の概要を示す模式図である。 紙文書例を示す図である。 紙文書から抽出された構造化文書例を示す模式図である。 項目毎の値と項目毎の平均値を示す模式図である。 平均値とその平均値に対応する見積価格との差分を示す図である。 正否判断処理の流れを示すフローチャート（その１）である。 正否判断処理の流れを示すフローチャート（その２）である。

符号の説明

１０ パソコン
１８ ＣＰＵ
２０ ＨＤＤ
２２ ＲＡＭ
３４ スキャナ
５０ 紙文書
５２ 構造化文書

Claims (4)

1. 所定の項目、及び該項目に対応する値が記述された紙文書を読み込み、該紙文書に記述された前記項目、及び該項目に対応する値を画像データとして取得する画像データ取得手段と、
   前記画像データ取得手段により取得された画像データから、前記項目、及び該項目に対応する値を抽出する抽出手段と、
   複数の前記紙文書から前記画像データ取得手段により取得された複数の画像データから前記抽出手段により抽出された項目毎に、該項目に対応する前記複数の画像データから抽出された値の平均値を算出する平均値算出手段と、
   前記抽出手段により抽出された値を前記平均値算出手段により算出された平均値で除算して得られた値が所定の範囲に属する場合に、前記値が前記紙文書から正しく抽出されたと判断する抽出値判断手段と、
   を有する画像処理装置。
2. 所定の項目、及び該項目に対応する値が記述された紙文書を読み込み、該紙文書に記述された前記項目、及び該項目に対応する値を画像データとして取得する画像データ取得手段と、
   前記画像データ取得手段により取得された画像データから、前記項目、及び該項目に対応する値を抽出する抽出手段と、
   複数の前記紙文書から前記画像データ取得手段により取得された複数の画像データから前記抽出手段により抽出された項目毎に、該項目に対応する前記複数の画像データから抽出された値の平均値を算出する平均値算出手段と、
   前記平均値算出手段により算出された平均値と、該平均値に対応する値との差分を各項目毎に求める差分算出手段と、
   前記差分算出手段により算出された差分が所定の範囲に属する場合に、前記値が前記紙文書から正しく抽出されたと判断する抽出値判断手段と、
   を有する画像処理装置。
3. 所定の項目、及び該項目に対応する値が記述された紙文書を読み込み、該紙文書に記述された前記項目、及び該項目に対応する値を画像データとして取得する画像データ取得ステップと、
   前記画像データ取得ステップにより取得された画像データから、前記項目、及び該項目に対応する値を抽出する抽出ステップと、
   複数の前記紙文書から前記画像データ取得ステップにより取得された複数の画像データから前記抽出ステップにより抽出された項目毎に、該項目に対応する前記複数の画像データから抽出された値の平均値を算出する平均値算出ステップと、
   前記抽出ステップにより抽出された値を前記平均値算出ステップにより算出された平均値で除算して得られた値が所定の範囲に属する場合に、前記値が前記紙文書から正しく抽出されたと判断する抽出値判断ステップと、
   を有する処理をコンピュータに実行させる画像処理プログラム。
4. 所定の項目、及び該項目に対応する値が記述された紙文書を読み込み、該紙文書に記述された前記項目、及び該項目に対応する値を画像データとして取得する画像データ取得ステップと、
   前記画像データ取得ステップにより取得された画像データから、前記項目、及び該項目に対応する値を抽出する抽出ステップと、
   複数の前記紙文書から前記画像データ取得ステップにより取得された複数の画像データから前記抽出ステップにより抽出された項目毎に、該項目に対応する前記複数の画像データから抽出された値の平均値を算出する平均値算出ステップと、
   前記平均値算出ステップにより算出された平均値と、該平均値に対応する値との差分を各項目毎に求める差分算出ステップと、
   前記差分算出ステップにより算出された差分が所定の範囲に属する場合に、前記値が前記紙文書から正しく抽出されたと判断する抽出値判断ステップと、
   を有する処理をコンピュータに実行させる画像処理プログラム。