JP5003837B2

JP5003837B2 - 画像処理装置及びプログラム

Info

Publication number: JP5003837B2
Application number: JP2011185218A
Authority: JP
Inventors: 勝彦糸乘
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2011-08-26
Filing date: 2011-08-26
Publication date: 2012-08-15
Anticipated expiration: 2027-04-11
Also published as: JP2011233178A

Description

本発明は、画像処理装置及びプログラムに関する。

例えば帳票などの原稿には、商品名、会社名、金額などの文字列が配置されている。そして、前記原稿を読み取って生成した画像から、特定の文字列だけ、例えば、金額を示す文字列だけを認識できる画像処理装置が従来から知られている。

この画像処理装置では、文字列を認識する対象となる領域を、座標によって特定する方法が広く用いられている。この方法によれば、例えば、帳票の上端、左端からの距離や領域の幅、高さなどによって領域が特定される。

また、特許文献１には、論理位置によって文字列を認識する対象となる領域を特定する方法を用いた画像処理装置が開示されている。この画像処理装置では、まず、罫線によって領域が区切られた帳票などの原稿を読み取って画像を生成する。そして、生成した画像内の領域のレイアウトを解析することによって、各領域の位置を認識する。具体的には、罫線の位置を認識することによって、罫線によって区切られた各領域を認識する。そして、これらの領域のうちから、第２行第２列などといった論理位置によって、文字列を認識する対象となる領域が特定される。

特開平１１−１７５６５４号公報

例えば文書作成ソフトウェアなどには、原稿内の各領域に記載される文字数に応じて、文字列を認識する対象となる領域が微調整されるものがある。また、紙原稿を読み取って生成された画像に歪みや傾きが生じるものもある。このように原稿が微調整されたり、原稿から生成される画像に歪みや傾きが生じたりする場合には、座標によって特定される領域内に文字列が正しく示されないため、所望の文字列を精度よく認識することが難しくなる。このことは、画像処理装置の利用者にとっては不便である。

ここで、特許文献１に開示されている画像処理装置によれば、論理位置によって文字列を認識する対象となる領域を特定することができるので、たしかに、所望の文字列は精度よく認識されやすくなる。

しかし、文字列を認識する対象となる領域を座標によって特定するために従来から広く用いられている、画像処理装置に蓄積された膨大なデータ資産が無駄になってしまう。

本発明は上記課題に鑑みてなされたものであって、その目的は、文字列を認識する対象となる領域を座標によって示したデータを有効活用しつつ、原稿を読み取って生成される画像内の、文字列を認識する対象となる領域を精度よく特定することができる画像処理装置及びプログラムを提供することにある。

上記目的を達成するために、請求項１に記載の画像処理装置は、読取領域を含む原稿を読み取って生成される画像内の、前記読取領域に対応する読取画像領域のレイアウトを解析する画像レイアウト解析手段と、前記読取画像領域のレイアウトに基づいて、座標によって前記読取画像領域を示す読取画像領域データと、各前記読取画像領域の相対的な位置を示す画像レイアウトデータを生成する画像レイアウトデータ生成手段と、記憶手段に記憶されている、座標によって認識対象基準領域を示す基準領域データから、各前記認識対象基準領域の相対的な位置を示す基準レイアウトデータを生成する基準レイアウトデータ生成手段と、前記読取画像領域のうちから、前記認識対象基準領域と相対的な位置が対応する認識対象画像領域を特定する認識対象画像領域特定手段と、を含むことを特徴とする。

請求項２に記載の画像処理装置は、請求項１に記載の画像処理装置において、前記画像レイアウトデータとレイアウトが対応する基準レイアウトデータを特定する基準レイアウトデータ特定手段をさらに含む、ことを特徴とする。

請求項３に記載の画像処理装置は、座標によって認識対象基準領域を示す基準領域データと、前記認識対象基準領域に関連する関連文字列を記憶する記憶手段と、読取領域を含む原稿を読み取って生成される画像内の、前記読取領域に対応する読取画像領域のレイアウトを解析する画像レイアウト解析手段と、前記読取画像領域のレイアウトに基づいて、座標によって前記読取画像領域を示す読取画像領域データと、各前記読取画像領域の相対的な位置を示す画像レイアウトデータを生成する画像レイアウトデータ生成手段と、各前記読取画像領域内の文字列を認識する画像内文字列認識手段と、前記画像内文字列認識手段により前記関連文字列が認識された関連文字列領域を、前記読取画像領域のうちから特定する関連文字列領域特定手段と、各前記読取画像領域の相対的な位置と前記関連文字列領域の相対的な位置とに基づいて、前記読取画像領域のうちから候補領域を特定する候補領域特定手段と、前記認識対象基準領域が示す座標に基づいて、前記候補領域のうちから認識対象画像領域を特定する認識対象画像領域特定手段と、を含むことを特徴とする。

請求項４に記載の画像処理装置は、請求項３に記載の画像処理装置において、前記画像レイアウトデータ生成手段は、各前記読取画像領域の相対的な位置を行番号、及び、列番号によって示す前記画像レイアウトデータを生成し、前記候補領域特定手段は、前記画像レイアウトデータが示す行番号、又は、列番号が前記関連文字列領域と対応する候補領域を特定する、ことを特徴とする。

請求項５に記載の画像処理装置は、請求項１乃至４に記載の画像処理装置において、前記画像レイアウトデータ生成手段により生成された前記画像レイアウトデータを前記記憶手段に記憶する手段をさらに含む、ことを特徴とする。

請求項６に記載の画像処理装置は、請求項１乃至５に記載の画像処理装置において、前記記憶手段に記憶される前記基準領域データが示す領域の座標に基づいて、前記原稿を読み取って生成される画像内の認識対象画像領域を特定する手段と、前記認識対象画像領域内の文字列が認識される精度に応じて、前記原稿を示す画像内の領域のレイアウトを解析するか否かを判断する手段をさらに含む、ことを特徴とする。

請求項７に記載の画像処理装置は、請求項１乃至６に記載の画像処理装置において、前記認識対象領域特定手段により特定される前記認識対象領域内の認識対象文字列を認識する認識対象文字列認識手段をさらに含み、前記認識対象文字列認識手段により認識される前記認識対象文字列が正しく認識されたことを示す、利用者による入力があった場合に、前記認識対象文字列を示すデータを前記記憶手段に記憶する、ことを特徴とする。

請求項８に記載のプログラムは、読取領域を含む原稿を読み取って生成される画像内の、前記読取領域に対応する読取画像領域のレイアウトを解析する画像レイアウト解析手段、前記読取画像領域のレイアウトに基づいて、座標によって前記読取画像領域を示す読取画像領域データと、各前記読取画像領域の相対的な位置を示す画像レイアウトデータを生成する画像レイアウトデータ生成手段、記憶手段に記憶されている、座標によって認識対象基準領域を示す基準領域データから、各前記認識対象基準領域の相対的な位置を示す基準レイアウトデータを生成する基準レイアウトデータ生成手段、前記読取画像領域のうちから、前記認識対象基準領域と相対的な位置が対応する認識対象画像領域を特定する認識対象画像領域特定手段、としてコンピュータを機能させることを特徴とする。

また、上記のプログラムはコンピュータ読み取り可能な情報記憶媒体に格納することもできる。

請求項９に記載のプログラムは、座標によって認識対象基準領域を示す基準領域データと、前記認識対象基準領域に関連する関連文字列を記憶する記憶手段、読取領域を含む原稿を読み取って生成される画像内の、前記読取領域に対応する読取画像領域のレイアウトを解析する画像レイアウト解析手段、前記読取画像領域のレイアウトに基づいて、座標によって前記読取画像領域を示す読取画像領域データと、各前記読取画像領域の相対的な位置を示す画像レイアウトデータを生成する画像レイアウトデータ生成手段、各前記読取画像領域内の文字列を認識する画像内文字列認識手段、前記画像内文字列認識手段により前記関連文字列が認識された関連文字列領域を、前記読取画像領域のうちから特定する関連文字列領域特定手段、各前記読取画像領域の相対的な位置と前記関連文字列領域の相対的な位置とに基づいて、前記読取画像領域のうちから候補領域を特定する候補領域特定手段、前記認識対象基準領域が示す座標に基づいて、前記候補領域のうちから認識対象画像領域を特定する認識対象画像領域特定手段、としてコンピュータを機能させることを特徴とする。

請求項１に記載の発明によれば、画像処理装置に記憶された基準領域データから生成した基準レイアウトデータを、画像レイアウトデータと比較して、原稿を読み取って生成される画像内の認識対象画像領域を特定するので、文字列を認識する対象となる領域を座標によって示したデータを有効活用しつつ、原稿を読み取って生成される画像内の、文字列を認識する対象となる領域を精度よく特定することができる。

請求項２に記載の発明によれば、解析されたレイアウトに基づいて原稿レイアウトデータに対応する基準レイアウトデータを特定できる。

請求項３に記載の発明によれば、画像処理装置に記憶された関連文字列に基づいて、読取画像領域データが示す領域のうちから候補領域を特定するので、文字列を認識する対象となる領域を座標によって示したデータを有効活用しつつ、原稿を読み取って生成される画像内の、文字列を認識する対象となる領域を精度よく特定することができる。

請求項４に記載の発明によれば、画像レイアウトデータが示す行番号、及び、列番号に基づいて候補領域を特定するので、候補領域を容易に特定することができる。

請求項５に記載の発明によれば、画像レイアウトデータが記憶手段に記憶されるため、以後、原稿を読み取って生成される画像内の、認識対象画像領域を特定する際に、記憶手段に記憶された画像レイアウトデータを用いることができる。

請求項６に記載の発明によれば、認識対象画像領域内の文字列が認識される精度に応じてレイアウトの解析を行うため、基準領域データが示す座標によって精度よく文字列が認識された場合にはレイアウトの解析が不要となる。

請求項７に記載の発明によれば、認識対象文字列が正しく認識されたか否かを利用者に問い合わせるため、認識対象文字列を示すデータを記憶するかしないかを利用者が選択することができる。

請求項８に記載の発明によれば、画像処理装置に記憶された基準領域データから生成した基準レイアウトデータを、画像レイアウトデータと比較して、原稿を読み取って生成される画像内の認識対象画像領域を特定するので、文字列を認識する対象となる領域を座標によって示したデータを有効活用しつつ、原稿を読み取って生成される画像内の、文字列を認識する対象となる領域を精度よく特定するようコンピュータを機能させることができる。

請求項９に記載の発明によれば、画像処理装置に記憶された関連文字列に基づいて、読取画像領域データが示す領域のうちから候補領域を特定するので、文字列を認識する対象となる領域を座標によって示したデータを有効活用しつつ、原稿を読み取って生成される画像内の、文字列を認識する対象となる領域を精度よく特定するようコンピュータを機能させることができる。

本発明の一実施形態に係る画像処理装置を示す図である。本発明の一実施形態に係る画像処理装置の機能ブロック図である。画像処理のフローを示す図である。入力された帳票画像の一例を示す図である。画像レイアウトデータの一例を示す図である。読取画像領域データの一例を示す図である。フォーマットデータの一例を示す図である。基準レイアウトデータの一例を示す図である。画像レイアウトデータの一例を示す図である。読取画像領域データの一例を示す図である。本発明の一実施形態に係る画像処理装置を示す図である。認識対象基準領域データの一例を示す図である。本発明の一実施形態に係る画像処理装置の機能ブロック図である。画像処理のフローを示す図である。画像レイアウトデータの一例を示す図である。帳票画像の一例を示す図である。画像レイアウトデータの一例を示す図である。フォーマットデータの一例である。画像処理のフローを示す図である。ビジネス文書の一例を示す図である。ビジネス文書の一例を示す図である。ビジネス文書の一例を示す図である。

以下、本発明の実施形態について図面に基づき詳細に説明する。

実施形態１．
本発明の実施形態に係る画像処理装置は、例えば、スキャナとしての機能などを複合的に有するいわゆる複合機と一体的に構成される。

図１は、この実施形態における画像処理装置１０を示す図である。図１に示すように、画像処理装置１０は、制御部１２、スキャナ部１４、記憶部１６を含んで構成される。

制御部１２は、ＣＰＵ等のプログラム制御デバイスにより実現されており、記憶部１６に格納されているプログラムに従って動作している。

スキャナ部１４は、フラットベッドスキャナなどであり、例えば、読み取り面に置かれた紙原稿を光学的に読み取って、その原稿を示す画像を生成し、制御部１２に出力する。

記憶部１６は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記憶素子を含んで構成される一次記憶部と、例えばＳＲＡＭ（static RAM）や、ハードディスク装置など、電源切断時にも記憶している情報を保持できる不揮発性の記憶手段を含んで構成される二次記憶部を含む。この記憶部１６には、後述するフォーマットデータなどが記憶されている。

図２は、画像処理装置１０に含まれる制御部１２で実現される各機能の関係を示す機能ブロック図である。以下、各機能の概要を説明する。

画像レイアウト解析部１８は、スキャナ部１４を介して入力された原稿を読み取って生成される画像内の読取画像領域（例えば、罫線で区切られた領域など）のレイアウトの解析を行って、例えば、各読取画像領域の配置や配列、領域間の相対的な位置関係といったレイアウトを認識することができる。

画像レイアウトデータ生成部２０は、画像レイアウト解析部１８において解析されたレイアウトに基づいて、各読取画像領域の配置や配列、領域間の相対的な位置関係などを示す画像レイアウトデータを生成する。

基準レイアウトデータ生成部２２は、記憶部１６に記憶されている、帳票内の各セルの位置情報が物理座標によって記録された、基準領域データを含むフォーマットデータに基づいて、それらのセルの配置や配列、領域間の相対的な位置関係などを示す基準レイアウトデータを生成する。

基準レイアウトデータ特定部２４は、生成された基準レイアウトデータのうちから、画像レイアウトデータに対応する基準レイアウトデータを特定する。

認識対象画像領域特定部２６は、基準レイアウトデータと、画像レイアウトデータとに基づいて、読取画像領域のうちから、文字列を認識する対象となる認識対象画像領域を特定する。

認識対象文字列認識部２８は、認識対象画像領域特定部２６で特定された認識対象画像領域内の文字列を認識する。そして、認識された文字列に基づいて文字列データを生成して、記憶部１６に出力する。

これらの要素は、コンピュータである画像処理装置１０にインストールされた画像処理プログラムを、画像処理装置１０に含まれるＣＰＵ等の制御部で実行することにより実現されている。なお、この画像処理プログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等の情報伝達媒体を介して、あるいは、インターネット等の通信ネットワークを介して画像処理装置１０に供給される。

次に、本実施形態における画像処理手順の詳細を図３に示すフロー図をもとに説明する。

まず、読取領域を含む原稿をスキャナ部１４で読み取り、読取領域に対応する読取画像領域を含む画像を生成する。ここでは、図４に示すような、複数の読取画像領域から構成される表構造を有する帳票画像３０が生成されたとする（Ｓ１０１）。この読取画像領域の一例として、罫線で区切られたセル３２（図４参照）などが挙げられる。

なお、画像は、後の処理を効率的に行うために、二値画像として入力されることが望ましい。カラー画像で入力された場合には、ここで二値化処理を行ってもよい。また、スキャナ部１４を介して画像を入力せずに、記憶部１６に記憶されている画像を取得してもよい。

次に、画像レイアウト解析部１８により、帳票画像３０内のセル３２のレイアウトを解析して、画像レイアウトデータ生成部２０により、画像レイアウトデータと読取画像領域データを生成する（Ｓ１０２）。

このレイアウトとは、各読取座標領域の相対的な位置を示すものであり、例えば、原稿を示す画像が帳票画像である場合には、表構造が一例として挙げられる。表構造は、図５（ａ）や図５（ｂ）に示すように二次元の論理座標（領域の相対的な位置を示す値であり、例えば、第何行第何列に位置するかを示す値）で表現される。ここで、表内の一部のセルが統合されているときには、図５（ｂ）に示すように論理座標が割り付けられる。この論理座標で表現された、各前記セル３２の相対的な位置を示すデータを画像レイアウトデータ３４とする。例えば、図４に示す帳票画像３０のレイアウトを解析すると、図５（ａ）に示す画像レイアウトデータ３４が生成される。

このとき、図６に示すような、画像レイアウトデータ３４が示す各領域を物理座標４０（長さによって表現される値を示し、例えば、各領域の各頂点の、帳票画像３０の左端、及び、上端からの長さ）によって示す、読取画像領域データ３６も併せて生成される。読取画像領域データ３６において、物理座標４０は、画像レイアウトデータ３４が示す各領域の論理座標３８と関連付けられている。こうすることで、後の処理において、論理座標３８によって特定されたセルの物理座標４０を求めることができる。なお、図６は、読取画像領域データ３６の表現の一例であり、表現形式はこの限りではなく、後述する図１０に示すような表現などでも構わない。

そして、画像レイアウトデータ３４は、図６に示す読取画像領域データ３６とともに記憶部１６に記憶される。

なお、レイアウト（表構造）の表現方法としては、このほかに、行、列方向で木構造を作って各領域の相対的な位置を表現する方法などが挙げられるが、ここでは表現方法についてはこだわらない。

なお、表構造のレイアウト解析手法としては、特許２７８９９７１号記載の方法が挙げられる。また、帳票画像から水平、垂直方向の罫線を抽出した上で、水平罫線に関しては上部に位置する罫線から順に番号をつけ、垂直罫線に関しては、左側に位置する罫線から順に番号をつけ、各罫線で囲まれるセルの論理座標をこれらの罫線の番号に基づいて決定することもできる。

次に、基準レイアウトデータ特定部２４において、記憶部１６に記憶されているフォーマットデータのうちから、図４に示す帳票画像３０に対応するフォーマットデータを選択するための前段階として、記憶部１６に記憶されているすべてのフォーマットデータ４２について、帳票画像３０と比較判定が終了しているかを確認する（Ｓ１０３）。

フォーマットデータ４２は、図７に示すようなデータであり、帳票内の各セルの位置情報が物理座標によって記録された、基準領域データ４４が含まれている。図７に示す基準領域データ４４では、４つの頂点の物理座標によって各セルの位置を示している。もちろん、この表現方法は一例であり、他の表現方法をとることもできる。

また、フォーマットデータ４２には、この帳票内のセルのうち、文字列を認識する対象となるセルが物理座標で示された認識対象基準領域４６の情報も含まれている。

このフォーマットデータ４２は、帳票の種類毎に記憶部１６に少なくとも一つ記憶されている。

すべてのフォーマットデータ４２について、帳票画像３０との比較判定が終了している場合（Ｓ１０３：Ｙ）は、帳票画像３０に対応するフォーマットデータ４２が記憶部１６には記憶されていないこととなり、画像処理を終了する。

すべてのフォーマットデータ４２について、帳票画像３０との比較判定が終了していない場合（Ｓ１０３：Ｎ）は、記憶部１６から、まだ比較判定をしていないフォーマットデータ４２を１つ取り出し（Ｓ１０４）、基準レイアウトデータ生成部２２において図８に示す基準レイアウトデータ４８を生成する（Ｓ１０５）。この基準レイアウトデータ４８には、図７に示すフォーマットデータ４２に含まれる認識対象基準領域４６を論理座標で示したものが含まれる。生成された基準レイアウトデータ４８は記憶部１６に記憶される。

ここで、基準レイアウトデータ４８の生成は、基準領域データ４４が示す物理座標情報を用いて行う。物理座標情報に基づいて画像を生成し、その画像を画像レイアウト解析部１８に出力することにより基準レイアウトデータ４８を生成してもよい。また、帳票内のセルの位置情報から、各セルの相対的な位置を求めて、表構造を解析することもできる。特許２７８９９７１号記載の方法では、セルの位置情報あるいは罫線の位置情報いずれからでも表構造を解析することができる。

次に、基準レイアウトデータ特定部２４において、画像レイアウトデータ３４が示すレイアウトと基準レイアウトデータ４８のレイアウトを比較し、対応しているかどうかを判定する（Ｓ１０６）。例えば、表構造を比較する。具体的には、表全体の行数、列数が一致するか、複数のセルが統合されているセルの位置が一致するかなどで比較判定する。表構造を木構造として求めた場合には、行、列、それぞれで求めた木構造がそれぞれ一致するかどうかで判定する。

ここで、レイアウトが対応していない場合、例えば、表構造が対応していない場合（Ｓ１０７：Ｎ）には、再び、記憶部１６に記憶されているすべてのフォーマットデータ４２について、帳票画像３０と比較判定が終了しているかを確認する（Ｓ１０３）。

すべてのフォーマットデータ４２について、帳票画像３０との比較判定が終了していない場合（Ｓ１０３：Ｎ）は、比較判定していないフォーマットデータ４２を記憶部１６から１つ取り出す（Ｓ１０４）。

レイアウトが対応するものが見つかるまで、又は、すべてのフォーマットデータについて比較判定されるまで、上記の処理を繰り返す。

帳票画像３０にレイアウトが対応するフォーマットデータ４２が見つかった場合（Ｓ１０７：Ｙ）は、認識対象画像領域特定部２６において、そのフォーマットデータ４２に記録されている、物理座標で示された認識対象基準領域４６に基づいて、図８に示す論理座標で示された認識対象基準領域４６を求める。

本実施形態では、図５（ａ）に示す画像レイアウトデータ３４と、図８に示す基準レイアウトデータ４８がともに３行３列の表構造となっているため、基準レイアウトデータ４８（図８）に対応する、フォーマットデータ４２（図７）が、帳票画像３０（図４）に対応するフォーマットデータであることがわかる。そのため、認識対象基準領域４６の論理座標は、図８に示すように論理座標（２，２）であると求められる。

そして、図９の画像レイアウトデータ３４が示すように、認識対象基準領域４６の論理座標に対応する、帳票画像３０内の認識対象画像領域５０の論理座標を特定する。そして、図１０の読取画像領域データ３６が示すように、図６に示す読取画像領域データ３６に基づいて、認識対象画像領域５０の論理座標に対応する物理座標を求める（Ｓ１０８）。

そして、物理座標が特定された認識対象画像領域５０内の文字列を、認識対象文字列認識部２８によって認識し、その領域内の文字情報を取り出す。本実施形態においては、認識対象画像領域５０内の文字列「５，０００」（図４参照）を精度よく認識し、その文字情報を取り出し、この文字列を示す文字列データを記憶部１６に出力することができる。

なお、帳票画像内の領域のレイアウトと、フォーマットデータが示す領域のレイアウトを比較する（Ｓ１０６）際に、フォーマットデータに予め記入されている文字情報も一緒に記憶されている場合には、文字が記憶されているセル情報と対応するセルの場所を帳票画像から求め、文字列認識部１６により対象位置の文字認識を行い、記入されている文字情報を求める。そして、フォーマットデータに記入されている文字情報と文字認識によって得られた文字情報を比較して、文字情報がフォーマットデータに記憶されている全てのセルで対応すれば、フォーマットデータと帳票画像のレイアウトは対応していると判定することができる。

なお、本発明に係る画像処理装置は、複数の筐体から構成されてもよい。

以上説明した画像処理装置１０によれば、文字列を認識する対象となる領域を座標によって示したデータを有効活用しつつ、原稿を読み取って生成される画像内の、文字列を認識する対象となる領域を精度よく特定することができる。

実施形態２．
本発明の実施形態に係る画像処理装置は、例えば、スキャナとしての機能などを複合的に有するいわゆる複合機と一体的に構成される。

図１１は、この実施形態における画像処理装置１０を示す図である。図１１に示すように、画像処理装置１０は、制御部１２、スキャナ部１４、記憶部１６を含んで構成される。

記憶部１６は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの記憶素子を含んで構成される一次記憶部と、例えばＳＲＡＭ（static RAM）や、ハードディスク装置など、電源切断時にも記憶している情報を保持できる不揮発性の記憶手段を含んで構成される二次記憶部を含む。

記憶部１６には、図１２に示すような、帳票の種類を示す帳票名６４、文字列を認識する対象となる認識対象基準領域４６、および、認識対象基準領域を認識して得られた値に関連する関連文字列（例えば、属性名６６）などを示す基準領域データ４４が含まれるフォーマットデータ４２が記憶されている。なお、帳票の種類毎に認識対象基準領域は定義されている。また、図１２に示すように、認識対象基準領域は帳票毎に１つとは限らず、複数が指定されている場合もある。

入力部６０は、液晶タッチパネルや、ディスプレイ、テンキーなどのキーパッドなどであり、利用者が行った操作の内容をＣＰＵ等のプログラム制御デバイスに出力する。

出力部６２は、ＣＰＵ等のプログラム制御デバイスから入力される指示に従って情報を表示出力する。

図１３は、画像処理装置１０に含まれる制御部１２で実現される各機能の関係を示す機能ブロック図である。以下、各機能の概要を説明する。

画像内文字列認識部６８は、画像レイアウトデータが示す各読取画像領域内の文字列を認識する。

関連文字列領域特定部７０は、記憶部１６に記憶されている基準領域データ４４に含まれる、属性名６６などの関連文字列が記載されている関連文字列領域を、読取画像領域のうちから特定する。

候補領域特定部７２は、各読取画像領域の相対的な位置と、関連文字列領域の相対的な位置とに基づいて、読取画像領域のうちから候補領域を特定する。

認識対象画像領域特定部２６は、基準領域データと候補領域のうちから、文字列を認識する対象となる認識対象画像領域を特定する。

認識対象文字列認識部２８は、認識対象画像領域内の文字列を認識する。そして、認識された文字列に基づいて文字列データを生成して、記憶部１６に出力する。

次に、本実施形態における画像処理手順の詳細を図１４に示すフロー図をもとに説明する。

まず、記憶部１６に記憶されている帳票の一覧を出力部６２に表示する（Ｓ２０１）。そして、利用者は入力部６０に処理を行う帳票の種類を入力する。そして、画像処理装置１０はこの入力された帳票の種類を取得する（Ｓ２０２）。このとき、該当する帳票が表示されていない場合は、帳票や認識対象基準領域に関する情報を記憶部１６に登録するように構成することもできる。

次に、読取領域を含む原稿をスキャナ部１４で読み取り、読取領域に対応する読取画像領域を含む画像を生成する。ここでは、図４に示すような、複数の読取画像領域から構成される表構造を有する帳票画像３０が生成されたとする（Ｓ２０３）。この読取画像領域の一例として、罫線で区切られたセル３２（図４参照）などが挙げられる。

次に、画像レイアウト解析部１８により、帳票画像３０内のセル３２のレイアウトを解析して、画像レイアウトデータと読取画像領域データを生成する（Ｓ２０４）。

このとき、図６に示すような、画像レイアウトデータ３４が示す各領域を物理座標４０（長さによって表現される値を示し、例えば、各領域の各頂点の、帳票画像３０の左端、及び、上端からの長さ）によって示す、読取画像領域データ３６も併せて生成される。読取画像領域データ３６において、物理座標４０は、画像レイアウトデータ３４が示す各領域の論理座標３８と関連付けられている。こうすることで、後の処理において、論理座標３８によって特定されたセルの物理座標４０を求めることができる。なお、画像レイアウトデータ３４の表現形式は図５に示したものに限られない。

次に、帳票画像３０に対して、画像内文字列認識部６８において、各セル３２内の文字列を認識し、記述内容を取得する（Ｓ２０５）。読取画像領域データ３６が示す物理座標４０をもとに文字列を認識する対象となる領域を特定することができる。文字列を認識した結果を、その結果に対応するセルと関連付けることができる。

次に、関連文字列領域特定部７０において、Ｓ２０２にて利用者が入力した帳票の種類に対応する、記憶部１６に記憶されている図１３に示すような基準領域データ４４から、属性名６６を取り出す（Ｓ２０６）。そして、関連文字列領域特定部７０において、帳票画像３０に含まれるセル３２内で、属性名６６（関連文字列）に対応する内容を持つ関連文字列セルを特定する（Ｓ２０７）。このとき、対応する内容が存在しない場合もある。シソーラス辞書などを用いて、同種の意味の文字列を持つセルを関連文字列セルとして特定することもできる。例えば、図４に示す帳票画像３０の表構造を解析して、図１５の画像レイアウトデータ３４が示すような各セルの論理座標が求められたとする。そして、基準領域データ４４に記述されている属性名が「売上高」である場合には、関連文字列セル７４は、図１６の帳票画像３０が示すように属性名「売上高」が記述されている論理座標（１，２）のセルとなる。

次に、認識対象画像領域５０を特定するために、候補領域特定部７２において、関連文字列セルと、行、あるいは、列が同じ候補セルがあるか否かを確認する（Ｓ２０８）。候補セルがある場合には（Ｓ２０８：Ｙ）、それらの候補セルを求める（Ｓ２０９）。候補セルがない場合には（Ｓ２０８：Ｎ）、画像処理を終了する。

例えば、図１６に示すように、関連文字列セル７４の論理座標が（１，２）である場合は、図１７の画像レイアウトデータ３４が示すように、論理座標（１，１）、（１，２）、（１，３）、（２，２）、（３，２）の５つのセルが候補セル７６として求められる。

そして、認識対象画像領域特定部２６において、求めた全ての候補セル７６と、基準領域データ４４に含まれる認識対象基準領域４６とを比較し、最も近いセルを認識対象画像領域５０として特定する（Ｓ２１０）。

例えば、図１６、及び、図１７に示す認識対象基準領域４６の各頂点の座標と、候補セル７６の各頂点の座標とを比較して、誤差の平均が最も小さいセルを認識対象画像領域５０として特定する。あるいは、候補セル７６の重心と基準領域データ４４に含まれる認識対象基準領域４６の重心とを比較し、最も近いセルを認識対象画像領域５０として特定してもよい。

本実施形態では、論理座標（３，２）のセルが認識対象画像領域５０として特定される。

なお、セル内の文字情報が基準領域データ４４に記載されている属性名６６に対応する文字の種類（英字、漢字、数字など）であるかを判定して、座標の近さと併せて認識対象画像領域５０を特定することもできる。例えば、属性名に「売上高」が指定されていれば、特定すべきセルの内容は、日本語文字列ではなく、数字列であることなどから認識対象画像領域を特定する。

そして、認識対象文字列認識部２８において、認識対象画像領域５０として特定したセルの内容、「１０，０００」（図１６参照）を取り出して、この文字列を示す文字列データを記憶部１６に出力することができる。

なお、これらの判定結果を出力部６２に表示し、出力結果が正しいかどうかを利用者に判定させた上で、文字列が正しく認識されたことを示す、利用者による入力があった場合にその文字列を記憶部１６へ記憶し、誤っていることを示す入力があった場合には入力部６０を介して、修正した文字列を利用者に入力させる構成にすることもできる。

なお、画像処理装置１０はこの入力された帳票の種類を取得する（Ｓ２０２）際に、利用者による入力から帳票の種類を取得するのではなく、入力画像を解析することにより取得される、帳票画像３０のタイトル部に記載されている文字列から取得してもよい。また、例えば、帳票画像３０を解析して、帳票画像３０内で、他の文字と比較して大きな文字が使用されている部分の文字列を認識して、認識の結果得られた文字列の情報を帳票の種類として、記憶部１６から取得することもできる。

以上説明した画像処理装置１０によれば、候補セル７６を絞り込んだ上で、認識対象画像領域５０を特定するので、より精度よく認識対象画像領域５０を特定することができる。

実施形態３．
本発明の実施形態に係る画像処理装置は、例えば、スキャナとしての機能などを複合的に有するいわゆる複合機と一体的に構成される。

図１１は、この実施形態における画像処理装置１０を示す図である。各部の役割は、実施形態２で説明したとおりである。

本実施形態では、実施形態２で説明した処理に、帳票画像３０から生成された画像レイアウトデータ３４を記憶する処理が加わる。このとき、基準領域データ４４が含まれるフォーマットデータ４２の少なくとも一部を置換してもよい。置換後の基準領域データ４４が示す情報には、図１８が示すように各セルの論理座標３８が含まれる。

その結果、置換後は、帳票画像３０に基づいて認識対象画像領域５０を特定する処理を行う際に、物理座標から論理座標を求めることなく、論理座標を比較することによって認識対象画像領域を特定することができる。

なお、実施形態１の構成に、上記処理を行う構成を加えることもできる。

以上説明した画像処理装置１０によれば、利用者が基準領域データ４４を修正する作業の工数が削減される。

実施形態４．
本発明の実施形態に係る画像処理装置は、例えば、スキャナとしての機能などを複合的に有するいわゆる複合機と一体的に構成される。

本実施形態では、実施形態２で説明した処理に、スキャナ部１４から入力された帳票画像３０について、基準領域データ４４に含まれる認識対象基準領域４６が示す物理座標で示される領域内を、認識対象文字列認識部２８において文字認識を行う処理が加わる。基準領域データ４４が示す物理座標が帳票画像内の文字列が記載されている位置と対応していれば、文字認識結果からは意味のある文字列を得ることができ、その結果文字認識の精度は高いこととなる。本実施形態では、文字認識の精度の高さに応じて、レイアウト解析処理を行うか否かを判定する。この処理の内容を図１９に示すフロー図をもとに説明する。

まず、基準領域データ４４に含まれる認識対象基準領域４６が示す物理座標を取り出し、帳票画像において、物理座標に基づいて、認識対象画像領域を特定する。そして、この認識対象画像領域内の文字列を認識する（Ｓ３０１）。

そして、文字認識を行った際に各文字に対してその認識結果がどの程度正確であるかを示す精度を取得する。そして、この精度の平均値を求める（Ｓ３０２）。

文字認識の結果が誤っている可能性が高い場合、あるいは意味のない文字列が出力されている場合には、精度は低くなる。帳票画像に歪みや傾きがある場合や、帳票内の各領域に記載される文字数に応じて、文字列を認識する対象となる領域が微調整される場合には、基準領域データ４４で指定された領域を文字認識すると文字が切れたり、帳票の罫線が含まれたりするので、精度は低くなると予想できる。

次に、精度の平均値を所定値と比較する（Ｓ３０３）。精度の平均値が所定値以下の場合には（Ｓ３０３：Ｎ）、実施形態１や実施形態２で示した方法により、帳票画像のレイアウト解析を行った上で、認識対象画像領域内の文字列を認識する（Ｓ３０４）。精度の平均値が所定値以上の場合には（Ｓ３０３：Ｙ）、レイアウト解析は行わない。

そして、以上の方法により得られた文字列を示す文字列データを記憶部１６に出力する。（Ｓ３０５）。

レイアウトを解析した上で認識対象画像領域を特定する方法は、レイアウトを求めるコストが必要となり、処理が余計に必要となる。

以上説明した画像処理装置１０によれば、座標に基づいて認識対象画像領域を特定しても、正確な文字認識結果が期待できないときだけ、レイアウト解析を行うので、処理速度の向上が期待できる。

実施形態５．
本発明の実施形態に係る画像処理装置は、例えば、スキャナとしての機能などを複合的に有するいわゆる複合機と一体的に構成される。

本実施形態では、読取領域を含む原稿をスキャナ部１４で読み取り、読取領域に対応する読取画像領域を含む画像を生成する。そして、記憶部１６に記憶されている帳票の一覧を出力部６２に表示する。そして、利用者は入力部６０に処理を行う帳票の種類を入力する。そして、その帳票の種類に対応する基準領域データ４４を画像処理装置１０が取得する。

次に、取得した画像内から連結黒画素塊を求め、近接する連結黒画素塊をまとめることで、図２０に示す、ビジネス文書を示すビジネス文書画像８０中の文字領域を、図２１に示すように求める。

次に、この領域解析結果を用いて、ビジネス文書画像８０のレイアウトを解析する。すなわち、表構造を割り付ける。特許２７８９９７１号記載の方法を用いて、図２２に示すように表構造を割り付けることもできる。あるいは、求めた文字領域間の空白領域を罫線と見立てて、罫線で分割される部分をセルと仮定して、表領域を割り付けることもできる。

次に、画像内の文字列の認識を行い、表構造の各セルの内容を特定する。そして、基準領域データ４４に含まれる認識対象基準領域４６と、求めた表構造内の各セルの座標とを比較し、最も近いセルを認識対象画像領域として特定する。

このとき、セル内の文字情報が基準領域データ４４に記載されている属性名６６に対応する文字の種類と認識対象画像領域内を文字認識した文字の種類とが一致する場合には、認識対象画像領域として確定してセルの内容を出力部６２へ出力する。文字の種類が一致しない場合には、出力部６２へ、利用者に認識対象画像領域が特定できない旨を通知した上で、利用者が入力部６０を介して入力した修正文字列を取得する。ここで文字の種類とは、英字、漢字、数字などの文字の種類をいい、例えば、属性名に金額が指定されているときにセルからは数字列が認識されることが期待される。

このように、本発明の対象は、罫線で領域が区切られた原稿に限られない。レイアウト解析が行える原稿であれば特に原稿の種類は問わない。

以上説明した画像処理装置１０によれば、帳票画像だけでなく一般文書（ビジネス文書）においても、座標によって領域を示した領域データを活用しつつ、入力された原稿内の、文字列を認識する対象となる領域を精度よく特定することができる。

なお、本発明は上記実施形態１、乃至、実施形態５に限定されるものではない。

１０画像処理装置、１２制御部、１４スキャナ部、１６記憶部、１８画像レイアウト解析部、２０画像レイアウトデータ生成部、２２基準レイアウトデータ生成部、２４基準レイアウトデータ特定部、２６認識対象画像領域特定部、２８認識対象文字列認識部、３０帳票画像、３２セル、３４画像レイアウトデータ、３６読取画像領域データ、３８論理座標、４０物理座標、４２フォーマットデータ、４４基準領域データ、４６認識対象基準領域、４８基準レイアウトデータ、５０認識対象画像領域、６０入力部、６２出力部、６４帳票名、６６属性名、６８画像内文字列認識部、７０関連文字列領域特定部、７２候補領域特定部、７４関連文字列セル、７６候補セル、８０ビジネス文書画像。

Claims

座標によって認識対象基準領域を示す基準領域データと、前記認識対象基準領域に関連する関連文字列を記憶する記憶手段と、
読取領域を含む原稿を読み取って生成される画像内の、前記読取領域に対応する読取画像領域のレイアウトを解析する画像レイアウト解析手段と、
前記読取画像領域のレイアウトに基づいて、座標によって前記読取画像領域を示す読取画像領域データと、各前記読取画像領域の相対的な位置を示す画像レイアウトデータを生成する画像レイアウトデータ生成手段と、
各前記読取画像領域内の文字列を認識する画像内文字列認識手段と、
前記画像内文字列認識手段により前記関連文字列が認識された関連文字列領域を、前記読取画像領域のうちから特定する関連文字列領域特定手段と、
各前記読取画像領域の相対的な位置と前記関連文字列領域の相対的な位置とに基づいて、前記読取画像領域のうちから候補領域を特定する候補領域特定手段と、
前記認識対象基準領域が示す座標に基づいて、前記候補領域のうちから認識対象画像領域を特定する認識対象画像領域特定手段と、
を含むことを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記画像レイアウトデータ生成手段は、各前記読取画像領域の相対的な位置を行番号、及び、列番号によって示す前記画像レイアウトデータを生成し、
前記候補領域特定手段は、前記画像レイアウトデータが示す行番号、又は、列番号が前記関連文字列領域と対応する候補領域を特定する、
ことを特徴とする画像処理装置。
請求項１又は２に記載の画像処理装置において、
前記画像レイアウトデータ生成手段により生成された前記画像レイアウトデータを前記記憶手段に記憶する手段をさらに含む、
ことを特徴とする画像処理装置。
請求項１乃至３に記載の画像処理装置において、
前記記憶手段に記憶される前記基準領域データが示す領域の座標に基づいて、前記原稿を読み取って生成される画像内の認識対象画像領域を特定する手段と、
前記認識対象画像領域内の文字列が認識される精度に応じて、前記原稿を示す画像内の領域のレイアウトを解析するか否かを判断する手段をさらに含む、
ことを特徴とする画像処理装置。
請求項１乃至４に記載の画像処理装置において、
前記認識対象画像領域特定手段により特定される前記認識対象画像領域内の認識対象文字列を認識する認識対象文字列認識手段をさらに含み、
前記認識対象文字列認識手段により認識される前記認識対象文字列が正しく認識されたことを示す、利用者による入力があった場合に、前記認識対象文字列を示すデータを前記記憶手段に記憶する、
ことを特徴とする画像処理装置。
座標によって認識対象基準領域を示す基準領域データと、前記認識対象基準領域に関連する関連文字列を記憶する記憶手段、
読取領域を含む原稿を読み取って生成される画像内の、前記読取領域に対応する読取画像領域のレイアウトを解析する画像レイアウト解析手段、
前記読取画像領域のレイアウトに基づいて、座標によって前記読取画像領域を示す読取画像領域データと、各前記読取画像領域の相対的な位置を示す画像レイアウトデータを生成する画像レイアウトデータ生成手段、
各前記読取画像領域内の文字列を認識する画像内文字列認識手段、
前記画像内文字列認識手段により前記関連文字列が認識された関連文字列領域を、前記読取画像領域のうちから特定する関連文字列領域特定手段、
各前記読取画像領域の相対的な位置と前記関連文字列領域の相対的な位置とに基づいて、前記読取画像領域のうちから候補領域を特定する候補領域特定手段、
前記認識対象基準領域が示す座標に基づいて、前記候補領域のうちから認識対象画像領域を特定する認識対象画像領域特定手段、
としてコンピュータを機能させるためのプログラム。