JP5083162B2

JP5083162B2 - 画像データ判定装置、画像データ判定システム、及びプログラム

Info

Publication number: JP5083162B2
Application number: JP2008259726A
Authority: JP
Inventors: 伸一矢田
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2008-10-06
Filing date: 2008-10-06
Publication date: 2012-11-28
Anticipated expiration: 2028-10-06
Also published as: JP2010092159A

Description

本発明は、画像データ判定装置、画像データ判定システム、及びプログラムに関する。

画像データを判別することにより、たとえば画像データの元となった帳票文書の種別を判別する技術が提案されている。

罫線を利用した帳票種判別技術であって、水平・垂直方向の画素列内の黒画素割合を種々の画素列長について求め、黒画素割合をブロック毎に加算してこの加算値を罫線特徴とし、罫線特徴辞書に登録済の罫線特徴と照合して、帳票の種別を判定する帳票類判別装置が知られている（特許文献１参照）。

予め画像の特徴量をデータベースに記憶しておき、帳票スキャン画像の特徴量とデータベースに記憶された特徴量とを比較して二重スキャンと判明した場合には画像および特徴量を破棄する技術が知られている（特許文献２参照。）。

背景画像が同一の画像間において、ブロック毎に非類似度を算出し、非類似度が基準値以上であれば、移動物体がそのブロックに存在すると判定する装置（特許文献３参照。）や、画像を構成する複数の窓を設定し、当該複数の窓を通して覗かれる各部分画像間の類似度又は非類似度を算出し、類似度又は非類似度に基づいて順序を決定し、順序関係が保存されるように距離空間上に写像し、写像された距離空間における点の位置座標ベクトルの直積又はテンソル積を画像についての特徴量として用いて、画像のクラス分類学習およびクラス識別を行うシステムが知られている（特許文献４及び５参照。）。

なお、写真などの自動分類技術を応用して、予め帳票を登録しておかなくても画像の重要度や異常度を統計解析処理によって求めることにより分類する技術が知られている（特許文献６及び７参照。）。
特開２００１−２８３１５２号公報特開２００６−３３０８６３号公報特開２００６−０２４１４９号公報特開２００６−０３９６５８号公報特開２００６−０３１３９０号公報特開２００７−２３３７１０号公報特開２００７−２３３７０９号公報

本発明は、内容を加えることで帳票が変化しても２つの画像データが同じ種類の帳票に基づく画像データであるか否かの判定を行うことができる画像データ判定装置、画像データ判定システム、及びプログラムを提供することを目的とする。

請求項１の発明の画像データ判定装置は、第１及び第２の画像データに含まれる予め定められた属性を有する複数の小領域の各々について特徴量を導出する第１導出手段と、前記第１の導出手段により導出された前記第１の画像データの小領域毎の特徴量と、前記第１の導出手段により導出された前記第２の画像データの小領域毎の特徴量とに基づいて、前記第１及び第２の画像データの小領域同士の類似度を導出する第２導出手段と、前記第２の導出手段で導出された類似度が予め定められた第１の閾値より高い小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど高い類似度が導出される第１の導出式を用いて再度類似度を導出し、前記第２の導出手段で導出された類似度が前記第１の閾値以下の小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど低い非類似度が導出され且つ前記第１の導出式を用いて導出される類似度の逆数ではない非類似度が導出される第２の導出式を用いて非類似度を導出する第３導出手段と、前記第３導出手段で導出された類似度及び非類似度に基づいて、前記第３導出手段で導出された類似度の合計が予め定められた第２の閾値より大きい場合であって、前記第３導出手段で導出された非類似度の合計が予め定められた第３の閾値より大きく且つ予め定められた第４の閾値より小さい場合に、前記第１及び第２の画像データが同じ種類の帳票に基づく画像データであると判定する判定手段と、を備えている。

請求項２の発明は、請求項１に記載の画像データ判定装置において、前記判定手段は、更に、前記第３導出手段で導出された非類似度の合計が前記第３の閾値以下の場合には、前記第１及び第２の画像データが同一の帳票に基づく画像データであると判定する。

請求項３の発明は、請求項１または２に記載の画像データ判定装置において、前記判定手段は、更に、前記第３導出手段で導出された類似度の合計が前記第２の閾値以下の場合、及び前記第３導出手段で導出された非類似度の合計が前記第４の閾値以上の場合の少なくとも一方の場合には、前記第１及び第２の画像データが異なる種類の帳票に基づく画像データであると判定する。

請求項４の発明の画像データ判定装置は、第１及び第２の画像データに含まれる予め定められた属性を有する複数の小領域の各々について特徴量を導出する第１導出手段と、前記第１の導出手段により導出された前記第１の画像データの小領域毎の特徴量と、前記第１の導出手段により導出された前記第２の画像データの小領域毎の特徴量とに基づいて、前記第１及び第２の画像データの小領域同士の類似度を導出する第２導出手段と、前記第２の導出手段で導出された類似度が予め定められた第１の閾値より高い小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど高い類似度が導出される第１の導出式を用いて再度類似度を導出し、前記第２の導出手段で導出された類似度が前記第１の閾値以下の小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど低い非類似度が導出され且つ前記第１の導出式を用いて導出される類似度の逆数ではない非類似度が導出される第２の導出式を用いて非類似度を導出する第３導出手段と、前記第３導出手段で導出された類似度及び非類似度に基づいて、前記第３導出手段で導出された非類似度の合計が予め定められた第２の閾値より小さい場合であって、前記第３導出手段で導出された類似度の合計が予め定められた第３の閾値より大きく且つ予め定められた第４の閾値より小さい場合に、前記第１及び第２の画像データが同じ種類の帳票に基づく画像データであると判定する判定手段と、を備えている。

請求項５の発明は、請求項４に記載の画像データ判定装置において、前記判定手段は、更に、前記第３導出手段で導出された類似度の合計が前記第４の閾値以上の場合には、前記第１及び第２の画像データが同一の帳票に基づく画像データであると判定する。

請求項６の発明は、請求項４または５に記載の画像データ判定装置において、前記判定手段は、更に、前記第３導出手段で導出された非類似度の合計が前記第２の閾値以上の場合、及び前記第３導出手段で導出された類似度の合計が前記第３の閾値以下の場合の少なくとも一方の場合には、前記第１及び第２の画像データが異なる種類の帳票に基づく画像データであると判定する。

請求項７の発明の画像データ判定システムは、第１及び第２の画像を読み取って第１及び第２の画像データを生成する読取手段と、請求項１〜請求項６のいずれか１項記載の画像データ判定装置と、画像データを記憶するための記憶手段と、前記判定手段で同じ種類の帳票に基づく画像データであると判定された第１及び第２の画像データを関連付けて前記記憶手段に記憶するように制御する制御手段とを備えている。

請求項８の発明は、コンピュータを、第１及び第２の画像データに含まれる予め定められた属性を有する複数の小領域の各々について特徴量を導出する第１導出手段、前記第１の導出手段により導出された前記第１の画像データの小領域毎の特徴量と、前記第１の導出手段により導出された前記第２の画像データの小領域毎の特徴量とに基づいて、前記第１及び第２の画像データの小領域同士の類似度を導出する第２導出手段、前記第２の導出手段で導出された類似度が予め定められた第１の閾値より高い小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど高い類似度が導出される第１の導出式を用いて再度類似度を導出し、前記第２の導出手段で導出された類似度が前記第１の閾値以下の小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど低い非類似度が導出され且つ前記第１の導出式を用いて導出される類似度の逆数ではない非類似度が導出される第２の導出式を用いて非類似度を導出する第３導出手段、及び前記第３導出手段で導出された類似度及び非類似度に基づいて、前記第３導出手段で導出された類似度の合計が予め定められた第２の閾値より大きい場合であって、前記第３導出手段で導出された非類似度の合計が予め定められた第３の閾値より大きく且つ予め定められた第４の閾値より小さい場合に、前記第１及び第２の画像データが同じ種類の帳票に基づく画像データであると判定する判定手段、として機能させるためのプログラムである。
請求項９の発明は、コンピュータを、第１及び第２の画像データに含まれる予め定められた属性を有する複数の小領域の各々について特徴量を導出する第１導出手段、前記第１の導出手段により導出された前記第１の画像データの小領域毎の特徴量と、前記第１の導出手段により導出された前記第２の画像データの小領域毎の特徴量とに基づいて、前記第１及び第２の画像データの小領域同士の類似度を導出する第２導出手段、前記第２の導出手段で導出された類似度が予め定められた第１の閾値より高い小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど高い類似度が導出される第１の導出式を用いて再度類似度を導出し、前記第２の導出手段で導出された類似度が前記第１の閾値以下の小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど低い非類似度が導出され且つ前記第１の導出式を用いて導出される類似度の逆数ではない非類似度が導出される第２の導出式を用いて非類似度を導出する第３導出手段、及び前記第３導出手段で導出された類似度及び非類似度に基づいて、前記第３導出手段で導出された非類似度の合計が予め定められた第２の閾値より小さい場合であって、前記第３導出手段で導出された類似度の合計が予め定められた第３の閾値より大きく且つ予め定められた第４の閾値より小さい場合に、前記第１及び第２の画像データが同じ種類の帳票に基づく画像データであると判定する判定手段、として機能させるためのプログラムである。

請求項１、４、８、及び９の発明によれば、内容を加えることで帳票が変化しても２つの画像データが同じ種類の帳票に基づく画像データであることの判定を行うことができる。

請求項２、及び５の発明によれば、内容を加えることで帳票が変化しても２つの画像データが同一の帳票に基づく画像データであることの判定を行うことができる。

請求項３、及び６の発明によれば、内容を加えることで帳票が変化しても２つの画像データが同じ種類の帳票に基づく画像データでないことの判定を行うことができる。

請求項７の発明によれば、同じ種類の帳票に基づく画像データであると判定された画像データを関連付けて記憶することができる。

以下、図面を参照して、本発明の実施の形態を詳細に説明する。

図１は、本発明の一実施形態に係る画像データ判定装置１０の概略構成を示すブロック図である。画像データ判定装置１０は、ＣＰＵ（Central Processing Unit）１２、ＲＡＭ（Random Access Memory）１４、ＲＯＭ（Read Only Memory）１６、Ｉ／Ｏ（入出力）インタフェース１８、通信インタフェース２０を備え、それらはバス２２を介して相互に接続されている。

Ｉ／Ｏインタフェース１８には、ＣＤ−ＲＯＭドライブ２４、ＦＤ（フレキシブルディスク）ドライブ２８、及びＨＤＤ（ハードディスクドライブ）３２が接続されている。ＣＤ−ＲＯＭドライブ２４は、可搬型記録媒体であるＣＤ−ＲＯＭ２６からデータを読み出す。ＦＤドライブ２８は、可搬型記録媒体であるＦＤ３０に対してデータを読み書きする。またＨＤＤ３２は、内蔵されたハードディスクに対してデータを読み書きする。

また、Ｉ／Ｏインタフェース１８には、利用者の操作により様々な情報を入力するためのキーボード３４、画像等の情報を表示するディスプレイ３８、及びディスプレイ３８に表示された画像上の任意の位置を利用者が指定することにより指示入力するポインティングデバイス３６が接続されている。なお、ここでは、入力デバイスとしてキーボード３４やポインティングデバイス３６を設けた構成としたが、ディスプレイ３８がタッチパネルディスプレイであれば、ディスプレイ３８を入力デバイスとして用いるようにしてもよく、特に入力デバイスをキーボード３４やポインティングデバイス３６に限定するものではない。

また、Ｉ／Ｏインタフェース１８には、原稿（本実施の形態では、申請書や請求書などの帳票）の画像を読み取る画像読取装置（スキャナ）４０が接続されている。ＣＰＵ６０は、Ｉ／Ｏインタフェース１８を介してスキャナ４０に帳票等の画像を読み取る動作を指示したり、スキャナ４０で帳票等を読み取って生成された画像データをＲＡＭ１４やＨＤＤ３２に記憶したりする。

また、通信インタフェース２０は、通信回線やＬＡＮ等のネットワークに接続されている。画像データ判定装置１０は、通信インタフェース２０を介して、該ネットワークに接続された他の端末と相互に情報をやりとりする。より具体的には、例えば、通信インタフェース２０を介して、後述する判定処理の判定結果を外部の装置に転送したり、外部の画像読取装置から帳票を読み取って生成された画像データや、各種アプリケーションソフトを用いて作成された文書データをイメージ展開した画像データ等を受信したりする。

ＣＰＵ１２は、マイクロプロセッサ等を用いて実現され、ＲＯＭ１６やＨＤＤ３２等に記憶されたプログラム（後述する判定処理のプログラムを含む）を実行する。ＲＡＭ１４は、通信インタフェース２０を介して他の端末から入力された画像データ、スキャナ４０等で読み取られた画像データ、新たに生成された文書データや、該文書データをイメージ展開した画像データ等々、様々なデータを一時記憶するためのメモリとして利用される他、プログラム実行時のワークメモリとしても利用される。

なお、ＣＰＵ１２が実行するプログラムが記憶される記録媒体は、上記ＲＯＭ１６やＨＤＤ３２等に限定されず、ＣＤ−ＲＯＭ２６やＦＤ３０であってもよいし、例えば、図示は省略するが、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの可搬型記録媒体や画像データ判定装置１０の外部に備えられたＨＤＤ等の記憶装置等であってもよく、さらにまたネットワークを介して接続されたデータベース、或いは他のコンピュータシステム並びにそのデータベースや、更に電気通信回線上の搬送波のような伝送媒体であってもよい。

本実施の形態に係る画像データ判定装置１０は、２つの画像データが同じ種類の帳票に基づく画像データか否かを判定する判定機能を有する。帳票は、ここでは、例えば、申請書や請求書などをいう。なお、ここで判定の対象となる画像データは、スキャナ４０で読み取って生成された画像データであってもよいし、ソフトウェアにより作成された文書データをイメージ展開した画像データであってもよい。なお、同じ種類の帳票であれば、同じ書式（見出し文字や枠組（罫線）やレイアウトが同じ形式）となるため、本実施の形態では、同じ書式（以下、フォームという）か否かを判定することとする。

なお、この判定結果を、例えば、画像データ判定装置１０や外部の装置などで行われる、画像データを処理対象とした様々な後処理で利用するようにしてもよい。例えば、特定の帳票に基づく画像データのフォームと同じフォームを利用した画像データであると判定された画像データを後処理の処理対象とし、それ以外の画像データを処理対象から除外するようにしてもよい。また、同じフォームと判定された画像データをグループ化してまとめて処理するようにしてもよい。

本実施の形態では、判定後の処理については説明を省略し、判定処理までの処理の流れを詳細に説明する。

以下、本実施の形態に係る画像データ判定装置１０のＣＰＵ１２によって行なわれる判定処理について説明する。

図２は、判定処理の流れを説明するフローチャートである。

ステップ１００では、ＣＰＵ１２は、２枚の帳票を読み取って生成された画像データを取得する。具体的には、まず、ＣＰＵ１２は、２枚の帳票をスキャナ４０で読み取るために、スキャナ４０に制御信号を出力する。スキャナ４０は制御信号に従って、２枚の帳票を読み取る。読み取って得られたアナログの画像データは、スキャナ４０に設けられたＡ／Ｄ変換回路によりデジタルの画像データに変換される。ＣＰＵ１２は、該デジタルの画像データを取得してＨＤＤ３２に一旦記憶する。

なお、ここでは、スキャナ４０で帳票を読み取って生成された画像データを判定対象としているが、例えば、事前に帳票を読み取って生成されＨＤＤ３２に記憶されている画像データや、通信インタフェース２０を介して外部の装置から受信した画像データを判定対象にしてもよい。また、帳票を読み取って得られた画像データでなく、帳票の文書データをイメージ展開した画像データを判定対象として取得するようにしてもよい。

ステップ１０２では、ＣＰＵ１２は、２つの画像データの各々を、予め定められた属性を有する複数の小領域に分割する。例えば、文字（一文字一文字ではなく、文字ブロック）、写真、グラフ、罫線、表（罫線で囲まれた行列要素をもつ文字集合）、及び表の各セル（表を構成する各マス目）等が予め属性として設定されているものとし、ＣＰＵ１２は、これら予め設定されている属性毎に画像データを分割する。以下、画像データから分割された各小領域の画像をオブジェクトと呼称する。オブジェクト分割の方法は、既存の画像処理手法を利用する。

例えば、読み取った画像から文字を認識する文字認識ソフトウエアでは、レイアウト認識処理により、文章の領域、表の領域、図形の領域などに分割し、文章表現であれば段組を踏まえた上で文字認識処理を行い、表の領域であればその構造を解析し、罫線と文字を分離した後に文字認識処理を行うようになっているが、このレイアウト認識処理のアルゴリズムをオブジェクト分割に用いるようにしてもよい。また、画像データの変化の状態からオブジェクト分割するようにしてもよい。例えば、画像データが白および黒近傍にピークを有し、画像データの濃度変化が急峻な領域を文字のオブジェクトとし、画像データの濃度変化が比較的緩やかな領域を写真のオブジェクトとして抽出する等である。

分割された各オブジェクトの画像データは、ＲＡＭ１４に記憶される。

図３（Ａ）は、画像データの一例であり、図３（Ｂ）は、図３（Ａ）の画像データのオブジェクト分割結果の一例である。ＯＢ１、ＯＢ２、及びＯＢ１３が文字のオブジェクトであり、ＯＢ３〜ＯＢ１２は、表の各セルのオブジェクトである。

ステップ１０４では、ＣＰＵ１２は、ＲＡＭ１４から各オブジェクトの画像データを読み出して、各オブジェクトの特徴量を導出する。

ここで、特徴量とは、オブジェクトの画像的な特徴を数値で示したものである。例えば、オブジェクト中の色や明るさの分布状態、輪郭線の方向、平均色や平均明度、色相や明度等のヒストグラムなどを数値で示したものである。特徴量は、一つのオブジェクトに対して一つの数値、あるいは複数の数値の組合せ（ベクトル）で表現する。以下、複数の数値の組合せにより表した特徴量を特徴ベクトルと呼称する。

なお、特徴量の導出方法は既存の方法を利用する。例えば、類似画像検索技術などで用いられる画像特徴量の手法などを用いる。

例えば、各オブジェクトを適切な大きさのメッシュに区切り（量子化）、各メッシュをある濃度値で代表させて（標本化）、モザイク状の画像の画像データに変換する。量子化標本化後の画像データを、ｊ番目のメッシュの濃度をｘｊとして、このパターンをｘ＝（ｘ１，ｘ２，・・・ｘｄ）ｔ（ｔは転置を表す）なるベクトルで記述する、という手法を用いてもよい。また、特徴ベクトルの代わりに、全ベクトルから分散共分散行列又は相関行列を求めて、これを特徴量としてもよい。

ステップ１０６では、ＣＰＵ１２は、２つの画像データの一方の画像データのオブジェクトと、他方の画像データのオブジェクトとの類似度を導出する。

本実施の形態では、ＣＰＵ１２は、まず、２つのオブジェクトの各特徴量の距離ｄを求める。２つの特徴量の距離とは、例えば特徴量が複数の数値の組合せ（特徴ベクトル）で表現されている場合には、ベクトル間の距離となる。ここで、導出される距離としては、統計学上の判別分析やクラスター分析などで用いられる距離、例えば、ユークリッド距離、標準化ユークリッド距離、ミンコフスキーの距離、マハラノビス距離などを用いてもよい。

なお、距離ｄが短いほど類似度は高く、距離ｄが長いほど類似度は低い。従って、ベクトル間の距離ｄを類似度を示す値として用いてもよいが、本実施の形態では、予め定められた変換方法により、距離ｄが短いほど大きくなり、距離ｄが長いほど小さくなるように変換（例えば逆数にする等）した値を類似度Ｄとして導出する。

ところで、２つの画像データ間の各オブジェクトの類似度を導出する組み合わせ方法は、以下の２通りの方法がある。１つは、図４（Ａ）に示すように、２つの画像データ間のオブジェクトを総当たりで組合せ、各組み合わせの類似度を導出する方法である。

もう１つは、図４（Ｂ）に示すように、２つの画像データにおいて、同じような位置にあるオブジェクト同士の類似度を導出する方法である。例えば、一方の画像データから分割されたオブジェクトの各々と、他方の画像データから分割されたオブジェクトの各々の、大きさ、中心位置、予め定められた頂点の位置、予め定められた辺の位置、外接矩形の大きさ、外接矩形の中心位置、外接矩形の予め定められた頂点の位置、及び外接矩形の予め定められた辺の位置の少なくとも１つを比較し、その相違量が予め定められた範囲内のオブジェクトの組み合わせについて類似度を導出する。例えば、分割されたオブジェクトが矩形の場合には、該オブジェクトそのものの大きさや中心位置などを比較するようにし、オブジェクトが矩形でない場合には、各オブジェクトに外接する矩形（外接矩形）を求めて、該外接矩形の大きさや中心位置などを比較するようにしてもよい。

本実施の形態では、後者（図４（Ｂ））の方法を用いる。

なお、一方の画像データで分割されたオブジェクトと、その大きさ、中心位置、予め定められた頂点の位置、予め定められた辺の位置、外接矩形の大きさ、外接矩形の中心位置、外接矩形の予め定められた頂点の位置、及び外接矩形の予め定められた辺の位置の少なくとも１つの相違量が予め定められた範囲内となるオブジェクトが、他方の画像データに存在しない場合には、該一方の画像データから分割されたオブジェクトに対応させて、十分に大きな値の距離ｄを設定し、該距離ｄから類似度Ｄを求める。例えば、距離ｄをそのシステムで取りうる整数の最大値に設定してもよい。

ステップ１０８では、ＣＰＵ１２は、上記導出したオブジェクト間の類似度Ｄが、予め定められた閾値ｔｈ１を超えているか否かを判定する。類似度Ｄが閾値ｔｈ１を超えている場合には、２つのオブジェクトは類似度が高い組み合わせとされ、類似度Ｄが閾値ｔｈ１以下の場合には、２つのオブジェクトは類似度が低い（非類似の）組み合わせとされる。

図５（Ａ）は、２つの画像データの一方のオブジェクト分割結果の一例を示す図であり、図５（Ｂ）は、他方の画像データのオブジェクト分割結果の一例を示す図である。そして、図５（Ｃ）は、図５（Ａ）に示される画像データのオブジェクトの特徴量と、図５（Ｂ）に示される画像データのオブジェクトの特徴量との距離ｄ（類似度Ｄ）を導出した結果の一例を示す模式図である。図５（Ｃ）において、斜線の領域は類似度Ｄが高く、点線の領域は類似度Ｄが低い。なお、図５（Ｃ）の白い領域は、背景領域として認識されており、類似度比較には用いられない。

ステップ１０８で、ＣＰＵ１２は、類似度Ｄが閾値ｔｈ１を超えていると判断した場合には、ステップ１１０で類似度を再度導出する。ここでは、ステップ１０６で類似度Ｄを求めた方法とは異なり、予め定められた導出式により類似度が導出される。ここで導出された類似度を類似度Ｓと呼称して、上記ステップ１０６で導出された類似度Ｄと区別して説明する。

本実施の形態では、類似度Ｓを以下の導出式（１）により導出する。

類似度Ｓ＝Ａ＋α／ｄ・・・（１）

ここで、Ａは、予め設定された定数項、αは、予め設定された係数、ｄは、上記求めたオブジェクト間の特徴量の距離である。なお、ここではＡ及びαは正の値とする。

Ａやαは、判定対象のフォームの種類や利用者のシステム仕様等に応じて設定してもよい。例えば、なるべく同一のフォームとして判定したい場合など、全体的に類似度を高めにして判定したい場合には、Ａを大きく設定しておくようにしてもよい。また、距離ｄが小さくなるに従って、高い割合で類似度が高くなるようにして判定したい場合には、αを大きく設定しておくようにしてもよい。

なお、上記明らかなように、導出式（１）は、類似度Ｄが高いほど、すなわち距離ｄが短いほど高い類似度が導出される導出式となっている。

ステップ１１２では、ＣＰＵ１２は、求めた類似度ＳをＴＳに加算する。ＴＳは、類似度Ｓの合計値を求めるためのパラメータであり、判定処理開始時に０に初期化してある。

一方、ステップ１０８で、ＣＰＵ１２は、類似度Ｄが閾値ｔｈ１以下であると判断した場合には、ステップ１１４で非類似度を導出する。本実施の形態では、非類似度Ｎを以下の導出式（２）により導出する。

非類似度Ｎ＝Ｂ＋βｄ・・・（２）

ここで、Ｂは、予め設定された定数項、βは、予め設定された係数、ｄは、上記求めたオブジェクト間の特徴量の距離である。なお、ここではＢ及びβは正の値とする。

Ｂやβは、判定対象のフォームの種類や利用者のシステム仕様等に応じて設定してもよい。例えば、なるべく同一のフォームとして判定したくない場合など、全体的に非類似度を高めにして判定したい場合には、Ｂを大きく設定しておくようにしてもよい。また、距離ｄが大きくなるに従って、高い割合で非類似度が高くなるようにして判定したい場合には、βを大きく設定しておくようにしてもよい。

なお、上記明らかなように、導出式（２）は、変数ｄの変動に対する増減方向が導出式（１）と逆方向で（類似度Ｄが高いほど、すなわち距離ｄが短いほど低い非類似度が導出される）、導出式（１）と（２）とで該変数ｄに同じ値を代入して求められた値が互いに逆数の関係にならない関係を有する導出式である。

ステップ１１６では、ＣＰＵ１２は、求めた非類似度ＮをＴＮに加算する。ＴＮは、非類似度Ｎの合計値を求めるためのパラメータであり、判定処理開始時に０に初期化してある。

このように、類似度Ｄが高いオブジェクトの組み合わせについては、類似度Ｓを導出して積算し、類似度Ｄが低いオブジェクトの組み合わせについては、非類似度Ｎを導出して積算する。

ステップ１１８では、ＣＰＵ１２は、オブジェクトの全組み合わせの判定が終了したか否かを判断する。ここで、ＣＰＵ１２は、全組み合わせの判定が終了していないと判断した場合には、ステップ１０６に戻り、他の組み合わせについて判定を行う。

ステップ１０６〜ステップ１１６までの処理を、上記分割した全てのオブジェクトの組合せについて繰り返すことにより、２つの画像データ間の類似度Ｓの合計値ＴＳと非類似度Ｎの合計値ＴＮが導出される。

次にステップ１２０では、ＣＰＵ１２は、類似度Ｓの合計値ＴＳが予め定められた閾値ｔｈ２より大きいか否かを判定する。ＣＰＵ１２は，類似度Ｓの合計値ＴＳが閾値ｔｈ２以下であると判定した場合には、２つの画像データの類似度が低いとして、ステップ１２６で、この２つの画像データは、異なるフォームの帳票に基づく画像データである、すなわち不一致であると判定する。

一方、ステップ１２０で、ＣＰＵ１２は、類似度Ｓの合計値ＴＳが閾値ｔｈ２より大きいと判定した場合には、ステップ１２２で、非類似度Ｎの合計値ＴＮが予め定められた閾値ｔｈ３より大きく、予め定められた閾値ｔｈ４より小さいか否かを判定する。なお、閾値ｔｈ３及びｔｈ４は、「ｔｈ３＜ｔｈ４」の大小関係を有する。

ここで、ＣＰＵ１２は、非類似度Ｎの合計値ＴＮが閾値ｔｈ３より大きく、閾値ｔｈ４より小さいと判断した場合には、ステップ１２４で、この２つの画像データは同じフォームを利用していると判断する。すなわち、２つの画像データは、同じ種類の帳票に基づく画像データであると判断する。

また、ＣＰＵ１２は、ステップ１２２で、非類似度Ｎの合計値ＴＮが閾値ｔｈ３以下である、或いは、閾値ｔｈ４より大きいと判断した場合には、ステップ１２６で、この２つの画像データは不一致であると判定する。

これは、非類似度合計値がしきい値ｔｈ３よりも小さい場合には、２つの画像データ全体が類似している、すなわち、この２つの画像データが同一である（誤って同じ帳票が二重に読み取られて画像データが重複している）可能性が高いため、同一のフォームではあっても、ここでは、あえて不一致として処理し、例えば画像データに対する後処理等において同一画像データが重複して登録されたり、重複して処理されたりしないようにしている。また、非類似度合計値が閾値ｔｈ４よりも大きい場合には、２つの画像データで用いられているフォームが異なる可能性が高いので、ここでは、不一致として処理している。

なお、２つの画像データ全体が類似している場合と、２つの画像データ全体で非類似の度合いが高い場合とで一律に不一致と判定するのではなく、図６に示すように、両者を分けて判定してもよい。

図６に示すフローチャートにおいて、類似度Ｓの合計値ＴＳ、非類似度Ｎの合計値ＴＮを導出するまでの処理（ステップ１００〜ステップ１１８）は、図２のフローチャートと同様である。以下では、ステップ１１８より後段の図２と異なる判断処理について詳細に説明する。

ステップ１３０では、ＣＰＵ１２は、非類似度Ｎの合計値ＴＮが閾値ｔｈ３より大きいか否かを判定する。ＣＰＵ１２は、非類似度Ｎの合計値ＴＮが閾値ｔｈ３以下であると判定した場合には、ステップ１２８で、２つの画像データが同一、すなわち帳票を重複して読み込んだ（或いは同一の文書データをイメージ展開した）可能性が高いため、２つの画像データは重複していると判定する。

一方、ステップ１３０で、ＣＰＵ１２は、非類似度Ｎの合計値ＴＮが閾値ｔｈ３より大きいと判定した場合には、ステップ１３２で、ＣＰＵ１２は、類似度Ｓの合計値ＴＳが予め定められた閾値ｔｈ２より大きいか否かを判定する。ＣＰＵ１２は、類似度Ｓの合計値ＴＳが閾値ｔｈ２以下であると判定した場合には、ステップ１３８で、この２つの画像データは、異なるフォームの帳票に基づく画像データである、すなわち不一致であると判定する。

また、ステップ１３２で、ＣＰＵ１２は、類似度Ｓの合計値ＴＳが閾値ｔｈ２より大きいと判定した場合には、ステップ１３６で、非類似度Ｎの合計値ＴＮが予め定められた閾値ｔｈ４より小さいか否かを判定する。ここで、ＣＰＵ１２は、非類似度Ｎの合計値ＴＮが閾値ｔｈ４より小さいと判断した場合には、ステップ１３６で、この２つの画像データは同じフォームを利用していると判断する。また、ＣＰＵ１２は、非類似度Ｎの合計値ＴＮが閾値ｔｈ４以上であると判断した場合には、２つの画像データ間の類似度が低いとして、ステップ１３８で、この２つの画像データは、異なるフォームの帳票に基づく画像データである、すなわち不一致であると判定する。

図７に、図６に示すフローチャートにより判定処理された場合の判定結果の一例を示す。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された発明の範囲内で様々な設計上の変更を行ってもよい。以下、様々な変形例について説明する。

（変形例１）

類似度Ｓを導出する導出式、及び非類似度Ｎを導出する導出式は、上記例示した導出式（１）及び（２）に限定するものではなく、例えば、類似度Ｓを導出する式として以下の導出式（３）を用い、非類似度Ｎを導出する式として以下の導出式（４）を用いてもよい。

類似度Ｓ＝Ａ−αｄ・・・（３）

非類似度Ｎ＝Ｂ−β／ｄ・・・（４）

また、ここでは、類似度Ｓを導出する導出式、及び非類似度Ｎを導出する導出式として、一次式の導出式を例に挙げて説明したが、二次式の導出式であってもよい。また、ここでは、距離ｄを変数とする導出式を例に挙げて説明したが、類似度Ｄを変数とする導出式であってもよい。

（変形例２）

また、図２のフローチャートに示した判定処理では、類似度Ｓの合計値ＴＳが閾値ｔｈ２より大きく、非類似度Ｎの合計値ＴＮが閾値ｔｈ３より大きく、且つ閾値ｔｈ４より小さい場合に、同一フォームであると判定したが、これに限定されない。例えば、図８のステップ１５０〜１５６に示すように、非類似度Ｎの合計値ＴＮが予め定められた閾値ｔｈ５より小さく、類似度Ｓの合計値ＴＳが予め定められた閾値ｔｈ６より大きく、予め定められた閾値ｔｈ７より小さい（ここで、ｔｈ６＜ｔｈ７）場合に同一フォームであると判定するようにしてもよい。

同様に、図６のフローチャートに示した判定処理でも、ステップ１３０〜１４０の処理に代えて、図９のフローチャートのステップ１６０〜１７０に示す処理を行ってもよい。すなわち、非類似度Ｎの合計値ＴＮが閾値ｔｈ５より小さく、類似度Ｓの合計値ＴＳが閾値ｔｈ６より大きく閾値ｔｈ７より小さい場合に同一フォームであると判定するようにしてもよい。また、図９に示すように、非類似度Ｎの合計値ＴＮが閾値ｔｈ５以上の場合、及び類似度Ｓの合計値ＴＳが閾値ｔｈ６以下の場合の少なくとも一方の場合に、不一致であると判定し、類似度Ｓの合計値ＴＳが閾値ｔｈ７以上の場合に、同一の帳票に基づく画像データであると判定してもよい。

（変形例３）

なお、上記実施の形態及び変形例では、画像データ判定装置の各機能をソフトウェアにより実現する例について説明したが、ハードウェアにより実現してもよい。

（変形例４）

また、上記実施の形態や変形例の画像データ判定装置の機能を含んで構成され、ＣＰＵ１２が、同じ種類の帳票に基づく画像データであると判定した２つの画像データを関連付けてＨＤＤ３２に記憶する画像データ判定システムを本発明に適用してもよい。２つの画像データの関連付けは、例えば、２つの画像データを同じフォルダ（或いはディレクトリ）に記憶することにより行うようにしてもよい。また、画像データと識別情報とを対応付けて記憶するようにし、同じ種類の帳票に基づく画像データであると判定した２つの画像データの各々に対応付けて記憶する識別情報を同じ識別情報とするようにしてもよい。

本発明の一実施形態に係る画像データ判定装置の概略構成を示すブロック図である。判定処理の流れを説明するフローチャートである。（Ａ）は、画像データの一例であり、（Ｂ）は、（Ａ）の画像データのオブジェクト分割結果の一例を示す図である。（Ａ）は、２つの画像データ間のオブジェクトを総当たりで組合せ、各組み合わせの類似度を導出する方法を説明する説明図であり、（Ｂ）は、２つの画像データにおいて、同じような位置にあるオブジェクト同士の類似度を導出する方法を説明する説明図である。（Ａ）は、２つの画像データの一方のオブジェクト分割結果の一例を示す図であり、（Ｂ）は、他方の画像データの一方のオブジェクト分割結果の一例を示す図であり、（Ｃ）は、（Ａ）に示される画像データのオブジェクトの特徴量と、（Ｂ）に示される画像データのオブジェクトの特徴量の距離（類似度）を導出した結果の一例を示す模式図である。図２とは異なる判定処理の流れを説明するフローチャートである。図６に示すフローチャートにより判定処理された場合の判定結果の一例を示す図である。図２に示す判定処理の変形例を示すフローチャートである。図６に示す判定処理の変形例を示すフローチャートである。

符号の説明

１０画像データ判定装置
１２ＣＰＵ
１４ＲＡＭ
１６ＲＯＭ
１８Ｉ／Ｏインタフェース
２０通信インタフェース
２２バス
２４ＣＤ−ＲＯＭドライブ
２８ＦＤドライブ
３４キーボード
３６ポインティングデバイス
３８ディスプレイ
４０スキャナ

Claims

第１及び第２の画像データに含まれる予め定められた属性を有する複数の小領域の各々について特徴量を導出する第１導出手段と、
前記第１の導出手段により導出された前記第１の画像データの小領域毎の特徴量と、前記第１の導出手段により導出された前記第２の画像データの小領域毎の特徴量とに基づいて、前記第１及び第２の画像データの小領域同士の類似度を導出する第２導出手段と、
前記第２の導出手段で導出された類似度が予め定められた第１の閾値より高い小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど高い類似度が導出される第１の導出式を用いて再度類似度を導出し、前記第２の導出手段で導出された類似度が前記第１の閾値以下の小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど低い非類似度が導出され且つ前記第１の導出式を用いて導出される類似度の逆数ではない非類似度が導出される第２の導出式を用いて非類似度を導出する第３導出手段と、
前記第３導出手段で導出された類似度及び非類似度に基づいて、前記第３導出手段で導出された類似度の合計が予め定められた第２の閾値より大きい場合であって、前記第３導出手段で導出された非類似度の合計が予め定められた第３の閾値より大きく且つ予め定められた第４の閾値より小さい場合に、前記第１及び第２の画像データが同じ種類の帳票に基づく画像データであると判定する判定手段と、
を備えた画像データ判定装置。
前記判定手段は、更に、前記第３導出手段で導出された非類似度の合計が前記第３の閾値以下の場合には、前記第１及び第２の画像データが同一の帳票に基づく画像データであると判定する、
請求項１に記載の画像データ判定装置。
前記判定手段は、更に、前記第３導出手段で導出された類似度の合計が前記第２の閾値以下の場合、及び前記第３導出手段で導出された非類似度の合計が前記第４の閾値以上の場合の少なくとも一方の場合には、前記第１及び第２の画像データが異なる種類の帳票に基づく画像データであると判定する、
請求項１または２に記載の画像データ判定装置。
第１及び第２の画像データに含まれる予め定められた属性を有する複数の小領域の各々について特徴量を導出する第１導出手段と、
前記第１の導出手段により導出された前記第１の画像データの小領域毎の特徴量と、前記第１の導出手段により導出された前記第２の画像データの小領域毎の特徴量とに基づいて、前記第１及び第２の画像データの小領域同士の類似度を導出する第２導出手段と、
前記第２の導出手段で導出された類似度が予め定められた第１の閾値より高い小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど高い類似度が導出される第１の導出式を用いて再度類似度を導出し、前記第２の導出手段で導出された類似度が前記第１の閾値以下の小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど低い非類似度が導出され且つ前記第１の導出式を用いて導出される類似度の逆数ではない非類似度が導出される第２の導出式を用いて非類似度を導出する第３導出手段と、
前記第３導出手段で導出された類似度及び非類似度に基づいて、前記第３導出手段で導出された非類似度の合計が予め定められた第２の閾値より小さい場合であって、前記第３導出手段で導出された類似度の合計が予め定められた第３の閾値より大きく且つ予め定められた第４の閾値より小さい場合に、前記第１及び第２の画像データが同じ種類の帳票に基づく画像データであると判定する判定手段と、
を備えた画像データ判定装置。
前記判定手段は、更に、前記第３導出手段で導出された類似度の合計が前記第４の閾値以上の場合には、前記第１及び第２の画像データが同一の帳票に基づく画像データであると判定する、
請求項４に記載の画像データ判定装置。
前記判定手段は、更に、前記第３導出手段で導出された非類似度の合計が前記第２の閾値以上の場合、及び前記第３導出手段で導出された類似度の合計が前記第３の閾値以下の場合の少なくとも一方の場合には、前記第１及び第２の画像データが異なる種類の帳票に基づく画像データであると判定する、
請求項４または５に記載の画像データ判定装置。
第１及び第２の画像を読み取って第１及び第２の画像データを生成する読取手段と、
請求項１〜請求項６のいずれか１項記載の画像データ判定装置と、
画像データを記憶するための記憶手段と、
前記判定手段で同じ種類の帳票に基づく画像データであると判定された第１及び第２の画像データを関連付けて前記記憶手段に記憶するように制御する制御手段と、
を備えた画像データ判定システム。
コンピュータを、
第１及び第２の画像データに含まれる予め定められた属性を有する複数の小領域の各々について特徴量を導出する第１導出手段、
前記第１の導出手段により導出された前記第１の画像データの小領域毎の特徴量と、前記第１の導出手段により導出された前記第２の画像データの小領域毎の特徴量とに基づいて、前記第１及び第２の画像データの小領域同士の類似度を導出する第２導出手段、
前記第２の導出手段で導出された類似度が予め定められた第１の閾値より高い小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど高い類似度が導出される第１の導出式を用いて再度類似度を導出し、前記第２の導出手段で導出された類似度が前記第１の閾値以下の小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど低い非類似度が導出され且つ前記第１の導出式を用いて導出される類似度の逆数ではない非類似度が導出される第２の導出式を用いて非類似度を導出する第３導出手段、及び
前記第３導出手段で導出された類似度及び非類似度に基づいて、前記第３導出手段で導出された類似度の合計が予め定められた第２の閾値より大きい場合であって、前記第３導出手段で導出された非類似度の合計が予め定められた第３の閾値より大きく且つ予め定められた第４の閾値より小さい場合に、前記第１及び第２の画像データが同じ種類の帳票に基づく画像データであると判定する判定手段、
として機能させるためのプログラム。
コンピュータを、
第１及び第２の画像データに含まれる予め定められた属性を有する複数の小領域の各々について特徴量を導出する第１導出手段、
前記第１の導出手段により導出された前記第１の画像データの小領域毎の特徴量と、前記第１の導出手段により導出された前記第２の画像データの小領域毎の特徴量とに基づいて、前記第１及び第２の画像データの小領域同士の類似度を導出する第２導出手段、
前記第２の導出手段で導出された類似度が予め定められた第１の閾値より高い小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど高い類似度が導出される第１の導出式を用いて再度類似度を導出し、前記第２の導出手段で導出された類似度が前記第１の閾値以下の小領域の組み合わせについては、前記第２の導出手段で導出された類似度を示す値を変数とし、前記第２の導出手段で導出された類似度が高いほど低い非類似度が導出され且つ前記第１の導出式を用いて導出される類似度の逆数ではない非類似度が導出される第２の導出式を用いて非類似度を導出する第３導出手段、及び
前記第３導出手段で導出された類似度及び非類似度に基づいて、前記第３導出手段で導出された非類似度の合計が予め定められた第２の閾値より小さい場合であって、前記第３導出手段で導出された類似度の合計が予め定められた第３の閾値より大きく且つ予め定められた第４の閾値より小さい場合に、前記第１及び第２の画像データが同じ種類の帳票に基づく画像データであると判定する判定手段、
として機能させるためのプログラム。