JP4784299B2 - 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、例えば追記情報の解析処理などにおいて行なわれる原本ドキュメントと追記ドキュメントとの差分データに含まれる欠損部の修復処理など、様々なデータ抽出処理によって得られた欠損部を含む線画データの修復を効率的に実行する画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。

画像処理の分野において、例えばプリンタやＦＡＸなどから出力したドキュメントに、ユーザがペンや鉛筆、スタンプなどで追記した部分を抽出したり、セキュリティ文書が改竄されていないかどうかを検証する処理について、様々な研究、開発が行なわれている。一般的に、このような追記、改竄検証処理には、オリジナルのドキュメントデータと、追記等の可能性がある出力ドキュメントとの比較を行う処理が行なわれる。

すなわち、追記の検出を行なおうとする文書をスキャナなどの画像読取装置でスキャンして得たスキャン画像データと、ＰＣやプリンタなどに蓄積されている原本画像データとの差分を取り、追記画像データを得るというものである。

ところが、この方法では、紙文書に元からあった文字や図形などと追記した部分に重なりがある場合、原本との差分を取って追記情報を得ようとした場合、取得された追記情報に、原本との重なり部分が含まれず、追記された文字や、図形などが途切れたデータとなってしまうという問題があった。

このような問題点を解決することを目的とした従来技術として、例えば特許文献１がある。特許文献１は、スキャン画像から原本画像を差し引いた追記画像の途切れ修復に関する構成を開示しており、原本画像の黒画素を順次走査し、着目黒画素の８近傍に追記画像の黒画素があるとき、着目画素に相当する追記画像の画素を黒にするといった処理によって途切れを修復する構成を開示している。

さらに、特許文献２は、スキャン画像から原本画像を差し引く差分処理により生成した追記画像から、途切れた追記の輪郭を作成し、輪郭画像から原稿画像を更に差し引くことで接続すべき端点の座標と接続方向を検出し、さらに、その端点位置と接続方向の情報から端点同士を接続し閉曲線を構成しその内部を着色することにより、途切れの発生してしまった検出追記情報を接続して、途切れを修復した追記情報を取得する構成を開示している。

しかし、追記情報を検出しようとする文書のスキャン画像には画質の劣化、すなわち、かすれ具合や色合いに変化が発生している可能性が高く、場合によっては、プリントおよび追記の後、何回かコピーされているかも知れない。特に追記部分はかすれなど画質劣化が激しいため、追記情報を検出しようとする文書のスキャン画像から抽出した追記部分の輪郭は、直線ではなくジグザグになる場合が多い。このため、端点および補間方向の特定が困難となり、上記の特許文献の手法を適用しても、完全な形の修復した追記情報を取得することが困難となるという問題がある。

また、途切れを修復して追記情報を取得する構成において、ペンや鉛筆などによって追記された文字などの細線からなる追記情報の修復は、比較的、正確に行なうことが可能であるが、例えば、原本の文字上をラインマーカで印をつけた処理などを実行した場合、あるいはマーカやマジックなどで追記された文字など、比較的太い追記情報に対する修復は、正確に行なうことが難しいという問題がある。
特開平０８−０６３５４６号公報 特開２００４−２１３２３０号公報

本発明は、上述の問題点に鑑みてなされたものであり、例えばドキュメントからの追記情報抽出処理において、追記情報抽出対象文書と原本との差分に基づいて抽出される差分データなどに含まれる欠損部を、効率的に正確に修復することを可能とするものであり、特に太い線分を持つ追記情報について、その欠損部を正確に修復して、追記情報を正確に取得可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理装置であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出手段と、
前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報の線幅を検出する追記線幅検出手段と、
前記追記線幅検出手段の検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理切り替え手段と、
前記追記情報抽出手段の生成した追記抽出画像を入力し、前記処理切り替え手段によって処理対象として決定された太線追記情報に対して太線用の追記欠損部修復処理を実行する太線追記欠損部修復手段と、
前記追記情報抽出手段の生成した追記抽出画像を入力し、前記処理切り替え手段によって処理対象として決定された細線追記情報に対して細線用の追記欠損部修復処理を実行する細線追記欠損部修復手段と、
を有することを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記太線追記欠損部修復手段は、膨張処理手段を有し、前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報の膨張処理による欠損部修復処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記細線追記欠損部修復手段は、細線化手段と、端点抽出手段と、端点接続手段を有し、前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報を前記細線化手段において細線化処理を実行し、前記端点抽出手段において、細線化処理結果に基づく端点抽出処理を実行し、前記端点接続手段において、抽出端点の接続処理を実行して欠損部修復処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記細線追記欠損部修復手段は、さらに、膨張処理手段を有し、前記端点接続手段において抽出端点の接続処理によって生成された端点接続データの膨張処理による欠損部修復処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記追記線幅検出手段は、前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報を構成する画素に相当する有効画素数（Ｎ１）と、該追記情報の細線化データの構成画素数（Ｎ２）に基づいて、追記情報の線幅を、下式、
線幅＝Ｎ１／Ｎ２
に従って算出する処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記処理切り替え手段は、前記追記線幅検出手段の検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理において、予め固定した閾値を適用した判定処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記処理切り替え手段は、前記追記線幅検出手段の検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理において、追記の実行されたドキュメントの文字サイズ、または行間隔に応じて決定する閾値を適用した判定処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出手段によって構成されることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出手段によって構成されることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離手段によって構成されることを特徴とする。

さらに、本発明の第２の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理装置であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出手段と、
前記追記情報抽出手段の生成した追記抽出画像を入力し、予め定められた第１の処理シーケンスに従って、追記欠損部修復処理を実行する第１追記欠損部修復手段と、
前記追記情報抽出手段の生成した追記抽出画像を入力し、前記第１の処理シーケンスとは異なる予め定められた第２の処理シーケンスに従って、追記欠損部修復処理を実行する第２追記欠損部修復手段と、
前記第１追記欠損部修復手段の処理結果と、前記第２追記欠損部修復手段の処理結果とのＯＲ処理を実行して、最終的な追記欠損部修復処理結果データを生成するＯＲ処理手段と、
を有することを特徴とする画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記第１追記欠損部修復手段は、膨張処理手段を有し、前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報の膨張処理による欠損部修復処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記第２追記欠損部修復手段は、細線化手段と、端点抽出手段と、端点接続手段と膨張処理手段を有し、前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報を前記細線化手段において細線化処理を実行し、前記端点抽出手段において、細線化処理結果に基づく端点抽出処理を実行し、前記端点接続手段において、抽出端点の接続処理を実行し、前記膨張処理手段において、前記端点接続手段における抽出端点の接続処理によって生成された端点接続データの膨張処理を実行して、欠損部修復処理を実行する構成であることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出手段によって構成されることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出手段によって構成されることを特徴とする。

さらに、本発明の画像処理装置の一実施態様において、前記追記情報抽出手段は、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離手段によって構成されることを特徴とする。

さらに、本発明の第３の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理方法であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の線幅を検出する追記線幅検出ステップと、
前記追記線幅検出ステップにおいて検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理切り替えステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、前記処理切り替えステップにおいて処理対象として決定された太線追記情報に対して太線用の追記欠損部修復処理を実行する太線追記欠損部修復ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、前記処理切り替えステップにおいて処理対象として決定された細線追記情報に対して細線用の追記欠損部修復処理を実行する細線追記欠損部修復ステップと、
を有することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記太線追記欠損部修復ステップは、前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の膨張処理による欠損部修復処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記細線追記欠損部修復ステップは、前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の細線化処理を実行し、細線化処理結果に基づく端点抽出処理を実行し、さらに、抽出端点の接続処理を実行して欠損部修復処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記細線追記欠損部修復ステップは、さらに、前記端点の接続処理によって生成された端点接続データの膨張処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記追記線幅検出ステップは、前記追記情報抽出ステップの生成した追記抽出画像に含まれる追記情報を構成する画素に相当する有効画素数（Ｎ１）と、該追記情報の細線化データの構成画素数（Ｎ２）に基づいて、追記情報の線幅を、下式、
線幅＝Ｎ１／Ｎ２
に従って算出する処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記処理切り替えステップは、前記追記線幅検出ステップにおいて検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理において、予め固定した閾値を適用した判定処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記処理切り替えステップは、前記追記線幅検出ステップにおいて検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理において、追記の実行されたドキュメントの文字サイズ、または行間隔に応じて決定する閾値を適用した判定処理を実行することを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離処理を実行するステップであることを特徴とする。

さらに、本発明の第４の側面は、
欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理方法であり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、予め定められた第１の処理シーケンスに従って、追記欠損部修復処理を実行する第１追記欠損部修復ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、前記第１の処理シーケンスとは異なる予め定められた第２の処理シーケンスに従って、追記欠損部修復処理を実行する第２追記欠損部修復ステップと、
前記第１追記欠損部修復ステップにおける処理結果と、前記第２追記欠損部修復ステップにおける処理結果とのＯＲ処理を実行して、最終的な追記欠損部修復処理結果データを生成するＯＲ処理ステップと、
を有することを特徴とする画像処理方法にある。

さらに、本発明の画像処理方法の一実施態様において、前記第１追記欠損部修復ステップは、前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の膨張処理による欠損部修復処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記第２追記欠損部修復ステップは、前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の細線化処理を実行し、細線化処理結果に基づく端点抽出処理を実行し、抽出端点の接続処理を実行し、抽出端点の接続処理によって生成された端点接続データの膨張処理を実行して、欠損部修復処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出処理を実行するステップであることを特徴とする。

さらに、本発明の画像処理方法の一実施態様において、前記追記情報抽出ステップは、追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離処理を実行するステップであることを特徴とする。

さらに、本発明の第５の側面は、
画像処理装置において、欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行させるコンピュータ・プログラムであり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の線幅を検出する追記線幅検出ステップと、
前記追記線幅検出ステップにおいて検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理切り替えステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、前記処理切り替えステップにおいて処理対象として決定された太線追記情報に対して太線用の追記欠損部修復処理を実行する太線追記欠損部修復ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、前記処理切り替えステップにおいて処理対象として決定された細線追記情報に対して細線用の追記欠損部修復処理を実行する細線追記欠損部修復ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。

さらに、本発明の第６の側面は、
画像処理装置において、欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行させるコンピュータ・プログラムであり、
原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、予め定められた第１の処理シーケンスに従って、追記欠損部修復処理を実行する第１追記欠損部修復ステップと、
前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、前記第１の処理シーケンスとは異なる予め定められた第２の処理シーケンスに従って、追記欠損部修復処理を実行する第２追記欠損部修復ステップと、
前記第１追記欠損部修復ステップにおける処理結果と、前記第２追記欠損部修復ステップにおける処理結果とのＯＲ処理を実行して、最終的な追記欠損部修復処理結果データを生成するＯＲ処理ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の構成によれば、例えば原本ドキュメントと、追記データの付加された追記ドキュメントの差分データのように欠損部を有するデータについての欠損部を解消する修復処理を効率的にかつ正確に実行することができる。具体的には、本発明の画像処理装置の一実施例構成では、追記抽出画像に含まれる欠損部を有する追記情報の線幅を検出し、線幅が細い場合と太い場合とで、それぞれの線幅に適合した処理シーケンスに従った欠損部修復処理を実行する。具体的には、追記情報が太線である場合は膨張処理による修復を実行し、細線である場合は、細線化処理、端点抽出処理、端点接続処理による修復処理を実行する。本構成によって、線幅に応じた最適な欠損部修復が可能となり、より精度の高い追記情報を生成することが可能となる。

また、本発明の一実施例構成によれば、複数の異なる処理シーケンスによる追記情報の欠損部修復処理を並列に実行し、これらの複数の処理結果に基づくＯＲ処理結果を生成して、このＯＲ処理結果を最終的な欠損部修復結果とする。本構成によれば、一方の修復処理シーケンスにおいて修復できなかった欠損部を他方の修復処理シーケンスの結果に基づいて補うことが可能となり、結果としてより完全性の高い追記情報を生成することが可能となる。

以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。

まず、図１以下を参照して、本発明の画像処理装置を適用した処理の概要について説明する。本発明の画像処理装置は、例えば図１に示す原本ドキュメント１０、および、原本ドキュメント１０に対してコメントやアンダーラインなどの様々なメモ書きを含む追記ドキュメント２０とから、差分を抽出して追記されたデータを取得する処理において、差分データの欠損部を修復する処理を行なう。なお、本発明の画像処理装置は、差分データのみならず、その他、様々な処理によって得られた欠損部を有するデータにおける欠損部を解消する処理に適用可能である。

図１に示す例は、その１つの処理例であり、原本ドキュメント１０と、追記ドキュメント２０とをスキャナ３０によって読み取り、原本ドキュメント画像データと、追記ドキュメント画像データを画像処理装置１００に入力して、差分情報取得処理を行い、差分データに含まれる欠損部の修復を行なって追記情報を出力する処理である。

背景技術の欄において説明したように、従来の差分抽出では、原本と追記との重なり部分が途切れた情報が取得されるという問題がある。例えば図２に示すように、原本ドキュメント５１と、追記ドキュメント５２がある場合、本来追記情報は、線分データ５３であるにもかかわらず、原本ドキュメント５１と、追記ドキュメント５２からの差分データを取得すると、追記抽出情報５５に示すように、原本ドキュメント５１と、追記ドキュメント５２が途切れたデータとして検出され、正しい追記データの検出ができない。本発明では、これらの途切れを修復する処理を画像処理装置１００において実行する。

なお、本発明における画像処理では、図２に示す差分データに基づいて検出された追記情報の修復処理のみではなく、その他の手法によって取得された様々な欠損部を含む途切れたデータの修復も実行することができる。例えば、図３（Ａ）は、原本画像を適用することなく、追記ドキュメント６１画像のみから追記抽出情報６２を抽出した処理例を示している。

例えば、追記データが原本画像データに含まれる異なる色（例えば赤）で記録されている場合、この追記色データのみを追記ドキュメント６１から抽出する処理によって、追記抽出情報６２が取得される。しかしこの場合も、原本データとの重なり部分は、途切れた画像として追記情報が取得される。

また、図３（Ｂ）は、罫線付きドキュメント７１から罫線を除去した罫線除去情報７２を取得した処理構成を示している。このような処理を行った場合、罫線部としての直線を除去することで、罫線との重なり部が除去されたデータが出力され、本来のデータの一部が欠落してしまう。

本発明の画像処理装置１００では、このような途切れ、欠落部を持つ画像データについて、欠損部を解消して、途切れのないデータを効率的にかつ正確に生成する処理を行なう。

本発明の画像処理装置の構成および処理の詳細について、図４以下を参照して説明する。本発明の画像処理装置では、欠損部の修復処理を、追記情報が細線である場合と、太線である場合とで切り替えて、異なる修復処理を実行する。すなわち、細線追記欠損部修復手段と、太線追記欠損部修復手段を設け、それぞれの修復手段において、細線の追記欠損部に適した修復処理、および太線の追記欠損部に適した修復処理を実行する。このように太い追記と細い追記に対して、それぞれ異なるシーケンスの欠損部修復処理を適用することで、より正確な欠損部修復が実現される。

本発明の画像処理装置では、追記情報の線幅（太さ）を検出し、その線幅に応じた最適な欠損部（途切れ）修復処理を行い、修復精度を向上させる。追記情報が太いか細いかの判断手法としては、様々な手法が適用可能である。

追記情報の線幅が太いか細いかの判定においては、固定的な数値を閾値として適用する処理としてもよいが、固定的な数値を閾値として適用する処理ではなく、処理対象のドキュメントに応じた判定処理を行なう構成としてもよい。例えば、追記が重なっている文字に対して大きいか、小さいかによって判定する構成とする。すなわち、幅１ｍｍのサインペンで書かれた追記でも、８ポイントなどの小さな文字とした場合は、太い追記として処理したほうが良い結果が得られるし、幅４ｍｍのラインマーカで書かれた追記でも、３６ポイントなどの大きな文字に重なったところでは、細い追記として処理する構成とするなどの処理である。

追記情報の線幅判定に際しては、ページ単位、行単位、文字単位など、様々な単位で、追記情報の線幅判定を行ない、判定結果に基づいて、細線追記欠損部修復手段、または太線追記欠損部修復手段のいずれかにおいて、欠損部修復処理を実行する。

図４を参照して、本発明の画像処理装置の一実施例について説明する。図４に示す画像処理装置は、原本ドキュメント画像データ１５１と追記ドキュメント画像データ１５２を入力して差分を検出し、検出した差分データに基づいて途切れの修復を行なう処理例である。図４に示す画像処理装置は、差分抽出手段２０１、処理切り替え手段２０２、追記線幅検出手段２０３、太線追記欠損部修復手段２０４、細線追記欠損部修復手段２０５を有する。以下、これらの各処理手段の実行する処理について説明する。

［差分抽出手段］
差分抽出手段２０１は、スキャナなどに読み取られた画像データとしての原本ドキュメント画像データ１５１と、原本に含まれない追記を含む追記ドキュメント画像データ１５２を入力して、これらのドキュメントから差分を抽出する。すなわち、追記された情報を２つのドキュメントの差分情報として読み取る。

差分抽出手段２０１は、位置合わせの行われた原本ドキュメント画像データ１５１と追記ドキュメント画像データ１５２との差分を抽出して、追記抽出画像データ１５３を出力する。この処理は、従来の処理と同様であり、特開２００４−２１３２３０、特開２００４−３４１９１４等に記載された処理と同様の処理として実行される。たとえば、原本ドキュメント画像データ１５１の座標位置（ｘ，ｙ）と、追記ドキュメント画像データ１５２の対応座標位置（ｘ，ｙ）の差分の有無を検出し、差分が存在する場合にのみデータを抽出する。

差分抽出処理例について図５を参照して説明する。図５に示す例は、先に説明した図２と同様、原本ドキュメント３０１と、追記ドキュメント３０２から差分抽出を行なっている。追記ドキュメント２０２には、元々の原本ドキュメント３０１には含まれない追記された追記情報３０３が含まれる。差分抽出手段２０１は、原本ドキュメント３０１と、追記ドキュメント３０２から差分抽出を行なって、追記抽出画像データ３０４を生成する。ただし、図から理解されるように、差分抽出によって得られる追記抽出画像データ３０４に含まれる抽出情報は、原本データとの重なり部（図に示す原本に元々記載のある文字［１，２，３］との重なり部）が途切れた不完全な追記データである。この追記抽出画像データが、図４に示す差分抽出手段２０１の出力する追記抽出画像データ１５３に相当する。

［処理切り替え手段、および追記線幅検出手段］
処理切り替え手段２０２、および追記線幅検出手段２０３の処理について説明する。追記線幅検出手段２０３は、図４に示す差分抽出手段２０１の出力する追記抽出画像データ１５３に含まれる追記情報の線幅を検出し、処理切り替え手段２０２は、追記線幅検出手段２０３の検出した追記情報の線幅に基づいて、追記情報に含まれる欠損部の修復処理を太線追記欠損部修復手段２０４、または細線追記欠損部修復手段２０５のいずれにおいて実行させるかを決定する。

追記線幅検出手段２０３における追記情報の線幅検出処理例について、図６を参照して説明する。追記情報の線幅検出処理の処理手法には、様々な手法が適用可能である。図６は、その一例を示している。図６に示す追記抽出画像データ３０４は、図４に示す差分抽出手段２０１の出力する追記抽出画像データ１５３に相当する。追記線幅検出手段２０３は、この追記抽出画像データ３０４の細線化処理を実行する。細線化処理は、追記抽出画像データ３０４に含まれる追記情報の線幅を１ドット（画素）幅に設定する処理として実行される。この細線化処理によって生成される画像を図６に示す細線化画像データ３０５とする。

追記線幅検出手段２０３は、追記抽出画像データ３０４に含まれる追記情報の総ドット数（Ｎ１）と、細線化画像データ３０５に含まれる細線化データの総ドット数（Ｎ２）をカウントし、追記抽出画像データ３０４に含まれる追記情報の線幅を下式に従って算出する。
追記情報線幅＝Ｎ１／Ｎ２

処理切り替え手段２０２は、追記線幅検出手段２０３が算出した追記抽出画像データ３０４に含まれる追記情報の線幅（Ｎ１／Ｎ２）に基づいて、追記情報が太線であるか細線であるかを判定する。この判定は、例えば、処理切り替え手段２０２の保持する閾値（Ｔｈ）に基づいて実行される。例えば、
追記情報線幅＝Ｎ１／Ｎ２≧Ｔｈ
であれば、追記情報は太線と判定し、
追記情報線幅＝Ｎ１／Ｎ２＜Ｔｈ
であれば、追記情報は細線と判定する。
処理切り替え手段２０２において、追記情報が太線であると判定されると、図４に示す太線追記欠損部修復手段２０４に、修復処理対象データとしての追記抽出画像データ１５３が出力され、処理切り替え手段２０２において、追記情報が細線であると判定されると、図４に示す細線追記欠損部修復手段２０５に、修復処理対象データとしての追記抽出画像データ１５３が出力され、それぞれの修復手段において、異なる修復処理シーケンスに従って欠損部の修復処理が実行される。

なお、前述したように、処理切り替え手段２０２において実行する追記情報の線幅が太いか細いかの判定処理においては、上述したように固定的な数値を閾値として適用する処理としてもよいが、固定的な数値を閾値として適用する処理ではなく、処理対象のドキュメントに応じた判定処理を行なう構成としてもよい。すなわち、原本ドキュメント画像データ１５１を参照して、追記情報が重なっている文字に対して大きいか、小さいかによって判定する構成としてもよい。

例えば、幅１ｍｍのサインペンで書かれた追記でも、８ポイントなどの小さな文字として原本ドキュメント画像データ１５１に記録されている場合は、太い追記情報であると判定し、幅４ｍｍのラインマーカで書かれた追記でも、３６ポイントなどの大きな文字に重なったところでは、細い追記として判定するなどの処理を実行して、判定結果に基づいて、図４に示す太線追記欠損部修復手段２０４、または細線追記欠損部修復手段２０５に修復処理対象データとしての追記抽出画像データ１５３を出力する。なお、追記情報の線幅判定処理、および修復手段の適用切り替え処理は、ページ単位、行単位、文字単位など、様々な単位で処理を行なうことが可能である。例えば、原本ドキュメント画像データ１５１を参照して、文字部の行間隔を検出して、各行幅に対応した細線と太線の境界値としての閾値を設定する構成としてもよい。

このように、文字の大きさや行間隔などを検出する場合は、図７に示すように、処理切り替え手段２０２は、原本ドキュメント画像データ１５１を入力する構成として、追記情報が重なっている文字に対して大きいか、小さいか、あるいは行間隔に応じて追記情報が細線であるか太線であるかを判定する。

文字の大きさに基づいて追記情報が細線であるか太線であるかを判定する構成とする場合は、処理切り替え手段２０２は、原本ドキュメント画像データ１５１に含まれる文字の大きさを検出する文字外形検出手段と、文字の大きさを基準に追記情報が太線追記であるか細線追記であるかを判別する閾値を決定する閾値決定手段とを有する構成とする。なお、文字の大きさの検出処理は、ＯＣＲなどで文字を認識する前処理として用いられるレイアウト解析技術を適用することができる。また、閾値決定手段は、文字外形検出手段が検出した文字の外形（特に高さ）を基準に、例えば文字の高さの１／２を閾値として設定して適用するなどの処理を行なう構成とする。

また、行間隔に基づいて追記情報が細線であるか太線であるかを判定する構成とする場合は、行間隔を検出する行間隔検出手段と、行間隔に応じて追記情報が太線追記であるか細線追記であるかを判別する閾値を決定する閾値決定手段を持つ構成とする。なお、行間隔の検出処理は、ＯＣＲなどで文字を認識する前処理として用いられるレイアウト解析技術を適用することができる。また、閾値決定手段は、行間隔検出手段が検出した行の間隔を基準に、例えば行間隔の１／２を閾値として設定して適用するなどの処理を行なう構成とする。

［太線追記欠損部修復手段２０４］
次に、太線追記欠損部修復手段２０４における処理について説明する。太線追記欠損部修復手段２０４では、追記情報が太線であると判定された場合に、追記に含まれる欠損部の修復処理を、太線に適した処理によって実行する。

太線追記欠損部修復手段２０４は、太い追記の途切れを修復するのに適した修復処理を行なう。太い追記の途切れを修復するのに適した修復処理には、様々な手法があるが、その１つの膨張処理を適用した修復処理について、図８を参照して説明する。

太線追記欠損部修復手段２０４は、追記抽出画像データ３０４を入力する。これは、図４に示す差分抽出手段２０１の生成した追記抽出画像データ１５３に相当する。太線追記欠損部修復手段２０４は、この追記抽出画像データ３０４に対して、膨張処理（太線化処理）を実行する。膨張処理（太線化処理）は、図８に示すように、修復処理対象の欠損部を有する追記情報３１１を上下左右にｎ画素膨らませる処理である。この膨張処理の結果、間隔の短い欠損部は、結合し、途切れが消滅する。この膨張処理によって、欠損部が解消した追記情報３１２を持つ膨張処理画像データ３０６が生成される。なお、膨張量ｎは、例えば３〜１０画素など、処理対象画像に応じて決定する。この膨張処理画像データ３０６が、図４に示す太線追記欠損部修復手段２０４の出力する修復追記抽出画像データ１５５に相当する。

なお、太線追記欠損部修復手段２０４の実行する欠損部修復処理は、上述の膨張処理のみならず、太い追記の途切れを修復するのに適した修復処理なら他の手法を適用してもよい。例えば膨張処理は、追記の太さと途切れ幅の比が概ね３対１以下の場合に有効であり（膨張で途切れが修復できた時点で、追記の太さ変化が気にならない範囲）、ラインマーカのように太い追記はこの条件を満たすため、太線追記欠損部修復手段２０４の実行する修復処理として好ましい処理である。

［細線追記欠損部修復手段２０５］
次に、細線追記欠損部修復手段２０５における処理について説明する。細線追記欠損部修復手段２０５では、追記情報が細線であると判定された場合に、追記に含まれる欠損部の修復処理を、細線に適した処理によって実行する。

細線追記欠損部修復手段２０５は、細い追記の途切れを修復するのに適した修復処理を行なう。細い追記の途切れを修復するのに適した修復処理には、様々な手法があるが、その１つの修復処理例として、細線化処理と、端点抽出処理と、端点接続処理を実行する修復処理例について、図９以下を参照して説明する。

細線追記欠損部修復手段２０５は、図９に示す追記抽出画像データ３０４を入力する。これは、図４に示す差分抽出手段２０１の生成した追記抽出画像データ１５３に相当する。細線追記欠損部修復手段２０５は、細線化手段を有し、細線化手段によって、この追記抽出画像データ３０４に含まれる欠損部を有する追記情報の細線化処理を実行して、細線化処理画像データ３２１を生成する。細線化処理画像データ３２１は、追記情報を例えば１画素の幅を持つ細線化したデータである。

細線追記欠損部修復手段２０５は、さらに、端点抽出手段と、端点接続手段を有し、細線化処理画像データ３２１に含まれる細線化された追記情報から端点を抽出し、抽出端点を接続する処理を実行する。この処理について、図１０、図１１、図１２を参照して説明する。細線追記欠損部修復手段２０５の端点抽出手段は、図１０に示すように、細線化処理画像データ３２１に含まれる細線化された追記情報から端点を抽出する。図に示す端点抽出データ３２２は、Ｐ１〜Ｐ６の６点の端点が抽出された例を示している。

さらに、細線追記欠損部修復手段２０５の端点接続手段は、図１１に示すように、端点抽出データ３２２から端点の接続関係を判定し、接続端点ペア抽出データ３２３を生成する。接続端点ペアの抽出処理は、例えば、以下の３つの処理のいずれかを適用して実行する。
ａ：接続端点ペアの検索対象としての端点の最近接端点を探索し、予め定めた閾値距離以内の端点を接続端点とする。
ｂ：接続端点ペアの検索対象としての端点に連結する線分を構成する数ドットからその線分の延長方向を算出し、その方向にある最近接端点を接続端点とする。
ｃ：接続端点ペアの検索対象としての端点に連結する線分を構成する数十ドットからその線分のフィティング曲線を算出し、その曲線の延長上に位置する最近接端点を接続端点とする。

細線追記欠損部修復手段２０５の端点接続手段は、これらのａ〜ｃのいずれかに対応する２つの端点が検出された場合、これらを接続端点ペアとして抽出し接続する処理を実行する。図１１に示す接続端点ペア抽出データ３２３の例は、端点Ｐ２と端点Ｐ３、端点Ｐ４と端点Ｐ５が接続端点ペアとして抽出された例を示している。

細線追記欠損部修復手段２０５の端点接続手段は、図１２に示すように、接続端点ペア抽出データ３２３の接続端点ペア間の接続処理を実行して、端点接続データ３２４を生成する。この処理の結果、図１２に示す端点接続データ３２４が生成される。この端点接続データ３２４が、図４に示す細線追記欠損部修復手段２０５の出力する修復追記抽出画像データ１５５に相当する。

なお、細線追記欠損部修復手段２０５の生成する端点接続データ３２４は、図１２に示すように、細線データのままであるので、このデータに対して膨張処理を施して、太線化して出力する構成としてもよい。膨張処理（太線化処理）は、線分等の有効画像領域を上下左右にｎ画素膨らませる処理である。この処理により、細線化データは膨張し太線に復元される。この膨張処理結果データを修復追記抽出画像データ１５５として出力する構成としてもよい。

以上、説明したように、本発明の画像処理装置では、欠損部を有する追記情報の線幅に応じて、太線追記欠損部修復手段２０４と、細線追記欠損部修復手段２０５によって、それぞれ太線および細線の欠損部修復に適応した処理を実行する構成としたので、各追記情報の線幅に適応した最適な修復によって、より精度の高い追記情報修復が実現される。

次に、図１３に示すフローチャートを参照して、図４に示す画像処理装置において実行する処理シーケンスについて説明する。まず、ステップＳ１０１において、追記情報を含む追記ドキュメント画像データを取得する。これは、例えばスキャナなどによって読み取られた画像データである。さらに、ステップＳ１０２において、追記を含まない原本ドキュメント画像データを取得する。これも、例えばスキャナなどによって読み取られた画像データである。

ステップＳ１０３では、これらの２つの画像データに基づく差分抽出処理を実行する。図４に示す差分抽出手段２０１における処理であり、この結果として追記抽出画像データが生成される。ただし、この追記抽出画像データは、追記情報と、原本情報の重なり部が欠落した欠損部を含むデータとなる。

次のステップＳ１０４〜Ｓ１０７の処理は、図４に示す追記線幅検出手段２０３の処理である。追記線幅検出手段２０３は、先に図６を参照して説明したように、まず、ステップＳ１０４において、追記抽出画像データに含まれる追記情報（有効画素）の総ドット数（Ｎ１）を算出する。次にステップＳ１０５において、追記抽出画像データの細線化処理を実行し、ステップＳ１０６において、追記抽出画像データの細線化データ（有効画素）の総ドット数（Ｎ２）をカウントする。さらに、ステップＳ１０７において、追記抽出画像データに含まれる追記情報の線幅を下式に従って算出する。
追記情報線幅＝Ｎ１／Ｎ２

次のステップＳ１０８の判定処理は、図４に示す処理切り替え手段２０２の処理であり、処理切り替え手段２０２の保持する閾値（Ｔｈ）に基づいて実行される。例えば、
追記情報線幅＝Ｎ１／Ｎ２≧Ｔｈ
であれば、追記情報は太線と判定し、
追記情報線幅＝Ｎ１／Ｎ２＜Ｔｈ
であれば、追記情報は細線と判定し、追記情報が太線であると判定されると、図４に示す太線追記欠損部修復手段２０４に、修復処理対象データとしての追記抽出画像データ１５３を出力し、細線であると判定されると、細線追記欠損部修復手段２０５に、修復処理対象データとしての追記抽出画像データ１５３を出力する。なお、この判定処理は、先に説明したように、文字の大きさや行間隔などを考慮した判定処理を行なう構成としてもよい。

ステップＳ１０９の処理は、追記情報が太線であると判定された場合、図４に示す太線追記欠損部修復手段２０４において実行される太線を対象とした欠損部修復処理である。この処理は、先に図８を参照して説明したように、例えば膨張処理として実行される。

ステップＳ１１０の処理は、追記情報が細線であると判定された場合、図４に示す細線追記欠損部修復手段２０５において実行される細線を対象とした欠損部修復処理である。この処理は、先に図９〜図１２を参照して説明したように、細線化処理、端点抽出処理、端点接続処理を伴う処理として実行される。さらに、最終的に膨張処理を実行する構成としてもよい。

これらの処理によって、欠損部を有する追記情報の線幅に応じた欠損部が修復され、修復追記抽出画像データが生成される。本発明の画像処理では、図４に示す太線追記欠損部修復手段２０４と、細線追記欠損部修復手段２０５によって、それぞれ太線および細線の欠損部修復に適応した処理を実行する構成としたので、各追記情報の線幅に適応した最適な修復によって、より精度の高い追記情報修復が実現される。

なお、太線追記欠損部修復手段２０４と、細線追記欠損部修復手段２０５の処理、すなわち、図１３に示す処理フローにおけるステップＳ１０９とＳ１１０の処理は、並列に実行することが可能であり、例えば処理対象ドキュメント内に含まれる細線追記情報と、太線追記情報を区分して、それぞれの修復手段において欠損部修復処理を並列に実行する構成としてもよい。

なお、図４に示す画像処理装置では、まず、原本ドキュメント画像データ１５１と、原本に含まれない追記を含む追記ドキュメント画像データ１５２を、差分抽出手段２０１に入力して差分抽出によって、追記情報を抽出する処理を行なう構成としていた。

差分抽出を実行する場合は、原本ドキュメントが必要となるが、追記ドキュメントのみを入力として、追記情報を抽出することが可能となる場合もある。例えば、原本の記録情報が全て黒で記録され、追記が全て赤で記録されている追記ドキュメントである場合は、追記ドキュメントから赤で記録された情報のみを抽出する色識別処理によって、追記情報の抽出が可能となる。

このような画像処理装置構成を図１４に示す。図１４に示す画像処理装置と、図４に示す画像処理装置との差異は、図４における差分抽出手段２０１を、図１４では、色抽出手段４０１に変更し、入力情報を追記ドキュメント画像データ１５２のみとした点である。その他の構成および処理は、図４以下を参照して説明した処理、構成と同様である。

図１４に示す画像処理装置は、原本ドキュメントに含まれる文字情報などの色と、追記された情報の色が異なる場合に適用可能である。例えば、原本がすべて黒の文字、線分によって記録され、追記が赤で行なわれた場合などである。色抽出手段４０１は、追記を含む追記ドキュメント画像データ１５２を入力し、追記ドキュメント画像データ１５２から、追記情報の対応する色（例えば赤）を持つ情報を追記情報として抽出する。なお、追記情報の色情報については、ユーザが入力するなどの処理を行なうことになる。

この色抽出手段４０１において抽出された追記情報は、先に図４を参照して説明した差分抽出手段２０１の生成する追記情報と同様、やはり、原本に含まれる情報との重なりに途切れが発生する場合がある。例えば原本に含まれる黒の文字上に記録された追記された赤色が正確に赤とは認識されず、黒と認識される場合があり、追記抽出手段３０１がこのような重なり部分を追記情報と識別しない場合があるからである。

このような途切れ部分は、先に図４以下を参照して説明した実施例と同様、追記情報の線幅に応じて、それぞれ太線追記欠損部修復手段２０４と、細線追記欠損部修復手段２０５において修復処理が実行され、最終的に正確な追記情報からなる修復追記抽出画像データ１５４が生成される。

さらに、図１５を参照して、差分抽出手段の代わりに罫線分離手段４０２を利用した構成例について説明する。この図１５に示す構成と図４に示す構成との差異は、図４に示す差分抽出手段２０１を罫線分離手段４０２に変更し、入力情報を追記ドキュメント画像データ１５２のみとした点である。その他の構成および処理は、図４以下を参照して説明した処理、構成と同様である。

図１５に示す画像処理装置は、原本ドキュメントが、例えば表などの罫線情報によって構成され、その表に文字などを追記情報として記録した場合に、罫線を含まない追記情報としての文字情報などを抽出する場合に有効となる。罫線分離手段４０２は、追記を含む追記ドキュメント画像データ１５２を入力し、追記ドキュメント画像データ１５２から、罫線のみを削除した追記情報を抽出する。

この罫線分離手段４０２において抽出された追記情報は、先に図４を参照して説明した差分抽出手段２０１の生成する追記情報と同様、やはり、原本に含まれる情報との重なりに途切れが発生する場合がある。例えば原本に含まれる罫線上に記録された追記情報は、罫線情報として削除され、抽出される追記情報に含まれなくなるからである。

このような途切れ部分は、先に図４以下を参照して説明した実施例と同様、追記情報の線幅に応じて、それぞれ太線追記欠損部修復手段２０４と、細線追記欠損部修復手段２０５において修復処理が実行され、最終的に正確な追記情報からなる修復追記抽出画像データ１５４が生成される。

次に、図１６を参照して、本発明の画像処理装置のさらなる実施例について説明する。図１６に示す画像処理装置は、差分抽出手段２０１の生成する追記抽出画像データ１５３を、追記情報の線幅に関わらず、先に図４を参照して説明した太線追記欠損部修復手段２０４に相当する処理を実行する第１追記欠損部修復手段４５１と、細線追記欠損部修復手段２０５に相当する処理を実行する第２追記欠損部修復手段４５２との両手段で、並列に処理を実行し、さらにＯＲ処理手段４５３において、第１追記欠損部修復手段４５１の出力と、第２追記欠損部修復手段４５２の出力のＯＲ処理を実行し、この処理結果を修復追記抽出画像データ１５５として出力する構成としたものである。

図１６に示す第１追記欠損部修復手段４５１と、第２追記欠損部修復手段４５２を具体的な処理手段として示した構成図を図１７に示す。図１６に示す第１追記欠損部修復手段４５１は、図１７に示す膨張処理手段４５４に相当する。図１６に示す第２追記欠損部修復手段４５２は、図１７に示す細線化手段４５５、端点抽出手段４５６、端点接続手段４５７、膨張処理手段４５８に対応する。

図１８を参照して、本実施例の画像処理装置の実行する具体的な処理例について説明する。図１８に示す追記抽出画像データ４６１は、図１７に示す差分抽出手段２０１の生成する追記抽出画像データ１５３に相当する。この追記抽出画像データは、図１７に示す膨張処理手段４５４において、膨張処理が実行され、図１８に示す膨張処理画像データ４６２が生成される。膨張処理によって、追記抽出画像データ４６１に含まれる微小な途切れは修復されるが、膨張処理画像データ４６２に示すように、大きな途切れは修復されず、残存したままである。

この膨張処理に並列して、追記抽出画像データ４６１は、図１７に示す細線化手段４５５、端点抽出手段４５６、端点接続手段４５７、膨張処理手段４５８においても処理がなされる。細線化手段４５５、端点抽出手段４５６、端点接続手段４５７における処理は、先の実施例において、図９〜図１２を参照して説明した処理であり、細線化処理の後、細線化データの端点を抽出し、端点ペアを検出して接続する処理である。この端点接続後のデータが、図１８に示す端点接続細線化データ４６５である。

さらに、図１７に示す膨張処理手段４５８は、この端点接続細線化データ４６５の膨張処理を実行して、図１８に示す膨張処理済み端点接続細線化データ４６６を生成する。図１７に示すＯＲ処理手段４５３は、膨張処理手段４５４の処理結果と、膨張処理手段４５８の処理結果とのＯＲ処理を実行する。すなわち、図１８に示す膨張処理画像データ４６２と、膨張処理済み端点接続細線化データ４６６とを入力して、これらの画像のＯＲ処理を実行する。このＯＲ処理の結果、いずれかの画像の欠損部は、他方の画像によって補われ、ＯＲ処理データ４６７として生成される。このＯＲ処理データ４５７が図１７に示すＯＲ処理手段の出力する修復追記抽出画像データ１５５に相当する。

このように、本処理例では、追記情報の線幅に関わらず、２つの異なる処理シーケンスの欠損部修復処理を実行する手段に並列に同一の追記情報の欠損部修復を実行させて、その結果画像をＯＲ処理することで、一方の修復手段において修復されなかった部分を他方の修復手段で修復されたデータを適用して補うことが可能となり、より完全性の高い修復処理が実現される。

図１９、図２０を参照して、追記情報が、例えばラインマーカなどのように太い線で実行された場合の修復処理例について説明する。図１９には、原本ドキュメント４９１と、ラインマーカによる追記情報４９３の含まれる追記ドキュメント４９２を示している。図１７に示す差分抽出手段２０１は、これらの両ドキュメントから差分を抽出して、追記抽出画像データ４９４を得る。

追記抽出画像データ４９４には欠損部（１，２，３の文字構成部）が含まれる。この欠損部を含む追記抽出画像データについて、第１、第２の欠損部修復手段において、異なる処理シーケンスを適用した欠損部修復処理が実行される。図２０を参照してこの処理を説明する。

図２０に示す追記抽出画像データ４９４は、図１７に示す差分抽出手段２０１によって抽出された追記抽出画像データ１５３に相当する。この追記抽出画像データは、図１７に示す膨張処理手段４５４において、膨張処理が実行され、図２０に示す膨張処理画像データ４９５が生成される。膨張処理によって、追記抽出画像データ４９４に含まれる微小な途切れは修復される。この場合、すべての途切れが解消した例を示している。

この膨張処理に並列して、追記抽出画像データ４９４は、図１７に示す細線化手段４５５、端点抽出手段４５６、端点接続手段４５７、膨張処理手段４５８においても処理がなされる。細線化手段４５５は、追記抽出画像データ４９４に対する細線化処理を実行して、図２０に示す細線化データ４９６を生成する。この細線化データに対する端点接続、膨張処理が実行され、図２０に示す膨張処理済み細線化データ５９７が生成される。

図１７に示すＯＲ処理手段４５３は、膨張処理手段４５４の処理結果と、膨張処理手段４５８の処理結果とのＯＲ処理を実行する。すなわち、図２０に示す膨張処理画像データ４９５と、膨張処理済み細線化データ４９７とを入力して、これらの画像のＯＲ処理を実行する。このＯＲ処理の結果、いずれかの画像の欠損部は、他方の画像によって補われ、ＯＲ処理データ４９８として生成される。このＯＲ処理データ４９８が図１７に示すＯＲ処理手段の出力する修復追記抽出画像データ１５５に相当する。

図２１に示すフローチャートを参照して、本処理例における処理シーケンスについて説明する。まず、ステップＳ２０１において、追記情報を含む追記ドキュメント画像データを取得する。これは、例えばスキャナなどによって読み取られた画像データである。さらに、ステップＳ２０２において、追記を含まない原本ドキュメント画像データを取得する。これも、例えばスキャナなどによって読み取られた画像データである。

ステップＳ２０３では、これらの２つの画像データに基づく差分抽出処理を実行する。図１６または図１７に示す差分抽出手段２０１における処理であり、この結果として追記抽出画像データが生成される。ただし、この追記抽出画像データは、追記情報と、原本情報の重なり部が欠落した欠損部を含むデータとなる。

ステップＳ２０４、Ｓ２０５の処理は、それぞれ図１６に示す第１追記欠損部修復手段４５１、および第２追記欠損部修復手段４５２の処理である。図１７においては、膨張処理手段４５４の処理（Ｓ２０４）と、細線化手段４５５〜膨張処理手段４５８の処理（Ｓ２０５）に相当する。

図１６に示す第１追記欠損部修復手段４５１、すなわち、図１７に示す膨張処理手段４５４は、ステップＳ２０４において、欠損部を有する追記抽出画像データの膨張処理を実行する。また、図１６に示す第２追記欠損部修復手段４５２、すなわち、図１７に示す細線化手段４５５〜膨張処理手段４５８は、ステップＳ２０５において、欠損部を有する追記抽出画像データの細線化処理、端点抽出処理、端点接続処理、膨張処理を実行する。

最後に、ステップＳ２０６において、図１６、図１７に示すＯＲ処理手段４５３が、２つの異なるシーケンスで実行された修復画像のＯＲ処理を実行し、このＯＲ処理結果画像を、最終的な修復追記抽出画像データとして出力する。

これらの処理によって、欠損部を有する追記情報は、異なる複数の処理シーケンスで修復処理が実行され、最終的にこれらの修復処理結果をＯＲ処理することで、一方の修復処理によって修復されなかった途切れ部分を他方の修復処理結果によって補うことが可能となり、より確実な修復がなされた修復追記画像を得ることができる。

最後に、図２２を参照して、上述した処理を実行する画像処理装置のハードウェア構成例について説明する。図２２に示す構成は、例えばＰＣなどの情報処理装置と、スキャナ等の画像データ読み取り部５３１と、プリンタなどの画像データ出力部５３２を備えたハード構成例を示している。

ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち、差分データなどの欠損部を含むデータの抽出処理、追記情報の線幅判定処理、処理対象データに対する膨張処理、細線化処理、端点抽出、接続処理、ＯＲ処理などを含む一連の処理を実行する。制御手段としてのＣＰＵ５０１は、これらの処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する。

ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。

ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。

キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、原本ドキュメント画像データ、追記ドキュメント画像データ等の情報、各種処理において生成されるデータなどを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。データ読み取り部５３１は、ドキュメントの読み取り処理を実行し、データ出力部５３２は、ドキュメントデータの出力処理を実行する。

なお、図２２に示す画像処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の画像処理装置は、図２２に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の構成によれば、例えば原本ドキュメントと、追記データの付加された追記ドキュメントの差分データのように欠損部を有するデータについての欠損部を解消する修復処理を効率的にかつ正確に実行することができる。具体的には、本発明の画像処理装置の一実施例構成では、追記抽出画像に含まれる欠損部を有する追記情報の線幅を検出し、線幅が細い場合と太い場合とで、それぞれの線幅に適合した処理シーケンスに従った欠損部修復処理を実行する。具体的には、追記情報が太線である場合は膨張処理による修復を実行し、細線である場合は、細線化処理、端点抽出処理、端点接続処理による修復処理を実行する。本構成によって、線幅に応じた最適な欠損部修復が可能となり、より精度の高い追記情報を生成することが可能となる。

また、本発明の一実施例構成によれば、複数の異なる処理シーケンスによる追記情報の欠損部修復処理を並列に実行し、これらの複数の処理結果に基づくＯＲ処理結果を生成して、このＯＲ処理結果を最終的な欠損部修復結果とする。本構成によれば、一方の修復処理シーケンスにおいて修復できなかった欠損部を他方の修復処理シーケンスの結果に基づいて補うことが可能となり、結果としてより完全性の高い追記情報を生成することが可能となる。

本発明の画像処理装置を適用した処理の概要について説明する図である。 原本ドキュメントと、追記ドキュメントからの差分データの生成例について説明する図である。 本発明の画像処理装置による処理対象データ例について説明する図である。 本発明の画像処理装置一実施例構成を示すブロック図である。 本発明の画像処理装置において実行する差分抽出処理の具体的な処理例について説明する図である。 本発明の画像処理装置において実行する追記情報の線幅検出処理の具体的な処理例について説明する図である。 本発明の画像処理装置一実施例構成を示すブロック図である。 本発明の画像処理装置において実行する膨張処理の具体的な処理例について説明する図である。 本発明の画像処理装置において実行する細線化処理の具体的な処理例について説明する図である。 本発明の画像処理装置において実行する端点抽出処理の具体的な処理例について説明する図である。 本発明の画像処理装置において実行する接続端点ペア抽出処理の具体的な処理例について説明する図である。 本発明の画像処理装置において実行する端点接続処理の具体的な処理例について説明する図である。 本発明の画像処理装置における処理シーケンスを説明するフローチャートを示す図である。 本発明の画像処理装置の一実施例構成を示すブロック図である。 本発明の画像処理装置の一実施例構成を示すブロック図である。 本発明の画像処理装置の一実施例構成を示すブロック図である。 本発明の画像処理装置の一実施例構成を示すブロック図である。 本発明の画像処理装置において実行する具体的な処理例について説明する図である。 本発明の画像処理装置において実行する具体的な処理例について説明する図である。 本発明の画像処理装置において実行する具体的な処理例について説明する図である。 本発明の画像処理装置における処理シーケンスを説明するフローチャートを示す図である。 本発明の画像処理装置のハードウェア構成例について説明する図である。

符号の説明

１０ 原本ドキュメント
２０ 追記ドキュメント
３０ スキャナ
５１ 原本ドキュメント
５２ 追記ドキュメント
５３ 線分データ
５５ 追記情報
６１ 追記ドキュメント
６２ 追記情報
７１ 罫線付きドキュメント
７２ 罫線除去情報
１００ 画像処理装置
１５１ 原本ドキュメント画像データ
１５２ 追記ドキュメント画像データ
１５３ 追記抽出画像データ
１５５ 修復追記抽出画像データ
２０１ 差分抽出手段
２０２ 処理切り替え手段
２０３ 追記線幅検出手段
２０４ 太線追記欠損部修復手段
２０５ 太線追記欠損部修復手段
３０１ 原本ドキュメント画像データ
３０２ 追記ドキュメント画像データ
３０３ 追記情報
３０４ 追記抽出画像データ
３０５ 細線化画像データ
３０６ 膨張処理画像データ
３２１ 細線化処理画像データ
３２２ 端点抽出データ
３２３ 接続端点ペア抽出データ
３２４ 端点接続データ
４０１ 色抽出手段
４０２ 罫線分離手段
４５１ 第１追記欠損部修復手段
４５２ 第２追記欠損部修復手段
４５３ ＯＲ手段
４５４ 膨張処理手段
４５５ 細線化手段
４５６ 端点抽出手段
４５７ 端点接続手段
４５８ 膨張手段
４６１ 追記抽出画像データ
４６２ 膨張処理画像データ
４６５ 端点接続細線化データ
４６６ 膨張処理済み端点接続細線化データ
４６７ ＯＲ処理データ
４９１ 原本ドキュメント
４９２ 追記ドキュメント
４９３ 追記情報
４９４ 追記抽出画像データ
４９５ 膨張処理画像データ
４９６ 細線化データ
４９７ 膨張処理済み細線化データ
４９８ ＯＲ処理データ
５０１ ＣＰＵ(Central Processing Unit)
５０２ ＲＯＭ（Read-Only-Memory）
５０３ ＲＡＭ（Random Access Memory）
５０４ ホストバス
５０５ ブリッジ
５０６ 外部バス
５０７ インタフェース
５０８ キーボード
５０９ ポインティングデバイス
５１０ ディスプレイ
５１１ ＨＤＤ（Hard Disk Drive）
５１２ ドライブ
５１４ 接続ポート
５１５ 通信部
５２１ リムーバブル記録媒体
５２２ 外部接続機器
５３１ データ読み取り部
５３２ データ出力部

Claims (12)

1. 欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理装置であり、
   原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出手段と、
   前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報の線幅を検出する追記線幅検出手段と、
   前記追記線幅検出手段の検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理切り替え手段と、
   前記追記情報抽出手段の生成した追記抽出画像を入力し、前記処理切り替え手段によって処理対象として決定された太線追記情報に対して太線用の追記欠損部修復処理を実行する太線追記欠損部修復手段と、
   前記追記情報抽出手段の生成した追記抽出画像を入力し、前記処理切り替え手段によって処理対象として決定された細線追記情報に対して細線用の追記欠損部修復処理を実行する細線追記欠損部修復手段と、
   を有することを特徴とする画像処理装置。
2. 前記太線追記欠損部修復手段は、膨張処理手段を有し、
   前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報の膨張処理による欠損部修復処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
3. 前記細線追記欠損部修復手段は、細線化手段と、端点抽出手段と、端点接続手段を有し、
   前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報を前記細線化手段において細線化処理を実行し、前記端点抽出手段において、細線化処理結果に基づく端点抽出処理を実行し、前記端点接続手段において、抽出端点の接続処理を実行して欠損部修復処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
4. 前記細線追記欠損部修復手段は、さらに、膨張処理手段を有し、
   前記端点接続手段において抽出端点の接続処理によって生成された端点接続データの膨張処理による欠損部修復処理を実行する構成であることを特徴とする請求項３に記載の画像処理装置。
5. 前記追記線幅検出手段は、
   前記追記情報抽出手段の生成した追記抽出画像に含まれる追記情報を構成する画素に相当する有効画素数（Ｎ１）と、該追記情報の細線化データの構成画素数（Ｎ２）に基づいて、追記情報の線幅を、下式、
   線幅＝Ｎ１／Ｎ２
   に従って算出する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
6. 前記処理切り替え手段は、
   前記追記線幅検出手段の検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理において、予め固定した閾値を適用した判定処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
7. 前記処理切り替え手段は、
   前記追記線幅検出手段の検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理において、追記の実行されたドキュメントの文字サイズ、または行間隔に応じて決定する閾値を適用した判定処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
8. 前記追記情報抽出手段は、
   原本ドキュメント画像データと、前記追記ドキュメント画像データを入力し、２つの入力画像データの差分を抽出する差分抽出手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
9. 前記追記情報抽出手段は、
   追記ドキュメント画像データを入力し、該追記ドキュメント画像データから特定の色の記録情報を追記情報として抽出する色抽出手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
10. 前記追記情報抽出手段は、
    追記ドキュメント画像データを入力し、該追記ドキュメント画像データから罫線情報を削除し、罫線情報以外の情報を追記情報として抽出する罫線分離手段によって構成されることを特徴とする請求項１に記載の画像処理装置。
11. 欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行する画像処理方法であり、
    原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
    前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の線幅を検出する追記線幅検出ステップと、
    前記追記線幅検出ステップにおいて検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理切り替えステップと、
    前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、前記処理切り替えステップにおいて処理対象として決定された太線追記情報に対して太線用の追記欠損部修復処理を実行する太線追記欠損部修復ステップと、
    前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、前記処理切り替えステップにおいて処理対象として決定された細線追記情報に対して細線用の追記欠損部修復処理を実行する細線追記欠損部修復ステップと、
    を有することを特徴とする画像処理方法。
12. 画像処理装置において、欠損部を有する修復対象データを入力し、欠損部を解消した復元データを生成する画像処理を実行させるコンピュータ・プログラムであり、
    原本ドキュメントに対して追記処理のなされた追記ドキュメントに基づく追記ドキュメント画像データを入力し、該追記ドキュメント画像から追記情報を抽出した追記抽出画像を生成する追記情報抽出ステップと、
    前記追記情報抽出ステップにおいて生成した追記抽出画像に含まれる追記情報の線幅を検出する追記線幅検出ステップと、
    前記追記線幅検出ステップにおいて検出した追記情報の線幅に応じて細線用の追記欠損部修復処理、または太線用の追記欠損部修復処理のいずれを実行するかを判定する処理切り替えステップと、
    前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、前記処理切り替えステップにおいて処理対象として決定された太線追記情報に対して太線用の追記欠損部修復処理を実行する太線追記欠損部修復ステップと、
    前記追記情報抽出ステップにおいて生成した追記抽出画像を入力し、前記処理切り替えステップにおいて処理対象として決定された細線追記情報に対して細線用の追記欠損部修復処理を実行する細線追記欠損部修復ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。

Images