JP4275973B2

JP4275973B2 - 加筆画像抽出装置、プログラム、記憶媒体及び加筆画像抽出方法

Info

Publication number: JP4275973B2
Application number: JP2003077178A
Authority: JP
Inventors: 裕文堀川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-03-20
Filing date: 2003-03-20
Publication date: 2009-06-10
Anticipated expiration: 2023-03-20
Also published as: JP2004287682A

Description

【０００１】
【発明の属する技術分野】
本発明は、加筆画像抽出装置、プログラム、記憶媒体及び加筆画像抽出方法に関する。
【０００２】
【従来の技術】
従来、電子的なファイル（電子ファイル文書）から紙へ印刷出力された文書（プリンタ出力文書）をスキャナで読み取って、文字認識を行うことで、再生された電子ファイル文書を効率的に取得するためのシステムが知られている（例えば、特許文献１参照）。
【０００３】
この特許文献１に記載されているシステムによれば、電子ファイル文書の内容を紙に印刷出力する際に、その文書のレイアウトと内容とに基づいてその文書の内容の同定のための誤り訂正符号を含むマーカーを発生して同じ紙面に印刷しておき、その紙面上の文字をスキャナで読取り認識して電子ファイル文書を再生する場合に、マーカーに含まれている誤り訂正符号を用いて認識誤りの検出・訂正を行う。これにより、特許文献１に記載されているシステムは、電子ファイル文書の内容が印刷出力された紙面（プリンタ出力文書）から、電子化ファイルを正しく再生できる。
【０００４】
しかしながら、特許文献１に記載されているシステムによれば、プリンタ出力文書に加筆修正を加えることは想定していないか、たとえ想定していたとしても、その修正内容を元の電子ファイル文書に反映する手段は存在しなかった。そのため、例えば、出張先、自宅、通勤途上などで、プリンタ出力文書の内容に関連して思いついたアイデア等を紙面上に加筆修正したとしても、その状態では元の電子ファイル文書には反映できないことから、後日、加筆修正内容を参照しながら利用者が改めてワープロソフトウェア等を用いて入力（例えばタイピングにより入力）しなければならないという問題があった。
【０００５】
そこで、スキャナ等の画像入力手段によって入力された加筆重畳画像から、プリンタドライバが作成した加筆修正前のイメージを差分することで加筆修正内容を取得するようにした文書編集装置が提案されている（例えば、特許文献２参照）。
【０００６】
【特許文献１】
特開平７−１０８９１２号公報
【特許文献２】
特開平１１−２７２６５４号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、特許文献２の文書編集装置によれば、プリンタドライバが作成した電子原稿画像とスキャナ等のデバイスから入力された加筆重畳画像との間で単純な差分処理を行う事で加筆修正内容を抽出しているが、この方法では電子原稿と加筆重畳画像の間で全体的または局所的なズレが発生した場合に、そのズレの影響として差分処理後に引き残しが発生するという問題がある。また、印刷された枠や文字等の上に加筆があった場合、差分処理によって加筆した情報が失われてしまうという問題もある。
【０００８】
本発明の目的は、差分処理後における引き残しの発生を防止することができ、加筆画像の抽出精度を向上させることができる加筆画像抽出装置、プログラム、記憶媒体及び加筆画像抽出方法を提供することである。
【０００９】
【課題を解決するための手段】
請求項１記載の発明の加筆画像抽出装置は、電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像から加筆画像を抽出する加筆画像抽出装置において、前記加筆重畳画像を入力する加筆重畳画像入力手段と、前記電子文書の原稿画像における文字画像領域と文字画像領域以外の領域とを黒画素の分布に応じて識別する第一領域識別手段と、この第一領域識別手段で識別した領域識別情報に基づき、前記加筆重畳画像入力手段から入力された加筆重畳画像における文字画像領域と文字画像領域以外の領域とを識別する第二領域識別手段と、この第二領域識別手段により識別された各々の領域と前記第一領域識別手段により識別された各々の領域とについてのそれぞれの位置ズレ量の検出を行う画像位置検出手段と、この画像位置検出手段によって検出した位置ズレ量に基づいて位置を補正して差分処理を行う画像差分処理手段と、を備える。
【００１０】
したがって、電子文書の原稿画像と加筆重畳画像との間でズレが発生した場合であっても、位置ズレを補正してから差分処理が行われることにより、差分処理後における引き残しの発生を防止することが可能になるので、加筆画像の抽出精度を向上させることが可能になる。
【００１１】
請求項２記載の発明は、請求項１記載の加筆画像抽出装置において、前記電子文書の原稿画像と前記加筆重畳画像とを、それぞれ格子状の小領域画像に分割する領域分割手段を更に備え、前記画像位置検出手段は、前記領域分割手段により分割された小領域画像間に生じる位置ズレ量の検出を行う。
【００１２】
したがって、局所的な位置ズレを補正してから差分処理が行われることにより、加筆画像の抽出精度を更に向上させることが可能になる。
【００１３】
請求項３記載の発明は、請求項２記載の加筆抽出装置において、前記第一領域識別手段は、識別した前記電子文書の原稿画像の各々の領域内の黒画素密度を算出し、前記領域分割手段は、前記第一領域識別手段が算出した前記電子文書の原稿画像の黒画素密度の大小に応じて分割する格子の大きさを変更する。
【００１４】
したがって、黒画素密度が大きい場合には、周囲の白画素を多く含めて黒画素密度を下げるために分割格子のサイズを大きくし、黒画素密度が小さい場合には、周囲の白画素を排除して黒画素密度を上げるために分割格子のサイズを小さくすることで、加筆画像の抽出精度を更に向上させることが可能になる。
【００１５】
請求項４記載の発明は、請求項１ないし３のいずれか一記載の加筆画像抽出装置において、前記第一領域識別手段及び前記第二領域識別手段は、画像中の文字行を検出し、検出した文字行中から文字画像を文字単位で切り出す文字認識手段を備え、前記文字認識手段を用いて文字画像領域と文字画像領域以外の領域とを識別し、文字画像の認識結果と確信度と外接矩形領域とを出力する。
【００１６】
したがって、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域とを容易に識別することが可能になる。
【００１７】
請求項５記載の発明は、請求項４記載の加筆画像抽出装置において、前記第一領域識別手段及び前記第二領域識別手段は、前記文字認識手段により切り出された文字画像を、黒画素密度が大きい文字画像領域として出力する。
【００１８】
したがって、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域との識別を簡易に行うことが可能になる。
【００１９】
請求項６記載の発明は、請求項１ないし５のいずれか一記載の加筆画像抽出装置において、前記画像差分処理手段は、相関計算によって位置合わせが行われた画像間の相関値が、所定の閾値Ｔｈ_１以上の場合にのみ差分処理を行う。
【００２０】
したがって、加筆があった領域のみに対して差分処理を行うことが可能になる。
【００２１】
請求項７記載の発明は、請求項１ないし５のいずれか一記載の加筆画像抽出装置において、前記画像差分処理手段は、相関計算によって位置合わせが行われた位置から所定の画素分をずらした画像間の相関値が、所定の閾値Ｔｈ_１以下であって、かつ、所定の閾値Ｔｈ_２以上の場合にのみ差分処理を行う。
【００２２】
したがって、加筆があった領域のみに対して差分処理を行うことが可能になる。また、加筆重畳画像は電子文書の原稿画像を一度紙に出力した後にスキャナ、デジタルカメラ等のデバイスで入力しているために２枚の画像間には線幅の相違が生じて差分処理に影響することになるが、画素ずらしで差分処理を行うことにより、この線幅の違いによる差分処理に対する影響を減らすことが可能になるので、加筆画像の抽出精度を更に向上させることが可能になる。
【００２３】
請求項８記載の発明のコンピュータに読み取り可能なプログラムは、電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像から加筆画像を抽出する加筆画像抽出装置が有するコンピュータにインストールされるプログラムであって、前記コンピュータに、前記加筆重畳画像を入力する加筆重畳画像入力機能と、前記電子文書の原稿画像における文字画像領域と文字画像領域以外の領域とを黒画素の分布に応じて識別する第一領域識別機能と、この第一領域識別機能で識別した領域識別情報に基づき、前記加筆重畳画像入力機能から入力された加筆重畳画像における文字画像領域と文字画像領域以外の領域とを識別する第二領域識別機能と、この第二領域識別機能により識別された各々の領域と前記第一領域識別機能により識別された各々の領域とについてのそれぞれの位置ズレ量の検出を行う画像位置検出機能と、この画像位置検出機能によって検出した位置ズレ量に基づいて位置を補正して差分処理を行う画像差分処理機能と、を実行させる。
【００２４】
したがって、電子文書の原稿画像と加筆重畳画像との間で全体的または局所的なズレが発生した場合であっても、位置ズレを補正してから差分処理が行われることにより、差分処理後における引き残しの発生を防止することが可能になるので、加筆画像の抽出精度を向上させることが可能になる。
【００２５】
請求項９記載の発明は、請求項８記載のコンピュータに読み取り可能なプログラムにおいて、前記電子文書の原稿画像と前記加筆重畳画像とを、それぞれ格子状の小領域画像に分割する領域分割機能を更に前記コンピュータに実行させ、前記画像位置検出機能は、前記領域分割機能により分割された小領域画像間に生じる位置ズレ量の検出を行う。
【００２６】
したがって、局所的な位置ズレを補正してから差分処理が行われることにより、加筆画像の抽出精度を更に向上させることが可能になる。
【００２７】
請求項１０記載の発明は、請求項９記載のコンピュータに読み取り可能なプログラムにおいて、前記第一領域識別機能は、識別した前記電子文書の原稿画像の各々の領域内の黒画素密度を算出し、前記領域分割機能は、前記第一領域識別機能が算出した前記電子文書の原稿画像の黒画素密度の大小に応じて分割する格子の大きさを変更する。
【００２８】
したがって、黒画素密度が大きい場合には、周囲の白画素を多く含めて黒画素密度を下げるために分割格子のサイズを大きくし、黒画素密度が小さい場合には、周囲の白画素を排除して黒画素密度を上げるために分割格子のサイズを小さくすることで、加筆画像の抽出精度を更に向上させることが可能になる。
【００２９】
請求項１１記載の発明は、請求項８ないし１０のいずれか一記載のコンピュータに読み取り可能なプログラムにおいて、前記第一領域識別機能及び前記第二領域識別機能は、画像中の文字行を検出し、検出した文字行中から文字画像を文字単位で切り出す文字認識機能を前記コンピュータに実行させ、前記文字認識機能を用いて文字画像領域と文字画像領域以外の領域とを識別し、文字画像の認識結果と確信度と外接矩形領域とを出力する。
【００３０】
したがって、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域とを容易に識別することが可能になる。
【００３１】
請求項１２記載の発明は、請求項１１記載のコンピュータに読み取り可能なプログラムにおいて、前記第一領域識別機能及び前記第二領域識別機能は、前記文字認識機能により切り出された文字画像を、黒画素密度が大きい文字画像領域として出力する。
【００３２】
したがって、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域との識別を簡易に行うことが可能になる。
【００３３】
請求項１３記載の発明は、請求項８ないし１２のいずれか一記載のコンピュータに読み取り可能なプログラムにおいて、前記画像差分処理機能は、相関計算によって位置合わせが行われた画像間の相関値が、所定の閾値Ｔｈ_１以上の場合にのみ差分処理を行う。
【００３４】
したがって、加筆があった領域のみに対して差分処理を行うことが可能になる。
【００３５】
請求項１４記載の発明は、請求項８ないし１２のいずれか一記載のコンピュータに読み取り可能なプログラムにおいて、前記画像差分処理機能は、相関計算によって位置合わせが行われた位置から所定の画素分をずらした画像間の相関値が、所定の閾値Ｔｈ_１以下であって、かつ、所定の閾値Ｔｈ_２以上の場合にのみ差分処理を行う。
【００３６】
したがって、加筆があった領域のみに対して差分処理を行うことが可能になる。また、加筆重畳画像は電子文書の原稿画像を一度紙に出力した後にスキャナ、デジタルカメラ等のデバイスで入力しているために２枚の画像間には線幅の相違が生じて差分処理に影響することになるが、画素ずらしで差分処理を行うことにより、この線幅の違いによる差分処理に対する影響を減らすことが可能になるので、加筆画像の抽出精度を更に向上させることが可能になる。
【００３７】
請求項１５記載の発明のコンピュータに読取り可能な記憶媒体は、請求項８ないし１４のいずれか一記載のプログラムを記憶している。
【００３８】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項８ないし１４のいずれか一記載の発明と同様の作用を得ることが可能になる。
【００３９】
請求項１６記載の発明の加筆画像抽出方法は、電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像からの加筆画像の抽出を、コンピュータの処理制御により行う加筆画像抽出方法であって、前記加筆重畳画像を入力する加筆重畳画像入力工程と、前記電子文書の原稿画像における文字画像領域と文字画像領域以外の領域とを黒画素の分布に応じて識別する第一領域識別工程と、この第一領域識別工程で識別した領域識別情報に基づき、前記加筆重畳画像入力工程から入力された加筆重畳画像における文字画像領域と文字画像領域以外の領域とを識別する第二領域識別工程と、この第二領域識別工程により識別された各々の領域と前記第一領域識別工程により識別された各々の領域とについてのそれぞれの位置ズレ量の検出を行う画像位置検出工程と、この画像位置検出工程によって検出した位置ズレ量に基づいて位置を補正して差分処理を行う画像差分処理工程と、を具備する。
【００４０】
したがって、電子文書の原稿画像と加筆重畳画像との間で全体的または局所的なズレが発生した場合であっても、位置ズレを補正してから差分処理が行われることにより、差分処理後における引き残しの発生を防止することが可能になるので、加筆画像の抽出精度を向上させることが可能になる。
【００４１】
請求項１７記載の発明は、請求項１６記載の加筆画像抽出方法において、前記電子文書の原稿画像と前記加筆重畳画像とを、それぞれ格子状の小領域画像に分割する領域分割工程を更に具備し、前記画像位置検出工程は、前記領域分割工程により分割された小領域画像間に生じる位置ズレ量の検出を行う。
【００４２】
したがって、局所的な位置ズレを補正してから差分処理が行われることにより、加筆画像の抽出精度を更に向上させることが可能になる。
【００４３】
請求項１８記載の発明は、請求項１７記載の加筆画像抽出方法において、前記第一領域識別工程は、識別した前記電子文書の原稿画像の各々の領域内の黒画素密度を算出し、前記領域分割工程は、前記第一領域識別工程が算出した前記電子文書の原稿画像の黒画素密度の大小に応じて分割する格子の大きさを変更する。
【００４４】
したがって、黒画素密度が大きい場合には、周囲の白画素を多く含めて黒画素密度を下げるために分割格子のサイズを大きくし、黒画素密度が小さい場合には、周囲の白画素を排除して黒画素密度を上げるために分割格子のサイズを小さくすることで、加筆画像の抽出精度を更に向上させることが可能になる。
【００４５】
請求項１９記載の発明は、請求項１６ないし１８のいずれか一記載の加筆画像抽出方法において、前記第一領域識別工程及び前記第二領域識別工程は、画像中の文字行を検出し、検出した文字行中から文字画像を文字単位で切り出す文字認識工程を具備し、前記文字認識工程を用いて文字画像領域と文字画像領域以外の領域とを識別し、文字画像の認識結果と確信度と外接矩形領域とを出力する。
【００４６】
したがって、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域とを容易に識別することが可能になる。
【００４７】
請求項２０記載の発明は、請求項１９記載の加筆画像抽出方法において、前記第一領域識別工程及び前記第二領域識別工程は、前記文字認識工程により切り出された文字画像を、黒画素密度が大きい文字画像領域として出力する。
【００４８】
したがって、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域との識別を簡易に行うことが可能になる。
【００４９】
請求項２１記載の発明は、請求項１６ないし２０のいずれか一記載の加筆画像抽出方法において、前記画像差分処理工程は、相関計算によって位置合わせが行われた画像間の相関値が、所定の閾値Ｔｈ_１以上の場合にのみ差分処理を行う。
【００５０】
したがって、加筆があった領域のみに対して差分処理を行うことが可能になる。
【００５１】
請求項２２記載の発明は、請求項１６ないし２０のいずれか一記載の加筆画像抽出方法において、前記画像差分処理工程は、相関計算によって位置合わせが行われた位置から所定の画素分をずらした画像間の相関値が、所定の閾値Ｔｈ_１以下であって、かつ、所定の閾値Ｔｈ_２以上の場合にのみ差分処理を行う。
【００５２】
したがって、加筆があった領域のみに対して差分処理を行うことが可能になる。また、加筆重畳画像は電子文書の原稿画像を一度紙に出力した後にスキャナ、デジタルカメラ等のデバイスで入力しているために２枚の画像間には線幅の相違が生じて差分処理に影響することになるが、画素ずらしで差分処理を行うことにより、この線幅の違いによる差分処理に対する影響を減らすことが可能になるので、加筆画像の抽出精度を更に向上させることが可能になる。
【００５３】
【発明の実施の形態】
本発明の第一の実施の形態を図１ないし図１３に基づいて説明する。図１は、本実施の形態のデータ処理システムのシステム構築例を示す模式図である。
【００５４】
本実施の形態のデータ処理システムでは、サーバコンピュータ２にＬＡＮ（Local Area Network）等のネットワーク３を介してクライアントコンピュータ４が複数台接続されたサーバクライアントシステム１を想定する。このサーバクライアントシステム１は、スキャナやデジタルカメラ等の画像入力装置５及びプリンタ等の画像出力装置６をネットワーク３上でシェアし得る環境が整えられている。また、ネットワーク３上には、マルチファンクションペリフェラルと称されるＭＦＰ７が接続され、このＭＦＰ７が画像入力装置５や画像出力装置６として機能するように環境が構築されていても良い。
【００５５】
このようなサーバクライアントシステム１は、例えばイントラネット８を介して別のサーバクライアントシステム１とのデータ通信可能に構築され、インターネット通信網９を介して外部環境とデータ通信可能に構築されている。
【００５６】
サーバコンピュータ２は、各種文書等の画像イメージを電子原稿画像として記憶する画像管理機能と、例えば画像データにＯＣＲ（Optical Character Reader）処理を施してテキストデータを抽出する等の文字認識機能と、後述する本発明の特長的な機能である加筆画像抽出機能を発揮するものである。
【００５７】
以下においては、本発明の特長的な加筆画像抽出機能を発揮する加筆画像抽出装置であるサーバコンピュータ２について説明する。
【００５８】
図２は、本実施の形態における加筆画像抽出装置としてのサーバコンピュータ２のモジュール構成図である。サーバコンピュータ２は、情報処理を行うＣＰＵ（Central Processing Unit）１１、情報を格納するＲＯＭ（Read Only Memory）１２及びＲＡＭ（Random Access Memory）１３等の一次記憶装置１４、後述する圧縮符号を記憶する記憶部であるＨＤＤ（Hard Disk Drive）１５等の二次記憶装置１６、情報を保管したり外部に情報を配布したり外部から情報を入手するためのＣＤ−ＲＯＭドライブ等のリムーバブルディスク装置１７、ネットワーク３を介して画像入力装置５や外部の他のコンピュータと通信により情報を伝達するためのネットワークインターフェース１８、処理経過や結果等を操作者に表示するＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等の表示装置１９、並びに操作者がＣＰＵ１１に命令や情報等を入力するためのキーボード２０、マウス等のポインティングディバイス２１等から構成されており、これらの各部間で送受信されるデータをバスコントローラ２２が調停して動作する。
【００５９】
このようなサーバコンピュータ２では、ユーザが電源を投入するとＣＰＵ１１がＲＯＭ１２内のローダーというプログラムを起動させ、ＨＤＤ１５よりオペレーティングシステムというコンピュータのハードウェアとソフトウェアとを管理するプログラムをＲＡＭ１３に読み込み、このオペレーティングシステムを起動させる。このようなオペレーティングシステムは、ユーザの操作に応じてプログラムを起動したり、情報を読み込んだり、保存を行ったりする。オペレーティングシステムのうち代表的なものとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）等が知られている。これらのオペレーティングシステム上で走る動作プログラムをアプリケーションプログラムと呼んでいる。
【００６０】
ここで、サーバコンピュータ２は、アプリケーションプログラムとして、加筆画像抽出処理プログラムをＨＤＤ１５に記憶している。この意味で、ＨＤＤ１５は、加筆画像抽出処理プログラムを記憶する記憶媒体として機能する。
【００６１】
また、一般的には、サーバコンピュータ２のＨＤＤ１５等の二次記憶装置１６にインストールされる動作プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等に記録され、この記録された動作プログラムがＨＤＤ１５等の二次記憶装置１６にインストールされる。このため、ＣＤ−ＲＯＭ等の光情報記録メディアやＦＤ等の磁気メディア等の可搬性を有する記憶媒体も、加筆画像抽出処理プログラムを記憶する記憶媒体となり得る。さらには、画像加筆画像抽出処理プログラムは、例えばネットワークインターフェース１８を介して外部から取り込まれ、ＨＤＤ１５等の二次記憶装置１６にインストールされても良い。
【００６２】
サーバコンピュータ２は、オペレーティングシステム上で動作する加筆画像抽出処理プログラムが起動すると、この加筆画像抽出処理プログラムに従い、ＣＰＵ１１が各種の演算処理を実行して各部を集中的に制御する。サーバコンピュータ２のＣＰＵ１１が、加筆画像抽出処理プログラムに従って実行する本実施の形態の特長的な処理について以下に説明する。
【００６３】
ここで、サーバコンピュータ２のＣＰＵ１１が加筆画像抽出処理プログラムに従うことにより実現される機能について説明する。図３に示すように、加筆画像抽出装置であるサーバコンピュータ２においては、第一領域識別手段１０１、加筆重畳画像入力手段１０２、第二領域識別手段１０３、領域分割手段１０４、画像位置検出手段１０５、画像差分処理手段１０６、画像合成手段１０７の各機能が、ＣＰＵ１１が加筆画像抽出処理プログラムに従って動作することにより実現される。
【００６４】
なお、以下においては、ＨＤＤ１５に記憶されている電子原稿画像の中から所定の電子原稿画像を選択し、プリンタ等の画像出力装置６やＭＦＰ７から当該電子原稿画像を紙文書として紙に印字出力した後に、この紙文書に対して手書きの加筆が重畳した場合における各種の処理について説明するものである。
【００６５】
第一領域識別手段１０１は、印字出力されて加筆された紙文書の電子原稿画像と同一の電子原稿画像をＨＤＤ１５から取得し、当該電子原稿画像における加筆抽出対象領域内の黒画素密度の分布情報や文字認識処理を施した場合における文字認識結果等の情報を得る。ここで得られた黒画素密度の分布情報や文字認識結果等の情報、及び電子原稿画像は、領域分割手段１０４へと出力される。また、第一領域識別手段１０１での文字認識結果等の情報を得る際の領域識別情報は、第二領域識別手段１０３へと出力される。
【００６６】
ここで、第一領域識別手段１０１について詳細に説明する。図４は、第一領域識別手段１０１の機能構成を示すブロック図である。図４に示すように、第一領域識別手段１０１は、文字認識手段２０１と、黒画素探索／計数手段２０２とにより構成されている。
【００６７】
文字認識手段２０１は、電子原稿画像の加筆抽出対象領域に対して文字認識処理を行い、加筆抽出対象領域中の文字画像領域を取得する。ここで、加筆抽出対象領域は、電子原稿画像を印字出力した紙文書に対して重畳された手書きの加筆事項の抽出を行う領域であって、予め規定された領域である。そして、文字画像領域、文字認識結果、文字認識確信度、文字画像領域内の黒画素密度を電子原稿画像と共に、黒画素探索／計数手段２０２へと出力する。
【００６８】
なお、文字認識処理に含まれる畝検出と文字切り出し処理のみに文字認識手段２０１を使用し、切り出された領域を黒画素密度が大きい文字画像領域として出力するようにしても良い。
【００６９】
黒画素探索／計数手段２０２は、文字認識手段２０１において取得した各々の文字画像領域内の黒画素値総和の計数と、文字画像領域以外の領域にある黒画素部分を探索しその総和の計数を行う。ここで、黒画素探索／計数手段２０２は、発見された黒画素とその近傍領域を黒画素密度の小さい一つの領域とし、文字認識手段２０１から入力される文字画像領域を黒画素密度の大きい複数の領域として、分割後の電子原稿画像と共に第二領域識別手段１０３へと出力する。
【００７０】
図５は、第一領域識別手段１０１による領域識別結果の一例を示す説明図である。図５においては、枠aの中に“加筆の入力対照領域”という文字ｂが記載されている紙文書を想定している。なお、図５に示すＺは、加筆抽出対象領域である。したがって、第一領域識別手段１０１により、右上がりの斜線で示す黒画素密度が大きい領域と、左上がりの斜線で示す黒画素密度が低い領域とに、加筆抽出対象領域Ｚの領域が識別されることになる。斜線で表現されていない部分は、電子原稿上に黒画素が存在しない場所なので、たとえ加筆重畳画像側に黒画素が存在しても加筆画像抽出処理そのものが必要ない部分である。
【００７１】
加筆重畳画像入力手段１０２は、第一領域識別手段１０１において取得した電子原稿画像と同一の電子原稿画像を印字出力した紙文書に対して加筆された状態の紙文書を、スキャナやデジタルカメラ等の画像入力装置５で読み取って電子化した加筆重畳画像を取得する。ここで、取得された加筆重畳画像は、第二領域識別手段１０３へと出力される。
【００７２】
第二領域識別手段１０３は、第一領域識別手段１０１から入力された領域識別情報に基づき、加筆重畳画像入力手段１０２から入力された加筆重畳画像に対して領域分割を施し、それぞれの領域に対して黒画素密度取得の処理を行い、その結果を加筆重畳画像と共に領域分割手段１０４へと出力する。
【００７３】
ここで、第二領域識別手段１０３について詳細に説明する。図６は、第二領域識別手段１０３の機能構成を示すブロック図である。図６に示すように、第二領域識別手段１０３は、文字認識手段３０１と、黒画素計数手段３０２とにより構成されている。
【００７４】
文字認識手段３０１は、第一領域識別手段１０１で行った電子原稿画像に対する領域分割の情報が第一領域識別手段１０１から入力され、その領域のうち文字画像領域に関しては加筆重畳画像内の同領域に対して文字認識処理を行い、各領域の認識結果・認識確信度を黒画素計数手段３０２に出力する。
【００７５】
黒画素計数手段３０２は、第一領域識別手段１０１から文字認識手段３０１を経て入力される各領域内の黒画素値総和を計数する。
【００７６】
上述したように、領域分割手段１０４に対しては、第一領域識別手段１０１からは電子原稿画像と電子原稿画像内の各領域情報が、第二領域識別手段１０３からは加筆重畳画像と加筆重畳画像内の各領域情報が入力される。そこで、領域分割手段１０４は、電子原稿画像内の各領域情報の黒画素密度の分布に基づき、電子原稿画像と加筆重畳画像の２画像の加筆抽出対象領域を格子状の小領域画像に分割する。領域分割手段１０４は、このようにして分割した電子原稿画像と加筆重畳画像を画像位置検出手段１０５へと出力する。また、領域分割手段１０４は、分割数、位置、分割サイズ等の分割情報と、後述する加筆画像抽出後に貼り合わせをする際に下地となる画像とを、画像合成手段１０７へと出力する。
【００７７】
ここで、領域分割手段１０４について詳細に説明する。図７は、領域分割手段１０４の機能構成を示すブロック図である。図７に示すように、領域分割手段１０４は、一次加筆判定手段４０１と、黒画素密度算出／判定手段４０２と、格子分割手段４０３とにより構成されている。
【００７８】
一次加筆判定手段４０１は、第一領域識別手段１０１での電子原稿画像の黒画素密度算出結果と第二領域識別手段１０３での加筆重畳画像の黒画素密度算出結果との各分割領域毎での比較や、文字情報を含んでいる場合は文字認識結果や認識確信度の比較により加筆の有無を判定する。ここで、加筆がないと判定された領域はその領域に対する加筆画像抽出処理を行う必要はない。
【００７９】
黒画素密度算出／判定手段４０２は、第一領域識別手段１０１から入力される各分割領域の黒画素密度の大小を所定の閾値Ｄ_１で判定する。
【００８０】
格子分割手段４０３は、黒画素密度算出／判定手段４０２により判定された各領域の黒画素密度が大きい場合には、周囲の白画素を多く含めて黒画素密度を下げるために分割格子のサイズを大きくし、黒画素密度が小さい場合には、周囲の白画素を排除し黒画素密度を上げるために分割格子のサイズを小さくする。これにより、加筆画像の抽出精度を更に向上させることが可能になる。複数の小領域画像に分割された電子原稿画像と加筆重畳画像の２画像を画像位置検出手段１０５に出力し、分割数、位置、分割サイズ等の分割情報と、第一領域識別手段１０１によって識別された領域以外の画像に対し、一次加筆判定手段４０１で『加筆画像抽出の必要ナシ』と判定された領域を白埋めした画像を、加筆画像抽出後に貼り合わせをする際に下地となる画像として画像合成手段１０７へと出力する。
【００８１】
画像位置検出手段１０５は、領域分割手段１０４で分割された電子原稿画像と加筆重畳画像の小領域画像間に生じる局所的なズレ量を算出し、画像差分処理手段１０６へと出力する。このように、局所的な位置ズレを補正してから差分処理を行うようにすることにより、加筆画像の抽出精度を更に向上させることが可能になる。
【００８２】
ここで、画像位置検出手段１０５について図８を参照しつつ詳細に説明する。画像位置検出手段１０５では、図８に示すように、格子状に細分化され作成された電子原稿画像Ｏ（ｘ，ｙ）の小領域画像ｏ_ml（ｘ，ｙ）が、加筆重畳画像Ａ（ｘ，ｙ）上でどの位置に対応するかを決める。２画像間の対応位置を決定するためには、２画像間で相互相関を計算し相関分布が最大に達する位置を対応位置とする方法や、２画像間で画像差分処理を行い差分画像の黒画素値総和が最小になる位置を対応位置とする方法などが考えられる。ここでは、前者の画像相関計算による位置合わせに関して記述する。
【００８３】
まず、電子原稿画像Ｏ（ｘ，ｙ）の各々の小領域ｏ_ml（ｘ，ｙ）とＡ（ｘ，ｙ）との相関値の分布を計算する。ここで、“ｍ”は第一領域識別手段１０１で識別した領域毎につけたインデックスで、“ｌ”は領域分割手段１０４で分割された格子毎につけたインデックスである。この時に、加筆重畳画像の方も電子原稿画像と同様に、領域分割手段１０４で格子状に細分化し、それをａ_ml（ｘ，ｙ）とすると、空間的に対応する両画像の小領域同士、ｏ_ml（ｘ，ｙ）とａ_ml（ｘ，ｙ）の近傍領域とで相関値計算を行う方が計算時間の観点からも効率的である。この相関値計算の結果、相関値が最も高い値を取る１つの画像の相対位置を『最も確からしい位置』とする。ここで、画像位置検出手段１０５において計算される相関値の分布は、下記の式（１）
【００８４】
【数１】

【００８５】
に示すように定義しておくと、それぞれ小領域内の黒画素値総和や小領域の面積に関係なく、必ず−１．０から＋１．０の間の値を取り、特に画素値が０または１しか取らない２値画像に関しては０から＋１．０までの値を取る。ここで算出した相関値分布Ｃ_ml（ｘ，ｙ）は、画像差分処理手段１０６に対してｏ_ml（ｘ，ｙ）とａ_ml（ｘ，ｙ）と共に出力される。
【００８６】
画像差分処理手段１０６は、画像位置検出手段１０５にて算出した電子原稿画像と加筆重畳画像の小領域画像間に生じる局所的なズレ量を補正するよう位置合わせを行い、電子原稿画像と加筆重畳画像の小領域画像の間で画像差分処理を行う。画像差分処理手段１０６は、その差分処理結果を画像合成手段１０７へと出力する。
【００８７】
ここで、図９は画像差分処理手段１０６における各小領域画像毎の差分処理の流れを示すフローチャートである。図９に示すように、ステップＳ１では、相関値分布Ｃ_ml（ｘ，ｙ）が最大になる座標（ｘ_ｍ，ｙ_ｍ）を検出する。
【００８８】
続くステップＳ２では、第一領域識別手段１０１で決定する黒画素密度に応じて変化する閾値Ｔｈ_１と、相関値分布における最大値Ｃ_ml（ｘ_ｍ，ｙ_ｍ）とを比較する。
【００８９】
閾値Ｔｈ_１の方が小さい場合には（ステップＳ２のＹ）、電子原稿画像と加筆重畳画像に大きな違いが見られない、つまり加筆成分が存在していない可能性が高いので、原稿成分を消去するためにステップＳ３へ進み、電子原稿画像と加筆重畳画像の各小領域画像の位置関係を（ｘ_ｍ，ｙ_ｍ）に対応するズレ量で位置合わせをした後に差分処理を行う。
【００９０】
一方、閾値Ｔｈ_１の方が大きい場合には（ステップＳ２のＮ）、加筆成分が存在している可能性が高いので、加筆成分を残すために差分処理は行わずに、そのまま処理を終了する。
【００９１】
画像合成手段１０７は、画像差分処理手段１０６で行った差分処理の結果の小領域画像を領域分割手段１０４から入力される分割情報に基づき、同じく領域分割手段１０４から入力される下地となる画像に貼り合わせる。全ての小領域画像に対して貼り合わせを行った後、加筆画像として出力する。
【００９２】
次に、上述したような各種機能により実現される加筆画像抽出処理の一連の流れについて説明する。図１０は、加筆画像抽出処理の流れを示すフローチャートである。図１０に示すように、加筆画像抽出処理としては、まず、加筆画像抽出を行う領域の個数Ｎと、それぞれの抽出対象領域の位置、大きさを設定し、電子原稿画像とその画像を紙に出力した後に加筆されスキャナやデジタルカメラ等の画像入力装置５で取り込まれた加筆重畳画像を入力し（ステップＳ１１）、領域数変数ｎを１に設定する（ステップＳ１２）。
【００９３】
続くステップＳ１３では、加筆画像抽出の対象となる領域を加筆重畳画像から切り出し、同時に電子原稿画像からは、先に加筆重畳画像から抽出した領域に対応した領域を切り出す。
【００９４】
その後、ステップＳ１３で切り出された電子原稿画像内に対して領域識別を行い、Ｍ個の小領域に分割し各小領域の黒画素密度と各小領域が文字画像領域か否かの情報と、文字画像であれば文字認識結果、認識確信度、黒画素値総和とを出力し（ステップＳ１４）、小領域数変数ｍを１に設定する（ステップＳ１５）。
【００９５】
ステップＳ１６では、ステップＳ１４で分割されたＭ個の領域のうち、ｍ番目の領域に加筆があるか否かの一次判定を行う。
【００９６】
ここで、ステップＳ１６の処理を、図１１を参照しつつ詳細に説明する。図１１に示すように、ステップＳ３１では、ｍ番目の領域内の画像が文字画像か否かを判定する。ｍ番目の領域内の画像が文字画像の場合には（ステップＳ３１のＹ）、ステップＳ３２へ進み、ｍ番目の領域内の画像が文字画像でない場合には（ステップＳ３１のＮ）、ステップＳ３５へ進む。
【００９７】
ステップＳ３２では、加筆重畳画像側の同じ小領域に文字認識処理を施し、加筆重畳画像側の文字認識結果、文字認識確信度、領域内の黒画素値総和を算出する。
【００９８】
続いて電子原稿画像と加筆重畳画像の文字認識結果を比較し（ステップＳ３３）、結果が一致している場合には（ステップＳ３３のＹ）、ステップＳ３４へ進み、結果が一致していない場合には（ステップＳ３３のＮ）、ｍ番目の領域に加筆があったものとしてステップＳ１７へ進む。
【００９９】
ステップＳ３４では、電子原稿画像と加筆重畳画像の文字認識確信度を比較し、結果に大きな差異がない場合には（ステップＳ３４のＹ）、ステップＳ３５へ進み、結果に大きな差異があった場合には（ステップＳ３４のＮ）、ｍ番目の領域に加筆があったものとしてステップＳ１７へ進む。
【０１００】
ステップＳ３５では、電子原稿画像と加筆重畳画像の小領域中の黒画素値総和を比較し、大きな差異がない場合には（ステップＳ３５のＹ）、ｍ番目の領域に加筆がなかったものとしてステップＳ２３へ進み、大きな差異があった場合があった場合には（ステップＳ３５のＮ）、ｍ番目の領域に加筆があったものとしてステップＳ１７へ進む。
【０１０１】
すなわち、ｍ番目の領域に加筆があった場合には（ステップＳ１６のＹ）、ステップＳ１７に進み、ｍ番目の領域に加筆がなかった場合には（ステップＳ１６のＮ）、後述するステップＳ１７〜Ｓ２２の分割差分処理を行わずに、白紙の画像を差分処理後の画像としてステップＳ２３に進む。
【０１０２】
ステップＳ１７では、ステップＳ１４で分割された領域をＬ個の格子状に細分化する。また、ステップＳ１８では、格子数変数“ｌ”を１に設定する。
【０１０３】
次に、ステップＳ１７で分割された加筆重畳画像と電子原稿画像の小領域画像に対して相関値の分布Ｃ_ml（ｘ，ｙ）を計算し（ステップＳ１９）、加筆重畳画像と電子原稿画像の小領域間の差分処理を行う（ステップＳ２０）。
【０１０４】
その後、格子数変数“ｌ”を１だけ増加させた後（ステップＳ２１）、格子数変数“ｌ”が上限Ｌを超えているか否かをの判定を行う（ステップＳ２２）。ここで、格子数変数“ｌ”が上限Ｌを超えていなければ（ステップＳ２２のＮ）、ステップＳ１９〜Ｓ２２の処理を繰り返す。
【０１０５】
一方、格子数変数“ｌ”が上限Ｌを超えていれば（ステップＳ２２のＹ）、すべての格子状領域についての処理を終えたことになるので、小領域変数ｍを１だけ増加させた後（ステップＳ２３）、小領域変数ｍが上限Ｍを超えているか否かの判定を行う（ステップＳ２４）。ここで、小領域変数ｍが上限Ｍを超えていなければ（ステップＳ２４のＮ）、ステップＳ１６〜Ｓ２４の処理を繰り返す。
【０１０６】
小領域変数ｍが上限Ｍを超えていれば（ステップＳ２４のＹ）、すべての小領域についての処理を終えことになるので、差分処理後の小領域画像を、下地画像に貼り合わせることで加筆のみの画像を作成する（ステップＳ２５）。
【０１０７】
さらに、領域数変数ｎを１だけ増加させた後（ステップＳ２６）、領域数変数ｎが上限Ｎを超えているかどうかの判定を行う（ステップＳ２７）。ここで、領域数変数ｎが上限Ｎを超えていなければ（ステップＳ２７のＮ）、ステップＳ１３〜Ｓ２７の処理を繰り返す。また、領域数変数ｎが上限Ｎを超えていれば（ステップＳ２７のＹ）、ステップＳ２５で張り合わされた加筆画像を出力する（ステップＳ２８）。
【０１０８】
[具体例]
ここで、上述したような加筆画像抽出処理について一例を挙げて具体的に説明する。図１２は、加筆画像抽出処理についての具体例を模式的に示す説明図である。なお、図１２中、電子原稿画像（ａ）と加筆重畳画像（ｂ）とについては、加筆抽出対象領域のみを示したものである。電子原稿画像（ａ）は、枠の中に“加筆の入力対照領域”という文字が記載されている電子原稿画像を想定しており、加筆重畳画像（ｂ）は、枠の中の“加筆の入力対照領域”という文字の“照”を“象”に書き込み訂正した紙文書を読み取った加筆重畳画像を想定している。
【０１０９】
▲１▼ 文字認識処理による領域識別
まず、第一領域識別手段１０１において、電子原稿画像（ａ）に対する文字認識処理を施し、電子原稿画像（ａ）に存在する文字領域画像（ｃ）を検出する。図１２においては、文字領域画像（ｃ）を網掛けで表現している。さらに、電子原稿画像（ａ）から文字領域画像（ｃ）を除くことにより、文字画像以外の黒画素領域である枠線領域画像（ｄ）を検出することができる。以上が、第一領域識別手段１０１での処理である。図１２では９つの文字画像と１つの枠線領域が得られるので、計１０個の小領域情報が出力される。
【０１１０】
▲２▼ 文字領域画像（ｃ）及び枠線領域画像（ｄ）を用いた領域分離
次に、第二領域識別手段１０３において、文字領域画像（ｃ）と枠線領域画像（ｄ）の領域情報を用い、加筆重畳画像（ｂ）から文字領域及び枠線領域を分離する。その結果、加筆重畳画像（ｂ）は、文字領域画像（ｃ）に対応する加筆重畳画像側の文字領域画像（ｅ）、枠線領域画像（ｄ）に対応する加筆重畳画像側の枠線領域画像（ｆ）、文字領域画像（ｅ）と枠線領域画像（ｆ）のどちらでもない領域、つまり電子原稿画像側には黒画素が存在しないが加筆重畳画像側に加筆が存在する可能性のあるその他領域（ｇ）の３つに分離される。
【０１１１】
▲３▼ 文字領域画像（ｃ）の各領域に対する文字認識処理、黒画素計数処理
次に、文字領域画像（ｃ）の各領域に対する文字認識処理、黒画素計数処理を行う。各領域が文字画像領域であるかどうかを判定し、文字画像領域であれば文字認識手段２０１による電子原稿画像（ａ）に対する文字認識処理を行い、黒画素探索／計数手段２０２による黒画素値総和の算出を行う。文字画像領域でなければ、各領域の黒画素値総和の算出のみを行う。
【０１１２】
▲４▼ 文字領域画像（ｅ）の各領域に対する文字認識処理、黒画素計数処理
次に、文字領域画像（ｅ）の各領域に対する文字認識処理、黒画素計数処理を行う。各領域が文字画像領域であるかどうかを判定し、文字画像領域であれば文字認識手段３０１による加筆重畳画像（ｂ）に対する文字認識処理を行い、黒画素計数手段３０２による黒画素値総和の算出を行う。文字画像領域でなければ、黒画素計数手段３０２による各領域の黒画素値総和の算出のみを行う。
【０１１３】
▲５▼ 文字領域画像（ｃ）と文字領域画像（ｅ）を黒画素値、文字認識結果等で比較
加筆重畳画像側の文字領域画像（ｅ）と電子原稿画像側の文字領域画像（ｃ）とについて、それぞれの黒画素値総和、認識結果、認識確信度を比較し、加筆の有無を判定する。
【０１１４】
▲６▼ 枠線領域画像（ｄ）と枠線領域画像（ｆ）を黒画素値で比較
また、加筆重畳画像側の枠線領域画像（ｆ）と電子原稿画像側の枠線領域画像（ｄ）、つまり文字領域以外の領域に関しては黒画素値総和のみを用いて加筆の有無を判定する。
【０１１５】
ここで、図１２中、加筆がある可能性があるのは、文字画像領域に関しては『照』の領域のみ（他の文字は文字認識結果、認識確信度、黒画素値総和の比較において両画像間で大差はない）であり、文字画像領域以外の領域については黒画素値総和が増加しているので、その結果、加筆画像抽出処理の対象となる領域は、加筆抽出対象領域画像（ｈ）となる。
【０１１６】
また、図１２中、下地画像（ｉ）は、その他領域（ｇ）に加筆画像抽出の対象領域とならなかった領域に対し白埋めした画像である。この下地画像（ｉ）は、各文字領域又は枠線領域に対し差分処理を施した後の加筆成分を貼り合わせる下地として使用する。
【０１１７】
ここで、図１３は一次加筆判定手段４０１において差分処理が必要と判定された領域に対する格子分割を示す説明図である。図１３に示すように、加筆抽出対象領域画像（ｈ）においては、文字領域１つと枠線領域１つ、計２つの領域のみが格子分割を行う対象になる。各領域は、黒画素密度算出／判定手段４０２によってその領域内の黒画素密度を判定するので、図１３に示すように黒画素密度の高い文字画像領域は分割サイズを大きくし、黒画素密度の低いその他の領域では小さくする、というように分割格子の大きさが変えられている。
【０１１８】
ここに、電子文書の原稿画像と加筆重畳画像との間でズレが発生した場合であっても、位置ズレを補正してから差分処理が行われることにより、差分処理後における引き残しの発生を防止することが可能になるので、加筆画像の抽出精度を向上させることが可能になる。
【０１１９】
次に、本発明の第二の実施の形態を図１４ないし図１５に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態は、第一の実施の形態とは、第一領域識別手段１０１及び第二領域識別手段１０３の機能構成が異なるものである。
【０１２０】
まず、本実施の形態の第一領域識別手段１０１について詳細に説明する。図１４は、本実施の形態の第一領域識別手段１０１の機能構成を示すブロック図である。図１４に示すように、本実施の形態の第一領域識別手段１０１は、第一概分割手段５０１と、黒画素密度算出手段５０２とにより構成されている。
【０１２１】
第一概分割手段５０１は、電子原稿画像の加筆抽出対象領域を所定の大きさの格子に分割し、分割された電子原稿画像を黒画素探索／計数手段２０２へと出力する。
【０１２２】
黒画素探索／計数手段２０２は、第一概分割手段５０１で分割されたそれぞれの分割領域に対して、格子内における黒画素密度を算出し、それぞれの分割領域の位置、大きさを第二領域識別手段１０３と領域分割手段１０４へ、各領域の黒画素密度の大小と分割後の電子原稿画像を領域分割手段１０４へと出力する。また、計算効率を考えた場合では、格子に分割する大きさを一定にしておけば、『黒画素密度』を計算するよりも『黒画素量』を計算した方がよい。
【０１２３】
図１５は、第一領域識別手段１０１による領域識別結果の一例を示す説明図である。図１５においては、枠aの中に“加筆の入力対照領域”という文字ｂが記載されている紙文書を想定している。なお、図１５に示すＺは、加筆抽出対象領域である。したがって、第一領域識別手段１０１により、右上がりの斜線で示す黒画素密度が大きい領域と、左上がりの斜線で示す黒画素密度が低い領域とに、加筆抽出対象領域Ｚの領域が識別されることになる。斜線で表現されていない部分は、電子原稿上に黒画素が存在しない場所なので、たとえ加筆重畳画像側に黒画素が存在しても加筆画像抽出処理そのものが必要ない部分である。
【０１２４】
次に、本実施の形態の第二領域識別手段１０３について詳細に説明する。図１６は、本実施の形態の第二領域識別手段１０３の機能構成を示すブロック図である。図１６に示すように、本実施の形態の第二領域識別手段１０３は、第二概分割手段６０１と、黒画素密度算出手段６０２とにより構成されている。
【０１２５】
第二概分割手段６０１は、第一領域識別手段１０１で行った電子原稿画像に対する領域分割の情報が第一領域識別手段１０１から入力され、その情報に基づいて加筆重畳画像入力手段１０２から入力される加筆重畳画像を分割する。ただし、入力される領域情報の分割の形状は格子状とは限らない。
【０１２６】
黒画素密度算出手段６０２は、黒画素密度算出手段５０２と同等の機能を有する。ここで、算出される加筆重畳画像における各領域の黒画素密度と加筆重畳画像そのものが領域分割手段１０４へ出力される。
【０１２７】
ここに、電子文書の原稿画像と加筆重畳画像との間でズレが発生した場合であっても、位置ズレを補正してから差分処理が行われることにより、差分処理後における引き残しの発生を防止することが可能になるので、加筆画像の抽出精度を向上させることが可能になる。
【０１２８】
次に、本発明の第三の実施の形態を図１７または図１８に基づいて説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態は、第一の実施の形態とは、画像差分処理手段１０６における各小領域画像毎の差分処理の流れが異なるものである。
【０１２９】
ここで、図１７は画像差分処理手段１０６における各小領域画像毎の差分処理の流れを示すフローチャートである。図１７に示すように、ステップＳ４１では、相関値分布Ｃ_ml（ｘ，ｙ）が最大になる座標（ｘ_ｍ，ｙ_ｍ）を検出する。
【０１３０】
続くステップＳ４２では、第一領域識別手段１０１で決定する黒画素密度に応じて変化する閾値Ｔｈ_１と相関値分布における最大値Ｃ_ml（ｘ_ｍ，ｙ_ｍ）とを比較する。
【０１３１】
閾値Ｔｈ_１の方が大きい場合には（ステップＳ４２のＮ）、加筆成分が存在している可能性が高いので、加筆成分を残すために差分処理は行わずに、そのまま処理を終了する。
【０１３２】
一方、閾値Ｔｈ_１の方が小さい場合には（ステップＳ４２のＹ）、電子原稿画像と加筆重畳画像に大きな違いが見られない、つまり加筆成分が存在していない可能性が高いので、ステップＳ４３以降へ進み、電子原稿画像と加筆重畳画像の各小領域画像の位置関係を（ｘ_ｍ，ｙ_ｍ）に対応するズレ量で位置合わせをした後にその位置の近傍で画素ずらし差分処理を行う。
【０１３３】
ステップＳ４３〜Ｓ４４及びステップＳ４９〜Ｓ５０は、（ｘ_ｍ，ｙ_ｍ）とその周囲の３×３の領域での繰り返し処理を示したものである。この領域の大きさを変える場合は、ステップＳ４３〜Ｓ４４での設定値、ステップＳ４７及びステップＳ４９での加算値、ステップＳ４８及びステップＳ５０での条件値を変更する。
【０１３４】
ステップＳ４５では、ステップＳ４３とステップＳ４４において変更された位置（ｘ_ｍ＋ｘ，ｙ_ｍ＋ｙ）での相関値Ｃ_ml（ｘ_ｍ＋ｘ，ｙ_ｍ＋ｙ）が、閾値Ｔｈ_１と同様に第一領域識別手段１０１で決定する黒画素密度に応じて変化する閾値Ｔｈ_２（Ｔｈ_２＜Ｔｈ_１）を超えているかどうかの判定を行う。
【０１３５】
相関値Ｃ_ml（ｘ_ｍ＋ｘ，ｙ_ｍ＋ｙ）が閾値Ｔｈ_２を超えていない場合には（ステップＳ４５のＮ）、ステップＳ４７に進み、画素ずらし量を変化させる。
【０１３６】
相関値Ｃ_ml（ｘ_ｍ＋ｘ，ｙ_ｍ＋ｙ）が閾値Ｔｈ_２を超えている場合には（ステップＳ４５のＹ）、ステップＳ４６に進み、ここで加筆重畳画像と電子原稿画像、２枚の小領域画像の位置関係を（ｘ_ｍ＋ｘ，ｙ_ｍ＋ｙ）に対応する位置とし画像差分処理を行う。
【０１３７】
このような『画素ずらし』での差分処理を行う理由は、電子原稿画像と加筆重畳画像との間の線幅の違いにある。加筆重畳画像は電子原稿画像を一度紙に出力した後にスキャナ、デジタルカメラ等のデバイスで入力しているため、２枚の画像間には線幅の相違が生じる。この線幅の違いが差分処理に影響し加筆重畳画像の原稿成分の引き残しが発生するため、上記のような画素ずらしでの差分処理が単純な差分処理よりも有効となる。
【０１３８】
また、画像差分処理手段１０６で使う閾値Ｔｈ_１は、黒画素密度が大きい領域と小さい領域で設定を変える。文字画像領域のように格子分割した際に電子原稿画像の格子内の黒画素密度が大きくなる領域の場合には、加筆成分が重畳している場合では相関の最大値が大きくなる傾向にあるので、枠線領域のように格子分割した際に電子原稿画像の格子内の黒画素密度が小さい領域よりも閾値Ｔｈ_１を大きく設定しておくと加筆成分の欠落を防げる。閾値Ｔｈ_２も閾値Ｔｈ_１と同様である。
【０１３９】
例えば、図１８に示すように、枠線領域には閾値Ｔｈ_１または閾値Ｔｈ_２を使用し、文字画像領域には閾値Ｔｈ_１'または閾値Ｔｈ_２'を使用する、というように使い分けることができる。
【０１４０】
ここに、加筆重畳画像は電子文書の原稿画像を一度紙に出力した後にスキャナ、デジタルカメラ等のデバイスで入力しているために２枚の画像間には線幅の相違が生じて差分処理に影響することになるが、画素ずらしで差分処理を行うことにより、この線幅の違いによる差分処理に対する影響を減らすことが可能になるので、加筆画像の抽出精度を更に向上させることが可能になる。
【０１４１】
【発明の効果】
請求項１記載の発明の加筆画像抽出装置によれば、電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像から加筆画像を抽出する加筆画像抽出装置において、前記加筆重畳画像を入力する加筆重畳画像入力手段と、前記電子文書の原稿画像における文字画像領域と文字画像領域以外の領域とを黒画素の分布に応じて識別する第一領域識別手段と、この第一領域識別手段で識別した領域識別情報に基づき、前記加筆重畳画像入力手段から入力された加筆重畳画像における文字画像領域と文字画像領域以外の領域とを識別する第二領域識別手段と、この第二領域識別手段により識別された各々の領域と前記第一領域識別手段により識別された各々の領域とについてのそれぞれの位置ズレ量の検出を行う画像位置検出手段と、この画像位置検出手段によって検出した位置ズレ量に基づいて位置を補正して差分処理を行う画像差分処理手段と、を備え、電子文書の原稿画像と加筆重畳画像との間でズレが発生した場合であっても、位置ズレを補正してから差分処理を行うことにより、差分処理後における引き残しの発生を防止することができるので、加筆画像の抽出精度を向上させることができる。
【０１４２】
請求項２記載の発明によれば、請求項１記載の加筆画像抽出装置において、前記電子文書の原稿画像と前記加筆重畳画像とを、それぞれ格子状の小領域画像に分割する領域分割手段を更に備え、前記画像位置検出手段は、前記領域分割手段により分割された小領域画像間に生じる位置ズレ量の検出を行うことにより、局所的な位置ズレを補正してから差分処理を行うことができるので、加筆画像の抽出精度を更に向上させることができる。
【０１４３】
請求項３記載の発明によれば、請求項２記載の加筆抽出装置において、前記第一領域識別手段は、識別した前記電子文書の原稿画像の各々の領域内の黒画素密度を算出し、前記領域分割手段は、前記第一領域識別手段が算出した前記電子文書の原稿画像の黒画素密度の大小に応じて分割する格子の大きさを変更することにより、黒画素密度が大きい場合には、周囲の白画素を多く含めて黒画素密度を下げるために分割格子のサイズを大きくし、黒画素密度が小さい場合には、周囲の白画素を排除して黒画素密度を上げるために分割格子のサイズを小さくすることで、加筆画像の抽出精度を更に向上させることができる。
【０１４４】
請求項４記載の発明によれば、請求項１ないし３のいずれか一記載の加筆画像抽出装置において、前記第一領域識別手段及び前記第二領域識別手段は、画像中の文字行を検出し、検出した文字行中から文字画像を文字単位で切り出す文字認識手段を備え、前記文字認識手段を用いて文字画像領域と文字画像領域以外の領域とを識別し、文字画像の認識結果と確信度と外接矩形領域とを出力することにより、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域とを容易に識別することができる。
【０１４５】
請求項５記載の発明によれば、請求項４記載の加筆画像抽出装置において、前記第一領域識別手段及び前記第二領域識別手段は、前記文字認識手段により切り出された文字画像を、黒画素密度が大きい文字画像領域として出力することにより、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域との識別を簡易に行うことができる。
【０１４６】
請求項６記載の発明によれば、請求項１ないし５のいずれか一記載の加筆画像抽出装置において、前記画像差分処理手段は、相関計算によって位置合わせが行われた画像間の相関値が、所定の閾値Ｔｈ_１以上の場合にのみ差分処理を行うことにより、加筆があった領域のみに対して差分処理を行うことができる。
【０１４７】
請求項７記載の発明によれば、請求項１ないし５のいずれか一記載の加筆画像抽出装置において、前記画像差分処理手段は、相関計算によって位置合わせが行われた位置から所定の画素分をずらした画像間の相関値が、所定の閾値Ｔｈ_１以下であって、かつ、所定の閾値Ｔｈ_２以上の場合にのみ差分処理を行うことにより、加筆があった領域のみに対して差分処理を行うことができる。また、加筆重畳画像は電子文書の原稿画像を一度紙に出力した後にスキャナ、デジタルカメラ等のデバイスで入力しているために２枚の画像間には線幅の相違が生じて差分処理に影響することになるが、画素ずらしで差分処理を行うことにより、この線幅の違いによる差分処理に対する影響を減らすことができるので、加筆画像の抽出精度を更に向上させることができる。
【０１４８】
請求項８記載の発明のコンピュータに読み取り可能なプログラムによれば、電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像から加筆画像を抽出する加筆画像抽出装置が有するコンピュータにインストールされるプログラムであって、前記コンピュータに、前記加筆重畳画像を入力する加筆重畳画像入力機能と、前記電子文書の原稿画像における文字画像領域と文字画像領域以外の領域とを黒画素の分布に応じて識別する第一領域識別機能と、この第一領域識別機能で識別した領域識別情報に基づき、前記加筆重畳画像入力機能から入力された加筆重畳画像における文字画像領域と文字画像領域以外の領域とを識別する第二領域識別機能と、この第二領域識別機能により識別された各々の領域と前記第一領域識別機能により識別された各々の領域とについてのそれぞれの位置ズレ量の検出を行う画像位置検出機能と、この画像位置検出機能によって検出した位置ズレ量に基づいて位置を補正して差分処理を行う画像差分処理機能と、を実行させ、電子文書の原稿画像と加筆重畳画像との間でズレが発生した場合であっても、位置ズレを補正してから差分処理を行うことにより、差分処理後における引き残しの発生を防止することができるので、加筆画像の抽出精度を向上させることができる。
【０１４９】
請求項９記載の発明によれば、請求項８記載のコンピュータに読み取り可能なプログラムにおいて、前記電子文書の原稿画像と前記加筆重畳画像とを、それぞれ格子状の小領域画像に分割する領域分割機能を更に前記コンピュータに実行させ、前記画像位置検出機能は、前記領域分割機能により分割された小領域画像間に生じる位置ズレ量の検出を行うことにより、局所的な位置ズレを補正してから差分処理を行うことができるので、加筆画像の抽出精度を更に向上させることができる。
【０１５０】
請求項１０記載の発明によれば、請求項９記載のコンピュータに読み取り可能なプログラムにおいて、前記第一領域識別機能は、識別した前記電子文書の原稿画像の各々の領域内の黒画素密度を算出し、前記領域分割機能は、前記第一領域識別機能が算出した前記電子文書の原稿画像の黒画素密度の大小に応じて分割する格子の大きさを変更することにより、黒画素密度が大きい場合には、周囲の白画素を多く含めて黒画素密度を下げるために分割格子のサイズを大きくし、黒画素密度が小さい場合には、周囲の白画素を排除して黒画素密度を上げるために分割格子のサイズを小さくすることで、加筆画像の抽出精度を更に向上させることができる。
【０１５１】
請求項１１記載の発明によれば、請求項８ないし１０のいずれか一記載のコンピュータに読み取り可能なプログラムにおいて、前記第一領域識別機能及び前記第二領域識別機能は、画像中の文字行を検出し、検出した文字行中から文字画像を文字単位で切り出す文字認識機能を前記コンピュータに実行させ、前記文字認識機能を用いて文字画像領域と文字画像領域以外の領域とを識別し、文字画像の認識結果と確信度と外接矩形領域とを出力することにより、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域とを容易に識別することができる。
【０１５２】
請求項１２記載の発明によれば、請求項１１記載のコンピュータに読み取り可能なプログラムにおいて、前記第一領域識別機能及び前記第二領域識別機能は、前記文字認識機能により切り出された文字画像を、黒画素密度が大きい文字画像領域として出力することにより、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域との識別を簡易に行うことができる。
【０１５３】
請求項１３記載の発明によれば、請求項８ないし１２のいずれか一記載のコンピュータに読み取り可能なプログラムにおいて、前記画像差分処理機能は、相関計算によって位置合わせが行われた画像間の相関値が、所定の閾値Ｔｈ_１以上の場合にのみ差分処理を行うことにより、加筆があった領域のみに対して差分処理を行うことができる。
【０１５４】
請求項１４記載の発明によれば、請求項８ないし１２のいずれか一記載のコンピュータに読み取り可能なプログラムにおいて、前記画像差分処理機能は、相関計算によって位置合わせが行われた位置から所定の画素分をずらした画像間の相関値が、所定の閾値Ｔｈ_１以下であって、かつ、所定の閾値Ｔｈ_２以上の場合にのみ差分処理を行うことにより、加筆があった領域のみに対して差分処理を行うことができる。また、加筆重畳画像は電子文書の原稿画像を一度紙に出力した後にスキャナ、デジタルカメラ等のデバイスで入力しているために２枚の画像間には線幅の相違が生じて差分処理に影響することになるが、画素ずらしで差分処理を行うことにより、この線幅の違いによる差分処理に対する影響を減らすことができるので、加筆画像の抽出精度を更に向上させることができる。
【０１５５】
請求項１５記載の発明のコンピュータに読取り可能な記憶媒体によれば、請求項８ないし１４のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項８ないし１４のいずれか一記載の発明と同様の作用効果を得ることができる。
【０１５６】
請求項１６記載の発明の加筆画像抽出方法によれば、電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像からの加筆画像の抽出を、コンピュータの処理制御により行う加筆画像抽出方法であって、前記加筆重畳画像を入力する加筆重畳画像入力工程と、前記電子文書の原稿画像における文字画像領域と文字画像領域以外の領域とを黒画素の分布に応じて識別する第一領域識別工程と、この第一領域識別工程で識別した領域識別情報に基づき、前記加筆重畳画像入力工程から入力された加筆重畳画像における文字画像領域と文字画像領域以外の領域とを識別する第二領域識別工程と、この第二領域識別工程により識別された各々の領域と前記第一領域識別工程により識別された各々の領域とについてのそれぞれの位置ズレ量の検出を行う画像位置検出工程と、この画像位置検出工程によって検出した位置ズレ量に基づいて位置を補正して差分処理を行う画像差分処理工程と、を具備し、電子文書の原稿画像と加筆重畳画像との間でズレが発生した場合であっても、位置ズレを補正してから差分処理を行うことにより、差分処理後における引き残しの発生を防止することができるので、加筆画像の抽出精度を向上させることができる。
【０１５７】
請求項１７記載の発明によれば、請求項１６記載の加筆画像抽出方法において、前記電子文書の原稿画像と前記加筆重畳画像とを、それぞれ格子状の小領域画像に分割する領域分割工程を更に具備し、前記画像位置検出工程は、前記領域分割工程により分割された小領域画像間に生じる位置ズレ量の検出を行うことにより、局所的な位置ズレを補正してから差分処理を行うことができるので、加筆画像の抽出精度を更に向上させることができる。
【０１５８】
請求項１８記載の発明によれば、請求項１７記載の加筆画像抽出方法において、前記第一領域識別工程は、識別した前記電子文書の原稿画像の各々の領域内の黒画素密度を算出し、前記領域分割工程は、前記第一領域識別工程が算出した前記電子文書の原稿画像の黒画素密度の大小に応じて分割する格子の大きさを変更することにより、黒画素密度が大きい場合には、周囲の白画素を多く含めて黒画素密度を下げるために分割格子のサイズを大きくし、黒画素密度が小さい場合には、周囲の白画素を排除して黒画素密度を上げるために分割格子のサイズを小さくすることで、加筆画像の抽出精度を更に向上させることができる。
【０１５９】
請求項１９記載の発明によれば、請求項１６ないし１８のいずれか一記載の加筆画像抽出方法において、前記第一領域識別工程及び前記第二領域識別工程は、画像中の文字行を検出し、検出した文字行中から文字画像を文字単位で切り出す文字認識工程を具備し、前記文字認識工程を用いて文字画像領域と文字画像領域以外の領域とを識別し、文字画像の認識結果と確信度と外接矩形領域とを出力することにより、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域とを容易に識別することができる。
【０１６０】
請求項２０記載の発明によれば、請求項１９記載の加筆画像抽出方法において、前記第一領域識別工程及び前記第二領域識別工程は、前記文字認識工程により切り出された文字画像を、黒画素密度が大きい文字画像領域として出力することにより、加筆抽出対象領域中の文字画像領域と文字画像領域以外の領域との識別を簡易に行うことができる。
【０１６１】
請求項２１記載の発明によれば、請求項１６ないし２０のいずれか一記載の加筆画像抽出方法において、前記画像差分処理工程は、相関計算によって位置合わせが行われた画像間の相関値が、所定の閾値Ｔｈ_１以上の場合にのみ差分処理を行うことにより、加筆があった領域のみに対して差分処理を行うことができる。
【０１６２】
請求項２２記載の発明によれば、請求項１６ないし２０のいずれか一記載の加筆画像抽出方法において、前記画像差分処理工程は、相関計算によって位置合わせが行われた位置から所定の画素分をずらした画像間の相関値が、所定の閾値Ｔｈ_１以下であって、かつ、所定の閾値Ｔｈ_２以上の場合にのみ差分処理を行うことにより、加筆があった領域のみに対して差分処理を行うことができる。また、加筆重畳画像は電子文書の原稿画像を一度紙に出力した後にスキャナ、デジタルカメラ等のデバイスで入力しているために２枚の画像間には線幅の相違が生じて差分処理に影響することになるが、画素ずらしで差分処理を行うことにより、この線幅の違いによる差分処理に対する影響を減らすことができるので、加筆画像の抽出精度を更に向上させることができる。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態のデータ処理システムのシステム構築例を示す模式図である。
【図２】加筆画像抽出装置としてのサーバコンピュータのモジュール構成図である。
【図３】ＣＰＵが加筆画像抽出処理プログラムに従うことにより実現される機能を示すブロック図である。
【図４】第一領域識別手段の機能構成を示すブロック図である。
【図５】第一領域識別手段による領域識別結果の一例を示す説明図である。
【図６】第二領域識別手段の機能構成を示すブロック図である。
【図７】領域分割手段の機能構成を示すブロック図である。
【図８】画像位置検出手段による電子原稿画像と加筆重畳画像の小領域画像間に生じるに局所的なズレ量の算出手法を示す説明図である。
【図９】画像差分処理手段における各小領域画像毎の差分処理の流れを示すフローチャートである。
【図１０】加筆画像抽出処理の流れを示すフローチャートである。
【図１１】加筆画像抽出処理のステップＳ１６における処理の流れを示すフローチャートである。
【図１２】加筆画像抽出処理についての具体例を模式的に示す説明図である。
【図１３】一次加筆判定手段において差分処理が必要と判定された領域に対する格子分割を示す説明図である。
【図１４】本発明の第二の実施の形態の第一領域識別手段の機能構成を示すブロック図である。
【図１５】第一領域識別手段による領域識別結果の一例を示す説明図である。
【図１６】第二領域識別手段の機能構成を示すブロック図である。
【図１７】本発明の第三の実施の形態の画像差分処理手段における各小領域画像毎の差分処理の流れを示すフローチャートである。
【図１８】閾値の設定を示す説明図である。
【符号の説明】
２加筆画像抽出装置
１５記憶媒体
１０１第一領域識別手段
１０２加筆重畳画像入力手段
１０３第二領域識別手段
１０４領域分割手段
１０５画像位置検出手段
１０６画像差分処理手段
２０１，３０１文字認識手段

Claims

電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像から加筆画像を抽出する加筆画像抽出装置において、
前記加筆重畳画像を入力する加筆重畳画像入力手段と、
前記電子文書の原稿画像における文字画像領域と文字画像領域以外の領域とを黒画素の分布に応じて識別する第一領域識別手段と、
この第一領域識別手段で識別した領域識別情報に基づき、前記加筆重畳画像入力手段から入力された加筆重畳画像における文字画像領域と文字画像領域以外の領域とを識別する第二領域識別手段と、
この第二領域識別手段により識別された各々の領域と前記第一領域識別手段により識別された各々の領域とについてのそれぞれの位置ズレ量の検出を行う画像位置検出手段と、
この画像位置検出手段によって検出した位置ズレ量に基づいて位置を補正して差分処理を行う画像差分処理手段と、
を備えることを特徴とする加筆画像抽出装置。
前記電子文書の原稿画像と前記加筆重畳画像とを、それぞれ格子状の小領域画像に分割する領域分割手段を更に備え、
前記画像位置検出手段は、前記領域分割手段により分割された小領域画像間に生じる位置ズレ量の検出を行う、
ことを特徴とする請求項１記載の加筆画像抽出装置。
前記第一領域識別手段は、識別した前記電子文書の原稿画像の各々の領域内の黒画素密度を算出し、
前記領域分割手段は、前記第一領域識別手段が算出した前記電子文書の原稿画像の黒画素密度の大小に応じて分割する格子の大きさを変更する、
ことを特徴とする請求項２記載の加筆抽出装置。
前記第一領域識別手段及び前記第二領域識別手段は、画像中の文字行を検出し、検出した文字行中から文字画像を文字単位で切り出す文字認識手段を備え、
前記文字認識手段を用いて文字画像領域と文字画像領域以外の領域とを識別し、文字画像の認識結果と確信度と外接矩形領域とを出力する、
ことを特徴とする請求項１ないし３のいずれか一記載の加筆画像抽出装置。
前記第一領域識別手段及び前記第二領域識別手段は、前記文字認識手段により切り出された文字画像を、黒画素密度が大きい文字画像領域として出力する、
ことを特徴とする請求項４記載の加筆画像抽出装置。
前記画像差分処理手段は、
相関計算によって位置合わせが行われた画像間の相関値が、所定の閾値Ｔｈ_１以上の場合にのみ差分処理を行う、
ことを特徴とする請求項１ないし５のいずれか一記載の加筆画像抽出装置。
前記画像差分処理手段は、
相関計算によって位置合わせが行われた位置から所定の画素分をずらした画像間の相関値が、所定の閾値Ｔｈ_１以下であって、かつ、所定の閾値Ｔｈ_２以上の場合にのみ差分処理を行う、
ことを特徴とする請求項１ないし５のいずれか一記載の加筆画像抽出装置。
電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像から加筆画像を抽出する加筆画像抽出装置が有するコンピュータにインストールされるプログラムであって、前記コンピュータに、
前記加筆重畳画像を入力する加筆重畳画像入力機能と、
前記電子文書の原稿画像における文字画像領域と文字画像領域以外の領域とを黒画素の分布に応じて識別する第一領域識別機能と、
この第一領域識別機能で識別した領域識別情報に基づき、前記加筆重畳画像入力機能から入力された加筆重畳画像における文字画像領域と文字画像領域以外の領域とを識別する第二領域識別機能と、
この第二領域識別機能により識別された各々の領域と前記第一領域識別機能により識別された各々の領域とについてのそれぞれの位置ズレ量の検出を行う画像位置検出機能と、
この画像位置検出機能によって検出した位置ズレ量に基づいて位置を補正して差分処理を行う画像差分処理機能と、
を実行させることを特徴とするコンピュータに読み取り可能なプログラム。
前記電子文書の原稿画像と前記加筆重畳画像とを、それぞれ格子状の小領域画像に分割する領域分割機能を更に前記コンピュータに実行させ、
前記画像位置検出機能は、前記領域分割機能により分割された小領域画像間に生じる位置ズレ量の検出を行う、
ことを特徴とする請求項８記載のコンピュータに読み取り可能なプログラム。
前記第一領域識別機能は、識別した前記電子文書の原稿画像の各々の領域内の黒画素密度を算出し、
前記領域分割機能は、前記第一領域識別機能が算出した前記電子文書の原稿画像の黒画素密度の大小に応じて分割する格子の大きさを変更する、
ことを特徴とする請求項９記載のコンピュータに読み取り可能なプログラム。
前記第一領域識別機能及び前記第二領域識別機能は、画像中の文字行を検出し、検出した文字行中から文字画像を文字単位で切り出す文字認識機能を前記コンピュータに実行させ、
前記文字認識機能を用いて文字画像領域と文字画像領域以外の領域とを識別し、文字画像の認識結果と確信度と外接矩形領域とを出力する、
ことを特徴とする請求項８ないし１０のいずれか一記載のコンピュータに読み取り可能なプログラム。
前記第一領域識別機能及び前記第二領域識別機能は、前記文字認識機能により切り出された文字画像を、黒画素密度が大きい文字画像領域として出力する、
ことを特徴とする請求項１１記載のコンピュータに読み取り可能なプログラム。
前記画像差分処理機能は、
相関計算によって位置合わせが行われた画像間の相関値が、所定の閾値Ｔｈ_１以上の場合にのみ差分処理を行う、
ことを特徴とする請求項８ないし１２のいずれか一記載のコンピュータに読み取り可能なプログラム。
前記画像差分処理機能は、
相関計算によって位置合わせが行われた位置から所定の画素分をずらした画像間の相関値が、所定の閾値Ｔｈ_１以下であって、かつ、所定の閾値Ｔｈ_２以上の場合にのみ差分処理を行う、
ことを特徴とする請求項８ないし１２のいずれか一記載のコンピュータに読み取り可能なプログラム。
請求項８ないし１４のいずれか一記載のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。
電子文書を紙へ出力した後に手書きの加筆が重畳した状態の加筆重畳画像からの加筆画像の抽出を、コンピュータの処理制御により行う加筆画像抽出方法であって、
前記加筆重畳画像を入力する加筆重畳画像入力工程と、
前記電子文書の原稿画像における文字画像領域と文字画像領域以外の領域とを黒画素の分布に応じて識別する第一領域識別工程と、
この第一領域識別工程で識別した領域識別情報に基づき、前記加筆重畳画像入力工程から入力された加筆重畳画像における文字画像領域と文字画像領域以外の領域とを識別する第二領域識別工程と、
この第二領域識別工程により識別された各々の領域と前記第一領域識別工程により識別された各々の領域とについてのそれぞれの位置ズレ量の検出を行う画像位置検出工程と、
この画像位置検出工程によって検出した位置ズレ量に基づいて位置を補正して差分処理を行う画像差分処理工程と、
を具備することを特徴とする加筆画像抽出方法。
前記電子文書の原稿画像と前記加筆重畳画像とを、それぞれ格子状の小領域画像に分割する領域分割工程を更に具備し、
前記画像位置検出工程は、前記領域分割工程により分割された小領域画像間に生じる位置ズレ量の検出を行う、
ことを特徴とする請求項１６記載の加筆画像抽出方法。
前記第一領域識別工程は、識別した前記電子文書の原稿画像の各々の領域内の黒画素密度を算出し、
前記領域分割工程は、前記第一領域識別工程が算出した前記電子文書の原稿画像の黒画素密度の大小に応じて分割する格子の大きさを変更する、
ことを特徴とする請求項１７記載の加筆画像抽出方法。
前記第一領域識別工程及び前記第二領域識別工程は、画像中の文字行を検出し、検出した文字行中から文字画像を文字単位で切り出す文字認識工程を具備し、
前記文字認識工程を用いて文字画像領域と文字画像領域以外の領域とを識別し、文字画像の認識結果と確信度と外接矩形領域とを出力する、
ことを特徴とする請求項１６ないし１８のいずれか一記載の加筆画像抽出方法。
前記第一領域識別工程及び前記第二領域識別工程は、前記文字認識工程により切り出された文字画像を、黒画素密度が大きい文字画像領域として出力する、
ことを特徴とする請求項１９記載の加筆画像抽出方法。
前記画像差分処理工程は、
相関計算によって位置合わせが行われた画像間の相関値が、所定の閾値Ｔｈ_１以上の場合にのみ差分処理を行う、
ことを特徴とする請求項１６ないし２０のいずれか一記載の加筆画像抽出方法。
前記画像差分処理工程は、
相関計算によって位置合わせが行われた位置から所定の画素分をずらした画像間の相関値が、所定の閾値Ｔｈ_１以下であって、かつ、所定の閾値Ｔｈ_２以上の場合にのみ差分処理を行う、
ことを特徴とする請求項１６ないし２０のいずれか一記載の加筆画像抽出方法。