JP7306150B2 - 情報処理装置及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置及び情報処理プログラムに関する。

特許文献１には、原稿の画像情報を読み取る画像読取手段と、画像記憶部と、前記画像読取手段で読み取った読取画像を２値化し作業用画像を生成する２値化手段と、該作業用画像を走査して黒画素の連続数が閾値以下であれば、当該黒画素を白画素に変更するローパスフィルター手段と、該ローパスフィルター手段で処理された前記作業用画像内にある連続した一塊の画像領域の特徴量として、少なくとも該一塊の画像領域の面積及び周囲長を検出する特徴量検出手段と、該特徴量検出手段が検出した該一塊の画像領域の周囲長が第１の所定の上下限範囲内にあり、該一塊の画像領域の面積が第２の所定の上下限範囲内にあり、かつ該一塊の画像領域の周囲長と該一塊の画像領域の面積に基づき算出される円形度が円形度閾値以上であるとき、該一塊の画像領域を穴の画像であると判断する原稿穴検出手段と、前記ローパスフィルター手段で処理された前記作業用画像から前記原稿穴検出手段で検出された穴の画像以外を消去する穴画像作成手段と、該穴画像作成手段で作成された画像に基づいて、前記画像読取手段で読み取った画像の穴部分を消去する穴消去手段と、を備えることを特徴とする画像処理装置が開示されている。

特許第４６０６２０３号

スキャンやコピーで、パンチ穴が開けられた文書の画像を読み取ると、パンチ穴の影やパンチ穴を通して映り込んだ文書の背面にある画像など、パンチ穴に起因する画像が、読取画像に含まれることになる。

従来、文書の読取画像から、パンチ穴に起因する画像を除去する場合には、パンチ穴に起因する画像が有する特徴量に対する閾値を決めて、特徴量が閾値以上である、パンチ穴に起因する画像を検知し、検知された画像を除去する画像処理が行われる。

本発明の目的は、パンチ穴確度が第１閾値以上の画像を除去する画像処理を行い、かつ、パンチ穴確度が第１閾値未満の画像に対し前記画像処理を行う場合に比較して、パンチ穴の画像であるにも拘わらずパンチ穴の画像でないと認識され、パンチ穴の画像に固有の処理である画像の除去が行われないとの未検知、及び、パンチ穴の画像でないにも拘わらず、パンチ穴の画像であると認識され、前記固有の処理である画像の除去が行われるとの誤検知の少なくとも一方を低減する情報処理装置及び情報処理プログラムを提供することである。

第１態様に係る情報処理装置は、文書の読取画像を構成する複数の部分画像から、パンチ穴画像であるか否かのパンチ穴確度が第１閾値未満であり、かつ、前記第１閾値より小さい第２閾値以上であるパンチ穴候補部分画像を検知する検知部と、前記パンチ穴候補部分画像を表示し、かつ、当該パンチ穴候補部分画像に画像処理を施すか否かの指示をユーザから受け付ける受付部と、前記受付部が、前記パンチ穴候補部分画像に前記画像処理を施すべき指示を受け付けたとき、前記パンチ穴候補部分画像に前記画像処理を施す画像処理部と、を含む。

第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記検知部は、前記複数の部分画像から、前記パンチ穴確度が前記第１閾値以上であるパンチ穴部分画像を検知し、前記画像処理部は、前記パンチ穴部分画像について、当該パンチ穴部分画像に含まれる、前記パンチ穴画像を除去する第１の画像処理を施し、前記ユーザから前記指示を受けたパンチ穴候補部分画像である要処理部分画像について、当該要処理部分画像に含まれる、疑似パンチ穴画像を除去する第２の画像処理を施す。

第３態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記画像処理部は、前記第１の画像処理として、前記パンチ穴画像を、前記パンチ穴部分画像を代表する色で塗り潰すことを行う。

第４態様に係る情報処理装置は、第２態様に係る情報処理装置において、前記画像処理部は、前記第２の画像処理として、前記要処理部分画像にエッジ検出を施し、検出されたエッジにより規定される前記疑似パンチ穴画像を、前記要処理部分画像を代表する色で塗り潰すことを行う。

第５態様に係る情報処理装置は、第１態様から第４態様までのいずれかの態様に係る情報処理装置において、前記受付部は、前記パンチ穴候補部分画像を、当該パンチ穴候補部分画像が有する特徴に基づき、グルーピングして表示する。

第６態様に係る情報処理装置は、第５態様に係る情報処理装置において、前記受付部は、前記特徴として、前記読取画像における第１の座標軸における第１の座標、前記第１の座標軸と交差する第２の座標軸における第２の座標、及び前記疑似パンチ穴画像の面積の少なくとも１つを用いる。

第７態様に係る情報処理装置は、第５態様または第６態様に係る情報処理装置において、前記受付部は、前記パンチ穴候補部分画像を縮小して表示する。

第８態様に係る情報処理装置は、第５態様から第７態様までのいずれかの態様に係る情報処理装置において、前記受付部は、前記パンチ穴候補部分画像について、前記グルーピングの解除である分割を行って表示する。

第９態様に係る情報処理装置は、第１態様から第８態様までのいずれかの態様に係る情報処理装置において、前記受付部は、前記パンチ穴候補部分画像に前記画像処理を施すべき指示を与えないための非選択ボタンを表示する。

第１０態様に係る情報処理装置は、第１態様から第９態様までのいずれかの態様に係る情報処理装置において、前記受付部は、前記パンチ穴候補部分画像に前記画像処理を施すべき指示を与えるための選択ボタンを表示する。

第１１態様に係る情報処理装置は、第５態様から第８態様までのいずれかの態様に係る情報処理装置において、前記受付部は、前記グルーピングされたパンチ穴候補部分画像に、前記画像処理を施すべき指示を一括して与えるための選択ボタン、及び、前記画像処理を施すべき指示を一括して与えないための非選択ボタンを表示する。

第１２態様に係る情報処理装置は、第１態様から第１１態様までのいずれかの態様に係る情報処理装置において、前記第１閾値及び前記第２閾値は、前記読取画像の種類に応じて異なる。

第１３態様に係る情報処理装置は、第１２態様に係る情報処理装置において、前記読取画像が、前記パンチ穴画像の位置が予め定められた定形文書以外の非定形文書であるときの前記第１閾値及び前記第２閾値は、前記読取画像が、前記定形文書であるときの前記第１閾値及び前記第２閾値より、それぞれ、小さい。

第１４態様に係る情報処理プログラムは、コンピュータに、文書の読取画像を構成する複数の部分画像から、パンチ穴画像であるか否かのパンチ穴確度が第１閾値未満であり、かつ、前記第１閾値より小さい第２閾値以上であるパンチ穴候補部分画像を検知する検知工程と、前記パンチ穴候補部分画像を表示し、かつ、当該パンチ穴候補部分画像に画像処理を施すか否かの指示をユーザから受け付ける表示工程と、前記ユーザから、前記パンチ穴候補部分画像に前記画像処理を施すべき指示を受けたとき、前記パンチ穴候補部分画像に前記画像処理を施す処理工程と、を実行させる。

第１態様に係る情報処理装置、及び、第１４態様に係る情報処理プログラムによれば、パンチ穴の画像であるにも拘わらずパンチ穴の画像でないと認識し、パンチ穴の画像に固有の処理を施さないとの未検知、及び、パンチ穴の画像でないにも拘わらず、パンチ穴の画像であると認識し、前記固有の処理を施すとの誤検知の少なくとも一方を低減することができる。

第２態様に係る情報処理装置によれば、読取画像におけるパンチ穴画像及び疑似パンチ穴画像を視認し難くすることができる。

第３態様に係る情報処理装置によれば、パンチ穴画像を不特定の色で塗り潰すことと比較して、パンチ穴画像をより視認し難くすることができる。

第４態様に係る情報処理装置によれば、疑似パンチ穴画像を不特定の色で塗り潰すことと比較して、疑似パンチ穴画像をより視認し難くすることができる。

第５態様に係る情報処理装置によれば、パンチ穴候補部分画像毎に行うことと比較して、ユーザが、パンチ穴候補部分画像に画像処理を施すべき指示を容易に行うことができる。

第６態様に係る情報処理装置によれば、第１の座標軸、第２の座標軸、及び疑似パンチ穴画像の面積の少なくとも１つである特徴を用いたグルーピングがされないことと比較して、ユーザは、パンチ穴候補部分画像に画像処理を施すべきか否かを容易に判断することができる。

第７態様に係る情報処理装置によれば、パンチ穴部分画像が縮小して表示されないことと比較して、ユーザは、複数のパンチ穴候補部分画像の全部を容易に視認することができる。

第８態様に係る情報処理装置によれば、グルーピングして表示されることと比較して、ユーザは、グルーピングの下で画像処理を施すべきか否かの指示を行うことが煩雑であるとき、パンチ穴候補部分画像に画像処理を施すべきか否かの指示を容易に行うことができる。

第９態様に係る情報処理装置によれば、パンチ穴候補部分画像と併せて非選択ボタンが表示されないことと比較して、ユーザは、パンチ穴候補部分画像を選択しないことを容易に行うことができる。

第１０態様に係る情報処理装置によれば、パンチ穴候補部分画像と併せて選択ボタンが表示されないことと比較して、ユーザは、パンチ穴候補部分画像を選択することを容易に行うことができる。

第１１態様に係る情報処理装置によれば、パンチ穴候補部分画像と併せて選択ボタンが表示されないことと比較して、ユーザは、パンチ穴候補部分画像を一括して選択することを容易に行うことができ、また、パンチ穴候補部分画像と併せて選択ボタンが表示されないことと比較して、ユーザは、パンチ穴候補部分画像を一括して選択しないことを容易に行うことができる。

第１２態様に係る情報処理装置によれば、検知部は、読取画像の種類が異なることに起因して部分画像をパンチ穴候補部分画像に検知することに失敗するという事態を回避することができる。

第１３態様に係る情報処理装置によれば、非定形文書の第１閾値及び第２閾値が定形文書の第１閾値及び第２閾値と同一であるときと比較して、検知部は、非定形文書の読取画像中の部分画像をパンチ穴候補部分画像に検知することを精度高く行うことができる。

実施形態の情報処理装置の構成を示す。 実施形態の記憶媒体が記憶する対象を示す。 実施形態の情報処理装置の機能ブロック図である。 （Ａ）は、実施形態のパンチ穴画像を示し、（Ｂ）～（Ｅ）は、実施形態の疑似パンチ穴画像を示す。 実施形態の情報処理装置の動作を示すフローチャートである。 実施形態の部分画像の切り出しの動作を示す。 実施形態の部分画像の抽出の動作を示す。 実施形態のテンプレート・マッチングを示す。 （Ａ）は、実施形態の抽出部分画像を示し、（Ｂ）は、実施形態のエッジ検出及び２値化を示し、（Ｃ）は、実施形態のハフ変換を示す。 実施形態の抽出部分画像の分類を示すサブルーチンである。 実施形態のパンチ穴部分画像、パンチ穴候補部分画像、及び、非パンチ穴部分画像を示す。 実施形態における、文書の種類と、第１閾値及び第２閾値との関係を示す。 実施形態の読取画像を示す。 実施形態のパンチ穴候補部分画像のプレビュー表示を示す。 実施形態のパンチ穴候補部分画像のプレビュー表示（グルーピング）を示す。 実施形態のパンチ穴候補部分画像のプレビュー表示（分割）を示す。 実施形態の他の読取画像を示す。 （Ａ）は、実施形態のグルーピングされた一のグループのパンチ穴候補部分画像を示し、（Ｂ）は、実施形態のグルーピングされた他のグループのパンチ穴候補部分画像を示す。 実施形態の画像処理を示すサブルーチンである。 （Ａ）は、実施形態のパンチ穴部分画像を示し、（Ｂ）は、実施形態のパンチ穴部分画像に施す第１の画像処理を示す。 （Ａ）は、実施形態の要処理部分画像を示し、（Ｂ）は、実施形態の要処理部分画像のエッジ検出を示し、（Ｃ）は、実施形態の要処理部分画像に施す第２の画像処理を示す。

〈実施形態１〉
以下、本発明に係る情報処理装置の実施形態について説明する。

〈実施形態１の構成〉
図１は、実施形態の情報処理装置の構成を示す。以下、実施形態の情報処理装置について図１を参照して説明する。

実施形態の情報処理装置１は、まず、スキャナの機能により読み取られた、Ａ４用紙及びＢ５用紙等に印刷された画像である「読取画像ＹＧ」（例えば、図４に図示。）から複数の「抽出部分画像ＴＢ」（例えば、図１１に図示。）を得る。情報処理装置１は、次に、前記複数の「抽出部分画像ＴＢ」のうち、パンチ穴の画像である「パンチ穴画像ＰＧ」（例えば、図４（Ａ）に図示。）を含む「パンチ穴部分画像ＰＢ」（例えば、図１１に図示。）に第１の画像処理を行う。情報処理装置１は、また、パンチ穴に似た画像である「疑似パンチ穴画像ＧＰＧ」（例えば、図４（Ｂ）～（Ｅ）に図示。）を含む「パンチ穴候補部分画像ＰＫＢ」（例えば、図１１に図示。）のうち選択されたものである「要処理部分画像ＹＢ」（例えば、図２１に図示。）に第２の画像処理を行う。情報処理装置１は、また、パンチ穴でない画像である「非パンチ穴画像ＨＰＧ」（例えば、図１１に図示。）を含む「非パンチ穴部分画像ＨＰＢ」（図１１に図示。）に何らの処理を行わない。

情報処理装置１は、上記した動作を行うべく、図１に示されるように、入力部２と、ＣＰＵ（Central Processing Unit）３と、出力部４と、記憶媒体５と、メモリ６と、を含む。入力部２は、例えば、キーボード、マウスから構成される。ＣＰＵ３は、プロセッサの一例であり、ソフトウェアに従ってハードウェアを動作させる、よく知られたコンピュータの中核である。出力部４は、例えば、入力機能を備えたタッチパネル式の液晶モニターから構成される。記憶媒体５は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、ＲＯＭ（Read Only Memory）から構成される。メモリ６は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）から構成される。

図２は、実施形態の記憶媒体が記憶する対象を示す。記憶媒体５は、図２に示されるように、第１閾値ＴＨ１、第２閾値ＴＨ２、複数のパンチ穴部分画像ＰＢ、複数の要処理部分画像ＹＢ、及び、プログラムＰＲを記憶する。

第１閾値ＴＨ１及び第２閾値ＴＨ２は、上記した複数の抽出部分画像ＴＢを、パンチ穴部分画像ＰＢ、パンチ穴候補部分画像ＰＫＢ、及び、非パンチ穴部分画像ＨＰＢに分類（検知）するために用いられる。

記憶媒体５には、上記した分類を進める過程で、パンチ穴部分画像ＰＢ、要処理部分画像ＹＢが順次、格納される。ここで、要処理部分画像ＹＢは、パンチ穴候補部分画像ＰＫＢのうち、情報処理装置１のユーザにより、第２の画像処理を要するとして選択されたものをいう。

記憶媒体５に記憶されたプログラムＰＲには、ＣＰＵ３が実行すべき処理の内容が予め規定されている。

図３は、実施形態の情報処理装置の機能ブロック図である。

情報処理装置１は、図３に示されるように、切出部１０と、抽出部１１と、算出部１２と、分類部１３と、表示部１４と、選択部１５と、塗潰部１６と、制御部１７と、記憶部１８と、を含む。ここで、分類部１３は、『検知部』の一例である。また、表示部１４は、『受付部』の一例である。また、塗潰部１６は、『画像処理部』の一例である。

情報処理装置１における、ハードウェアの構成と機能的構成との関係については、ハードウェア上で、ＣＰＵ３が、記憶媒体５に記憶されたプログラムＰＲを、メモリ６を用いつつ実行すると共に、必要に応じて、入力部２及び出力部４の動作を制御することにより、切出部１０、抽出部１１、算出部１２、分類部１３、表示部１４、選択部１５、塗潰部１６、及び制御部１７の各部の機能を実現する。各部の機能については、後述する。

図４は、実施形態のパンチ穴画像、及び疑似パンチ穴画像を示す。

パンチ穴画像ＰＧは、図４（Ａ）に示されるように、Ａ４用紙及びＢ５用紙等の読取画像ＹＧにおける、２穴のパンチ穴、または、ルーズリーフのパンチ穴であることが明らかである画像である。

疑似パンチ穴画像ＧＰＧは、図４（Ｂ）に示されるように、読取画像ＹＧにおける、本来、パンチ穴であると認識されるべきであるにも拘わらず、一部が切り欠けていることから、パンチ穴であることが明らかでない画像であり、また、図４（Ｃ）に示されるように、本来、パンチ穴であると認識されるべきであるにも拘わらず、２つの穴が部分的に重複して施されたことから、パンチ穴であることが明らかでない画像である。

疑似パンチ穴画像ＧＰＧは、また、図４（Ｄ）、（Ｅ）に示されるように、本来、パンチ穴でないと認識されるべきであるにも拘わらず、パンチ穴の大きさと同様の大きさの穴の輪郭を有する文字（例えば、アルファベットのａ、数字の０）であることから、パンチ穴でないことが明らかでない画像である。

〈実施形態１の動作〉

図５は、実施形態の情報処理装置の動作を示すフローチャートである。以下、実施形態の情報処理装置の動作について、図５のフローチャートを参照して説明する。

ステップＳ１：ＣＰＵ３は、切出部１０として、図６に示されるように、読取画像ＹＧ中でテンプレートＴＰ（あらかじめ定められた大きさの矩形）を移動させつつ、当該テンプレートＴＰに対応する部分の画像を切り出すことにより、即ち、取得することにより、複数の取得部分画像ＳＢを生成する。

ステップＳ２：ＣＰＵ３は、抽出部１１として、複数の取得部分画像ＳＢの中から、図７に示されるように、取得部分画像ＳＢの中心点ＣＥから予め定められた半径（例えば、パンチ穴の半径）で規定される円領域ＣＲ内に、パンチ穴の形状またはパンチ穴に似た形状を示す画素が集中している取得部分画像ＳＢを抽出する。以下、抽出された取得部分画像を「抽出部分画像ＴＢ」という。

ステップＳ３：ＣＰＵ３は、算出部１２として、複数の抽出部分画像ＴＢの各々に含まれる画像が、パンチ穴画像ＰＧであるか、疑似パンチ穴画像ＧＰＧであるか、非パンチ穴画像ＨＰＧであるかを推定すべく、パンチ穴画像であるか否かを示す確度（以下、「パンチ穴確度ＡＣ」という。）を算出する。ここで、ＣＰＵ３は、複数の抽出部分画像ＴＢの各々のパンチ穴確度ＡＣを、従来知られたテンプレート・マッチング、または、他の方法を用いて行う。テンプレート・マッチングは、例えば、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、または、ＮＣＣ（Normalized Cross-Correlation）である。他の方法は、例えば、エッジ検出、二値化、及びハフ変換の組み合わせである。

図８は、実施形態のテンプレート・マッチングを示す。ＣＰＵ３は、図８に示されるように、パンチ穴の穴径の大きさを有するテンプレートＴＥを用いて、複数の抽出部分画像ＴＢの各々に含まれ得る画像と一致する度合いを算出する。ここで、複数の抽出部分画像ＴＢの各々に含まれ得る画像とは、パンチ穴画像ＰＧ、疑似パンチ穴画像ＧＰＧ、非パンチ穴画像ＨＰＧのいずれかをいう。また、複数の抽出部分画像ＴＢの各々に含まれ得る画像と一致する度合いとは、例えば、テンプレートＴＥ及び抽出部分画像ＴＢ間での、全画素の累積二乗誤差をいうが、これに限られるものではない。

上記したような、図６に示されるテンプレートＴＰ、及び、図８に示されるテンプレートＴＥという、２つの異なるテンプレートを用いることに代えて、テンプレートＴＰの機能及びテンプレートＴＥの機能を備える１つのテンプレート（図示せず。）を用いることにより、上記した切り出し及び上記した抽出を同時に行ってもよい。

図９（Ａ）は、実施形態の抽出部分画像を示し、図９（Ｂ）は、実施形態のエッジ検出及び２値化示し、図９（Ｃ）は、実施形態のハフ変換を示す。ＣＰＵ３は、図９（Ａ）に示される抽出部分画像ＴＢについて、図９（Ｂ）に示されるように、抽出部分画像ＴＢ中に含まれる内容（文字、図形等）のエッジを検出し、かつ、２値化する。次に、図９（Ｃ）に示されるように、ハフ変換を施すことにより、円形状ＥＮを見つけ出した後、見つけ出された円形状ＥＮ内の画素数を計数する。

図５に戻り、情報処理装置の動作について、引き続き説明する。

ステップＳ４：ＣＰＵ３は、分類部１３として、複数の抽出部分画像ＴＢを、複数の抽出部分画像ＴＢのパンチ穴確度ＡＣに基づき、（１）パンチ穴部分画像ＰＢ、（２）パンチ穴候補部分画像ＰＫＢ、（３）非パンチ穴部分画像ＨＰＢに分類する。

図１０は、実施形態の抽出部分画像の分類を示すサブルーチンである。図１１は、実施形態のパンチ穴部分画像、パンチ穴候補部分画像、及び、非パンチ穴部分画像を示す。以下、抽出部分画像の分類について、図１０及び図１１を参照して説明する。なお、図１０の処理は、複数の抽出部分画像ＴＢの各々について実行される。

ステップＳ１０：ＣＰＵ３は、抽出部分画像ＴＢのパンチ穴確度ＡＣが、第１閾値ＴＨ１以上であるか否かを判断する。

ステップＳ１１：ＣＰＵ３は、ステップＳ１０で「Ｙ（はい）」のとき、抽出部分画像ＴＢが、図１１に示される、パンチ穴画像ＰＧを含むパンチ穴部分画像ＰＢであると認識する。

ステップＳ１２：ＣＰＵ３は、ステップＳ１０で「Ｎ（いいえ）」のとき、抽出部分画像ＴＢのパンチ穴確度ＡＣが、第２閾値ＴＨ２以上であるか否かを判断する。

ステップＳ１３：ＣＰＵ３は、ステップＳ１２で「Ｙ（はい）」のとき、抽出部分画像ＴＢが、図１１に示される、疑似パンチ穴画像ＧＰＧを含むパンチ穴候補部分画像ＰＫＢであると認識する。

ステップＳ１４：ＣＰＵ３は、ステップＳ１２で「Ｎ（いいえ）」のとき、抽出部分画像ＴＢが、図１１に示される、非パンチ穴画像ＨＰＧを含む非パンチ穴部分画像ＨＰＢであると認識する。

図１２は、実施形態における、文書の種類と、第１閾値及び第２閾値との関係を示す。

一般的に、文書（書類）の形状、大きさ等という文書の種類の如何により、文書におけるパンチ穴が施される位置、個数、間隔等が異なる。従って、上記した抽出部分画像ＴＢの分類に用いられる第１閾値ＴＨ１及び第２閾値ＴＨ２は、文書の種類に応じて異ならせることが望ましい。詳しくは、非定形文書におけるパンチ穴候補部分画像ＰＫＢを漏れなく認識すべき観点からは、非定形文書についての第１閾値ＴＨ１（例えば、７５％）及び第２閾値ＴＨ２（例えば、４０％）を、定形文書についての第１閾値ＴＨ１（例えば、９０％）及び第２閾値ＴＨ２（例えば、４８％）より、それぞれ、小さく設定することが望ましい。

図５に戻り、情報処理装置１の動作について、引き続き説明する。

図１３は、実施形態の読取画像を示す。図１４は、実施形態のパンチ穴候補部分画像のプレビュー表示を示す。
ステップＳ５：ＣＰＵ３は、表示部１４及び選択部１５として、図１３に示される読取画像ＹＧから得られた複数のパンチ穴候補部分画像ＰＫＢ１、ＰＫＢ２、ＰＫＢ３を、図１４に示されるように、出力部４のプレビュー画面ＰＲＥにプレビュー表示する。

ＣＰＵ３は、パンチ穴候補部分画像ＰＫＢ１、ＰＫＢ２、ＰＫＢ３をプレビュー表示するとき、ボタンＢＴ１、ＢＴ２、ＢＴ３、ＢＴ４を併せて表示し、即ち、重畳的に表示する。より詳しくは、ＣＰＵ３は、パンチ穴候補部分画像ＰＫＢ１、ＰＫＢ２、ＰＫＢ３の各々を別々に「選択する」旨を示す「〇」印ボタンＢＴ１を表示する。ＣＰＵ３は、また、パンチ穴候補部分画像ＰＫＢ１、ＰＫＢ２、ＰＫＢ３を「選択しない（非選択）」旨を示す「×」印ボタンＢＴ２を表示する。ＣＰＵ３は、また、上記した「選択する」旨又は「選択しない」旨を「実行する」ための「実行」印ボタンＢＴ３を表示する。ＣＰＵ３は、また、上記した「選択する」旨又は「選択しない」旨を「キャンセルする」ための「キャンセル」ボタンＢＴ４を表示する。ここで、「〇」印ボタンＢＴ１は、「選択ボタン」の一例である。また、「×」印ボタンＢＴ２は、「非選択ボタン」の一例である。

ステップＳ６：複数のパンチ穴候補部分画像ＰＫＢがプレビュー表示されると、情報処理装置１のユーザは、複数のパンチ穴候補部分画像ＰＫＢの中から、ユーザが第２の画像処理を施すべきであると考える要処理部分画像ＹＢを選択する。ＣＰＵ３は、選択部１５として、ユーザの選択を受け付ける。

情報処理装置１のユーザが、例えば、（１）パンチ穴候補部分画像ＰＫＢ１を要処理部分画像ＹＢとして「選択する」ことを希望し、（２）パンチ穴候補部分画像ＰＫＢ２を要処理部分画像ＹＢとして「選択しない」ことを希望し、（３）パンチ穴候補部分画像ＰＫＢ３を要処理部分画像ＹＢとして「選択しない」ことを希望することを想定する。このとき、ユーザは、（１）パンチ穴候補部分画像ＰＫＢ１の「〇」印ボタンＢＴ１をクリックし、（２）パンチ穴候補部分画像ＰＫＢ２の「×」印ボタンＢＴ２をクリックし、（３）パンチ穴候補部分画像ＰＫＢ３の「×」印ボタンＢＴ２をクリックした後に、「実行」ボタンＢ３をクリックする。当該クリックの動作に応答して、ＣＰＵ３は、パンチ穴候補部分画像ＴＢ１のみを、要処理部分画像ＹＢとして、記憶媒体５に保存する。

図１５は、実施形態のパンチ穴候補部分画像のプレビュー表示（グルーピング）を示す。

ＣＰＵ３は、パンチ穴候補部分画像ＰＫＢの数が多数であるときには、図１４に示された、パンチ穴候補部分画像ＰＫＢ１～ＰＫＢ３を別個独立にプレビュー表示することに代えて、図１５に示されるように、プレビュー画面ＰＲＥに、複数のパンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１５を、パンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１５とは異なるパンチ穴候補部分画像ＰＫＢ１６とは分離して１つにグルーピングした上でプレビュー表示することが望ましい。これにより、上記した「選択する」こと及び「選択しない」ことの作業性が向上する。ＣＰＵ３は、更に、グルーピングでのプレビュー表示を行うときに、複数のパンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１５を縮小した上で、例えば、図１４に示されたパンチ穴候補部分画像ＰＫＢ１～ＰＫＢ３と比較してパンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１５を縮小した上で、プレビュー表示することが望ましい。これにより、プレビュー画面ＰＲＥで、より数多くのパンチ穴候補部分画像ＰＫＢをプレビュー表示することができ、即ち、視認性が向上し、上記した「選択する」こと及び「選択しない」ことの作業性がより一層、向上する。

ここで、ＣＰＵ３は、上記したグルーピングを、パンチ穴候補部分画像ＰＫＢの特徴、例えば、Ｘ座標軸におけるＸ座標（図１３に図示。）、Ｘ座標軸と交差するＹ座標軸におけるＹ座標（図１３に図示。）、疑似パンチ穴画像ＧＰＧ（図１１に図示。）の面積等の少なくとも１つに基づいて行う。また、ＣＰＵ３は、上記したグルーピングでのプレビュー表示のとき、プレビュー画面ＰＲＥの表示面積を有効に活用すべく、複数のパンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１５を１つのパンチ穴候補部分画像ＰＫＢ１６より小さく表示することが望ましい。

パンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１５が、グルーピングされた状態でプレビュー表示されているときに、情報処理装置１のユーザが、（１）パンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１５の全てを一括して「選択する」ことを希望し、（２）パンチ穴候補部分画像ＰＫＢ１６を「選択しない」ことを希望することを想定する。このとき、ユーザは、パンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１５の全てを一括して選択するための「〇」印ボタンＢＴ１１をクリックし、かつ、パンチ穴候補部分画像ＰＫ１６を選択しないための「×」印ボタンＢＴ１６をクリックした後に、「実行」ボタンＢＴ１３をクリックする。ユーザの当該クリックの動作に応答して、ＣＰＵ３は、パンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１５を、要処理部分画像ＹＢとして、記憶媒体５に一括して格納する。図１５で、「〇」印ボタンＢＴ１１は、一括して選択するための「選択ボタン」の一例であり、「×」印ボタンＢＴ１２は、一括して選択しないための「非選択ボタン」の一例である。

図１６は、実施形態のパンチ穴候補部分画像のプレビュー表示（分割）を示す。

図１５及び図１６に示されるように、プレビュー画面ＰＲＥには、「グルーピング」ボタンＢＴ２０、及び、「分割」ボタンＢＴ２１が設けられている。情報処理装置１のユーザは、仮に、図１５に示された「グルーピング」でのプレビュー表示では、「選択する」こと及び「選択しない」ことの作業が煩わしいと感じるときには、「グルーピング」を解除すべく、「分割」ボタンＢＴ２１をクリックする。当該クリックの動作に応答して、ＣＰＵ３は、図１５に図示された、「グルーピング」によるプレビュー表示に代えて、図１６に示されるように、パンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１５について、「分割」によるプレビュー表示を行う。ここで、「分割」とは、グルーピングが解除されていることをいう。

情報処理装置１のユーザが、例えば、（１）パンチ穴候補部分画像ＰＫＢ１１、ＰＫＢ１３、ＰＫＢ１４を「選択する」ことを希望し、（２）パンチ穴候補部分画像ＰＫＢ１２、ＰＫＢ１５を「選択しない」ことを希望することを想定する。このとき、ユーザは、パンチ穴候補部分画像ＰＫＢ１１、ＰＫＢ１３、ＰＫＢ１４の各々の「〇」印ボタンＢＴ３１をクリックし、かつ、パンチ穴候補部分画像ＰＫＢ１２、ＰＫＢ１５の各々の「×」印ボタンＢＴ３２をクリックした後に、「実行」ボタンＢＴ３３をクリックする。ユーザの当該動作に応答して、ＣＰＵ３は、パンチ穴候補部分画像ＰＫＢ１１、ＰＫＢ１３、ＰＫＢ１４を、要処理部分画像ＹＢとして、記憶媒体５に格納する。

情報処理装置１のユーザは、仮に、図１６に表示された「分割」でのプレビュー表示では、「選択する」こと及び「選択しない」ことの作業が煩わしいと感じるときには、「分割」を解除すべく、「グルーピング」ボタンＢＴ２０をクリックする。当該クリック動作に応答して、ＣＰＵ３は、パンチ穴候補部分画像ＰＫＢ１１～ＰＫＢ１６について、再び、図１５に示される、「グルーピング」でのプレビュー表示を行う。

図１７は、実施形態の他の読取画像を示す。図１８（Ａ）は、実施形態のグルーピングされた一のグループのパンチ穴候補部分画像を示し、図１８（Ｂ）は、実施形態のグルーピングされた他のグループのパンチ穴候補部分画像を示す。

読取画像ＹＧが、図１７に示されるように、Ｘ座標を相互に同一にする、例えば、Ｘ＝Ｘ１（図示せず。）である複数のパンチ穴画像ＰＧ（但し、疑似パンチ穴画像ＧＰＧであると認識され得る）を含み、かつ、Ｘ座標を相互に同一にする、例えば、Ｘ＝Ｘ２（図示せず。）である複数の黒丸「●」（例えば、箇条書きで用いられる中黒）である黒丸画像ＫＢを含むときには、ＣＰＵ３は、上記した「グルーピング」を、パンチ穴画像ＰＧを含むパンチ穴候補部分画像ＰＫＢ２１～ＰＫＢ２５（図１８に図示。）、及び、黒丸画像ＫＧを含むパンチ穴候補部分画像ＰＫＧ３１～ＰＫＧ３４（図１８に図示。）を、パンチ穴候補部分画像ＰＫＢ２１～ＰＫＢ２５、ＰＫＢ３１～ＰＫＢ３４のＸ座標に基づいて行うことが望ましい。これにより、ＣＰＵ３は、プレビュー画面ＰＲＥ（例えば、図１５に図示。）に、図１８（Ａ）、（Ｂ）に示されるように、パンチ穴である可能性が高い前者のパンチ穴候補部分画像ＰＫＢ２１～ＰＫＢ２５と、パンチ穴でない可能性が高い後者のパンチ穴候補部分画像ＰＫＢ３１～ＰＫＢ３４とを分離してプレビュー表示する。その結果、情報処理装置１のユーザによる、「選択する」こと及び「選択しない」ことの作業が、より軽減される。

図５に戻り、情報処理装置１の動作について、引き続き説明する。

ステップＳ７：ＣＰＵ３は、塗潰部１６として、記憶媒体５に記憶されている、複数のパンチ穴部分画像ＰＢ、及び、要処理部分画像ＹＢに、画像処理を施す。

図１９は、実施形態の画像処理を示すサブルーチンである。図２０（Ａ）は、実施形態のパンチ穴部分画像を示し、図２０（Ｂ）は、実施形態のパンチ穴部分画像に施す第１の画像処理を示す。図２１（Ａ）は、実施形態の要処理部分画像を示し、図２１（Ｂ）は、実施形態の要処理部分画像のエッジ検出を示し、図２１（Ｃ）は、実施形態の要処理部分画像に施す第２の画像処理を示す。なお、図２１の処理は、画像処理を施すべき画像である複数のパンチ穴部分画像ＰＢ及び複数の要処理部分画像ＹＢの各々について実行される。

ステップＳ２０：ＣＰＵ３は、記憶媒体５に記憶された、画像処理を施すべき画像が、パンチ穴部分画像ＰＢであるか否かを判断する。

ステップＳ２１：ＣＰＵ３は、ステップＳ２０で、上記した画像がパンチ穴部分画像ＰＢであると判断されると、前記画像に第１の画像処理を実施する。即ち、ＣＰＵ３は、図２０（Ａ）に示される、パンチ穴部分画像ＰＢについて、図２０（Ｂ）に示されるように、パンチ穴画像ＰＧの円形内の画素を、パンチ穴部分画像ＰＢの全体を代表する色を用いて塗り潰し、即ち、パンチ穴画像ＰＧを除去する。

ステップＳ２２：ＣＰＵ３は、ステップＳ２０で、上記画像がパンチ穴部分画像ＰＢでないと判断されると、前記画像が、要処理部分画像ＹＢであるか否かを判断する。

ステップＳ２３：ＣＰＵ３は、ステップＳ２２で、上記画像が要処理部分画像でＹＢあると判断されると、前記画像に、第２の画像処理を実施する。より詳細には、ＣＰＵ３は、例えば、要処理部分画像ＹＢに含まれる、図４（Ｂ）及び図２１（Ａ）に示される、切り欠いた疑似パンチ穴画像ＧＰＧを含む要処理部分画像ＹＢについて、図２１（Ｂ）に示されるように、画像の内容（文字、図形等）のエッジの検出を行い、さらに、図２１（Ｃ）に示されるように、検出されたエッジにより特定される形状（鍵穴のような、通常のパンチ穴の形状よりも複雑な形状）を有する疑似パンチ穴画像ＧＰＧ内の画素を、要処理部分画像ＹＢの全体を代表し、または、象徴する色を用いて塗り潰し、即ち、疑似パンチ穴画像ＧＰＧを除去する。

上述したように、実施形態の情報処理装置１では、ＣＰＵ３が、分類部１３として、読取画像ＹＧから得られた部分画像を、第１閾値ＴＨ１及び第２閾値ＴＨ２を用いて、パンチ穴部分画像ＰＢ、パンチ穴候補部分画像ＰＫＢ、または、非パンチ穴部分画像ＨＰＢに分類する。ＣＰＵ３は、また、表示部１４として、プレビュー画面ＰＲＥに、パンチ穴候補部分画像ＰＫＢをプレビュー表示する。ＣＰＵ３は、引き続き、選択部１５として、パンチ穴候補部分画像ＰＫＢのうち、ユーザが要処理部分画像ＹＢであるとの選択を受け付ける。ＣＰＵ３は、さらに、塗潰部１６として、要処理部分画像ＹＢに第２の処理を施す。これにより、要処理部分画像ＹＢに含まれる、疑似パンチ穴画像ＧＰＧが除去される。

なお、上記実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU： Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。

また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

また、上記各実施形態では、情報処理のプログラムＰＲが記憶媒体５に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１ 情報処理装置
２ 入力部
３ ＣＰＵ
４ 出力部
５ 記憶媒体
６ メモリ
ＴＨ１ 第１閾値
ＴＨ２ 第２閾値
ＰＢ パンチ穴部分画像
ＹＢ 要処理部分画像
ＰＲ プログラム

Claims (13)

1. 文書の読取画像を構成する複数の部分画像から、テンプレート・マッチングによって算出され、前記複数の部分画像に含まれる画像がパンチ穴画像であるか否かを判定するパンチ穴確度であって、前記複数の部分画像の各々に含まれる画像を、パンチ穴部分画像、パンチ穴候補部分画像、及び非パンチ穴部分画像のいずれかに分類するための前記パンチ穴確度が第１閾値未満であり、かつ、前記第１閾値より小さい第２閾値以上である場合にパンチ穴候補部分画像を検知する検知部と、
   前記パンチ穴候補部分画像を表示し、かつ、当該パンチ穴候補部分画像に画像処理を施すか否かの指示をユーザから受け付ける受付部と、
   前記受付部が、前記パンチ穴候補部分画像に前記画像処理を施すべき指示を受け付けたとき、前記パンチ穴候補部分画像に前記画像処理を施す画像処理部と、
   を含む情報処理装置。
2. 前記検知部は、前記複数の部分画像から、前記パンチ穴確度が前記第１閾値以上である場合に前記パンチ穴部分画像を検知し、
   前記画像処理部は、前記パンチ穴部分画像について、当該パンチ穴部分画像に含まれる、前記パンチ穴画像を除去する第１の画像処理を施し、
   前記ユーザから前記指示を受けたパンチ穴候補部分画像である要処理部分画像について、当該要処理部分画像に含まれる、疑似パンチ穴画像を除去する第２の画像処理を施す
   請求項１に記載の情報処理装置。
3. 前記画像処理部は、前記第１の画像処理として、前記パンチ穴画像の円形内の画素を塗り潰すことを行う、
   請求項２に記載の情報処理装置。
4. 前記画像処理部は、前記第２の画像処理として、前記要処理部分画像にエッジ検出を施し、検出されたエッジにより特定される形状を有する前記疑似パンチ穴画像内の画素を塗り潰すことを行う
   請求項２に記載の情報処理装置。
5. 前記受付部は、前記パンチ穴候補部分画像を、前記読取画像における第１の座標軸における第１の座標を相互に同一、又は前記第１の座標軸と交差する第２の座標軸における第２の座標を相互に同一になるようグルーピングして表示する
   請求項１から請求項４までのいずれか１項に記載の情報処理装置。
6. 前記受付部は、前記パンチ穴候補部分画像を縮小して表示する、
   請求項５に記載の情報処理装置。
7. 前記受付部は、前記パンチ穴候補部分画像について、前記グルーピングの解除である分割を行って表示する
   請求項５又は請求項６に記載の情報処理装置。
8. 前記受付部は、前記パンチ穴候補部分画像に前記画像処理を施すべき指示を与えないための非選択ボタンを表示する
   請求項１から請求項７までのいずれか１項に記載の情報処理装置。
9. 前記受付部は、前記パンチ穴候補部分画像に前記画像処理を施すべき指示を与えるための選択ボタンを表示する
   請求項１から請求項７までのいずれか１項に記載の情報処理装置。
10. 前記受付部は、前記グルーピングされたパンチ穴候補部分画像に、前記画像処理を施すべき指示を一括して与えるための選択ボタン、及び、前記画像処理を施すべき指示を一括して与えないための非選択ボタンを表示する
    請求項５から請求項７までのいずれか１項に記載の情報処理装置。
11. 前記第１閾値及び前記第２閾値は、前記文書の種類に応じて異なる
    請求項１から請求項１０までのいずれか１項に記載の情報処理装置。
12. 前記文書の種類が、前記パンチ穴画像の位置が予め定められた定形文書以外の非定形文書であるときの前記第１閾値及び前記第２閾値は、前記文書の種類が、前記定形文書であるときの前記第１閾値及び前記第２閾値より、それぞれ、小さい、
    請求項１１に記載の情報処理装置。
13. コンピュータに、
    文書の読取画像を構成する複数の部分画像から、テンプレート・マッチングによって算出されるパンチ穴確度であって、前記複数の部分画像の各々に含まれる画像を、パンチ穴部分画像、パンチ穴候補部分画像、及び非パンチ穴部分画像のいずれかに分類する、前記パンチ穴確度が第１閾値未満であり、かつ、前記第１閾値より小さい第２閾値以上である場合に前記パンチ穴候補部分画像を検知する検知工程と、
    前記パンチ穴候補部分画像を表示し、かつ、当該パンチ穴候補部分画像に画像処理を施すか否かの指示をユーザから受け付ける表示工程と、
    前記ユーザから、前記パンチ穴候補部分画像に前記画像処理を施すべき指示を受けたとき、前記パンチ穴候補部分画像に前記画像処理を施す処理工程と、
    を実行させるための情報処理プログラム。

Images