JP6883199B2 - 画像処理装置、画像読み取り装置、および、プログラム - Google Patents

Description

本発明は、画像処理装置、画像読み取り装置、および、プログラムに関する。

特許文献１には、入力画像からパンチ穴領域を検出するパンチ穴領域検出手段と、パンチ穴領域に接する領域を含む周辺領域の画素パターンに基づいて、この周辺領域の領域種別を判定する領域種別判定手段と、判定された領域種別に基づいて、パンチ穴跡を修復するパンチ穴修復手段とを有する画像処理装置が開示されている。

特開２０１０−１５４３１９号公報

パンチ穴のある原稿を読み取る場合、読み取り画像に対して画像処理を行って、パンチ穴跡を目立ちにくくすることがある。
しかしながら、画像処理を行ったとしても、罫線などの線分上にパンチ穴跡がある場合には、この線分の一部が欠落した状態となり、読み取り画像の見栄えが悪くなる。また、後にＯＣＲ（Optical Character Recognition）などを用いて文字認識などを行う場合、線分のこの一部の欠落に起因して、文字認識の精度が低下することもある。
本発明の目的は、線分を検出することなくパンチ穴跡に対する処理を行う場合と比較して、パンチ穴によって線分が消えてしまうことによる不具合を抑制することにある。

請求項１に記載の発明は、入力画像からパンチ穴跡を検出するパンチ穴跡検出手段と、検出された前記パンチ穴跡の周囲に位置する線分を検出する線分検出手段と、前記線分検出手段による検出結果に基づき、前記パンチ穴跡に対して処理を行うパンチ穴跡処理手段であって、当該パンチ穴跡の周囲にて検出された線分同士を結ぶ線分を、当該パンチ穴跡が位置する箇所に形成するパンチ穴跡処理手段と、を備え、前記パンチ穴跡処理手段は、前記パンチ穴跡に対する上下２方向の何れか１方向の領域及び左右２方向の何れか１方向の領域で線分が検出された場合、又は、当該パンチ穴跡に対する上下左右４方向の領域のうちの３方向の領域で線分が検出された場合、当該パンチ穴跡が位置する箇所に、検出された線分の延長線が交差する交差箇所と各線分とを結ぶ線分を形成する画像処理装置である。
請求項２に記載の発明は、前記線分検出手段は、検出された前記パンチ穴跡の周囲の一部の領域にて、線分の検出を行う請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記周囲の前記一部の領域は、前記パンチ穴跡に対する上下左右４方向の領域である請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記パンチ穴跡処理手段は、前記パンチ穴跡を目立ちにくくする処理をさらに行う請求項１に記載の画像処理装置である。
請求項５に記載の発明は、原稿上の画像を読み取り、読み取り画像データを生成する画像読み取り手段と、前記読み取り画像データからパンチ穴跡を検出するパンチ穴跡検出手段と、検出された前記パンチ穴跡の周囲に位置する線分を検出する線分検出手段と、前記線分検出手段による検出結果に基づき、前記パンチ穴跡に対して処理を行うパンチ穴跡処理手段であって、当該パンチ穴跡の周囲にて検出された線分同士を結ぶ線分を、当該パンチ穴跡が位置する箇所に形成するパンチ穴跡処理手段と、を備え、前記パンチ穴跡処理手段は、前記パンチ穴跡に対する上下２方向の何れか１方向の領域及び左右２方向の何れか１方向の領域で線分が検出された場合、又は、当該パンチ穴跡に対する上下左右４方向の領域のうちの３方向の領域で線分が検出された場合、当該パンチ穴跡が位置する箇所に、検出された線分の延長線が交差する交差箇所と各線分とを結ぶ線分を形成する画像読み取り装置である。
請求項６に記載の発明は、入力画像からパンチ穴跡を検出するパンチ穴跡検出機能と、検出された前記パンチ穴跡の周囲に位置する線分を検出する線分検出機能と、前記線分検出機能による検出結果に基づき、前記パンチ穴跡の周囲にて検出された線分同士を結ぶ線分を、当該パンチ穴跡が位置する箇所に形成するパンチ穴跡処理機能であって、当該パンチ穴跡に対する上下２方向の何れか１方向の領域及び左右２方向の何れか１方向の領域で線分が検出された場合、又は、当該パンチ穴跡に対する上下左右４方向の領域のうちの３方向の領域で線分が検出された場合、当該パンチ穴跡が位置する箇所に、検出された線分の延長線が交差する交差箇所と各線分とを結ぶ線分を形成するパンチ穴跡処理機能と、をコンピュータに実現させるためのプログラムである。

請求項１の発明によれば、線分を検出することなくパンチ穴跡に対する処理を行う場合と比較して、パンチ穴によって線分が消えてしまうことによる不具合を抑制することができる。
請求項２の発明によれば、パンチ穴跡の周囲の全周にわたって線分の検出を行う場合に比べ、パンチ穴跡に対する処理の処理効率を高めることができる。
請求項３の発明によれば、パンチ穴跡に対する上下左右４方向の領域以外の領域にて線分の検出を行う場合に比べ、線分が位置する可能性がより高い領域にて線分の検出を行える。
請求項４の発明によれば、パンチ穴跡を目立ちにくくする処理を行わない場合に比べ、画像の見栄えを向上させることができる。
請求項５の発明によれば、線分を検出することなくパンチ穴跡に対する処理を行う場合と比較して、パンチ穴によって線分が消えてしまうことによる不具合を抑制することができる。
請求項６の発明によれば、線分を検出することなくパンチ穴跡に対する処理を行う場合と比較して、パンチ穴によって線分が消えてしまうことによる不具合を抑制することができる。

本実施形態の画像形成装置を示した図である。 制御部の機能構成を示したブロック図である。 （Ａ）、（Ｂ）は、本実施形態にて行われる処理の具体例を示した図である。 線分を補完しない場合の処理を示した図である。 （Ａ）〜（Ｃ）は、本実施形態の処理の具体例を示した図である。 （Ａ）、（Ｂ）は、本実施形態の処理の具体例を示した図である。 （Ａ）、（Ｂ）は、本実施形態の処理の具体例を示した図である。 処理の一連の流れを示したフローチャートである。 処理の一連の流れを示したフローチャートである。 （Ａ）、（Ｂ）は、処理の具体例を示した図である。 （Ａ）、（Ｂ）は、処理の具体例を示した図である。 （Ａ）、（Ｂ）は、処理の具体例を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１は、本実施形態の画像形成装置１０を示した図である。
図１に示すように、本実施形態の画像形成装置１０を構成する各機能部は、バス１０１に接続され、このバス１０１を介してデータの授受を行う。
操作部１０６は、ユーザの操作を受け付ける。操作部１０６は、例えば、ハードウェアキーにより構成される。また、例えば、押圧された位置に応じた制御信号を出力するタッチパネルにより構成される。

表示部１０７は、例えば液晶ディスプレイにより構成され、ＣＰＵ１０２の制御の下、画像形成装置１０に関するデータを表示する。また、表示部１０７は、ユーザが画像形成装置１０を操作する際にユーザが参照するメニュー画面を表示する。
画像読み取り手段の一例としての画像読み取り部１０８は、いわゆるスキャナ装置により構成され、セットされた原稿上の画像を読み取り、読み取り画像データを生成する。

画像形成部１０９は、例えば電子写真方式を用い、画像データに応じたトナー像を用紙上に形成する。なお、画像形成部１０９では、インクジェットヘッド方式などの他の方式を用いて画像形成を行ってもよい。
通信部１１０は、通信回線（不図示）に接続され、通信回線に接続されている他の装置との通信を行う通信インターフェースとして機能する。

画像処理部１１１は、画像データが表す画像に色補正や階調補正等の画像処理を施す。
記憶部１０５は、ハードディスク装置などの記憶装置により構成され、例えば、通信部１１０にて受信したデータや、画像読み取り部１０８にて生成された読み取り画像データを記憶する。

制御部６０は、画像形成装置１０の各部を制御する。制御部６０は、ＣＰＵ（Central Processing Unit）１０２、ＲＯＭ（Read Only Memory）１０３、ＲＡＭ（Random Access Memory）１０４により構成される。
ＲＯＭ１０３は、ＣＰＵ１０２により実行される制御プログラムを記憶する。ＣＰＵ１０２は、ＲＯＭ１０３に記憶されている制御プログラムを読み出し、ＲＡＭ１０４を作業エリアにして、制御プログラムを実行する。

ＣＰＵ１０２により制御プログラムが実行されると、ＣＰＵ１０２により画像形成装置１０の各部が制御され、画像形成装置１０は、例えば用紙に画像を形成したり、原稿を読み取って原稿の読み取り画像データを生成したりする。
また、本実施形態では、ＣＰＵ１０２により制御プログラムが実行されることで、図２（制御部６０の機能構成を示したブロック図）に示すように、制御部６０が、パンチ穴跡検出部６１、線分検出部６２、パンチ穴跡処理部６３として機能する。

パンチ穴跡検出手段の一例としてのパンチ穴跡検出部６１は、画像読み取り部１０８にて生成された読み取り画像データ（入力画像の一例）を解析し、この読み取り画像データにパンチ穴跡が含まれている場合には、このパンチ穴跡を検出する。
なお、パンチ穴跡検出部６１によるパンチ穴跡の検出は、既存の技術で行えばよく、例えば、予め定められた画素値を超える画素であって予め定められた形状で配置されている画素を検出することにより行う。

線分検出手段の一例としての線分検出部６２は、検出されたパンチ穴跡の周囲に位置する、罫線などの線分を検出する。
パンチ穴跡処理手段の一例としてのパンチ穴跡処理部６３は、線分検出部６２による検出結果に基づき、パンチ穴跡に対する処理を決定して、パンチ穴跡に対し、決定したこの処理を行う。具体的には、パンチ穴跡を目立ちにくくしたり、パンチ穴により欠落した線分を補ったりする。

ここで、本実施形態では、パンチ穴跡検出部６１、線分検出部６２、パンチ穴跡処理部６３が設けられている部分は、パンチ穴跡に関する処理を行う画像処理装置として捉えることができる。
また、画像読み取り部１０８（図１参照）および制御部６０の部分は、原稿の読み取りと、この読み取りにより得られた読み取り画像データに含まれるパンチ穴跡に関する処理とを行う画像読み取り装置として捉えることができる。

パンチ穴跡検出部６１、線分検出部６２、パンチ穴跡処理部６３は、ソフトウェアとハードウェア資源とが協働することにより実現される。
具体的には、本実施形態では、ＲＯＭ１０３（図１参照）や記憶部１０５に、オペレーティングシステム、オペレーティングシステムと協働して実行されるアプリケーションソフト等が記憶されている。そして、本実施形態では、ＣＰＵ１０２が、これらのプログラムをＲＯＭ１０３等から主記憶装置であるＲＡＭ１０４に読み込み、実行することで、パンチ穴跡検出部６１、線分検出部６２、パンチ穴跡処理部６３の各機能部が実現される。

ここで、ＣＰＵ１０２によって実行されるプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどのコンピュータが読取可能な記録媒体に記憶した状態で、画像形成装置１０へ提供し得る。
また、ＣＰＵ１０２によって実行されるプログラムは、インターネットなどの通信手段を用いて画像形成装置１０にダウンロードしてもよい。

図３（Ａ）、（Ｂ）は、本実施形態にて行われる処理の具体例を示した図である。
図３（Ａ）、（Ｂ）に示す例では、画像読み取り部１０８（図１参照）による読み取りが行われる原稿３００にパンチ穴７０が形成されている。
この場合、画像読み取り部１０８により得られた読み取り画像データ４００に、パンチ穴７０の跡であるパンチ穴跡（図３では不図示）が含まれるようになり、本実施形態では、パンチ穴跡検出部６１が、このパンチ穴跡を検出する。

そして、本実施形態では、パンチ穴跡検出部６１によりパンチ穴跡が検出された場合、パンチ穴跡処理部６３が、図３（Ａ）の符号３Ａで示すように、このパンチ穴跡を目立ちにくくする処理を行う。
具体的には、パンチ穴跡に位置する画素（円状のパンチ穴跡の輪郭よりも内側に位置する画素）の画素値を、パンチ穴跡の周辺に位置する他の画素（パンチ穴跡の輪郭よりも外側に位置する画素）の画素値と同じに又は近づくようにして、パンチ穴跡を目立ちにくくする。

さらに、本実施形態では、図３（Ｂ）の符号３Ｄに示すように、パンチ穴７０が罫線上に形成されている場合には、罫線の一部が欠落するようになる。
このような場合、本実施形態のパンチ穴跡処理部６３は、図３（Ｂ）の符号３Ｅで示すように、パンチ穴跡を目立ちにくくする処理を行うとともに、パンチ穴跡が位置していた箇所に、線分を補う処理を行う。言い換えると、パンチ穴跡を目立ちにくくする処理を行うとともに、線分を補完する処理を行う。

図４は、線分を補完しない場合の処理を示した図である。
線分を補完しない場合は、パンチ穴跡を目立ちにくくする処理のみが行われることになる。この場合、図４に示すように、読み取り画像データ４００において、罫線の一部が欠けた状態となる。

この場合、線分を補う本実施形態の上記処理に比べ、画像の見栄えが悪くなる。
また、罫線の一部が欠けると、後にＯＣＲ（Optical Character Recognition）などを用いて文字認識などを行う場合に、この文字認識の精度が低下するおそれもある。具体的には、文字認識は、罫線などの存在を利用して行うことがあり、罫線の一部が欠けると、文字認識の精度が低下するおそれがある。
これに対し、本実施形態の処理では、図３（Ｂ）に示したように、罫線が補完されるようになり、図４の態様に比べ、画像の見栄えが良くなり、また、文字認識の精度が向上する。

図５（Ａ）〜（Ｃ）は、本実施形態の処理の具体例を示した図である。
本実施形態では、読み取り画像データ４００にパンチ穴跡８００が含まれている場合、図５（Ａ）の（Ａ１）に示すように、パンチ穴跡検出部６１が、まず、読み取り画像データ４００からパンチ穴跡８００を検出し、次いで、線分検出部６２が、このパンチ穴跡８００を包含する矩形領域９１（以下、「パンチ穴跡包含領域９１」と称する）を設定する。

その後、線分検出部６２は、（Ａ１）に示すように、このパンチ穴跡包含領域９１と同じ大きさの矩形領域であって、線分の検出を行う４つの矩形領域９２（以下、「線分検出領域９２」と称する）を設定する。
具体的には、線分検出部６２は、パンチ穴跡包含領域９１に隣接し且つパンチ穴跡包含領域９１に対する上下４方向の矩形領域を線分検出領域９２として設定する。

より具体的には、本実施形態では、パンチ穴跡８００（パンチ穴跡包含領域９１）の上側に上側線分検出領域９２Ａを設定し、パンチ穴跡８００の下側に下側線分検出領域９２Ｂを設定する。また、パンチ穴跡８００の右側に右側線分検出領域９２Ｃを設定し、パンチ穴跡８００の左側に左側線分検出領域９２Ｄを設定する。

ここで、本実施形態では、検出されたパンチ穴跡８００の周囲の一部の領域に、線分の検出を行う４つの線分検出領域９２を設定する。この場合、パンチ穴跡８００の周囲の全周にわたって線分検出領域９２を設定する場合に比べ、線分の検出をより効率的に行える。
通常、線分（罫線）は、上下左右方向に沿って配置される。このため、パンチ穴跡８００に対する上下左右４方向の矩形領域を線分検出領域９２として設定すれば、パンチ穴跡８００の周囲の全周にわたって線分検出領域９２を設定する場合に比べ、線分の検出をより効率的に行える。

次いで、本実施形態では、上記４つの線分検出領域９２の各々に、線分が存在するかを判定する。そして、何れかの線分検出領域９２にて線分が検出された場合、線分が検出された線分検出領域９２の配置パターンに応じて、線分の補完内容を決定して、線分の補完を行う。
具体的には、本実施形態では、線分検出領域９２にて線分が検出された場合（パンチ穴跡８００の周囲にて線分が検出された場合）、（Ａ２）の符号５Ａで示すように、パンチ穴跡処理部６３が、検出されたこの線分の端点同士を結ぶ線分を、パンチ穴跡８００が位置する箇所に形成する。

より具体的には、本実施形態では、パンチ穴跡８００の周囲からパンチ穴跡８００に向かうように形成されている線分が、パンチ穴跡８００の周辺に複数存在する場合に、これらの線分同士を結ぶ線分を、パンチ穴跡８００が位置する箇所に形成する。
さらに、本実施形態では、パンチ穴跡処理部６３は、（Ａ２）の破線５Ｂで示すように、パンチ穴跡８００を目立ちにくくする処理を行う。

この目立ちにくくする処理は、パンチ穴跡８００に位置する画素（円状のパンチ穴跡８００の輪郭よりも内側に位置する画素）の画素値を、パンチ穴跡８００の輪郭よりも外側に位置し且つ予め定められた画素値よりも小さい画素値を有した他の画素の画素値と同じに又は近づけることで行う。言い換えると、この目立ちにくくする処理は、パンチ穴跡８００に位置する画素の画素値を、パンチ穴跡８００の輪郭よりも外側に位置し且つパンチ穴跡８００の周辺に位置する上記線分上に位置していない他の画素の画素値と同じに又は近づけることで行う。

図５（Ａ）に示す例では、パンチ穴跡８００に対する上下２方向の線分検出領域９２（上側線分検出領域９２Ａ、下側線分検出領域９２Ｂ）の各々にて線分が検出された場合を示している。この場合、本実施形態では、（Ａ２）に示すように、パンチ穴跡８００が位置する箇所に（パンチ穴跡包含領域９１内に）、パンチ穴跡８００の上側に位置する線分（上側線分検出領域９２Ａに位置する線分）とパンチ穴跡８００の下側に位置する線分（下側線分検出領域９２Ｂに位置する線分）とを結ぶ線分を形成する。

また、本実施形態では、図５（Ｂ）の（Ｂ１）に示すように、パンチ穴跡８００に対する左右２方向の線分検出領域９２（右側線分検出領域９２Ｃ、左側線分検出領域９２Ｄ）の各々にて線分が検出された場合には、（Ｂ２）の符号５Ｃで示すように、パンチ穴跡８００が位置する箇所に（パンチ穴跡包含領域９１内に）、パンチ穴跡８００の左側に位置する線分（左側線分検出領域９２Ｄに位置する線分）と、パンチ穴跡８００の右側に位置する線分（右側線分検出領域９２Ｃに位置する線分）とを結ぶ線分を形成する。
また、上記と同様、この場合も、パンチ穴跡８００を目立ちにくくする処理を行う。

さらに、図５（Ｃ）の（Ｃ１）に示すように、パンチ穴跡８００に対する上下左右４方向の線分検出領域９２（上側線分検出領域９２Ａ、下側線分検出領域９２Ｂ、右側線分検出領域９２Ｃ、左側線分検出領域９２Ｄ）にて線分が検出された場合は、（Ｃ２）に示すように、パンチ穴跡８００が位置する箇所に、上下２方向の領域（上側線分検出領域９２Ａ、下側線分検出領域９２Ｂ）の各々にて検出された線分同士を結ぶ線分を形成する。
また、この場合、左右２方向の線分検出領域９２（右側線分検出領域９２Ｃ、左側線分検出領域９２Ｄ）の各々にて検出された線分同士を結ぶ線分を形成する。

即ち、図５（Ａ）〜（Ｃ）に示す例では、４つ設定される線分検出領域９２の全てにおいて線分が検出され、又は、パンチ穴跡包含領域９１の上下に位置する２つの線分検出領域９２にて線分が検出され、又は、パンチ穴跡包含領域９１の左右に位置する２つの線分検出領域９２にて線分が検出された場合、パンチ穴跡包含領域９１の上下に位置する線分同士を結ぶ線分を形成し、及び／又は、パンチ穴跡包含領域９１の左右に位置する線分同士を結ぶ線分を形成する。

さらに、本実施形態では、パンチ穴跡８００に対する上下２方向の何れか１方向の線分検出領域９２及び左右２方向の何れか１方向の線分検出領域９２で線分が検出された場合、又は、パンチ穴跡８００に対する上下左右４方向の線分検出領域９２のうちの３方向の線分検出領域９２で線分が検出された場合は、パンチ穴跡８００が位置する箇所に、検出された線分の延長線が交差する交差箇所と各線分とを結ぶ線分を形成する。

具体例を挙げて説明すると、例えば、図６（Ａ）の（Ａ１）に示すように、上側線分検出領域９２Ａにて線分（以下、「上側線分」と称する）が検出され、右側線分検出領域９２Ｃにて線分（以下、「右側線分」と称する）が検出された場合は、（Ａ２）に示すように、パンチ穴跡８００が位置する箇所に、上側線分の延長線と右側線分の延長線とが交差する交差箇所Ｃを求め、さらに、求めたこの交差箇所Ｃと各線分（上側線分、右側線分）とを結ぶ線分を形成する。

また、例えば、図６（Ｂ）の（Ｂ１）に示すように、パンチ穴跡８００の上側、下側、右側の各々に位置する線分検出領域９２（上下左右４方向の線分検出領域９２のうちの３方向の線分検出領域９２）にて線分（以下、各線分検出領域９２にて検出された線分を、「上側線分」、「下側線分」、「右側線分」と称する）が検出された場合も、（Ｂ２）に示すように、パンチ穴跡８００が位置する箇所に、上側線分、下側線分、右側線分の各々の延長線が交差する交差箇所Ｃを求める。そして、この交差箇所Ｃと、各線分（上側線分、下側線分、右側線分）とを結ぶ線分を形成する。

さらに、本実施形態では、パンチ穴跡８００の周囲で線分が検出されない場合（パンチ穴跡８００に対する上下左右４方向の線分検出領域９２にて線分が検出されない場合）、又は、上下左右４方向の線分検出領域９２のうちの何れか１方向の線分検出領域９２のみで線分が検出された場合は、パンチ穴跡８００が位置する箇所に線分を形成しない。

具体的には、例えば、図７（Ａ）の（Ａ１）に示すように、パンチ穴跡８００の周囲に線分が無く、上下左右４方向の線分検出領域９２にて線分が検出されない場合は、（Ａ２）に示すように、パンチ穴跡８００が位置する箇所には、線分を形成しない。
また、図７（Ｂ）の（Ｂ１）に示すように、例えば、パンチ穴跡８００の上側に位置する１つの線分検出領域９２（上側線分検出領域９２Ａ）のみで線分が検出された場合も、（Ｂ２）に示すように、パンチ穴跡８００が位置する箇所には、線分を形成しない。

パンチ穴跡８００の周囲で線分が検出されない場合や、上下左右４方向の線分検出領域９２のうちの何れか１方向の線分検出領域９２のみで線分が検出された場合は、パンチ穴跡８００に、そもそも線分が存在しないことが想定される。
このため、本実施形態では、上記のように、パンチ穴跡８００の周囲で線分が検出されない場合や、何れか１方向の線分検出領域９２のみで線分が検出された場合は、線分を形成しない処理を行う。

図８、図９は、上記にて説明した処理の一連の流れを示したフローチャートである。
本実施形態の処理では、画像読み取り部１０８にて読み取り画像データが生成されると、パンチ穴跡検出部６１が、この読み取り画像データの解析を行う。そして、パンチ穴跡検出部６１は、この読み取り画像データにパンチ穴跡８００が存在する場合には、このパンチ穴跡８００を検出する（ステップ１０１）。
次いで、線分検出部６２が、パンチ穴跡包含領域９１の設定を行うとともに、上記４つの線分検出領域９２（上側線分検出領域９２Ａ、下側線分検出領域９２Ｂ、右側線分検出領域９２Ｃ、左側線分検出領域９２Ｄ）の設定を行う（ステップ１０２）。

次いで、線分検出部６２は、線分検出領域９２の各々にて、各画素の画素値の抽出（背景画素値の抽出）を行うとともに（ステップ１０３）、各画素の画素値を二値化する（ステップ１０４）。次いで、線分検出部６２は、二値化後の各画素の画素値に基づき、線分検出領域９２の各々にて、線分の抽出を行う（ステップ１０５）。
そして、線分検出部６２は、線分検出領域９２の各々について、線分を検出したか否かを判定する（ステップ１０６）。そして、線分検出部６２は、線分を検出したと判定した場合は、この線分の端点、太さ、色についての情報を抽出する（ステップ１０７）。

次いで、線分検出部６２は、４つの線分検出領域９２の全てにおいて線分の検出処理を行ったかを判定し（ステップ１０８）、４つの線分検出領域９２の全てにおいて線分の検出処理を行ったと判定した場合は、図９に示すステップ１０９の処理に進む。
一方、ステップ１０８にて、４つの線分検出領域９２の全てにおいて線分の検出処理を行った、と判定しなかった場合は、ステップ１０７の処理を再び行う。

ステップ１０９の処理では、線分が検出された線分検出領域９２の配置パターンが、何れの配置パターンに該当するかを判定する。
そして、線分が検出された線分検出領域９２の配置位置が、上下左右４箇所となる配置パターン、あるいは、上下又は左右の２箇所となる配置パターンである場合（４つの線分検出領域９２の全てにて線分が検出され、あるいは、上下又は左右の２箇所の線分検出領域９２にて線分が検出された場合）は、図５（Ａ）〜（Ｃ）にて示したとおり、パンチ穴跡８００の上側および下側に位置する線分同士を結ぶ線分を形成し、及び／又は、パンチ穴跡８００の左側および右側に位置する線分同士を結ぶ線分を形成する（ステップ１１０）。

次いで、本実施形態では、パンチ穴跡包含領域９１に位置する画素を、注目画素として（ステップ１１１）、パンチ穴跡包含領域９１の走査を順次行っていく。
そして、注目画素が、線分上の画素（ステップ１１０にて形成された線分上の画素）であるか否かを判定する（ステップ１１２）。そして、注目画素が線分上の画素でない場合には、この注目画素の画素値を、背景画素（パンチ穴跡８００の輪郭よりも外側に位置し且つパンチ穴跡８００の周辺に位置する上記線分上に位置していない他の画素）の画素値に置換して（ステップ１１３）、ステップ１１４の処理に進む。ステップ１１３の処理を行うことにより、パンチ穴跡８００が目立たないようになる。

一方で、注目画素が線分上の画素である場合には、画素の置換を行わずに（ステップ１１３の処理を行わずに）、ステップ１１４の処理に進む。
ステップ１１４の処理では、注目画素が最終画素であるか否かを判定し、最終画素でない場合には、ステップ１１２以降の処理を再び行う。一方で、注目画素が最終画素である場合は、ステップ１１６の処理に進む。

一方、ステップ１０９にて、線分が検出された線分検出領域９２の配置位置が、上下左右のうちの何れか１箇所である配置パターンであると判定された場合（上下左右４方向のうちの何れか１方向の線分検出領域９２のみで線分が検出された場合）や、上下左右のうちの何れにおいても線分が検出されない配置パターンであると判定された場合（上下左右４方向のいずれの線分検出領域９２でも線分が検出されない場合）は、線分の形成を行わない。

そして、この場合は、ステップ１１５に示すように、パンチ穴跡包含領域９１内に位置する各画素の画素値を、背景画素の画素値に置換する処理を行う（ステップ１１５）。
より具体的には、パンチ穴跡包含領域９１内に位置する各画素の画素値を、パンチ穴跡８００の輪郭よりも外側に位置し且つ予め定められた画素値よりも小さい画素値を有した他の画素（パンチ穴跡８００の輪郭よりも外側に位置し且つパンチ穴跡８００の周辺に位置する上記線分上に位置していない他の画素）の画素値に置換する処理を行う。
そして、ステップ１１６の処理では、ステップ１０１にて検出されたパンチ穴跡８００の全てについて、処理が終了したかを判定し、処理が終了している場合には、全体の処理を終了する。一方で、処理が終了していないと判定された場合は、ステップ１０２以降の処理を再び行う。

次に、ステップ１１７以降の処理について説明する。
本実施形態では、ステップ１１０の処理、あるいは、ステップ１１５の処理を行わない場合、ステップ１１７の処理に移行する。
より具体的には、パンチ穴跡８００に対する上下２方向の何れか１方向の線分検出領域９２及び左右２方向の何れか１方向の線分検出領域９２で線分が検出された場合、又は、パンチ穴跡８００に対する上下左右４方向の線分検出領域９２のうちの３方向の線分検出領域９２で線分が検出された場合は、ステップ１１７の処理に進む。

ステップ１１７の処理では、図６（Ａ）、（Ｂ）にて示した通り、検出された線分の延長線がパンチ穴跡包含領域９１内にて交差する際の交差箇所Ｃを求める。
次いで、求めたこの交差箇所Ｃと、検出された各線分とを結ぶ（つなぐ）線分を形成する（ステップ１１８）。
次いで、上記のステップ１１１と同様に、パンチ穴跡包含領域９１内に位置する画素を注目画素として（ステップ１１９）、パンチ穴跡包含領域９１の走査を順次行っていく。
その後、ステップ１１２以降の処理に移行するが、ステップ１１２以降の処理は、上記にて説明した通りであり、ここでは説明を省略する。

図１０（Ａ）、（Ｂ）、図１１（Ａ）、（Ｂ）、図１２（Ａ）、（Ｂ）は、処理の具体例を示した図である。
この具体例では、図１０（Ａ）に示すように、原稿３００の左側辺ＳＨに沿うように２つのパンチ穴７０が形成されている場合の処理を説明する。
この場合、まず、パンチ穴跡検出部６１により読み取り画像データ４００（図１０（Ｂ）参照）の解析が行われ、２つのパンチ穴７０に起因するパンチ穴跡８００が検出される。

次いで、図１１（Ａ）に示すように、各パンチ穴跡８００を包含するパンチ穴跡包含領域９１を設定する。
次いで、図１１（Ａ）に示すように、このパンチ穴跡包含領域９１と同じ大きさの４つの線分検出領域９２（上側線分検出領域９２Ａ、下側線分検出領域９２Ｂ、右側線分検出領域９２Ｃ、左側線分検出領域９２Ｄ）を、２つ存在するパンチ穴跡包含領域９１の各々に対応させて設定する。

次いで、図１１（Ｂ）に示すように、線分検出部６２が、線分検出領域９２の各々に含まれる各画素の画素値に基づき、黒画素（画素値が予め定められた閾値を超える画素）のヒストグラムを得る。次いで、線分検出部６２は、このヒストグラムに基づき、線分検出領域９２の各々に、線分が存在するかを判定する。
なお、本実施形態では、このようにヒストグラムに基づき線分の検出を行うが、ハフ（hough）変換などの他の公知の手法を用いて、線分の検出を行ってもよい。

この例では、図１２（Ａ）に示すように、上側に位置する１つ目のパンチ穴跡８００に関しては、４つの線分検出領域９２のうちの、上側線分検出領域９２Ａおよび下側線分検出領域９２Ｂの２つの線分検出領域９２に、線分が存在すると判定される。
この場合は、上記のステップ１１０にて示した処理が実行され、図１２（Ｂ）の符号１２Ａで示すように、上側線分検出領域９２Ａに位置する線分と下側線分検出領域９２Ｂに位置する線分とを結ぶ線分を、パンチ穴跡包含領域９１（パンチ穴跡８００が位置する箇所）に形成する。
その後、ここでは図示は省略するが、ステップ１１３等にて示したとおり、パンチ穴跡８００を目立ちにくくする処理を行う。

また、図１２（Ａ）に示すように、下側に位置する２つ目のパンチ穴跡８００に関しては、４つの線分検出領域９２のうちの、上側線分検出領域９２Ａ、下側線分検出領域９２Ｂ、右側線分検出領域９２Ｃの３つの線分検出領域９２にて、線分が存在すると判定される。
この場合は、上記のステップ１１７、１１８にて示した処理が実行され、まず、図１２（Ｂ）の符号１２Ｂに示すように、検出された線分の延長線が交差する交差箇所Ｃを求める。
その後、図１２（Ｂ）の符号１２Ｄに示すように、求めた交差箇所Ｃと検出された各線分とを結ぶ（つなぐ）線分を形成する。その後、上記と同様、パンチ穴跡８００を目立ちにくくする処理を行う。

（その他）
なお、上記では、１つの装置である画像形成装置１０内に、画像読み取り部１０８（スキャナ装置）と、パンチ穴跡に関する処理を行う処理機能部とを設けたが、この画像読み取り部１０８および処理機能部は、それぞれ別装置に設けてもよい。この場合、画像読み取り部１０８にて読み取り画像データが生成され、この読み取り画像データは、画像読み取り部１０８から、別装置に設けられた処理機能部に送られる。そして、別装置に設けられたこの処理機能部にて、パンチ穴跡に関する処理が行われる。

６０…制御部、６１…パンチ穴跡検出部、６２…線分検出部、６３…パンチ穴跡処理部、１０８…画像読み取り部、３００…原稿、４００…読み取り画像データ、８００…パンチ穴跡

Claims (6)

1. 入力画像からパンチ穴跡を検出するパンチ穴跡検出手段と、
   検出された前記パンチ穴跡の周囲に位置する線分を検出する線分検出手段と、
   前記線分検出手段による検出結果に基づき、前記パンチ穴跡に対して処理を行うパンチ穴跡処理手段であって、当該パンチ穴跡の周囲にて検出された線分同士を結ぶ線分を、当該パンチ穴跡が位置する箇所に形成するパンチ穴跡処理手段と、
   を備え、
   前記パンチ穴跡処理手段は、前記パンチ穴跡に対する上下２方向の何れか１方向の領域及び左右２方向の何れか１方向の領域で線分が検出された場合、又は、当該パンチ穴跡に対する上下左右４方向の領域のうちの３方向の領域で線分が検出された場合、当該パンチ穴跡が位置する箇所に、検出された線分の延長線が交差する交差箇所と各線分とを結ぶ線分を形成する画像処理装置。
2. 前記線分検出手段は、検出された前記パンチ穴跡の周囲の一部の領域にて、線分の検出を行う請求項１に記載の画像処理装置。
3. 前記周囲の前記一部の領域は、前記パンチ穴跡に対する上下左右４方向の領域である請求項２に記載の画像処理装置。
4. 前記パンチ穴跡処理手段は、前記パンチ穴跡を目立ちにくくする処理をさらに行う請求項１に記載の画像処理装置。
5. 原稿上の画像を読み取り、読み取り画像データを生成する画像読み取り手段と、
   前記読み取り画像データからパンチ穴跡を検出するパンチ穴跡検出手段と、
   検出された前記パンチ穴跡の周囲に位置する線分を検出する線分検出手段と、
   前記線分検出手段による検出結果に基づき、前記パンチ穴跡に対して処理を行うパンチ穴跡処理手段であって、当該パンチ穴跡の周囲にて検出された線分同士を結ぶ線分を、当該パンチ穴跡が位置する箇所に形成するパンチ穴跡処理手段と、
   を備え、
   前記パンチ穴跡処理手段は、前記パンチ穴跡に対する上下２方向の何れか１方向の領域及び左右２方向の何れか１方向の領域で線分が検出された場合、又は、当該パンチ穴跡に対する上下左右４方向の領域のうちの３方向の領域で線分が検出された場合、当該パンチ穴跡が位置する箇所に、検出された線分の延長線が交差する交差箇所と各線分とを結ぶ線分を形成する画像読み取り装置。
6. 入力画像からパンチ穴跡を検出するパンチ穴跡検出機能と、
   検出された前記パンチ穴跡の周囲に位置する線分を検出する線分検出機能と、
   前記線分検出機能による検出結果に基づき、前記パンチ穴跡の周囲にて検出された線分同士を結ぶ線分を、当該パンチ穴跡が位置する箇所に形成するパンチ穴跡処理機能であって、当該パンチ穴跡に対する上下２方向の何れか１方向の領域及び左右２方向の何れか１方向の領域で線分が検出された場合、又は、当該パンチ穴跡に対する上下左右４方向の領域のうちの３方向の領域で線分が検出された場合、当該パンチ穴跡が位置する箇所に、検出された線分の延長線が交差する交差箇所と各線分とを結ぶ線分を形成するパンチ穴跡処理機能と、
   をコンピュータに実現させるためのプログラム。

Images