JP4050677B2 - 画像処理装置、画像処理方法及びプログラム並びに記録媒体 - Google Patents

Description

本発明は画像処理に関し、詳しくは入力画像からノイズを除去する技術に関する。

複写機、スキャナー等の画像機器より原稿を入力する際に、入力画像の全面にゴマ塩状の孤立点ノイズや、周辺部にベタノイズ、またパンチ穴の跡などが発生する場合がある。これらのノイズは、画像機器を利用するユーザーにとっては必要の無い情報であるため、それらは自動的に除去されることが望ましい。
ノイズ除去に関する技術としては次のような従来技術がある。
例えば、ノイズを着目画素とその周辺画素だけで判定するのではなく、輪郭追跡して得られた輪郭の長さが所定の長さ以下であれば、それをノイズ候補として登録し、後に所定の条件に合致するものだけをノイズとして除去する、さらに、そのノイズ候補をカラーで表示し、確認しながら前記条件を変更できるようにした（条件にあうノイズ候補を確認するためにカラー表示する）方法（特許文献１）。
また、２段階のノイズ識別と、画像データ中から検出される有用な画像情報領域から最終的にノイズを識別する方法（特許文献２）。更に、複数の方法によって段階的にノイズを除去する方法（特許文献３）等がある。
なお、特定の種類のノイズを除去する技術としては、紙面全域に現れる孤立点（ゴマ塩）ノイズの除去のための従来技術として特許文献４、また、原稿の周辺（用紙の境界部分）に現れる周辺ノイズの除去のための従来技術として特許文献５、パンチ穴の除去については特許文献６等がある。
特許第２９５８５８４号公報 特開平５−２５２３８８号公報 特開平１０−２７６３３４号公報 特開２００２−２６２０９３公報 特開２００２−２７１６２９公報 特願２００２−２３７４０３

しかし、実際は、ノイズと本来除去してはいけない情報（文字、写真、図など）の区別が１００％確かではないため、誤って本来除去してはいけない情報の欠落が起きてしまうことがある。このような場合は、ノイズ除去後の画像に対して修正作業を行う必要がある。
本発明は、上述した実情を考慮してなされたもので、ノイズ除去の精度は１００％ではないことを前提に、ノイズ除去後の修正作業を効率良く行うことが可能な画象処理装置、画象処理方法、および画像処理プログラム並びに記録媒体を提供することを目的とする。
なお、本明細書で言う修正作業とは、ノイズ除去により、情報（文字、点線など）が、誤ってノイズと判断されたものを復活させ（ノイズではない状態に戻す）、また、本来ノイズなのにノイズではないと判断されたものを解除（ノイズの状態に変更）する作業のことである。

上記の課題を解決するために、本発明の請求項１の画像処理装置は、入力画像から複数種類のノイズを判定するノイズ判定手段と、判定されたノイズの種類とノイズの位置情報およびノイズと判定されなかった矩形情報を保持するノイズ情報保持手段と、前記ノイズと判定されたノイズを除去するノイズ除去手段と、ノイズ除去の結果を表示および修正する修正手段とを備えたことを特徴とする。すなわち、ノイズである可能性は否めないが、一応、ノイズではないと判定されているため、ノイズの種類を保持することはできない。修正作業で、改めてノイズであると状態が変更された時点でノイズの種類が設定されることになる。これにより、ノイズとノイズの可能性がある画素をそれぞれ分類して保持することにより、修正作業を効率化できる。
また、本発明の請求項２は、請求項１記載の画像処理装置において、前記修正手段は、ノイズ除去の結果を表示する際、ノイズの種類が区別できるように、ノイズの種類に応じて表示方法を変えることを特徴とする。こうすることにより、除去されていないノイズがどの種類のノイズか容易に判断でき修正作業を効率化することができる。
また、本発明の請求項３は、請求項１記載の画像処理装置において、前記修正手段は、ノイズ除去の結果を表示する際、表示するノイズの種類を指定する表示ノイズ指定手段を備えたことを特徴とする。こうすることにより、表示されるノイズが減少し修正作業を効率化できる。

また、本発明の請求項４は、請求項１または３記載の画像処理装置において、前記修正手段は、ノイズ除去の結果を修正する際、修正するノイズの種類を指定する修正ノイズ指定手段を備えたことを特徴とする。こうすることにより、修正できるノイズが限定され、修正作業でのミスも減少する、また、複数の作業者と分担して修正作業ができるようになる。
また、本発明の請求項５の画像処理方法は、入力画像から複数種類のノイズを判定するノイズ判定ステップと、判定されたノイズの種類とノイズの位置情報およびノイズと判定されなかった矩形情報を保持するノイズ情報保持ステップと、前記ノイズと判定されたノイズを除去するノイズ除去ステップと、ノイズ除去の結果を表示および修正する修正ステップとを備えたことを特徴とする。
また、本発明の請求項６は、請求項５記載の画像処理方法において、前記修正ステップは、ノイズ除去の結果を表示する際、ノイズの種類が区別できるように、ノイズの種類に応じて表示方法を変えることを特徴とする。
また、本発明の請求項７は、請求項５記載の画像処理方法において、前記修正ステップは、ノイズ除去の結果を表示する際、表示するノイズの種類を指定する表示ノイズ指定ステップを備えたことを特徴とする。
また、本発明の請求項８は、請求項５または７記載の画像処理方法において、前記修正ステップは、ノイズ除去の結果を修正する際、修正するノイズの種類を指定する修正ノイズ指定ステップを備えたことを特徴とする。
また、本発明の請求項９は、請求項５乃至８の何れか一項に記載の画像処理方法をコンピュータが制御可能にプログラミングしたことを特徴とする。
また、本発明の請求項１０は、請求項９に記載の画像処理プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする。

本発明によれば、ノイズ除去後の修正作業を効率良く行うことができる。また、ノイズの色を種類に応じて変えることで、他のノイズと容易に区別でき、修正時に注目すべきノイズが判別し易くなる。更に、特定の種類のノイズに限定して修正作業が行えるので、修正による誤りを減少させることができる。

以下、図面を参照して、本発明の画像処理における一実施形態を説明する。
図１は本発明の画像処理装置のハードウエア構成を示す図である。画像入力機器１０は、スキャナーなどから構成され、紙などに印刷された画像を入力する装置である。画像入力機器１０で入力された画像は、ＲＡＭ１５でバッファリングされた後、ハードディスクドライブ（ＨＤＤ）１４に保存される。本発明の画像処理を行う主な要素は、中央演算処理装置（ＣＰＵ）１１、ＲＯＭ１２、ＲＡＭ１５、ハードディスクドライブ１４、ＣＤ−ＲＯＭドライブ１６を含む構成となっており、ハードディスクドライブ１４にインストールされた画像処理プログラムに基づいて画像処理を行ない、ディスプレイ１３に結果等を表示する。また、入力装置１８はキーボードとマウスで構成され、画像処理装置へ指示を与えるもので、タブレットやテンキー等で構成しても、あるいは必要に応じて追加しても良い。なお、ＲＯＭ１２は起動プログラムなどが記憶され、ＲＡＭ１５は画像処理プログラムを実行する際の作業用記憶領域として用いられる。また、画像処理プログラムは、ＣＤ−ＲＯＭなどの記録媒体に記録され、ユーザーに提供され、ＣＤ−ＲＯＭドライブ１６によって読み取られ、ハードディスクドライブ１４にインストールされる。画像処理プログラムは、実行時にはＲＡＭ１５に展開されて、中央演算処理装置１１により実行される。なお、１７は前記それぞれのデバイスと制御信号やデータ等を授受するためのバスである。

図２は本発明の画像処理装置の機能構成を示すブロック図である。画像入力機器１０から読み込まれた入力画像はノイズ除去部２０に渡されて処理される。矩形抽出手段２１は、入力画像から連続する黒画素（あるいは所定の色の画素）を一まとめにした外接矩形として抽出する。そして、各矩形について、ノイズ判定／分類手段２２がノイズであるか否かの判定を行い、そのときノイズと判定された矩形はノイズの種類によって分類される。ノイズ除去手段２３は、ノイズと判定された矩形内の黒画素（あるいは所定の色の画素）を白画素（あるいは背景色と同色の画素）に変換することにより、ノイズとして取り除く。
ノイズが除去された画像は、出力画像としてディスプレイ１３に表示され、抽出された各矩形の判定結果はノイズ情報として、ノイズの種類と矩形情報とが保存される。ユーザーは修正手段２４でディスプレイ１３に表示された画像を確認しつつ修正作業を行う。つまり、除去されていないノイズに対しては、ノイズである事を指示し、除去されてしまった画像の一部はノイズでない旨の指示を行う。指示された内容は実行され、画像は修正される。この作業を繰り返して修正作業が終了した時点でノイズ除去の処理が完了する。
図３および図４は画像処理装置がノイズ情報を登録管理するときのデータ形式の例を示したものである。図３は抽出した矩形がノイズと判定された時のノイズ情報の項目を示している。この例では、ノイズに外接する矩形の左上と右下の座標をそれぞれ始点座標と終点座標として、次に矩形内の黒画素の連続する長さをランレングス情報として抽出する。図３では矩形内に２つの黒画素のランがあることを示している。ランレングス情報はランの始点のＸ座標と終点のＸ座標（あるいはランの長さ）とＹ座標で表し、容易にノイズの位置を特定できるようになっている。

図４は、ノイズ情報の格納形式の例を示す図である。ヘッダー４０はデータ全体の長さや、各項目の数、あるいは全項目の先頭アドレス等を記憶している領域で、ノイズ情報全体を一まとめにしてファイルに保存したり、あるいはファイルからＲＡＭへ読み出して展開するための情報を保持している。ノイズ４１はノイズと判定された矩形の集合を扱うためのポインタの集合であるが、直接矩形情報を指さず、ゴマ塩ノイズ５１、周辺ノイズ５２、パンチ穴ノイズ５３、綴じ部ノイズ５４等々の集合の先頭ポインタを含んでいる。同様に、ノイズではない情報４２も、以前どの種類のノイズと判定されたかを示す、ゴマ塩ノイズ６１、周辺ノイズ６２、パンチ穴ノイズ６３、綴じ部ノイズ６４等々の集合の先頭ポインタを含んでいる。実際の個々のノイズ情報は図３で説明したように、矩形情報７１、ランレングス情報７２の組でできており、例えばゴマ塩ノイズ５１にはすべてのゴマ塩ノイズと判定された矩形へのポインタが格納されている。このようにデータを管理することで、特定の種類のノイズのみを扱うことが可能となる。
なお、ノイズ判定／分類手段で、確信度を求めノイズかも知れないと判定されたが、閾値との比較でノイズでないと最終判定されたものは、ノイズではない情報４２に分類されて登録されているので、ノイズの種類によって、例えばパンチ穴が除去されていないときは、ノイズでない情報４２の集合からノイズ４１の集合に移るべく、各種ポインタ情報を変更することになる。
また、目視により、原稿の一部がノイズとして除去されていると判断された時は、ノイズに属す集合を表示させてノイズでない情報４２へ変更することができる。

次に、以上のように構成した画像処理装置の動作を図を参照して詳細に説明する。図５は本発明の画像処理装置の動作を示すフローチャートである。画像入力機器１０より読み込まれた入力画像から黒画素連結外接矩形を抽出する（ステップＳ１００）。本発明では、文字や図表、写真などと同様に、ノイズも矩形領域として抽出し、それぞれの矩形についてノイズか否かを判断するようにしている。次に各矩形について、ノイズの種類に応じたノイズ判定と分類を行う（ステップＳ１０１）。このノイズの判定／分類はノイズの種類とその特徴を利用して行う。例えばゴマ塩ノイズの場合は、ノイズの大きさが小さく、かつ他の矩形との距離が大きいという特徴が利用でき、周辺ノイズやパンチ穴ノイズは紙面の周辺部に存在する矩形の大きさや形を特徴として利用できる。これらのノイズ判定については、前掲の特許文献等の他にも従来技術があるので詳細はそちらを参照して欲しい。また、判定には誤差が付き物であり、ノイズであるか否かの二者択一を行うためには、矩形情報の所定の特性値と閾値と比較をすることになる。従って、ノイズでないと判定された場合でも、限りなくノイズに近いものもある。このような結果も含めて、判定／分類結果をノイズ情報としてＨＤＤ１４に登録しておく。登録の形式は図４で説明した通りである。なお、ＨＤＤ１４に記録する替わりにＲＡＭ１５に記録しておいても良い。
次に、上述のように判定／分類したノイズ情報に基づいてノイズを除去する（ステップＳ１０２）。この時、とりあえずノイズと判定された矩形のみを対象として、矩形内の黒画素（あるいは所定の色の画素）を白画素（あるいは背景色と同色の画素）に置き換える。このノイズ除去の結果はディスプレイ１３に表示される。

続いて、修正作業に入る。この作業は、画像表示（ステップＳ１０３）と修正指示（ステップＳ１０４）を交互に行うことで、ユーザーは指示対象および指示結果の確認を行いながら修正作業を進めることができる。本発明の画像処理装置はユーザーの指示に応じて、特定のノイズのみを表示したり、ノイズの種類に応じて表示の形態を変化させられるので、効率の良い修正作業が行える。
例えば、ノイズの除去（ステップＳ１０２）の結果を見て、ノイズがまだ除去されていない場合は、例えばパンチ穴が残っているようなら、ノイズでないと判定されたパンチ穴ノイズを赤で表示するように指示すれば良い。指示の方法は、例えば、ディスプレイ１３に図４に対応するノイズ４１、ノイズでない情報４２の別およびノイズの種類と表示色とを指示できるようなメニューアイコンを設け、マウスでクリックすると入力されるようにしておけば良い。するとノイズでない情報４２からパンチ穴ノイズ６３に分類された矩形の画素が赤く表示されるので、パンチ穴ノイズの部分をマウスでクリックして矩形を特定し、ノイズであるという指示をすれば、特定された矩形はノイズとして分類される。そして、ノイズとして分類された矩形の黒画素（まだ表示は赤であるが）は除去され、ノイズ情報もノイズではないという集合から、パンチ穴ノイスであるという集合に移される。
あるいは、原稿の一部がノイズとして除去されている場合は、除去したノイズを原稿の色とは異なる色で表示させれば、どの種類のノイズとして分類されたかがわかる。また、ノイズの種類を順次指定して表示させれば、表示されるノイズが少なくなるので、ノイズの判別が容易になる。この場合、表示されているノイズのみが特定できるので、ノイズの種類を指示すると、特定の種類のノイズのみが修正可能となる。

本発明の画像処理装置のハードウエア構成を示す図。 本発明の画像処理装置の機能構成を示すブロック図。 ノイズデータの項目を説明する図。 ノイズデータの格納形式の例を示す図。 本発明の画像処理装置の動作を示すフローチャート。

符号の説明

１０ 画像入力機器
１１ 中央演算処理装置
１２ ＲＯＭ（Read Only Memory）
１３ ディスプレイ
１４ ＨＤＤ（Hard Disk Drive）
１５ ＲＡＭ（Random Access Memory）
１６ ＣＤ−ＲＯＭ・ＦＤドライブ
２０ ノイズ除去部
２１ 矩形抽出手段
２２ ノイズ判定／分類手段
２３ ノイズ除去手段
２４ 修正手段

Claims (10)

1. 入力画像から複数種類のノイズを判定するノイズ判定手段と、判定されたノイズの種類とノイズの位置情報およびノイズと判定されなかった矩形情報を保持するノイズ情報保持手段と、前記ノイズと判定されたノイズを除去するノイズ除去手段と、ノイズ除去の結果を表示および修正する修正手段とを備えたことを特徴とする画像処理装置。
2. 前記修正手段は、ノイズ除去の結果を表示する際、ノイズの種類が区別できるように、ノイズの種類に応じて表示方法を変えることを特徴とする請求項１記載の画像処理装置。
3. 前記修正手段は、ノイズ除去の結果を表示する際、表示するノイズの種類を指定する表示ノイズ指定手段を備えたことを特徴とする請求項１記載の画像処理装置。
4. 前記修正手段は、ノイズ除去の結果を修正する際、修正するノイズの種類を指定する修正ノイズ指定手段を備えたことを特徴とする請求項１または３記載の画像処理装置。
5. 入力画像から複数種類のノイズを判定するノイズ判定ステップと、判定されたノイズの種類とノイズの位置情報およびノイズと判定されなかった矩形情報を保持するノイズ情報保持ステップと、前記ノイズと判定されたノイズを除去するノイズ除去ステップと、ノイズ除去の結果を表示および修正する修正ステップとを備えたことを特徴とする画像処理方法。
6. 前記修正ステップは、ノイズ除去の結果を表示する際、ノイズの種類が区別できるように、ノイズの種類に応じて表示方法を変えることを特徴とする請求項５記載の画像処理方法。
7. 前記修正ステップは、ノイズ除去の結果を表示する際、表示するノイズの種類を指定する表示ノイズ指定ステップを備えたことを特徴とする請求項５記載の画像処理方法。
8. 前記修正ステップは、ノイズ除去の結果を修正する際、修正するノイズの種類を指定する修正ノイズ指定ステップを備えたことを特徴とする請求項５または７記載の画像処理方法。
9. 請求項５乃至８の何れか一項に記載の画像処理方法をコンピュータが制御可能にプログラミングしたことを特徴とする画像処理プログラム。
10. 請求項９に記載の画像処理プログラムをコンピュータが読み取り可能な形式で記録したことを特徴とする記録媒体。

Images