JP4158696B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は画像処理に関し、詳しくは入力画像からノイズを除去する技術に関する。

複写機、スキャナー等の画像機器より原稿を入力する際に、入力画像の全面にゴマ塩状の孤立点ノイズや、周辺部にベタノイズ、またパンチ穴の跡などが発生する場合がある。これらのノイズは、画像機器を利用するユーザーにとっては必要の無い情報であるため、自動的に除去されることが望ましい。
ノイズ除去に関する技術としては次のような従来技術がある。
例えばノイズ判断過程で得られたノイズについてのデータ、確信度データ、およびノイズ除去過程で除去されたノイズ画像を編集データとして管理する。確信度データに基づく着色、編集、処理順序指定等を行い、誤って判断されたノイズの修正作業を行う（特許文献１）。また、特許文献２では、ノイズ候補をカラーで表示して確認しながらノイズ判定条件を変更できるようになっている。さらに、特許文献３では、連結黒画素に外接する連結黒画素矩形を求め、連結黒画素矩形の座標と連結黒画素数を連結黒画素矩形情報リストとして格納するようになっている。
なお、特定の種類のノイズを除去する技術としては、紙面全域に現れる孤立点（ゴマ塩）ノイズの除去のための従来技術として特許文献４、また、原稿の周辺（用紙の境界部分）に現れる周辺ノイズの除去のための従来技術として特許文献５、パンチ穴の除去については特許文献６等がある。
特開２００３−２０４４３４公報 特開平０５−８１４２４号公報 特開平０８−２２５０７号公報 特開２００２−２６２０９３公報 特開２００２−２７１６２９公報 特願２００２−２３７４０３

しかし、実際は、ノイズと本来除去してはいけない情報（文字、写真、図など）の区別が１００％確かではないため、誤って本来除去してはいけない情報の欠落が起きてしまうことがある。このような場合は、ノイズ除去後の画像に対して修正作業を行う必要がある。
本発明は、上述した実情を考慮してなされたもので、ノイズ除去の精度は１００％ではないことを前提に、ノイズ除去後の修正作業を効率良く行うことが可能な画象処理装置、画象処理方法、および画像処理プログラム並びに記録媒体を提供することを目的とする。 なお、本明細書で言う修正作業とは、ノイズ除去により、情報（文字、点線など）が、誤ってノイズと判断されたものを復活させ（ノイズではない状態に戻す）、また、本来ノイズなのにノイズではないと判断されたものを解除（ノイズの状態に変更）する作業のことである。

上記の課題を解決するために、請求項１に記載の画像処理装置は、入力画像から様々な種類のノイズを判断する判定手段と、該判断されたノイズ種類、矩形情報、ノイズと判断されなかった矩形情報を管理するノイズ除去結果データ管理手段と、前記判断されたノイズを除去するノイズ除去手段と、前記入力画像を複数の領域に分割し、該分割された領域毎にノイズと判断された画素を計数する画素計数手段と、前記入力画像を修正画像とは別領域に縮小表示するパンウィンドウと、該パンウィンドウ内で各分割された領域ごとに、ノイズの量に応じて、複数の色分け表示を行う表示手段と、前記表示手段に表示されるパンウィンドウ内の分割領域を指定することにより、該領域に対応する修正画像の領域に切り替え、前記ノイズ除去手段により除去されたノイズを修正する修正手段とを備えたことを特徴とする。
また、請求項２は、請求項１記載の画像処理装置において、前記修正手段は、前記画素計数手段が前記入力画像を分割する数をノイズと判断された量に応じて決定することを特徴とする。
また、請求項３は、請求項１記載の画像処理装置において、前記修正手段は、ノイズ除去した画素の多い領域に表示のフォーカスを移動することを特徴とする。
また、請求項４は、請求項１記載の画像処理装置において、前記修正手段は、ノイズ除去した画素の量に応じて、結果の表示の倍率を自動的に切り替えることを特徴とする。
また、請求項５は、請求項１記載の画像処理装置において、前記修正手段は、前記分割した各領域において、ノイズと判断されなかった画素だけあるいはノイズと判断された画素だけを表示することを特徴とする。

また、請求項６に記載の画像処理方法は、判定手段が、入力画像から様々な種類のノイズを判断し、ノイズ除去結果データ管理手段が、該判断されたノイズ種類、矩形情報、ノイズと判断されなかった矩形情報を管理し、ノイズ除去手段が、前記判断されたノイズを除去し、画素計数手段が、前記入力画像を複数の領域に分割して、該分割された領域毎にノイズと判断された画素を計数し、表示手段が、前記入力画像を修正画像とは別領域に縮小表示するパンウィンドウと、該パンウィンドウ内で各分割された領域ごとに、ノイズの量に応じて、複数の色分け表示を行い、修正手段が、前記表示手段に表示されるパンウィンドウ内の分割領域を指定することにより、該領域に対応する修正画像の領域に切り替え、前記ノイズ除去手段により除去されたノイズを修正することを特徴とする。
また、請求項７は、コンピュータに、入力画像から様々な種類のノイズを判断する手順、該判断されたノイズ種類、矩形情報、ノイズと判断されなかった矩形情報を管理する手順、前記判断されたノイズを除去する手順、前記入力画像を複数の領域に分割して、該分割された領域毎にノイズと判断された画素を計数する手順、前記入力画像を修正画像とは別領域に縮小表示するパンウィンドウと、該パンウィンドウ内で各分割された領域ごとに、ノイズの量に応じて、複数の色分け表示を行う手順、前記表示手段に表示されるパンウィンドウ内の分割領域を指定することにより、該領域に対応する修正画像の領域に切り替え、前記ノイズ除去手段により除去されたノイズを修正する手順を、それぞれ実行させるための文書処理プログラムの文書処理プログラムである。
また、請求項８は、請求項７に記載の文書処理プログラムを記録したコンピュータ読み取り可能な記録媒体である。

本発明によれば、ノイズ除去後の修正作業を効率良く行うことが可能となる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
図１は本発明の画像処理装置のハードウエア構成を示す図である。画像入力機器１０は、スキャナーなどから構成され、紙などに印刷された画像を入力する装置である。画像入力機器１０で入力された画像は、ＲＡＭ１５でバッファリングされた後、ハードディスクドライブ（ＨＤＤ）１４に保存される。本発明の画像処理を行う主な要素は、中央演算処理装置（ＣＰＵ）１１、ＲＯＭ１２、ＲＡＭ１５、ハードディスクドライブ１４、ＣＤ−ＲＯＭドライブ１６を含む構成となっており、ハードディスクドライブ１４にインストールされた画像処理プログラムに基づいて画像処理を行い、ディスプレイ１３に結果等を表示する。また、入力装置１８はキーボードとマウスで構成され、画像処理装置へ指示を与えるもので、タブレットやテンキー等で構成しても、あるいは必要に応じて追加しても良い。なお、ＲＯＭ１２には起動プログラムなどが記憶され、ＲＡＭ１５は画像処理プログラムを実行する際の作業用記憶領域として用いられる。また、画像処理プログラムは、ＣＤ−ＲＯＭなどの記録媒体に記録され、ユーザーに提供され、ＣＤ−ＲＯＭドライブ１６によって読み取られ、ハードディスクドライブ１４にインストールされる。画像処理プログラムは、実行時にはＲＡＭ１５に展開されて、中央演算処理装置１１により実行される。なお、１７は前記それぞれのデバイスと制御信号やデータ等を授受するためのバスである。
図２は本発明の画像処理装置の機能構成を示すブロック図である。画像入力機器１０から読み込まれた入力画像はノイズ除去部２０に渡されて処理される。矩形抽出手段２１は、入力画像から連続する黒画素（あるいは所定の色の画素）を一まとめにした外接矩形として抽出する。そして、各矩形について、ノイズ判定／分類手段２２がノイズであるか否かの判定を行い、そのときノイズと判定された矩形はノイズの種類によって分類される。ノイズ除去手段２３は、ノイズと判定された矩形内の黒画素（あるいは所定の色の画素）を白画素（あるいは背景色と同色の画素）に変換することにより、ノイズとして取り除く。
ノイズが除去された入力画像は、出力画像としてディスプレイ１３に表示され、抽出された各矩形の判定結果はノイズ情報として、ノイズの種類と矩形情報とが保存される。ユーザーは修正手段２４でディスプレイ１３に表示された画像を確認しつつ修正作業を行う。つまり、除去されていないノイズに対しては、ノイズである事を指示し、除去されてしまった画像の一部はノイズでない旨の指示を行う。指示された内容は実行され、画像は修正される。この作業を繰り返して修正作業が終了した時点でノイズ除去の処理が完了する。

図３および図４は画像処理装置がノイズ情報を登録管理するときのデータ形式の例を示したものである。図３は抽出した矩形がノイズと判定された時のノイズ情報の項目を示している。この例では、ノイズに外接する矩形の左上と右下の座標をそれぞれ始点座標と終点座標として、次に矩形内の黒画素の連続する長さをランレングス情報として抽出する。図３では矩形内に２つの黒画素のランがあることを示している。ランレングス情報はランの始点のＸ座標と終点のＸ座標（あるいはランの長さ）とＹ座標で表し、容易にノイズの位置を特定できるようになっている。
図４は、ノイズ情報の格納形式の例を示す図である。ヘッダー４０はデータ全体の長さや、各項目の数、あるいは全項目の先頭アドレス等を記憶している領域で、ノイズ情報全体を一まとめにしてファイルに保存したり、あるいはファイルからＲＡＭへ読み出して展開するための情報を保持している。ノイズ４１はノイズと判定された矩形の集合を扱うためのポインタの集合であるが、直接矩形情報を指さず、ゴマ塩ノイズ５１、周辺ノイズ５２、パンチ穴ノイズ５３、綴じ部ノイズ５４等々の集合の先頭ポインタを含んでいる。一方、ノイズではない情報４２は、直接矩形情報を指すポインタの集合である。ノイズ情報は、図３で説明したように、矩形情報７１、ランレングス情報７２の組でできており、例えばゴマ塩ノイズ５１にはすべてのゴマ塩ノイズと判定された矩形情報へのポインタが格納されている。このようにデータを管理することで、特定の種類のノイズのみを扱うことが可能となる。一方、ノイズではない情報４２が指す矩形情報も、ノイズとして判定された矩形情報と同一の形式である。

次に、以上のように構成した画像処理装置の動作を図を参照して詳細に説明する。図５は本発明の画像処理装置の動作を示すフローチャートである。画像入力機器１０より読み込まれた入力画像から黒画素連結外接矩形を抽出する（ステップＳ１００）。本発明では、文字や図表、写真などと同様に、ノイズも矩形領域として抽出し、それぞれの矩形についてノイズか否かを判断するようにしている。次に各矩形について、ノイズの種類に応じたノイズ判定と分類を行う（ステップＳ１０１）。このノイズの判定／分類はノイズの種類とその特徴を利用して行う。例えばゴマ塩ノイズの場合は、ノイズの大きさが小さく、かつ他の矩形との距離が大きいという特徴が利用でき、周辺ノイズやパンチ穴ノイズは紙面の周辺部に存在する矩形の大きさや形を特徴として利用できる。これらのノイズ判定については、前掲の特許文献等の他にも従来技術があるので詳細な説明は省略する。また、判定には誤差が付き物であり、ノイズであるか否かの二者択一を行うためには、矩形情報の所定の特性値と閾値と比較をすることになる。従って、ノイズでないと判定された場合でも、限りなくノイズに近いものもある。このような結果も含めて、判定／分類結果をノイズ情報としてハードディスクドライブ１４に登録しておく。登録の形式は図４で説明した通りである。なお、ハードディスクドライブ１４に記録する替わりにＲＡＭ１５に記録しておいても良い。
次に、上述のように判定／分類したノイズ情報に基づいてノイズを除去する（ステップＳ１０２）。この時、とりあえずノイズと判定された矩形のみを対象として、矩形内の黒画素（あるいは所定の色の画素）を白画素（あるいは背景色と同色の画素）に置き換える。

続いて、修正作業に入る。この作業は、画像表示（ステップＳ１０３）と修正指示（ステップＳ１０４）を交互に行うことで、ユーザーは指示対象および指示結果の確認を行いながら修正作業を進めることができる。本発明の画像処理装置はユーザーの指示に応じて、様々に表示の形態を変化させられるので効率の良い修正作業が行える。修正作業では、入力画像を適当な数（ｍ×ｎ）に分割して、その分割領域毎にノイズと判断された画素をカウントし、その情報を修正作業に役立てる。修正作業では、ノイズ除去により情報（文字、点線など）が、誤ってノイズと判断されたものを復活（ノイズではない状態に戻すこと）させたり、ノイズ除去により、本来ノイズなのに、ノイズではない情報（文字、点線など）と判断されたものを解除（ノイズの状態に変更する）することを行う。その修正作業の効率を向上させるために、表示の仕方をいろいろ用意する。
例えば入力画像を分割する数（ｍ×ｎ）をノイズと判断された量に応じて切り替えるようにする。入力画像の幅、高さによって分割数を変えても良いが、画像全体でのノイズの量に応じて切り替えるようにする。つまり、ノイズと判断された量が多ければ分割数を増やす（細かく分割される）ことになる。
また、ノイズ除去した画素の多い領域に表示のフォーカスを自動的に移動させるようにする。入力画像を適当な数で分割し、その分割された領域内で、ノイズと判断された画素を計数し、入力画像を表示させたときに、その一番多い領域を自動的に表示させる。もちろん、ユーザーの指示により次に多い領域へと順番に移ることも可能である。修正時にノイズが密集する領域から確認修正作業をすることができ、これによって修正の作業効率が向上する。

さらに、ノイズ除去した画素の量に応じて、結果の表示の倍率を自動的に切り替えるようにする。入力画像を適当な数で分割し、その分割された領域内で、ノイズと判断された画素を計数し、その量に応じて表示の倍率を変える。ノイズと判断された量に応じて、表示する倍率の切り替えが出来れば、ノイズが多い領域に関しては倍率を上げ、少ない領域は下げるなどの細かい制御が可能になる。これによって、ノイズが多い領域は拡大表示にて細かく確認しながら修正することができ、修正時に注目すべきノイズが判断しやすくなる。このことにより修正の作業効率が向上する。
また、各領域において、ノイズと判断されなかった画素だけを、または、ノイズと判断された画素だけを表示する画面との切り替えを容易にできるようにする。もちろん、画像全体でも切り替えることは可能である。この切り替えは、図４のデータ形式を採用することで容易に実現できる。修正作業時に、修正後（ノイズ除去後）の画像および除去したノイズの確認を各領域で容易に確認することが可能になり、修正の作業効率が向上する。
そして、入力画像を縮小表示するパンウィンドウを別に用意し、そのパンウィンドウ内で、各分割された領域ごとに、ノイズの量に応じて異なる表示をする。異なる表示とは、例えば色分け表示である。ノイズの量があらかじめ設定されている閾値を超えた領域だけを色分け表示する、閾値を複数（例えば、多い、普通、少ない）用意しておき、それに応じて複数段階の色分け表示をすること等が可能になる。もちろん、パンウィンドウ内の領域をマウス等のポインタで指定すれば、修正画面をその領域に瞬時に切り替えることも可能である。パンウィンドウは、画像全体を縮小表示するための小さなウィンドウであるため、スクロールが必要なほど大きなサイズでメインウィンドウに表示されている画像でも、パンウィンドウにはその全体が表示されることになり、全体像を把握しながら修正作業を進めることができ、作業効率が向上する。

本発明の画像処理装置のハードウエア構成を示す図である。 本発明の画像処理装置の機能構成を示すブロック図である。 ノイズ情報の項目を示す図である。 ノイズ情報の格納形式の例を示す図である。 本発明の画像処理装置の動作を示すフローチャートである。

符号の説明

１０ 画像入力機器
１１ 中央演算処理装置
１２ ＲＯＭ（Read Only Memory）
１３ ディスプレイ
１４ ハードディスク（ＨＤＤ：Hard Disk Drive）
１５ ＲＡＭ（Random Access Memory）
１６ ＣＤ−ＲＯＭ・ＦＤドライブ
１７ バス
１８ 入力装置
２０ ノイズ除去部
２１ 矩形抽出手段
２２ ノイズ判定／分類手段
２３ ノイズ除去手段
２４ 修正手段

Claims (8)

1. 入力画像から様々な種類のノイズを判断する判定手段と、
   該判断されたノイズ種類、矩形情報、ノイズと判断されなかった矩形情報を管理するノイズ除去結果データ管理手段と、
   前記判断されたノイズを除去するノイズ除去手段と、
   前記入力画像を複数の領域に分割し、該分割された領域毎にノイズと判断された画素を計数する画素計数手段と、
   前記入力画像を修正画像とは別領域に縮小表示するパンウィンドウと、該パンウィンドウ内で各分割された領域ごとに、ノイズの量に応じて、複数の色分け表示を行う表示手段と、
   前記表示手段に表示されるパンウィンドウ内の分割領域を指定することにより、該領域に対応する修正画像の領域に切り替え、前記ノイズ除去手段により除去されたノイズを修正する修正手段と
   を備えたことを特徴とする画像処理装置。
2. 前記修正手段は、前記画素計数手段が前記入力画像を分割する数をノイズと判断された量に応じて決定することを特徴とする請求項１記載の画像処理装置。
3. 前記修正手段は、ノイズ除去した画素の多い領域に表示のフォーカスを移動することを特徴とする請求項１記載の画像処理装置。
4. 前記修正手段は、ノイズ除去した画素の量に応じて、結果の表示の倍率を自動的に切り替えることを特徴とする請求項１記載の画像処理装置。
5. 前記修正手段は、前記分割した各領域において、ノイズと判断されなかった画素だけあるいはノイズと判断された画素だけを表示することを特徴とする請求項１記載の画像処理装置。
6. 判定手段は、入力画像から様々な種類のノイズを判断し、
   ノイズ除去結果データ管理手段は、該判断されたノイズ種類、矩形情報、ノイズと判断されなかった矩形情報を管理し、
   ノイズ除去手段は、前記判断されたノイズを除去し、
   画素計数手段は、前記入力画像を複数の領域に分割して、該分割された領域毎にノイズと判断された画素を計数し、
   表示手段は、前記入力画像を修正画像とは別領域に縮小表示するパンウィンドウと、該パンウィンドウ内で各分割された領域ごとに、ノイズの量に応じて、複数の色分け表示を行い、
   修正手段は、前記表示手段に表示されるパンウィンドウ内の分割領域を指定することにより、該領域に対応する修正画像の領域に切り替え、前記ノイズ除去手段により除去されたノイズを修正する
   ことを特徴とする画像処理方法。
7. コンピュータに、入力画像から様々な種類のノイズを判断する手順、該判断されたノイズ種類、矩形情報、ノイズと判断されなかった矩形情報を管理する手順、前記判断されたノイズを除去する手順、前記入力画像を複数の領域に分割して、該分割された領域毎にノイズと判断された画素を計数する手順、前記入力画像を修正画像とは別領域に縮小表示するパンウィンドウと、該パンウィンドウ内で各分割された領域ごとに、ノイズの量に応じて、複数の色分け表示を行う手順、前記表示手段に表示されるパンウィンドウ内の分割領域を指定することにより、該領域に対応する修正画像の領域に切り替え、前記ノイズ除去手段により除去されたノイズを修正する手順を、それぞれ実行させるための文書処理プログラム。
8. 請求項７に記載の文書処理プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images