JPH10228536A

JPH10228536A - 画像処理方法

Info

Publication number: JPH10228536A
Application number: JP9032366A
Authority: JP
Inventors: Taiji Morimoto; 泰司森本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-02-17
Filing date: 1997-02-17
Publication date: 1998-08-25
Anticipated expiration: 2017-02-17
Also published as: JP3762019B2

Abstract

(57)【要約】【課題】ゴミ以外の領域は原画像のまま劣化させるこ
となく、ゴミを取除いた様に画像を修正するのに有効な
画像処理方法を提供する。【解決手段】ディジタル画像中の隣接画素について画
素信号明度成分の２次微分値が正の第１閾値を越える値
から負の第２閾値未満の値へと変化する場所の集合を輪
郭としてゴミ領域候補を設定する。ゴミ領域候補のうち
その内部の近接画素どうしの間での信号の明度成分及び
彩度成分の変化が所定範囲内のものをゴミ領域として抽
出処理する。ゴミ領域内の画素の信号を当該画素の周囲
の有効な画素の信号を用いて有効画素数の多い画素から
順に補間処理する。その際、既に補間処理された画素を
新たな有効画素として扱うことによってゴミ領域内の画
素を外側から内側へと順次補間する。隣接有効画素数が
同じである画素については、それらの全ての画素の補間
値だけを求めた後にそれらの画素を補間する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像処
理技術に属するものであり、更に詳しくはディジタル画
像中にゴミがある場合に該ゴミを取除いた様に画像を修
正する方法及びそこで好適に用いられる画像処理方法に
関するものである。

【０００２】

【従来の技術】従来、ディジタル画像中にゴミがある場
合には、ゴミを含む適宜の領域を操作者が処理対象領域
として指定し、該処理対象領域内の全画素に対して一様
に平滑化フィルタをかけ、ゴミを含む前記処理対象領域
の全画素の信号を平均化された信号で置き換える（ぼか
す）ことによって、画像中のゴミを取除いた様に修正す
る処理を行っていた。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来例では、指定された領域内の全ての画素に対して、一
様に平滑化フィルタをかけてゴミを含む領域全体をぼか
す手法であったため、ゴミでない領域にもフィルタ処理
をかけてしまい、そのゴミでない領域の画像を劣化させ
てしまうといった問題点があった。

【０００４】本発明は、上述の問題点に鑑みてなされた
ものであり、ゴミ以外の領域は原画像のまま劣化させる
ことなく、ゴミを取除いた様に画像を修正するのに有効
な画像処理方法を提供することを目的とする。

【０００５】

【課題を解決するための手段及びその作用】本発明によ
れば、上記目的を達成するものとして、多数の画素から
なるディジタル画像中の隣接する画素について画素信号
の２次微分値が正の第１閾値を越える値から負の第２閾
値未満の値へと変化する場所を検出し、それらの集合を
輪郭としてゴミ領域候補を設定することを特徴とする画
像処理方法、が提供される。

【０００６】前記画素信号の２次微分値として前記ディ
ジタル画像の信号を明度成分、彩度成分及び色相成分に
分けたうちの明度成分の２次微分値を考慮することがで
きる。

【０００７】前記ゴミ領域候補のうちその内部の近接画
素どうしの間での信号の変化が所定範囲内のものをゴミ
領域として抽出処理することができる。

【０００８】前記ゴミ領域候補の内部の近接画素どうし
の間での信号の変化として、前記ディジタル画像の信号
を明度成分、彩度成分及び色相成分に分けたうちの明度
成分及び彩度成分の変化を考慮することができる。

【０００９】前記ゴミ領域候補の設定に際して、前記画
素信号の２次微分値が負の第２閾値未満の画素の集合を
求めた後に、該画素の集合により囲まれる領域の周囲の
画素のうちで前記画素信号の２次微分値が正の第１閾値
を越える画素が占める割合を求め、該割合が所定値以上
の場合に前記ゴミ領域候補と判定することができる。

【００１０】あるいは、前記ゴミ領域候補の設定に際し
て、前記画素信号の２次微分値が正の第１閾値を越える
画素の集合を求めた後に、該画素の集合により囲まれる
領域の周囲の画素のうちで前記画素信号の２次微分値が
負の第２閾値未満の画素が占める割合を求め、該割合が
所定値以上の場合に前記ゴミ領域候補と判定することも
できる。

【００１１】前記ゴミ領域抽出処理においてゴミ領域が
１つも抽出されなかった場合には、前記第１閾値、前記
第２閾値及び前記所定範囲のうちの少なくとも１つを変
えた上で、再び前記ゴミ領域抽出処理を行うことができ
る。

【００１２】前記ゴミ領域抽出処理において抽出された
ゴミ領域を提示し、提示された抽出ゴミ領域のうちの所
望以外のものをゴミ領域の指定から解除することができ
る。

【００１３】更に、本発明によれば、ゴミ領域内の画素
の信号を当該画素の周囲の有効な画素の信号を用いて補
間処理し、該補間処理を前記ゴミ領域内の外側の画素か
ら内側の画素へと進行させることを特徴とする画像処理
方法、が提供される。

【００１４】また、本発明によれば、ゴミ領域内の画素
の信号を当該画素の周囲の有効な画素の信号を用いて補
間処理し、該補間処理の際に、既に補間処理された画素
を新たな有効画素として扱うことによって前記ゴミ領域
内の画素を順次補間していくことを特徴とする画像処理
方法、が提供される。

【００１５】前記補間処理の際に、隣接する有効画素の
数の多い画素から順に補間することができる。

【００１６】前記補間処理の際に、前記隣接する有効画
素の数が同じである画素については、それらの全ての画
素の補間値だけを求めた後にそれらの画素を補間するこ
とができる。

【００１７】前記補間処理の前に、該補間処理を受ける
前の画像の画素信号を記憶することができる。

【００１８】前記補間処理後に、該補間処理により補間
された画像の画素信号を前記記憶された補間処理を受け
る前の画像の画素信号に置き換えることができる。

【００１９】即ち、以上の様な本発明の一態様において
は、指定されたディジタル画像領域の明度成分画像中に
含まれる明度変化の激しい輪郭を検出し、検出した輪郭
により囲まれる領域をゴミ領域の候補とする。前記ゴミ
領域の候補のうち、領域内の画素の明度、彩度成分が平
坦であるものをゴミ領域と判断する。次に、前記ゴミ領
域内にあって、ゴミ領域外の周辺画素と隣接しているゴ
ミ領域の境界上にある画素から補間を始め、補間し終わ
った画素も周辺画素と同様に有効画素として用いながら
順次ゴミ領域の内側の画素を補間していき、ゴミを取り
除くようにディジタル画像を修正する。

【００２０】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。

【００２１】図１は、本発明による画像処理方法の実施
される画像処理装置の概略構成を示すブロック図であ
る。

【００２２】ＣＰＵ１０１、記憶装置１０３及びＲＡＭ
１０２は、パーソナルコンピュータ１０８内にあり、Ｃ
ＰＵ１０１は記憶装置１０３に格納されたプログラムを
ＲＡＭ１０２にコピーし、前記プログラムに従ってディ
ジタル画像を修正処理する。また、ＣＰＵ１０１は、読
取装置１０４によって画像データを読み込み、記憶装置
１０３に記憶する。

【００２３】操作部１０５は、画像データに対して修正
処理を加える操作者の操作命令を受けつけ、ＣＰＵ１０
１に前記操作命令を送る。

【００２４】表示装置１０６は、操作者が前記画像修正
処理の前後の画像を実際に目で確認できるように、前記
操作者の操作に応じて未処理画像および処理済画像を提
示する。操作者は、表示装置１０６に提示された画像中
にゴミを見つけた場合、操作部１０５を操作して取除き
を希望するゴミを含む大まかな矩形領域（画素はｘ−ｙ
直交座標系に従って２次元に配列されているものとす
る）を処理対象として指定する。

【００２５】また、印字装置１０７は、前記操作者の操
作に応じて、ＲＡＭ１０２あるいは記憶装置１０３に蓄
積されている画像データを記録紙にプリント出力する。

【００２６】図２は操作者により指定された前記処理対
象の画像領域内からゴミ領域を抽出する処理の流れを示
すフローチャートである。このフローチャートは前記記
憶装置１０３に格納されたプログラムに基づきＣＰＵ１
０１が行なう処理の流れを示すものである。

【００２７】まず、Ｓ２０１では、操作者がゴミを除去
したいと望んだ部分の画像（処理対象画像）から明度成
分の画像を取り出す。

【００２８】次に、Ｓ２０２では、明度成分のみの画像
ｆ（ｘ，ｙ）に対して、エッジを強調するためにラプラ
シアン演算を施して、ラプラシアン画像∇² ｆ（ｘ，
ｙ）を得る。

【００２９】Ｓ２０３では、Ｓ２０２で強調したエッジ
のうち、ラプラシアン演算による２次微分値（以下、単
に「２次微分値」という）が負で絶対値の大きい或る閾
値（−Ｔ）未満（または以下）となる画素を抽出し、そ
の集合を輪郭として該輪郭を含みそれで囲まれる画素集
合をゴミ領域の候補とする。

【００３０】Ｓ２０４では、Ｓ２０３で求めたゴミ領域
候補のうち、ゴミ領域であるか否かの判定を行なってい
ない領域があるかどうかを調べて、あればＳ２０５に進
み、なければＳ２０９に進む。

【００３１】Ｓ２０５では、Ｓ２０４で調べたゴミ領域
判定を行なっていない或るゴミ領域候補について、Ｓ２
０３で抽出したゴミ領域候補の境界（輪郭）の外側に隣
接する画素のうち２次微分値が正で絶対値の大きい或る
閾値（Ｓ）を越える（または以上となる）画素の数の割
合が一定割合（Ａ％）以上であれば当該領域を続けてゴ
ミ領域候補として扱いＳ２０６に進み、そうでなければ
Ｓ２０８に進む。つまり、Ｓ２０３とＳ２０５では、ゴ
ミ領域の境界においては明度値の変化が急激であるとの
前提から、２次微分値が近傍において正から負へと大き
く変わる画素対の集合であることをゴミ領域の境界とな
る条件として用いている。なお、Ｓ２０３、Ｓ２０４及
びＳ２０５で行なった操作は、周囲の画素よりも明度の
高い白ゴミについてのものであるが、検出条件で用いた
閾値の正負及び不等号を逆転させることにより、周囲の
画素よりも明度の低い黒ゴミについても検出することが
可能となる。

【００３２】Ｓ２０６では、前記ゴミ領域候補の領域内
の画素について、各画素の近傍内で平坦（変化が少な
い）かどうかを下記の基準によって調べ、この基準を満
たせばＳ２０７に進み、満たさなければＳ２０８に進
む。この基準は、ゴミ領域候補の領域内の点（ｘ₀，ｙ
₀）について、その近傍（ｘ，ｙ）に対して｜ｆ（ｘ，ｙ）−ｆ（ｘ₀，ｙ₀）｜≦Ｕ且つ｜ｇ（ｘ，ｙ）−ｇ（ｘ₀，ｙ₀）｜≦Ｖを満たすかどうかである。ここで、ｆ（ｘ，ｙ），ｇ
（ｘ，ｙ）は点（ｘ，ｙ）での明度と彩度であり、Ｕ，
Ｖは適当な閾値である。

【００３３】Ｓ２０７では、前記ゴミ領域候補はゴミ領
域であるとの判定がなされ、ゴミ領域判定を行なったこ
とを記録し、Ｓ２０４に戻る。

【００３４】Ｓ２０８では、前記ゴミ領域候補はゴミ領
域でないとの判定がなされ、ゴミ領域判定を行なったこ
とを記録し、Ｓ２０４に戻る。

【００３５】Ｓ２０９では、ゴミ領域が１つ以上見つか
ったかどうかによって、見つかっていればＳ２１０に進
み、１つも該当する領域が見つかっていない場合はＳ２
１１に進む。

【００３６】Ｓ２１０では、抽出したゴミ領域を表示装
置１０６により表示して操作者に通知し、ゴミ領域抽出
処理を終了する。操作者の望みどおりにゴミと検出した
部分に対しては本抽出処理ではこれ以上操作をする必要
はなく、一方、操作者の望みでないものをゴミと検出し
た部分に対しては、操作部１０５により入力して指示す
ることで、ゴミ領域の指定を解除することが可能であ
る。

【００３７】Ｓ２１１では、Ｓ２０３、Ｓ２０５及びＳ
２０６において使用しているパラメータ（閾値）を適宜
変化させて、検出条件を緩くし（検出しやすくする）、
Ｓ２０３に戻る。

【００３８】以上の如く、操作者が指定したゴミを含む
矩形領域画像は処理され、その中のゴミ領域と判定され
た部分は、次に行われるゴミ領域補間処理の対象とな
る。

【００３９】図３は、図２のようにして求めたゴミ領域
のうち、１つのゴミ領域を補間する処理の流れを示すフ
ローチャートである。このフローチャートも、図２と同
様に、記憶装置１０３に格納されたプログラムに基づき
ＣＰＵ１０１が行なう処理の流れを示すものである。

【００４０】まず、Ｓ３０１では、補間しようとしてい
るゴミ領域全体の画素値（明度成分、彩度成分、色相成
分等の信号値）をＲＡＭ１０２または記憶装置１０３に
記憶させる。これは、ゴミ領域補間処理が全て終わった
後に、操作者による補間の取り消しの指示を受けた場
合、原画像に戻す際に利用されるものである。

【００４１】次に、Ｓ３０２では、１つのゴミ領域内に
おいて、補間処理が終わっていない画素があるかどうか
を調べ、ある場合にはＳ３０３に進み、ない場合には該
ゴミ領域の補間処理を終了し、必要な場合には他のゴミ
領域についての同様な補間処理を開始する。

【００４２】Ｓ３０３では、まず、ゴミ領域内の補間し
ようとする各画素（被補間画素）について、補間するた
めの有効な周辺画素がいくつ存在しているかを調べる。

【００４３】補間するための有効な周辺画素数を数える
例を、図４により説明する。ここでは、有効な周辺領域
範囲を８近傍とした場合（即ち、８つの方向［右方、左
方、上方、下方、斜め右上方、斜め左上方、斜め右下
方、及び斜め左下方］に隣接画素が存在する場合）につ
いて説明する。図４において、白抜きの画素（ａ１，ｂ
１，ｂ２，ｃ１，ｃ２，ｃ３）がゴミ領域内の画素を表
しており、塗りつぶした画素がゴミ領域の周囲の画像を
表している。図４（ａ）においては、画素ａ１のみによ
りゴミ領域が形成されており、８近傍の全ての画素はゴ
ミ領域に属さない画素であるので、補間するための有効
周辺画素数は８となる。図４（ｂ）においては、画素ｂ
１，ｂ２ともに有効周辺画素数は７となる。図４（ｃ）
においては、画素ｃ１，ｃ３の有効周辺画素数は７とな
るが、画素ｃ２については有効周辺画素数は６となる。
尚、画素ｃ１と画素ｃ３とが補間処理された後には、こ
れらの画素ｃ１，ｃ３をも画素ｃ２についての有効周辺
画素として扱うことができ、かくして画素ｃ２の有効周
辺画素数は８となる。

【００４４】さらに、Ｓ３０３では、以上の例のように
して求めた有効周辺画素数が多い順に、ゴミ領域内の画
素をソートする。

【００４５】そして、Ｓ３０４において、有効周辺画素
の信号の平均値を被補間画素の信号値として求め、記憶
する。

【００４６】Ｓ３０５においては、Ｓ３０４で補間した
画素と有効周辺画素数が同数でソート結果が同順位であ
った被補間画素があるかどうかを調べる。もし、あれば
Ｓ３０４に進み、なければＳ３０６に進む。

【００４７】Ｓ３０６においては、Ｓ３０４で求めてお
いた補間値を対応する各被補間画素の信号値に代入して
補間し、Ｓ３０２に戻る。尚、Ｓ３０６において補間し
た画素は、次のループにおいては、まだ補間されていな
い画素の有効周辺画素として機能する。

【００４８】上述したアルゴリズムにおいて、補間済の
画素も有効周辺画素に含めることにより、有効周辺画素
数の多いゴミ領域境界部分から有効周辺画素数の少ない
ゴミ領域中心部分に向かって、順に補間処理される。そ
のため、比較的大きなゴミ領域に対しても、ゴミ領域以
外の領域との間に目立った境界を作ることなく、また、
ゴミ領域内の画素同士についても平滑化される様に補間
処理を行うことができる。

【００４９】

【発明の効果】以上説明したように、本発明によれば、
ゴミが含まれているディジタル画像のゴミ領域を抽出し
てから、その領域のみを周辺の画素を使って補間するこ
とにより、ゴミ領域以外は原画像のまま劣化させること
なく、ゴミを除去した画像に修正することができる。

【図面の簡単な説明】

【図１】本発明による画像修正処理方法の実施される画
像修正処理装置の概略構成を示すブロック図である。

【図２】本発明による画像修正処理方法の一実施形態に
係るゴミ領域抽出処理の流れを示すフローチャートであ
る。

【図３】本発明による画像修正処理方法の一実施形態に
係るゴミ領域補間処理の流れを示すフローチャートであ
る。

【図４】本発明による画像修正処理方法の一実施形態に
係る有効周辺画素数の説明のための模式図である。

Claims

【特許請求の範囲】

【請求項１】多数の画素からなるディジタル画像中の
隣接する画素について画素信号の２次微分値が正の第１
閾値を越える値から負の第２閾値未満の値へと変化する
場所を検出し、それらの集合を輪郭としてゴミ領域候補
を設定することを特徴とする画像処理方法。
【請求項２】前記画素信号の２次微分値として前記デ
ィジタル画像の信号を明度成分、彩度成分及び色相成分
に分けたうちの明度成分の２次微分値を考慮することを
特徴とする、請求項１に記載の画像処理方法。
【請求項３】前記ゴミ領域候補のうちその内部の近接
画素どうしの間での信号の変化が所定範囲内のものをゴ
ミ領域として抽出処理することを特徴とする、請求項１
〜２のいずれかに記載の画像処理方法。
【請求項４】前記ゴミ領域候補の内部の近接画素どう
しの間での信号の変化として、前記ディジタル画像の信
号を明度成分、彩度成分及び色相成分に分けたうちの明
度成分及び彩度成分の変化を考慮することを特徴とす
る、請求項３に記載の画像処理方法。
【請求項５】前記ゴミ領域候補の設定に際して、前記
画素信号の２次微分値が負の第２閾値未満の画素の集合
を求めた後に、該画素の集合により囲まれる領域の周囲
の画素のうちで前記画素信号の２次微分値が正の第１閾
値を越える画素が占める割合を求め、該割合が所定値以
上の場合に前記ゴミ領域候補と判定することを特徴とす
る、請求項１〜４のいずれかに記載の画像処理方法。
【請求項６】前記ゴミ領域候補の設定に際して、前記
画素信号の２次微分値が正の第１閾値を越える画素の集
合を求めた後に、該画素の集合により囲まれる領域の周
囲の画素のうちで前記画素信号の２次微分値が負の第２
閾値未満の画素が占める割合を求め、該割合が所定値以
上の場合に前記ゴミ領域候補と判定することを特徴とす
る、請求項１〜４のいずれかに記載の画像処理方法。
【請求項７】前記ゴミ領域抽出処理においてゴミ領域
が１つも抽出されなかった場合には、前記第１閾値、前
記第２閾値及び前記所定範囲のうちの少なくとも１つを
変えた上で、再び前記ゴミ領域抽出処理を行うことを特
徴とする、請求項３〜６のいずれかに記載の画像処理方
法。
【請求項８】前記ゴミ領域抽出処理において抽出され
たゴミ領域を提示し、提示された抽出ゴミ領域のうちの
所望以外のものをゴミ領域の指定から解除することを特
徴とする、請求項３〜７のいずれかに記載の画像処理方
法。
【請求項９】ゴミ領域内の画素の信号を当該画素の周
囲の有効な画素の信号を用いて補間処理し、該補間処理
を前記ゴミ領域内の外側の画素から内側の画素へと進行
させることを特徴とする画像処理方法。
【請求項１０】ゴミ領域内の画素の信号を当該画素の
周囲の有効な画素の信号を用いて補間処理し、該補間処
理の際に、既に補間処理された画素を新たな有効画素と
して扱うことによって前記ゴミ領域内の画素を順次補間
していくことを特徴とする画像処理方法。
【請求項１１】前記ゴミ領域として請求項３〜８のい
ずれかの方法により抽出されたものを用いることを特徴
とする、請求項９〜１０のいずれかに記載の画像処理方
法。
【請求項１２】前記補間処理の際に、隣接する有効画
素の数の多い画素から順に補間することを特徴とする、
請求項９〜１１のいずれかに記載の画像処理方法。
【請求項１３】前記補間処理の際に、前記隣接する有
効画素の数が同じである画素については、それらの全て
の画素の補間値だけを求めた後にそれらの画素を補間す
ることを特徴とする、請求項１２に記載の画像処理方
法。
【請求項１４】前記補間処理の前に、該補間処理を受
ける前の画像の画素信号を記憶することを特徴とする、
請求項９〜１３のいずれかに記載の画像処理方法。
【請求項１５】前記補間処理後に、該補間処理により
補間された画像の画素信号を前記記憶された補間処理を
受ける前の画像の画素信号に置き換えることを特徴とす
る、請求項１４に記載の画像処理方法。