JP3762019B2

JP3762019B2 - 画像処理方法

Info

Publication number: JP3762019B2
Application number: JP03236697A
Authority: JP
Inventors: 泰司森本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-02-17
Filing date: 1997-02-17
Publication date: 2006-03-29
Anticipated expiration: 2017-02-17
Also published as: JPH10228536A

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像処理技術に属するものであり、更に詳しくはディジタル画像中にゴミがある場合に該ゴミを取除いた様に画像を修正する方法及びそこで好適に用いられる画像処理方法に関するものである。
【０００２】
【従来の技術】
従来、ディジタル画像中にゴミがある場合には、ゴミを含む適宜の領域を操作者が処理対象領域として指定し、該処理対象領域内の全画素に対して一様に平滑化フィルタをかけ、ゴミを含む前記処理対象領域の全画素の信号を平均化された信号で置き換える（ぼかす）ことによって、画像中のゴミを取除いた様に修正する処理を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来例では、指定された領域内の全ての画素に対して、一様に平滑化フィルタをかけてゴミを含む領域全体をぼかす手法であったため、ゴミでない領域にもフィルタ処理をかけてしまい、そのゴミでない領域の画像を劣化させてしまうといった問題点があった。
【０００４】
本発明は、上述の問題点に鑑みてなされたものであり、ゴミ以外の領域は原画像のまま劣化させることなく、ゴミを取除いた様に画像を修正するのに有効な画像処理方法を提供することを目的とする。
【０００５】
【課題を解決するための手段及びその作用】
本発明によれば、上記目的を達成するものとして、
多数の画素からなるディジタル画像中の隣接する画素について画素信号の２次微分値が正の第１閾値を越える値から負の第２閾値未満の値へと変化する場所を検出し、それらの集合を輪郭としてゴミ領域候補を設定することを特徴とする画像処理方法、
が提供される。
【０００６】
前記画素信号の２次微分値として前記ディジタル画像の信号を明度成分、彩度成分及び色相成分に分けたうちの明度成分の２次微分値を考慮することができる。
【０００７】
前記ゴミ領域候補のうちその内部の近接画素どうしの間での信号の変化が所定範囲内のものをゴミ領域として抽出処理することができる。
【０００８】
前記ゴミ領域候補の内部の近接画素どうしの間での信号の変化として、前記ディジタル画像の信号を明度成分、彩度成分及び色相成分に分けたうちの明度成分及び彩度成分の変化を考慮することができる。
【０００９】
前記ゴミ領域候補の設定に際して、前記画素信号の２次微分値が負の第２閾値未満の画素の集合を求めた後に、該画素の集合により囲まれる領域の周囲の画素のうちで前記画素信号の２次微分値が正の第１閾値を越える画素が占める割合を求め、該割合が所定値以上の場合に前記ゴミ領域候補と判定することができる。
【００１０】
あるいは、前記ゴミ領域候補の設定に際して、前記画素信号の２次微分値が正の第１閾値を越える画素の集合を求めた後に、該画素の集合により囲まれる領域の周囲の画素のうちで前記画素信号の２次微分値が負の第２閾値未満の画素が占める割合を求め、該割合が所定値以上の場合に前記ゴミ領域候補と判定することもできる。
【００１１】
前記ゴミ領域抽出処理においてゴミ領域が１つも抽出されなかった場合には、前記第１閾値、前記第２閾値及び前記所定範囲のうちの少なくとも１つを変えた上で、再び前記ゴミ領域抽出処理を行うことができる。
【００１２】
前記ゴミ領域抽出処理において抽出されたゴミ領域を提示し、提示された抽出ゴミ領域のうちの所望以外のものをゴミ領域の指定から解除することができる。
【００１３】
更に、本発明によれば、
ゴミ領域内の画素の信号を当該画素の周囲の有効な画素の信号を用いて補間処理し、該補間処理を前記ゴミ領域内の外側の画素から内側の画素へと進行させることを特徴とする画像処理方法、
が提供される。
【００１４】
また、本発明によれば、
ゴミ領域内の画素の信号を当該画素の周囲の有効な画素の信号を用いて補間処理し、該補間処理の際に、既に補間処理された画素を新たな有効画素として扱うことによって前記ゴミ領域内の画素を順次補間していくことを特徴とする画像処理方法、
が提供される。
【００１５】
前記補間処理の際に、隣接する有効画素の数の多い画素から順に補間することができる。
【００１６】
前記補間処理の際に、前記隣接する有効画素の数が同じである画素については、それらの全ての画素の補間値だけを求めた後にそれらの画素を補間することができる。
【００１７】
前記補間処理の前に、該補間処理を受ける前の画像の画素信号を記憶することができる。
【００１８】
前記補間処理後に、該補間処理により補間された画像の画素信号を前記記憶された補間処理を受ける前の画像の画素信号に置き換えることができる。
【００１９】
即ち、以上の様な本発明の一態様においては、指定されたディジタル画像領域の明度成分画像中に含まれる明度変化の激しい輪郭を検出し、検出した輪郭により囲まれる領域をゴミ領域の候補とする。前記ゴミ領域の候補のうち、領域内の画素の明度、彩度成分が平坦であるものをゴミ領域と判断する。次に、前記ゴミ領域内にあって、ゴミ領域外の周辺画素と隣接しているゴミ領域の境界上にある画素から補間を始め、補間し終わった画素も周辺画素と同様に有効画素として用いながら順次ゴミ領域の内側の画素を補間していき、ゴミを取り除くようにディジタル画像を修正する。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００２１】
図１は、本発明による画像処理方法の実施される画像処理装置の概略構成を示すブロック図である。
【００２２】
ＣＰＵ１０１、記憶装置１０３及びＲＡＭ１０２は、パーソナルコンピュータ１０８内にあり、ＣＰＵ１０１は記憶装置１０３に格納されたプログラムをＲＡＭ１０２にコピーし、前記プログラムに従ってディジタル画像を修正処理する。また、ＣＰＵ１０１は、読取装置１０４によって画像データを読み込み、記憶装置１０３に記憶する。
【００２３】
操作部１０５は、画像データに対して修正処理を加える操作者の操作命令を受けつけ、ＣＰＵ１０１に前記操作命令を送る。
【００２４】
表示装置１０６は、操作者が前記画像修正処理の前後の画像を実際に目で確認できるように、前記操作者の操作に応じて未処理画像および処理済画像を提示する。操作者は、表示装置１０６に提示された画像中にゴミを見つけた場合、操作部１０５を操作して取除きを希望するゴミを含む大まかな矩形領域（画素はｘ−ｙ直交座標系に従って２次元に配列されているものとする）を処理対象として指定する。
【００２５】
また、印字装置１０７は、前記操作者の操作に応じて、ＲＡＭ１０２あるいは記憶装置１０３に蓄積されている画像データを記録紙にプリント出力する。
【００２６】
図２は操作者により指定された前記処理対象の画像領域内からゴミ領域を抽出する処理の流れを示すフローチャートである。このフローチャートは前記記憶装置１０３に格納されたプログラムに基づきＣＰＵ１０１が行なう処理の流れを示すものである。
【００２７】
まず、Ｓ２０１では、操作者がゴミを除去したいと望んだ部分の画像（処理対象画像）から明度成分の画像を取り出す。
【００２８】
次に、Ｓ２０２では、明度成分のみの画像ｆ（ｘ，ｙ）に対して、エッジを強調するためにラプラシアン演算を施して、ラプラシアン画像∇² ｆ（ｘ，ｙ）を得る。
【００２９】
Ｓ２０３では、Ｓ２０２で強調したエッジのうち、ラプラシアン演算による２次微分値（以下、単に「２次微分値」という）が負で絶対値の大きい或る閾値（−Ｔ）未満（または以下）となる画素を抽出し、その集合を輪郭として該輪郭を含みそれで囲まれる画素集合をゴミ領域の候補とする。
【００３０】
Ｓ２０４では、Ｓ２０３で求めたゴミ領域候補のうち、ゴミ領域であるか否かの判定を行なっていない領域があるかどうかを調べて、あればＳ２０５に進み、なければＳ２０９に進む。
【００３１】
Ｓ２０５では、Ｓ２０４で調べたゴミ領域判定を行なっていない或るゴミ領域候補について、Ｓ２０３で抽出したゴミ領域候補の境界（輪郭）の外側に隣接する画素のうち２次微分値が正で絶対値の大きい或る閾値（Ｓ）を越える（または以上となる）画素の数の割合が一定割合（Ａ％）以上であれば当該領域を続けてゴミ領域候補として扱いＳ２０６に進み、そうでなければＳ２０８に進む。つまり、Ｓ２０３とＳ２０５では、ゴミ領域の境界においては明度値の変化が急激であるとの前提から、２次微分値が近傍において正から負へと大きく変わる画素対の集合であることをゴミ領域の境界となる条件として用いている。なお、Ｓ２０３、Ｓ２０４及びＳ２０５で行なった操作は、周囲の画素よりも明度の高い白ゴミについてのものであるが、検出条件で用いた閾値の正負及び不等号を逆転させることにより、周囲の画素よりも明度の低い黒ゴミについても検出することが可能となる。
【００３２】
Ｓ２０６では、前記ゴミ領域候補の領域内の画素について、各画素の近傍内で平坦（変化が少ない）かどうかを下記の基準によって調べ、この基準を満たせばＳ２０７に進み、満たさなければＳ２０８に進む。この基準は、ゴミ領域候補の領域内の点（ｘ₀，ｙ₀）について、その近傍（ｘ，ｙ）に対して
｜ｆ（ｘ，ｙ）−ｆ（ｘ₀，ｙ₀）｜≦Ｕ
且つ
｜ｇ（ｘ，ｙ）−ｇ（ｘ₀，ｙ₀）｜≦Ｖ
を満たすかどうかである。ここで、ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）は点（ｘ，ｙ）での明度と彩度であり、Ｕ，Ｖは適当な閾値である。
【００３３】
Ｓ２０７では、前記ゴミ領域候補はゴミ領域であるとの判定がなされ、ゴミ領域判定を行なったことを記録し、Ｓ２０４に戻る。
【００３４】
Ｓ２０８では、前記ゴミ領域候補はゴミ領域でないとの判定がなされ、ゴミ領域判定を行なったことを記録し、Ｓ２０４に戻る。
【００３５】
Ｓ２０９では、ゴミ領域が１つ以上見つかったかどうかによって、見つかっていればＳ２１０に進み、１つも該当する領域が見つかっていない場合はＳ２１１に進む。
【００３６】
Ｓ２１０では、抽出したゴミ領域を表示装置１０６により表示して操作者に通知し、ゴミ領域抽出処理を終了する。操作者の望みどおりにゴミと検出した部分に対しては本抽出処理ではこれ以上操作をする必要はなく、一方、操作者の望みでないものをゴミと検出した部分に対しては、操作部１０５により入力して指示することで、ゴミ領域の指定を解除することが可能である。
【００３７】
Ｓ２１１では、Ｓ２０３、Ｓ２０５及びＳ２０６において使用しているパラメータ（閾値）を適宜変化させて、検出条件を緩くし（検出しやすくする）、Ｓ２０３に戻る。
【００３８】
以上の如く、操作者が指定したゴミを含む矩形領域画像は処理され、その中のゴミ領域と判定された部分は、次に行われるゴミ領域補間処理の対象となる。
【００３９】
図３は、図２のようにして求めたゴミ領域のうち、１つのゴミ領域を補間する処理の流れを示すフローチャートである。このフローチャートも、図２と同様に、記憶装置１０３に格納されたプログラムに基づきＣＰＵ１０１が行なう処理の流れを示すものである。
【００４０】
まず、Ｓ３０１では、補間しようとしているゴミ領域全体の画素値（明度成分、彩度成分、色相成分等の信号値）をＲＡＭ１０２または記憶装置１０３に記憶させる。これは、ゴミ領域補間処理が全て終わった後に、操作者による補間の取り消しの指示を受けた場合、原画像に戻す際に利用されるものである。
【００４１】
次に、Ｓ３０２では、１つのゴミ領域内において、補間処理が終わっていない画素があるかどうかを調べ、ある場合にはＳ３０３に進み、ない場合には該ゴミ領域の補間処理を終了し、必要な場合には他のゴミ領域についての同様な補間処理を開始する。
【００４２】
Ｓ３０３では、まず、ゴミ領域内の補間しようとする各画素（被補間画素）について、補間するための有効な周辺画素がいくつ存在しているかを調べる。
【００４３】
補間するための有効な周辺画素数を数える例を、図４により説明する。ここでは、有効な周辺領域範囲を８近傍とした場合（即ち、８つの方向［右方、左方、上方、下方、斜め右上方、斜め左上方、斜め右下方、及び斜め左下方］に隣接画素が存在する場合）について説明する。図４において、白抜きの画素（ａ１，ｂ１，ｂ２，ｃ１，ｃ２，ｃ３）がゴミ領域内の画素を表しており、塗りつぶした画素がゴミ領域の周囲の画像を表している。図４（ａ）においては、画素ａ１のみによりゴミ領域が形成されており、８近傍の全ての画素はゴミ領域に属さない画素であるので、補間するための有効周辺画素数は８となる。図４（ｂ）においては、画素ｂ１，ｂ２ともに有効周辺画素数は７となる。図４（ｃ）においては、画素ｃ１，ｃ３の有効周辺画素数は７となるが、画素ｃ２については有効周辺画素数は６となる。尚、画素ｃ１と画素ｃ３とが補間処理された後には、これらの画素ｃ１，ｃ３をも画素ｃ２についての有効周辺画素として扱うことができ、かくして画素ｃ２の有効周辺画素数は８となる。
【００４４】
さらに、Ｓ３０３では、以上の例のようにして求めた有効周辺画素数が多い順に、ゴミ領域内の画素をソートする。
【００４５】
そして、Ｓ３０４において、有効周辺画素の信号の平均値を被補間画素の信号値として求め、記憶する。
【００４６】
Ｓ３０５においては、Ｓ３０４で補間した画素と有効周辺画素数が同数でソート結果が同順位であった被補間画素があるかどうかを調べる。もし、あればＳ３０４に進み、なければＳ３０６に進む。
【００４７】
Ｓ３０６においては、Ｓ３０４で求めておいた補間値を対応する各被補間画素の信号値に代入して補間し、Ｓ３０２に戻る。尚、Ｓ３０６において補間した画素は、次のループにおいては、まだ補間されていない画素の有効周辺画素として機能する。
【００４８】
上述したアルゴリズムにおいて、補間済の画素も有効周辺画素に含めることにより、有効周辺画素数の多いゴミ領域境界部分から有効周辺画素数の少ないゴミ領域中心部分に向かって、順に補間処理される。そのため、比較的大きなゴミ領域に対しても、ゴミ領域以外の領域との間に目立った境界を作ることなく、また、ゴミ領域内の画素同士についても平滑化される様に補間処理を行うことができる。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、ゴミが含まれているディジタル画像のゴミ領域を抽出してから、その領域のみを周辺の画素を使って補間することにより、ゴミ領域以外は原画像のまま劣化させることなく、ゴミを除去した画像に修正することができる。
【図面の簡単な説明】
【図１】本発明による画像修正処理方法の実施される画像修正処理装置の概略構成を示すブロック図である。
【図２】本発明による画像修正処理方法の一実施形態に係るゴミ領域抽出処理の流れを示すフローチャートである。
【図３】本発明による画像修正処理方法の一実施形態に係るゴミ領域補間処理の流れを示すフローチャートである。
【図４】本発明による画像修正処理方法の一実施形態に係る有効周辺画素数の説明のための模式図である。

Claims

多数の画素からなるディジタル画像中の隣接する画素について画素信号の２次微分値が正の第１閾値を越える値から負の第２閾値未満の値へと変化する場所を検出し、それらの集合を輪郭としてゴミ領域候補を設定し、前記ゴミ領域候補のうちその内部の近接画素どうしの間での信号の変化が所定範囲内のものをゴミ領域として抽出処理することを特徴とする画像処理方法。
前記画素信号の２次微分値として前記ディジタル画像の信号を明度成分、彩度成分及び色相成分に分けたうちの明度成分の２次微分値を考慮することを特徴とする、請求項１に記載の画像処理方法。
前記ゴミ領域候補の内部の近接画素どうしの間での信号の変化として、前記ディジタル画像の信号を明度成分、彩度成分及び色相成分に分けたうちの明度成分及び彩度成分の変化を考慮することを特徴とする、請求項１〜２のいずれかに記載の画像処理方法。
前記ゴミ領域候補の設定に際して、前記画素信号の２次微分値が負の第２閾値未満の画素の集合を求めた後に、該画素の集合により囲まれる領域の周囲の画素のうちで前記画素信号の２次微分値が正の第１閾値を越える画素が占める割合を求め、該割合が所定値以上の場合に前記ゴミ領域候補と判定することを特徴とする、請求項１〜３のいずれかに記載の画像処理方法。
前記ゴミ領域候補の設定に際して、前記画素信号の２次微分値が正の第１閾値を越える画素の集合を求めた後に、該画素の集合により囲まれる領域の周囲の画素のうちで前記画素信号の２次微分値が負の第２閾値未満の画素が占める割合を求め、該割合が所定値以上の場合に前記ゴミ領域候補と判定することを特徴とする、請求項１〜３いずれかに記載の画像処理方法。
前記ゴミ領域抽出処理においてゴミ領域が１つも抽出されなかった場合には、前記第１閾値、前記第２閾値及び前記所定範囲のうちの少なくとも１つを変えた上で、再び前記ゴミ領域抽出処理を行うことを特徴とする、請求項１〜５のいずれかに記載の画像処理方法。
前記ゴミ領域抽出処理において抽出されたゴミ領域を提示し、提示された抽出ゴミ領域のうちの所望以外のものをゴミ領域の指定から解除することを特徴とする、請求項１〜６のいずれかに記載の画像処理方法。
ゴミ領域内の画素の信号を当該画素の周囲の有効な画素の信号を用いて補間処理し、該補間処理を前記ゴミ領域内の外側の画素から内側の画素へと進行させ、前記補間処理の際に、隣接する有効画素の数の多い画素から順に補間することを特徴とする画像処理方法。
ゴミ領域内の画素の信号を当該画素の周囲の有効な画素の信号を用いて補間処理し、該補間処理の際に、既に補間処理された画素を新たな有効画素として扱うことによって前記ゴミ領域内の画素を順次補間していき、前記補間処理の際に、隣接する有効画素の数の多い画素から順に補間することを特徴とする画像処理方法。
前記ゴミ領域として請求項１〜７のいずれかの方法により抽出されたものを用いることを特徴とする、請求項８〜９のいずれかに記載の画像処理方法。
前記補間処理の際に、前記隣接する有効画素の数が同じである画素については、それらの全ての画素の補間値だけを求めた後にそれらの画素を補間することを特徴とする、請求項８〜１０のいずれかに記載の画像処理方法。
前記補間処理の前に、該補間処理を受ける前の画像の画素信号を記憶することを特徴とする、請求項８〜１１のいずれかに記載の画像処理方法。
前記補間処理後に、該補間処理により補間された画像の画素信号を前記記憶された補間処理を受ける前の画像の画素信号に置き換えることを特徴とする、請求項１２に記載の画像処理方法。