JPH10105700A - 画像雑音の除去方法及び除去装置 - Google Patents

Abstract

(57)【要約】 【課題】 ディジタル画像からスクラッチ又はワイヤ雑
音を除去する。 【解決手段】 修復又は雑音除去を必要とするスクラッ
チが判別されディジタル画像の他の部分からその判別さ
れたスクラッチの場所を区別するバイナリマスクが生成
されたディジタル画像から、スクラッチ又はワイヤノイ
ズを除去する。スクラッチや他の雑音の修復を必要とす
るディジタル画像の場所を示すリペアサブイメージが定
義される。サンプルサブイメージは、リペアサブイメー
ジにできるだけ似るように選択される。しかし、全体の
輝度又はリペアサブイメージとリペアサブイメージの輝
度の低速変化はそれぞれ異なることがある。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばディジタル
化された写真映像やコンピュータで生成された画像（Ｃ
ＧＩ:computer generated images）等のディジタル画像
から雑音を除去する方法に関する。

【０００２】

【従来の技術】映画の場面における特殊撮影で用いられ
るワイヤの特別な影響と同じように、古い映画フィルム
と写真フィルムにおけるスクラッチ（scratches ：引っ
掻き傷）やディブリ（debris：破片）は、ディジタル画
像に生じた雑音の例である。さらに、伝送エラー、画像
記録装置やスキャニング装置の誤操作は、デジタル画像
に雑音を生じる。本願出願人の特許出願である特願平７
−３０３４２０号（１９９５年１０月３０日出願）で示
される新しい方法では、そのような好ましくない細長い
雑音を画像から除去するための方法を開示している。特
願平７−３０３４２０号において、本願出願人は、この
画像雑音除去の問題に対して以下のように主張してい
る。

【０００３】与えられた（ｉ）雑音のある画素の位置
と、（ｉｉ）プロトタイプ（サンプル）画像により、こ
れらの雑音のある画素を自然な方法で修復する。本願出
願人の特願平７ー３０３４２０号明細書中で示されてい
る方法では、ユーザは、（ａ）ディジタルペイントブラ
シのような道具で雑音領域の上にマスク（ノイズマスク
という）を上書きすることによって、雑音のある画素の
位置と、また、（ｂ）雑音の周りの領域であるリペアイ
メージ（リペアサブイメージと呼ぶ）と、（ｃ）プロト
タイプであるサンプルイメージ（サンプルサブイメージ
という）として使用される雑音の無い部分の領域とを特
定する。

【０００４】特願平７−３０３４２０号明細書中では、
サンプルサブイメージとリペアサブイメージの空間及び
周波数領域の情報を用いて雑音を除去する。従来の方法
と比較すると、コピーペースティング、ペインティン
グ、中央値フィルタリング、ローパスフィルタリング等
の従来の普及している方法は、１つの領域の情報のみを
用いて雑音を除去する。特願平７−３０３４２０号の方
法により得られる結果は、従来の周知の技術で得られる
結果よりも優れているが、この特願平７−３０３４２０
号の方法は、広範囲に亘る輝度の大きな変化を有する画
像を考慮して設計されていない。

【０００５】テレビジョン放送の利用可能なチャンネル
の激増とマルチメディアの急増に伴い、多くの古い映画
フィルムや写真フィルムは、ビデオ信号やディジタルフ
ォーマットの信号に変換されて使用されることが多くな
っている。しかし、長年に亘る使用と閲覧により、多く
の古い映画フィルムや写真フィルムは、スクラッチが生
じたり、埃や他のディブリによる汚れが多くなってい
る。例えば、フィルムの保管におけるスクラッチやディ
ブリ等の欠陥は、視聴者に対して非常に目立つものであ
り、高精細度テレビジョンやディジタルテレビジョンフ
ォーマットの信号としては、他のディジタルマルチメデ
ィアフォーマットの信号と同様に、画質を劣化したり悪
影響を及ぼすことなく、ディジタル画像からスクラッチ
を除去する方法が切望されている。

【０００６】例えば、映画の特殊効果では、例えば俳優
／物体を高く浮かせるために、俳優／モデルや物体をワ
イヤ、ケーブル又はロット等によってつり下げたり、支
える一場面が必要である。一般的には、これらのワイ
ヤ、ケーブル、ロット等の外観は、後の制作において光
学的な処理により除去され、近年ではディジタルフィル
ムのディジタル処理によって除去することがより一般的
になっている。同様に、デスクトップ出版によって、画
像の不要な箇所を取り除いたり、写真からスクラッチや
汚れを消したりすることがしばしば行われている。ここ
で、スクラッチあるいはスクラッチ雑音と称される用語
は、ディジタル画像に生じる上述した種類の雑音全てを
含むものである。

【０００７】ディジタル画像のスクラッチは、ディジタ
ル画像の不要な画素である。スクラッチ雑音は、一般的
に、画素の小さな独立したグループや集まりというより
はむしろ、多数の隣接した画素からなる。ディジタル画
像において、スクラッチ雑音は、例えば１０画素×１０
０画素のような画素の領域により構成され、スクラッチ
によって切断されたテクスチャ又はエッジ等の細部を有
するディジタル画像の領域に存在する。ディジタル画像
からスクラッチを除去するために、スクラッチ領域を構
成する画素は、元のデータを表し、あるいは元のデータ
に匹敵するデータで置換しなければならない。効果的に
スクラッチ領域を修復するためには、この画素データ
が、スクラッチ領域において周辺の領域と同程度にシャ
ープな画像を生じさせるものでなければならない。さら
に、鮮明なエッジの連続が維持され、ワイヤあるいはス
クラッチ画素を置換するために生成されたテクスチャは
周辺のテクスチャに調和しなければならない。

【０００８】ディジタル処理における従来の技術の効果
は、規則的又はランダム的に発生する画像の特徴と画像
内における相対的なサイズに従って、変化する。規則的
に発生する特徴の例としては、煉瓦壁や布に織り込まれ
たテクスチャがある。ランダムに発生する特徴の例とし
ては、アスファルト道路、コンクリート歩道又は砂浜が
ある。従来の技術の効果は、スクラッチ領域の大きさや
種類にも依存する。画像の平滑あるいはぼやけた領域に
小さく、孤立した雑音画素の集合は、例えばフィルタリ
ング、クローニング、ペインティングの技術等の従来の
技術により、比較的簡単に除去することができる。しか
し、従来の雑音除去技術は、多数の隣接した画素からな
るスクラッチや、画像のテクスチャ領域又は際だったエ
ッジや先を有する領域のスクラッチには適用できない。
画像雑音除去における従来の技術は、一般的に、１）フ
レーム内技術、２）フレーム間技術の２種類に分類する
ことができる。これらの２つの一般的な技術の違いは、
主に雑音画素を置換するデータがどこから得られるかと
いう点にある。フレーム間技術では、一般的に、雑音画
素を置換するために必要とされる画素を、先行するある
いは連続したフレームからコピーする。一方、フレーム
内技術では、一般的に、修復される画像フレーム内のデ
ータを雑音画素の置換のために利用する。

【０００９】フレーム間方法は、極端なカメラの動きや
場面の動きを考えた画像／場面においては、良好な結果
を出すことができない。これらの方法は、幾つかの画像
フレームに亘ってスクラッチが広がっていたり、損傷し
た画像フレームが画像を修復するためのデータを提供す
る唯一の画像フレームである場合などにも適用すること
ができない。不運にも、一般的な映写機による映画フィ
ルムの動きにおいてスクラッチが幾つもの画像フレーム
に亘ることは一般的である。これらの状況においては、
先行／連続する画像フレームからの対応する画素データ
は、スクラッチ領域を置換／コピーするのに利用するこ
とができない。

【００１０】従来の技術は、スクラッチ雑音除去の問題
に対して幾つかの方法を提供する。従来の技術は、次の
方法を含んでいる：（ａ）ローパスフィルタリングと他
の線形フィルタリング、（ｂ）メディアンフィルタリン
グと他の非線形フィルタリング、（ｃ）統計的なテクス
チャの合成、（ｄ）例えば画像の他の部分をコピーする
クローニング、（ｅ）手でのペインティング、（ｆ）射
影に基づいた方法、（ｇ）連立方程式を解くことに基づ
いた方法。

【００１１】しかし、これらの技術は、様々なスクラッ
チ／画像の状態に対して、最適な結果を引き出すための
スクラッチ除去としては成功していない。全ての画像信
号は、互いに異なる周波数を有する多くの正弦波信号の
特定の比率の組み合わせで構成されると考えられる。そ
のような画像を画像成分として分析するには、高速フー
リエ変換（ＦＦＴ）として知られる方法が用いられる。
画像をこのような方法で分析し、このＦＦＴで生成され
た情報に対する処理は、周波数領域での処理として知ら
れている。画像信号に対する直接的な処理は、空間領域
での処理として知られる。

【００１２】（ａ）から（ｅ）までの方法は、１つのそ
のような領域でしか働かないという欠点がある。周波数
領域での方法は、画像の全体の構造を把握することがで
きるが、局所的な処理性ローカルコントロール（線連続
性、鮮明度）を失ってしまう。その結果、線及び他の細
部が不鮮明になってしまう。

【００１３】全ての空間領域のみの方法で見られる問題
は、それらは、局所的な処理性ローカルコントロール及
び局所的な情報を有しているが、画像の全体の構造に関
する情報を有していないということである。局所的な近
傍に対する制限は、ある場合には、実際のコンピュータ
処理における制約が原因である。さらに、中間フィルタ
リングのような幾つかの方法は、本来全体の情報を有意
義に使用する能力がない。

【００１４】ここで、従来の画像雑音の除去方法に係る
一連の工程を、図４に示すフローチャートを参照して説
明する。図５は、雑音を伴う画像の例を示す図である。

【００１５】この雑音領域の上には、ユーザによって、
バイナリマスクが上書き（ペイント）したマスクされ
る。このバイナリマスクは、雑音の画素をカバーするの
に十分な大きさを有するが、正確に同じ形状のものであ
る必要はない。図６は、雑音の上に上書きされたノイズ
マスクを示す図である。

【００１６】最初のステップＳ３１においては、リペア
サブイメージＲの高速フーリエ変換（ＦＦＴ）を行い、
ＦＦＴで計算されたマグニチュード（Ｍ２）と位相（Ｍ
２）を次のステップＳ３２に送る。

【００１７】ここで、リペアサブイメージは、ユーザが
選択した雑音領域周辺の長方形の画像領域である。

【００１８】一方、ステップＳ３６においては、サンプ
ルイメージＳの高速フーリエ変換（ＦＦＴ）を行う。Ｆ
ＦＴの出力は、サンプルイメージＳのフーリエ変換の位
相とマグニチュードである。ここでは、位相は無視さ
れ、マグニチュードは、後のステップＳ３２で使用され
る。

【００１９】ここで、サンプルイメージＳとは、ユーザ
は雑音の画像領域を含まずリペアサブイメージと似てい
て正確に同じサイズの長方形の画像領域である。この選
択した領域をサンプルサブイメージとする。「似てい
て」の意味は、発明の中で示してある。サンプルサブイ
メージ中の顕著なラインの相対的位置は、リペアサブイ
メージ中の顕著なラインの位置とは異なる。図７は、選
択されたサンプルサブイメージとリペアサブイメージの
例を示す図である。図８は、雑音領域４０を含むリペア
サブイメージ５と、サンプルサブイメージ６とが、同一
フレーム内に設定された状態を説明する図である。

【００２０】ステップＳ３２においては、マグニチュー
ドＭ１、Ｍ２の最小マグニチュードを計算する。マグニ
チュードＭ１は、サンプルイメージのＦＦＴで得られる
マグニチュードであり、マグニチュードＭ２は、リペア
サブイメージのＦＦＴで得られるサブイメージである。
この最小マグニチュードの計算は、ＤＣ成分以外の全て
の周波数成分において行われる。ＤＣにおいては、マグ
ニチュードＭ２の値が選択される。最小値の計算により
得られた新しいマグニチュードを、次のステップで使わ
れるフーリエ変換の新しい値として送る。リペアサブイ
メージのＦＦＴで得られた位相情報Ｐ２は、変更され
ず、次のステップＳ３３に送られる。

【００２１】ステップＳ３３においては、前のステップ
Ｓ３３で得られたマグニチュードと位相の出力を用い
て、逆高速フーリエ変換（ＩＦＦＴ）を行う。そして、
このＩＦＦＴの結果をステップＳ３４に送る。

【００２２】ステップＳ３４においては、入力値を実数
にする。この入力値は、それらの内の幾つかは複素数で
ある可能性があるマトリクスである。マトリクスにおい
てそのような複素数の値は０に設定する。実数も０から
２５５の範囲外の可能性もあるので、クリッピングを行
う。即ち、値が０以下のときには、それを０にする。そ
れが２５５以上のときは、それを２５５にし、それ以外
であれば何もしない。そして、次のステップＳ３４に進
む。

【００２３】ステップＳ３４においては、バイナリマス
ク（バイナリノイズマスク）の修復を行う。即ち、前の
ステップで得られた画素を元のリペアサブイメージの画
素と混合する。バイナリノイズマスクから離れている位
置の画素の値は、この位置には雑音がないことが判って
いるので、元のリペアサブイメージの値とされるべきで
ある。バイナリノイズマスクの値が０である領域内で
は、元のリペアサブイメージには雑音があり、また寄り
よい値が計算されたことから、それらの値はそのまま残
されるべきである。

【００２４】また、ユーザは、ステップ５からステップ
１０において実行されるループの回数を選択することが
できる。

【００２５】

【発明が解決しようとする課題】一般的に、スクラッチ
雑音は、周辺の画素値と比較したときに画素値の突然の
変化として、スクラッチの位置に出現する。この突然の
変化は、画像の周波数スペクトルにおける高周波数成分
として現れる。高周波数成分を除去することにより、画
素値の変化を、画像フレーム内におけるスクラッチ領域
が目立たないように減少させることができる。この処理
は、空間あるいは画像領域から周波数領域への画像の変
換、所定レベル以上の高周波数成分の除去、残った周波
数成分の画像への変換を伴ったローパスフィルタリング
として知られている。同様の結果は、周波数領域への最
初の変換を行わずに、直接画像を畳み込む処理によって
も得ることができる。ローパスフィルタリングは、ある
種の画像、一般的には細部が少なく、平滑な画像からス
クラッチ雑音を除去するのに効果的である。しかし、こ
の技術は、テクスチャ、非常な細部の領域、際立ったエ
ッジを有する画像からスクラッチ雑音を除去するには効
果的ではない。ローパスフィルタリングや同様の線形フ
ィルタリングの技術による平滑化は、すなわち与えられ
た領域内において画素値の変化を平均化することは、し
ばしば再構築されたあるいは修復されたスクラッチ雑音
領域がぼやけたり、修復されたスクラッチ領域の細部が
失われたりするので、効果的ではない。

【００２６】メディアンフィルタリング技術によって、
対象の画像の与えられる画素は周辺のメディアン値で置
き換えられる。対象となる画素の周辺の画素は、一般的
に対象画素を取り囲むウィンドウの範囲を示すことによ
って特定される。例えば、問題となる画素が位置する１
０画素×１０画素の窓は、周辺の画素を特定するのに用
いられる。周辺の画素は、近傍の画素とも称せられる。
窓又は近傍のサイズは、用途によって変化させることが
できる。スクラッチ位置が知られている場所にスクラッ
チを除去するためにメディアンフィルタリングを適用す
ると、スクラッチ画素のみが、周辺の画素のメディアン
値によって置換される。

【００２７】メディアンあるいは同様の非線フィルタリ
ングの技術は、孤立した画素の比較的小さな集合に限定
されるスクラッチ領域に対して比較的よく作用する。一
般的に、スクラッチ、特にワイヤ雑音は、多くの隣接し
た画素からなる。その結果、一般的に、周辺の画素のメ
ディアン値がスクラッチ領域自体の値となる。小さなウ
ィンドウ、あるいは近傍が選択された場合、メディアン
値は一般的にスクラッチ領域自体の値であるので、スク
ラッチは一般的に修復されない。すなわち、スクラッチ
画素の値は、スクラッチ画素の値で置換される。多くの
画素を用いて大きなウィンドウを選択すると、一般的に
画像がぼやけることになる。

【００２８】統計的なテクスチャの合成に基づく技術で
は、問題となる損傷領域は分析され、画像領域の統計的
な出現が展開される。そして、この統計的な出現は、分
析された領域と類似する合成されたテクスチャの生成に
用いられる。そして、スクラッチ／ワイヤ雑音の画素
は、合成テクスチャで置換される。統計的方法は、近傍
にある画素間の関係が、分析によって発見される統計的
な詳細を有するという過程に基づいている。したがっ
て、与えられた画素の特徴が、その近くの幾つかのある
いは全ての画素に統計的に依存するということから推測
されている。比較的遠くに位置する画素間に関係がある
場合、それらの画素の分析に必要な近傍は比較的に大き
くなければならない。例えば、大きな煉瓦壁の中の１個
の煉瓦又は広いワイヤ網のクローズアップ写真を撮る場
合である。一般的に、これらの方法においては、与えら
れた画素に依存する近傍の画素数が増えるに伴って、必
要とされるコンピュータ処理が増大する。その結果、こ
れらの方法は、例えば典型的な煉瓦塀の画像のテクスチ
ャ等の大きな模様を有するテクスチャに対しては有用で
ない。

【００２９】例えばアドービホトショップ（Adobe Phot
oshop 商標）等の多くの一般的な画像処理プログラム
は、画像を、画像の１つの領域から別の領域にコピーす
るための手段を備えている。これらの手段により、コピ
ーされる画像の領域は、問題となる画像を表示した表示
画面上のカーソル又は”ブラシ”をユーザが操作するた
めのマウスや他のポインティング／制御装置を用いるこ
とによって、選択されあるいは特定される。

【００３０】画素データが読み込まれる、あるいは移動
されるソース領域は、マウス装置を用いて特定される。
このとき、ソース領域から画素データが移動される目的
の領域も特定される。目的の領域を横切る”ブラシスト
ローク”又はカーソルの動きは、マウスを用いてなされ
る。それぞれの”ブラシストローク”により、ソース領
域から目的の領域に画素がコピーされる。この方法は、
問題となっている画像において描写されるテクスチャ又
はパターンが本質的にランダムあるいは規則的に発生
し、比較的小さな特徴を有するときには、非常に有効で
ある。小さな特徴としては、果物の斑点、砂、道のアス
ファルト、織物の梨地がある。曲線又は直線の形状の画
像においてランダムあるいは規則的に描写される細部が
あるときには周辺の領域を用いて修復される領域のエッ
ジの調整に非常に時間がかかる。ゴムスタンプペインテ
ィングを用いたスクラッチ又はワイヤの修復は、画像が
多いために、多くの時間と熟練を要する仕事である。人
間の視覚器官は、エッジの不具合に対して非常に敏感で
あり、ちぐはぐなエッジは、人間の目で比較的容易に発
見される。

【００３１】スクラッチ除去の他の方法は、スクラッチ
画素を周辺の領域と調和するように、手でスクラッチの
画素を”ペイント”するものである。この方法は、非常
に時間がかかり、またその結果得られる画質は、オペレ
ータの技量に大きく依存する。さらに、照明条件や内部
の反射率の違いにより、画像が不均一な輝度を有する場
合に、大きな問題が生じる。そのような場合、同じ輝度
のソース領域を見つけることは、難しい。図９は、不均
一な影を有する画像を示す図である。図１０（ａ）、
（ｂ）は、このような問題を示す図である。

【００３２】信号復旧のコンテキストにおける射影方法
に基づいたスクラッチ雑音除去の技術は、以前から使用
されている。これらの方法は、信号領域と変換領域間を
交互に用いて各領域に制約を適用することによって、帯
域制限された信号の周波数スペクトルを拡張するのに使
用されていた。この制約は、既知の信号値の維持と帯域
制限を行うために導入された。このアプローチは、幾何
解析によって一般化され、一般的には凸集合への射影、
又はＰＯＣＳ（Projection onto Convex Sets）と称せ
られている。 ＰＯＣＳは、制限された閉集合を示す情
報と同様に、例えば輝度値の範囲、特定されたスクラッ
チ領域とノンスクラッチ領域の区別等の画像に対する情
報を取り扱うことができる。

【００３３】射影に基づく方法においては、問題となる
画像は、問題となる画像と非常に類似した画像を検出す
るための所定の制約に基づいて、ある所定の制約を満足
する特定の画像範囲内の別の画像上に射影される。ある
所定の制約を満足する最も類似した画像を検出するプロ
セスは、制約上に射影することとして知られている。

【００３４】一旦、このような画像が検出されると、こ
の新たな画像、あるいは得られた画像が、もしあれば、
次の所定の制約上に射影される。制約は、画像について
知られている情報を表す。射影に基づいた方法では、問
題となる画像は、１以上の面積を有する空間の１つの点
として考えられる。平面上のあらゆる点は、Ｘ、Ｙ座標
で表すことができる。さらに、３次空間のあらゆる点
は、例えば部屋は、Ｘ、Ｙ、Ｚ座標で表すことができ
る。同様に、画像は、高次元空間の１点として表すこと
ができる。例えば、２００×１００画素からなる画像
は、２００００（200×100=20000）の要素を有する１つ
の点として表される。その点の各要素は、画像を構成し
ている２００００画素の１つを表す。各要素の値は、特
定の要素によって表される画素の輝度の強度を表す。典
型的なグレースケールの画像においては、高画質とする
ために、２５６ステップのグレースケールが頻繁に用い
られる。したがって、例えば、画素の輝度強度、あるい
は値は、０〜２５５の範囲となる。

【００３５】種々の制約上への射影を繰り返すことによ
り、最終的には、課せられた全ての制約を同時に満足す
る画像を見つけだすことができる。唯一の条件は、制約
が凸集合として知られている何かを表していることであ
る。凸集合を表す制約の概念は、次のように説明され
る。例えば考慮される画像の集合に１つの制約が加えら
れたとき、その画像集合は、全ての可能な画像の集合よ
りも小さくなるように削減される。この新たな小さい集
合が、この集合が生成する画像もまたその集合内となる
集合の２つの画像の線形結合であるという特性を有する
とき、集合は凸集合である。これは、次のように表現す
ることができる。

【００３６】 ｕ（ｘ）＋（１−ｕ）（ｙ）＝ｚ （式１） ｘとｙが、集合Ｓの要素である２つの画像であり、ｕが
０以上１以下の実数であり、ｚも集合Ｓの要素である画
像であるとき、集合Ｓは、凸集合である。図１１は、式
１の幾何学的な定義を示す図であり、式１が、凹集合で
なく、凸集合であることを示している。

【００３７】既知の射影に基づいたスクラッチ雑音除去
方法では、帯域制限等の制約が課せられる。上記帯域制
限された画像をフーリエ変換すると、無限の周波数スペ
クトルは生じない。画像の周波数帯域の制限は、実像か
らのスクラッチやワイヤ除去に対しては好ましくない。

【００３８】スクラッチ除去の他の周知の技術は、連立
方程式を解くことを基にしている。一般的に、これらの
方法は、多くの連立方程式を解かなければならず、しば
しば、問題となる画像に含まれる画素と同じ数の連立方
程式を解かなければならない。この技術を実行するのに
要求されるコンピュータ処理は、非常に高くつくもので
ある。そのような方法は、画像のシミを除去する場合に
最も有効である。スクラッチの画素数と同数の方程式を
削減する唯一の解決方法である逐次又は非逐次線形代数
学に基づいた方法は、スクラッチを除去するために提案
されている。しかし、これらの方法は、殆どのスクラッ
チ雑音が多くの連続する画素から構成される一般的な場
合において、うまく機能しない。

【００３９】本発明は、従来技術の欠点を克服し、操作
者の過度な操作の必要がなく、ディジタル写像画像から
スクラッチ雑音を除去して高画質の画像を得ることがで
きる方法を提供する。

【００４０】即ち、本発明は、先の特願平７−３０３４
２０号の発明を２つの方法で拡大する。１つは、実際の
応用ではよく起こる状況である不均一な影がある難しい
画像を処理することであり、他の１つは、再構築された
雑音と雑音の周囲の画像を滑らかに調和させるため、ノ
イズマスクのエッジをソフトにすることである。

【００４１】

【課題を解決するための手段】上述の課題を解決するた
めに、この発明に係る画像雑音の除去方法は、画像デー
タから雑音を除去する画像雑音の除去方法において、画
像データにおける雑音領域を特定する雑音領域特定工程
と、上記特定された雑音領域の画素と上記画像データの
残りの領域内の画素を区別するノイズマスクを生成する
ノイズマスク生成工程と、上記特定された雑音領域を含
むリペアイメージを特定するリペアイメージ特定工程
と、上記リペアイメージに類似するサンプルイメージを
特定するサンプルイメージ特定工程と、上記ノイズマス
クからソフトエッジのソフトノイズマスクを作成するソ
フトノイズマスク生成工程と、上記サンプルイメージに
直交変換を施し、上記サンプルイメージの直交変換デー
タを取得するサンプルイメージ変換工程と、上記リペア
イメージに直交変換を施し、上記リペアイメージの直交
変換データを取得するリペアイメージ変換工程と、上記
サンプルイメージデータの周波数変換データと、上記リ
ペアイメージデータの周波数変換データとを用いて逆周
波数変換を実行し、新たなリペアイメージを生成する逆
変換工程と、上記新たなリペアイメージと、上記リペア
イメージと、上記ソフトノイズマスクを用い、新たな画
像データを生成する新たな画像データ生成工程とを有す
るものである。

【００４２】また、上記画像雑音の除去方法において
は、画像データから雑音を除去する画像雑音の除去方法
において、画像データにおける雑音領域を特定する雑音
領域特定工程と、上記特定された雑音領域の画素と上記
画像データの残りの領域内の画素を区別するノイズマス
クを生成するノイズマスク生成工程と、上記特定された
雑音領域を含むリペアイメージを特定するリペアイメー
ジ特定工程と、上記リペアイメージに類似するサンプル
イメージを特定するサンプルイメージ特定工程と、上記
サンプルイメージにフィルタを通過させて、ローパスフ
ィルタを通過したローパスフィルタサンプルイメージ
と、ハイパスフィルタを通過したハイパスフィルタサン
プルイメージとを生成するサンプルイメージフィルタ工
程と、上記ハイパスフィルタサンプルイメージに直交変
換を施し、ハイパスフィルタサンプルイメージの直交変
換データを取得するハイパスフィルタサンプルイメージ
変換工程と、上記リペアイメージをフィルタを通過させ
て、ローパスフィルタを通過したローパスフィルタリペ
アイメージと、ハイパスフィルタを通過したハイパスフ
ィルタリペアイメージとを生成するリペアイメージフィ
ルタ工程と、上記ハイパスフィルタリペアイメージに直
交変換を施し、ハイパスフィルタリペアイメージの直交
変換データを取得するハイパスフィルタリペアイメージ
変換工程と、上記ハイパスフィルタサンプルイメージの
直交変換データと、上記ハイパスフィルタリペアイメー
ジデータの直交変換データとを用いて逆変換を実行し、
新たなハイパスフィルタリペアイメージを生成する逆変
換工程と、上記ローパスフィルタリペアイメージとロー
パスフィルタサンプルイメージとを組み合わせて、ロー
パスフィルタ画像データを生成するローパスフィルタ画
像データ生成工程と、新たなハイパスフィルタリペアイ
メージと、上記リペアイメージと、上記ノイズマスクと
を用いて新たなハイパスフィルタ画像データを生成する
新たなハイパスフィルタ画像データ生成工程と、新たな
ハイパスフィルタリペアイメージと、上記ローパスフィ
ルタ画像データとを用い、新たな画像データを組み合わ
せる新たな画像データ組合わせ工程とを有するものであ
る。

【００４３】本発明は、修復又は雑音除去を必要とする
スクラッチが判別されディジタル画像の他の部分からそ
の判別されたスクラッチの場所を区別するバイナリマス
クが生成されたディジタル画像から、スクラッチ又はワ
イヤノイズを除去する方法に導かれる。スクラッチや他
の雑音を修復してもらいたいディジタル画像の場所を示
すリペアサブイメージが特定される。サンプルサブイメ
ージは、リペアサブイメージにできるだけ似せるために
よりよく選択される。しかし、全体の輝度又はサンプル
サブイメージとリペアサブイメージの輝度の低速変化は
それぞれ異なることがある。

【００４４】フーリエ変換は、全体の信号に対する積分
である。このフーリエ変換の後、１つの画像の沢山の必
要不可欠の全体的な特徴が集中され、つまり、スペクト
ル上で近くなる。これらは、画像又は影の中の様々な物
質間の反射による、反復パターン、全体の画像輝度、輝
度の低速変化を含むことができる。

【００４５】一方、テクスチャやアスファルト又は線や
エッジの鮮明さは、スペクトルの中で分散して見える。
これらは、空間領域の中で集中された特徴である。

【００４６】上述の課題を解決するために、この発明に
係る画像雑音の除去装置は、画像データから雑音を除去
する画像雑音の除去装置において、画像データにおける
雑音領域を特定する雑音領域特定手段と、上記特定され
た雑音領域の画素と上記画像データの残りの領域内の画
素を区別するノイズマスクを生成するノイズマスク生成
手段と、上記特定された雑音領域を含むリペアイメージ
を特定するリペアイメージ特定手段と、上記リペアイメ
ージに類似するサンプルイメージを特定するサンプルイ
メージ特定手段と、上記ノイズマスクからソフトエッジ
のソフトノイズマスクを作成するソフトノイズマスク生
成手段と、上記サンプルイメージに直交変換を施し、上
記サンプルイメージの直交変換データを取得するサンプ
ルイメージ変換手段と、上記リペアイメージに直交変換
を施し、上記リペアイメージの直交変換データを取得す
るリペアイメージ変換手段と、上記サンプルイメージデ
ータの周波数変換データと、上記リペアイメージデータ
の周波数変換データとを用いて逆周波数変換を実行し、
新たなリペアイメージを生成する逆変換手段と、上記新
たなリペアイメージと、上記リペアイメージと、上記ソ
フトノイズマスクを用い、新たな画像データを生成する
新たな画像データ生成手段とを有するものである。

【００４７】また、上記画像雑音の除去装置は、画像デ
ータから雑音を除去する画像雑音の除去装置において、
画像データにおける雑音領域を特定する雑音領域特定手
段と、上記特定された雑音領域の画素と上記画像データ
の残りの領域内の画素を区別するノイズマスクを生成す
るノイズマスク生成手段と、上記特定された雑音領域を
含むリペアイメージを特定するリペアイメージ特定手段
と、上記リペアイメージに類似するサンプルイメージを
特定するサンプルイメージ特定手段と、上記サンプルイ
メージにフィルタを通過させて、ローパスフィルタを通
過したローパスフィルタサンプルイメージと、ハイパス
フィルタを通過したハイパスフィルタサンプルイメージ
とを生成するサンプルイメージフィルタ手段と、上記ハ
イパスフィルタサンプルイメージに直交変換を施し、ハ
イパスフィルタサンプルイメージの直交変換データを取
得するハイパスフィルタサンプルイメージ変換手段と、
上記リペアイメージをフィルタを通過させて、ローパス
フィルタを通過したローパスフィルタリペアイメージ
と、ハイパスフィルタを通過したハイパスフィルタリペ
アイメージとを生成するリペアイメージフィルタ手段
と、上記ハイパスフィルタリペアイメージに直交変換を
施し、ハイパスフィルタリペアイメージの直交変換デー
タを取得するハイパスフィルタリペアイメージ変換手段
と、上記ハイパスフィルタサンプルイメージの直交変換
データと、上記ハイパスフィルタリペアイメージデータ
の直交変換データとを用いて逆直交変換を実行し、新た
なハイパスフィルタリペアイメージを生成する逆変換手
段と、上記ローパスフィルタリペアイメージとローパス
フィルタサンプルイメージとを組み合わせて、ローパス
フィルタ画像データを生成するローパスフィルタ画像デ
ータ生成手段と、新たなハイパスフィルタリペアイメー
ジと、上記リペアイメージと、上記ノイズマスクとを用
いて新たなハイパスフィルタ画像データを生成する新た
なハイパスフィルタ画像データ生成手段と、新たなハイ
パスフィルタリペアイメージと、上記ローパスフィルタ
画像データとを用い、新たな画像データを組み合わせる
新たな画像データ組合わせ手段とを有するものである。

【００４８】

【発明の実施の形態】明らかに、雑音除去とテクスチャ
合成のために、周波数領域と空間領域の２つを結合する
必要がある。先の特願平７−３０３４２０号における発
明は、ＰＯＣＳ枠組みの中の周波数領域と空間領域を結
合している。本発明は、均一の影を有さない画像から雑
音を取り除くことができるように、機能を拡張してい
る。本発明は、さらに、ノイズマスクにソフトエッジを
持たせることによって、この働きを別の方法に拡張して
いる。このことは、先の特願平７−３０３４２０号で開
示された基本的な方法が有する問題において、雑音を有
する画素を置換するために生成された画素が背景の画素
にスムーズにマージ（合体）することを可能にする。そ
のような画素は、画像の空間的に接近した多くの暗い領
域と明るい領域の１つである。

【００４９】本発明における効果は、それぞれの繰り返
しが、全ての画像上でなく小さなウィンドウ上におい
て、速い動作を必要とするという事実から生じている。

【００５０】プロトタイプ（サンプル）に基づいた画像
からの雑音除去方法は、以下の基準を満たす必要があ
る。

【００５１】（１）顕著なラインは、連続的でなければ
ならない。

【００５２】（２）生成されたテクスチャは、その周辺
と調和（マッチ）しなければならない。

【００５３】（３）異なる輝度のサンプルは、受け入れ
られなければならない。

【００５４】特願平７−３０３４２０号の中で、本願出
願人は、（１）と（２）の問題を解決し、均一の輝度を
有するモノクロの静止画像において、従来の方法に比べ
てより優れた結果を示した。様々なタイプのテクスチャ
と顕著なラインは正確に処理された。この発明の方法に
最も近く対立する方法は、画像の他の領域からのコピー
ペースティング、薄く長い雑音を除去するための手での
ぺインティングのような一般的な方法である。

【００５５】コピーペースティングでは、顕著なライン
の調整は難しく、ペインティングでは、テクスチャのマ
ッチングは難しい。もう１つの問題は、修復される領域
と同じの全体輝度を有するプロトタイプ領域を探すこと
である。このことは、図１０（ａ）と図１０（ｂ）で見
ることができる。

【００５６】先の特願平７−３０３４２０号の発明は、
（１）と（２）の問題を解決したが、この発明によって
（３）は解決されていない。さらに、沢山の隣接した明
るい領域と暗い領域を有するテクスチャを有する画像に
おいては、再構築された画素と背景の画素の輝度変化は
僅かであるが目立つ。これを解決するために、本願出願
人の先の発明で使用されたバイナリマスク（バイナリノ
イズマスク）とは異なるソフトエッジを有するノイズマ
スクを用いた新しい方法を開発した。これにより、不連
続な輝度変化に対する問題を解決する。

【００５７】この問題（３）を解決するために、発明者
は、本発明に記述してある別の方法を開発した。テクス
チャが高い周波数で現れているとき、画像内の緩やかな
変化は低い周波数として現れる。各輝度の変化点におい
て、特願平７−３０３４２０号中の方法に類似した方法
を、ハイパスフィルタされた画像に適用し、その結果と
ローパスフィルタされた画像をマージ（合成）すること
により、輝度が変化したり、不均一な影を有する画像を
処理することができる。

【００５８】本発明では、修復される画像領域の構造を
有する情報が、同じ画像の別の部分に度々現れることに
着目している。この情報を画素毎に単に複写したり、あ
るいは平均値を生成してスクラッチ領域の画素を置換し
ては、良好な結果を得ることができない。本発明の方法
は、特定された画像スクラッチ領域を構成する無くなっ
ている画素情報を反復的に再構築するために、サンプル
イメージの領域である特定されたサンプルサブイメージ
領域の周波数スペクトルと同様に、リペアイメージの領
域であるリペアサブイメージ領域のスクラッチのない部
分を利用する。

【００５９】図１、７、８は、本発明の方法の一実施例
を示す図である。各図において、同じものには同じ参照
番号を付している。図１と図７において、不要なスクラ
ッチ／ワイヤ雑音を含む画像５０を表すデータが、入力
端子１２を介して入力される。図７において、画像５０
は、例えば煉瓦壁を表している。図７の画像５０に示さ
れている煉瓦壁は、大きな規則的な特徴を有し、また、
一般的な煉瓦壁に見られるモルタルの目地を表す目立っ
たエッジを有する。この画像は、表示装置１０に表示さ
れている。表示装置１０の操作者により、例えばマウス
１５やペン／タブレット２０等のポインティングデバイ
スを用いて、スクラッチ４０の周辺又は領域はハイライ
ト又は特定される。スクラッチ領域を特定する際に、操
作者は、表示された画像を横切ってカーソル／ペン／ブ
ラシを動かす又は操作するポインタデバイスを用い、問
題となるスクラッチの領域をトレースしてスクラッチ領
域を特定してもよい。幅は、カーソル／ペン／ブラシの
形状と同様に、操作者のニーズや要望に合わせることが
できる。カーソル／ペン／ブラシによるトレースは、ス
クラッチ領域の全ての画素がおおわれ／ハイライトされ
るかぎり、正確にスクラッチに沿っている必要はない。

【００６０】特定されたスクラッチ領域を画像の他の領
域から区別するバイナリマスクデータが生成される。こ
のバイナリマスクデータは、例えば特定されたスクラッ
チ領域の各画素に値”１”を与え、特定されたスクラッ
チ領域外の各画素に値”０”を与えたりすることによっ
て、スクラッチ領域４０を区別する。また逆も同じであ
る。そして、このバイナリマスクデータは、メモリ２５
に記憶される。

【００６１】特定されたスクラッチ領域の画素の部分を
少なくとも含むリペアサブイメージ６が特定される。同
様に、サンプルサブイメージ５が特定される。このサン
プルサブイメージ５としては、構造、線、色、輝度、テ
クスチャ、グレー値等においてリペアサブイメージ６の
領域に最も類似している画像５０の領域が選択される。
リペアサブイメージ領域に非常に類似しているサンプル
サブイメージが選択されることが望ましいけれども、サ
ンプルサブイメージに描写されている特徴や細部が、直
接リペアサブイメージの特徴や詳細に関連するように、
同一位置に位置したり、サンプルサブイメージ内に対応
していたりする必要はない。例えば、図７においては、
リペアサブイメージ６に描写された特徴や細部は、サン
プルサブイメージ５に配置されている特徴と細部が正確
に同じになるように、リペアサブイメージ６内に配置さ
れていない。しかし、サンプルサブイメージ５内の特徴
と細部は、リペアサブイメージ６内の特徴と細部に類似
している。

【００６２】サンプルサブイメージ５は、リペアサブイ
メージ６と同一の形状と寸法を有するが、画像５０のＸ
／Ｙ平面内のサンプルサブイメージ５の位置は、リペア
サブイメージ６と同一ではない。すなわち、例えば、リ
ペアサブイメージ６の各辺がＸ＆Ｙ軸に平行となってい
るとき、Ｘ／Ｙ平面においてサンプルサブイメージ５の
各辺もＸ＆Ｙ軸に平行となっていることは必要でない。
リペアサブイメージ６は、操作者が動かし易いように、
小さく又は大きく定義することができる。リペアサブイ
メージ６内の各画素の値を表すデータは、サンプルサブ
イメージ５内の画素の値を表すデータと同様に、メモリ
２５に記憶される。メモリ２５は、種々のデータをそれ
ぞれ記憶させるために、幾つかの分離したメモリユニッ
ト、区切られ又は配置された１つのメモリユニットから
なる。

【００６３】本発明の方法は、凸集合への射影又はＰＯ
ＣＳの理論に基づいている。ＰＯＣＳの適用において、
望ましい結果を得るためには、的確な凸集合を見つけだ
し、正しく射影を定義することが重要である。

【００６４】ここで、最初にソフトノイズマスクを使用
して画像から雑音を除去する方法を示し、次に、ソフト
ノイズマスクを用いて均一の影を有さない画像から雑音
を除去する方法を示す。

【００６５】ユーザは、雑音領域上にバイナリマスクを
上書き（ペイント）する。このバイナリマスクは、雑音
の画素をカバーするのに十分な大きさを有するが、正確
に同じ形状のものである必要はない。次に、ユーザは、
雑音領域周辺の長方形の画像領域を選択し、それをリペ
アサブイメージとする。次に、ユーザは、雑音の画素を
含まずリペアサブイメージと似ていて正確に同じサイズ
の長方形の画像領域を選択する。この選択した領域をサ
ンプルサブイメージとする。”似ていて”の意味は、サ
ンプルサブイメージとリペアサブイメージは、互いに移
行したものであり、すなわち、互いを比較したときに、
サンプルサブイメージ中の顕著なラインは、リペアサブ
イメージ中の顕著なラインに対応させることができると
いうことである。このように設定したサンプルサブイメ
ージとリペアサブイメージの例を、図７に示す。雑音領
域とその上に上書きしたバイナリマスクを図５及び図６
に示す。また、ユーザは、この方法の主要部分を実行す
る回数を選択することができる。この主要部分について
は後で説明する。

【００６６】サンプルサブイメージＳの高速フーリエ変
換（ＦＦＴ）を計算する。ＦＦＴの計算結果は、サンプ
ルサブイメージＳのフーリエ変換の位相とマグニチュー
ド（大きさ）である。ここで、位相を無視する。マグニ
チュード（Ｍ１）は、後で使用される。

【００６７】ユーザが上書きしたバイナリマスクからソ
フトエッジのソフトノイズマスクを生成する。ソフトノ
イズマスクを生成する際、バイナリマスク内ではソフト
ノイズマスクの値は０である。バイナリマスク外では、
ソフトノイズマスクの値は、０から１の間のガウス関数
の値である。すなわち、バイナリマスク外の画素におい
ては、バイナリマスクからの距離をｄとすると、ソフト
ノイズマスクの値は、１−ｅｘｐ（−ｋ＊ｄ＊ｄ）とな
り、ここで、ｋは、ユーザがこのソフトノイズマスクの
ソフトエッジを急峻したり、なだらかにしたりするため
に設定することができる定数である。一般的に、定数ｋ
の値は、０．１５である。バイナリマスクからの距離ｄ
が定まると、ソフトノイズマスクの１つ値が得られる。
発明者は、この目的のために、約５つの画素の距離が適
することがわかった。

【００６８】リペアサブイメージにソフトノイズマスク
を乗算する。その結果、元の雑音は、そのソフトノイズ
マスクの黒い領域により覆われる。そのソフトノイズマ
スクのソフト範囲では、雑音のエッジ近傍の位置で略０
であり、ソフトノイズマスクのエッジから数画素離れた
位置で略１になり、それらの間の位置で０と１の中間の
値を有する因子を、リペアサブイメージに乗算すること
により、下の元の画素の値は減少する。その乗算結果
を、マスクリペアサブイメージという。

【００６９】ユーザが選択した回数、以下に説明するこ
の方法の主要部は実行される。この主要部は、以下のス
テップから構成される。

【００７０】マスクリペアサブイメージＲの高速フーリ
エ変換（ＦＦＴ）を計算して、ＦＦＴで計算されたマグ
ニチュード（Ｍ２）と位相（Ｐ２）を次のステップに送
る。

【００７１】マグニチュード（Ｍ１）と（Ｍ２）の最小
マグニチュードを計算する。マグニチュード（Ｍ１）
は、サンプルサブイメージのＦＦＴで得られるマグニチ
ュードであり、マグニチュード（Ｍ２）は、マスクリペ
アサブイメージのＦＦＴで得られるマグニチュードであ
る。この最小マグニチュードの計算は、ＤＣ成分以外の
全ての周波数成分において行われる。ＤＣにおいては、
マグニチュード（Ｍ２）の値が選択される。最小値の計
算により得られた新しいマグニチュードを、次のステッ
プで使われるフーリエ変換の新しい値として送る。マス
クリペアサブイメージのＦＦＴで得られた位相情報（Ｐ
２）を変更せずに、次のステップに送る。

【００７２】上述のステップが効果的である理由は、雑
音は、一般的に、スペクトルのマグニチュードを増加す
る。最小値を効果的に取ることにより、マスクリペアサ
ブイメージのスペクトルを、サンプルサブイメージのス
ペクトルに作り直す。このステップは、このような優れ
た特性があり、これは、凸集合への射影である（以下、
参照）。マスクリペアサブイメージのスペクトルのＤＣ
の値を変えなかったのは、それがマスクリペアサブイメ
ージ全体の輝度の値を含むからである。

【００７３】さらに、位相は保持されるということにも
注意するべきである、すなわち、スペクトルのマグニチ
ュードを作り直している間に、マスクリペアサブイメー
ジのスペクトルの位相を変化させていない。この位相
は、数回に亘って自動的に再構築されることがわかる。
位相の再構築は、全体的な特徴の自動的な整列になる。
周波数領域でこれを行うことは容易なことである。特別
な領域においては、１つの整列は、高価で不経済なブロ
ックマッチングを必要とする。

【００７４】前のステップで得られたマグニチュードと
位相の出力を用いて、逆高速フーリエ変換（ＩＦＦＴ）
を計算する。

【００７５】このステップの終わりに、ＩＦＦＴの計算
結果は、空間領域のものである。その結果は、この時点
で望まれるべき解答に近い。しかし、スペクトルのマグ
ニチュードを変更しているので、ＩＦＦＴの後の画像マ
トリックスの中には、虚数成分が含まれる可能性があ
る。幾つかの値は、グレースケールの画像における画素
値の許容範囲である０から２５５の適した範囲外にある
かもしれない。この値を適合した範囲内の値とするに
は、空間領域マトリックスは実数化され、０から２５５
までの間にクリップされなければならない。さらに、前
の処理が周波数領域における処理であったので、ソフト
ノイズマスクの外の画素にさえも影響を与える。これら
は、空間領域の中で修正されなければならない。これら
の処理は、元のリペアサブイメージから雑音の周辺の既
知の画素値を複写（コピー）することによって簡単に行
うことができる。これらの２つの射影法を以下に詳細に
説明する。

【００７６】このステップでは、入力値を実数にする。
この入力値は、それらのうち幾つかは複素数である可能
性があるマトリックスである。マトリックスにおいてそ
のような複素数の値は０に設定する。実数も０から２５
５の範囲外の可能性もある。値が０以下のときは、それ
を０にする。それが２５５以上のときは、それを２５５
にする。それ以外であれば、何も変更しない。

【００７７】前のステップで得られた画素を元のリペア
サブイメージの画素と混合する。ソフトノイズマスクか
ら離れている位置の画素の値は、この位置には雑音がな
いことが判っているので、元のリペアサブイメージの値
とされるべきである。ソフトノイズマスクの値が０であ
る領域内では、元のリペアサブイメージには雑音があ
り、またよりよい値が計算されたことから、それらの値
はそのまま残されるべきである。ソフトノイズマスクの
値が０と１の間の領域の値としては、前のステップにお
いて計算された値と元のリペアサブイメージの値を混合
した値とする。これらの３つの処理（ソフトノイズマス
クの値が０、１及び０と１の中間の値の処理）は、以下
のように定義することができる。ある位置におけるソフ
トノイズマスクの値をｍとすると、その位置ので新しい
画素は、ｍ＊ｒ０＋（１−ｍ）＊ｒとなり、ここで、ｒ
０は、先に生成されたマスクリペアサブイメージＲ内の
その位置の値であり、ｒは、前のステップで得られたそ
の位置の値である。

【００７８】以上が、本発明の主要部である。必要な反
復回数だけ行われると、次のステップに進む。そうでな
ければ、この方法の主要部核の部分を繰り返す。反復が
終了した後の出力は、次の反復のためのマスクリペアサ
ブイメージとなる。 上述したように、この方法の主要
部が必要な反復回数だけ行われた後は、ユーザは、その
結果を検証する。そして、その結果が要求を満たしてい
るときは、この方法は完了される。もしそうでなけれ
ば、ユーザは、最初に戻る。沢山の部分の雑音が良好に
除去されるというチャンスがある。ときには問題が残っ
ているスポットがあるかもしれない。これらは、ユーザ
が、小さな問題の領域の上により小さなノイズマスクを
上書きして特定する。また、ユーザは、前回と同様に、
小さなリペアサブイメージとサンプルサブイメージも選
択するが、このとき、もし有ればこれらのウィンドウ
は、残された小さな問題があるスポットに集中してい
る。上述の処理は、最初から開始するように繰り返され
る。

【００７９】以上が、ソフトエッジのソフトノイズマス
クを使用して、画像から雑音を除去する方法である。図
２は、この方法の詳細を示したフローチャートである。

【００８０】最初のステップＳ１においては、リペアサ
ブイメージにソフトノイズマスクを乗算する。その結
果、元の雑音は、そのソフトノイズマスクの黒い領域に
より覆われる。そのソフトノイズマスクのソフト範囲で
は、雑音のエッジ近傍の位置で略々０であり、ソフトノ
イズマスクのエッジから数画素離れた位置で略々１にな
り、それらの間の位置で０と１の中間の値を有する因子
を、リペアサブイメージに乗算することにより、下の元
の画素の値は減少する。その乗算結果を、マスクリペア
サブイメージという。そして、次のステップＳ２に進
む。

【００８１】ここで、リペアサブイメージは、ユーザが
選択した雑音領域周辺の長方形の画像領域である。ソフ
トノイズマスクは、ユーザが上書きしたバイナリマスク
から生成されたソフトエッジのマスクである。ここで、
バイナリマスクは、ユーザが雑音領域の上に上書き（ペ
イント）したマスクである。このバイナリマスクは、雑
音の画素をカバーするのに十分な大きさを有するが、正
確に同じ形状のものである必要はない。

【００８２】ソフトノイズマスクを生成する際、バイナ
リマスク内ではソフトノイズマスクの値は０である。バ
イナリマスク外では、ソフトノイズマスクの値は、０か
ら１の間のガウス関数である。すなわち、バイナリマス
ク外の画素においては、バイナリマスクからの距離をｄ
とすると、ソフトノイズマスクの値は、１−ｅｘｐ（−
ｋ＊ｄ＊ｄ）となり、ここで、ｋは、ユーザがこのソフ
トノイズマスクのソフトエッジを急峻にしたり、なだら
かにしたりするために設定することができる定数であ
る。一般的に、定数ｋの値は、０．１５である。バイナ
リマスクからの距離ｄが決まると、ソフトノイズマスク
の１つの値が得られる。我々は、この目的のためにおよ
そ画素５個分の距離が適することを見いだした。

【００８３】ステップＳ２においては、マスクリペアサ
ブイメージＲの高速フーリエ変換（ＦＦＴ）を行い、Ｆ
ＦＴで計算されたマグニチュード（Ｍ２）と位相（Ｍ
２）を次のステップＳ３に送る。

【００８４】一方、ステップＳ７においては、サンプル
イメージＳの高速フーリエ変換（ＦＦＴ）を行う。ＦＦ
Ｔの出力は、サンプルイメージＳのフーリエ変換の位相
とマグニチュードである。ここでは、位相は無視され、
マグニチュードは、後で使用される。上記マグニチュー
ドは、ステップＳ３に送られる。

【００８５】ここで、サンプルイメージＳは、ユーザが
選択した雑音の画像領域を含まずリペアサブイメージと
似ていて正確に同じサイズの長方形の画像領域である。
この選択した領域をサンプルサブイメージとする。「似
ていて」の意味は、発明の実施の形態の中で示してあ
る。サンプルサブイメージ中の顕著なラインの相対的位
置は、リペアサブイメージ中の顕著なラインの位置とは
異なる。

【００８６】ステップＳ３においては、マグニチュード
Ｍ１、Ｍ２の最小マグニチュードを計算する。マグニチ
ュードＭ１は、サンプルイメージのＦＦＴで得られるマ
グニチュードであり、マグニチュードＭ２は、マスクリ
ペアサブイメージのＦＦＴで得られるサブイメージであ
る。この最小マグニチュードの計算は、ＤＣ成分以外の
全ての周波数成分において行われる。ＤＣ成分として
は、マグニチュードＭ２の値が選択される。最小値の計
算により得られた新しいマグニチュードを、次のステッ
プで使われるフーリエ変換の新しい値として送る。マス
クリペアサブイメージのＦＴで得られた位相情報Ｐ２
は、変更されずに、次のステップＳ４に送られる。

【００８７】ステップＳ４においては、前のステップＳ
３で得られたマグニチュードと位相の出力を用いて、逆
高速フーリエ変換（ＩＦＦＴ）を行う。そして、ＩＦＦ
Ｔの結果を次のステップＳ５に送る。

【００８８】ステップＳ５においては、入力値を実数に
する。この入力値は、それらの内の幾つかは複素数であ
る可能性があるマトリクスである。マトリクスにおいて
そのような複素数の値は０に設定する。実数も０から２
５５の範囲外の可能性もあるのでクリッピングを行う。
値が０以下のときには、それを０にする。それが２５５
以上のときは、それを２５５にし、それ以外であれば、
何もしない。そして、この結果を、これに続くステップ
Ｓ６に送る。

【００８９】ステップＳ６においては、前のステップＳ
５で得られた画素を元のリペアサブイメージの画素と混
合するソフトマスク修復を行う。ソフトノイズマスクか
ら離れている位置の画素の値は、この位置には雑音がな
いことが判っているので、元のリペアサブイメージの値
とされるべきである。ソフトノイズマスクの値が０であ
る領域内では、元のリペアサブイメージには雑音があ
り、またよりよい値が計算されたことから、それらの値
はそのまま残されるべきである。ソフトノイズマスクの
値が０と１の間の領域の値としては、前のステップにお
いて計算された値とのとのリペアサブイメージの値を混
合した値とする。これらの３つの処理（ソフトノイズマ
スクの値が０、１及び０と１の中間の値の処理）は、以
下のように定義することができる。ある位置におけるソ
フトノイズマスクの値をｍとすると、その位置の新しい
画素の値は、ｍ＊ｒ０＋（１−ｍ）＊ｒとなり、ここ
で、ｒ０は、リペアイメージＲ内のその位置の値であ
り、ｒは、前のステップで得られた位置の値である。

【００９０】なお、ユーザは、ステップＳ２からステッ
プＳ６において実行されるループの回数を選択すること
ができる。

【００９１】続いて、不均一な影を有する画像から雑音
を除去する方法について説明する。上述した方法は、先
の特願平７−３０３４２０号の方法と同様に、均一な影
を有する画像に関しては非常に有効である。当然、画像
は、整然又はランダムに、近接又は離れた顕著なライン
を有し、また、画像は、テクスチャ、反復性を有する。
しかし、その画像は、均一な影を有していなければなら
ない。近くの電球で照明された壁の画像においては、不
均一の影が現れるかもしれない。不均一な影は、その近
くの他の物体の反射によって生じるかもしれない。この
ことは、リペアサブイメージと同じ全体輝度を有するサ
ンプルサブイメージを選択することが問題であるので、
上述した方法の使用を困難にする。上述した方法は、Ｄ
Ｃ成分（画像の全体の輝度に関する情報を含む）とその
他の周波数成分を異なって処理しているので、サンプル
サブイメージとリペアサブイメージの全体輝度がある程
度違っていても処理することができることを考慮する必
要がある。

【００９２】しかし、不均一な影の効果がさらに言及さ
れると、上述の方法は不十分である。すなわち、低周波
数成分と高周波数成分を異なって処理する方法が必要で
ある。これは、画像輝度の緩やかな変化は、低周波数成
分として現れ、テクスチャや輝度の急激な変化は、高周
波数成分として現れる。以下に説明する発明は、このよ
うな事実を考慮している。

【００９３】画像の影の中の全体的な変化は、全体的な
特徴なので、この問題を解決するために周波数領域を選
択する。基本原理は、低周波数成分を無視することによ
り、影（非常に大きな全体的な特徴）を無効にする。そ
して、高い周波数の画像に対しては、ソフトノイズマス
クに類似した処理を行うか、又は、先の特願平７−３０
３４２０号の中の影の効果の合体を応用する。以下、こ
の方法を詳細に説明する。

【００９４】最初は、上述の方法と同様に、ユーザは、
雑音領域の上にバイナリマスクを上書きする。このバイ
ナリマスクは、雑音の画素をカバーするのに十分な大き
さを有するが、正確に同じ形状のものである必要はな
い。ユーザは、雑音領域周辺の長方形の画像領域を選択
し、それをリペアサブイメージとする。次に、ユーザ
は、雑音を含まずリペアサブイメージと似ていて正確に
同じサイズの長方形の画像領域を選択する。この選択し
た領域をサンプルサブイメージとする。”似ていて”の
意味は、前に説明したように、サンプルサブイメージと
リペアサブイメージは、互いに移行したものであり、す
なわち、互いを比較したときに、サンプルサブイメージ
中の顕著なラインは、リペアサブイメージ中の顕著なラ
インに対応させることができるということである。この
ように設定したサンプルサブイメージとリペアサブイメ
ージの例を、図７に示す。雑音領域とその上に上書きし
たバイナリマスクを図５及び図６に示す。さらに、上述
した問題を解決できるようにこの方法を、開発したの
で、そのサンプルサブイメージは、リペアサブイメージ
に比べて、相当暗いか相当明るい。ユーザは、さらに、
この方法の主要部を実行する回数を選択することができ
る。この主要部については後で説明する。

【００９５】必要に応じて、ユーザが上書きしたバイナ
リマスクからソフトエッジマスクを生成する。ソフトエ
ッジマスクを生成する際、バイナリマスク内ではソフト
マスクの値は０である。バイナリマスク外では、ソフト
ノイズマスクの値は、０から１の間のガウス関数の値で
ある。すなわち、バイナリマスク外の画素においては、
バイナリマスクからの距離をｄとすると、ソフトノイズ
マスクの値は、１−ｅｘｐ（−ｋ＊ｄ＊ｄ）となり、こ
こで、ｋは、ユーザがこのソフトノイズマスクのソフト
エッジを急峻にしたり、なだらかにするために設定する
ことができる定数である。一般的に、定数ｋの値は、
０．１５である。バイナリマスクからの距離ｄが定まる
と、ソフトノイズマスクの１つの値が得られる。発明者
は、この目的のために、約５つの画素の距離が適するこ
とがわかった。

【００９６】サンプルサブイメージを、ローパスフィル
タを用いて濾波して、ローパスフィルタサンプルサブイ
メージ（ＬＳ）とハイパスフィルタサンプルサブイメー
ジ（ＨＳ）を生成する。そのローパスフィルタサンプル
サブイメージは無視され、ハイパスフィルタサンプルサ
ブイメージが次のステップの入力となる。上述した２つ
のステップでのフィルタリングにおいて、例えば周波数
が乗算されるガウスフィルタ等の適切なローパスフィル
タを使用することもできる。このローパスフィルタとし
てはガウスフィルタが適している。ガウスフィルタのロ
ールオフ特性は、画像に基づいてユーザにより決定され
る。一般的に、不均一の影が突然変化するときよりも、
不均一の影がなだらかに変化するときに、帯域幅が狭い
フィルタを使用する。

【００９７】ハイパスフィルタサンプルサブイメージＨ
Ｓの高速フーリエ変換（ＦＦＴ）を計算する。ＦＦＴの
計算結果は、ハイパスフィルタサンプルサブイメージ
（ＨＳ）のフーリエ変換の位相とマグニチュードであ
る。ここで、位相は無視する。マグニチュード（Ｍ１）
は後で使用される。

【００９８】リペアサブイメージにノイズマスクを乗算
する。このノイズマスクとしては、バイナリマスクで
も、ソフトエッジのノイズマスクでもよい。ノイズマス
クとしてバイナリマスクを使用したときは、リペアサブ
イメージ中の実際の雑音は、黒い領域で覆われる。この
領域の外側の領域は、雑音の無い画像の部分である。乗
算の結果は、マスクリペアサブイメージである。一方、
ソフトノイズマスクを使用するときは、そのソフトノイ
ズマスクのソフト範囲は、雑音のエッジ近傍の位置で略
０であり、ソフトノイズマスクのエッジから数画素離れ
た位置で略０となり、それらの間の位置で０と１の中間
の値を有する要因を、リペアサブイメージに乗算するこ
とにより、下の元の値は減少する。その乗算結果は、マ
スクリペアサブイメージである。

【００９９】以下、この方法の主要部について説明す
る。この主要部は、設定された回数実行される。ユーザ
は、サンプルサブイメージとリペアサブイメージを選択
するときに、回数を設定しなければならない。マスクリ
ペアサブイメージを、ハイパスフィルタマスクリペアサ
ブイメージ（ＨＲ）と、ローパスフィルタマスクリペア
サブイメージ（ＬＲ）との２つの画像に分割する。そし
て、ローパスフィルタマスクリペアサブイメージ（Ｌ
Ｒ）がこのステップで使用される。ローパスフィルタリ
ペアサブイメージ（ＬＲ）は、次のステップに送られな
いが、その代わりに、ローパスフィルタ画像を付加する
ことにより、低周波数成分とマージされる。ハイパスフ
ィルタマスクリペアサブイメージ（ＨＲ）のみが、次の
ステップに直接送られる。

【０１００】ハイパスフィルタマスクリペアサブイメー
ジ（ＨＲ）の高速フーリエ変換（ＦＦＴ）を計算して、
ＦＦＴで計算されたマグニチュード（Ｍ２）と位相（Ｐ
２）を次のステップに送る。

【０１０１】マグニチュード（Ｍ１）と（Ｍ２）の最小
マグニチュードを計算する。マグニチュード（Ｍ１）
は、サンプルサブイメージのＦＦＴで得られるマグニチ
ュードであり、マグニチュード（Ｍ２）は、ハイパスフ
ィルタマスクリペアサブイメージのＦＦＴで得られるマ
グニチュードである。最小値の計算により得られた新し
いマグニチュードを、次のステップで使われるフーリエ
変換の新しい値として送る。ハイパスフィルタマスクリ
ペアサブイメージのＦＦＴで得られた位相情報（Ｐ２）
を変更せずに、次のステップに送る。

【０１０２】前のステップで得られたマグニチュードと
位相の出力を用いて、逆高速フーリエ変換（ＩＦＦＴ）
を計算する。

【０１０３】前のステップで得られた画素を先に生成さ
れたマスクリペアサブイメージの画素と混合する。ノイ
ズマスクから離れている位置の画素の値は、この位置に
雑音がないことが判っているので、マスクリペアサブイ
メージの値とされるべきである。ノイズマスクの値が０
である領域内では、マスクリペアサブイメージには雑音
があり、またよりよい値が計算されたことから、それら
の値はそのまま残されるべきである。ソフトノイズマス
クを採用しているときは、ソフトノイズマスクの値が０
と１の間の領域の値としては、前のステップにおいて計
算された値とマスクリペアサブイメージの値を混合した
値とする。これらの３つの操作（ソフトノイズマスクの
値が０、１及び０と１の中間の値の処理）は、以下のよ
うに定義することができる。ある位置におけるソフトノ
イズマスクの値をｍとすると、その位置での新しい画素
は、ｍ＊ｒｐ＋（１−ｍ）＊ｒとなり、ここで、ｒｐ
は、先に生成されたマスクリペアサブイメージＲ内のそ
の位置の値であり、ｒは、前のステップで得られたその
位置の値である。

【０１０４】前のステップの出力と、ステップ６で得ら
れたローパスフィルタマスクリペアサブイメージ（Ｌ
Ｒ）とマージする。マージは、２つの画像を単純に加算
することにより行われる。このステップの入力の画素の
いずれかが２５５より大きいときは、それを２５５とす
る。それ以外であれば、何もしないでおく。これでこの
方法の主要部の処理は、完了する。この主要部は、設定
された回数だけ実行される。ユーザは、リペアサブイメ
ージとサンプルサブイメージを選択するときに、最初に
予め実行する回数を選択する。

【０１０５】図３は、上述した方法の詳細を示すフロー
チャートである。最初のステップＳ１１においては、リ
ペアサブイメージにソフトノイズマスクを乗算する。こ
のノイズマスクとしては、バイナリマスクでも、ソフト
エッジのマスクでもよい。

【０１０６】リペアサブイメージは、ユーザが選択した
雑音領域周辺の長方形の画像領域である。バイナリマス
クは、ユーザが雑音領域の上に上書きしたマスクであ
る。このバイナリマスクは、雑音の画素をカバーするの
に十分な大きさを有するが、正確に同じ形状のものであ
る必要はない。ソフトエッジマスクは、必要に応じて、
ユーザが上書きしたバイナリマスクからソフトエッジマ
スクを生成する。ソフトノイズマスクを生成する際、バ
イナリマスク内ではソフトノイズマスクの値は０であ
る。バイナリマスク外では、ソフトノイズマスクの値
は、０から１の間のガウス関数である。すなわち、バイ
ナリマスク外の画素においては、バイナリマスクからの
距離をｄとすると、ソフトノイズマスクの値は、１−ｅ
ｘｐ（−ｋ＊ｄ＊ｄ）となり、ここで、ｋは、ユーザが
このソフトノイズマスクのソフトエッジを急峻にした
り、なだらかにしたりするために設定することができる
定数である。一般的に、定数ｋの値は、０．１５であ
る。バイナリマスクからの距離ｄが決まると、ソフトノ
イズマスクの１つの値が得られる。我々は、この目的の
ためにおよそ約５つの画素の距離が適することを見いだ
した。

【０１０７】ノイズマスクとしてバイナリマスクを使用
したときは、リペアサブイメージ中の実際の雑音は、黒
い領域で覆われる。この領域の外側の領域は、雑音のな
い部分である。乗算の結果は、マスクリペアサブイメー
ジである。一方、ソフトノイズマスクを使用するとき
は、そのソフトノイズマスクのソフト範囲は、雑音のエ
ッジ近傍の位置で略々０であり、ソフトノイズマスクの
エッジから数画素離れた位置で略々０となり、それらの
間の位置で０と１の中間の値を有する要因を、リペアサ
ブイメージに乗算することにより、下の元の値は減少す
る。その乗算結果を、マスクリペアサブイメージとい
う。そして、次のステップＳ１２に進む。

【０１０８】ステップＳ１２においては、マスクリペア
サブイメージを、ハイパスフィルタマスクサブイメージ
（ＨＲ）と、ローパスフィルタマスクサブイメージ（Ｌ
Ｒ）との２つの画像に分割する。ローパスフィルタリペ
アサブイメージ（ＬＲ）は、次のステップに送られない
が、その代わりに、ステップ１２に送られる。ハイパス
フィルタマスクリペアイメージ（ＨＲ）のみが、次のス
テップＳ１３に直接送られる。

【０１０９】ステップＳ１３においては、ハイパスフィ
ルタマスクサブイメージ（ＨＲ）の高速フーリエ変換
（ＦＦＴ）を計算して、ＦＦＴで計算されたマグニチュ
ード（Ｍ２）と位相（Ｐ２）を次のステップに送る。

【０１１０】一方、ステップＳ２０においては、サンプ
ルイメージを、ローパスフィルタを用いて濾波して、ロ
ーパスフィルタサンプルサブイメージ（ＬＳ）とハイパ
スフィルタサンプルイメージ（ＨＳ）を生成する。その
ローパスフィルタサンプルサブイメージは無視され、ハ
イパスフィルタサンプルサブイメージが次のステップＳ
２１の入力になる。

【０１１１】ここで、サンプルサブイメージは、ユーザ
が選択した雑音の画像領域を含まずリペアサブイメージ
と似ていて正確に同じサイズの長方形の画像領域であ
る。この選択した領域をサンプルサブイメージとする。
「似ていて」の意味は、発明の実施の形態の中で示して
ある。このサンプルイメージはリペアサブイメージに比
べてかなり暗いか明るくてもよい。サンプルサブイメー
ジ中の顕著なラインの相対的位置は、リペアサブイメー
ジ中の顕著なラインの位置とは異なる。

【０１１２】ステップＳ２１においては、ハイパスフィ
ルタサンプルサブイメージＨＳの高速フーリエ変換（Ｆ
ＦＴ）を計算する。ＦＦＴの出力は、ハイパスサンプル
サブイメージ（ＨＳ）のフーリエ変換の位相とマグニチ
ュードである。ここで、位相は無視する。マグニチュー
ド（Ｍ１）は次のステップＳ１４に送られる。

【０１１３】ステップＳ１４においては、マグニチュー
ド（Ｍ１）と（Ｍ２）の最小マグニチュードを計算す
る。マグニチュード（Ｍ１）は、サンプルサブイメージ
のＦＦＴで得られるマグニチュードでであり、マグニチ
ュード（Ｍ２）は、ハイパスフィルタマスクサンプルサ
ブイメージのＦＦＴで得られるマグニチュードである。
最小値の計算により得られた新しいマグニチュードを、
次のステップＳ１５で使われるフーリエ変換の新しい値
として送る。ハイパスフィルタマスクリペアサブイメー
ジのＦＦＴで得られた位相情報（Ｐ２）を変更せずに、
次のステップＳ１５に送る。

【０１１４】ステップＳ１５においては、前のステップ
Ｓ１４で得られたマグニチュードと位相の出力を用い
て、逆高速フーリエ変換（ＩＦＦＴ）を計算する。そし
て、ステップＳ１６に進む。

【０１１５】ステップＳ１６においては、入力値を実数
にする。この入力値は、それらの内の幾つかは複素数で
ある可能性があるマトリックスである。マトリックスに
おいてそのような複素数の値は０に設定する。実数も０
から２５５の範囲外の可能性もあるのでクリッピングを
行う。値が０以下のときは、それを０にする。それが２
５５以上のときは、それを２５５にする。それ以外で何
も変更しない。そして、ステップＳ１７に進む。

【０１１６】ステップＳ１７においては、ステップＳ１
１で得られた画素を先に生成されたハイパスフィルタを
介したマスクリペアサブイメージの画素と混合するソフ
トマスク修復が行われる。ノイズマスクから離れている
位置の画素の値は、この位置に雑音がないことが判って
いるので、マスクリペアサブイメージの値とされるべき
である。ノイズマスクの値が０である領域内では、マス
クリペアサブイメージには雑音があり、またよりよい値
が計算されたことから、それらの値はそのまま残される
べきである。ソフトノイズマスクを採用しているとき
は、ソフトノイズマスクの値が０と１の間の領域の値と
しては、前のステップにおいて計算された値とマスクリ
ペアサブイメージの値を混合した値とする。これら３つ
の操作（ソフトノイズマスクの値が０、１及び０と１と
の中間の値の処理）は、以下のように定義することがで
きる。ある位置におけるソフトノイズマスクの値をｍと
すると、その位置での新しい画素は、ｍ＊ｒｐ＋（１−
ｐ）＊ｒとなり、ここで、ｒｐは、ハイパスフィルタを
介したマスクリペアサブイメージＲ内のその位置の値で
あり、ｒは、前のステップで得られたその位置の値であ
る。なお、ソフトノイズマスクに代わってバイナリマス
クを用いるバイナリマスク修復を行うこともできる。そ
して、ステップＳ１８に進む。

【０１１７】ステップＳ１８においては、前のステップ
Ｓ１７の出力と、ステップＳ１２で得られたローパスフ
ィルタマスクリペアサブイメージ（ＬＲ）とマージす
る。マージは、２つの画像を単純に加算することにより
行われる。そして、次のステップＳ１９に進む。

【０１１８】ステップＳ１９においては、クリッピング
が行われる。即ち、このステップの入力の画素のいずれ
かが２５５より大きいときは、それを２５５とする。そ
れ以外であれば、何もしないでおく。

【０１１９】なお、ユーザは、ステップＳ１２からステ
ップＳ１９において実行されるループの回数を選択する
ことができる。

【０１２０】ここで、上述した２つの方法を要約する。
画像雑音除去のための反復処理を示した。既存の方法
は、空間領域又は周波数領域のいずれか１つの領域にお
いて機能するのに対し、本発明の方法は、両領域で機能
し、各領域の利点を十分に利用することができる。従来
の幾つかの方法は、周波数領域と空間領域の情報を結合
しているが、それらは、既知の帯域制限手法によって帯
域制限された画像を必要とする。本発明の方法は、その
ような制限を必要としない。

【０１２１】本発明の２つの領域を用いた方法は、
（１）多くの隣接する雑音画素を再構築する。（２）大
きな特徴を有するテクスチャをも再構築する。（３）鮮
明さを維持する。（４）雑音領域に亘った特徴（例えば
ライン）の連続性を維持する。さらに、不均一な影を有
する画像から雑音を除去する方法は、テクスチャや顕著
なラインに加えて、緩やかに輝度が変化する物体を含む
画像の雑音除去を可能にする。このような利点は、多く
の領域においてこの方法を有益なものにする。

【０１２２】この方法の重要な用途は、特殊効果の場面
で使用されたワイヤの除去や、スクラッチが付けられた
古いフィルムや写真を復元のための、フィルムの分野及
びビデオ信号の後処理の分野である。

【０１２３】上述の説明でも明らかなように、本発明
は、特許請求の範囲によって限定される本発明の主旨を
逸脱しない限りにおいて、種々の変更を行うことができ
る。

【図面の簡単な説明】

【図１】本発明に係る装置の一実施例を示すブロック図
である。

【図２】従来の画像雑音の除去方法の一連の工程を示す
フローチャートである。

【図３】ソフトエッジノイズマスクを使用する画像雑音
の除去方法方法を示すフローチャートである。

【図４】不均一な影を有する画像雑音の除去方法を示す
フローチャートである。

【図５】雑音を伴った画像の例を示す図である。

【図６】雑音の上に貼り付けられたノイズマスクを示す
図である。

【図７】特定されたスクラッチ領域、リペアサブイメー
ジ、サンプルサブイメージの関係を示す図である。

【図８】特定されたスクラッチ領域、リペアサブイメー
ジ、サンプルサブイメージの関係を示す図である。

【図９】不均一の影を有する画像を示す図である。

【図１０】単純なコピーによって起こる整列とカラーマ
ッチングの問題を示す図である。

【図１１】式１の幾何学的な定義を示し、またそれが、
凹集合ではなく、凸集合にどのように当てはまるかを示
す図である。

Claims (27)

【特許請求の範囲】
1. 【請求項１】 画像データから雑音を除去する画像雑音
   の除去方法において、 画像データにおける雑音領域を特定する雑音領域特定工
   程と、 上記特定された雑音領域の画素と上記画像データの残り
   の領域内の画素を区別するノイズマスクを生成するノイ
   ズマスク生成工程と、 上記特定された雑音領域を含むリペアイメージを特定す
   るリペアイメージ特定工程と、 上記リペアイメージに類似するサンプルイメージを特定
   するサンプルイメージ特定工程と、 上記ノイズマスクからソフトエッジのソフトノイズマス
   クを作成するソフトノイズマスク生成工程と、 上記サンプルイメージに直交変換を施し、上記サンプル
   イメージの直交変換データを取得するサンプルイメージ
   変換工程と、 上記リペアイメージに直交変換を施し、上記リペアイメ
   ージの直交変換データを取得するリペアイメージ変換工
   程と、 上記サンプルイメージデータの周波数変換データと、上
   記リペアイメージデータの周波数変換データとを用いて
   逆周波数変換を実行し、新たなリペアイメージを生成す
   る逆変換工程と、 上記新たなリペアイメージと、上記リペアイメージと、
   上記ソフトノイズマスクを用い、新たな画像データを生
   成する新たな画像データ生成工程とを有することを特徴
   とする画像雑音の除去方法。
2. 【請求項２】 上記ソフトノイズマスクに応じてマスク
   リペアイメージを作成する工程を有することを特徴とす
   る請求項１記載の画像雑音の除去方法。
3. 【請求項３】 上記サンプルイメージ変換工程は、上記
   サンプルイメージの高速フーリエ変換を計算して上記サ
   ンプルイメージの高速フーリエ変換データを生成し、上
   記リペアイメージ変換工程は、上記リペアイメージの高
   速フーリエ変換を計算して上記リペアイメージの高速フ
   ーリエ変換データを生成し、上記逆変換工程は、上記サ
   ンプルイメージの高速フーリエ変換データと、上記リペ
   アイメージの高速フーリエ変換データとを用いて逆高速
   フーリエ変換を計算することを特徴とする請求項１記載
   の画像雑音の除去方法。
4. 【請求項４】 上記サンプルイメージ変換工程は、上記
   サンプルイメージの高速フーリエ変換を計算して少なく
   とも上記サンプルイメージの高速フーリエ変換データの
   マグニチュードを生成し、上記リペアイメージ変換工程
   は、上記リペアイメージの高速フーリエ変換を計算して
   上記リペアイメージの高速フーリエ変換データの位相及
   びマグニチュードを生成し、上記逆変換工程は、上記サ
   ンプルイメージの高速フーリエ変換データのマグニチュ
   ードと、上記リペアイメージの高速フーリエ変換データ
   マグニチュードとのいずれか一方と、上記リペアイメー
   ジの高速フーリエ変換データの位相とを用いて新たなリ
   ペアイメージを生成することを特徴とする請求項３記載
   の画像雑音の除去方法。
5. 【請求項５】 上記サンプルイメージの高速フーリエ変
   換データのマグニチュードと、上記リペアイメージの高
   速フーリエ変換データのマグニチュードとを比較してこ
   れらの最小マグニチュードを求め、 上記逆変換工程は、上記最小マグニチュードと、上記リ
   ペアイメージの高速フーリエ変換データの位相とを用
   い、新たな画像を生成することを特徴とする請求項４記
   載の画像雑音の除去方法。
6. 【請求項６】 上記比較して得られた最小マグニチュー
   ドのＤＣ成分は、リペアイメージの高速フーリエ変換デ
   ータのマグニチュードを用いることを特徴とする請求項
   ５記載の画像雑音の除去方法。
7. 【請求項７】 上記新たなリペアイメージを所定値に制
   限する工程を有することを特徴とする請求項１記載の画
   像雑音の除去方法。
8. 【請求項８】 画像データを受け取る工程と、画像デー
   タを表示する工程と、上記ソフトノイズマスク、上記リ
   ペアイメージ及び上記サンプルイメージとを保存する工
   程とを有することを特徴とする請求項１記載の画像雑音
   の除去方法。
9. 【請求項９】 上記ノイズマスクは、雑音が無い位置で
   は“１”であり、雑音がある位置では“０”であるバイ
   ナリデータであることを特徴とする請求項１記載の画像
   雑音の除去方法。
10. 【請求項１０】 上記ソフトノイズマスクは、雑音があ
    る位置では“０”であり、雑音のエッジ近傍では“０”
    と“１”との中間値であり、雑音のエッジから所定距離
    以上離れた位置では“１”であるソフトエッジデータで
    あることを特徴とする請求項１記載の画像雑音の除去方
    法。
11. 【請求項１１】 雑音領域外の上記ノイズマスクの値
    は、 １−ｅｘｐ（−ｋ＊ｄ＊ｄ） で与えられ、ここで、ｋは、広いソフトエッジを有する
    ノイズマスクを生成するときは大きな値とされ、狭いソ
    フトエッジを有するノイズマスクを生成するときは小さ
    な値とされる正の定数であり、ｄは、雑音のエッジから
    の距離であることを特徴とする請求項１０記載の画像雑
    音の除去方法。
12. 【請求項１２】 上記サンプルイメージ変換工程と、上
    記リペアイメージ変換工程と、上記変換工程と、上記新
    たな画像データ生成工程とを再帰的に実行することを特
    徴とする請求項１記載の画像雑音の除去方法。
13. 【請求項１３】 画像データから雑音を除去する画像雑
    音の除去方法において、 画像データにおける雑音領域を特定する雑音領域特定工
    程と、 上記特定された雑音領域の画素と上記画像データの残り
    の領域内の画素を区別するノイズマスクを生成するノイ
    ズマスク生成工程と、 上記特定された雑音領域を含むリペアイメージを特定す
    るリペアイメージ特定工程と、 上記リペアイメージに類似するサンプルイメージを特定
    するサンプルイメージ特定工程と、 上記サンプルイメージをフィルタに通過させて、ローパ
    スフィルタを通過したローパスフィルタサンプルイメー
    ジと、ハイパスフィルタを通過したハイパスフィルタサ
    ンプルイメージとを生成するサンプルイメージフィルタ
    工程と、 上記ハイパスフィルタサンプルイメージに直交変換を施
    し、ハイパスフィルタサンプルイメージの直交変換デー
    タを取得するハイパスフィルタサンプルイメージ変換工
    程と、 上記リペアイメージをフィルタに通過させて、ローパス
    フィルタを通過したローパスフィルタリペアイメージ
    と、ハイパスフィルタを通過したハイパスフィルタリペ
    アイメージとを生成するリペアイメージフィルタ工程
    と、 上記ハイパスフィルタリペアイメージに直交変換を施
    し、ハイパスフィルタリペアイメージの直交変換データ
    を取得するハイパスフィルタリペアイメージ変換工程
    と、 上記ハイパスフィルタサンプルイメージの直交変換デー
    タと、上記ハイパスフィルタリペアイメージデータの直
    交変換データとを用いて逆変換を実行し、新たなハイパ
    スフィルタリペアイメージを生成する逆変換工程と、 上記ローパスフィルタリペアイメージとローパスフィル
    タサンプルイメージとを組み合わせて、ローパスフィル
    タ画像データを生成するローパスフィルタ画像データ生
    成工程と、 新たなハイパスフィルタリペアイメージと、上記リペア
    イメージと、上記ノイズマスクとを用いて新たなハイパ
    スフィルタ画像データを生成する新たなハイパスフィル
    タ画像データ生成工程と、 新たなハイパスフィルタリペアイメージと、上記ローパ
    スフィルタ画像データとを組み合わせて、新たな画像デ
    ータを得る新たな画像データ組合わせ工程とを有するこ
    とを特徴とする画像雑音の除去方法。
14. 【請求項１４】 上記ノイズマスクからソフトエッジの
    ソフトノイズマスクを作成するソフトノイズマスク生成
    工程を有し、 上記新たなハイパスフィルタ画像データ生成工程は、上
    記新たなハイパスフィルタリペアイメージと、上記リペ
    アイメージと、上記ソフトノイズマスクとを用いて上記
    新たなハイパスフィルタ画像データを生成することを特
    徴とする請求項１３記載の画像雑音の除去方法。
15. 【請求項１５】 上記ノイズマスクと、上記リペアイメ
    ージとに対応するマスクリペアイメージを生成すること
    を特徴とする請求項１３記載の画像雑音の除去方法。
16. 【請求項１６】 上記ソフトノイズマスク及び上記リペ
    アイメージに対応するマスクリペアイメージを作成する
    ことを特徴とする請求項１４記載の画像雑音の除去方
    法。
17. 【請求項１７】 上記ハイパスフィルタサンプルイメー
    ジ変換工程は、上記ハイパスフィルタサンプルイメージ
    の高速フーリエ変換を計算して上記ハイパスフィルタサ
    ンプルイメージの高速フーリエ変換データを生成し、上
    記ハイパスフィルタリペアイメージ変換工程は、上記ハ
    イパスフィルタリペアイメージの高速フーリエ変換を計
    算して上記ハイパスフィルタリペアイメージの高速フー
    リエ変換データを生成し、上記逆変換工程は、上記ハイ
    パスフィルタサンプルイメージの高速フーリエ変換デー
    タと、上記ハイパスフィルタリペアサンプルイメージの
    高速フーリエ変換データとを用いて逆高速フーリエ変換
    を計算することを特徴とする請求項１３記載の画像雑音
    の除去方法。
18. 【請求項１８】 上記ハイパスフィルタサンプルイメー
    ジ変換工程は、上記ハイパスフィルタサンプルイメージ
    の高速フーリエ変換を計算して少なくとも上記ハイパス
    フィルタサンプルイメージの高速フーリエ変換データの
    マグニチュードを生成し、上記ハイパスフィルタリペア
    イメージ変換工程は、上記ハイパスフィルタリペアイメ
    ージの高速フーリエ変換を計算して上記ハイパスフィル
    タリペアイメージの高速フーリエ変換データの位相及び
    マグニチュードを生成し、上記逆変換工程は、上記ハイ
    パスフィルタサンプルイメージの高速フーリエ変換デー
    タのマグニチュードと、上記ハイパスフィルタリペアイ
    メージの高速フーリエ変換データのマグニチュードとの
    いずれか一方と、上記ハイパスフィルタリペアイメージ
    の高速フーリエ変換データの位相とを用いて新たなハイ
    パスフィルタリペアイメージを生成することを特徴とす
    る請求項１３記載の画像雑音の除去方法。
19. 【請求項１９】 上記ハイパスフィルタサンプルイメー
    ジのマグニチュードと、上記ハイパスフィルタリペアイ
    メージのマグニチュードを比較してこれらの最小マグニ
    チュードを求め、 上記逆変換工程は、上記最小マグニチュードと、上記ハ
    イパスフィルタリペアイメージの高速フーリエ変換デー
    タの位相とを用い、新たなハイパスフィルタリペアイメ
    ージを生成することを特徴とする請求項１８記載の画像
    雑音の除去方法。
20. 【請求項２０】 上記比較して得られた最小マグニチュ
    ードのＤＣ成分は、リペアイメージの高速フーリエ変換
    データのマグニチュードを用いることを特徴とする請求
    項１９記載の画像雑音の除去方法。
21. 【請求項２１】 上記新たなハイパスフィルタリペアイ
    メージを所定値に制限する工程を有することを特徴とす
    る請求項１３記載の画像雑音の除去方法。
22. 【請求項２２】 上記ノイズマスクは、雑音が無い位置
    では“１”であり、雑音がある位置では“０”であるバ
    イナリデータであることを特徴とする請求項１３記載の
    画像雑音の除去方法。
23. 【請求項２３】 上記ソフトノイズマスクは、雑音があ
    る位置では“０”であり、雑音のエッジ近傍では“０”
    と“１”との中間値であり、雑音のエッジからある距離
    以上離れた位置では“１”であるソフトエッジであるこ
    とを特徴とする請求項１４記載の画像雑音の除去方法。
24. 【請求項２４】 雑音領域外のノイズマスクの値は、１
    −ｅｘｐ（−ｋ＊ｄ＊ｄ）で与えられ、ここで、ｋは、
    広いソフトエッジを有するノイズマスクを生成するとき
    は大きな値とされ、狭いソフトエッジを有するノイズマ
    スクを生成するときは小さな値とされる正の定数であ
    り、ｄは、雑音のエッジからの距離であることを特徴と
    する請求項２３記載の画像雑音の除去方法。
25. 【請求項２５】 上記ハイパスフィルタサンプルイメー
    ジ変換工程と、上記ハイパスフィルタリペアイメージ変
    換工程と、上記逆変換工程とを再帰的に実行することを
    特徴とする請求項１３記載の画像雑音の除去方法。
26. 【請求項２６】 画像データから雑音を除去する画像雑
    音の除去装置において、 画像データにおける雑音領域を特定する雑音領域特定手
    段と、 上記特定された雑音領域の画素と上記画像データの残り
    の領域内の画素を区別するノイズマスクを生成するノイ
    ズマスク生成手段と、 上記特定された雑音領域を含むリペアイメージを特定す
    るリペアイメージ特定手段と、 上記リペアイメージに類似するサンプルイメージを特定
    するサンプルイメージ特定手段と、 上記ノイズマスクからソフトエッジのソフトノイズマス
    クを作成するソフトノイズマスク生成手段と、 上記サンプルイメージに直交変換を施し、上記サンプル
    イメージの直交変換データを取得するサンプルイメージ
    変換手段と、 上記リペアイメージに直交変換を施し、上記リペアイメ
    ージの直交変換データを取得するリペアイメージ変換手
    段と、 上記サンプルイメージデータの周波数変換データと、上
    記リペアイメージデータの周波数変換データとを用いて
    逆周波数変換を実行し、新たなリペアイメージを生成す
    る逆変換手段と、 上記新たなリペアイメージと、上記リペアイメージと、
    上記ソフトノイズマスクを用い、新たな画像データを生
    成する新たな画像データ生成手段とを有することを特徴
    とする画像雑音の除去装置。
27. 【請求項２７】 画像データから雑音を除去する画像雑
    音の除去装置において、 画像データにおける雑音領域を特定する雑音領域特定手
    段と、 上記特定された雑音領域の画素と上記画像データの残り
    の領域内の画素を区別するノイズマスクを生成するノイ
    ズマスク生成手段と、 上記特定された雑音領域を含むリペアイメージを特定す
    るリペアイメージ特定手段と、 上記リペアイメージに類似するサンプルイメージを特定
    するサンプルイメージ特定手段と、 上記サンプルイメージをフィルタに通過させて、ローパ
    スフィルタを通過したローパスフィルタサンプルイメー
    ジと、ハイパスフィルタを通過したハイパスフィルタサ
    ンプルイメージとを生成するサンプルイメージフィルタ
    手段と、 上記ハイパスフィルタサンプルイメージに直交変換を施
    し、ハイパスフィルタサンプルイメージの直交変換デー
    タを取得するハイパスフィルタサンプルイメージ変換手
    段と、 上記リペアイメージをフィルタに通過させて、ローパス
    フィルタを通過したローパスフィルタリペアイメージ
    と、ハイパスフィルタを通過したハイパスフィルタリペ
    アイメージとを生成するリペアイメージフィルタ手段
    と、 上記ハイパスフィルタリペアイメージに直交変換を施
    し、ハイパスフィルタリペアイメージの直交変換データ
    を取得するハイパスフィルタリペアイメージ変換手段
    と、 上記ハイパスフィルタサンプルイメージの直交変換デー
    タと、上記ハイパスフィルタリペアイメージデータの直
    交変換データとを用いて逆直交変換を実行し、新たなハ
    イパスフィルタリペアイメージを生成する逆変換手段
    と、 上記ローパスフィルタリペアイメージとローパスフィル
    タサンプルイメージとを組み合わせて、ローパスフィル
    タ画像データを生成するローパスフィルタ画像データ生
    成手段と、 新たなハイパスフィルタリペアイメージと、上記リペア
    イメージと、上記ノイズマスクとを用いて新たなハイパ
    スフィルタ画像データを生成する新たなハイパスフィル
    タ画像データ生成手段と、 新たなハイパスフィルタリペアイメージと、上記ローパ
    スフィルタ画像データとを用い、新たな画像データを組
    み合わせる新たな画像データ組合わせ手段とを有するこ
    とを特徴とする画像雑音の除去装置。