JPH09128529A

JPH09128529A - ディジタル画像の雑音の投影に基づく除去方法

Info

Publication number: JPH09128529A
Application number: JP7303420A
Authority: JP
Inventors: Hirani Aniru; アニル・ヒラニ; Takushi Totsuka; 卓志戸塚
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-10-30
Filing date: 1995-10-30
Publication date: 1997-05-16
Also published as: US5974194A; EP0772157A3; KR970024911A; EP0772157A2

Abstract

(57)【要約】【課題】本発明の方法は、ディジタル画像からスクラ
ッチを除去する。【解決手段】本発明では、修復あるいは雑音の除去が
必要とされる画像のスクラッチ部分を識別し、特定され
たスクラッチ部分を画像の他の部分から区別するバイナ
リマスクを生成する。ディジタル画像のスクラッチ又は
他の雑音の修復が望まれる部分を示すリペアウィンドウ
を定義する。スクラッチや他の雑音に関係なく、リペア
ウィンドウと同じ大きさの属性を有する次元のサンプル
ウィンドウを定義する。このサンプルウィンドウは、可
能な限りリペアウィンドウに類似するように選択する。
リペアウィンドウとサンプルウィンドウの画像データを
周波数領域に変換し、そして、テクスチャ及び他の細部
と同様にエッジの調整がなされ、元のノンスクラッチ画
像領域の画質の劣化がないディジタル画像が得られるよ
うにスクラッチ雑音を除去するために、適切な画素デー
タを生成してリペアウィンドウに転送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えばディジタル
化された写真画像やコンピュータで生成された画像（Ｃ
ＧＩ：computer generated images)等のディジタル画像
から雑音を除去する方法に関連する。映画の場面におけ
る特殊撮影で用いられるワイヤの特別な影響と同じよう
に、古い映画フィルムと写真フィルムにおけるスクラッ
チ（scratches：引っ掻き傷）やディブリ（debris：破
片）は、ディジタル画像に生じた雑音の例である。さら
に、伝送エラー、画像記録装置やスキャニング装置の誤
操作は、ディジタル画像に雑音を生じる。本発明は、そ
のような雑音を除去するための従来の技術が有する問題
を解決するものである。この方法は、凸集合への射影
（ＰＯＣＳ：projection onto convex sets）理論の応
用に基づいている。

【０００２】

【従来の技術】テレビジョン放送の利用可能なチャンネ
ルの激増とマルチメディアの急増に伴い、多くの古い映
画フィルムや写真フィルムは、ビデオ信号やディジタル
フォーマットに変換されて使用されることが多くなって
いる。しかし、長年に亘る使用と閲覧により、多くの古
い映画フィルムや写真フィルムは、スクラッチが生じた
り、埃や他のディブリによる汚れが多くなっている。例
えば、フィルムの保管におけるスクラッチやディブリの
欠陥は視聴者に対して非常に目立つものであり、高精細
度テレビジョンやディジタルテレビジョンフォーマット
としては、他のディジタルマルチメディアフォーマット
と同様に、画質を劣化したり悪影響を及ぼすことなく、
ディジタル画像からスクラッチを除去する方法が切望さ
れている。

【０００３】例えば、映画の特殊効果では、例えば俳優
／物体を高く浮かせるために、俳優／モデルや物体をワ
イヤ、ケーブル又はロット等によってつり下げたり、支
える一場面が必要である。一般的には、これらのワイ
ヤ、ケーブル、ロット等の外観は、後の制作において光
学的な処理により除去され、近年ではディジタルフィル
ムのディジタル処理よって除去することがより一般的に
なっている。同様に、デスクトップ出版において、画像
の不要な箇所を取り除いたり、写真からスクラッチや汚
れを消したりすることがしばしば行われている。ここ
で、スクラッチあるいはスクラッチ雑音と称される用語
は、ディジタル画像に生じる上述した種類の雑音全てを
含むものである。

【０００４】ディジタル画像のスクラッチは、ディジタ
ル画像の不要な画素を表す。スクラッチ雑音は、一般的
に、画素の小さな孤立したグループや集まりというより
はむしろ、多数の隣接した画素からなる。ディジタル画
像において、スクラッチ雑音は、例えば１０画素×１０
０画素のような画素の領域により構成され、スクラッチ
によって切断されたテクスチャ又はエッジ等の細部を有
するディジタル画像の領域に存在する。ディジタル画像
からスクラッチを除去するために、スクラッチ領域を構
成する画素は、元のデータを表し、あるいは元のデータ
に匹敵するデータで置換しなければならない。効果的に
スクラッチ領域を修復するためには、この画素データ
が、スクラッチ領域において周辺の領域と同程度にシャ
ープな画像を生じさせるものでなければならない。さら
に、鮮明なエッジの連続が維持され、ワイヤあるいはス
クラッチ画素を置換するために生成されたテクスチャは
周辺のテクスチャに調和しなければならない。

【０００５】ディジタル処理における従来の技術の効果
は、規則的又はランダム的に発生する画像の特徴と画像
内における相対的なサイズに従って、変化する。規則的
に発生する特徴の例としては、煉瓦壁や布に織り込まれ
たテクスチャがある。ランダムに発生する特徴の例とし
ては、アスファルト道路、コンクリート歩道又は砂浜が
ある。従来の技術の効果は、スクラッチ領域の大きさや
種類にも依存する。画像の平滑あるいはぼやけた領域に
小さく、孤立した雑音画素の集合は、例えばフィルタリ
ング、クローニング、ペインティングの技術等の従来の
技術により、比較的簡単に除去することができる。しか
し、従来の雑音除去技術は、多数の隣接した画素からな
るスクラッチや、画像のテクスチャ領域又は際立ったエ
ッジや線を有する領域のスクラッチには適用できない。
画像雑音除去における従来の技術は、一般的に、１）フ
レーム内技術、２）フレーム間技術の２種類に分類する
ことができる。これらの２つの一般的な技術の違いは、
主に雑音画素を置換するデータがどこから得られるかと
いう点にある。フレーム間技術では、一般的に、雑音画
素を置換するために必要とされる画素を、先行するある
いは連続したフレームからコピーする。一方、フレーム
内技術では、一般的に、修復される画像フレーム内のデ
ータを雑音画素の置換のために利用する。

【０００６】フレーム間方法は、極端なカメラの動きや
場面の動きを考えた画像／場面においては、良好な結果
を出すことができない。これらの方法は、幾つかの画像
フレームに亘ってスクラッチが広がっていたり、損傷し
た画像フレームが画像を修復するためのデータを提供す
る唯一の画像フレームである場合などにも適用すること
ができない。不運にも、一般的な映写機による映画フィ
ルムの動きにおいてスクラッチが幾つもの画像フレーム
に亘ることは一般的である。これらの状況においては、
先行／連続する画像フレームからの対応する画素データ
は、スクラッチ領域を置換／コピーするのに利用するこ
とができない。スクラッチ雑音除去における従来の技術
は、以下の幾つかの点においてスクラッチ除去の問題を
有する。（ａ）ローパスフィルタリングと他の線形フィルタリン
グ、（ｂ）メディアンフィルタリングと他の非線形フィ
ルタリング、（ｃ）統計的なテクスチャの合成、（ｄ）
例えば画像の他の部分をコピーするクローニング、
（ｅ）手でのペインティング、（ｆ）射影に基づいた方
法、（ｇ）連立方程式を解くことに基づいた方法。しか
し、これらの技術は、様々なスクラッチ／画像の状態に
対して、最適な結果を引き出すためのスクラッチ除去に
成功していない。

【０００７】

【発明が解決しようとする課題】一般的に、スクラッチ
雑音は、周辺の画素値と比較したときに画素値の突然の
変化として、スクラッチの位置に出現する。この突然の
変化は、画像の周波数スペクトルにおける高周波数とし
て現れる。高周波数部分を除去することにより、画素値
の変化は、画像フレーム内におけるスクラッチ領域が目
立たないように減少させることができる。この動作は、
空間あるいは画像領域から周波数領域への画像の変換、
所定レベル以上の高周波数成分の取り除き、残った画像
周波数の画像への変換を伴ったローパスフィルタリング
として知られている。同様の結果は、周波数領域への最
初の変換を行わず、直接画像を畳み込む動作によっても
得ることができる。ローパスフィルタリングは、ある種
の画像、一般的には細部が少なく、平滑な画像からスク
ラッチ雑音を除去するのに効果的である。しかし、この
技術は、テクスチャ、非常な細部の領域、際立ったエッ
ジを有する画像からスクラッチ雑音を除去するには効果
的ではない。ローパスフィルタリングや同様の線形フィ
ルタリングの技術による平滑化は、すなわち与えられた
領域内において画素値の変化を平均化することは、しば
しば再構築されたあるいは修復されたスクラッチ雑音領
域がぼやけたり、修復されたスクラッチ領域の細部が失
われたりするので、効果的ではない。

【０００８】メディアンフィルタリング技術によって、
対象の画像の与えられる画素は周辺のメディアン値で置
き換えられる。対象となる画素の周辺の画素は、一般的
に対象画素を取り囲むウィンドウの範囲を示すことによ
って特定される。例えば、問題となる画素が位置する１
０画素×１０画素の窓は、周辺の画素を特定するのに用
いられる。周辺の画素は、近傍の画素とも称せられる。
窓又は近傍のサイズは、用途によって変化させることが
できる。スクラッチ位置が知られている場所にスクラッ
チを除去するためにメディアンフィルタリングを適用す
ると、スクラッチ画素のみが、周辺の画素のメディアン
値によって置換される。

【０００９】メディアンあるいは同様の非線フィルタリ
ングの技術は、孤立した画素の比較的小さな集合に限定
されるスクラッチ領域に対して比較的よく作用する。一
般的に、スクラッチ、特にワイヤ雑音は、多くの隣接し
た画素からなる。その結果、一般的に、周辺の画素のメ
ディアン値がスクラッチ領域自体の値となる。小さなウ
ィンドウ、あるいは近傍が選択された場合、メディアン
値は一般的にスクラッチ領域自体の値であるので、スク
ラッチは一般的に修復されない。すなわち、スクラッチ
画素の値は、スクラッチ画素の値で置換される。多くの
画素を用いて大きなウィンドウを選択すると、一般的に
画像がぼやけることになる。

【００１０】統計的なテクスチャの合成に基づく技術で
は、問題となる損傷領域は分析され、画像領域の統計的
な出現が展開される。そして、この統計的な出現は、分
析された領域と類似する合成されたテクスチャの生成に
用いられる。そして、スクラッチ／ワイヤ雑音の画素
は、合成テクスチャで置換される。統計的方法は、近傍
にある画素間の関係が、分析によって発見される統計的
な詳細を有するという過程に基づいている。したがっ
て、与えられた画素の特徴が、その近くの幾つかのある
いは全ての画素に統計的に依存するということから推測
されている。比較的遠くに位置する画素間に関係がある
場合、それらの画素の分析に必要な近傍は比較的に大き
くなければならない。例えば、大きな煉瓦壁の中の１個
の煉瓦又は広いワイヤ網のクローズアップ写真を撮る場
合である。一般的に、これらの方法においては、あたえ
られた画素に依存する近傍の画素数が増えるに伴って、
必要とされるコンピュータ処理が増大する。その結果、
これらの方法は、例えば典型的な煉瓦塀の画像のテクス
チャ等の大きな模様を有するテクスチャに対しては有用
でない。

【００１１】例えばアドービホトショップ（Adobe Phot
oshop 商標）等の多くの一般的な画像処理プログラム
は、画像を、画像の１つの領域から別の領域にコピーす
るための手段を備えている。これらの手段により、コピ
ーされる画像の領域は、問題となる画像を表示した表示
画面上のカーソル又は”ブラシ”をユーザが操作するた
めのマウスや他のポインティング／制御装置を用いるこ
とによって、選択されあるいは特定される。

【００１２】画素データが読み込まれる、あるいは移動
されるソース領域は、マウス装置を用いて特定される。
このとき、ソース領域から画素データが移動された目的
の領域も特定される。目的の領域を横切る”ブラシスト
ローク”又はカーソルの動きは、マウスを用いてなされ
る。それぞれの”ブラシストローク”により、ソース領
域から目的の領域に画素がコピーされる。この方法は、
問題となっている画像において描写されるテクスチャ又
はパターンが本質的にランダムあるいは規則的に発生
し、比較的小さな特徴を有するときには、非常に有効で
ある。小さな特徴としては、果物の斑点、砂、道のアス
ファルト、織物の梨地がある。曲線又は直線の形状の画
像においてランダムあるいは規則的に描写される細部が
あるときには周辺の領域を用いて修復される領域のエッ
ジの調整に非常に時間がかかる。ゴムスタンプペインテ
ィングを用いたスクラッチ又はワイヤの修復は、画像が
多いために、多くの時間と熟練を要する仕事である。人
間の視覚器官は、エッジの不具合に対して非常に敏感で
あり、ちぐはぐなエッジは、人間の目で比較的容易に発
見される。

【００１３】スクラッチ除去の他の方法は、スクラッチ
画素を周辺の領域と調和するように、手でスクラッチの
画素を”ペイント”するものである。この方法は、非常
に時間がかかり、またその結果得られる質は、オペレー
タの技量に大きく依存する。信号復旧のコンテキストに
おける射影方法に基づいたスクラッチ雑音除去の技術
は、以前から使用されている。これらの方法は、信号領
域と変換領域間を交互に用いて各領域に制約を適用する
ことによって、帯域制限された信号の周波数スペクトル
を拡張するのに使用されていた。この制約は、既知の信
号値の維持と帯域制限を行うために導入された。このア
プローチは、幾何解析によって一般化され、一般的には
凸集合への射影、又はＰＯＣＳ（Projection onto Conv
ex Sets）と称せられている。ＰＯＣＳは、制限された
閉集合を示す情報と同様に、例えば輝度値の範囲、特定
されたスクラッチ領域とノンスクラッチ領域の区別等の
画像に対する情報を取り扱うことができる。

【００１４】射影に基づく方法においては、問題となる
画像は、問題となる画像と非常に類似した画像を検出す
るための所定の制約に基づいて、ある所定の制約を満足
する特定の画像範囲内の別の画像上に射影される。ある
所定の制約を満足する最も類似した画像を検出するプロ
セスは、制約上に射影することとして知られている。

【００１５】一旦、このような画像が検出されると、こ
の新たな画像、あるいは得られた画像が、もしあれば、
次の所定の制約上に射影される。制約は、画像について
知られている情報を表す。射影に基づいた方法では、問
題となる画像は、１以上の面積を有する空間の１つの点
として考えられる。平面上のあらゆる点は、Ｘ、Ｙ座標
で表すことができる。さらに、３次空間のあらゆる点
は、例えば部屋は、Ｘ、Ｙ、Ｚ座標で表すことができ
る。同様に、画像は、高次元空間の１点として表すこと
ができる。例えば、２００×１００画素からなる画像
は、２００００（200×100=20000）の要素を有する１つ
の点として表される。その点の各要素は、画像を構成し
ている２００００画素の１つを表す。各要素の値は、特
定の要素によって表される画素の輝度の強度を表す。典
型的なグレースケールの画像においては、高画質とする
ために、２５６ステップのグレースケールが頻繁に用い
られる。したがって、例えば、画素の輝度強度、あるい
は値は、０〜２５５の範囲となる。

【００１６】種々の制約上への射影を繰り返すことによ
り、最終的には、課せられた全ての制約を同時に満足す
る画像を見つけだすことができる。唯一の条件は、制約
が凸集合として知られている何かを表していることであ
る。凸集合を表す制約の概念は、次のように説明され
る。例えば考慮される画像の集合に１つの制約が加えら
れたとき、その画像集合は、全ての可能な画像の集合よ
りも小さくなるように削減される。この新たな小さい集
合が、この集合が生成する画像もまたその集合内となる
集合の２つの画像の線形結合であるという特性を有する
ときは、集合は凸集合である。これは、次のように表現
することができる。

【００１７】ｕ（ｘ）＋（１−ｕ）（ｙ）＝ｚ（式１）ｘとｙが、集合Ｓの要素である２つの画像であり、ｕが
０以上１以下の実数であり、ｚも集合Ｓの要素である画
像であるとき、集合Ｓは、凸集合である。図８は、式１
の幾何学的な定義を示す図であり、式１が、凹集合でな
く、凸集合であることを示している。

【００１８】既知の射影に基づいたスクラッチ雑音除去
方法では、帯域制限等の制約が課せられる。上記帯域制
限された画像をフーリエ変換すると、無限の周波数スペ
クトルは生じない。画像の周波数帯域の制限は、実像か
らのスクラッチやワイヤ除去に対して好ましくない。

【００１９】スクラッチ除去の他の周知の技術は、連立
方程式を解くことを基にしている。一般的に、これらの
方法は、多くの連立方程式を解かなければならず、しば
しば、問題となる画像に含まれる画素と同じ数の連立方
程式を解かなければならない。この技術を実行するのに
要求されるコンピュータ処理は、非常に高くつくもので
ある。そのような方法は、画像のシミを除去する場合に
最も有効である。スクラッチの画素数と同数の方程式を
削減する唯一の解決方法である逐次又は非逐次線形代数
学に基づいた方法は、スクラッチを除去するために提案
されている。しかし、これらの方法は、殆どのスクラッ
チ雑音が多くの連続する画素から構成される一般的な場
合において、うまく機能しない。

【００２０】本発明は、従来技術の欠点を克服し、操作
者の過度な操作の必要がなく、ディジタル写像画像から
スクラッチ雑音を除去して高画質の画像を得ることがで
きる方法を提供する。

【００２１】

【課題を解決するための手段】本発明は、ディジタル画
像からスクラッチを除去する方法に関する。本発明で
は、修復あるいは雑音の除去が必要とされる画像のスク
ラッチ部分を識別し、特定されたスクラッチ部分を画像
の他の部分から区別するバイナリマスクを生成する。デ
ィジタル画像のスクラッチ又は他の雑音の修復が望まれ
る部分を示すリペアウィンドウを定義する。スクラッチ
や他の雑音に関係なく、リペアウィンドウと同じ大きさ
の属性を有する次元のサンプルウィンドウを定義する。
このサンプルウィンドウは、可能な限りリペアウィンド
ウに類似するように選択する。リペアウィンドウとサン
プルウィンドウの画像データを周波数領域に変換し、そ
して、テクスチャ及び他の細部と同様にエッジの調整が
なされ、元のノンスクラッチ画像領域の画質の劣化がな
いディジタル画像が得られるようにスクラッチ雑音を除
去するために、適切な画素データを生成してリペアウィ
ンドウに転送する。

【００２２】

【発明の実施の形態】本発明では、修復される画像領域
の構造を示す情報が、同じ画像の別の部分に度々現れる
ことに着目している。この情報を画素毎に単に複写した
り、あるいは平均値を生成してスクラッチ領域の画素を
置換しては、良好な結果を得ることができない。本発明
の方法は、特定された画像スクラッチ領域を構成する無
くなっている画素情報を反復的に再構築するために、特
定されたサンプルウィンドウ領域の周波数スペクトルと
同様に、リペアウィンドウ領域のスクラッチのない部分
を利用する。

【００２３】図１乃至図４は、本発明の方法の一実施例
を示す図である。各図において、同じものには同じ参照
番号を付している。図１と図３において、不要なスクラ
ッチ／ワイヤ雑音を含む画像５０を表すデータが、入力
１２を介して入力される。図３において、画像５０は、
例えば煉瓦壁を描写する。図３の画像５０に描写されて
いる煉瓦壁は、大きな規則的な特徴を有し、また、一般
的な煉瓦壁に見られるモルタルの目地を表す目立ったエ
ッジを有する。この画像は、表示装置１０に表示されて
いる。表示装置１０の操作者により、例えばマウス１５
やペン／タブレット２０等のポインティングデバイスを
用いて、スクラッチ４０の周辺又は領域はハイライト又
は特定される。スクラッチ領域を特定する際に、操作者
は、表示された画像を横切ってカーソル／ペン／ブラシ
を動かす又は操作するポインタデバイスを用い、問題と
なるスクラッチの領域をトレースしてスクラッチ領域を
特定してもよい。幅は、カーソル／ペン／ブラシの形状
と同様に、操作者のニーズや要望に合わせることができ
る。カーソル／ペン／ブラシによるトレースは、スクラ
ッチ領域の全ての画素がおおわれ／ハイライトされるか
ぎり、正確にスクラッチに沿っている必要はない。

【００２４】特定されたスクラッチ領域を画像の他の領
域から区別するバイナリマスクデータが生成される（ス
テップ３）。このバイナリマスクデータは、例えば特定
されたスクラッチ領域の各画素に値”１”を与え、特定
されたスクラッチ領域外の各画素に値”０”を与えたり
することによって、スクラッチ領域４０を区別する。ま
た逆も同じである。そして、このバイナリマスクデータ
は、メモリ２５に記憶される。

【００２５】特定されたスクラッチ領域の画素の部分を
少なくとも含むリペアウィンドウ６が特定される（ステ
ップ４）。同様に、サンプルウィンドウ５が特定される
（ステップ５）。このサンプルウィンドウ５としては、
構造、線、色、輝度、テクスチャ、グレー値等において
リペアウィンドウ６の領域に最も類似している画像５０
の領域が選択される。リペアウィンドウ領域に非常に類
似しているサンプルウィンドウが選択されることが望ま
しいけれども、サンプルウィンドウに描写されている特
徴や細部が、直接リペアウィンドウの特徴や詳細に関連
するように、同一位置に位置したり、サンプルウィンド
ウ内に対応していたりする必要はない。例えば、図３に
おいては、リペアウィンドウ６に描写された特徴や細部
は、サンプルウィンドウ５に配置されている特徴と細部
が正確に同じになるように、リペアウィンドウ６内に配
置されていない。しかし、サンプルウィンドウ５内の特
徴と細部は、リペアウィンドウ６内の特徴と細部に類似
している。

【００２６】サンプルウィンドウ５は、リペアウィンド
ウ６と同一の形状と寸法を有するが、画像５０のＸ／Ｙ
平面内のサンプルウィンドウ５の位置は、リペアウィン
ドウ６と同一ではない。すなわち、例えば、リペアウィ
ンドウ６の各辺がＸ＆Ｙ軸に平行となっているとき、Ｘ
／Ｙ平面においてサンプルウィンドウ５の各辺もＸ＆Ｙ
軸に平行となっていることは必要でない。リペアウィン
ドウ６は、操作者が動かし易いように、小さく又は大き
く定義することができる。リペアウィンドウ６内の各画
素の値を表すデータは、サンプルウィンドウ５内の画素
の値を表すデータと同様に、メモリ２５に記憶される。
メモリ２５は、種々のデータをそれぞれ記憶させるため
に、幾つかの分離したメモリユニット、区切られ又は配
置された１つのメモリユニットからなる。

【００２７】本発明の方法は、凸集合への射影又はＰＯ
ＣＳの理論に基づいている。ＰＯＣＳの適用において、
望ましい結果を得るためには、的確な凸集合を見つけだ
し、正しく射影を定義することが重要である。本発明の
方法で用いられている制約Ｃ₁、Ｃ₂、Ｃ₃、射影Ｐ₁、Ｐ
₂、Ｐ₃は、下記の式２〜７で与えられる。しかし、一般
的に、そのプロセスは、次のように説明することができ
る。

【００２８】ユーザの指示による入力に基づいて、コン
トローラ３０は、メモリ２５からリペアウィンドウデー
タ、サンプルウィンドウデータ、バイナリマスクデータ
を読み出すようにプロセッサ３５を制御する。そのと
き、コントローラ３０は、プロセッサ３５がサンプルウ
ィンドウデータとリペアウィンドウデータの高速フーリ
エ変換（ステップ６及びステップ７）を計算するよう
に、サンプルウィンドウとリペアウィンドウのデータを
読み出す。このように、リペアウィンドウとサンプルウ
ィンドウの周波数スペクトルの大きさ及び位相の値が得
られる。その後、リペアウィンドウデータ及びサンプル
ウィンドウの周波数スペクトル内の各周波数毎に、サン
プルウィンドウ周波数スペクトルの各大きさの値（｜Ｓ
｜）は、リペアウィンドウ周波数スペクトルの大きさの
値（｜Ｒｎ｜）と比較される。直流成分において、リペ
アウィンドウ周波数スペクトル｜Ｒｎ｜の直流成分の大
きさの値は、新たな結果としての周波数スペクトル（新
たな画像周波数スペクトル）として出力される。周波数
スペクトル内の他の各周波数に対しては、｜Ｓ｜と｜Ｒ
ｎ｜の小さい方が、新たな周波数スペクトルの大きさの
値として出力される（ステップ８）。画像／画像データ
を移動しても、画像のスペクトルの大きさは、変化しな
い。これを前提にして、リペアウィンドウは、サンプル
ウィンドウを移動してもよいと考えられる。スクラッチ
除去における従来の方法とは異なり、本発明は、リペア
ウィンドウ周波数スペクトルの位相情報を再構築するた
めに、サンプルウィンドウの周波数スペクトルの大きさ
と同様に、既知の又はスクラッチがない画像データ（リ
ペアウィンドウデータ）を利用する。特定されたスクラ
ッチ領域の周辺のスクラッチがない領域のエッジを用い
て位相情報を再構築すると、再構築又は修復されたスク
ラッチ領域におけるエッジは、連続あるいは適切に結合
する。

【００２９】コントローラ３０は、得られた周波数応答
データの高速フーリエ変換（ＩＦＦＴ）を計算するため
に、リペアウィンドウ位相データと共に、得られた周波
数スペクトルの大きさのデータを処理するようにプロセ
ッサ３５を制御する（ステップ９）。得られた新たな画
像データは、プロセッサ３５により、例えば全ての値が
０〜２５５の範囲内となるような所定の制約に新たな画
像データが適合するように処理される（ステップ１
０）。１つの値がこの範囲の外にあるときは、プロセッ
サ３５は、規定の範囲内の１つの値でそのような値を置
き換える（例：値＝２７６は、値２５５に置き換えるこ
とができる。その値は、規定の範囲内の最大値や他の値
であってもよい。）。一旦得られた周波数応答データが
所定の制約に適合したとき、それは、中間画像データと
して出力される。そして、この中間画像データは、リペ
アウィンドウ６の特定されたスクラッチ領域を置換する
ための置換画像データを生成するために、メモリ２５に
記憶されているリペアウィンドウデータとバイナリマス
クデータと共に処理される（ステップ１１）。置換画像
データで元のスクラッチ領域のデータを置換した後、リ
ペアウィンドウを検査して、修復／画像の画質が望まし
いレベルに達していないときは、上述の処理が繰り返さ
れる（ステップ１３）。しかし、今回は、その新しいリ
ペアウィンドウデータが、最初の繰り返し又は処理の最
初のパスの間に生成された置換データを含む／反映して
いる。

【００３０】下記に示す式に従った演算は、本発明の方
法の各ステップの一部として実行される。これらの式に
おいて、ｒ₀は再構築される特定されたリペアウィンド
ウデータを表し、”ｓ”はサンプルウィンドウデータを
表す。ｒ₀ ＝特定されたリペアウィンドウｒ_n+1 ＝Ｐ₃Ｐ₂Ｐ₁ｒ_n ここで、ｒ_n は、ｎ回反復後の画像を表し、ｒ_n+1 は、
ｎ＋１回反復後の画像を表し、ｎ≧０であり、ｎ＝０は
初期値を表す。

【００３１】ＲとＳsは、それぞれｒとｓの高速フーリ
エ変換を表す。したがって、Ｒ＝ＦＦＴ(r)、Ｓ＝ＦＦ
Ｔ(s)であり、ＦＦＴは、高速フーリエ変換処理を表
す。Ｃ₁＝｛ｒ：｜Ｒ(u,v)｜≦｜Ｓ(u,v)｜，(u,v)≠(0,0)｝（式２）これは、周波数スペクトルを有する全ての複素行列の集
合を表し、フーリエ変換の大きさ、直流成分以外の各周
波数において、サンプルウィンドウの変換の大きさ以下
である。直流成分においては、大きさはどのようにでも
なるが、本発明の好ましい実施例においては、リペアウ
ィンドウの大きさが選択されている。対応する射影Ｐ
₁(r)は、以下のように与えられる。

【００３２】

【数１】

【００３３】（これは、図２のステップ８として示され
ている。）射影Ｐ₁(r)は、次のように定義することができる。Ｐ₁(r)＝ＩＦＦＴ(Ｍ_sｅ^iphase(R)) （式３）ここで、ＩＦＦＴは、逆高速フーリエ変換の動作を表
す。つまり、Ｐ₁(r)によって行われる操作は、ｒとｓの
ＦＦＴをとることを含む、すなわち、直流成分以外の全
ての周波数における｜Ｒ｜と｜Ｓ｜の最小値をとること
により、新しいスペクトルの大きさ｜Ｒ(0,0)｜を生成
し、そして、新しいスペクトルの大きさのＩＦＦＴを計
算し、リペアウィンドウＲの不変な位相を残す。

【００３４】スクラッチは、問題となる画像の周波数ス
ペクトルにおける高いレベルをもたらす。殆どの画像に
おいて、サンプルウィンドウのスペクトルは、スクラッ
チ領域を修復（修復データ）するためのデータを決定／
発生させる起点としてのみ有効である。サンプルウィン
ドウ周波数スペクトルの大きさを修復データとしてリペ
アウィンドウ周波数スペクトルに置くことは、リペアウ
ィンドウの既知の、又はスクラッチが無い部分の情報の
損失の原因となる。そのような制約は、本発明が必要と
する凸集合を表していない。このことを考慮して、リペ
アウィンドウの周波数スペクトル内の各周波数に対し
て、サンプルウィンドウ値とリペアウィンドウ値の最小
値が、新しい画像データの値として用いられる。このよ
うにして、スクラッチ領域の影響を、全てのリペアウィ
ンドウ周波数スペクトルデータを失うことなく、軽減す
ることができる。その結果、リペアウィンドウのスクラ
ッチの無い領域の画質低下を回避することができる。直
流成分における最小の大きさの採用は全体の明るさの低
下を引き起こすことから、直流成分は維持する。Ｃ₁は
閉凸である。Ｐ₁ は、Ｐ₁ の入力がＣ₁ を満足させるよ
うに最小で変化させることができるので、Ｐ₁ は射影で
ある。制約＃２は、次のように定義される。

【００３５】

【数２】

【００３６】ここで、ｊとｋは、画像における画素の行
と列を表す。したがって、Ｃ₂ は、実数行列であり、０
〜２５５の間の画素値を有する。輝度の値の一般的な範
囲は、２５６グレースケールである。射影＃２、Ｐ₂(q)
を定義するために、ｑ(j,k)=ａ(j,k)+ｉｂ(j,k)、ｑは
ｊ、ｋを引数とする複素配列と仮定すると、

【００３７】

【数３】

【００３８】Ｐ₁ の出力は実数でなく、また実数分は
[０、２５５]の範囲外の可能性もあるので、Ｐ₂ は、そ
の入力を実数配列に変換し、したがって画像に変換す
る。Ｗを座標ペアの集合、スクラッチ又はワイアマスク
を１（Ｗは、画像のスクラッチ／損傷領域）とすると、
制約＃３は次のように定義される。

【００３９】

【数４】

【００４０】これは、複素行列の集合が実際のスクラッ
チ／損傷画素の領域を除いた元のリペアウィンドウ領域
と同一であることを定義する。特定されたスクラッチ／
損傷領域の画素の位置を１とし、他の画素の位置を０と
するバイナリマスクをＷとする。そのとき、射影＃３
（ステップ１１）は次のように定義される。

【００４１】Ｐ₃(r)＝ｒｗ＋ｒ₀（１ーｗ）（式７）このステップでは、良好な画像データを置き換える点が
ないので、元の画像のスクラッチのない／損傷のない画
素が維持される。Ｃ₁、Ｃ₂、Ｃ₃ は閉凸集合である。Ｐ₂、
Ｐ₃は、Ｐ₁と同じ射影であり、これらは、特定の対応し
た制約を用いて入力データを確認することが必要な入力
データにおいて最も少ない変化ですむように定義され
る。図５は、射影Ｐ₁、Ｐ₂、Ｐ₃ と図２のフローチャート
で説明した各ステップの関係を示す図である。射影Ｐ₂
がステップ１０に関連する一方で、射影Ｐ₁ は、ステッ
プ６〜９に関連する。射影Ｐ₃ は、ステップ１１に関連
する。

【００４２】図２、図６及び図７を参照して、本発明の
実施例を詳細に説明する。この実施例は、ストロークの
ような”ブラシ”、カーソルの動き又はブラシの先端６
０により、表示装置１０上に表示された画像のスクラッ
チ領域を横切って、サンプルウィンドウ６５とリペアウ
ィンドウ７０を特定する。

【００４３】この実行において、表示装置１０上に表示
された画像５０のスクラッチ領域４０を横切るカーソル
又はブラシ６０の動きにより、画像５０のスクラッチ領
域４０が特定される。一旦スクラッチ領域４０が特定さ
れると、画像の特定されたスクラッチ／修復領域を画像
の残りの領域から区別するバイナリマスクデータが生成
される。そして、このバイナリマスクデータは、メモリ
２５に記憶される。カーソル／ブラシ６０は、ユーザ入
力装置から入力を基づき、コントローラ３０の制御によ
って生成又は表示される。ユーザ入力装置は、例えばマ
ウス１５、トラックボール、ジョイスティク、ペン、あ
るいはペン及びタブレット２０等からなる。スクラッチ
領域４０が一旦特定されると、バイナリマスクデータが
生成されてメモリに記憶され、操作者は、特定されたス
クラッチ領域４０の外側の開始点６２からスクラッチ領
域４０の方に、表示装置上のカーソル６０を動かすこと
ができる。特定されたスクラッチ領域４０の外側の開始
点６２からスクラッチ領域４０の方に移動する画像／表
示装置上のカーソル６０の位置や動きは、コントローラ
３０によってモニタされる。カーソル６０が、一旦特定
されたスクラッチ４０の外側の境界（点８０）に到達す
ると、コントローラ３０は、長方形のサンプルウィンド
ウ６５を特定する。この長方形のサンプルウィンドウ６
５の長さは、例えば開始点と、スクラッチ領域４０の外
側の境界に位置する点８０との距離に等しい。長方形の
サンプルウィンドウ６５の幅は、所定の、例えばカーソ
ル６０の幅とすることができる。また、サンプルウィン
ドウ６５の幅は、カーソル６０よりも所定の画素数分広
くしたり、狭くすることができる。また、サンプルウィ
ンドウ６５の幅は、ユーザ／操作者の特別な要望に応じ
られるように調整可能としてもよい。

【００４４】次に、リペアウィンドウ７０が特定され
る。本発明では、サンプルウィンドウ６５とリペアウィ
ンドウ７０の要素が同じサイズと要素であることが必要
であり、コントローラ３０は、このサイズ制限に従うよ
うにリペアウィンドウ７０を生成する。このリペアウィ
ンドウ７０の調整は、スクラッチ領域４０の外側であっ
てサンプルウィンドウ領域６５の外側の第２の点７５に
カーソル６０を動かすことによってなされる。例えば、
リペアウィンドウ７０は、第２の点７５から点６２に向
かう線８５に沿った長さとなるように生成される。

【００４５】一旦、サンプルウィンドウ６５とリペアウ
ィンドウ７０が特定されると、ユーザは、カーソル６０
を用いて、リペア領域７０上に、置換画素データを実質
的に塗り、又はブラシする。置換画素データは、上述し
たプロセスと計算に従って生成される。カーソル６０の
各ストロークは、適切な置換データの生成過程の繰り返
しの毎に見ることができる。もちろん、プロセスの繰り
返し回数は、各ストロークを用いて実行することができ
る。各ストロークに割り当てられる反復回数は予測でき
ない。

【００４６】本発明のここでの説明は、画像及び表示装
置が１６ビットの解像度を有するものとしている。本発
明は、１６ビット、２４ビット、３２ビットを含み、ま
たこれらに制限されることなく、どんな画像／ディスプ
レイ解像度に対しても適用することができる。これを元
にして、少なくとも、射影２（ステップ１０）によって
課された制限は、異なる解像度に適応するための調整を
必要とする。さらに、本発明の方法は、分離して与えら
れた画像の各色成分／チャンネルをグレースケールの画
像として考えることにより、色チャンネル間の相関を除
去するために画像を変換することによって、色画像の処
理に容易に適用することができる。

【００４７】上述の説明でも明らかなように、本発明
は、特許請求の範囲によって限定される本発明の主旨を
逸脱しない限りにおいて、種々の変更を行うことができ
る。

【図面の簡単な説明】

【図１】本発明に係る装置の一実施例を示すブロック図
である。

【図２】本発明に係る方法を説明するためのフローチャ
ートである。

【図３】特定されたスクラッチ領域、リペアウィンド
ウ、サンプルウィンドウの関係を示す図である。

【図４】特定されたスクラッチ領域、リペアウィンド
ウ、サンプルウィンドウの関係を示す図である。

【図５】本発明のステップ、定義された射影及び制約の
関係を示す図である。

【図６】サンプルウィンドウ領域を特定するためのカー
ソル又はブラシの動きを示す図である。

【図７】カーソル又はブラシの動きによって特定された
サンプルウィンドウ領域を示す図である。

【図８】式１の幾何学的な定義を示し、またそれが、凹
集合ではなく、凸集合にどのように当てはまるかを示す
図である。

Claims

【特許請求の範囲】

【請求項１】ディジタル画像データを入力するステッ
プと、上記ディジタル画像データを表示装置に表示するステッ
プと、上記表示装置に表示された上記ディジタル画像データに
おけるスクラッチ雑音領域を識別するステップと、上記識別されたスクラッチ雑音領域内の画素と上記表示
された画像の残りの画素を区別するバイナリマスクデー
タを生成するステップと、上記バイナリマスクデータを格納するストレージメモリ
と、上記表示された画像上に、識別されたスクラッチ雑音領
域を含むリペアウィンドウを定義するステップと、上記リペアウィンドウ内の画素の値を表すデータをメモ
リに記憶するステップと、上記表示された画像内に、上記リペアウィンドウの形状
及び値と類似したサンプルウィンドウを定義するステッ
プと、上記リペアウィンドウデータの高速フーリエ変換を計算
するステップと、上記サンプルウィンドウデータの高速フーリエ変換を計
算するステップと、上記リペアウィンドウの高速フーリエ変換データ、上記
サンプルウィンドウの高速フーリエ変換データに従っ
て、新たな画像データを生成するステップと、上記新たな画像データの逆高速フーリエ変換を計算する
ステップと、上記新たな画像データを所定の制限値に適合させるステ
ップと、上記新たな画像データ、アンスクラッチリペアウィンド
ウデータ及び上記バイナリマスクデータに従って、新た
なリペアウィンドウデータを生成するステップと、上記リペアウィンドウデータを上記新たなリペアウィン
ドウデータに置き換えるステップと、を有するディジタル画像からスクラッチ雑音を除去する
方法。
【請求項２】ディジタル画像データを受信する入力手
段と、ディジタル画像データを表示する表示装置と、上記表示装置に表示されたディジタル画像内のスクラッ
チ雑音を識別するスクラッチ識別手段と、ディジタル画像内の識別されたスクラッチ雑音と上記デ
ィジタル画像の他の領域を区別するバイナリマスクデー
タを生成するプロセッサと、リペアウィンドウとサンプルウィンドウを特定する手段
と、上記特定されたリペアウィンドウを表すデータを格納す
る第１のストレージメモリと、上記特定されたサンプルウィンドウを表すデータを格納
する第２のストレージメモリと、上記バイナリマスクデータを格納する第３のストレージ
メモリとを備え、上記プロセッサは、上記リペアウィンドウデータと上記サンプルウィンドウ
データを高速フーリエ変換したデータを計算する手段
と、上記サンプルウィンドウとリペアウィンドウの高速フー
リエ変換データに従って、新たな画像データを生成する
手段と、上記新たな画像データに対する逆高速フーリエ変換デー
タを計算する手段と、上記新たな画像データを所定の制限値に適合させる手段
と、上記新たな画像データ、アンスクラッチリペアウィンド
ウデータ及び上記バイナリマスクデータに従って、新た
なリペアウィンドウデータを生成する手段とを有する、ディジタル画像からスクラッチ雑音を除去する装置。