JPH06245113A

JPH06245113A - ノイズ及び他のアーティファクトを除去して画像をより向上させるための装置

Info

Publication number: JPH06245113A
Application number: JP4277818A
Authority: JP
Inventors: William T Freeman; ウイリアム・ティー・フリーマン; Edward H Adelson; エドワード・エイチ・アデルソン
Original assignee: Massachusetts Institute of Technology
Current assignee: Massachusetts Institute of Technology
Priority date: 1991-09-24
Filing date: 1992-09-22
Publication date: 1994-09-02
Also published as: US5526446A

Abstract

(57)【要約】（修正有）【目的】画像からノイズを除去してその視覚的な効果
を向上させる。【構成】マルチスケール画像分解プロセスで、画像
を、係数のセットに変換する。さらに、各係数が、その
値及び関連の配向、位置又はスケールの係数の値に基づ
いて、モディファイされ、再構成又は合成プロセスが実
行され、向上画像が生成される。また、解析／合成フィ
ルタは、自動反転特性を有している。操作可能ななピラ
ミッド・アーキテクチャが、画像の向上に使用され、そ
の操作は、上記の配向調整フィルタによって提供され
る。関連の係数を利用することにより、係数を、クリー
ンな画像１０及び劣化画像１１を利用することから得ら
れる係数を統計的又はニューラル・ネットワーク的に解
析して導いた乗数によってモディファイすることができ
る。その場合の修飾子は、ベクトルに対応し、それによ
って劣化画像係数が、クリーン画像係数に変換される。
本質的には、ノイズによる係数の該当部分が取り消され
る。

Description

【発明の詳細な説明】

【０００１】

【技術分野】本発明は、画像の向上、より詳細には、コ
ンボルーションによって画像から導き出された係数にお
いて空間的に局所化された現象を利用して画像をより向
上させるための画像向上システムに関する。

【０００２】

【従来技術】写真の画像又は電子媒体上に記録される画
像が、ノイズ及びぼけなどを含む低下の影響を被ること
は理解されよう。さまざまな応用例（アプリケーショ
ン）においては、ノイズを除去して画像の特徴が現れる
ように画像を向上させることと、ノイズ、及び一般に画
像を劣化させる他のアーティファクトを抑制することと
が同時に望まれている。テレビ又は写真の場合、これら
の画像は、一般に、焦点が合っていなかったり、対象が
動いたり、又はテレビの信号自体の固有な解像限界によ
ってぼけたりすることにより、画質劣化が生じたりす
る。また、フィルムの粒子に明らかな問題があったり、
電子的なノイズのせいで画像が劣化したりして画質劣化
が生じる場合もある。問題が特に大きくなるのは、低解
像度の標準的なテレビ・フォーマットNTSCを、高解像度
のHDTVテレビ用にまで変換する場合である。

【０００３】問題は、画像データを受信した際に、最良
の画像を得られるようにしたいということ、例えば、画
像を鮮明にすること、ノイズを除去すること、又は画像
を別の形式で実際に合成して、画像以上の高解像度を実
現し、向上化された画像を形成することにある。

【０００４】従来は、画像を向上させるための古典的な
方法として、ウィーナーのフィルタリング・テクニック
などがあった。これは、スペクトルに基づく方法で、画
像のフーリエ変換を実行すること、及び線形フィルタ関
数を生成して周波数ごとにフーリエ変換係数を増大させ
たり減少させたりすることによってそれらを変更するこ
とが含まれる。これは、画像の向上のためのいわゆる
“グローバル”なアプローチである。

【０００５】この古典的な方法では、結果的に十分な向
上を実現できない場合が多い。この方法においては、画
像の統計量が変動しないこと、つまり画像の各パッチ
が、画像の他のパッチの場合と同じランダム・プロセス
によって生成されることが前提となるからである。しか
し、画像構造は、静的なプロセスから得られるわけでは
ない。例えば、画面上でランダムなノイズを見る場合
に、これは静的なプロセスによって生成されているとい
うように断定されることがある。しかし、エッジが存在
しているような画像の別の領域、ブランクになっていた
り信号が欠如したりしているような画像の別の領域、及
びラインの入っている別の領域などを見れば、当該プロ
セスがパッチ又はポイントによって変化していることを
確認することができるだろう。

【０００６】ウィーナーのフィルタリング技術に関して
具体的に言うと、劣化した画像は、ノイズが付加された
乱れていない画像としてモデル化される。したがって、
この技術の場合は、乱れていない画像及びノイズの周波
数スペクトルを判断する必要がある。したがって、ウィ
ーナーのフィルタでは、画像の空間的な各周波数に関し
て変調が指定される。画像及びノイズの統計量が変動し
ない場合、つまり画像全体に関して一定である場合、処
理された画像は、すべての線形フィルタの乱れていない
画像に関して最小の平方差を持つことになる。しかし、
残念ながら、通常の場合、画像の統計量は靜的ではな
い。したがって、従来のウィーナーのフィルタリング
は、うまく機能しない。

【０００７】グローバルなウィーナー・アプローチとは
対照的に、中央値操作を有するローカルなアプローチが
ある。例えば、画像内の3X3 の隣接する箇所では、９個
のピクセルの中央値によって3X3 の中央のピクセルを置
き換えることが要求される。しかし、そのようなプロセ
スもうまく機能するとは言えない。

【０００８】そのようなローカルなアプローチがうまく
機能しないのは、不都合なアーティファクトが導入され
るからである。不都合なアーティファクトに関する１つ
の理由は、そのようなシステムでは、画像のローカルな
配向構造が活かされないということである。画像情報
は、ローカルな配向構造を持つ傾向がある。つまり、ラ
インとエッジによって形成されるわけだが、上記の方法
では、配向が考慮されていない。また、画像情報のマル
チスケールな本質となるとなおさらである。ということ
は、さまざまな空間的な周波数帯での空間的なフィルタ
リングの結果を分析することによって、真の画像情報と
ノイズとをより効果的に区別できるということを意味す
る。

【０００９】したがって、画像は、細かな部分は高い周
波数帯、粗い部分は低い周波数帯に収められるよう、多
くのスケール及び又は周波数帯において情報を有するも
のとしてとらえることができる。

【００１０】画像の向上におけるローカルな配向などの
問題に対して直接的な解決法を提供できるわけではない
が、これまでのいわゆるコアリング・テクニックは、画
像内において暗から明へとシャープに遷移しているエッ
ジ・トランジションの両側に存在しているノイズを除去
するのに使用される。このノイズの除去に使用できる１
つの方法は、各データ・ポイントを、３つの隣接したピ
クセルの平均的割合で単純に置き換えることである。そ
の場合は、ノイズを除去するためのぼやかす操作が可能
になる。しかし、ノイズを除去すると、必要なエッジも
除去されることになる。

【００１１】米国特許第4,523,230 号で説明されている
いわゆるコアリング・オペレーションでは、元の画像が
高周波数帯と低周波数帯に細分される。低周波数帯にお
ける信号に関して言うと、これらは未処理のまま残され
る。しかし、高周波数帯であって一般にライン及びエッ
ジに関連付けられる高周波数帯における信号に関して言
うと、これらの信号は、プラス及びマイナスのしきい値
を下回る信号である場合には、ゼロに設定される。ま
た、プラス及びマイナスのしきい値から外れた信号、い
わゆるコア、に関しては、フル・ウエイトがかけられ
る。これによって、維持又は保持される要素のみがコア
のようなしきい値から外れた要素となる。

【００１２】この種のコアリングでは、コアリング装置
の出力が低域通過要素と合わさったときに、エッジが強
調された状態で画像全体が生成され、さらに重要なこと
には、画像の暗部から明部へのトランジションの両側に
対するノイズが減衰するという点において、向上画像が
得られる。これによって、エッジが鮮明になる。その他
のテクニックは、限界条件を形成して、信号がほぼしき
い値にあるときのアーティファクトを除去するために使
用される。これらのアーティファクトは、エッジまたは
ラインに沿ったちらつきにより、テレビ信号に現れる場
合がある。

【００１３】従来のコアリングに関する１つの問題は、
それが１つの次元しか扱わないということである。つま
り、画像の２次元構造を活かすことができないのであ
る。もう１つの問題は、画像情報のマルチスケールな側
面が扱われないことである。画像を、低域帯及び高域帯
だけではない多くの帯域に分解することは、マルチスケ
ール分解と呼ばれている。この場合、画像は多くの隣接
した空間周波数帯に分解され、これらの複数帯域又はス
ケール内での情報に関して、処理または変形が行われ
る。

【００１４】ここで言及されている帯域は、対数的な空
間に基づく多重周波数帯（multi-frequency band）であ
る。いわゆる”ピラミッド型”の処理では、処理時間及
びハードウェアを最小限度に抑えることができ、しかも
画像を異なるスケール又は帯域に分けることができる。
一般に、元の画像が細分化されて画像サイズが小さくな
れば空間周波数が低くなることが理解されよう。したが
って、最も高い空間周波数帯に関して、ほとんどのサン
プルで、画像の最小スケールによる表示を利用すること
ができる。また、最も低い通過帯域に関して、最低限の
サンプルで、最大のスケールを利用することができる。

【００１５】米国特許第4,523,230 号、カールソン(Car
lson) 他においては、ラプラシアン・ピラミッド内での
コアリング・テクニックが記述されている。上記のピラ
ミッド案に関しては、多くの問題がある。１つの問題
は、ラプラシアン・ピラミッド・テクニックは、ピラミ
ッドの形成に使用される解析フィルタが帯域フィルタで
あるという不利な点を伴うことである。また、画像の再
構成に使用される合成フィルタは、低域フィルタであ
る。この数学的な非対称は、広い帯域の変化をもたら
し、結果的に望ましくない画像が得られることになる。
例えば、変換の文脈において、フィルタによる画像の重
畳の結果は、係数のx 、y 配列として表される。向上さ
せるためには、各係数の値を変更する。したがって、合
成フィルタを使用してこの係数の修正を行った後で、画
像を再構成することになる。上記のようなラプラシアン
環境で解析及び合成用に異なるタイプのフィルタを使用
し、このピラミッドの画像の１つにおいて係数を変更す
る場合は、これが一定の周波数帯を表すものとして想定
されたとしても、画像が再構成されるときに、多くの帯
域にまたがるエラー・エネルギーとして、エネルギーが
拡散する。

【００１６】そのようなテクニックに関する２番目の問
題は、向上させるために利用される修正要素は、配向的
な構造に対する依存関係を持たないということである。

【００１７】１つのエッジを見ていて、それを周波数に
対応した帯域だけではなく配向に関しても分けたくなっ
た場合は、例えば垂直な部分対応する垂直な高周波数
帯、及び中程度の周波数の斜行帯域（ダイアゴナル・バ
ンド）となる帯域を引き出せるようなフィルタが必要に
なることが考えられる。しかし、これらのタイプの関数
は、従来のラプラシアン及びガウス・ピラミッドでは得
られない。したがって、ラプラシアン及びガウスなどの
先行技術型ピラミッドに関する問題は、円環状の対称的
な帯域が、高域フィルタリング及び低域フィルタリング
で達成できる帯域のすべてだということである。つま
り、方向性のある要素は伴わないことになる。

【００１８】３番目の問題、そしてすべてのコアリング
・スキームに関する問題は、係数の値をどのように変更
するかということである。コアリング・スキームを機能
させるには、信号を多くの画像に分ける必要がある。こ
れらの各画像には、係数のセットが含まれる。各係数の
値は、輝度テーブル（look-up table ）で変更する。つ
まり、その係数を変更するのに使用する唯一の情報は、
係数自体の値だということである。簡単に言うならば、
コアリング・システムでは、周囲の係数の値を知らない
ままに、コア処理されたサンプル（cored sample）の値
が変更される。

【００１９】もう１つのタイプの画像向上システムは、
ベイヤー(Bayer) 及びパウエル(Powell)によって開発さ
れたシステムであり、これもコアリング・システムであ
る。また、このシステムは、ピラミッド型の構造を使用
するものではないが、多重帯域指向のコアリング・シス
テムである。このシステムはマルチスケールなもので、
画像の分解にはユニークな方法が使用される。つまり、
ダブレットの形式をとったフィルタ・カーネルが使用さ
れるのである。各カーネルは、１つ位置において“１”
によって表され、別の位置において“-l”によって表さ
れる。

【００２０】ベイヤー及びパウエルによるシステムで
は、配向が利用されるので、かなり効果的に画像の向上
がもたらされる。このシステムの主要な問題の１つは、
フィルタがそれほどシャープに配向されないということ
である。エッジやラインに関して情報を抽出するという
観点から見ると、初期的な段階にとどまっているフィル
タなのである。

【００２１】しかし、ベイヤー及びパウエルによるシス
テム、並びに他のコアリング・システムに関する最も定
常的な問題は、特定の係数の修正値を導出する際に、係
数自体の値のみが、システムによって使用されるという
ことである。

【００２２】要約すると、ベイヤー及びパウエルは、既
に述べたコアリング方法を拡張して複数の配向及びスケ
ールが含まれるようにした。また、カールソン(Carlso
n) 他は、ピラミッド方法を使用した。ベイヤー及びパ
ウエルは、傾斜フィルタ（gradient filter ）を使用し
て、画像を配向させた要素に分解することを述べてい
る。８つの異なる配向に対応した傾斜演算子を組み合わ
せると、シャープにするためのフィルタが形成される。
しかし、それぞれの傾斜出力は、出力をシャープにする
ために追加される前に、個別にコア処理される。こうい
った指向のフィルタリングは、ノイズを除去して、好ま
しい配向構造をそのまま残す傾向がある。Powell及びBa
yer は、画像をぼやけさせて、コア処理したシャープ化
オペレーションを拡張フィルタに適用することによっ
て、このオペレーションを空間スケールの多重性の中で
実行することを述べている。

【００２３】カールソン他は、ピラミッド・データ構造
を使用して、関連の処理を実行している。カールソン他
は、画像をラプラシアン・ピラミッドに変換して、個々
のラプラシアン・ピラミッド係数をコア処理し、変更を
加えた係数から向上画像を再構成することを提案してい
る。パウエル及びベイヤーによるアプローチと同じよう
に、この方法では、ノイズが、さまざまな空間スケール
に渡って除去される。しかし、主要な欠点が２つある。
１つは、画像の表現が配向に応じて調整されず、したが
って画像構造の特徴が活かされないということである。
カールソン他によるシステムでは、自動反転ではないの
で、コアリングによって生じる１つのサブバンドのエラ
ーは、異なるサブバンドの中にエラーとして現れたりす
る。これによって、最構成された画像にアーティファク
トが生じる場合がある。

【００２４】向上の度合を増大させる試みとして、エイ
チ・ナットソン(H.Knutsson)、アール・ウイルソン(R.W
ilson)及びジー・エイチ・グランランド(G.H.Granlund)
による研究、IEEE Transactions or Communications, 3
1(3);388-397, 1983においては、空間的に適応できるフ
ィルタリング・システムが提示されている。このシステ
ムにおいて、研究者は、画像を３つの異なる空間的フィ
ルタ帯域に分解している。１つは、変更を加えない元の
画像である。もう１つは、元の画像の等方的にぼやかさ
れたバージョンである。さらにもう１つは、画像内の特
定のポイントごとのローカルな配向に沿ってぼやかされ
た画像である。したがって、このシステムは、適応的に
フィルタリングされた画像であり、出力画像は３つの画
像の線形的な組み合せであると断言することができよ
う。このシステムにおいては、ローカルな画像構造に基
づいて、３つの画像のどのような線形的な組み合せをと
るかを決定する。画像がある特定の方向に配向されてい
て等方的にノイズを伴っている場合に、Knutsson他は、
空間的かつ適応的にフィルタリングされた画像をとって
いる。画像が等方的にコーナーにある場合に、Knutsson
他は、元の画像をとっている。また、画像がフラットな
領域にある場合に、Knutsson他は、等方的にぼやかされ
たバージョンをとっている。

【００２５】表示された画像に基づくこのシステムの問
題は、それがマルチスケールではなく、ものが特定の空
間的スケールにおいてのみ見られるということである。
第二に、画像がペイント・ブラシによってほどこされた
かのように、あまりにも“絵画的に”見えるということ
である。したがって、元の配向がどのようなものであっ
ても、その方向に沿ってフィルタリングが行われ、配向
された構造のすべてがペイントブラシで強調されたかの
ようになる。ここでの問題は、元の画像に関する忠実さ
が疑わしくなるということである。また、向上レベルが
高く設定され過ぎていると、画像全体が不自然に見える
という点で、いくつかの興味深いアーティファクトが導
入されるということもある。要約すると、Knutsson他
は、配向分析を含めることによって、適応的なウィーナ
ーのフィルタ・アプローチを増強している。Knutsson他
が提案している画像は、３つの画像、つまり元の画像、
ローカルな画像の配向の方向に沿ってぼやかされたバー
ジョン、及び等方的にぼやかされた画像の線形的な組み
合せである。ローカルな配向に沿ってぼやかされた画像
を含めることにより、前の方法よりも効果的にノイズを
エッジに沿って除去することができる。

【００２６】より詳細な背景情報として、画像の向上に
関する以下の文献を示す。

【００２７】J.F.Abramatic 及びL.M.Silverman 。ノイ
ズのある画像の非線形的な復元（Non-linear restorati
on of noisy images）。IEEE Pat. Anal. Mach, Intel
l., 4(2):141, 1982; E.H. Adelson 、E.Simoncelli、
及びR.Hingorani 。画像コーディングのための直交ピラ
ミッド変換（Orthogonal pyramid transforms for imag
e coding）。In Proc. SPIE--Vis. Comm. and Image Pr
oc. II, p.50〜58, Cambridge, MA, 1987;B.E.Bayer 、
Image processing method using a collapsed Walsh-Ha
damard transform. 米国特許第4,549,212 号、October
1985; B.E. Bayer及びP.G. Powell 。不鮮明な粒子の粗
い写真画像をディジタルに向上させるための方法（A me
thod for the digital enhancement of unsharp, grain
y photographic images ）。T.S.Huang 編集によるAdva
nces in Computer Vision and Image Processing, volu
me 2, chapter 2 。JAI Press Inc., Greenwich, CT, 1
986;P.J.Burt 及びE.H.Adelson 。コンパクト画像コー
ドとしてのラプラシアン・ピラミッド（The Laplacian
pyramid as a compact image code ）。IEEE Trans.Com
m., 31(4):532-540, 1983;C.R.Carlson、E.H.Adelson
及びC.H.Anderson。画像表示信号をコアリングするため
のシステム（System for coring an image-representin
g signal）。米国特許第4,523,230 号、June 1985; W.
T.Freeman及びE.H.Adelson 。Steerable filters for e
arly vision, image analysis, and wavelet decomposi
tion. In Proc. 3rd Intl. Conf. Computer Vision, Os
aka, Japan, 1990. IEEE;W.T.Freeman and E.H.Adelso
n. The design and use of steerable filters for ima
ge analysis, enhancement, and multi-scale represen
tation. IEEE Pat. Anal. Mach. Intell., August 199
1; R.C.Gonzalez及びP.Wintz。Digital Image Processi
ng. Addison-Wesley, 1977;M.Kass 及びA.P.Witkin。指
向パターンの分析（Analyzing oriented patterns ）。
In Proc. Ninth IJCAI, p.944 〜952, Los Angels, CA,
August 1985; H. Knutsson and G.H.Granlund. Textur
e analysis using two-dimensional quadrature filter
s. In IEEE Computer Society Workshop on Computer A
rchitecture for Pattern Analysis andImage Database
Management, p.206 〜213, 1983;H.Knutsson, R.Wilso
n, andG.H.Granlund. Anisotropic non-stationary ima
ge estimation and its applications: Part 1--Restor
ation of noisy images. IEEE Trans. Comm., 31(3):38
8-397, 1983;J.S.Lee. ローカルな統計量を用いたディ
ジタルな画像の向上及びノイズ・フィルタリング（Digi
tal image enhancement and noize filtering byuse of
local statistics）。IEEE Pat. Anal. Mach. Intel
l., 2(2):165, 1980;R.P.Lippmann. An introduction t
o computing with neural nets. IEEE ASSPMagazine,
p.4〜22, April 1987;S.G.Mallat. A theory for multi
-resolutionsignal decomposition :the wavelet repre
sentation. IEEE PAT. ANAL. MACH.INTELL., 11(47):67
4-693, 1989;R.H.McMann 及びA.A.Goldberg。カラーテ
レビ放送用の改良信号処理テクニック（Improved signa
l processing techniques forcolor television broad
casting ）。J. SMPTE, 77:221--228, 1969;T.Poggioan
d F.Girosi. A theory of networks for approximation
and learning. Artificial Intelligence Lab. Memo 1
140, Massachusetts Institute of Technology, Cambri
dge, MA 02139, 1989;P.G.Powell. Image gradient det
ectors operating in a partitioned lowpass channel.
米国特許第4,446,484 号、May 1984;P.G.Powell 及び
B.E.Bayer 。不鮮明な粒子の粗い写真画像をディジタル
に向上させるための方法（A method for the digital e
nhancement of unsharp, grainyphotographic images
）。In IEE International Conference on Electronic
Image Processing, p. 178--183, 1982. no. 214;E.P.
Simoncelli and E.H.Adelson. サブバンド変換（Subba
nd transforms）。In J.W.Woods, editor, SubbandImag
e Coding, chapter 4. Kluwer Academic Publishers, N
orwell, MA 1990;E.P.Simoncelli, W.T.Freeman, E.H.A
delson, and D.J.Heeger. Wavelet image transforms w
ith continuousparameterization. Vision and Modelin
g TechnicalReport 161, The Media Lab, MIT, 20 Ames
St., Cambridge, MA 02139, 1991;H.J.Trussell. A fa
st algorithm for noizesmoothing based on a subject
ivecriterion. IEEE Trans. Systems, Man, Cybern., 7
(9):678, 1977;J.W.Woods and S.D.O'Neil. 画像のサ
ブバンド・コーディング（Subband coding of image
s）。IEEE Trans. Acoust., Speech, Signal Proc., 34
(5):1278--1288, 1986.画像のtruncated subband codin
g に関連した特許は、米国特許第4,817,182 号であ
る。

【００２８】上記の先行システムに関して理解されるこ
とは、どのシステムもフィルタによる画像のコンボルー
ション（修飾子は、係数値及び関連の係数値の関数であ
る）を通じて派生する係数の変形を提供しないというこ
とである。

【００２９】ここで言及されている関連の係数は、近傍
の係数の値、モディファイする係数の位置とは異なる位
置にある係数；異なるスケールに対応した係数の値；又
は異なる配向に対応した係数の値を指す。これはつま
り、先行技術では、向上の目的で係数値がモディファイ
されるときに、係数の近傍のローカルな構造は考慮に入
れられていなかったことを意味する。

【００３０】また、どの先行技術も、マルチスケールな
環境での自動反転解析／合成フィルタの使用を教示して
いない。自動反転変換（self-inverting transform）で
は、解析フィルタに引き続いて合成フィルタが使用され
るということに着目する必要がある。その場合の合成フ
ィルタは解析フィルタと同一である。

【００３１】従属的な問題として、変換及びそのフィル
タは、操作可能でマルチスケールなものであることが重
要である（先行技術では示されていない）。また、少な
くとも信号処理の効率に関しては、サブサンプリングが
適用されるピラミッド配置を利用することが重要であ
る。さらに、これらのフィルタは、実質上エイリアシン
グではないものとすることが重要である。

【００３２】また、解析フィルタ及び再構成／合成フィ
ルタは、空間的広がりが比較的小さいものであることが
望ましい。これは、リンギングを除去するために必要な
ことである。これを達成するには、周波数におけるフィ
ルタのバリエーションを比較的スムースにする必要があ
る。

【００３３】

【発明の要約】向上度を増大させるために、画像からノ
イズを除去するための技術が提供され、マルチスケール
画像分解プロセスにおいて、画像を係数のセットに変換
する技術により、映像の向上が図られる。次の段階で
は、各係数がその値、及び関連の配向、位置又はスケー
ルの係数の値に基づいて変更され、さらに再構成又は合
成プロセスが実行されて、向上画像が実現される。ま
た、向上度の増大には、操作を可能にする特殊な設計に
基づいた配向調整フィルタのセットも貢献する。解析フ
ィルタ及び合成フィルタには、自動反転特性が伴う。さ
らに、操作可能なピラミッド・アーキテクチャが、画像
の向上に初めて使用され、操作が上記の配向調整フィル
タによって提供される。関連の係数を使用することによ
り、係数の修正が可能になる。その場合に、クリーンな
画像及び劣化画像を利用することから得られる係数の統
計的又はニューラル・ネットワーク（神経網）的な解析
に基づく乗数（マルチプライヤー）によって、係数を変
更することができる。修飾子は、ベクトルに対応し、そ
れによって劣化画像係数がクリーン画像係数に変換され
る。本質的には、ノイズによる係数の該当部分が取り消
される。さらなる改良には、古典的なコアリングを単純
係数にオーバレイすることが含まれる。したがって、本
発明の技術では、多重帯域又はスケール指向の解析／合
成変換、改良された係数の変形、良好な配向調整、改良
された帯域通過特性、良好な空間ローカライゼーション
などを通じて、より効果的な画像の向上がもたらされ
る。

【００３４】より具体的には、配向調整フィルタリング
を利用したマルチスケール画像分解が提供されて、画像
が適切な周波数帯において分解され、ローカルな配向を
考慮した処理が可能になる。そのため、出力の適切な修
正を行うことができ、例えば、各解析フィルタの係数
が、“関連の係数”を利用することによって、修正され
る。関連の係数は、変更する係数からディスプレイスさ
れているx 又はy と同等である。又はスケールや配向の
異なる係数である。なお、解析フィルタは、それぞれ
に、ある係数を提供するが、その係数は、フィルタによ
る元の画像のコンボルーションの結果である。

【００３５】各修飾子の出力は、合成フィルタに連結さ
れる。この場合の合成フィルタは、好ましい実施態様に
おいては、対応する解析フィルタと同一である。それに
よって自動反転変換が提供され、修飾子による乗算が
“１”に等しくなる。結果としては向上画像が得られ、
そこでの向上のための修正は、乗数に関して、任与の位
置x 、y における係数値だけではなく、位置x'及びy'に
おける近傍係数の値に関連した係数にも依存する。異な
るスケールに対応した位置x 、y 又はその付近の係数の
値、又は異なる配向に対応した位置x 、y 又はその付近
の係数の値が係わってくるわけである。

【００３６】関連の係数を活かすことにより、係数をよ
り適切に変更して、アーティファクト、非線形性、及び
好ましくない漫画的な効果を除去することができる。ま
た、同時にノイズの容量を減らして、画像を鮮明にする
ことができる。

【００３７】配向調整フィルタリングによってマルチス
ケール分解を達成するために、好ましい実施態様では、
操作可能なピラミッド・技術が使用され、そこにおい
て、元の画像が異なるスケール又は空間周波数帯に分解
される。各スケール又は周波数帯は、操作可能な配向調
整フィルタを通じて処理される。サブサンプリングが含
まれるピラミッド・技術では、処理時間及び制約を減ら
すことができ、各サブサンプリングでは、マルチスケー
ルなアプローチが提供される。解析フィルタ・セクショ
ンで利用される配向調整フィルタがそのまま合成フィル
タ・セクションとしても利用され、アーティファクトを
除去する上で、解析フィルタ／合成フィルタ変換が自動
反転として行われる。

【００３８】適切な修正アルゴリズム又は輝度テーブル
を得るために、１つの実施態様では、統計的な解析又は
トレーニング・段階が利用され、適切なアルゴリズムが
提供される。この統計的な解析又はニューラル・ネット
ワーク的な解析の目的は、１つの実施態様において、最
良のしきい値のセットを提供することである。これを達
成するために、クリアな画像及び劣化画像の両方がマル
チスケール画像分解される。その場合は、処理段階で使
用される配向調整フィルタリングの自己同一タイプが使
用される。クリアな画像及び劣化画像をマルチスケール
画像分解した結果を解析することにより、関数、又はア
ルゴリズムのセットを導き出すことができる。それらの
関数又はアルゴリズムを、劣化画像に対応した係数に適
用すると、クリアな画像に関連した係数がほぼ達成され
る。これらは、修飾子の形式をとることができる。その
場合の修飾子は、係数マップに適用されて、ぼやけた画
像又は劣化画像（たいていはノイズ又はアーティファク
トによるもの）の特性をテイクアウトする。統計的又は
ニューラル・ネットワーク的な解析の結果は、いわゆる
ブループリントをもたらす。これは、向上の目的で変更
するために、画像の係数の修正に適用することができ
る。

【００３９】１つの実施態様では、統計的又はニューラ
ル・ネットワーク的な解析結果によって、２つの数値が
得られる。つまり異方性しきい値、及び強さ又はローカ
ル係数エネルギーしきい値が得られるわけである。それ
は、係数の修正に使用される。また、他の入力のみが係
数そのものになる。異方性及びローカル係数エネルギー
は、画像対ノイズの尺度である。したがって、これら２
つのしきい値を利用すれば、画像向上システムに、位置
ごとのデータを解析したり変更したりするための手段を
提供することができる。そうすれば、係数に対する適切
なローカル修正を適用することが可能になる。

【００４０】ここで言及されているように、係数は、フ
ィルタリング関数で元の画像を重畳することによって得
られる出力であることは理解されよう。その目的は、x
、y位置において係数値を持つ画像を提供することであ
る。

【００４１】例えば、画像向上のための重要なマルチス
ケール表現としては、前記の操作可能なピラミッドがあ
る。その場合に、この変換に使用されるフィルタは、さ
まざまなスケール及び配向の指向性フィルタ（oriented
filters）である。この変換の特殊な２つの特徴は、解
析フィルタ及び再構成／合成フィルタは、すべてスケー
ル化された同じフィルタの反転バージョンであり、しか
も操作可能だということである。また、フィルタが操作
可能であることは、次の内容、つまり任意の角度にロー
テートされる解析フィルタ又は合成フィルタを使用する
ことによって得られる係数を、解析フィルタ又は合成フ
ィルタ出力の異なる４つの配向のセットを線形的に組み
合わせて単純に見いだすことができるということによっ
て定義することができる。この特徴があるため、操作可
能なピラミッドは、画像内の配向構造を識別する場合に
非常に有用となる―そこから、ノイズと信号が区別され
る。

【００４２】最も単純なケースにおいて、コンボルブさ
れた画像の係数は、ポイント関数によって変更される。
ポイント関数は、通常の場合は、輝度テーブルとして格
納され、そこにおいて変更された値x'は、元の係数x の
関数となる。より複雑なケースとしては、x' = f(a,b,
c,...) という関係においてa 、b 、c...が近傍係数の
値であることを想定することができる。それらは、空間
的な意味において近傍的であり、また近傍的な配向及び
スケールを伴う。

【００４３】サブセットとして、変換は、a' = f(p(a,
b,...), q(a,b,...),...)と表すことができる。つま
り、ローカルな異方性、ローカルな位相（フェーズ）な
どの一定の測定値は事前に計算し、輝度テーブルを制御
するのに使用することが望ましい。

【００４４】この全般的なアーキテクチャを確立する
と、３つの可能なアプローチが含まれた適切な修正関数
を選択することができる。３つのアプローチとは、統計
的な解析、ニューラル・ネットワーク的なアプローチ、
及びしきい値をベースにしたアプローチのことである。

【００４５】画像の統計量に基づいた係数の修正に関し
ては、画像の統計的な特性に基づいて、変換係数を変更
するための方法を展開させることができる。そのような
方法には、さまざまな画像の統計的な特性が調査される
解析段階、及び統計的な解析の結果が向上画像に利用さ
れる処理段階が含まれる。

【００４６】解析段階においては、ノイズを付加した
り、ぼやかしたり、その空間的な解像度を低下させたり
又はそれらをすべて行ったりして画像を人工的に劣化さ
せる。そして、次に、劣化させた画像及び劣化させてい
ない画像の変換係数を比較する。この作業の目的は、劣
化させていない画像の変換係数を、劣化させた画像の変
換係数の値及び付近の位置、配向、又はスケールの近傍
係数の値に（劣化画像変換における）基づいて予測する
ことである。１つ以上の画像の多くの位置、スケール、
及び配向に関して変換係数を調査することにより、統計
量を収集して、推定量を計算することができる。つま
り、標準的な推定技術を使用して、劣化させていない画
像の対応する変換係数を求めるわけである。この計算に
より、関数が得られる。この関数は、輝度テーブル又は
ニューラル・ネットワークのconnection weight に格納
されるものである。関数に対する入力は、劣化画像の変
換係数、及びいくつかの近傍劣化画像変換係数である。
出力は、劣化させていない画像の対応する変換係数の最
良の推測値である。

【００４７】処理段階においては、輝度テーブル(LUT)
が使用され、劣化画像の変換の各係数及びその近傍係数
から、劣化させていない画像の変換係数を評価するため
に必要な修正が適用される。そして、変更した係数を反
転的に変換することにより、向上画像を生成する。

【００４８】例えば、劣化画像のなピラミッド画像表現
の垂直配向フィルタ及び水平配向フィルタに対応する係
数を考えてみる。各スケール及び位置において、垂直及
び水平フィルタの係数値を、二次元グラフ上にプロット
することができる。同じスケール及び位置において、劣
化させていない画像の垂直／水平フィルタの係数値は、
一般に、異なる（関連性はある）値の組を持つ。特定の
劣化画像変換の組にマップするすべての非劣化画像変換
の組の平均的位置は、向上画像変換係数を判断するため
に使用することができる。これは、マップ、又は最大経
験的推定量である。他の標準的な統計推定技術を使用す
ることもできる。

【００４９】画像を向上させる場合の係数のすべての考
え得る組又はグループの妥当な変更の仕方を知ることが
重要であることは理解されよう。これは、画像の異なる
部分、及び異なる画像に対して修正データを収集するこ
とによって行われる。係数の順序付けられた任与の組
（n-tuple ）において繰り返される値に関して平均をと
り、係数の順序付けられている組又はグループが見あた
らない領域に対して内挿する。結果としては、二次元
（n-次元の）輝度テーブルが得られ、ノイズの多い係数
の各組（n-tuple ）ごとに、必要な垂直及び水平係数値
が示される。なお、任与の係数は、異なる輝度テーブル
によって異なる修正を指示される場合がある。この場合
は、平均修正をとることができる。メジアン、又は各輝
度テーブルでの差異に基づいたメジアンを用いてもよ
い。

【００５０】可能な多くの係数のグループを使用して、
画像係数を変更するための輝度テーブルを作成すること
もできる。可能なグループには、操作された係数のグル
ープが含まれる。そこにおいては、操作されたピラミッ
ドにより、任余のポイントで座標系をローテートさせる
ことができる。解析／合成フィルタを回転又は操作する
ことは有用である。それによって、１つのフィルタを、
各位置における優先的な配向に合わせることができる。
優先的な配向（主配向）は、さまざまな既知の方法によ
って探すことができる。一般に、単一の位置において
は、各スケールに異なった主配向が伴う。

【００５１】もう１つのグループは、異なる空間的ロケ
ーションでの係数のグループである。そこにおいて、操
作された係数は、主配向に沿ってぼやけている係数のロ
ーカルな平均値と組み合わせられる。係数のフィルタの
主配向に沿った平均値は、フィルタ係数の有効な推測量
となる。

【００５２】３番目のグループとしては、操作されてい
ない係数のグループがある。そして、異なるスケールご
との係数もある。

【００５３】本発明の技術では操作することができない
残りの低域情報も含めたほうが好ましいということは理
解されよう。この目的のためには、低域チャネルが提供
される。例えば、さらなる向上を、画像信号の高域フィ
ルタリング（highpass filtering）とそれに続く従来の
コアリング・技術によって提供することができる。この
コアリングの重複においては、コアリング・プロセスの
出力が再構成において付加される。また、変更されてい
ない要素又はマルチスケール分解技術の最低帯域フィル
タ周波数を下回る低域フィルタ要素を利用して、それら
の低周波数要素を埋めることもできる。

【００５４】係数を修正するもう１つの方法は、ニュー
ラル・ネットワーク理論に基づいている。上記の輝度テ
ーブル・システムの目的は、例のサンプリングを通じて
記述される多次元関数を概算することである。この演算
は、いわゆるニューラル・ネットワーク・アプローチに
よって実施することもできる。上記の統計的な方法と同
じように、解析段階及び処理段階がある。解析段階にお
いては、統計的な情報を収集して輝度テーブルに格納す
る代わりに、ニューラル・ネットワークのトレーニング
のための例が使用される。多くの例が、劣化画像変換係
数及び近傍劣化画像係数値のネットワークに対して与え
られる。また、その特定の入力に対応して、ネットワー
クのための必要な出力も提供される：非劣化画像変換係
数の値である。輝度テーブルにエントリとして格納され
る代わりに、この修正情報は、ネットワークのトレーニ
ングによって決定されるニューラル・ネットワークのパ
ラメータとして格納される。

【００５５】処理段階においては、近傍変換係数を、ト
レーニングされたニューラル・ネット・セットに与え
る。ニューラル・ネットワークの出力は、近傍の中央変
換係数の変更された値である。その場合の変換係数の近
傍は、関連の位置、配向又はスケールの係数のセットで
ある。ニューラル・ネットワーク・アプローチでは、上
記の輝度テーブル・アプローチの場合よりも少ない格納
スペースが要求される。

【００５６】係数の修正は、しきい値又は多の発見的方
法に基づいて行うことができる。その値及び関連の係数
の値に基づいて、各係数に、ノイズの代わりに真の画像
データを表す確率を割り当てることができることは理解
されよう。各係数は、その確率に依存した量によって減
衰させられる。係数の中には減衰させられないものもあ
る。

【００５７】そのような確率を割り当てる１つの方法
は、以下の通りである：画像が、２つのインジケータに
基づいて、ノイズと区別される。第一は、各サブバンド
係数のエネルギー、例えば、任与のスケールの係数に関
連したエネルギーである。この場合は、低エネルギー信
号がノイズである可能性が高いということが想定され
る。第二は、異方性のローカルな尺度が利用されること
である。その場合は、等方的な信号がノイズである可能
性が高いということが想定される。

【００５８】上記の２つのインジケータから、エネルギ
ー及び異方性の以下の尺度が得られる。第一に、エネル
ギーが、特定のサブバンドにおける係数のスクエア及び
空間的なブラーリングを通じて測定される。第二に、異
方性が、いくつかの配向に関するエネルギーの差異を計
算することと、その同じ数の配向に関する中間エネルギ
ーのスクエアを２で割ることによって測定される。４つ
の異なる配向において係数を伴うsteerable なピラミッ
ドの場合、エネルギーは４つの異なる配向に関して解析
される。エネルギーは、係数のスクエアに関連し、係数
自体よりも高い角度分解能を持っている。

【００５９】それぞれの配向、位置、及びスケールにお
ける係数に関して、エネルギー、異方性及びランクに対
応する３つの数値が得られる。なお、これらの数を計算
する場合に、異なる配向に対応する係数の値が調査され
る。また、操作可能なピラミッドは、通常は４つの配向
においてのみ係数を有するが、７つの配向における係数
に対応して、エネルギー、異方性、及びランクを見つけ
出し、４つの異なる配向における変更済み係数に基づい
て再構成が行われるということにも注意する必要ある。

【００６０】２つの数に基づいて、係数が真の画像デー
タを表す可能性を計算する。これを達成するための１つ
の方法では、各ピラミッド・レベルごとに異なる関数を
作成し、エネルギー及び異方性の値をゼロ（真の画像情
報である可能性が最も小さい）から１（画像情報である
可能性が最も高い）までのレンジにマップする。そし
て、２つの数をかけ合わせて、この係数が画像情報を表
す可能性について、最終的な評価を行う。

【００６１】エネルギー及び異方性の値を０から１まで
のレンジにマップできる１つの関数は、以下の“ファジ
ーしきい値”関数、f である。

【００６２】 f(x) = 1 / (1 + exp(-s(x-t))) (1) ここでのt は、しきい値であり、s は、そのしきい値の
シャープさを決定するパラメータである。

【００６３】上記の関数では、画像表示係数（image re
presentation coefficients ）を変更するために、いく
つかの代表的な値が使用される：シャープさのパラメー
タ15は、配向に関してよく機能し、0.5 は、エネルギー
に関してよく機能する。ピラミッド・レベル０におい
て、t=40をエネルギーに関して設定し、t=0.57を異方性
に関して設定する。ピラミッド・レベル１では、t=-inf
をすべてのランクの異方性に関して設定し、t=3.0 をエ
ネルギーに関して設定する。ピラミッド・レベル２で
は、t=-infを異方性に関して設定し、t=2.5 をエネルギ
ーに関して設定する。

【００６４】

【詳細な説明】主要な側面の１つにおいて、本発明には
修飾子を導き出すことが含まれる。修飾子が、画像のマ
ルチスケール分解の係数に適用されると、ノイズの拒絶
が強調され、結果として、再構成画像が向上する。

【００６５】本発明では、図１の参照文字10及び12によ
って示されている通り、クリーンな画像及び劣化画像
は、それぞれマルチスケール画像分解14及び16にかけら
れる。これによって、係数18及び20を導き出すことがで
きる。これらの係数は、フィルタリング・システムで、
画像を重畳した結果である。そこにおいて、フィルタリ
ング・システムは、配向及びスケールに関して、フィル
タリングを提供する。本発明によるシステムでは、スケ
ールは、元の画像が重畳される場合のフィルタの主空間
周波数を意味する。方向D は、配向DXの方向フィルタに
よる元の画像のコンボルーションを意味する。それによ
って、元の画像を、スケール又は及び方向に関して選択
的にフィルタリングすることができる。

【００６６】マルチスケール、多重方向画像分解の目的
は、元の画像のパラメータ又は特性について、情報を提
供することである。それらは、元の画像の係数を単純に
解析しただけでは、得られない。

【００６７】図２に示されている通り、修飾子関数を派
生させる先行技術による方法では、元の画像内のポイン
トのx 、y 位置に対応するx 、y 位置における係数の値
の指示のみが含まれていた。22に示されている通り、係
数の値のみを使用した場合でも、向上を達成することが
できる。しかし、この場合は、周囲のポイントにおける
係数は、考慮に入れられない。

【００６８】図３を参照してみると、上記の修飾子は、
24に示されている通り、改良が可能となっている。その
場合は、修飾子を位置x 、y における係数のみの関数で
はなく、修飾子の指定に関して新たな次元及びパラメー
タを提供する関連の係数の関数とすることが前提にな
る。したがって、関連の係数はさまざまなタイプをとる
ことができる。例えば、位置x'、y'における近傍係数の
値は、ローカルなパッチ又は画像が、係数上のポイント
が、ノイズではない真の画像ポイントであるという確率
を指示できるようなライン又はエッジを持っているかど
うかを判断するのに役立つ。

【００６９】さらに、異なるスケールに対応する位置x
、y における係数の値は、その位置における画像が真
の画像なのかノイズなのかということに関して情報を提
供できる場合が多い。

【００７０】３つ目のタイプの関連の係数は、位置x 、
y における係数の値が異なる配向に関してとられるもの
である。これは、ローカライズされた条件をも指定す
る。これは、どのタイプの修飾子又は修飾子関数を適用
すべきかを判断する場合にも有用となる。

【００７１】図１に戻って検討する。マルチスケール画
像分解に、係数だけではなく関連の係数も導き出すこと
が含まれていると考えると、26におけるブロックは、劣
化係数とクリーンな係数の差異が解析されたときに非常
に効果的になる。その場合の解析は、統計的な解析、ニ
ューラル・ネットワーク的な解析又は発見的な解析であ
る。その結果としては、ノイズと画像を区別するための
最大限に効率的な修飾子が得られる。それは、本発明の
ケースにおいては、位置x 、y における係数の値だけで
はなく、上記の関連の係数にも基づいて指定される。

【００７２】本発明のシステムのそのような統計的解析
段階又はトレーニング・段階を通じて達成できる向上
は、図４を参照すれば分かる通り、32における画像30の
走査から、マルチスケール画像分解ユニット34に至る処
理を通じて実施される。そこでの係数は、関数又は輝度
テーブル36における値によって乗算される。関数又は輝
度テーブルの値は、ブロック28において示されている通
り、図１の解析から導き出される。

【００７３】改良された関数又は輝度テーブルの値で係
数をモディファイすると、それまでに得られたものに対
して改良された係数のセットが得られる。改良された係
数のこのセットは、画像の合成又は再構成システムにお
いて利用することができる。このシステムは、ブロック
38に示されている通り、マルチスケール画像分解の反転
を含む。それによって、向上画像が生成される。

【００７４】多重次元的な修飾子を得るための方法には
さまざまなものがある。図５では、画像40が、42におい
て走査されて、マルチスケール画像分解及び配向調整フ
ィルタリング・ユニット44にかけられることが想定され
る。このユニットは、異なるスケールの解析フィルタか
ら構成されている。また、ここでは、これらのフィルタ
の各出力が、全般的に参照文字46によって示されている
ユニットにおける乗算を通じてモディファイされること
が想定される。さらに、修飾子46の出力は、合成フィル
タ48を通じて再結合されることが想定される。それに従
って、向上画像を、アーティファクト又は元の画像の不
自然な表現を伴わずに生成することができる。

【００７５】ブロック50に示されている通り、係数の修
正は、画像の特性に基づいて行われる。そこにおいて、
任与のx 、y 位置における係数値が、前記の関連の係数
とともに利用される。好ましい実施態様において、関連
の係数は、処理の対象となるフィルタリング化画像内に
おいて異方性及びローカル係数エネルギーに関与する。
好ましい実施態様において、係数の修正は、ブロック52
において示されている前記の統計的解析から得られるし
きい値TA及びTIに基づく。これには、ブロック54に示さ
れているマルチスケール画像分解及び配向調整フィルタ
リングから導き出される係数の解析が関与する。ブロッ
ク54でのプロセスは、ブロック44のマルチスケール画像
分解及び配向調整フィルタリングのプロセスに類似して
いる。前と同じように、クリアな画像56及び劣化画像58
が、しきい値TA及びTIを導き出すために使用される。

【００７６】異なるスケールを有するフィルタの各セッ
トの出力を処理して、ローカライズされた異方性及びエ
ネルギー強度を提供できるということは理解されよう。
任与のポイントにおける係数の異方性及びエネルギー強
度は、統計的な解析から得られるしきい値TA及びTIに対
してそれぞれ比較される。また、増倍ファクター又は修
正ファクターは、どのフィルタの出力が修正の目的で乗
算されるかによって決定される。乗数（マルティプライ
ヤー）の目的は、妥当な画像情報に対応する係数を向上
させて、ノイズに対応する係数を抑制することである。

【００７７】１つの実施態様においてこれが達成される
ようすが、図６に示されている。ここでは、走査された
画像が、配向D1、D2、D3、D4を有する一連の配向調整フ
ィルタの入力に適用される。４つの配向調整フィルタの
各バンクは、スケール特性を持っている。最小のスケー
ルは、S1によって示され、最大のスケールは、S3によっ
て示されている。

【００７８】これによって提供されるのは、やはりスケ
ール又は空間周波数帯特性を持つ配向調整フィルタ・セ
ットによる元の画像の処理又はコンボルーションであ
る。したがって、元の画像を、空間周波数帯及び配向に
関して、解析することができる。

【００７９】各フィルタの出力から値のマトリックスを
提供することは可能である。係数の各ポイントに対して
１つを与える。そこにおいてマトリックスには、すべて
の方向に適用できる各スケールに対応した異方性termが
含まれる；また、強度又はエネルギーterm、各スケール
に対応して１つ、スケール内のフィルタの各方向に対し
て１つ。

【００８０】位置x 、y における各ピクセルに関してこ
れらの値を得た後は、50において達成される係数の修正
を以下のようにして提供することができる。

【００８１】ASX が、TASXよりも大きい場合、異方性に
関する修飾子MAは１に等しいものとする。そうならない
場合は、MAはO に等しいものとする。同じように、ISX
がTISXD よりも大きい場合、修飾子MAは１に等しいもの
とする。それ以外の場合は、そうならないものとする。

【００８２】数値MA及びMIを得た後で、MA = 1又はMI =
1となる場合、１は、SXD の出力に１をかけることを意
味する。それ以外の場合は、０をかける。

【００８３】この単純な１、０乗数システムは、実際
に、x 、y における係数が真の画像とノイズのうちのど
ちらを表しているのかを区別する。真の画像信号を表し
ていると判断される場合は、このポイントにおける係数
は、“１”によって乗算され、ノイズ信号であると判断
される場合は、０によって乗算される。それによって、
ノイズが向上画像から除去される。

【００８４】各修飾子46の出力は、対応する合成フィル
タ48の入力に適用される。合成フィルタは、解析フィル
タ44として利用される配向調整フィルタと同等である。
合成フィルタ48の出力は、加算ジャンクション60、62、
64においてそれぞれ加算され、S1、S2、S3に対応する３
つの帯域における再構成に利用される。加算ジャンクシ
ョン60、62、64の出力は、さらなる加算ジャンクション
66において加算され、その結果前記の向上画像が提供さ
れる。

【００８５】スイッチ68によって示されているオプショ
ナルな向上の場合は、低域フィルタ70及び72を利用し
て、モディファイされていない低域要素を提供すること
ができる。また、高域フィルタ74を、従来のコアリング
76とともに使用して、向上を提供することができる（通
常は、先行技術の一次元コアリングに関連している）。

【００８６】向上の結果は、図24及び25で確認すること
ができる。そこにおいて、図24の非向上画像には、かな
りの量のノイズ及びぼけが含まれている。一方、図25の
画像に関しては、すべてのライン及びエッジは、絵画的
でない好ましい方法で向上している。図から分かる通
り、頭の下方のところの頭髪は、向上画像においてかな
り強調されているが、いくつかの先行技術の例とは違っ
て、キャンセルアウトされていない。

【００８７】図７〜10に関して言うと、ここでは一連の
ディジタル処理された４つの方向の配向調整フィルタが
示されている。これらのフィルタは、ディジタル・フィ
ルタである。また、ここに示されている表現は、これら
のフィルタによって処理された画像の係数である。そこ
において、画像は元は等方的なゾーンプレートである。
つまり、これらの図は、フィルタの方向伝達関数を示し
ている。

【００８８】図11〜14には、図７〜10の配向調整フィル
タによる前記の等方的なゾーンプレート画像のコンボル
ーションの結果、例えば係数が示されている（図23に示
されている最高帯域周波数に相当するスケールの最小
値、S1に対応する）。

【００８９】図15〜18の係数は、スケールS2に対応して
いて、図19〜22の係数は、スケールS3に対応している。

【００９０】このように、このシステムは、修飾子の設
定及びコンボルブされた元の画像の処理（さらなる向上
のために、少なくとも3 つの通過帯域において行う）の
ための情報を提供する。

【００９１】図26は、関連の係数を導き出すための解析
段階に関するものである。この例では、関連の係数は、
異方性及び係数の強さに関するしきい値に関与してい
る。

【００９２】解析は、前記のテクニックに基づいて行わ
れる。そこにおいては、ノイズの多い画像及びクリーン
な画像が利用され、ノイズの多い画像をクリーンな画像
に変換する関数が導き出される。その場合は、任与の位
置における係数の値に適切な数値がかけ合わせられる。
係数は、ディジタル・フィルタリング・システムによる
画像のコンボルーションとして得られる。このシステム
は、画像を、方向性及びスケールに関してコンボルート
する。

【００９３】図27に示されているのは、ピラミッド・タ
イプの画像分解テクニックを利用するシステムである。
ここにおいて、ノイズの多い画像80は、方向性フィルタ
82、84、86、88によってコンボルブされ、その結果、係
数90、92、94、96がそれぞれ生成される。このコンボル
ーション・プロセスにおいて、結果として得られる係数
が第一スケールS1を伴うことは理解されよう。S1は、一
般に、解析のための最高周波数帯に対応する。

【００９４】配向調整フィルタ82、84、86、88がどのよ
うに形成されるかは、MIT Media Laboratory、Vision a
nd Modeling Report #161 revised July, 1991に記され
ている。なお、これらのフィルタの特徴は、前に述べた
William T. Freeman及びEdward H. Adelson による文献
に記されている。文献のタイトルは、Steerable filter
s for early vision, image analysis、and wavelet de
composition. IEEE 3rd Intl. Conf. Computer Vision,
Osaka, Japan, December, 1990.である。この文献にお
いては、steerable なベース・セットを形成するために
ピラミッドの各レベルにおいて利用される４つの帯域フ
ィルタが記述されている。ピラミッド・フィルタは、０
度、45度、90度、及び135 度に配向される。しかし、フ
ィルタの配向に対応した係数は、４つのフィルタ出力を
線形的に組み合わせて、見いだすことができる。この文
献でも述べられている通り、フィルタが各スケール又は
レベルにおいて再び適用されると、ピラミッドは元の画
像のフィルタリング化バージョンに戻る（ほぼ元通りに
なる）。このように、これらのフィルタによって提供さ
れるsteerable なピラミッド画像変換を利用することに
よって、すべてのスケールに渡る配向解析を制御するこ
とができる。

【００９５】この文献にも記されている通り、ピラミッ
ドは、元の画像を再構成できるという点において完全な
表現性を持っている。また、ピラミッドは自動反転的で
ある。つまり、ピラミッドを作成するために使用された
フィルタが、再構成にも使用される。

【００９６】なお、“操作可能なフィルタ”という用語
は、任意の配向のフィルタが、“ベース”フィルタのセ
ットの線形的な組み合せとして合成されるようなフィル
タのクラスを記述するために使用される。小さな回転角
度によって互いに異なる同じフィルタの多くのバージョ
ンを提供するのではなく、操作可能性に対するより効率
的なアプローチでは、いくつかの角度に対応した少ない
フィルタが適用され、反応と反応の間に内挿される。必
要とされるフィルタの数及び反応と反応の間に適切に内
挿する方法について知る必要がある。適切なフィルタ・
セットと正しい内挿率によって、任意の配向のフィルタ
の反応を判断することができる（そのフィルタを明示的
に適用せずに）。

【００９７】このテクニックは、本発明のケースにおい
ては、画像を向上させる目的で、図27のピラミッド構造
（方向性及びスケールに関してコンボルブされた係数を
提供するために使用される）とともに使用される。

【００９８】スケールS1以外のスケールにおけるコンボ
ルーションを生成するために、低域フィルタ100 が、ノ
イズの多い画像と、他のそれぞれのピクセルを選択又は
サンプリングするサブサンプリング・ユニット102 との
間に使用される。その出力は、配向調整フィルタ104 、
106 、108 及び110 の同じようなセットに適用される。
これらのフィルタの出力は、112 、114 、116 、118 に
おいて示されているスケールS2における係数である。出
力画像のサイズが、サブサンプリングされていない画像
の半分であることは理解されよう。

【００９９】これは、中間空間周波数帯における処理を
提供する。最低空間周波数帯処理は、サブサンプリング
・ユニット102 の出力に連結された低域フィルタ120 に
よって提供される。その出力は、さらにサブサンプリン
グ・ユニット122 に連結される。

【０１００】さらに、サブサンプリング・ユニットの出
力は、配向調整フィルタ124 、126、128 、130 に連結
される。その出力は、スケールS3における係数132 、13
4 、136 、138 である。

【０１０１】３つのスケールごとの係数のセットを導き
出した後、結果は、統計的な解析ブロック140 に適用さ
れる。その目的は、関与する特定の画像に対して、しき
い値TA及びTIを設定する方法を確定することである。

【０１０２】図28に関して言えば、前記のディジタル・
フィルタリング及びピラミッド処理によって生成される
12の係数のマトリックスを通じて統計的な解析を開始で
きることは理解されよう。

【０１０３】しかし、得られた12の係数のそれぞれに対
応して、クリーンな画像とノイズの多い画像を比較を行
う必要はない。

【０１０４】図28の係数に対応した各スケールの累積ヒ
ストグラムを提供すれば十分である。

【０１０５】図29に示されている結果は、３つの異なる
スケールのノイズの多い画像に対応するヒストグラムの
セットである。これらは、累積ヒストグラムを提供する
ために、各スケールの係数を加算することによって生成
される。それぞれのヒストグラムのグラフには、異方性
A が、強さI の関数として示されている。各スケールに
対応するしきい値TA及びTIは、各スケールに関して図30
に示されているようなクリーンな画像の累積ヒストグラ
ムと比較することによって設定される。

【０１０６】異なるスケール又はピラミッド・レベルご
とに異方性及び強さのしきい値を計算するには、まず最
初に、異方性及び強さの組のヒストグラム・プロットを
作成する。これは、画像全体、及び特定のスケールS に
おけるすべての配向に関して累積的なものである。これ
は、クリーンな画像及びノイズの多い画像に対して実施
される。プロットは、図29及び30に示されている通りで
ある。強さの軸に沿った対数スケール、及び異方性の軸
に対応した線形的なスケールが利用される。クリーンな
画像及びノイズの多い画像から派生するヒストグラムを
比較することにより、係数の２つの個別なクラスタを識
別することができる。このクラスタリングは、視覚的な
検査又は標準的な統計クラスタリング手順によって行う
ことができる。１つのクラスターは、ノイズの多いヒス
トグラムとクリーンなヒストグラム間において比較的コ
ンスタントであり、これは、好ましい画像情報として識
別される。他のクラスタは、ノイズの多い画像とクリー
ンな画像との間でかなりの開きがあり、これは、好まし
くないノイズ情報として識別される。“クリーン”な画
像の中にもノイズ・クラスタはある。これは、定常的な
小さい振幅ノイズのせいである。なお、図29及び30のヒ
ストグラムにおいて、強さの軸は対数であり、乗法的な
差異に対応する線形オフセットを表す。

【０１０７】ノイズの多い画像から得られるヒストグラ
ムのノイズ・クラスタを識別した後は、ノイズ・クラス
タを十分に除去できるように、異方性及び強さのしきい
値を設定する。場合によっては、例えば、S1スケールに
対応して示されているヒストグラムに関して、強さ／異
方性ヒストグラムにおける２つの明確なクラスタを識別
できないことがある。この場合は、最良のエクステント
であると想定されるノイズ・クラスタを隔離するしきい
値レベルを選択するか、試行錯誤によって、視覚的に好
ましい向上画像を提供できるよう、強さ／異方性しきい
値を決定する。

【０１０８】このプロセスは、図31のブロック150 及び
152 に示されている。これによって、各スケールに対応
したTA及びTIが導き出される。

【０１０９】しきい値TA及びTIを導き出した後は、図32
及び33に示されている処理段階において、向上画像が生
成される。図32に関して言うと、向上させる画像は、16
0 において走査され、出力は、配向調整フィルタ162 、
164 、166 に適用される。これらのフィルタは、図27の
フィルタ、82〜88、104 〜110 、及び124 〜130 と同等
である。これらのフィルタのバンクは、ピラミッド構造
における帯域フィルタに相当する。それらは、処理段階
に関しては、解析段階と同等である。既に述べた通り、
低域フィルタ100 、120 、及びサブサンプリング・ユニ
ット102 、122の存在に着目する必要がある。

【０１１０】各修飾子170 〜192 に対する乗数を提供す
るため、配向調整フィルタの出力（ここでは194 におい
て示されている）が、スクエアリング回路196 に適用さ
れ、さらにブラーリング回路198 に適用される。その出
力は、しきい値TIと比較され、この配向調整フィルタに
対応した０〜１までの数値が提供される―ここでは、特
性がD1及びS1であるフィルタ。比較及び数値の生成は、
ユニット200 において行われる。

【０１１１】フィルタ194 の出力は、ユニット202 にも
適用される。ユニット202 では、分散／平均が計算され
る。その出力は、コンパレータ204 に適用され、それに
よって、しきい値TAとの比較が行われた後の異方性に対
応する１〜０の数値が生成される。コンパレータ204 又
は200 の出力が“１”の場合、フィルタ194 に連結され
た修飾子206 に対応する乗数は、“１”である。それ以
外の場合は、０である。この関数は、加算ジャンクショ
ン208 によって示される。ピラミッド構造によって提供
される各スケールに対応した各配向調整フィルタの修飾
子が、この方法によって得られることは理解されよう。
その場合に、フィルタからの係数にはこの修飾子がかけ
合わせられ、結果は、図33に示されている通りに、配向
調整フィルタの同一のセットに適用される。ここでは、
参照文字220 、222 、224 によって示されている。

【０１１２】セット220 からの配向調整フィルタの出力
は、加算ジャンクション226 において加算され、セット
222 からの出力は加算ジャンクション228 において加算
される。また、セット224 からの出力は、加算ジャンク
ション230 において加算される。加算ジャンクション23
0 は、加算ジャンクション232 を介して、アップサンプ
ル・ユニット234 に連結されている。さらに、アップサ
ンプル・ユニットは、低域フィルタ236 に連結されてい
る。低域フィルタ236 の出力は、最低域要素であり、23
8 において、中間帯域周波数要素に加算される。それら
は、240 において再びアップサンプルされ、低域フィル
タ242 を経て、加算ジャンクション244に至る。そこに
おいて、最高域要素が加算される。結果として、ライ
ン、エッジ、及び他の真の画像要素が含まれていて、ノ
イズが最小限に抑えられた向上画像が得られる。

【０１１３】さらなる向上を達成するには、通常の低域
未処理ビデオ要素を提供するために低域フィルタ246 、
248 をサブサンプラー122 に連結できること、及び標準
的なコアリング・ユニット252 に連結された高域フィル
タ250 によって、加算ジャンクション244 において向上
画像に追加する従来の高域コアリング化要素を提供でき
ることは理解されよう。

【０１１４】本発明による向上メソッドを使用して、
“高分解能”を達成することもできる。それによって、
サイズN1 x M1 ピクセルの画像を、N2 x M2 ピクセルの
画像に変換することができる。その場合のN2 N1 及び
M2 M1。例えば、それを使用して、標準ビデオ画像の見
かけの解像度を、高精細度テレビ画像の解像度に向上さ
せることができる。

【０１１５】例えば、512 x 512 ピクセルの画像の解像
度を、1024 x 1024 に向上させたい場合、１つの方法と
しては、以下のように行うことができる。まず第一に、
bicubic 内挿などの標準的な方法を使用して、元の512
x 512 画像を内挿する。この画像は、低い解像度の画像
に基づくものである。したがって、最高空間周波数を欠
いているので、ぼやけて見えたりする。このぼやけた状
態は、画像デグラデーションの形式としてみなすことが
できる。そこで、画像を上記の“デブラーリング（debl
urring）”プロセスにかけることができる。

【０１１６】以下の統計的な方法によって、デブラーリ
ング・プロセスを最適化することもできる。1024画像
で、フィルタリング及びサブサンプリングを行って、51
2 画像を得る。そして、内挿して、1024画像に戻す。次
に、元の1024画像と内挿した1024画像に対して変換を実
行する。変換における係数間の差異によって、デブラー
リング修飾子を最適化するのに必要な統計的な情報が提
供される。

【０１１７】もう１つの“高分解能”メソッドにおいて
は、任与の512 画像の変換係数に基づいて直接的に、好
ましい1024画像の変換係数を、予測する。1024変換は、
512変換とは異なる（特別なレベルの解像度を解像度を
持つという点で）。

【０１１８】共有されるレベルに関して、1024変換係数
は、残して1024係数と同等にすることができる。その場
合の問題は、未知の係数を、最高周波数帯に埋め込むこ
とである。そのような各係数は、関連の位置、配向、又
はスケールを伴う他の帯域内の既知の係数に基づいて最
も効果的に評価することができる。また、最良のestima
tor は、輝度テーブルで構成することができる。輝度テ
ーブルは、フィルタリング及びサブサンプリングにおい
て1024ピクセル画像が512 ピクセル画像にマップされる
ときのようすを統計的に解析することを通じて決定され
る。

【０１１９】特殊な解析／合成フィルタの設計に関して
は、変換のフィルタ・カーネルに、極性分離可能設計戦
略（polar separabledesign strategy）を使用すること
ができる。設計における放射周波数（スケール）部分に
ついて、説明する。

【０１２０】ピラミッド・アルゴリズムは、再帰的なフ
ィルタリング及びサブサンプリング演算に基づいてい
る。通常の場合、入力信号は、低域部分と高域部分に分
割され、低域部分がサブサンプリングされて、サブディ
ビジョンが再帰的に繰り返される。現在のケースにおい
て、信号は低域部分と帯域通過部分（bandpass portio
n）に細分されている。帯域通過部分は、環形を形成す
る。それに対して配向におけるsteeringが行われる。低
域部分は、次の再帰的段階のための入力を形成する。こ
の分解を達成するためには、新規的な帯域ピラミッド・
アーキテクチャを実施する。そこにおいて、システムの
全体的な反応は、低域となる。

【０１２１】まず第一に、入力信号を、帯域通過（band
pass）カーネル B( ω) 及び低域カーネル L1(ω) でコ
ンボルブする。帯域通過部分においてエイリアシングが
存在しないようにするには、サブサンプリングを行わな
いようにする。低域部分は、２の因数によってサブサン
プリングされ、さらに別の低域カーネルL0( ω) によっ
てコンボルブされる。

【０１２２】標準の信号処理結果を使用し、低域ブラン
チのサブサンプリングによってエイリアシングが導入さ
れないことを想定する場合は、システムの反応を以下の
ように書く。 S(ω) = ｜B(ω) ｜²+ ｜L1( ω) ｜²｜L0(2ω) ｜² B(ω) は帯域通過、L1( ω) は低域を表すことから、S
(ω) は、低域特性を持つことになる。したがって、高
域residual画像は、元の画像を再構成するために、保持
しなければならない。その代わりに、元の画像を、stee
rable なピラミッドに適用する前に、アップサンプルす
ることもできる（後になってダウンサンプルを行う）。

【０１２３】システムを再帰的にカスケードするには、
システムの一部分を、システム全体で置き換えられるよ
うにしなければならない。したがって、S(ω) = [L0
(ω)]２が要求される。これによって、フィルタ表現を
再帰的にカスケードすることができる。帯域通過フィル
タB(ω) に対する結果的な束縛は、以下の通りである。｜L0( ω) ｜²= ｜B(ω) ｜²+ ｜L1( ω) ｜²｜L0(2ω) ｜² この束縛は、フィルタの設計において使用しなければな
らない。

【０１２４】フィルタ設計に関する他の束縛は、サブサ
ンプリング演算によって、低域ブランチにエイリアシン
グを導入してはならないということである。これによっ
て、低域フィルタL1( ω) が、w=π/2を超える範囲にお
いてゼロ反応を伴うべく厳しく制約されるように見え
る。しかし、実際の束縛はよりゆるやかである。サブサ
ンプリング演算の後の低域フィルタL0( ω) は、エイリ
アシングされた要素（サブサンプリングされたドメイン
において高周波数を伴っている）のほとんどを除去す
る。したがって、７−タップ２項低域フィルタが周波数
ドメインにおいてかなりおだやかに作用するように使用
される：l1[n] = 1/64. [1,6,15,20,15,6,1]

【０１２５】L0(ω) フィルタとシステム反応S(ω）の
どちらかを選択する自由がある。それは、システム全体
の低域反応を表すので、それを0 からπ/2ラジアンのユ
ニティ、及びw=πにおけるゼロにする必要がある。Park
s-McClelian アルゴリズムを使用して、これらの基準に
最もよくマッチする13−タップフィルタを見いだすこと
ができる。

【０１２６】２つの低域フィルタを指定した後、帯域通
過フィルタは、上記の等式において与えられる再帰関係
によって束縛される。対称的な15−タップ帯域通過フィ
ルタが提供され、最大エラー振幅が最小化される。単体
アルゴリズムが、フリー・パラメータの８次元スペース
を探索するために使用される。結果は、帯域通過フィル
タの反応になって現れ、好ましい周波数反応からのパワ
ーの最大偏向度は、約3.5 パーセントとなる。

【０１２７】角周波数要素設計に関しては、角中心h
(θ)= cos³( θ) を選択することができる。これは、
標準的な三角法の恒等式を使用し、シヌソイド高調波に
基づいて表現することができる。変換可能性に必要とさ
れる角ベース関数の数及び内挿関数は、操作に関する既
知の等式によって決定される。このケースを解くことに
よって、内挿関数が与えられる。

【０１２８】なお、４つの配向の線形的な組み合せによ
り、 cos³( θ) ベース関数の任意の角変換を合成する
ことができる。

【０１２９】二次元フィルタ設計に関しては、既知の周
波数変換方法を使用して、上記の一次元ラジアル・フィ
ルタを、二次元フィルタに変換することができる。これ
らの二次元フィルタは、一次元的設計において使用され
た帯域通過フィルタに対する束縛を満足させる。

【０１３０】角フィルタ設計は、二次元帯域通過フィル
タと組み合わせて行う。角変化（angular variation ）
は、十分にゆるやかであり、“周波数サンプリング”方
法をフィルタ設計に使用することができる。４つの好ま
しい角反応、 cos³( θ−θn)をかけ合わせることによ
って、帯域通過カーネルのフーリエ変換を計算し、さら
に反転フーリエ変換を計算して、ベース・フィルタ・イ
ンパルス反応を導き出す。

【０１３１】操作可能なピラミッド変換が、自動反転的
であることは理解されよう。配向フィルタを２つの次元
に適用するときは、コンボルーションの結果は、空間的
にはサブサンプリングされない。したがって、これらの
サブバンドは、空間的にシフト可能となる。低域ラジア
ル・フィルタは、エイリアスを防止するために設計され
た。したがって、低域信号も空間的にシフト可能とな
る。周波数ドメインにおいては、角及びラジアル要素の
設計によって、ベース関数の平方の和を、配向及びスケ
ールの関連のレンジに関してコンスタントなものにする
ことができる（つまり、L0( ω) の通過帯域に対し
て）。したがって、ピラミッドは、自動反転可能とな
る。

【０１３２】このように、操作可能な変換の場合は、本
発明によって、すべての配向及びスケールに対応したす
べてのフィルタ反応をとることができる。それらを平方
したり加算したりし、結果は、フーリエ平面のすべての
位置においてユニティとなる。高域及び低域の残りによ
って占められる領域は、除外される。

【０１３３】特定配向に調整されたフィルタの一実施例
を下記の通り示す。

【０１３４】フィルタ明細：数字はフィルタのタップ値
を表す。コンボリューション中心の異なる列は数字の列
の間の余白に描かれている。

【０１３５】帯域フィルタ（15×15サイズのコンボリュ
ーション中心）

【０１３６】

【表１】

【０１３７】配向０（垂直）

【表２】

【０１３８】

【表３】

【０１３９】配向１のフィルタタップ（15×15）

【表４】

【０１４０】

【表５】

【０１４１】

【表６】

【０１４２】

【表７】

【０１４３】配向２のフィルタタップ（15×15）

【表８】

【０１４４】

【表９】

【０１４５】

【表１０】

【０１４６】配向３のフィルタタップ

【表１１】

【０１４７】

【表１２】

【０１４８】

【表１３】

【０１４９】

【表１４】

【０１５０】ローパスフィルタ（７×７サイズコンボ
リューション中心）

【表１５】

【０１５１】帰納終了ローパスフィルタ（13×13サイズ
コンボリューション中心）

【表１６】

【０１５２】

【表１７】

【０１５３】

【表１８】

【０１５４】下記はコモンＬＩＳＰプログラム言語と共
同して用いられるプログラムリストであり、マサッチュ
ーセッツ州ケンブリッジのマサチューセッツ工科大学の
エイメスストリート20、エムアイティーメディア研究所
ビジョンアンドモデリンググループから入手可能であ
る。

【０１５５】

【表１９】

【０１５６】

【表２０】

【０１５７】

【表２１】

【０１５８】

【表２２】

【０１５９】

【表２３】

【０１６０】

【表２４】

【０１６１】

【表２５】

【０１６２】

【表２６】

【０１６３】

【表２７】

【０１６４】

【表２８】

【０１６５】

【表２９】

【０１６６】

【表３０】

【０１６７】

【表３１】

【０１６８】

【表３２】

【０１６９】

【表３３】

【０１７０】

【表３４】

【０１７１】

【表３５】

【０１７２】

【表３６】

【０１７３】

【表３７】

【０１７４】

【表３８】

【０１７５】

【表３９】

【０１７６】

【表４０】

【０１７７】

【表４１】

【０１７８】

【表４２】

【０１７９】

【表４３】

【０１８０】

【表４４】

【０１８１】

【表４５】

【０１８２】

【表４６】

【０１８３】

【表４７】

【０１８４】

【表４８】

【０１８５】

【表４９】

【０１８６】

【表５０】

【０１８７】

【表５１】

【０１８８】

【表５２】

【０１８９】

【表５３】

【０１９０】

【表５４】

【０１９１】

【表５５】

【０１９２】

【表５６】

【０１９３】

【表５７】

【０１９４】

【表５８】

【０１９５】本発明の好ましい実施態様は上記の通りで
あるが、当業者にとっては、本発明の主旨に沿って修正
及び変更を行うことは可能であろう。本発明の範囲の定
義は、添付の請求の範囲に述べられている通りである。

【図面の簡単な説明】

本発明のこれらの特徴及び他の特徴は、詳細な説明及び
図面を参照することによってより良く理解されよう。

【図１】本発明の統計的解析又はトレーニング・フェー
ズに関するブロック図である。ここでは、クリーンな画
像及び劣化画像に対して演算を実行する。つまり、劣化
係数とクリーンな係数の差異を解析して修飾子関数を導
き出し、それに基づいて関数又は輝度テーブルを導き出
す。

【図２】先行技術システムのブロック図である。修飾子
は、係数値のみを因子とする関数であることが示されて
いる。

【図３】ブロック図である。本発明によるシステムで
は、修飾子は、係数値だけではなく関連の係数値をも因
子とする関数であることが示されている。

【図４】本発明の処理段階のブロック図である。画像が
走査されて、マルチスケール画像分解の対象になり、修
正関数輝度テーブルによって決定される値と係数値が乗
算されて係数が修正され、向上係数のセットが、反転し
たマルチスケール分解ユニットに提供されて、向上画像
が得られるまでのようすが示されている。

【図５】図１及び図４に示されているシステムの詳細な
ブロック図であり、同一の解析／合成フィルタを含んだ
自動反転変換のようすが示されている。ここでの解析フ
ィルタは、マルチスケール分解及び配向調整フィルタリ
ングを提供する。また、画像物理に基づく係数修正に
は、係数値及び関連の係数値が関与する。関連の係数値
は、クリアな画像及び劣化画像のマルチスケール画像分
解の統計的な解析から導き出される。

【図６】図５のシステムの一部分を示した拡大ブロック
図である。ここでは、マルチスケール分解方法、配向調
整フィルタリング、及び各配向調整フィルタの出力に必
要な係数修正を提供するためのアルゴリズムが示されて
いる。配向調整フィルタの出力は、解析フィルタと同一
である合成フィルタに入力される。それによって、自動
反転変換が提供され、その出力が、要求される向上画像
となる。

【図７】

【図８】

【図９】

【図１０】図６に示されているシステム用の３つのスケ
ールとともに使用される配向調整フィルタをそれぞれ表
したものである。

【図１１】

【図１２】

【図１３】

【図１４】スケールS1（元の画像がゾーンプレートとな
る）に関連した配向調整フィルタで元の画像をコンボル
ブすることによって得られる係数を図形的に表したもの
である。

【図１５】

【図１６】

【図１７】

【図１８】スケールS2に関連した配向調整フィルタで元
の画像をコンボルブすることを図形的に表したものであ
る。

【図１９】

【図２０】

【図２１】

【図２２】スケールS3に関連した配向調整フィルタで元
の画像をコンボルブすることを図形的に表したものであ
る。

【図２３】空間周波数と、スケールS1、S2及びS3を有す
るフィルタの輝度帯域特性の関係を示したグラフであ
る。図６のシステム用のマルチスケール分解帯域のレン
ジが示されている。

【図２４】

【図２５】それぞれ、図１のシステムによって生成され
た非向上画像及び向上画像である。画像のエッジ、ライ
ン、及び他の視覚的に重要な部分が強調され、ノイズが
抑制されている。

【図２６】図27,28,29,30 及び31の流れを示したもので
ある。

【図２７】ブロック図である。図１のシステムの１つの
実施態様の解析段階が示されている。ここでは、係数S
1、D1-4； S2 、D1-4；及びS3、D1-4を導いて、しきい
値TA、TIを導く統計的解析を行えるようにするための流
れが示されている。

【図２８】統計的な解析の開始を図形的に示したもので
ある。ここでは、係数SX、D1-4が導き出されている。

【図２９】３つのスケールS1、S2、S3と各スケールごと
のしきい値TA、TIに対応した、ノイズの多い画像ヒスト
グラムの組み合せを示している。

【図３０】スケールS1、S2、S3に対応したクリアな画像
ヒストグラムの組み合せを示している。

【図３１】ブロック図である。ここでは、３つのスケー
ルに対応したノイズの多い画像の累積ヒストグラムと、
３つのスケールに対応したクリーンな画像の累積ヒスト
グラムが比較されている。それによって、スケールS1、
S2、S3用の係数をモディファイするためのしきい値を導
き出すことができる。

【図３２】図27の解析段階に対応する処理段階を詳細に
示したブロック図である。ここでは、３つの各スケール
に対応した走査画像のための信号処理が示されている。
配向調整フィルタ出力に対応して修飾子が導き出される
過程も含まれている。

【図３３】詳細なブロック図である。ここでは、図32で
得られた出力が利用されていて、対応する修飾子の出力
を入力とする合成フィルタ又は再構成フィルタを利用す
ることによって向上画像が再構成されるようすが示され
ている。また、低域フィルタリング、高域フィルタリン
グ及びコアリングを通じた追加的な向上のようすも示さ
れている。

【符号の説明】

18 係数 20 係数 30 画像 34 マルチスケール画像分解ユニット 36 輝度テーブル 44 配向調整フィルタリング・ユニット 48 合成フィルタ 56 クリアな画像 58 劣化画像 60 加算ジャンクション 68 スイッチ 70 低域フィルタ 74 高域フィルタ 80 ノイズの多い画像 82 配向調整フィルタ 102 サブサンプリング・ユニット

───────────────────────────────────────────────────── フロントページの続き (72)発明者エドワード・エイチ・アデルソンアメリカ合衆国、02139 マサチューセッツ州ケンブリッジ、フランクリン・ストリート 551、ナンバー２

Claims

【特許請求の範囲】

【請求項１】ノイズ及び他のアーティファクトを除去
して画像を向上させるための装置において、前記画像を走査するための装置と、前記画像をさまざまなセットの係数にコンボルブするた
めの前記走査装置に連結された装置であって、係数の各
セットが、既定の空間周波数帯域通過特性に対応する既
定のスケールを持ち、さらに係数の各セットが、前記画
像を多くの解析フィルタでコンボルブすることから得ら
れ装置と、前記各係数をモディファイして、係数の既定部分に既定
の修飾子をかけ合わせることによってノイズに対応する
係数のそれらの部分を除去するモディファイ装置であっ
て、前記係数の前記既定部分の値及び関連の係数の値を
解析することにより修飾子を得るための装置を含むモデ
ィファイ装置と、前記のモディファイされた係数から向上画像を再構成す
るための装置であって、多くの合成フィルタを含む再構
成装置とを備える装置。
【請求項２】請求の範囲１記載の装置において、前記
解析フィルタ及び前記合成フィルタに関連した変換は、
自動反転であることを特徴とする装置。
【請求項３】請求の範囲１記載の装置において、前記
解析フィルタは操作可能であることを特徴とする装置。
【請求項４】請求の範囲１記載の装置において、前記
のコンボルブするための装置には、ピラミッド処理装置
が含まれ、その場合に、係数の各セット間のサブサンプ
リングがとられ、前記の異なるスケール及び前記の異な
る帯域通過特性が提供されることを特徴とする装置。
【請求項５】請求の範囲１記載の装置において、装置
には、さらに前記走査装置及び前記再構成装置に連結さ
れた低域フィルタリング装置が含まれ、それによって未
処理の走査画像の低域部分を通過して、向上画像のより
良好な再構成が可能になることを特徴とする装置。
【請求項６】請求の範囲１記載の装置において、装置
には、さらに前記走査装置及び前記再構成装置に連結さ
れた高域／コアリング装置が含まれ、それによってコア
リング・オペレーションが前記の画像の向上にオーバレ
イされることを特徴とする装置。
【請求項７】請求の範囲１記載の装置において、前記
の解析フィルタは配向調整フィルタであることを特徴と
する装置。
【請求項８】請求の範囲７記載の装置において、前記
の配向調整フィルタは、操作可能であることを特徴とす
る装置。
【請求項９】請求の範囲８記載の装置において、前記
の合成フィルタは、前記の解析フィルタと同一であるこ
とを特徴とする装置。
【請求項10】請求の範囲９記載の装置において、前記
の解析フィルタ及び合成フィルタに関連した変換特性
は、自動反転変換であることを特徴とする装置。
【請求項11】請求の範囲10記載の装置において、前記
解析フィルタ及び前記合成フィルタは、平方及び加算さ
れてフーリエ平面のすべての位置において同等な単位元
となる際にすべての配向及びスケールに対してフィルタ
反応を有するが、高域及び低域の残りによって占められ
る領域は除外されることを特徴とする装置。
【請求項12】請求の範囲１記載の装置において、前記
修飾子は、異方性及び強さを、関連の係数から派生する
異方性及び強さのしきい値と比較することから得られる
数値であることを特徴とする装置。
【請求項13】請求の範囲12記載の装置において、前記
のしきい値は、ノイズの少ないクリーンな画像及びノイ
ズの多い劣化画像のマルチスケール分解に基づく解析か
ら得られるものであることを特徴とする装置。
【請求項14】請求の範囲13記載の装置において、前記
の解析には、累積的なクリーンな画像及び劣化画像の係
数のヒストグラムを導いてそれらを比較することが含ま
れることを特徴とする装置。
【請求項15】画像向上システムにおいて、前記システ
ムは、画像、前記画像のマルチスケール分解を、操作可
能な配列調整解析フィルタで実行して、係数のセットを
得るための装置、前記の係数をモディファイしてノイズ
を除去するための装置、及び前記のモディファイされた
係数から前記画像を再構成するための合成フィルタを含
んだ装置から構成されることを特徴とするシステム。
【請求項16】請求の範囲15記載の前記システムにおい
て、前記のマルチスケール分解装置には、ピラミッド処
理装置が含まれることを特徴とするシステム。
【請求項17】請求の範囲15記載の前記システムにおい
て、前記フィルタに関連した変換は、自動反転であるこ
とを特徴とするシステム。
【請求項18】画像向上システムにおいて、前記システ
ムは、画像、前記画像のマルチスケール分解を、解析フ
ィルタのセットで実行し、係数のセットを導くための装
置、前記の係数をモディファイしてノイズを除去するた
めの装置、及び前記のモディファイされた係数から前記
画像を再構成するための合成フィルタが含まれている装
置から構成され、前記フィルタに関連した変換は自動反
転であることを特徴とするシステム。
【請求項19】請求の範囲16記載の前記システムにおい
て、前記のマルチスケール分解装置には、ピラミッド処
理装置が含まれることを特徴とするシステム。
【請求項20】マルチスケール分解、係数の変形及び再
構成を通じて画像を向上させるために使用する配向性の
整った解析／合成フィルタ・セットにおいて、前記セッ
トは、解析フィルタ及び合成フィルタのセットから構成
され、それぞれのフィルタは、あるフィルタ反応を有
し、前記のフィルタ反応のすべては、平方及び加算され
たときに、フーリエ面のすべての位置において単位元に
なり、高域及び低域の残りによって占められる領域は除
外され、前記フィルタに関連した全体的な変換は自動反
転であることを特徴とするフィルタ・セット。