JP4035474B2 - ウェーブレット係数を用いた非線形画像処理方法、装置 - Google Patents
ウェーブレット係数を用いた非線形画像処理方法、装置 Download PDFInfo
- Publication number
- JP4035474B2 JP4035474B2 JP2003110749A JP2003110749A JP4035474B2 JP 4035474 B2 JP4035474 B2 JP 4035474B2 JP 2003110749 A JP2003110749 A JP 2003110749A JP 2003110749 A JP2003110749 A JP 2003110749A JP 4035474 B2 JP4035474 B2 JP 4035474B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- interpolation
- wavelet
- result
- grid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000003044 adaptive effect Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 117
- 238000000034 method Methods 0.000 abstract description 82
- 238000009499 grossing Methods 0.000 description 55
- 238000000354 decomposition reaction Methods 0.000 description 38
- 230000014509 gene expression Effects 0.000 description 27
- 239000011159 matrix material Substances 0.000 description 25
- 238000010586 diagram Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 24
- 230000001419 dependent effect Effects 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000000873 masking effect Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000013213 extrapolation Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- OVSKIKFHRZPJSS-UHFFFAOYSA-N 2,4-D Chemical compound OC(=O)COC1=CC=C(Cl)C=C1Cl OVSKIKFHRZPJSS-UHFFFAOYSA-N 0.000 description 1
- 241001125671 Eretmochelys imbricata Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/403—Edge-driven scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4084—Transform-based scaling, e.g. FFT domain scaling
-
- G06T5/70—
-
- G06T5/75—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理の分野に関連し、特に、本発明は、ウェーブレットでのエッジ保存画像補間に関連する。
【０００２】
【従来の技術】
ディジタル画像のサイズ変更はディジタル画像処理ではしばしば行われ、そして、異なるｄｐｉ解像度を有する装置を含むネットワーク環境では益々重要になっている。エイリアスとモアレ歪みは、画像縮小での主な問題であるが、画像の拡大は、画像、特にエッジが平滑化され過ぎない又は不鮮明過ぎないようにするために、どのように高周波数成分を導入するかの問題を扱わねばならない。画像を拡大する典型的な方法は、補間フィルタの使用である。このフィルタは、補間値を予測するために、隣接する画素からの情報を組み込む。例えば、写真画像操作アプリケーションで普通に使用されるフィルタは、双１次又は双３次（ｂｉｃｕｂｉｃ）補間フィルタである。これらのフィルタを使用して、高解像度での完全なステップエッジを生成するために、完全なステップエッジは、補間されることができない。補間されたエッジは、常に少しに不鮮明にみえる。
【０００３】
画像補間の標準的な方法は、多項式補間である。補間多項式の（例えば、１次、２次、３次等の）次数に依存して、画像は幾分滑らかに見える。最も普通に使用される技術は、３次補間と呼ばれる。多項式法の利点は、全体的な線形フィルタリング技術に基づいているので、その単純さである。欠点は、適応補間を実行できず、これにより、エッジが典型的には過度に滑らかにされることである。これは、文書の拡大では大きな欠点である。
【０００４】
多項式補間フィルタの仲間である、Ｋｅｙｓフィルタのような、他の補間フィルタも存在するが、しかし、アンシャープマスキングフィルタの特性を有する、即ち、それらは、エッジで、オーバーシュート−アンダーシュートを生成することにより高周波数成分を向上させそして、オーバーシュート−アンダーシュートはノイズ画素についての生成され、そして、画像内のノイズレベルの増加を導く。全てのこれらのフィルタは、全体の画像上で全体的に動作するので、適応補間はできない。エッジの改善と背景領域の雑音の抑圧の間のトレードオフが存在する。
【０００５】
画素領域で動作し且つ画像からエッジ情報を抽出しそして、その情報をエッジ指示補間を実行するのに使用する、非線形補間法が存在する。１つの方法は、最初に、ガウシャンのラプラシアンを使用して、低解像度画像のエッジマップを計算する。第２のステップで、エッジ情報を使用する低解像度の前処理が、推定された高解像度エッジマップ内の誤差を避けるために、実行される。第３のステップは、そのエッジ情報を使用して補間を実行する。滑らかな領域では、双１次補間が実行される。エッジ付近では、補間された値は、エッジのシャープさを保持する値により置換される。最後に、補間を更に改善するために、繰返し補正ステップが実行される。典型的な繰返しの数は、１０である。これは、非特許文献１を参照する。
【０００６】
他の方法では、低解像度画像の局所共分散が推定されそして、それらの推定値が、古典的なウィナー（Ｗｉｅｎｅｒ）フィルタ補間を実行するのに使用される。局所共分散は、フィルタ係数の一部であり、エッジに沿ったしかしエッジを渡らない平滑化が、実行される。この方法の欠点は、独立したドットが、非常に短いエッジとして扱われるので、補間後に良好に保存されないことである。これは、非特許文献２を参照する。
【０００７】
前述の２つの方法と比較すると、非常に簡単なエッジに敏感な補間法が、非特許文献３で提案されている。この技術は、補間するサンプル値を決定するために、非線形フィルタを採用する。詳しくは、１次元信号に対して、局所線形補間
【０００８】
【数１】
が実行される。ｘｉｎｔが０に近い場合には、補間値は右へのサンプル値と似ており、一方、ｘｉｎｔが１に近い場合には、補間値は左へのサンプル値と似ている。この置換は、補間値に隣接する低解像度信号の平滑化に基づいており、そして、非線形性を介して計算され、
【０００９】
【数２】
ここで、ｋはエッジ感度を制御するパラメータである。ｋ＝０に対して、線形補間が得られ、一方、ｋが正の値の時にはエッジ感度が増加される。この非線形技術の利点は、単純さであり、繰返しは必要ない。この技術の欠点は、パラメータｋが調整されねばならずそして、分離された短いエッジは、拡大されず、そして、補間画像内で僅かに”縮められる”ように見えることである。更に、例えば、ｘｋ−１＝ｘｋ＝１、ｘｋ＋１＝ｘｋ＋２＝０のような、完全なステップエッジの補間は、もはや完全なステップエッジではない：１，１，１，１／２，０，０，０。線形補間が実行される。
【００１０】
図１は、１次元非線形補間法の２次元への拡張を示す概略図である。図１で”ｏ”を含む画素位置は、低解像度画像の画素を示す。２次元への拡張は、１次元法を、マトリクス１０１内で示される、低解像度画像Ｉｌｏｗの行と列へ別々に適用することにより、マトリクス１０２に示されるＩｃｏｍｂに結合された結果を有するように、実行される。失われた値は、マトリクス１０３に示される，結合された画像Ｉｉｎｔ内の行と列上の、補間の平均として補間される。
【００１１】
画像を外挿するためにウェーブレット領域内で画像の多重解像度構造を調査する、幾つかの技術が存在する。ウェーブレットでのエッジ保存画像補間への一般的なアプローチは、低解像度画像のウェーブレット分解へ、追加の高周波数帯を加えることである。幾つかの従来技術は、縮尺又は分解レベルをわたり、ウェーブレット係数の極値を調査することによりエッジの位置を決定する。外挿は典型的には、局所化と極大値の最小２乗適合を要求する。これらのアプローチの問題は、エッジの整列が十分でないことである。より滑らかな画像を外挿するためには、それは重要ではないが、しかし、テキストの外挿についてはむしろ厳しい。この問題を克服する１つの方法は、ダウンサンプルされた高解像度画像を元の低解像度画像へよりよくマップするために、外挿に繰返しを含むことである。更なる情報は、非特許文献４及び非特許文献５を参照する。
【００１２】
１９９８年２月に、発行された、名称「周波数空間での非線形外挿による画像改善（Ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ ｂｙ ｎｏｎ−ｌｉｎｅａｒ ｅｘｔｒａｐｏｌａｔｉｏｎ ｉｎ ｆｒｅｑｕｅｎｃｙ ｓｐａｃｅ）」の特許文献１では、ラプラシアンピラミッドは、滑らかに補間された画象上の修正されたアンシャープマスキングを実行するのに使用される。この場合には、補間された画像内に、適切に完全なエッジを整列することは難しい。
【００１３】
【特許文献１】
米国特許第５，７１７，７８９号明細書
【非特許文献１】
Ａｌｌｅｂａｃｈ，Ｊ及びＷｏｎｇ，Ｐ．Ｗ．著、「エッジ指示補間（Ｅｄｇｅ−ｄｉｒｅｃｔｅｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ）」、ＩＣＩＰ’９８論文集、ｐｐ７０７−７１０、１９９８年。
【００１４】
【非特許文献２】
Ｌｉ，Ｘ及びＯｒｃｈａｒｄ，Ｍ著、「新しいエッジ指示補間（Ｎｅｗ ｅｄｇｅ ｄｉｒｅｃｔｅｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ）」、ＩＣＩＰ’２０００論文集、バンクーバ、２０００年。
【００１５】
【非特許文献３】
Ｃａｒｒａｔｏ，Ｓ．、Ｒａｍｐｏｎｉ．，Ｇ及びＭａｒｓｉ．Ｓ．著、「単純なエッジに敏感な画像補間フィルタ（Ａ ｓｉｍｐｌｅ ｅｄｇｅ−ｓｅｎｓｉｔｉｖｅ ｉｍａｇｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ）」、ＩＣＩＰ’９６論文集、ｐｐ．７１１−７１４、１９９６年。
【００１６】
【非特許文献４】
Ｃａｒｅｙ，Ｗ．Ｋ．、Ｃｈｕａｎｇ，Ｄ．Ｂ．及びＨｅｍａｍｉ．Ｓ．Ｓ．著、「規則性保存画像補間（Ｒｅｇｕｌａｒｉｔｙ−Ｐｒｅｓｅｒｖｉｎｇ Ｉｍａｇｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）」、画像処理（Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）、ｖｏｌ．８，ｎｏ．９、ｐｐ．１２９３−１２９７、１９９９年。
【００１７】
【非特許文献５】
Ｃｈａｎ，Ｓ．Ｇ．，Ｃｖｅｔｋｏｖｉｃ，Ｚ．及びＶｅｔｔｅｒｌｉ，Ｍ．著、「ウェーブレット変換極値外挿を使用する画像の解像度向上（Ｒｅｓｏｌｕｔｉｏｎ ｅｎｈａｎｃｅｎｅｎｔ ｏｆ ｉｍａｇｅｓ ｕｓｉｎｇ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ ｅｘｔｒｅｍａ ｅｘｔｒａｐｏｌａｔｉｏｎ）」、ＩＣＡＳＳＰ’９５論文集（Ｐｒｏｃｅｅｄｉｎｇｓ）、ｐｐ．２３７９−２３８２、１９９５年。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、ウェーブレット変換係数を用いた非線形画像処理方法及び装置を提供することである。
【００１９】
【課題を解決するための手段】
ウェーブレット領域での画像の拡大と解像度の向上のための方法と装置が開示される。一実施例では、この方法は、画像のウェーブレット表現を受信し、ウェーブレット表現はウェーブレット係数を含み、且つ、ウェーブレット領域内のウェーブレット係数上に、局所化された適応補間を実行する。
【００２０】
【発明の実施の形態】
本発明は、以下の詳細な説明と本発明の種々の実施例の添付の図面からさらに完全に理解されるが、しかし、それは、本発明が、特定の実施例に限定されると考えるべきではなく、説明と理解のためのみである。
【００２１】
ウェーブレット変換係数を使用する適応非線形画像拡大のための方法及び装置が開示される。ウェーブレット変換係数は、自然に、画像を、滑らかな部分とエッジ部分に分割する。本発明は、ウェーブレット領域での補間を実行し、そして、滑らかな領域で滑らかな補間を自動的に実行するために且つ高周波数領域でシャープなエッジを予測するために、低域通過及び高域通過係数内の情報を使用する。
【００２２】
ここに記載された技術は、ウェーブレット領域内で適応補間を実行することによる、非線形適応補間の考えへの修正されたアプローチである。一実施例では、これは、（例えば、以下に説明するように、ウェーブレット係数の標準偏差σにより特徴化される）ノイズレベル以上の大きなシャープなエッジを保存し、ここで、エッジは分離され、短いエッジを含みそして、ノイズ画素を向上しない。エッジ感度パラメータｋは、上述の従来技術から除去されておりそして、測定されるメトリック距離を決定するパラメータｐが、使用される。更に、この技術は、アルゴリズムを、任意のウェーブレットシステムと変換へ適応しうる。一実施例では、この技術は、ウェーブレットに基づくノイズ除去及び向上と結合され、そして、それゆえに、ウェーブレットシャープニング及び平滑化（”ＷＳＳ”）技術への有益な追加である。これは、ＪＰＥＧ２０００（Ｊ２Ｋ）圧縮された画像に適用もできる。
【００２３】
以下の記載では、構成要素間の距離、モールディングの形式等の、多くの詳細が述べられる。しかしながら、当業者には、本発明は、これらの特定の詳細なしに実行されうることは、明らかである。他の場合には、既知の構造及び装置は、本発明を曖昧にするのを避けるために、詳細よりも、ブロック図の形式で示される。
【００２４】
以下の詳細な説明の幾つかの部分は、コンピュータメモリ内のデータビットに関する、アルゴリズム及び動作の記号的表現で提示される。これらのアルゴリズム的な記載と表現は、当業者に最も効率的に、仕事の実体を知らせるために、データ処理技術の分野の当業者により使用される手段である。アルゴリズムは、ここでは、一般的には、所望の結果を導くための、自己一貫性のあるステップのシーケンスであると考えられる。ステップは、物理的な量の物理的な操作を要求する。通常は、必要ではないが、これらの量は、格納され、転送され、結合され、比較され、そしてその他の操作がされる、電気的な又は磁気的な信号の形式をとる。通常の使用の理由から、これらの信号を、ビット、値、要素、シンボル、文字、項、数又は、同様なものと呼ぶことが、しばしば、便利であることがわかる。
【００２５】
しかしながら、これらの全ての及び同様な用語は、適切な物理的な量と関連し、そして、これらの量に適用される単に便利なラベルであることは、憶えておくべきである。特に述べない限り、以下の説明から明らかなように、記載を通じて、”処理”又は、”計算する” 又は、”計算する” 又は、”決定する” 又は、”表示する” 又は同様な、用語を使用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として示されたデータを、コンピュータシステムのレジスタ及びメモリ又は、他のそのような情報蓄積、伝送又は、表示装置内の物理的な量として示される同様な他のデータへ操作し且つ変換する、コンピュータシステム又は、同様な電子計算装置の動作及び処理を指すことは、理解されよう。
【００２６】
本発明は、ここの動作を実行する装置にも関連する。この装置は、特別に要求された目的のために構成され又は、コンピュータ内に格納されたコンピュータプログラムにより、選択的に活性化又は再構成される汎用コンピュータを含む。そのようなコンピュータプログラムは、制限はされないが、フレキシブルディスクを含む任意の形式のディスク、光ディスク、ＣＤ−ＲＯＭ及び、光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ，磁気又は光カード、又は、電子的な命令を格納するのに適した他の形式の媒体、及び各々が結合されたコンピュータシステムバスような、コンピュータ読み出し可能な蓄積媒体内に格納される。
【００２７】
ここで提示するアルゴリズム及び表示は、特定のコンピュータ又は他の装置に固有に関連していない。種々の汎用システムは、ここでの教示に従ったプログラムと共に使用され又は、要求された方法ステップを実行する更に特化された装置を構成するのに便利であることが分かる。種々のこれらのシステムについての要求された構造は、以下の記載から分かる。更に、本発明は、特定のプログラム言語を参照して記載されていない。種々のプログラミング言語がここに記載の発明の教示を実行するのに使用されうることは、理解されよう。
【００２８】
機械読み出し可能な媒体は、機械（例えば、コンピュータ）により読み出し可能な形式の情報を蓄積する又は伝送する機構を有する。例えば、機械読み出し可能な媒体は、読み出し専用メモリ（”ＲＯＭ”）、ランダムアクセスメモリ（”ＲＡＭ”）、磁気ディスク蓄積媒体、光蓄積媒体、フラッシュメモリ装置、電気的、光学的、音響的又は、他の形式の伝播信号（例えば、搬送波、赤外信号、ディジタル信号、等）、等を含む。
【００２９】
ウェーブレットに基づくアルゴリズム
図２は、ウェーブレット変換係数を使用する非線形画像拡大を実行する処理の一実施例のフロー図を示す。一実施例では、処理は、ハードウェア（例えば、回路、専用論理、等）、（汎用コンピュータシステム又は専用マシン上で実行されるような）ソフトウェア又は、その両方の結合を含みうる処理論理により実行される。
【００３０】
一実施例では、この処理は、逆ウェーブレット変換内の埋め込み補間を含む。上述の式（２）内のサンプル間の差は、一実施例内で、Ｈａａｒ（ハール）ウェーブレット係数として翻訳される。そのような場合には、画像は冗長ハールウェーブレット係数で与えられると仮定される。第１レベルの分解は、低域通過係数ｃＬＬ（ｊ，ｉ）２０１で、そして、詳細係数ｄＬＨ（ｊ，ｉ）２０２、ｄＨＬ（ｊ，ｉ）２０３、及びｄＨＨ（ｊ，ｉ）２０４で与えられる。前向き変換の順序は、最初に水平変換が行われそして、次に垂直変換が行われる。ＪＰＥＧ２０００では、この順序は逆にされ、最初に垂直変換が適用され次に、水平変換が適用される。ＪＰＥＧ２０００：ＩＴＵ−ＴＲｅｃ．Ｔ．８００−ＩＳＯ／ＩＥＣ１５４４４−１：２０００、情報技術−ＪＰＥＧ２０００画像符号化システムを参照する。この場合には、逆変換は水平変換を実行し次に垂直変換を適用する。
【００３１】
処理論理は、垂直逆ウェーブレット変換をｃＬＬ２０１とｄＬＨ２０２の列に実行し、結果は、ｃＬ２０５と呼ばれる。
【００３２】
次に、処理論理は、垂直逆ウェーブレット変換をｄＨＬ２０３とｄＨＨ２０４の列に実行し、結果は、ｄＨ２０６と呼ばれる。
【００３３】
処理論理は、結果ｃＬ２０５とｄＨ２０６を粗いグリッド画像ＣＬ２０７とＤＨ２０８上に置き、これにり、ＣＬ（２ｊ，ｉ）＝ｃＬ（ｊ，ｉ）及びＤＨ（２ｊ，ｉ）＝ｄＨ（ｊ，ｉ）である。
【００３４】
そして、処理論理は、以下の式に従って、列ｃＬ（２ｊ＋１，ｉ）及びｄＨ（２ｊ＋１，ｉ）を補間する。
【００３５】
【数３】
ここで、εは、ノイズレベルの測定値（例えば、係数の標準偏差、メジアン、１領域内の係数の絶対値の標準偏差又はメジアン（例えば、特定のレベルでの係数の１つの特定の帯域）、各レベルでの同じレベルの係数の絶対値の標準偏差又はメジアン、第１のレベルでの異なる帯域の係数の絶対値の標準偏差又はメジアン、各レベルでの異なる帯域の係数の絶対値の標準偏差又はメジアン、等）か又は、手動での設定である。一実施例では、ノイズレベルは、ウェーブレット係数の標準偏差σにより、特徴化される。そのような場合には、ノイズレベルのしきい値
指示は、Ｎサンプルに対して、
【００３６】
【数４】
である。
【００３７】
式は、上述の式（２）の修正版であり、パラメータｋは除去されている。右に対するウェーブレット係数は左側の１つと比較して大きい場合には、補間値は、左側に多く配置される、等である。パラメータｐは、係数間の差が大きく又は軽く重み付けされているか同かを制御する。画像についての好ましい選択はｐ＝１である。
【００３８】
【数５】
処理論理は、そして、水平逆ウェーブレット変換を、ＣＬ２０７とＤＨ２０８に対して実行する。結果は、ｉｉｎｔ２０９と呼ばれる。処理論理は、これらのサンプルを、ＩＩＮＴ（ｊ，２ｉ）＝ｉｉｎｔ（ｊ，ｉ）により、粗いグリッド画像ＩＩＮＴ２１０上へ置く。
【００３９】
そして、処理論理は、行ＩＩＮＴ（ｊ，２ｉ＋１）を、以下の式により補間する。
【００４０】
【数６】
一実施例では、
【００４１】
【数７】
及び
【００４２】
【数８】
又は、
【００４３】
【数９】
の場合には、ｖ２ｊ，ｉは１に設定され、
【００４４】
【数１０】
の場合には、ｖ２ｊ，ｉは０．５に設定される。
【００４５】
一実施例では、処理論理は、そのパレットに関する値の範囲に戻すように、画像ＩＩＮＴをクリップする。例えば、画像が２５６暗度の階調画像である一実施例では、範囲は[０ ２５５]へ戻るようにクリップされる。
【００４６】
上述の式（６）と（１２）は、条件｜係数｜＞εがある。しきい値εを設定する代わりに、係数をクラスＡとＢに分類する分類子結果が使用され、そして、例えば、係数がクラスＡであるかどうかに基づいて、動作を実行する。これは例えば、ハーフトーン領域に使用され得る。係数がハーフトーン領域に属するか否かを決定する、ハーフトーン分類子が使用される場合には、式は次のように書かれる。
【００４７】
【数１１】
一般的には、これは、次のように書かれる。
【００４８】
【数１２】
例えば、条件Ａは、次のようである
１）しきい値が、画像内のノイズレベルを示すときには、｜係数｜＞しきい値、
２）ハーフトーン対非ハーフトーンについての分類子が使用されるときには、係数はハーフトーン領域に属し、
３）テキスト対非テキストについての分類子が使用されるときには、又は、ＭＲＣ（ミックスドラスタコンテンツ）圧縮機構が使用されるときには、係数はハーフトーン領域に属し、又は、
４）係数は対象の領域に属するか又は、ＪＰＥＧ２０００の特定のレイヤに属する。
【００４９】
上述の処理は、以下の異なるタームで表現される。図３Ａ、３Ｂ及び３Ｃは、逆ウェーブレット変換へ、補間を埋め込む技術を示すフロー図である。図２は、ウェーブレット変換係数を使用する、非線形画像拡大を実行する処理のフロー図である。一実施例では、処理は、ハードウェア（例えば、回路、導き出された論理、等）、（汎用コンピュータシステム又は、専用マシンで実行されるような）ソフトウェア、又は、両者の組合せを含みうる、処理論理により、実行される。
【００５０】
図３Ａ、３Ｂ及び３Ｃを参照すると、一実施例では、処理論理は、ウェーブレット係数で与えられた画像を受信する（処理ブロック３０１）。処理ブロック３０２では、処理論理は、画像の第１の係数マトリクスの列（ｊ）（例えば、ｃＬＬ（ｊ，ｉ））と、画像の第２の係数マトリクスの列（ｊ）（例えば、ｄＬＨ（ｊ，ｉ））へ第１の垂直逆ウェーブレット変換を実行する。そして、処理ブロック３０３では、処理論理は、画像の第３の係数マトリクスの列（ｊ）（例えば、ｄＨＬ（ｊ，ｉ））と、画像の第４の係数マトリクスの列（ｊ）（例えば、ｄＨＨｊ，ｉ））へ第２の垂直逆ウェーブレット変換を実行する。
【００５１】
次に、処理ブロック３０４で、第１の垂直逆ウェーブレット変換の結果内の（例えば、ｃＬ（ｊ，ｉ））の各列（ｊ）に対して、処理論理は、第１の垂直に粗いグリッド画像（例えば、ＣＬ（２ｊ，ｉ））内の対応する偶数番号の列（２ｊ）を、第１の垂直逆ウェーブレット変換の結果内の列（ｊ）に等しく設定する（例えば、ＣＬ（２ｊ，ｉ）＝ｃＬ（ｊ，ｉ））。
【００５２】
そして、処理ブロック３０５では、第２の垂直ウェーブレット変換の結果（例えば、ｄＨ（ｊ，ｉ））内の各列（ｊ）について、処理論理は、第２の垂直に粗いグリッド画像（例えば、ＤＨ（２ｊ，ｉ））内の対応する偶数番号の列（２ｊ）を、第２の垂直逆ウェーブレット変換の結果内の列に等しく設定する（例えば、ＤＨ（２ｊ，ｉ）＝ｄＨ（ｊ，ｉ））。
【００５３】
次に、処理ブロック３０６では、第５の係数マトリクス（例えば、ｄＬＨ＋ＨＨ（ｊ，ｉ））内の各列（ｊ）と各行（ｉ）について、処理論理は、第５の係数マトリクスの列（ｊ）と行（ｉ）内の要素を、第１の加数と第２の加数の和（例えば、ｄＬＨ＋ＨＨ（ｊ，ｉ）＝[ｄＬＨ（ｊ，ｉ）]＋[ｄＨＨ（ｊ，ｉ）]＝ｘ＋ｙ）に等しく設定する。第１の加数（ｘ）は、第２の係数マトリクス（例えば、ｘ＝ｄＬＨ（ｊ，ｉ）の列と行である。第２の係数マトリクス（例えば、ｄＬＨ（ｊ，ｉ）の列（ｊ）と行（ｉ）は、第５の係数マトリクス（例えば、ｄＬＨ＋ＨＨ（ｊ，ｉ））内の列（ｊ）と行（ｉ）に対応する。第２の加数（ｙ）は、第４の係数マトリクス（例えば、ｙ＝ｄＨＨ（ｊ，ｉ））の列と行の要素である。第４の係数マトリクス（例えば、ｄＨＨ（ｊ，ｉ））の列（ｊ）と行（ｉ）は、第５の係数マトリクス（例えば、ｄＬＨ＋ＨＨ（ｊ，ｉ））内の列（ｊ）と行（ｉ）に対応する。
【００５４】
そして、処理ブロック３０７では、第１の垂直に粗いグリッド画像（例えば、ＣＬ（２ｊ＋１，ｉ））内の各奇数番号の列（２ｊ＋１）の各行（ｉ）に対して、処理論理は、奇数番号の列の行内の要素を、第１の加数と第２の加数の和（例えば、ＣＬ（２ｊ＋１，ｉ）＝[μｊ，ｉＣＬ（２ｊ，ｉ）]ｇ＋[（１−μｊ，ｉ）ＣＬ（２ｊ＋２，ｉ）]＝ｘ＋ｙ）に等しく設定する。第１の加数（ｘ）は、第１のパラメータ（μｊ，ｉ）と奇数番号の列の左への偶数番号の列の同じ行（ｉ）の要素との積（例えば、ｘ＝[μｊ，ｉ][ＣＬ（２ｊ，ｉ）]）である。第２の加数（ｙ）は、差（ｚ）と奇数番号の列の右への偶数番号の列の同じ行（ｉ）の要素との積（例えば、ｙ＝[（１−μｊ，ｉ）][ＣＬ（２ｊ＋２，ｉ）]＝[ｚ][ＣＬ（２ｊ＋２，ｉ）]）である。差（ｚ）は、１マイナス第１のパラメータ（例えば、ｚ＝１−μｊ，ｉ）に等しい。
【００５５】
次に、処理ブロック３０８では、第２の垂直に粗いグリッド画像（例えば、ＤＨ（２ｊ＋１，ｉ））内の各奇数番号の列（２ｊ＋１）の各行（ｉ）に対して、処理論理は、奇数番号の列の行内の要素を、第１の加数と第２の加数の和（例えば、ＤＨ（２ｊ＋１，ｉ）＝[μｊ，ｉＤＨ（２ｊ，ｉ）]＋[（１−μｊ，ｉ）ＤＨ（２ｊ＋２，ｉ）]＝ｘ＋ｙ）に等しく設定する。第１の加数（ｘ）は、第１のパラメータ（μｊ，ｉ）と奇数番号の列の左への偶数番号の列の同じ行（ｉ）の要素との積（例えば、ｘ＝[μｊ，ｉ][ＤＨ（２ｊ，ｉ）]）である。第２の加数（ｙ）は、差（ｚ）と奇数番号の列の右への偶数番号の列の同じ行（ｉ）の要素との積（例えば、ｙ＝ [ｚ][ＤＨ（２ｊ＋２，ｉ）]）である。差（ｚ）は、１マイナス第１のパラメータ（例えば、ｚ＝１−μｊ，ｉ）に等しい。
【００５６】
そして、処理ブロック３０９では、処理論理は、第１の垂直に粗いグリッド画像（例えば、ＣＬ（ｊ，ｉ））の行（ｉ）と第２の垂直に粗いグリッド画像（例えば、ＤＨ（ｊ，ｉ））の行（ｉ）に水平逆ウェーブレット変換を実行する。
【００５７】
次に、処理ブロック３１０で、水平逆ウェーブレット変換の結果の各行（ｉ）（例えば、ｉｉｎｔ（ｊ，ｉ））について、処理論理は、水平に粗いグリッド画像（例えば、ＩＩＮＴ（ｊ，２ｉ））内の対応する偶数番号の行（２ｉ）を、水平逆ウェーブレット変換の結果の行に等しく設定する（例えば、ＩＩＮＴ（ｊ，２ｉ）＝ｉｉｎｔ（ｊ，ｉ））。
【００５８】
処理ブロック３１１では、水平に粗いグリッド画像（例えば、ＩＩＮＴ（２ｊ，２ｉ＋１））内の各奇数番号の行（２ｉ＋１）の各偶数番号の列（２ｊ）について、処理論理は、奇数番号の行の偶数番号の列の要素を、第１の加数と第２の加数の和（例えば、ＩＩＮＴ（２ｊ，２ｉ＋１）＝[ν２ｊ，ｉＩＩＮＴ（２ｊ，２ｉ）]＋[（１−ν２ｊ，ｉ）ＩＩＮＴ（２ｊ，２ｉ＋２）]＝ｘ＋ｙ）に等しく設定する。第１の加数（ｘ）は、第３のパラメータ（ν２ｊ，ｉ）と奇数番号の行の上の偶数番号の行の同じ偶数番号の列（２ｊ）内の要素との積（例えば、ｘ＝[ν２ｊ，ｉ][ＩＩＮＴ（２ｊ，２ｉ）]）である。第２の加数（ｙ）は、差（ｚ）と奇数番号の行の下の偶数番号の行の同じ偶数番号の列（２ｉ）の要素との積（例えば、ｙ＝ [ｚ][ＩＩＮＴ（２ｊ，２ｉ＋２）]）である。差（ｚ）は、１マイナス第３のパラメータ（例えば、ｚ＝１−ν２ｊ，ｉ）に等しい。
【００５９】
最後に、処理ブロック３１２では、水平に粗いグリッド画像（例えば、ＩＩＮＴ（２ｊ＋１，２ｉ＋１））内の各奇数番号の行（２ｉ＋１）の各奇数番号の列（２ｊ＋１）について、処理論理は、奇数番号の行の奇数番号の列の要素を、第１の加数と第２の加数の和（例えば、ＩＩＮＴ（２ｊ＋１，２ｉ＋１）＝[ν２ｊ，ｉＩＩＮＴ（２ｊ＋１，２ｉ）]＋[（１−ν２ｊ，ｉ）ＩＩＮＴ（２ｊ＋１，２ｉ＋２）]＝ｘ＋ｙ）に等しく設定する。第１の加数（ｘ）は、第３のパラメータ（ν２ｊ，ｉ）と奇数番号の行の上の偶数番号の行の同じ奇数番号の列（２ｊ＋１）内の要素との積（例えば、ｘ＝[ν２ｊ，ｉ][ＩＩＮＴ（２ｊ＋１，２ｉ）]）である。第２の加数（ｙ）は、差（ｚ）と奇数番号の行の下の偶数番号の行の同じ奇数番号の列（２ｊ＋１）の要素との積（例えば、ｙ＝ [ｚ][ＩＩＮＴ（２ｊ＋１，２ｉ＋２）]）である。差（ｚ）は、１マイナス第３のパラメータ（例えば、ｚ＝１−ν２ｊ，ｉ）に等しい。
【００６０】
一実施例では、処理論理は、処理ブロック３１３に示されるように、結果の画像を範囲へクリップさせる。処理ブロック３１４は、範囲以下の値を有する結果の画像内の各要素は、その範囲内の最も低い値に設定され、そして、範囲以上の値を有する結果の画像内の各要素は、その範囲内の最も高い値に設定される、クリッピングの実施例を示す。このように、一実施例では、範囲は２５６のグレーの暗度の範囲である。他の実施例では、範囲は、例えば、６５，５３６の暗度の、より大きいグレーの暗度の範囲である。更に他の実施例では、画像はそれぞれ、赤、緑及び青の色相の３つの範囲を有するカラー画像である。これらの範囲の各々は、同様にクリップされる。このように、望ましい画像パレットは、補間を通して維持される。
【００６１】
一実施例では、ウェーブレット係数は、冗長ハールウェーブレット係数である。
【００６２】
一実施例では、第１のパラメータ（μｊ，ｉ）と第３のパラメータ（ν２ｊ，ｉ）は、０．５に設定される。
【００６３】
一実施例では、条件（ｋ’）が満たされる場合には、第１のパラメータ（μｊ，ｉ）は、分母により除算される、分子である（例えば、μｊ，ｉ＝[｜ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）｜ｐ]／[｜ｄＬＨ＋ＨＨ（ｊ−１，ｉ）｜ｐ＋｜ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）｜ｐ]＝ｘ／ｙ）。分子（ｘ）は、第２のパラメータのべき乗された第１の絶対値（｜ｘ’｜）である（例えば、ｘ＝[｜ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）｜][ ｐ ]＝｜ｘ’｜ｐ）。第１の絶対値（｜ｘ’｜）は、第１の要素（ｘ’）の絶対値である。第１の要素（ｘ’）は、第５の係数マトリクス内の列（ｊ＋１）と行（ｉ）である（例えば、ｘ’＝ｄＬＨ＋ＨＨ（ｊ＋１，ｉ））。第５の係数マトリクス内の列（ｊ＋１）は、第１の垂直に粗いグリッド画像内の奇数番号の列（２ｊ＋１）（及び、第２の垂直に粗いグリッド画像内の奇数番号の列（２ｊ＋１））の左の偶数番号の列（２ｊ）に対応する、第５の係数マトリクス内の列（ｊ）の右の列である。第５の係数マトリクス内の行（ｉ）は、第１の垂直に粗いグリッド画像内の奇数番号の列の行（ｉ）（及び、第２の垂直に粗いグリッド画像内の奇数番号の列の行（ｉ））に対応する。分母（ｙ）は、加数（ｚ）と、分子の和（例えば、ｙ＝[｜ｄＬＨ＋ＨＨ（ｊ−１，ｉ）｜ｐ]＋[｜ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）｜ｐ]＝ｚ＋ｘ）である。加数（ｚ）は、第２のパラメータのべき乗された第２の絶対値（｜ｚ’｜）である（例えば、ｚ＝[｜ｄＬＨ＋ＨＨ（ｊ−１，ｉ）｜][ ｐ ]＝｜ｚ’｜ｐ）。第２の絶対値（｜ｚ’｜）は、第２の要素（ｚ’）の絶対値である。第２の要素（ｚ’）は、第５の係数マトリクス内の列（ｊ−１）と行（ｉ）である（例えば、ｚ’＝ｄＬＨ＋ＨＨ（ｊ−１，ｉ））。第５の係数マトリクス内の列（ｊ−１）は、第１の垂直に粗いグリッド画像内の奇数番号の列（２ｊ＋１）（及び、第２の垂直に粗いグリッド画像内の奇数番号の列（２ｊ＋１））の左の偶数番号の列（２ｊ）に対応する、第５の係数マトリクス内の列（ｊ）の左の列である。第５の係数マトリクス内の行（ｉ）は、第１の垂直に粗いグリッド画像内の奇数番号の列の行（ｉ）（及び、第２の垂直に粗いグリッド画像内の奇数番号の列の行（ｉ））に対応する。
【００６４】
一実施例では、第２のパラメータ（ｐ）は１に等しい。
【００６５】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ｄＬＨ＋ＨＨ（ｊ，ｉ）｜＞ε）且つ分母がゼロに等しくなく（例えば、
【００６６】
【数１３】
且つ、積がゼロより小さくない（例えば、
【００６７】
【数１４】
の場合には、条件（ｋ’）が満足される。絶対値は、第３の要素の絶対値である。第３の要素は、第５の係数マトリクスの列（ｊ）と行（ｉ）の要素である（例えば、ｄＬＨ＋ＨＨ（ｊ，ｉ））。第５の係数マトリクス内の列（ｊ）は、第１の垂直に粗いグリッド画像の奇数番号の列（２ｊ＋１）の左の偶数番号の列（２ｊ）に（及び、第２の垂直に粗いグリッド画像の奇数番号の列（２ｊ＋１）にも）対応する。第５の係数マトリクス内の行（ｉ）は、第１の垂直に粗いグリッド画像の奇数番号の列の行（ｉ）に（及び、第２の垂直に粗いグリッド画像の奇数番号の列の行（ｉ）にも）対応する。積は、第１の要素と第２の要素の積（例えば、[ｘ’] [ｚ’]＝[ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）][ｄＬＨ＋ＨＨ（ｊ−１，ｉ）]）である。
【００６８】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ｄＬＨ＋ＨＨ（ｊ，ｉ）｜＞ε）且つ分母がゼロと等しく（例えば、
｜ｄＬＨ＋ＨＨ（ｊ−１，ｉ）｜ｐ＋｜ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）｜ｐ＝０
の場合には、第１のパラメータ（μｊ，ｉ）は、１に設定される。
【００６９】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ｄＬＨ＋ＨＨ（ｊ，ｉ）｜＞ε）且つ積がゼロより小さい（例えば、
[ｄＬＨ＋ＨＨ（ｊ−１，ｉ）] [ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）]＜０
の場合には、第１のパラメータ（μｊ，ｉ）は、１に設定される。
【００７０】
一実施例では、条件（ｋ’）が満足される場合には、第３のパラメータ（ν２ｊ，ｉ）は、分母により除算された分子であり（例えば、ν２ｊ，ｉ＝[｜ＤＨ（２ｊ，ｉ＋１）｜ｐ]／[｜ＤＨ（２ｊ，ｉ−１）｜ｐ+｜ＤＨ（２ｊ，ｉ＋１）｜ｐ]＝ｘ／ｙ）、ここで、ｋ’は従来技術の上述のパラメータｋとは異なる。分子（ｘ）は、第２のパラメータのべき乗の第１の絶対値（｜ｘ’｜）である（例えば、ｘ＝[｜ＤＨ（２ｊ，ｉ＋１）｜ｐ]＝｜ｘ’｜ｐ）。第１の絶対値（｜ｘ’｜）は、第１の要素（ｘ’）の絶対値である。第１の要素（ｘ’）は、第２の垂直に粗いグリッド画像の行（ｉ＋１）と偶数番号の列（２ｊ）内の要素である（例えば、ｘ’＝ＤＨ（２ｊ，ｉ＋１））。第２の垂直に粗いグリッド画像の行（ｉ＋１）は、水平に粗いグリッド画像の奇数番号の行（２ｉ＋１）上の偶数番号の行（２ｉ）に対応する、第２の垂直に粗いグリッド画像の行（ｉ）の下の行である。第２の垂直に粗いグリッド画像の偶数番号の列（２ｊ）は、水平に粗いグリッド画像の奇数番号の行の偶数番号の列（２ｊ）に対応する。分母（ｙ）は、加数（ｚ）と、分子の和である（例えば、ｙ＝[｜ＤＨ（２ｊ，ｉ−１）｜ｐ]＋[｜ＤＨ（２ｊ，ｉ＋１）｜ｐ]＝ｚ＋ｘ）。加数（ｚ）は、第２のパラメータのべき乗の第２の絶対値（｜ｚ’｜）である（例えば、ｚ＝[｜ＤＨ（２ｊ，ｉ−１）｜][ ｐ ]＝｜ｚ’｜ｐ]）。第２の絶対値（｜ｚ’｜）は、第２の要素（ｚ’）の絶対値である。第２の要素（ｚ’）は、第２の垂直に粗いグリッド画像の行（ｉ−１）と偶数番号の列（２ｊ）内の要素である（例えば、ｚ’＝ＤＨ（２ｊ，ｉ−１））。第２の垂直に粗いグリッド画像の行（ｉ−１）は、水平に粗いグリッド画像の奇数番号の行（２ｉ＋１）上の偶数番号の行（２ｉ）に対応する、第２の垂直に粗いグリッド画像の行（ｉ）の上の行である。第２の垂直に粗いグリッド画像の偶数番号の列（２ｊ）は、水平に粗いグリッド画像の奇数番号の行の偶数番号の列（２ｊ）に対応する。
【００７１】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ＤＨ（２ｊ，ｉ）｜＞ε）且つ分母がゼロに等しくなく（例えば、
【００７２】
【数１５】
且つ、積がゼロより小さくない（例えば、
【００７３】
【数１６】
の場合には、条件（ｋ’）が満足される。絶対値は、第３の要素の絶対値である。第３の要素は、第２の垂直に粗いグリッド画像の行（ｉ）と偶数番号の列（２ｊ）の要素である（例えば、ＤＨ（２ｊ，ｉ））。第２の垂直に粗いグリッド画像内の行（ｉ）は、水平に粗いグリッド画像の奇数番号の行（２ｉ＋１）の上の偶数番号の行（２ｉ）に対応する。第２の垂直に粗いグリッド画像内の偶数番号の列行（２ｊ）は、水平に粗いグリッド画像の奇数番号の行の偶数番号の列（２ｊ）に対応する。積は、第１の要素と第２の要素の積（例えば、[ｘ’] [ｚ’]＝[ＤＨ（２ｊ，ｉ−１）] [ＤＨ（２ｊ，ｉ＋１）]）である。
【００７４】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ＤＨ（２ｊ，ｉ）｜＞ε）且つ分母がゼロと等しくない（例えば、
【００７５】
【数１７】
の場合には、第３のパラメータ（ν２ｊ，ｉ）は、１に設定される。
【００７６】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ＤＨ（２ｊ，ｉ）｜＞ε）且つ積がゼロより小さいない（例えば、
【００７７】
【数１８】
の場合には、第３のパラメータ（ν２ｊ，ｉ）は、１に設定される。
【００７８】
しきい値（ε）は、ハーフトーン雑音画素を含む、雑音画素を、強いエッジとして扱うことを防止しうる。係数がゼロの滑らかな領域では、補間は線形補間に減少される。
【００７９】
図４は、逆ウェーブレット変換内に埋め込まれた補間を実行する装置の実施例のブロック図である。図４を参照すると、装置４００は、ウェーブレット係数で与えられた画像を受信する受信ユニット４０１と、受信ユニット４０１と接続された処理ユニット４０２を有する。処理ユニット４０２は、上述の機能を実行する。一実施例では、図４に示された装置は多機能マシンを含む。
【００８０】
図５は、一実施例に従って、標準双３次補間と比較したウェーブレット変換係数を使用した適応非線形画像拡大の例を示す図である。画像５０１は、標準双３次補間を使用して発生された。画像５０２は、ウェーブレットに基づく非線形補間を使用して発生された。一実施例では、従来技術のアルゴリズムの画素差は、冗長ウェーブレット変換のハール（Ｈａｒｒ）ウェーブレット係数に等価である。従来技術のアルゴリズムと対照的に、一実施例では、冗長ハール変換を使用したここで述べた技術は、完全なステップエッジを”正確に”補間する、即ち、補間された信号は完全なステップエッジを有する。
【００８１】
図６は、ステップエッジを補間する処理の一実施例を示すフロー図である。一実施例では、完全なステップエッジを有する画像が、処理ブロック６０１で受信され、そして、完全なステップエッジは、画像が処理ブロック６０２で拡大されている間に、正確に補間される。
【００８２】
一実施例では、この技術は、任意のウェーブレット形式の冗長ウェーブレット変換係数を使用しても適用される。また、最大の間引きされたウェーブレット変換及び、複素ウェーブレット変換についても使用される。
【００８３】
一実施例では、この技術は、例えば、パラメータμとｖの計算のために大きなスケールからのウェーブレット係数を使用して、種々のレベルのウェーブレット分解からの情報を含むように拡張される。
【００８４】
ウェーブレットシャープニングと平滑化（”ＷＳＳ”）技術との組み合わせでは、拡大は、ウェーブレット係数の、スレッシュホールディングによるノイズ除去と、ウェーブレット係数の再スケーリングによるシャープニング／平滑化の後に実行される。ＷＳＳに関する更なる情報は、１９９９年１２月１０日に出願された、名称”ウェーブレットでのマルチスケールシャープニング及び平滑化（Ｍｕｌｔｉｓｃａｌｅ Ｓｈａｒｐｎｉｎｇ ａｎｄ Ｓｍｏｏｔｈｉｎｇ Ｗｉｔｈ Ｗａｖｅｌｅｔｓ）”の米国特許出願番号０９／４７６，５４４を参照する。この内容に関しては、後述する。
【００８５】
一実施例では、ＪＰＥＧ２００又は同様な圧縮画像の拡大目的のために、上述の技術は、復号機側の逆ウェーブレット変換の最後のレベルに組み込まれる。
【００８６】
応用
ここで記載の適応非線形画像拡大が優位な、幾つかの更なるアプリケーションがある。例えば、適応非線形画像拡大は、ディジタルコピー機経路内の拡大処理で使用され得る。そのようなシステムを図７に示す。図７を参照すると、前向き冗長ウェーブレット変換７０１が画像に適用される。ウェーブレット変換７０１は、Ｍが１より大きいときに、Ｍレベルがあるように、Ｍ回、画像に適用されうる。前向き冗長ウェーブレット変換７０１が適用された後に、ノイズ除去、テキストシャープニング、ハーフトーン平滑化が、画像プロセッサ７０２で、係数に適用される。そのような処理の後に、逆冗長ウェーブレット変換７０３が、処理された係数に適用される。一実施例では、逆冗長ウェーブレット変換７０３は、Ｍ−１レベルがあるので、Ｍ−１回適用される。逆冗長ウェーブレット変換７０３の適用後に、拡大機７０４は、ここで記載の拡大処理を実行する。これらのブロックの各々は、ソフトウェア、ハードウェア又は、両者の組合せで実行されうる。
【００８７】
適応非線形画像拡大は、例えば、６００ｄｐｉで走査されそして１２００ｄｐｉで印刷された画像のような、より高いｄｐｉでの印刷のために、アップサンプリングがなされるアップサンプリング処理で使用されうる。そのようなシステムを図８に示す。図８を参照すると、１レベル冗長ウェーブレット変換８０１が特定のｄｐｉ解像度Ｒ（８００）で、受信されたディジタル画像に適用される。係数は、ここで説明した拡大処理を実行する、拡大機８０２へ出力される。拡大後に、処理は、画像プロセッサ８０３により２Ｒｄｐｉで、印刷のために、実行される。処理は、ガンマ補正、ハーフトーン化等を含む、出力８０４は、処理された画像である。このように、適応非線形画像拡大処理は、低解像度画像を高解像度印刷に訂正するために使用される。図８の各処理要素は、ソフトウェア、ハードウェア又は、両者の組合せで実行されうることに注意する。
【００８８】
他の応用は、ＪＰＥＧ２０００画像の拡大のために、ここで説明した適応非線形画像拡大技術を使用することを含む。これは、非線形画像拡大を補償するために、ＪＰＥＧ復号器に追加を必要とする。他の応用は、ディジタルカメラである。特に、適応非線形画像拡大処理は、ディジタルカメラで、非モザイク化のために実行されうる。
【００８９】
例示のコンピュータシステム
図９は、ここで説明した１つ又はそれ以上の動作を実行する、例示のコンピュータシステムのブロック図を示す。図９を参照すると、コンピュータシステム９００は、例示のクライアント９５０又は、サーバ９００コンピュータシステムを含みうる。コンピュータシステム９００は、情報を通信するための通信機構又はバス９１１と、バス９１１に接続された情報を処理するためのプロセッサ９１２を含む。プロセッサ９１２は、マイクロプロセッサを含むが、しかし、例えば、ペンティアム（登録商標）、パワーＰＣＴＭのようなマイクロプロセッサには限定されない。
【００９０】
システム９００は更に、プロセッサ９１２により実行される情報と命令を格納する、バス９１１に接続された、ランダムアクセスメモリ（ＲＡＭ）又は、他のダイナミックストレージ装置９０４（主メモリと呼ばれる）を有する。主メモリ９０４は、プロセッサ９１２による命令の実行中に、一時的な変数又は他の中間情報を格納するのにも使用され得る。
【００９１】
コンピュータシステム９００は、プロセッサ９１２のための、静的な情報と命令を格納する、バス９１１に接続された、読み出し専用メモリ（ＲＯＭ）及び／又は他の静的なストレージ装置９０６、及び、磁気ディスク又は光ディスクとその対応するディスクドライブのような、データストレージ装置９０７も有する。データストレージ装置９０７は、情報と命令を格納するために、バス９１１に接続されている。
【００９２】
コンピュータシステム９００は、更にコンピュータユーザに情報を表示するために、バス９１１に接続されている、陰極線管（ＣＲＴ）又は、液晶ディスプレイ（ＬＣＤ）のような、表示装置９１１にも接続されている。英数字キーと他のキーを有する、英数字入力装置９２２も、プロセッサ９１２へ情報とコマンド選択を通信するために、バス９１１に接続されている。追加のユーザ入力装置は、プロセッサ９１２へ、方向情報とコマンド選択を通信するために、且つディスプレイ９２１上で、カーソルの移動を制御するために、バス９１１に接続されている、マウス、トラックボール，トラックパッド、スタイラス又は、カーソル方向キーのような、カーソル制御９２３である。
【００９３】
バス９１１に接続された他の装置は、ハードコピー装置９２４であり、これは、命令、データ又は、他の情報を、紙、フィルム、又は、他の形式の媒体上に印刷するのに使用される。更に、スピーカ及び／又はマイクロフォンのような、音声記録又は再生装置は、コンピュータシステム９００とのオーディオインターフェースのために、バス９１１にオプションで接続される。バス９１１に接続された他の装置は、電話又は、携帯パーム装置と通信する有線／無線通信能力９２５である。
【００９４】
どの又は全てのコンピュータシステム９００と関連するハードウェアは、本発明内で使用されうることに注意する。しかしながら、コンピュータシステムの他の構成は、幾つかの又は全ての装置を含みうることは理解されよう。
【００９５】
本発明の多くの変更及び修正は、前述の記載を読めば、当業者には明らかであり、説明した特定の実施例は、本発明を限定するものではないと理解されるべきである。従って、種々の実施例への詳細な参照は、本発明の必須であると考えられる特徴のみを列挙する請求の範囲を限定するものではない。
【００９６】
ウェーブレットでのマルチスケールシャープニング及び平滑化（Ｍｕｌｔｉｓｃａｌｅ Ｓｈａｒｐｎｉｎｇ ａｎｄＳｍｏｏｔｈｉｎｇ Ｗｉｔｈ Ｗａｖｅｌｅｔｓ）”の内容
ウェーブレットでのマルチスケールシャープニング及び平滑化技術が、開示される。以下の記載では、特定のフィルタ等の、多くの詳細が述べられる。しかしながら、当業者には、本発明は、これらの特定の詳細なしに実行されうることは、明らかである。他の場合には、既知の構造及び装置は、本発明を曖昧にするのを避けるために、詳細よりも、ブロック図の形式で示される。
【００９７】
以下の詳細な説明の幾つかの部分は、コンピュータメモリ内のデータビットに関する、アルゴリズム及び動作の記号的表現で提示される。これらのアルゴリズム的な記載と表現は、当業者に最も効率的に、仕事の実体を知らせるために、データ処理技術の分野の当業者により使用される手段である。アルゴリズムは、ここでは、一般的には、所望の結果を導くための、自己一貫性のあるステップのシーケンスであると考えられる。ステップは、物理的な量の物理的な操作を要求する。通常は、必要ではないが、これらの量は、格納され、転送され、結合され、比較され、そしてその他の操作がされる、電気的な又は磁気的な信号の形式をとる。通常の使用の理由から、これらの信号を、ビット、値、要素、シンボル、文字、項、数又は、同様なものと呼ぶことが、しばしば、便利であることがわかる。
【００９８】
しかしながら、これらの全ての及び同様な用語は、適切な物理的な量と関連し、そして、これらの量に適用される単に便利なラベルであることは、憶えておくべきである。特に述べない限り、以下の説明から明らかなように、記載を通じて、”処理”又は、”計算する” 又は、”計算する” 又は、”決定する” 又は、”表示する” 又は同様な、用語を使用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として示されたデータを、コンピュータシステムのレジスタ及びメモリ又は、他のそのような情報蓄積、伝送又は、表示装置内の物理的な量として示される同様な他のデータへ操作し且つ変換する、コンピュータシステム又は、同様な電子計算装置の動作及び処理を指すことは、理解されよう。
【００９９】
本発明は、ここの動作を実行する装置にも関連する。この装置は、特別に要求された目的のために構成され又は、コンピュータ内に格納されたコンピュータプログラムにより、選択的に活性化又は再構成される汎用コンピュータを含む。そのようなコンピュータプログラムは、制限はされないが、フレキシブルディスクを含む任意の形式のディスク、光ディスク、ＣＤ−ＲＯＭ及び、光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ，磁気又は光カード、又は、電子的な命令を格納するのに適した他の形式の媒体、及び各々が結合されたコンピュータシステムバスような、コンピュータ読み出し可能な蓄積媒体内に格納される。
【０１００】
ここで提示するアルゴリズム及び表示は、特定のコンピュータ又は他の装置に固有に関連していない。種々の汎用システムは、ここでの教示に従ったプログラムと共に使用され又は、要求された方法ステップを実行する更に特化された装置を構成するのに便利であることが分かる。種々のこれらのシステムについての要求された構造は、以下の記載から分かる。更に、本発明は、特定のプログラム言語を参照して記載されていない。種々のプログラミング言語がここに記載の発明の教示を実行するのに使用されうることは、理解されよう。
【０１０１】
概要
ウェーブレットでの、画像データのような、データのマルチスケールシャープニング及び平滑化技術がここで記載される。ここで記載されるマルチスケールシャープニング及び平滑化技術は、マルチスケールアンシャープマスキングとも呼ばれ、従来技術の代わりの方法を提供し、且つ実行するのに単純である。このアプローチは、シャープニングと平滑化を提供するウェーブレットシステムの平滑特性を利用する。
【０１０２】
特に、ここで記載の技術は、新たなシャープニング／平滑化パラメータを使用して、種々のレベルの解像度をわたり、画像をシャープ化及び平滑化する。一実施例では、マルチスケールシャープニング及び平滑化は、ウェーブレット係数をスケールに依存するパラメータと乗算することにより、ウェーブレット分解で実行される。図１０は、画像データを処理する方法の一実施例を示す。この方法は、ハードウェア、ソフトウェア又は、両方の組合せを含みうる、処理論理により実行される。図１０を参照すると、処理は、画像データに、ウェーブレット変換を適用することにより、複数の分解レベルへ、画像データを分解することにより開始する（処理ブロック１００１）。画像データに適用されうる変換は、例えば、精密にサンプルされた離散ウェーブレット変換、オーバーコンプリート離散ウェーブレット変換、複素ウェーブレット変換、精密にサンプルされた又はオーバーコンプリート離散ウェーブレットパケット変換を含む。一実施例では、選択されたサブバンドについての精密にサンプルされた変換、他にオーバーコンプリート変換、を使用して、画像データは複数の分解レベルへ変換される。
【０１０３】
そして、分解後に，処理は、各分解レベルについての異なるスケール又はレベル依存パラメータを使用して、複数の分解レベルの係数をスケーリングすることにより、複数の分解レベルの係数を修正する（処理ブロック１００２）。例えば、２つのレベルをスケーリングする場合に、１つの分解レベルの各係数は、第１のスケール依存パラメータにより乗算され、そして、もう１つの分解レベルの各係数は、第２のスケール依存パラメータにより乗算される。
【０１０４】
一実施例では、異なるスケール依存パラメータの各々は、以下の公式に従って決定される。
【０１０５】
μｊ＝２ｊα （１０３）
ここで、αの値（正又は負）は、係数にシャープニング又は平滑化が行われるかどうかを示し、そして、ｊは特定のスケール（レベル）を示す。一実施例では、αがゼロより小さい場合に、シャープニングが係数に与えられ、そして、αがゼロより大きい場合に、平滑化が係数に与えられる。
【０１０６】
このように、μｊが１より大きいときに、スケーリング動作の結果は平滑化され、一方、μｊが１より小さいときに、スケーリング動作の結果はシャープニングされる。再スケーリングは、ウェーブレット（詳細）係数にのみ適用され、スケーリング係数には適用されない。画像の全体的なエネルギーを保存するために、ウェーブレット係数の再正規化が必要であろう。
【０１０７】
一実施例では、スケール依存パラメータは、画像データの知識に基づいて選択される。即ち、画像から直接的に抽出された情報は、シャープニング又は平滑化パラメータの選択に組み込まれることが可能である。例えば、入力データがステップエッジを示すという知識は、シャープニング又は平滑化パラメータの選択に使用されうる。例えば、スキャナのような画像源の知識は、シャープニング又は平滑化パラメータの選択の基準でもある。例えば、この知識は、スキャナ又は、他の画像源の点像分布関数に関する情報でもよい。さらに他の実施例では、スケール依存パラメータは、単調な関数に基づいて選択されうる。スケール依存パラメータは、スケールをわたるウェーブレット係数の減衰の推定値に基づいて選択されうる。
【０１０８】
図１０を参照すると、マルチスケールシャープニング及び／又は平滑化の実行後に、処理論理は、スケーリングされた（及び、未スケーリングの）係数に逆変換を実行する（処理ブロック１００３）。
【０１０９】
この技術は、例えば、ノイズ除去のような、他のウェーブレットに基づく画像処理法と結合されても良い。即ち、マルチスケールシャープニング及び平滑化は、ウェーブレット領域での他の画像処理ステップと、結合されうる。ウェーブレットノイズ除去は、エッジはシャープのまま保持されるが、一方ノイズは平滑な領域で除去されるので、成功であることが多くの応用で示されている。このノイズ除去は、ウェーブレット係数をしきい値化することにより、単純に行われることが可能である。好ましいしきい値化技術は、ハード及びソフトしきい値化を含む。例えば、１９９５年のＩＥＥＥ Ｔｒａｎｓ．情報理論、４１（３）：６１３−６２７の、Ｄｏｎｏｈｏ，Ｄ．Ｌ．の”ソフトしきい値化によるノイズ除去（Ｄｅ−ｎｏｉｓｉｎｇ ｂｙ Ｓｏｆｔ−Ｔｈｒｅｓｈｏｌｄｉｎｇ）”を参照する。
【０１１０】
一実施例では、所定のしきい値より大きい全ての係数を、スケーリングパラメータにより乗算し且つしきい値以下の同じ分解レベルの全ての係数をゼロ又はゼロ付近の値へ設定することにより、同時のノイズ除去とシャープニングが、ウェーブレット係数に実行されうる。一実施例では、係数の全ての値は、単調関数により与えられうる予め定められた量だけ減少される。結果の係数は、そして、スケール依存パラメータで乗算される。
【０１１１】
ランダムな白色ガウス雑音の存在下では、結合されたノイズ除去とシャープニング及び平滑化技術の利点は、ノイズ除去のしきい値が、ウェーブレット係数と入力データの量から直接計算できるが、しかし、実際の信号に依存しないことである。従来のシャープニングでは、”実際の”エッジだけでなくノイズ画素をシャープニングする問題が起こるが、例えば、しきい値を選択し、そのしきい値より大きい全ての係数をμｊ＝２ｊαにより乗算し、そして、しきい値以下の係数をゼロに設定することにより、ウェーブレットシャープニングとノイズ除去がなされことが可能である。これは、例えば、ディジタルコピー器で必要とされ且つ要求される信号に適応する平滑化とシャープニングの簡単な実行を導く。
【０１１２】
データ内のノイズについての一般的なモデルは、加算的ガウス白色ノイズである。ウェーブレットでのノイズを除去するＤｏｎｏｈｏ及びＪｏｈｎｓｔｏｎｅにより開発された技術は、最新のノイズ除去技術である。ノイズ除去は、ウェーブレット係数を単純にしきい値化することにより、実行される。しきい値は、データＮのサイズにのみ依存し、Ｎは、サンプルの数（画像については、サンプル数は画素数である）であり、そしてノイズの標準偏差σとすると、しきい値は、
【０１１３】
【数１９】
である。
【０１１４】
後者のパラメータは、第１レベルのウェーブレット係数の標準偏差から推定されることが可能である。漸近的に、全てのノイズは、その技術を使用して、Ｎが無限になるにつれて、除去されるべきである。しかしながら、実際の応用では、データの有限又は異なるしきい値選択により、データ内にいくらかのノイズが存在しうる。人間の視覚系は、例えば、画像内に存在する幾つかの雑音パターンに、明確に対応することが知られている。ここで説明されるウェーブレット係数の再スケーリング（シャープニング又は平滑化）の後に、逆変換は、残りの白色ノイズを有色ノイズ（例えば、残りのノイズへの色付け）に変換する。
【０１１５】
同様に、特に、以下に詳細に説明するように、修正されたウェーブレット係数と元のスケーリング係数の割合を維持するために、ウェーブレット係数は、再正規化されねばならない。再正規化は、全レベルの又は全レベルのサブセットの係数へ，スカラーを適用することにより実行される。一実施例では、再正規化は、１つ又はそれ以上の分解レベルの全係数を、正規化とシャープニング／平滑化を達成するために選択されるスケールに依存するパラメータと乗算することにより、シャープニング又は平滑化と結合される。代わりの実施例では、再正規化は、再スケーリング前に、ウェーブレット係数の範囲（例えば、係数値の最小と最大）を計算することにより実行され、そして、再スケーリング（シャープニング又は平滑化）を実行する。その後に、完全な組みの修正された係数が、再スケーリング前に、元の範囲へスケールバックされる（例えば、シャープニング又は平滑化された係数を、最少と最大の係数値により規定される元の範囲にマッピングして戻す）。
【０１１６】
図１１は、画像データを処理する処理の他の実施例を示す。処理は、ハードウェア、ソフトウェア又は、両者の組合せを含みうる処理論理により実行される。図１１を参照すると、処理は、画像データにウェーブレット変換を適用することにより、画像データを複数の分解レベルへ分解する論理により実行される（処理ブロック１１０１）。
【０１１７】
一旦分解が完了すると、処理論理は、異なる分解レベルと帯域で係数を分類する（処理ブロック１１０２）。この分類は、オプションである。一実施例では、係数は、予め定められた基準により、”テキスト”及び、”背景”に分類される。結果の分類は、処理されているデータの形式について補償するために、シャープニング又は平滑化を適用するために使用される。
【０１１８】
そして、処理論理は、１つ又はそれ以上の分解レベルの係数に、ノイズ除去を実行する（処理論理１１０３）。
【０１１９】
分解と分類の実行後に、処理論理は、各分解レベルの各々について、異なるスケール（レベル）依存パラメータを使用して、それらの分解レベル内の分類された係数をスケーリングすることにより、複数の分解レベル内で、修正する（処理ブロック１１０４）。一実施例では、パラメータは、バンド依存パラメータである。１Ｄ変換については、各スケール（レベル）について、１バンド（又はサブバンド）がある。２Ｄ又はそれより高い次元の変換では、各バンドは特定のスケール（レベル）及び、向きである。例えば、２つの２Ｄ変換は、第１スケール（レベル）の及び垂直に詳細な（高域通過）及び水平平滑（低域通過）なバンドを有する。
【０１２０】
シャープニング又は平滑化が行われた後に、処理論理は、全レベル又は全レベルのサブセットの係数に再正規化を行う（処理ブロック１１０５）。一旦再正規化が実行されると、処理論理は、スケーリングされた（及び未スケーリングの）係数に逆変換を実行する（処理ブロック１１０６）。
【０１２１】
ここで記載するシャープニング及び平滑化の技術は、”実”エッジが、ノイズ画素よりも多くの種々のスケールをわたり強調されそして、平滑な領域は種々のスケールをわたり平滑化されることに、注意する。この技術は、処理された画像の品質に関して、伝統的なアンシャープマスキングより性能が優れている。
【０１２２】
シャープニング／平滑化理論
本発明のシャープニング及び平滑化技術の理論を、以下に説明する。以下では、離散ウェーブレット分解を介して、マルチスケールアンシャープマスキングを得るために、どのようにこれらの結果が使用されるかを説明する。
【０１２３】
｛Ｈ，Ｈ＊，Ｇ，Ｇ＊｝は、４つの双直交ウェーブレットフィルタ（Ｈ＝低域通過、Ｇ＝高域通過）であるとし、ここで、ＨとＧは前方変換で使用され、そして、Ｈ＊とＧ＊は逆変換で使用される。Ｚ変換領域では、２チャネル完全再構成フィルタバンクが、以下の条件を満たすために要求される（Ｇ．Ｓｔｒａｕｇ，Ｔ．Ｎｇｕｙｅｎ、”ウェーブレット及びフィルタバンク（Ｗｅｌｌｅｓｌｅｙ−Ｃａｍｂｒｉｄｇｅ Ｐｒｅｓｓ、１９９６、Ｗａｖｅｌｅｔ ａｎｄ Ｆｉｌｔｅｒ Ｂａｎｋｓ）”参照）。
Ｈ＊（ｚ）Ｈ（ｚ）＋Ｇ＊（ｚ）Ｇ（ｚ）＝２ｚ−ｍ （１０４）
Ｈ＊（ｚ）Ｈ（−ｚ）＋Ｇ＊（ｚ）Ｇ（−ｚ）＝０ （１０５）
この結果、完全再構成特性として知られる、以下の式は、任意の信号Ｘについて保証される。
【０１２４】
【数２０】
以下の表記、
【０１２５】
【数２１】
を導入すると、完全再構成特性は、
【０１２６】
【数２２】
と書くことができる。
【０１２７】
フィルタＨとＧが対称であり且つゼロ付近である場合には、遅延はゼロであり、即ち、ｍ＝０である。
【０１２８】
Ｆ０は低域通過であり、Ｆ１は高域通過であるので、
【０１２９】
【数２３】
により、シャープ化された画像Ｆｄｗｔ−ｓ（ｘ）の定義のウェーブレット公式が存在する。ここで、ウェーブレットシャープニングパラメータμは、
ｆｓｈａｒｐ（ｘ）：＝ｆｓｍｏｏｔｈ（ｘ）＋λｆｇｒａｄｉｅｎｔ（ｘ） （１０１）
の伝統的なシャープニング法のパラメータλと等価である。
【０１３０】
より大きな分解レベルでスケーリング及びウェーブレット係数を計算するときには、入力データＸは、特定のスケールｊでのスケーリング係数ｓｊである。ウェーブレットシャープニングパラメータμは、スケール毎に（即ち、レベル毎に）異なる。例えば、１９９２年のＷＣ、ケンブリッジ、ケンブリッジ大学出版の、Ｙ．Ｍｅｙｅｒの、”ウェーブレット及び演算子（Ｗａｖｅｌｅｔｓ ａｎｄＯｐｅｒａｔｏｒｓ）”に記載のような、平滑な空間の理論からの結果は、スケールに依存のシャープニングパラメータを選択することにより、マルチスケールシャープニングの定義の自然な方法を導く。
【０１３１】
【数２４】
パラメータαは、Ｈｏｅｌｄｅｒ規則性に関して、信号の全体的な平滑性を変更する。
【０１３２】
スケールｊでの”シャープ化された”スケーリング係数
【０１３３】
【外１】
は、
【０１３４】
【数２５】
のように、定義される。
平滑な特徴の理論的な結果に類似して、パラメータ選択α＜０は、画像をシャープ化する。αの範囲は選択されたウェーブレットシステムをとして与えられる制約により、境界をつけられる。この方法の第１段のフィルタバンクの実装のブロック図を、図１２に示す。図１２を参照すると、入力信号Ｘは、低域通過（Ｈ）ウェーブレットフィルタ１３０１と、高域通過（Ｇ）ウェーブレットフィルタ１３０２へ入力される。フィルタ１３０１と１３０２の出力は、それぞれ間引きユニット１３０３と１３０４に接続され、これれら、フィルタ１３０１と１３０２から１つおきに信号を間引く（精密にサブサンプルされる）。ライン１３０５は、図１２に示されたシステムの分析部分と合成部分の間の分離を示す。示されていないが、低域通過転送された信号は、パラメータｍμｊを有する追加の分解レベルを生成するために、繰返して、フィルタ１３０１と１３０２へ入力されうる。この処理は、任意の数の分解レベルを生成するために繰返されうる（例えば、２，３，４，５等）。
【０１３５】
分析部分と合成部分の間には、符号化器と復号器が含まれうる（本発明を曖昧にするのを避けるために図示していない）。符号化器と復号器は、変換領域で実行される全ての処理論理及び／又はルーチンを含みうる（例えば、予測、量子化、符号化、等）。
【０１３６】
間引きユニット１３０４から出力される精密にサブサンプルされた信号は、スケーリングユニット１３０６に入力される（符号化及び復号の後に）。スケーリングユニット１３０６は、異なるスケールに依存するパラメータμを、複数の分解レベルの変換された信号へ適用する。
【０１３７】
間引きユニット１３０３から出力されるサブサンプルされた変換された信号とスケーリングユニット１３０６から出力されるスケーリングされた出力は、アップサンプリングユニット１３０７と１３０８へそれぞれ入力され、これらは、変換された信号を２だけアップサンプリングし（例えば、ゼロを各項ののちに挿入する）そして、信号を、低域通過逆ウェーブレット変換フィルタ１３０９と高域通過逆ウェーブレット変換フィルタ１３１０へ、それぞれ送る。
【０１３８】
フィルタ１３０９と１３１０の出力は、加算ユニット１３１１により結合され、出力信号Ｘ１を発生する。加算ユニット１３１１は、２つの出力を加算する。代わりの実施例では、加算ユニット１３１１は、情報を、結合された出力となるように選択されたアドレスを使用して、メモリ内の代わりの位置（例えば、フレームバッファ）に書き込み又は格納する。
【０１３９】
画像の全体のエネルギーを保存し且つ修正されたウェーブレットと元のスケーリング係数の割合を維持するために、ウェーブレット係数の再正規化が使用され得る。一実施例では、これは、修正された係数を
【０１４０】
【外２】
で割ることによりなされ、ここで、
【０１４１】
【数２６】
【０１４２】
【数２７】
であり、γはウェーブレットシステムのＨｏｅｌｄｅｒ規則性範囲の上側境界であり、そして、αは、選択されたシャープニングパラメータである。４次のＤａｕｂｅｃｈｉｅｓ−８ウェーブレットシステムについては（フィルタ長＝８、γ＝１．５９６、α＝−１．５９６）正規化ファクタは、
【０１４３】
【数２８】
となる。１９９２年、ＳＩＡＭ、フィラデルフィア、ＰＡによる、ＩｎｇｒｉｄＤａｕｂｅｃｈｉｅｓによる、”ウェーブレットの１０の講義（Ｔｅｎ Ｌｅｃｔｕｒｅｓ ｏｎ Ｗａｖｅｌｅｔｓ）”の文書からの、種々のＤａｕｂｅｃｈｉｅｓウェーブレットシステムについての、Ｈｏｅｌｄｅｒ規則性とバニシングモーメントは、以下の表１に示されている。
【０１４４】
【表１】
パラメータγは、最少のバニシングモーメント及びＨｏｅｌｄｅｒ規則性である。代わりの再正規化技術も使用され得る。
【０１４５】
１つの特定のエッジが、ウェーブレットツリー内のエッジの整列に依存して、異なって平滑化され又はシャープニングされるので、精密にサンプルされたＤＷＴのシフト不変性の欠如は、ノイズ除去及びマルチスケール平滑化及びシャープニングのような画像処理ステップについての欠点である。この欠点を克服するために、ＲＤＷＴにより示される、オーバーコンプリート（冗長）ＤＷＴが選択されそして、精密にサンプルされたＤＷＴより性能が優れている。ＲＤＷＴが、画像のシャープニングのために選択された場合には、上述と同じアプローチがマルチスケールアンシャープマスキングを定義するために使用され得る。主な差は、フィルタバンク内の、ダウン−及び−アップサンプリングが無視されることである。
【０１４６】
スケール１でのＲＤＷＴの完全な再構成特性は、
【０１４７】
【数２９】
により与えられる。
【０１４８】
概略を図１３に示す。図１３では、入力信号Ｘは、低域通過ウェーブレットフィルタ１４０１と高域通過ウェーブレットフィルタ１４０２への入力である。低フィルタ１４０１の出力は偶数番号の係数１４０３と奇数番号の係数１４０４に分離され、そして、フィルタ１４０２の出力は偶数番号の係数１４０５と奇数番号の係数１４０６に分離される。間引きは行われないことに注意する。図１２のライン１３０５のように、ライン１４０７は再び分析と合成部分の間を示し、そして、ここで説明するように、符号化及び復号動作を含みうる。また、低域通過フィルタ１４０１から出力される係数は、幾つかの分解レベルを生成するために、フィルタ１４０１とフィルタ１４０２へ繰返してフィードバックされる。
【０１４９】
スケーリングユニット１４０８と１４０９は、複数の分解レベルへ上述のように、スケールに依存するパラメータを偶数及び奇数係数に適用する。スケーリングユニット１４０８と１４０９及びフィルタ１４０１からの偶数と奇数係数は、アップサンプリングユニット１４１０−１４１３によりアップサンプルされる。アップサンプリングユニット１４１０と１４１１の出力は、低域通過逆変換フィルタ１４１４と１４１５にそれぞれ結合され、そして、アップサンプリングユニット１４１２と１４１３の出力は、高域通過逆変換フィルタ１４１６と１４１７にそれぞれ結合される。逆フィルタ１４１４−１４１７は、除算ユニット１４１８−１４２１に接続され、これらは、オーバーコンプリートＤＷＴの使用について補償するために、２つの数を平均するために２で出力を割る。再正規化は、ＤＷＴについての同じラインに沿って進み、丁度ウェーブレットシステムについての値ガンマは、おおよそ、２倍される（表参照）。
【０１５０】
加算ユニット１４２２は、復号器ユニット１４１８と１４１９の出力を加算し、一方、加算ユニット１４２３は、除算ユニット１４２０と１４２１の出力を加算する。加算ユニット１４２４は、加算ユニット１４２２と１４２３の出力を加算し、Ｘ１信号を生成する。加算ユニット１４２２−１４２４は、例えば、上述のような、既知の方法で動作する。
【０１５１】
フィルタＨとＧが直交する場合には、第１段のフィルタバンクのフィルやＨ＊Ｈ及びＧ＊Ｇは、単純にＨ及びＧの自己相関フィルタである。
【０１５２】
スケールｊ＞１について、完全再構成特性は、オリジナルフィルタＨ、Ｈ＊、Ｇ、Ｇ＊でなく、次のようなＨｊ、Ｈ＊ ｊ、Ｇｊ、Ｇ＊ ｊ、
【０１５３】
【数３０】
により示された、それらの繰返されたものを使用して表現される。
精密にサンプルされた場合の類似で、シャープ化された画像ｘｒｄｗｔ−ｓは、
【０１５４】
【数３１】
のように、定義される。
μｊ＝２ｊαを選択することにより、シャープ化（α＜０＞されたレイトスケーリング係数が、スケールｊ＝１で、
【０１５５】
【数３２】
により得られうる。スケールｊ＞１については、シャープ化されたスケーリング係数は、
【０１５６】
【数３３】
により定義される。
オーバーコンプリートマルチスケールシャープニングについてのフィルタバンク実行は、図１３に示されている。図１２の最大の間引きされたフィルタバンクの構造と比較して、２のファクタによるダウンサンプリングが無視されている。しかし、図１２と同様な方法で、詳細な係数はμｊにより乗算される。精密にサンプルされたＤＷＴと対照的に、可能な指数の範囲は、拡張される。
【０１５７】
修正されたウェーブレット係数の正規化は、精密にサンプルされたＤＷＴについてと同様に、行われ得る。再正規化は、ウェーブレットシステムについての値σが、おおよそ、２倍されるのをのぞいて、ＤＷＴについての同じラインに沿って、進む。オーバーコンプリート変換については、値は、以下の表２に示されたように変わる。
【０１５８】
【表２】
同様に、精密にサンプルされた及びオーバーコンプリートされたウェーブレット変換についてのマルチスケールシャープニングと同様に、マルチスケール平滑化は、パラメータαをゼロより大きくなるように選択することにより，精密にサンプルされた及びオーバーコンプリートされたウェーブレット変換について可能である。
【０１５９】
元のデータと処理された入力データの平滑性を知ることは幾つかの利点がある。入力データが、直交ＤＷＴを適用することにより得られたウェーブレット係数を再スケーリングすることにより、元のデータの平滑化されたものであるとすると、ここに記載の技術は、正確にもとのデータを再構成できる。例えば、処理された入力データ内の平滑化されたステップエッジは、元のステップエッジへ戻されることを意味する。
【０１６０】
直交ウェーブレットを伴なうＤＷＴを使用するマルチスケール平滑化及びシャープニングは、可逆であり、一方、対照的に、ＲＤＷＴは、可逆でない。この理由は、ＲＤＷＴは、一般的には、直交変換ではないためである。
【０１６１】
【数３４】
図１４は、ウェーブレットでのマルチスケールシャープニング及び平滑化を実行する処理の実施例のフローチャートを示す。図１４を参照すると、処理は、入力パラメータを受信する処理論理で開始する（処理ブロック１５０１）。一実施例では、入力パラメータは、ウェーブレットシステムの形式、分解レベルの数、シャープニング及び平滑化パラメータ、及び、ノイズ除去技術を含む。ノイズ除去技術に関しては、入力パラメータは、ノイズ除去技術についてのしきい値を含む。
【０１６２】
一旦、入力パラメータが受信されると、処理論理は、選択されたウェーブレットシステムについての平滑値γを調べ（処理ブロック１５０２）、そして、上述の公式を使用して再正規化係数を計算する（処理ブロック１５０３）。γの値は、ルックアップテーブル内に格納されてもよく、各エントリーは異なるウェーブレットシステムに関連する。処理ブロック１５０１−１５０３は、処理の初期化部分を示す。これらのステップは、１回実行され残りのステップは、毎画像に対して実行される。
【０１６３】
初期化後に、処理論理は、第１レベルのウェーブレット変換を実行する（処理ブロック１５０４）。処理論理は、そして、ノイズ除去のためのしきい値を設定する（処理ブロック１５０５）。一実施例では、Ｄｏｎｏｈｏ−Ｊｏｈｎｓｔｏｎｅしきい値が、ノイズ除去のために使用される場合には、処理論理は、ウェーブレット係数の標準偏差を計算し、そして、しきい値を、
【０１６４】
【数３５】
へ設定し、ここで、Ｎは、データの行と列の最大値であり、σは第１レベルのウェーブレット変換の標準偏差である。
【０１６５】
次に、処理論理は、係数に、第２レベルのウェーブレット変換を実行する（処理ブロック１５０７２）。処理論理は、第Ｌレベルのウェーブレット変換まで、他のウェーブレット変換を実行する（処理ブロック１５０７Ｌ）。
【０１６６】
ウェーブレット変換の実行後に、処理論理は、しきい値化（ノイズ除去）と再スケーリング（シャープニング又は平滑化）を、ウェーブレット係数を、レベルｊで、
２ｊα
と乗算することにより実行する（処理ブロック１５０８）。その後に、処理論理は、Ｌレベルの逆変換を実行する（処理ブロック１５０９）。
【０１６７】
図１５Ａ−Ｄは、前方及び逆変換を示す。図１５ＡとＢは、それぞれ、前方及び逆離散ウェーブレット変換（ＤＷＴ）の構成ブロックを示す。これらは、図１２の同様な名称のブロックと同様であることに、注意する。図１５Ｃは、Ｌの分解レベルの前方ＤＷＴの一実施例である。図１５Ｃを参照すると、入力Ｘは、レベル１前方ＤＷＴブロック１６０１への入力である。レベル１前方ＤＷＴブロック１６０１の出力は、レベル２前方ＤＷＴブロック１６０２への入力であり、そして、同様な方法で、レベルＬへの残りの分解レベルを通して続く。図１５Ｄは、Ｌレベルの分解を再スケーリング（シャープニング／平滑化）する逆ＤＷＴを示す。図１５Ｄを参照すると、逆ＤＷＴの各レベルについてのシャープニング／平滑化パラメータがあることに、注意する。即ち、シャープニング／平滑化パラメータは、同じレベルで実行されている、全変換ステップについて同じである。
【０１６８】
図１６Ａ−Ｄは、ＲＤＷＴへのシャープニング／平滑化の応用を示す。図１６Ａ−１６Ｂは、それぞれ、前方及び逆冗長ＤＷＴ（ＲＤＷＴ）の構成ブロックを示す。図１６Ｃは、Ｌのレベル分解についての前方ＲＤＷＴを示す。図１６Ｄは、Ｌのレベルの分解についての、再スケーリング（シャープニング／平滑化）を伴なう全レベル分解についての逆ＲＤＷＴを示す。図１６Ｄを参照すると、再スケーリングパラメータは、各レベルの個々の処理ブロックの各々について同じである。しかしながら、再スケーリングパラメータは、レベル毎に異なる。
【０１６９】
シャープニング／平滑化パラメータの選択
入力データと、出力データの平滑性についての知識により、パラメータαを決定する異なる可能性がある。以下に異なる技術が開示されるが、しかし、他の技術も使用され得る。最初に、有効な入力データが、スキャナのような入力装置を通して、オリジナルデータを送ることから得られるデータである場合には、データのＨｏｅｌｄｅｒ規則性は、入力装置のＨｏｅｌｄｅｒ規則性である。スキャナの場合には、規則性は、点像分布関数の平滑性により与えられる。オリジナルデータが、平滑性βを有し、そして、走査された入力データが、平滑性εを有する場合には、シャープニングパラメータの合理的な選択は、−（ε―β）であろう。しかしながら、項｜ε―β｜が、ウェーブレットシステムのＨｏｅｌｄｅｄｒ規則性γより大きいことは許されない。従って、シャープニングパラメータは、β＞γ及びε＞γの場合には、α＝０であり、そして、
【０１７０】
【数３６】
の場合には、α＝ｍｉｎ（γ，ε）−βである。
【０１７１】
入力データの平滑性の知識が存在しない場合には、対応するＨｏｅｌｄｅｒ規則性εは、スケールをわたるウェーブレット係数の減衰から推定されることが可能である。Ｈｏｅｌｄｅｒ規則性εは、定数Ｃ＞０、スケールｊ及び、位置ｋについて、
【０１７２】
【数３７】
のような最少の数であるべきである。
オリジナルデータが、テキスト領域で発生するように、ステップエッジを含む場合には、例えば、オリジナルの平滑性βは、ゼロに等しい。
オリジナルデータの平滑性βとすると、シャープニング／平滑化パラメータαは、常に、
【０１７３】
【数３８】
のように選択されるべきである。
【０１７４】
走査された画像を処理するときには、指数α＝−１が使用され、これは理論的な理由を有する。画像は、平滑な領域とステップエッジよりなる関数として、モデル化されうる。この画像を走査することにより、ステップエッジが不鮮明になる。この不鮮明化は、ガウスカーネル又は、同様な特性を有するカーネルとの畳み込みとしてモデル化されうる。この結果、ハールシステムでのオーバーコンプリートウェーブレット分解は、指数１により記載されるウェーブレット係数の減衰を捕捉する。走査されたエッジをシャープ化するために、即ち、エッジの逆平滑化のために、シャープ化パラメータの指数として、指数α＝−１が選択される。上述の式（１０１０）の正規化定数パラメータγは、γ＝１である。全分解レベルＬ＝３のこの場合には、ウェーブレット係数の以下の修正がなされる。
−第１レベルのウェーブレット係数の
【０１７５】
【数３９】
による乗算。
−第２レベルのウェーブレット係数の
【０１７６】
【数４０】
による乗算。
−第３レベルのウェーブレット係数の
【０１７７】
【数４１】
による乗算。
【０１７８】
このように、例えば、ディジタルコピー器、ディジタルカメラ、ファクシミリ機、プリンタ等のような、走査された文書に関する応用でシャープ化パラメータをどのように選択するかが説明された。
【０１７９】
マルチスケールシャープニング及び平滑化の他の応用は、ウェーブレット係数に依存する、適応平滑化及びシャープニングを実行することである。それゆえに、選択された係数のみが、２ｊα、α＜０との乗算によりシャープ化され、そして、平滑領域の係数は、オーバーコンプリートハールシステムでの、２ｊβ、β＞０による乗算により平滑化される。
【０１８０】
ディジタルコピー機の一実施例を、図１７に示す。図１７を参照すると、スキャナ１８０１又は、他の半階調画像源１８０２は、画像を分類ユニット１８０３へ供給し、これは、画像データを、テキストと背景として分類する。分類ユニット１８０３の出力は、分類された画素に従って、平滑化又はシャープニングを実行する、スケーリングユニット１８０４により受信される。分類の使用と分類に関するシャープニング／平滑化を基礎にするのはオプションであることに注意する。スケーリングユニット１８０４の出力は、他の処理（例えば、ダウンサンプリング、ガンマ補正、ハーフトーン化、等）を実行する、処理ユニット１８０５に接続されている。処理ユニット１８０５の出力は、画像を印刷する、プリンタ１８０６により受信される。
【０１８１】
本発明の多くの変更及び修正は、前述の記載を読めば、当業者には明らかであり、説明した特定の実施例は、本発明を限定するものではないと理解されるべきである。従って、種々の実施例への詳細な参照は、本発明の必須であると考えられる特徴のみを列挙する請求の範囲を限定するものではない。
【０１８２】
【発明の効果】
上述のように、本発明により、ウェーブレット変換係数を用いた非線形画像処理方法及び装置を提供できる。
【図面の簡単な説明】
【図１】１次元非線形補間法の２次元拡張を示す図である。
【図２】逆ウェーブレット変換内で、補間を埋め込むための処理を示すフローチャートを示す図である。
【図３Ａ】逆ウェーブレット変換内で、補間を埋め込むための処理の一実施例を示すフロー図である。
【図３Ｂ】逆ウェーブレット変換内で、補間を埋め込むための処理の一実施例を示すフロー図である。
【図３Ｃ】逆ウェーブレット変換内で、補間を埋め込むための処理の一実施例を示すフロー図である。
【図４】一実施例に従った、逆ウェーブレット変換内に埋め込まれた補間をむための装置を示す概略図である。
【図５】標準的な３次元補間と比較した、ウェーブレット変換係数を使用する適応非線形画像拡大の例を示す概略図である。
【図６】ステップエッジを補間する処理の一実施例を示すフロー図である。
【図７】ウェーブレットに基づく向上システムを有するディジタルコピー機を示す図である。
【図８】高解像度印刷を実行する処理を示す図である。
【図９】コンピュータシステムの一実施例のブロック図である。
【図１０】画像データを処理する方法の一実施例を示す図である。
【図１１】画像データを処理する処理の他の実施例を示す図である。
【図１２】離散ウェーブレット変換での第１レベルのマルチスケールアンシャープマスキングのフィルタバンクの実装のブロックを示す図である。
【図１３】オーバーコンプリート離散ウェーブレット変換での第１レベルのマルチスケールアンシャープマスキングのフィルタリングの実装の他のブロックを示す図である。
【図１４】ウェーブレットでのマルチスケールシャープニング及び平滑化を実行する処理の一実施例のフローチャートを示す図である。
【図１５Ａ】前方及び逆変換を示す図である。
【図１５Ｂ】前方及び逆変換を示す図である。
【図１５Ｃ】前方及び逆変換を示す図である。
【図１５Ｄ】前方及び逆変換を示す図である。
【図１６Ａ】ＲＤＷＴへのシャープニング／平滑化の応用を示す図である。
【図１６Ｂ】ＲＤＷＴへのシャープニング／平滑化の応用を示す図である。
【図１６Ｃ】ＲＤＷＴへのシャープニング／平滑化の応用を示す図である。
【図１６Ｄ】ＲＤＷＴへのシャープニング／平滑化の応用を示す図である。
【図１７】コピー機の一実施例のブロック図である。
【符号の説明】
４０１ 受信ユニット
４０２ 処理ユニット
７０１ ウェーブレット変換
７０２ 画像プロセッサ
７０３ 逆冗長ウェーブレット変換
７０４ 拡大機
８０１ １レベル冗長ウェーブレット変換
８０２ 拡大機
８０３ 画像プロセッサ
９００ コンピュータシステム
９０７ データストレージ装置
９１１ バス
９１２ プロセッサ
９２１ ディスプレイ
９２２ 英数字入力装置
９２４ ハードコピー装置
９２５ 有線／無線通信能力
１３１１ 加算ユニット
１４０１ 低域通過ウェーブレットフィルタ
１４０２ 高域通過ウェーブレットフィルタ
１４０８、１４０９ スケーリングユニット
１４１０−１４１３ アップサンプリングユニット
１４１４、１４１５ 低域通過逆変換フィルタ
１４１６、１４１７ 高域通過逆変換フィルタ
１４２２ 加算ユニット
１４２３ 加算ユニット
１４２４ 加算ユニット
１８０３ 分類ユニット
１８０４ スケーリングユニット
１８０５ 処理ユニット
１８０６ プリンタ
【発明の属する技術分野】
本発明は、画像処理の分野に関連し、特に、本発明は、ウェーブレットでのエッジ保存画像補間に関連する。
【０００２】
【従来の技術】
ディジタル画像のサイズ変更はディジタル画像処理ではしばしば行われ、そして、異なるｄｐｉ解像度を有する装置を含むネットワーク環境では益々重要になっている。エイリアスとモアレ歪みは、画像縮小での主な問題であるが、画像の拡大は、画像、特にエッジが平滑化され過ぎない又は不鮮明過ぎないようにするために、どのように高周波数成分を導入するかの問題を扱わねばならない。画像を拡大する典型的な方法は、補間フィルタの使用である。このフィルタは、補間値を予測するために、隣接する画素からの情報を組み込む。例えば、写真画像操作アプリケーションで普通に使用されるフィルタは、双１次又は双３次（ｂｉｃｕｂｉｃ）補間フィルタである。これらのフィルタを使用して、高解像度での完全なステップエッジを生成するために、完全なステップエッジは、補間されることができない。補間されたエッジは、常に少しに不鮮明にみえる。
【０００３】
画像補間の標準的な方法は、多項式補間である。補間多項式の（例えば、１次、２次、３次等の）次数に依存して、画像は幾分滑らかに見える。最も普通に使用される技術は、３次補間と呼ばれる。多項式法の利点は、全体的な線形フィルタリング技術に基づいているので、その単純さである。欠点は、適応補間を実行できず、これにより、エッジが典型的には過度に滑らかにされることである。これは、文書の拡大では大きな欠点である。
【０００４】
多項式補間フィルタの仲間である、Ｋｅｙｓフィルタのような、他の補間フィルタも存在するが、しかし、アンシャープマスキングフィルタの特性を有する、即ち、それらは、エッジで、オーバーシュート−アンダーシュートを生成することにより高周波数成分を向上させそして、オーバーシュート−アンダーシュートはノイズ画素についての生成され、そして、画像内のノイズレベルの増加を導く。全てのこれらのフィルタは、全体の画像上で全体的に動作するので、適応補間はできない。エッジの改善と背景領域の雑音の抑圧の間のトレードオフが存在する。
【０００５】
画素領域で動作し且つ画像からエッジ情報を抽出しそして、その情報をエッジ指示補間を実行するのに使用する、非線形補間法が存在する。１つの方法は、最初に、ガウシャンのラプラシアンを使用して、低解像度画像のエッジマップを計算する。第２のステップで、エッジ情報を使用する低解像度の前処理が、推定された高解像度エッジマップ内の誤差を避けるために、実行される。第３のステップは、そのエッジ情報を使用して補間を実行する。滑らかな領域では、双１次補間が実行される。エッジ付近では、補間された値は、エッジのシャープさを保持する値により置換される。最後に、補間を更に改善するために、繰返し補正ステップが実行される。典型的な繰返しの数は、１０である。これは、非特許文献１を参照する。
【０００６】
他の方法では、低解像度画像の局所共分散が推定されそして、それらの推定値が、古典的なウィナー（Ｗｉｅｎｅｒ）フィルタ補間を実行するのに使用される。局所共分散は、フィルタ係数の一部であり、エッジに沿ったしかしエッジを渡らない平滑化が、実行される。この方法の欠点は、独立したドットが、非常に短いエッジとして扱われるので、補間後に良好に保存されないことである。これは、非特許文献２を参照する。
【０００７】
前述の２つの方法と比較すると、非常に簡単なエッジに敏感な補間法が、非特許文献３で提案されている。この技術は、補間するサンプル値を決定するために、非線形フィルタを採用する。詳しくは、１次元信号に対して、局所線形補間
【０００８】
【数１】
【０００９】
【数２】
【００１０】
図１は、１次元非線形補間法の２次元への拡張を示す概略図である。図１で”ｏ”を含む画素位置は、低解像度画像の画素を示す。２次元への拡張は、１次元法を、マトリクス１０１内で示される、低解像度画像Ｉｌｏｗの行と列へ別々に適用することにより、マトリクス１０２に示されるＩｃｏｍｂに結合された結果を有するように、実行される。失われた値は、マトリクス１０３に示される，結合された画像Ｉｉｎｔ内の行と列上の、補間の平均として補間される。
【００１１】
画像を外挿するためにウェーブレット領域内で画像の多重解像度構造を調査する、幾つかの技術が存在する。ウェーブレットでのエッジ保存画像補間への一般的なアプローチは、低解像度画像のウェーブレット分解へ、追加の高周波数帯を加えることである。幾つかの従来技術は、縮尺又は分解レベルをわたり、ウェーブレット係数の極値を調査することによりエッジの位置を決定する。外挿は典型的には、局所化と極大値の最小２乗適合を要求する。これらのアプローチの問題は、エッジの整列が十分でないことである。より滑らかな画像を外挿するためには、それは重要ではないが、しかし、テキストの外挿についてはむしろ厳しい。この問題を克服する１つの方法は、ダウンサンプルされた高解像度画像を元の低解像度画像へよりよくマップするために、外挿に繰返しを含むことである。更なる情報は、非特許文献４及び非特許文献５を参照する。
【００１２】
１９９８年２月に、発行された、名称「周波数空間での非線形外挿による画像改善（Ｉｍａｇｅ ｅｎｈａｎｃｅｍｅｎｔ ｂｙ ｎｏｎ−ｌｉｎｅａｒ ｅｘｔｒａｐｏｌａｔｉｏｎ ｉｎ ｆｒｅｑｕｅｎｃｙ ｓｐａｃｅ）」の特許文献１では、ラプラシアンピラミッドは、滑らかに補間された画象上の修正されたアンシャープマスキングを実行するのに使用される。この場合には、補間された画像内に、適切に完全なエッジを整列することは難しい。
【００１３】
【特許文献１】
米国特許第５，７１７，７８９号明細書
【非特許文献１】
Ａｌｌｅｂａｃｈ，Ｊ及びＷｏｎｇ，Ｐ．Ｗ．著、「エッジ指示補間（Ｅｄｇｅ−ｄｉｒｅｃｔｅｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ）」、ＩＣＩＰ’９８論文集、ｐｐ７０７−７１０、１９９８年。
【００１４】
【非特許文献２】
Ｌｉ，Ｘ及びＯｒｃｈａｒｄ，Ｍ著、「新しいエッジ指示補間（Ｎｅｗ ｅｄｇｅ ｄｉｒｅｃｔｅｄ ｉｎｔｅｒｐｏｌａｔｉｏｎ）」、ＩＣＩＰ’２０００論文集、バンクーバ、２０００年。
【００１５】
【非特許文献３】
Ｃａｒｒａｔｏ，Ｓ．、Ｒａｍｐｏｎｉ．，Ｇ及びＭａｒｓｉ．Ｓ．著、「単純なエッジに敏感な画像補間フィルタ（Ａ ｓｉｍｐｌｅ ｅｄｇｅ−ｓｅｎｓｉｔｉｖｅ ｉｍａｇｅ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｆｉｌｔｅｒ）」、ＩＣＩＰ’９６論文集、ｐｐ．７１１−７１４、１９９６年。
【００１６】
【非特許文献４】
Ｃａｒｅｙ，Ｗ．Ｋ．、Ｃｈｕａｎｇ，Ｄ．Ｂ．及びＨｅｍａｍｉ．Ｓ．Ｓ．著、「規則性保存画像補間（Ｒｅｇｕｌａｒｉｔｙ−Ｐｒｅｓｅｒｖｉｎｇ Ｉｍａｇｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ）」、画像処理（Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ）、ｖｏｌ．８，ｎｏ．９、ｐｐ．１２９３−１２９７、１９９９年。
【００１７】
【非特許文献５】
Ｃｈａｎ，Ｓ．Ｇ．，Ｃｖｅｔｋｏｖｉｃ，Ｚ．及びＶｅｔｔｅｒｌｉ，Ｍ．著、「ウェーブレット変換極値外挿を使用する画像の解像度向上（Ｒｅｓｏｌｕｔｉｏｎ ｅｎｈａｎｃｅｎｅｎｔ ｏｆ ｉｍａｇｅｓ ｕｓｉｎｇ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ ｅｘｔｒｅｍａ ｅｘｔｒａｐｏｌａｔｉｏｎ）」、ＩＣＡＳＳＰ’９５論文集（Ｐｒｏｃｅｅｄｉｎｇｓ）、ｐｐ．２３７９−２３８２、１９９５年。
【００１８】
【発明が解決しようとする課題】
本発明の目的は、ウェーブレット変換係数を用いた非線形画像処理方法及び装置を提供することである。
【００１９】
【課題を解決するための手段】
ウェーブレット領域での画像の拡大と解像度の向上のための方法と装置が開示される。一実施例では、この方法は、画像のウェーブレット表現を受信し、ウェーブレット表現はウェーブレット係数を含み、且つ、ウェーブレット領域内のウェーブレット係数上に、局所化された適応補間を実行する。
【００２０】
【発明の実施の形態】
本発明は、以下の詳細な説明と本発明の種々の実施例の添付の図面からさらに完全に理解されるが、しかし、それは、本発明が、特定の実施例に限定されると考えるべきではなく、説明と理解のためのみである。
【００２１】
ウェーブレット変換係数を使用する適応非線形画像拡大のための方法及び装置が開示される。ウェーブレット変換係数は、自然に、画像を、滑らかな部分とエッジ部分に分割する。本発明は、ウェーブレット領域での補間を実行し、そして、滑らかな領域で滑らかな補間を自動的に実行するために且つ高周波数領域でシャープなエッジを予測するために、低域通過及び高域通過係数内の情報を使用する。
【００２２】
ここに記載された技術は、ウェーブレット領域内で適応補間を実行することによる、非線形適応補間の考えへの修正されたアプローチである。一実施例では、これは、（例えば、以下に説明するように、ウェーブレット係数の標準偏差σにより特徴化される）ノイズレベル以上の大きなシャープなエッジを保存し、ここで、エッジは分離され、短いエッジを含みそして、ノイズ画素を向上しない。エッジ感度パラメータｋは、上述の従来技術から除去されておりそして、測定されるメトリック距離を決定するパラメータｐが、使用される。更に、この技術は、アルゴリズムを、任意のウェーブレットシステムと変換へ適応しうる。一実施例では、この技術は、ウェーブレットに基づくノイズ除去及び向上と結合され、そして、それゆえに、ウェーブレットシャープニング及び平滑化（”ＷＳＳ”）技術への有益な追加である。これは、ＪＰＥＧ２０００（Ｊ２Ｋ）圧縮された画像に適用もできる。
【００２３】
以下の記載では、構成要素間の距離、モールディングの形式等の、多くの詳細が述べられる。しかしながら、当業者には、本発明は、これらの特定の詳細なしに実行されうることは、明らかである。他の場合には、既知の構造及び装置は、本発明を曖昧にするのを避けるために、詳細よりも、ブロック図の形式で示される。
【００２４】
以下の詳細な説明の幾つかの部分は、コンピュータメモリ内のデータビットに関する、アルゴリズム及び動作の記号的表現で提示される。これらのアルゴリズム的な記載と表現は、当業者に最も効率的に、仕事の実体を知らせるために、データ処理技術の分野の当業者により使用される手段である。アルゴリズムは、ここでは、一般的には、所望の結果を導くための、自己一貫性のあるステップのシーケンスであると考えられる。ステップは、物理的な量の物理的な操作を要求する。通常は、必要ではないが、これらの量は、格納され、転送され、結合され、比較され、そしてその他の操作がされる、電気的な又は磁気的な信号の形式をとる。通常の使用の理由から、これらの信号を、ビット、値、要素、シンボル、文字、項、数又は、同様なものと呼ぶことが、しばしば、便利であることがわかる。
【００２５】
しかしながら、これらの全ての及び同様な用語は、適切な物理的な量と関連し、そして、これらの量に適用される単に便利なラベルであることは、憶えておくべきである。特に述べない限り、以下の説明から明らかなように、記載を通じて、”処理”又は、”計算する” 又は、”計算する” 又は、”決定する” 又は、”表示する” 又は同様な、用語を使用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として示されたデータを、コンピュータシステムのレジスタ及びメモリ又は、他のそのような情報蓄積、伝送又は、表示装置内の物理的な量として示される同様な他のデータへ操作し且つ変換する、コンピュータシステム又は、同様な電子計算装置の動作及び処理を指すことは、理解されよう。
【００２６】
本発明は、ここの動作を実行する装置にも関連する。この装置は、特別に要求された目的のために構成され又は、コンピュータ内に格納されたコンピュータプログラムにより、選択的に活性化又は再構成される汎用コンピュータを含む。そのようなコンピュータプログラムは、制限はされないが、フレキシブルディスクを含む任意の形式のディスク、光ディスク、ＣＤ−ＲＯＭ及び、光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ，磁気又は光カード、又は、電子的な命令を格納するのに適した他の形式の媒体、及び各々が結合されたコンピュータシステムバスような、コンピュータ読み出し可能な蓄積媒体内に格納される。
【００２７】
ここで提示するアルゴリズム及び表示は、特定のコンピュータ又は他の装置に固有に関連していない。種々の汎用システムは、ここでの教示に従ったプログラムと共に使用され又は、要求された方法ステップを実行する更に特化された装置を構成するのに便利であることが分かる。種々のこれらのシステムについての要求された構造は、以下の記載から分かる。更に、本発明は、特定のプログラム言語を参照して記載されていない。種々のプログラミング言語がここに記載の発明の教示を実行するのに使用されうることは、理解されよう。
【００２８】
機械読み出し可能な媒体は、機械（例えば、コンピュータ）により読み出し可能な形式の情報を蓄積する又は伝送する機構を有する。例えば、機械読み出し可能な媒体は、読み出し専用メモリ（”ＲＯＭ”）、ランダムアクセスメモリ（”ＲＡＭ”）、磁気ディスク蓄積媒体、光蓄積媒体、フラッシュメモリ装置、電気的、光学的、音響的又は、他の形式の伝播信号（例えば、搬送波、赤外信号、ディジタル信号、等）、等を含む。
【００２９】
ウェーブレットに基づくアルゴリズム
図２は、ウェーブレット変換係数を使用する非線形画像拡大を実行する処理の一実施例のフロー図を示す。一実施例では、処理は、ハードウェア（例えば、回路、専用論理、等）、（汎用コンピュータシステム又は専用マシン上で実行されるような）ソフトウェア又は、その両方の結合を含みうる処理論理により実行される。
【００３０】
一実施例では、この処理は、逆ウェーブレット変換内の埋め込み補間を含む。上述の式（２）内のサンプル間の差は、一実施例内で、Ｈａａｒ（ハール）ウェーブレット係数として翻訳される。そのような場合には、画像は冗長ハールウェーブレット係数で与えられると仮定される。第１レベルの分解は、低域通過係数ｃＬＬ（ｊ，ｉ）２０１で、そして、詳細係数ｄＬＨ（ｊ，ｉ）２０２、ｄＨＬ（ｊ，ｉ）２０３、及びｄＨＨ（ｊ，ｉ）２０４で与えられる。前向き変換の順序は、最初に水平変換が行われそして、次に垂直変換が行われる。ＪＰＥＧ２０００では、この順序は逆にされ、最初に垂直変換が適用され次に、水平変換が適用される。ＪＰＥＧ２０００：ＩＴＵ−ＴＲｅｃ．Ｔ．８００−ＩＳＯ／ＩＥＣ１５４４４−１：２０００、情報技術−ＪＰＥＧ２０００画像符号化システムを参照する。この場合には、逆変換は水平変換を実行し次に垂直変換を適用する。
【００３１】
処理論理は、垂直逆ウェーブレット変換をｃＬＬ２０１とｄＬＨ２０２の列に実行し、結果は、ｃＬ２０５と呼ばれる。
【００３２】
次に、処理論理は、垂直逆ウェーブレット変換をｄＨＬ２０３とｄＨＨ２０４の列に実行し、結果は、ｄＨ２０６と呼ばれる。
【００３３】
処理論理は、結果ｃＬ２０５とｄＨ２０６を粗いグリッド画像ＣＬ２０７とＤＨ２０８上に置き、これにり、ＣＬ（２ｊ，ｉ）＝ｃＬ（ｊ，ｉ）及びＤＨ（２ｊ，ｉ）＝ｄＨ（ｊ，ｉ）である。
【００３４】
そして、処理論理は、以下の式に従って、列ｃＬ（２ｊ＋１，ｉ）及びｄＨ（２ｊ＋１，ｉ）を補間する。
【００３５】
【数３】
指示は、Ｎサンプルに対して、
【００３６】
【数４】
【００３７】
式は、上述の式（２）の修正版であり、パラメータｋは除去されている。右に対するウェーブレット係数は左側の１つと比較して大きい場合には、補間値は、左側に多く配置される、等である。パラメータｐは、係数間の差が大きく又は軽く重み付けされているか同かを制御する。画像についての好ましい選択はｐ＝１である。
【００３８】
【数５】
【００３９】
そして、処理論理は、行ＩＩＮＴ（ｊ，２ｉ＋１）を、以下の式により補間する。
【００４０】
【数６】
【００４１】
【数７】
【００４２】
【数８】
【００４３】
【数９】
【００４４】
【数１０】
【００４５】
一実施例では、処理論理は、そのパレットに関する値の範囲に戻すように、画像ＩＩＮＴをクリップする。例えば、画像が２５６暗度の階調画像である一実施例では、範囲は[０ ２５５]へ戻るようにクリップされる。
【００４６】
上述の式（６）と（１２）は、条件｜係数｜＞εがある。しきい値εを設定する代わりに、係数をクラスＡとＢに分類する分類子結果が使用され、そして、例えば、係数がクラスＡであるかどうかに基づいて、動作を実行する。これは例えば、ハーフトーン領域に使用され得る。係数がハーフトーン領域に属するか否かを決定する、ハーフトーン分類子が使用される場合には、式は次のように書かれる。
【００４７】
【数１１】
【００４８】
【数１２】
１）しきい値が、画像内のノイズレベルを示すときには、｜係数｜＞しきい値、
２）ハーフトーン対非ハーフトーンについての分類子が使用されるときには、係数はハーフトーン領域に属し、
３）テキスト対非テキストについての分類子が使用されるときには、又は、ＭＲＣ（ミックスドラスタコンテンツ）圧縮機構が使用されるときには、係数はハーフトーン領域に属し、又は、
４）係数は対象の領域に属するか又は、ＪＰＥＧ２０００の特定のレイヤに属する。
【００４９】
上述の処理は、以下の異なるタームで表現される。図３Ａ、３Ｂ及び３Ｃは、逆ウェーブレット変換へ、補間を埋め込む技術を示すフロー図である。図２は、ウェーブレット変換係数を使用する、非線形画像拡大を実行する処理のフロー図である。一実施例では、処理は、ハードウェア（例えば、回路、導き出された論理、等）、（汎用コンピュータシステム又は、専用マシンで実行されるような）ソフトウェア、又は、両者の組合せを含みうる、処理論理により、実行される。
【００５０】
図３Ａ、３Ｂ及び３Ｃを参照すると、一実施例では、処理論理は、ウェーブレット係数で与えられた画像を受信する（処理ブロック３０１）。処理ブロック３０２では、処理論理は、画像の第１の係数マトリクスの列（ｊ）（例えば、ｃＬＬ（ｊ，ｉ））と、画像の第２の係数マトリクスの列（ｊ）（例えば、ｄＬＨ（ｊ，ｉ））へ第１の垂直逆ウェーブレット変換を実行する。そして、処理ブロック３０３では、処理論理は、画像の第３の係数マトリクスの列（ｊ）（例えば、ｄＨＬ（ｊ，ｉ））と、画像の第４の係数マトリクスの列（ｊ）（例えば、ｄＨＨｊ，ｉ））へ第２の垂直逆ウェーブレット変換を実行する。
【００５１】
次に、処理ブロック３０４で、第１の垂直逆ウェーブレット変換の結果内の（例えば、ｃＬ（ｊ，ｉ））の各列（ｊ）に対して、処理論理は、第１の垂直に粗いグリッド画像（例えば、ＣＬ（２ｊ，ｉ））内の対応する偶数番号の列（２ｊ）を、第１の垂直逆ウェーブレット変換の結果内の列（ｊ）に等しく設定する（例えば、ＣＬ（２ｊ，ｉ）＝ｃＬ（ｊ，ｉ））。
【００５２】
そして、処理ブロック３０５では、第２の垂直ウェーブレット変換の結果（例えば、ｄＨ（ｊ，ｉ））内の各列（ｊ）について、処理論理は、第２の垂直に粗いグリッド画像（例えば、ＤＨ（２ｊ，ｉ））内の対応する偶数番号の列（２ｊ）を、第２の垂直逆ウェーブレット変換の結果内の列に等しく設定する（例えば、ＤＨ（２ｊ，ｉ）＝ｄＨ（ｊ，ｉ））。
【００５３】
次に、処理ブロック３０６では、第５の係数マトリクス（例えば、ｄＬＨ＋ＨＨ（ｊ，ｉ））内の各列（ｊ）と各行（ｉ）について、処理論理は、第５の係数マトリクスの列（ｊ）と行（ｉ）内の要素を、第１の加数と第２の加数の和（例えば、ｄＬＨ＋ＨＨ（ｊ，ｉ）＝[ｄＬＨ（ｊ，ｉ）]＋[ｄＨＨ（ｊ，ｉ）]＝ｘ＋ｙ）に等しく設定する。第１の加数（ｘ）は、第２の係数マトリクス（例えば、ｘ＝ｄＬＨ（ｊ，ｉ）の列と行である。第２の係数マトリクス（例えば、ｄＬＨ（ｊ，ｉ）の列（ｊ）と行（ｉ）は、第５の係数マトリクス（例えば、ｄＬＨ＋ＨＨ（ｊ，ｉ））内の列（ｊ）と行（ｉ）に対応する。第２の加数（ｙ）は、第４の係数マトリクス（例えば、ｙ＝ｄＨＨ（ｊ，ｉ））の列と行の要素である。第４の係数マトリクス（例えば、ｄＨＨ（ｊ，ｉ））の列（ｊ）と行（ｉ）は、第５の係数マトリクス（例えば、ｄＬＨ＋ＨＨ（ｊ，ｉ））内の列（ｊ）と行（ｉ）に対応する。
【００５４】
そして、処理ブロック３０７では、第１の垂直に粗いグリッド画像（例えば、ＣＬ（２ｊ＋１，ｉ））内の各奇数番号の列（２ｊ＋１）の各行（ｉ）に対して、処理論理は、奇数番号の列の行内の要素を、第１の加数と第２の加数の和（例えば、ＣＬ（２ｊ＋１，ｉ）＝[μｊ，ｉＣＬ（２ｊ，ｉ）]ｇ＋[（１−μｊ，ｉ）ＣＬ（２ｊ＋２，ｉ）]＝ｘ＋ｙ）に等しく設定する。第１の加数（ｘ）は、第１のパラメータ（μｊ，ｉ）と奇数番号の列の左への偶数番号の列の同じ行（ｉ）の要素との積（例えば、ｘ＝[μｊ，ｉ][ＣＬ（２ｊ，ｉ）]）である。第２の加数（ｙ）は、差（ｚ）と奇数番号の列の右への偶数番号の列の同じ行（ｉ）の要素との積（例えば、ｙ＝[（１−μｊ，ｉ）][ＣＬ（２ｊ＋２，ｉ）]＝[ｚ][ＣＬ（２ｊ＋２，ｉ）]）である。差（ｚ）は、１マイナス第１のパラメータ（例えば、ｚ＝１−μｊ，ｉ）に等しい。
【００５５】
次に、処理ブロック３０８では、第２の垂直に粗いグリッド画像（例えば、ＤＨ（２ｊ＋１，ｉ））内の各奇数番号の列（２ｊ＋１）の各行（ｉ）に対して、処理論理は、奇数番号の列の行内の要素を、第１の加数と第２の加数の和（例えば、ＤＨ（２ｊ＋１，ｉ）＝[μｊ，ｉＤＨ（２ｊ，ｉ）]＋[（１−μｊ，ｉ）ＤＨ（２ｊ＋２，ｉ）]＝ｘ＋ｙ）に等しく設定する。第１の加数（ｘ）は、第１のパラメータ（μｊ，ｉ）と奇数番号の列の左への偶数番号の列の同じ行（ｉ）の要素との積（例えば、ｘ＝[μｊ，ｉ][ＤＨ（２ｊ，ｉ）]）である。第２の加数（ｙ）は、差（ｚ）と奇数番号の列の右への偶数番号の列の同じ行（ｉ）の要素との積（例えば、ｙ＝ [ｚ][ＤＨ（２ｊ＋２，ｉ）]）である。差（ｚ）は、１マイナス第１のパラメータ（例えば、ｚ＝１−μｊ，ｉ）に等しい。
【００５６】
そして、処理ブロック３０９では、処理論理は、第１の垂直に粗いグリッド画像（例えば、ＣＬ（ｊ，ｉ））の行（ｉ）と第２の垂直に粗いグリッド画像（例えば、ＤＨ（ｊ，ｉ））の行（ｉ）に水平逆ウェーブレット変換を実行する。
【００５７】
次に、処理ブロック３１０で、水平逆ウェーブレット変換の結果の各行（ｉ）（例えば、ｉｉｎｔ（ｊ，ｉ））について、処理論理は、水平に粗いグリッド画像（例えば、ＩＩＮＴ（ｊ，２ｉ））内の対応する偶数番号の行（２ｉ）を、水平逆ウェーブレット変換の結果の行に等しく設定する（例えば、ＩＩＮＴ（ｊ，２ｉ）＝ｉｉｎｔ（ｊ，ｉ））。
【００５８】
処理ブロック３１１では、水平に粗いグリッド画像（例えば、ＩＩＮＴ（２ｊ，２ｉ＋１））内の各奇数番号の行（２ｉ＋１）の各偶数番号の列（２ｊ）について、処理論理は、奇数番号の行の偶数番号の列の要素を、第１の加数と第２の加数の和（例えば、ＩＩＮＴ（２ｊ，２ｉ＋１）＝[ν２ｊ，ｉＩＩＮＴ（２ｊ，２ｉ）]＋[（１−ν２ｊ，ｉ）ＩＩＮＴ（２ｊ，２ｉ＋２）]＝ｘ＋ｙ）に等しく設定する。第１の加数（ｘ）は、第３のパラメータ（ν２ｊ，ｉ）と奇数番号の行の上の偶数番号の行の同じ偶数番号の列（２ｊ）内の要素との積（例えば、ｘ＝[ν２ｊ，ｉ][ＩＩＮＴ（２ｊ，２ｉ）]）である。第２の加数（ｙ）は、差（ｚ）と奇数番号の行の下の偶数番号の行の同じ偶数番号の列（２ｉ）の要素との積（例えば、ｙ＝ [ｚ][ＩＩＮＴ（２ｊ，２ｉ＋２）]）である。差（ｚ）は、１マイナス第３のパラメータ（例えば、ｚ＝１−ν２ｊ，ｉ）に等しい。
【００５９】
最後に、処理ブロック３１２では、水平に粗いグリッド画像（例えば、ＩＩＮＴ（２ｊ＋１，２ｉ＋１））内の各奇数番号の行（２ｉ＋１）の各奇数番号の列（２ｊ＋１）について、処理論理は、奇数番号の行の奇数番号の列の要素を、第１の加数と第２の加数の和（例えば、ＩＩＮＴ（２ｊ＋１，２ｉ＋１）＝[ν２ｊ，ｉＩＩＮＴ（２ｊ＋１，２ｉ）]＋[（１−ν２ｊ，ｉ）ＩＩＮＴ（２ｊ＋１，２ｉ＋２）]＝ｘ＋ｙ）に等しく設定する。第１の加数（ｘ）は、第３のパラメータ（ν２ｊ，ｉ）と奇数番号の行の上の偶数番号の行の同じ奇数番号の列（２ｊ＋１）内の要素との積（例えば、ｘ＝[ν２ｊ，ｉ][ＩＩＮＴ（２ｊ＋１，２ｉ）]）である。第２の加数（ｙ）は、差（ｚ）と奇数番号の行の下の偶数番号の行の同じ奇数番号の列（２ｊ＋１）の要素との積（例えば、ｙ＝ [ｚ][ＩＩＮＴ（２ｊ＋１，２ｉ＋２）]）である。差（ｚ）は、１マイナス第３のパラメータ（例えば、ｚ＝１−ν２ｊ，ｉ）に等しい。
【００６０】
一実施例では、処理論理は、処理ブロック３１３に示されるように、結果の画像を範囲へクリップさせる。処理ブロック３１４は、範囲以下の値を有する結果の画像内の各要素は、その範囲内の最も低い値に設定され、そして、範囲以上の値を有する結果の画像内の各要素は、その範囲内の最も高い値に設定される、クリッピングの実施例を示す。このように、一実施例では、範囲は２５６のグレーの暗度の範囲である。他の実施例では、範囲は、例えば、６５，５３６の暗度の、より大きいグレーの暗度の範囲である。更に他の実施例では、画像はそれぞれ、赤、緑及び青の色相の３つの範囲を有するカラー画像である。これらの範囲の各々は、同様にクリップされる。このように、望ましい画像パレットは、補間を通して維持される。
【００６１】
一実施例では、ウェーブレット係数は、冗長ハールウェーブレット係数である。
【００６２】
一実施例では、第１のパラメータ（μｊ，ｉ）と第３のパラメータ（ν２ｊ，ｉ）は、０．５に設定される。
【００６３】
一実施例では、条件（ｋ’）が満たされる場合には、第１のパラメータ（μｊ，ｉ）は、分母により除算される、分子である（例えば、μｊ，ｉ＝[｜ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）｜ｐ]／[｜ｄＬＨ＋ＨＨ（ｊ−１，ｉ）｜ｐ＋｜ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）｜ｐ]＝ｘ／ｙ）。分子（ｘ）は、第２のパラメータのべき乗された第１の絶対値（｜ｘ’｜）である（例えば、ｘ＝[｜ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）｜][ ｐ ]＝｜ｘ’｜ｐ）。第１の絶対値（｜ｘ’｜）は、第１の要素（ｘ’）の絶対値である。第１の要素（ｘ’）は、第５の係数マトリクス内の列（ｊ＋１）と行（ｉ）である（例えば、ｘ’＝ｄＬＨ＋ＨＨ（ｊ＋１，ｉ））。第５の係数マトリクス内の列（ｊ＋１）は、第１の垂直に粗いグリッド画像内の奇数番号の列（２ｊ＋１）（及び、第２の垂直に粗いグリッド画像内の奇数番号の列（２ｊ＋１））の左の偶数番号の列（２ｊ）に対応する、第５の係数マトリクス内の列（ｊ）の右の列である。第５の係数マトリクス内の行（ｉ）は、第１の垂直に粗いグリッド画像内の奇数番号の列の行（ｉ）（及び、第２の垂直に粗いグリッド画像内の奇数番号の列の行（ｉ））に対応する。分母（ｙ）は、加数（ｚ）と、分子の和（例えば、ｙ＝[｜ｄＬＨ＋ＨＨ（ｊ−１，ｉ）｜ｐ]＋[｜ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）｜ｐ]＝ｚ＋ｘ）である。加数（ｚ）は、第２のパラメータのべき乗された第２の絶対値（｜ｚ’｜）である（例えば、ｚ＝[｜ｄＬＨ＋ＨＨ（ｊ−１，ｉ）｜][ ｐ ]＝｜ｚ’｜ｐ）。第２の絶対値（｜ｚ’｜）は、第２の要素（ｚ’）の絶対値である。第２の要素（ｚ’）は、第５の係数マトリクス内の列（ｊ−１）と行（ｉ）である（例えば、ｚ’＝ｄＬＨ＋ＨＨ（ｊ−１，ｉ））。第５の係数マトリクス内の列（ｊ−１）は、第１の垂直に粗いグリッド画像内の奇数番号の列（２ｊ＋１）（及び、第２の垂直に粗いグリッド画像内の奇数番号の列（２ｊ＋１））の左の偶数番号の列（２ｊ）に対応する、第５の係数マトリクス内の列（ｊ）の左の列である。第５の係数マトリクス内の行（ｉ）は、第１の垂直に粗いグリッド画像内の奇数番号の列の行（ｉ）（及び、第２の垂直に粗いグリッド画像内の奇数番号の列の行（ｉ））に対応する。
【００６４】
一実施例では、第２のパラメータ（ｐ）は１に等しい。
【００６５】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ｄＬＨ＋ＨＨ（ｊ，ｉ）｜＞ε）且つ分母がゼロに等しくなく（例えば、
【００６６】
【数１３】
【００６７】
【数１４】
【００６８】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ｄＬＨ＋ＨＨ（ｊ，ｉ）｜＞ε）且つ分母がゼロと等しく（例えば、
｜ｄＬＨ＋ＨＨ（ｊ−１，ｉ）｜ｐ＋｜ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）｜ｐ＝０
の場合には、第１のパラメータ（μｊ，ｉ）は、１に設定される。
【００６９】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ｄＬＨ＋ＨＨ（ｊ，ｉ）｜＞ε）且つ積がゼロより小さい（例えば、
[ｄＬＨ＋ＨＨ（ｊ−１，ｉ）] [ｄＬＨ＋ＨＨ（ｊ＋１，ｉ）]＜０
の場合には、第１のパラメータ（μｊ，ｉ）は、１に設定される。
【００７０】
一実施例では、条件（ｋ’）が満足される場合には、第３のパラメータ（ν２ｊ，ｉ）は、分母により除算された分子であり（例えば、ν２ｊ，ｉ＝[｜ＤＨ（２ｊ，ｉ＋１）｜ｐ]／[｜ＤＨ（２ｊ，ｉ−１）｜ｐ+｜ＤＨ（２ｊ，ｉ＋１）｜ｐ]＝ｘ／ｙ）、ここで、ｋ’は従来技術の上述のパラメータｋとは異なる。分子（ｘ）は、第２のパラメータのべき乗の第１の絶対値（｜ｘ’｜）である（例えば、ｘ＝[｜ＤＨ（２ｊ，ｉ＋１）｜ｐ]＝｜ｘ’｜ｐ）。第１の絶対値（｜ｘ’｜）は、第１の要素（ｘ’）の絶対値である。第１の要素（ｘ’）は、第２の垂直に粗いグリッド画像の行（ｉ＋１）と偶数番号の列（２ｊ）内の要素である（例えば、ｘ’＝ＤＨ（２ｊ，ｉ＋１））。第２の垂直に粗いグリッド画像の行（ｉ＋１）は、水平に粗いグリッド画像の奇数番号の行（２ｉ＋１）上の偶数番号の行（２ｉ）に対応する、第２の垂直に粗いグリッド画像の行（ｉ）の下の行である。第２の垂直に粗いグリッド画像の偶数番号の列（２ｊ）は、水平に粗いグリッド画像の奇数番号の行の偶数番号の列（２ｊ）に対応する。分母（ｙ）は、加数（ｚ）と、分子の和である（例えば、ｙ＝[｜ＤＨ（２ｊ，ｉ−１）｜ｐ]＋[｜ＤＨ（２ｊ，ｉ＋１）｜ｐ]＝ｚ＋ｘ）。加数（ｚ）は、第２のパラメータのべき乗の第２の絶対値（｜ｚ’｜）である（例えば、ｚ＝[｜ＤＨ（２ｊ，ｉ−１）｜][ ｐ ]＝｜ｚ’｜ｐ]）。第２の絶対値（｜ｚ’｜）は、第２の要素（ｚ’）の絶対値である。第２の要素（ｚ’）は、第２の垂直に粗いグリッド画像の行（ｉ−１）と偶数番号の列（２ｊ）内の要素である（例えば、ｚ’＝ＤＨ（２ｊ，ｉ−１））。第２の垂直に粗いグリッド画像の行（ｉ−１）は、水平に粗いグリッド画像の奇数番号の行（２ｉ＋１）上の偶数番号の行（２ｉ）に対応する、第２の垂直に粗いグリッド画像の行（ｉ）の上の行である。第２の垂直に粗いグリッド画像の偶数番号の列（２ｊ）は、水平に粗いグリッド画像の奇数番号の行の偶数番号の列（２ｊ）に対応する。
【００７１】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ＤＨ（２ｊ，ｉ）｜＞ε）且つ分母がゼロに等しくなく（例えば、
【００７２】
【数１５】
【００７３】
【数１６】
【００７４】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ＤＨ（２ｊ，ｉ）｜＞ε）且つ分母がゼロと等しくない（例えば、
【００７５】
【数１７】
【００７６】
一実施例では、絶対値がしきい値よりも大きく（例えば、｜ＤＨ（２ｊ，ｉ）｜＞ε）且つ積がゼロより小さいない（例えば、
【００７７】
【数１８】
【００７８】
しきい値（ε）は、ハーフトーン雑音画素を含む、雑音画素を、強いエッジとして扱うことを防止しうる。係数がゼロの滑らかな領域では、補間は線形補間に減少される。
【００７９】
図４は、逆ウェーブレット変換内に埋め込まれた補間を実行する装置の実施例のブロック図である。図４を参照すると、装置４００は、ウェーブレット係数で与えられた画像を受信する受信ユニット４０１と、受信ユニット４０１と接続された処理ユニット４０２を有する。処理ユニット４０２は、上述の機能を実行する。一実施例では、図４に示された装置は多機能マシンを含む。
【００８０】
図５は、一実施例に従って、標準双３次補間と比較したウェーブレット変換係数を使用した適応非線形画像拡大の例を示す図である。画像５０１は、標準双３次補間を使用して発生された。画像５０２は、ウェーブレットに基づく非線形補間を使用して発生された。一実施例では、従来技術のアルゴリズムの画素差は、冗長ウェーブレット変換のハール（Ｈａｒｒ）ウェーブレット係数に等価である。従来技術のアルゴリズムと対照的に、一実施例では、冗長ハール変換を使用したここで述べた技術は、完全なステップエッジを”正確に”補間する、即ち、補間された信号は完全なステップエッジを有する。
【００８１】
図６は、ステップエッジを補間する処理の一実施例を示すフロー図である。一実施例では、完全なステップエッジを有する画像が、処理ブロック６０１で受信され、そして、完全なステップエッジは、画像が処理ブロック６０２で拡大されている間に、正確に補間される。
【００８２】
一実施例では、この技術は、任意のウェーブレット形式の冗長ウェーブレット変換係数を使用しても適用される。また、最大の間引きされたウェーブレット変換及び、複素ウェーブレット変換についても使用される。
【００８３】
一実施例では、この技術は、例えば、パラメータμとｖの計算のために大きなスケールからのウェーブレット係数を使用して、種々のレベルのウェーブレット分解からの情報を含むように拡張される。
【００８４】
ウェーブレットシャープニングと平滑化（”ＷＳＳ”）技術との組み合わせでは、拡大は、ウェーブレット係数の、スレッシュホールディングによるノイズ除去と、ウェーブレット係数の再スケーリングによるシャープニング／平滑化の後に実行される。ＷＳＳに関する更なる情報は、１９９９年１２月１０日に出願された、名称”ウェーブレットでのマルチスケールシャープニング及び平滑化（Ｍｕｌｔｉｓｃａｌｅ Ｓｈａｒｐｎｉｎｇ ａｎｄ Ｓｍｏｏｔｈｉｎｇ Ｗｉｔｈ Ｗａｖｅｌｅｔｓ）”の米国特許出願番号０９／４７６，５４４を参照する。この内容に関しては、後述する。
【００８５】
一実施例では、ＪＰＥＧ２００又は同様な圧縮画像の拡大目的のために、上述の技術は、復号機側の逆ウェーブレット変換の最後のレベルに組み込まれる。
【００８６】
応用
ここで記載の適応非線形画像拡大が優位な、幾つかの更なるアプリケーションがある。例えば、適応非線形画像拡大は、ディジタルコピー機経路内の拡大処理で使用され得る。そのようなシステムを図７に示す。図７を参照すると、前向き冗長ウェーブレット変換７０１が画像に適用される。ウェーブレット変換７０１は、Ｍが１より大きいときに、Ｍレベルがあるように、Ｍ回、画像に適用されうる。前向き冗長ウェーブレット変換７０１が適用された後に、ノイズ除去、テキストシャープニング、ハーフトーン平滑化が、画像プロセッサ７０２で、係数に適用される。そのような処理の後に、逆冗長ウェーブレット変換７０３が、処理された係数に適用される。一実施例では、逆冗長ウェーブレット変換７０３は、Ｍ−１レベルがあるので、Ｍ−１回適用される。逆冗長ウェーブレット変換７０３の適用後に、拡大機７０４は、ここで記載の拡大処理を実行する。これらのブロックの各々は、ソフトウェア、ハードウェア又は、両者の組合せで実行されうる。
【００８７】
適応非線形画像拡大は、例えば、６００ｄｐｉで走査されそして１２００ｄｐｉで印刷された画像のような、より高いｄｐｉでの印刷のために、アップサンプリングがなされるアップサンプリング処理で使用されうる。そのようなシステムを図８に示す。図８を参照すると、１レベル冗長ウェーブレット変換８０１が特定のｄｐｉ解像度Ｒ（８００）で、受信されたディジタル画像に適用される。係数は、ここで説明した拡大処理を実行する、拡大機８０２へ出力される。拡大後に、処理は、画像プロセッサ８０３により２Ｒｄｐｉで、印刷のために、実行される。処理は、ガンマ補正、ハーフトーン化等を含む、出力８０４は、処理された画像である。このように、適応非線形画像拡大処理は、低解像度画像を高解像度印刷に訂正するために使用される。図８の各処理要素は、ソフトウェア、ハードウェア又は、両者の組合せで実行されうることに注意する。
【００８８】
他の応用は、ＪＰＥＧ２０００画像の拡大のために、ここで説明した適応非線形画像拡大技術を使用することを含む。これは、非線形画像拡大を補償するために、ＪＰＥＧ復号器に追加を必要とする。他の応用は、ディジタルカメラである。特に、適応非線形画像拡大処理は、ディジタルカメラで、非モザイク化のために実行されうる。
【００８９】
例示のコンピュータシステム
図９は、ここで説明した１つ又はそれ以上の動作を実行する、例示のコンピュータシステムのブロック図を示す。図９を参照すると、コンピュータシステム９００は、例示のクライアント９５０又は、サーバ９００コンピュータシステムを含みうる。コンピュータシステム９００は、情報を通信するための通信機構又はバス９１１と、バス９１１に接続された情報を処理するためのプロセッサ９１２を含む。プロセッサ９１２は、マイクロプロセッサを含むが、しかし、例えば、ペンティアム（登録商標）、パワーＰＣＴＭのようなマイクロプロセッサには限定されない。
【００９０】
システム９００は更に、プロセッサ９１２により実行される情報と命令を格納する、バス９１１に接続された、ランダムアクセスメモリ（ＲＡＭ）又は、他のダイナミックストレージ装置９０４（主メモリと呼ばれる）を有する。主メモリ９０４は、プロセッサ９１２による命令の実行中に、一時的な変数又は他の中間情報を格納するのにも使用され得る。
【００９１】
コンピュータシステム９００は、プロセッサ９１２のための、静的な情報と命令を格納する、バス９１１に接続された、読み出し専用メモリ（ＲＯＭ）及び／又は他の静的なストレージ装置９０６、及び、磁気ディスク又は光ディスクとその対応するディスクドライブのような、データストレージ装置９０７も有する。データストレージ装置９０７は、情報と命令を格納するために、バス９１１に接続されている。
【００９２】
コンピュータシステム９００は、更にコンピュータユーザに情報を表示するために、バス９１１に接続されている、陰極線管（ＣＲＴ）又は、液晶ディスプレイ（ＬＣＤ）のような、表示装置９１１にも接続されている。英数字キーと他のキーを有する、英数字入力装置９２２も、プロセッサ９１２へ情報とコマンド選択を通信するために、バス９１１に接続されている。追加のユーザ入力装置は、プロセッサ９１２へ、方向情報とコマンド選択を通信するために、且つディスプレイ９２１上で、カーソルの移動を制御するために、バス９１１に接続されている、マウス、トラックボール，トラックパッド、スタイラス又は、カーソル方向キーのような、カーソル制御９２３である。
【００９３】
バス９１１に接続された他の装置は、ハードコピー装置９２４であり、これは、命令、データ又は、他の情報を、紙、フィルム、又は、他の形式の媒体上に印刷するのに使用される。更に、スピーカ及び／又はマイクロフォンのような、音声記録又は再生装置は、コンピュータシステム９００とのオーディオインターフェースのために、バス９１１にオプションで接続される。バス９１１に接続された他の装置は、電話又は、携帯パーム装置と通信する有線／無線通信能力９２５である。
【００９４】
どの又は全てのコンピュータシステム９００と関連するハードウェアは、本発明内で使用されうることに注意する。しかしながら、コンピュータシステムの他の構成は、幾つかの又は全ての装置を含みうることは理解されよう。
【００９５】
本発明の多くの変更及び修正は、前述の記載を読めば、当業者には明らかであり、説明した特定の実施例は、本発明を限定するものではないと理解されるべきである。従って、種々の実施例への詳細な参照は、本発明の必須であると考えられる特徴のみを列挙する請求の範囲を限定するものではない。
【００９６】
ウェーブレットでのマルチスケールシャープニング及び平滑化（Ｍｕｌｔｉｓｃａｌｅ Ｓｈａｒｐｎｉｎｇ ａｎｄＳｍｏｏｔｈｉｎｇ Ｗｉｔｈ Ｗａｖｅｌｅｔｓ）”の内容
ウェーブレットでのマルチスケールシャープニング及び平滑化技術が、開示される。以下の記載では、特定のフィルタ等の、多くの詳細が述べられる。しかしながら、当業者には、本発明は、これらの特定の詳細なしに実行されうることは、明らかである。他の場合には、既知の構造及び装置は、本発明を曖昧にするのを避けるために、詳細よりも、ブロック図の形式で示される。
【００９７】
以下の詳細な説明の幾つかの部分は、コンピュータメモリ内のデータビットに関する、アルゴリズム及び動作の記号的表現で提示される。これらのアルゴリズム的な記載と表現は、当業者に最も効率的に、仕事の実体を知らせるために、データ処理技術の分野の当業者により使用される手段である。アルゴリズムは、ここでは、一般的には、所望の結果を導くための、自己一貫性のあるステップのシーケンスであると考えられる。ステップは、物理的な量の物理的な操作を要求する。通常は、必要ではないが、これらの量は、格納され、転送され、結合され、比較され、そしてその他の操作がされる、電気的な又は磁気的な信号の形式をとる。通常の使用の理由から、これらの信号を、ビット、値、要素、シンボル、文字、項、数又は、同様なものと呼ぶことが、しばしば、便利であることがわかる。
【００９８】
しかしながら、これらの全ての及び同様な用語は、適切な物理的な量と関連し、そして、これらの量に適用される単に便利なラベルであることは、憶えておくべきである。特に述べない限り、以下の説明から明らかなように、記載を通じて、”処理”又は、”計算する” 又は、”計算する” 又は、”決定する” 又は、”表示する” 又は同様な、用語を使用する説明は、コンピュータシステムのレジスタ及びメモリ内の物理的な（電子的な）量として示されたデータを、コンピュータシステムのレジスタ及びメモリ又は、他のそのような情報蓄積、伝送又は、表示装置内の物理的な量として示される同様な他のデータへ操作し且つ変換する、コンピュータシステム又は、同様な電子計算装置の動作及び処理を指すことは、理解されよう。
【００９９】
本発明は、ここの動作を実行する装置にも関連する。この装置は、特別に要求された目的のために構成され又は、コンピュータ内に格納されたコンピュータプログラムにより、選択的に活性化又は再構成される汎用コンピュータを含む。そのようなコンピュータプログラムは、制限はされないが、フレキシブルディスクを含む任意の形式のディスク、光ディスク、ＣＤ−ＲＯＭ及び、光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ，磁気又は光カード、又は、電子的な命令を格納するのに適した他の形式の媒体、及び各々が結合されたコンピュータシステムバスような、コンピュータ読み出し可能な蓄積媒体内に格納される。
【０１００】
ここで提示するアルゴリズム及び表示は、特定のコンピュータ又は他の装置に固有に関連していない。種々の汎用システムは、ここでの教示に従ったプログラムと共に使用され又は、要求された方法ステップを実行する更に特化された装置を構成するのに便利であることが分かる。種々のこれらのシステムについての要求された構造は、以下の記載から分かる。更に、本発明は、特定のプログラム言語を参照して記載されていない。種々のプログラミング言語がここに記載の発明の教示を実行するのに使用されうることは、理解されよう。
【０１０１】
概要
ウェーブレットでの、画像データのような、データのマルチスケールシャープニング及び平滑化技術がここで記載される。ここで記載されるマルチスケールシャープニング及び平滑化技術は、マルチスケールアンシャープマスキングとも呼ばれ、従来技術の代わりの方法を提供し、且つ実行するのに単純である。このアプローチは、シャープニングと平滑化を提供するウェーブレットシステムの平滑特性を利用する。
【０１０２】
特に、ここで記載の技術は、新たなシャープニング／平滑化パラメータを使用して、種々のレベルの解像度をわたり、画像をシャープ化及び平滑化する。一実施例では、マルチスケールシャープニング及び平滑化は、ウェーブレット係数をスケールに依存するパラメータと乗算することにより、ウェーブレット分解で実行される。図１０は、画像データを処理する方法の一実施例を示す。この方法は、ハードウェア、ソフトウェア又は、両方の組合せを含みうる、処理論理により実行される。図１０を参照すると、処理は、画像データに、ウェーブレット変換を適用することにより、複数の分解レベルへ、画像データを分解することにより開始する（処理ブロック１００１）。画像データに適用されうる変換は、例えば、精密にサンプルされた離散ウェーブレット変換、オーバーコンプリート離散ウェーブレット変換、複素ウェーブレット変換、精密にサンプルされた又はオーバーコンプリート離散ウェーブレットパケット変換を含む。一実施例では、選択されたサブバンドについての精密にサンプルされた変換、他にオーバーコンプリート変換、を使用して、画像データは複数の分解レベルへ変換される。
【０１０３】
そして、分解後に，処理は、各分解レベルについての異なるスケール又はレベル依存パラメータを使用して、複数の分解レベルの係数をスケーリングすることにより、複数の分解レベルの係数を修正する（処理ブロック１００２）。例えば、２つのレベルをスケーリングする場合に、１つの分解レベルの各係数は、第１のスケール依存パラメータにより乗算され、そして、もう１つの分解レベルの各係数は、第２のスケール依存パラメータにより乗算される。
【０１０４】
一実施例では、異なるスケール依存パラメータの各々は、以下の公式に従って決定される。
【０１０５】
μｊ＝２ｊα （１０３）
ここで、αの値（正又は負）は、係数にシャープニング又は平滑化が行われるかどうかを示し、そして、ｊは特定のスケール（レベル）を示す。一実施例では、αがゼロより小さい場合に、シャープニングが係数に与えられ、そして、αがゼロより大きい場合に、平滑化が係数に与えられる。
【０１０６】
このように、μｊが１より大きいときに、スケーリング動作の結果は平滑化され、一方、μｊが１より小さいときに、スケーリング動作の結果はシャープニングされる。再スケーリングは、ウェーブレット（詳細）係数にのみ適用され、スケーリング係数には適用されない。画像の全体的なエネルギーを保存するために、ウェーブレット係数の再正規化が必要であろう。
【０１０７】
一実施例では、スケール依存パラメータは、画像データの知識に基づいて選択される。即ち、画像から直接的に抽出された情報は、シャープニング又は平滑化パラメータの選択に組み込まれることが可能である。例えば、入力データがステップエッジを示すという知識は、シャープニング又は平滑化パラメータの選択に使用されうる。例えば、スキャナのような画像源の知識は、シャープニング又は平滑化パラメータの選択の基準でもある。例えば、この知識は、スキャナ又は、他の画像源の点像分布関数に関する情報でもよい。さらに他の実施例では、スケール依存パラメータは、単調な関数に基づいて選択されうる。スケール依存パラメータは、スケールをわたるウェーブレット係数の減衰の推定値に基づいて選択されうる。
【０１０８】
図１０を参照すると、マルチスケールシャープニング及び／又は平滑化の実行後に、処理論理は、スケーリングされた（及び、未スケーリングの）係数に逆変換を実行する（処理ブロック１００３）。
【０１０９】
この技術は、例えば、ノイズ除去のような、他のウェーブレットに基づく画像処理法と結合されても良い。即ち、マルチスケールシャープニング及び平滑化は、ウェーブレット領域での他の画像処理ステップと、結合されうる。ウェーブレットノイズ除去は、エッジはシャープのまま保持されるが、一方ノイズは平滑な領域で除去されるので、成功であることが多くの応用で示されている。このノイズ除去は、ウェーブレット係数をしきい値化することにより、単純に行われることが可能である。好ましいしきい値化技術は、ハード及びソフトしきい値化を含む。例えば、１９９５年のＩＥＥＥ Ｔｒａｎｓ．情報理論、４１（３）：６１３−６２７の、Ｄｏｎｏｈｏ，Ｄ．Ｌ．の”ソフトしきい値化によるノイズ除去（Ｄｅ−ｎｏｉｓｉｎｇ ｂｙ Ｓｏｆｔ−Ｔｈｒｅｓｈｏｌｄｉｎｇ）”を参照する。
【０１１０】
一実施例では、所定のしきい値より大きい全ての係数を、スケーリングパラメータにより乗算し且つしきい値以下の同じ分解レベルの全ての係数をゼロ又はゼロ付近の値へ設定することにより、同時のノイズ除去とシャープニングが、ウェーブレット係数に実行されうる。一実施例では、係数の全ての値は、単調関数により与えられうる予め定められた量だけ減少される。結果の係数は、そして、スケール依存パラメータで乗算される。
【０１１１】
ランダムな白色ガウス雑音の存在下では、結合されたノイズ除去とシャープニング及び平滑化技術の利点は、ノイズ除去のしきい値が、ウェーブレット係数と入力データの量から直接計算できるが、しかし、実際の信号に依存しないことである。従来のシャープニングでは、”実際の”エッジだけでなくノイズ画素をシャープニングする問題が起こるが、例えば、しきい値を選択し、そのしきい値より大きい全ての係数をμｊ＝２ｊαにより乗算し、そして、しきい値以下の係数をゼロに設定することにより、ウェーブレットシャープニングとノイズ除去がなされことが可能である。これは、例えば、ディジタルコピー器で必要とされ且つ要求される信号に適応する平滑化とシャープニングの簡単な実行を導く。
【０１１２】
データ内のノイズについての一般的なモデルは、加算的ガウス白色ノイズである。ウェーブレットでのノイズを除去するＤｏｎｏｈｏ及びＪｏｈｎｓｔｏｎｅにより開発された技術は、最新のノイズ除去技術である。ノイズ除去は、ウェーブレット係数を単純にしきい値化することにより、実行される。しきい値は、データＮのサイズにのみ依存し、Ｎは、サンプルの数（画像については、サンプル数は画素数である）であり、そしてノイズの標準偏差σとすると、しきい値は、
【０１１３】
【数１９】
【０１１４】
後者のパラメータは、第１レベルのウェーブレット係数の標準偏差から推定されることが可能である。漸近的に、全てのノイズは、その技術を使用して、Ｎが無限になるにつれて、除去されるべきである。しかしながら、実際の応用では、データの有限又は異なるしきい値選択により、データ内にいくらかのノイズが存在しうる。人間の視覚系は、例えば、画像内に存在する幾つかの雑音パターンに、明確に対応することが知られている。ここで説明されるウェーブレット係数の再スケーリング（シャープニング又は平滑化）の後に、逆変換は、残りの白色ノイズを有色ノイズ（例えば、残りのノイズへの色付け）に変換する。
【０１１５】
同様に、特に、以下に詳細に説明するように、修正されたウェーブレット係数と元のスケーリング係数の割合を維持するために、ウェーブレット係数は、再正規化されねばならない。再正規化は、全レベルの又は全レベルのサブセットの係数へ，スカラーを適用することにより実行される。一実施例では、再正規化は、１つ又はそれ以上の分解レベルの全係数を、正規化とシャープニング／平滑化を達成するために選択されるスケールに依存するパラメータと乗算することにより、シャープニング又は平滑化と結合される。代わりの実施例では、再正規化は、再スケーリング前に、ウェーブレット係数の範囲（例えば、係数値の最小と最大）を計算することにより実行され、そして、再スケーリング（シャープニング又は平滑化）を実行する。その後に、完全な組みの修正された係数が、再スケーリング前に、元の範囲へスケールバックされる（例えば、シャープニング又は平滑化された係数を、最少と最大の係数値により規定される元の範囲にマッピングして戻す）。
【０１１６】
図１１は、画像データを処理する処理の他の実施例を示す。処理は、ハードウェア、ソフトウェア又は、両者の組合せを含みうる処理論理により実行される。図１１を参照すると、処理は、画像データにウェーブレット変換を適用することにより、画像データを複数の分解レベルへ分解する論理により実行される（処理ブロック１１０１）。
【０１１７】
一旦分解が完了すると、処理論理は、異なる分解レベルと帯域で係数を分類する（処理ブロック１１０２）。この分類は、オプションである。一実施例では、係数は、予め定められた基準により、”テキスト”及び、”背景”に分類される。結果の分類は、処理されているデータの形式について補償するために、シャープニング又は平滑化を適用するために使用される。
【０１１８】
そして、処理論理は、１つ又はそれ以上の分解レベルの係数に、ノイズ除去を実行する（処理論理１１０３）。
【０１１９】
分解と分類の実行後に、処理論理は、各分解レベルの各々について、異なるスケール（レベル）依存パラメータを使用して、それらの分解レベル内の分類された係数をスケーリングすることにより、複数の分解レベル内で、修正する（処理ブロック１１０４）。一実施例では、パラメータは、バンド依存パラメータである。１Ｄ変換については、各スケール（レベル）について、１バンド（又はサブバンド）がある。２Ｄ又はそれより高い次元の変換では、各バンドは特定のスケール（レベル）及び、向きである。例えば、２つの２Ｄ変換は、第１スケール（レベル）の及び垂直に詳細な（高域通過）及び水平平滑（低域通過）なバンドを有する。
【０１２０】
シャープニング又は平滑化が行われた後に、処理論理は、全レベル又は全レベルのサブセットの係数に再正規化を行う（処理ブロック１１０５）。一旦再正規化が実行されると、処理論理は、スケーリングされた（及び未スケーリングの）係数に逆変換を実行する（処理ブロック１１０６）。
【０１２１】
ここで記載するシャープニング及び平滑化の技術は、”実”エッジが、ノイズ画素よりも多くの種々のスケールをわたり強調されそして、平滑な領域は種々のスケールをわたり平滑化されることに、注意する。この技術は、処理された画像の品質に関して、伝統的なアンシャープマスキングより性能が優れている。
【０１２２】
シャープニング／平滑化理論
本発明のシャープニング及び平滑化技術の理論を、以下に説明する。以下では、離散ウェーブレット分解を介して、マルチスケールアンシャープマスキングを得るために、どのようにこれらの結果が使用されるかを説明する。
【０１２３】
｛Ｈ，Ｈ＊，Ｇ，Ｇ＊｝は、４つの双直交ウェーブレットフィルタ（Ｈ＝低域通過、Ｇ＝高域通過）であるとし、ここで、ＨとＧは前方変換で使用され、そして、Ｈ＊とＧ＊は逆変換で使用される。Ｚ変換領域では、２チャネル完全再構成フィルタバンクが、以下の条件を満たすために要求される（Ｇ．Ｓｔｒａｕｇ，Ｔ．Ｎｇｕｙｅｎ、”ウェーブレット及びフィルタバンク（Ｗｅｌｌｅｓｌｅｙ−Ｃａｍｂｒｉｄｇｅ Ｐｒｅｓｓ、１９９６、Ｗａｖｅｌｅｔ ａｎｄ Ｆｉｌｔｅｒ Ｂａｎｋｓ）”参照）。
Ｈ＊（ｚ）Ｈ（ｚ）＋Ｇ＊（ｚ）Ｇ（ｚ）＝２ｚ−ｍ （１０４）
Ｈ＊（ｚ）Ｈ（−ｚ）＋Ｇ＊（ｚ）Ｇ（−ｚ）＝０ （１０５）
この結果、完全再構成特性として知られる、以下の式は、任意の信号Ｘについて保証される。
【０１２４】
【数２０】
【０１２５】
【数２１】
【０１２６】
【数２２】
【０１２７】
フィルタＨとＧが対称であり且つゼロ付近である場合には、遅延はゼロであり、即ち、ｍ＝０である。
【０１２８】
Ｆ０は低域通過であり、Ｆ１は高域通過であるので、
【０１２９】
【数２３】
ｆｓｈａｒｐ（ｘ）：＝ｆｓｍｏｏｔｈ（ｘ）＋λｆｇｒａｄｉｅｎｔ（ｘ） （１０１）
の伝統的なシャープニング法のパラメータλと等価である。
【０１３０】
より大きな分解レベルでスケーリング及びウェーブレット係数を計算するときには、入力データＸは、特定のスケールｊでのスケーリング係数ｓｊである。ウェーブレットシャープニングパラメータμは、スケール毎に（即ち、レベル毎に）異なる。例えば、１９９２年のＷＣ、ケンブリッジ、ケンブリッジ大学出版の、Ｙ．Ｍｅｙｅｒの、”ウェーブレット及び演算子（Ｗａｖｅｌｅｔｓ ａｎｄＯｐｅｒａｔｏｒｓ）”に記載のような、平滑な空間の理論からの結果は、スケールに依存のシャープニングパラメータを選択することにより、マルチスケールシャープニングの定義の自然な方法を導く。
【０１３１】
【数２４】
【０１３２】
スケールｊでの”シャープ化された”スケーリング係数
【０１３３】
【外１】
【０１３４】
【数２５】
平滑な特徴の理論的な結果に類似して、パラメータ選択α＜０は、画像をシャープ化する。αの範囲は選択されたウェーブレットシステムをとして与えられる制約により、境界をつけられる。この方法の第１段のフィルタバンクの実装のブロック図を、図１２に示す。図１２を参照すると、入力信号Ｘは、低域通過（Ｈ）ウェーブレットフィルタ１３０１と、高域通過（Ｇ）ウェーブレットフィルタ１３０２へ入力される。フィルタ１３０１と１３０２の出力は、それぞれ間引きユニット１３０３と１３０４に接続され、これれら、フィルタ１３０１と１３０２から１つおきに信号を間引く（精密にサブサンプルされる）。ライン１３０５は、図１２に示されたシステムの分析部分と合成部分の間の分離を示す。示されていないが、低域通過転送された信号は、パラメータｍμｊを有する追加の分解レベルを生成するために、繰返して、フィルタ１３０１と１３０２へ入力されうる。この処理は、任意の数の分解レベルを生成するために繰返されうる（例えば、２，３，４，５等）。
【０１３５】
分析部分と合成部分の間には、符号化器と復号器が含まれうる（本発明を曖昧にするのを避けるために図示していない）。符号化器と復号器は、変換領域で実行される全ての処理論理及び／又はルーチンを含みうる（例えば、予測、量子化、符号化、等）。
【０１３６】
間引きユニット１３０４から出力される精密にサブサンプルされた信号は、スケーリングユニット１３０６に入力される（符号化及び復号の後に）。スケーリングユニット１３０６は、異なるスケールに依存するパラメータμを、複数の分解レベルの変換された信号へ適用する。
【０１３７】
間引きユニット１３０３から出力されるサブサンプルされた変換された信号とスケーリングユニット１３０６から出力されるスケーリングされた出力は、アップサンプリングユニット１３０７と１３０８へそれぞれ入力され、これらは、変換された信号を２だけアップサンプリングし（例えば、ゼロを各項ののちに挿入する）そして、信号を、低域通過逆ウェーブレット変換フィルタ１３０９と高域通過逆ウェーブレット変換フィルタ１３１０へ、それぞれ送る。
【０１３８】
フィルタ１３０９と１３１０の出力は、加算ユニット１３１１により結合され、出力信号Ｘ１を発生する。加算ユニット１３１１は、２つの出力を加算する。代わりの実施例では、加算ユニット１３１１は、情報を、結合された出力となるように選択されたアドレスを使用して、メモリ内の代わりの位置（例えば、フレームバッファ）に書き込み又は格納する。
【０１３９】
画像の全体のエネルギーを保存し且つ修正されたウェーブレットと元のスケーリング係数の割合を維持するために、ウェーブレット係数の再正規化が使用され得る。一実施例では、これは、修正された係数を
【０１４０】
【外２】
【０１４１】
【数２６】
【数２７】
【０１４３】
【数２８】
【０１４４】
【表１】
【０１４５】
１つの特定のエッジが、ウェーブレットツリー内のエッジの整列に依存して、異なって平滑化され又はシャープニングされるので、精密にサンプルされたＤＷＴのシフト不変性の欠如は、ノイズ除去及びマルチスケール平滑化及びシャープニングのような画像処理ステップについての欠点である。この欠点を克服するために、ＲＤＷＴにより示される、オーバーコンプリート（冗長）ＤＷＴが選択されそして、精密にサンプルされたＤＷＴより性能が優れている。ＲＤＷＴが、画像のシャープニングのために選択された場合には、上述と同じアプローチがマルチスケールアンシャープマスキングを定義するために使用され得る。主な差は、フィルタバンク内の、ダウン−及び−アップサンプリングが無視されることである。
【０１４６】
スケール１でのＲＤＷＴの完全な再構成特性は、
【０１４７】
【数２９】
【０１４８】
概略を図１３に示す。図１３では、入力信号Ｘは、低域通過ウェーブレットフィルタ１４０１と高域通過ウェーブレットフィルタ１４０２への入力である。低フィルタ１４０１の出力は偶数番号の係数１４０３と奇数番号の係数１４０４に分離され、そして、フィルタ１４０２の出力は偶数番号の係数１４０５と奇数番号の係数１４０６に分離される。間引きは行われないことに注意する。図１２のライン１３０５のように、ライン１４０７は再び分析と合成部分の間を示し、そして、ここで説明するように、符号化及び復号動作を含みうる。また、低域通過フィルタ１４０１から出力される係数は、幾つかの分解レベルを生成するために、フィルタ１４０１とフィルタ１４０２へ繰返してフィードバックされる。
【０１４９】
スケーリングユニット１４０８と１４０９は、複数の分解レベルへ上述のように、スケールに依存するパラメータを偶数及び奇数係数に適用する。スケーリングユニット１４０８と１４０９及びフィルタ１４０１からの偶数と奇数係数は、アップサンプリングユニット１４１０−１４１３によりアップサンプルされる。アップサンプリングユニット１４１０と１４１１の出力は、低域通過逆変換フィルタ１４１４と１４１５にそれぞれ結合され、そして、アップサンプリングユニット１４１２と１４１３の出力は、高域通過逆変換フィルタ１４１６と１４１７にそれぞれ結合される。逆フィルタ１４１４−１４１７は、除算ユニット１４１８−１４２１に接続され、これらは、オーバーコンプリートＤＷＴの使用について補償するために、２つの数を平均するために２で出力を割る。再正規化は、ＤＷＴについての同じラインに沿って進み、丁度ウェーブレットシステムについての値ガンマは、おおよそ、２倍される（表参照）。
【０１５０】
加算ユニット１４２２は、復号器ユニット１４１８と１４１９の出力を加算し、一方、加算ユニット１４２３は、除算ユニット１４２０と１４２１の出力を加算する。加算ユニット１４２４は、加算ユニット１４２２と１４２３の出力を加算し、Ｘ１信号を生成する。加算ユニット１４２２−１４２４は、例えば、上述のような、既知の方法で動作する。
【０１５１】
フィルタＨとＧが直交する場合には、第１段のフィルタバンクのフィルやＨ＊Ｈ及びＧ＊Ｇは、単純にＨ及びＧの自己相関フィルタである。
【０１５２】
スケールｊ＞１について、完全再構成特性は、オリジナルフィルタＨ、Ｈ＊、Ｇ、Ｇ＊でなく、次のようなＨｊ、Ｈ＊ ｊ、Ｇｊ、Ｇ＊ ｊ、
【０１５３】
【数３０】
精密にサンプルされた場合の類似で、シャープ化された画像ｘｒｄｗｔ−ｓは、
【０１５４】
【数３１】
μｊ＝２ｊαを選択することにより、シャープ化（α＜０＞されたレイトスケーリング係数が、スケールｊ＝１で、
【０１５５】
【数３２】
【０１５６】
【数３３】
オーバーコンプリートマルチスケールシャープニングについてのフィルタバンク実行は、図１３に示されている。図１２の最大の間引きされたフィルタバンクの構造と比較して、２のファクタによるダウンサンプリングが無視されている。しかし、図１２と同様な方法で、詳細な係数はμｊにより乗算される。精密にサンプルされたＤＷＴと対照的に、可能な指数の範囲は、拡張される。
【０１５７】
修正されたウェーブレット係数の正規化は、精密にサンプルされたＤＷＴについてと同様に、行われ得る。再正規化は、ウェーブレットシステムについての値σが、おおよそ、２倍されるのをのぞいて、ＤＷＴについての同じラインに沿って、進む。オーバーコンプリート変換については、値は、以下の表２に示されたように変わる。
【０１５８】
【表２】
【０１５９】
元のデータと処理された入力データの平滑性を知ることは幾つかの利点がある。入力データが、直交ＤＷＴを適用することにより得られたウェーブレット係数を再スケーリングすることにより、元のデータの平滑化されたものであるとすると、ここに記載の技術は、正確にもとのデータを再構成できる。例えば、処理された入力データ内の平滑化されたステップエッジは、元のステップエッジへ戻されることを意味する。
【０１６０】
直交ウェーブレットを伴なうＤＷＴを使用するマルチスケール平滑化及びシャープニングは、可逆であり、一方、対照的に、ＲＤＷＴは、可逆でない。この理由は、ＲＤＷＴは、一般的には、直交変換ではないためである。
【０１６１】
【数３４】
【０１６２】
一旦、入力パラメータが受信されると、処理論理は、選択されたウェーブレットシステムについての平滑値γを調べ（処理ブロック１５０２）、そして、上述の公式を使用して再正規化係数を計算する（処理ブロック１５０３）。γの値は、ルックアップテーブル内に格納されてもよく、各エントリーは異なるウェーブレットシステムに関連する。処理ブロック１５０１−１５０３は、処理の初期化部分を示す。これらのステップは、１回実行され残りのステップは、毎画像に対して実行される。
【０１６３】
初期化後に、処理論理は、第１レベルのウェーブレット変換を実行する（処理ブロック１５０４）。処理論理は、そして、ノイズ除去のためのしきい値を設定する（処理ブロック１５０５）。一実施例では、Ｄｏｎｏｈｏ−Ｊｏｈｎｓｔｏｎｅしきい値が、ノイズ除去のために使用される場合には、処理論理は、ウェーブレット係数の標準偏差を計算し、そして、しきい値を、
【０１６４】
【数３５】
【０１６５】
次に、処理論理は、係数に、第２レベルのウェーブレット変換を実行する（処理ブロック１５０７２）。処理論理は、第Ｌレベルのウェーブレット変換まで、他のウェーブレット変換を実行する（処理ブロック１５０７Ｌ）。
【０１６６】
ウェーブレット変換の実行後に、処理論理は、しきい値化（ノイズ除去）と再スケーリング（シャープニング又は平滑化）を、ウェーブレット係数を、レベルｊで、
２ｊα
と乗算することにより実行する（処理ブロック１５０８）。その後に、処理論理は、Ｌレベルの逆変換を実行する（処理ブロック１５０９）。
【０１６７】
図１５Ａ−Ｄは、前方及び逆変換を示す。図１５ＡとＢは、それぞれ、前方及び逆離散ウェーブレット変換（ＤＷＴ）の構成ブロックを示す。これらは、図１２の同様な名称のブロックと同様であることに、注意する。図１５Ｃは、Ｌの分解レベルの前方ＤＷＴの一実施例である。図１５Ｃを参照すると、入力Ｘは、レベル１前方ＤＷＴブロック１６０１への入力である。レベル１前方ＤＷＴブロック１６０１の出力は、レベル２前方ＤＷＴブロック１６０２への入力であり、そして、同様な方法で、レベルＬへの残りの分解レベルを通して続く。図１５Ｄは、Ｌレベルの分解を再スケーリング（シャープニング／平滑化）する逆ＤＷＴを示す。図１５Ｄを参照すると、逆ＤＷＴの各レベルについてのシャープニング／平滑化パラメータがあることに、注意する。即ち、シャープニング／平滑化パラメータは、同じレベルで実行されている、全変換ステップについて同じである。
【０１６８】
図１６Ａ−Ｄは、ＲＤＷＴへのシャープニング／平滑化の応用を示す。図１６Ａ−１６Ｂは、それぞれ、前方及び逆冗長ＤＷＴ（ＲＤＷＴ）の構成ブロックを示す。図１６Ｃは、Ｌのレベル分解についての前方ＲＤＷＴを示す。図１６Ｄは、Ｌのレベルの分解についての、再スケーリング（シャープニング／平滑化）を伴なう全レベル分解についての逆ＲＤＷＴを示す。図１６Ｄを参照すると、再スケーリングパラメータは、各レベルの個々の処理ブロックの各々について同じである。しかしながら、再スケーリングパラメータは、レベル毎に異なる。
【０１６９】
シャープニング／平滑化パラメータの選択
入力データと、出力データの平滑性についての知識により、パラメータαを決定する異なる可能性がある。以下に異なる技術が開示されるが、しかし、他の技術も使用され得る。最初に、有効な入力データが、スキャナのような入力装置を通して、オリジナルデータを送ることから得られるデータである場合には、データのＨｏｅｌｄｅｒ規則性は、入力装置のＨｏｅｌｄｅｒ規則性である。スキャナの場合には、規則性は、点像分布関数の平滑性により与えられる。オリジナルデータが、平滑性βを有し、そして、走査された入力データが、平滑性εを有する場合には、シャープニングパラメータの合理的な選択は、−（ε―β）であろう。しかしながら、項｜ε―β｜が、ウェーブレットシステムのＨｏｅｌｄｅｄｒ規則性γより大きいことは許されない。従って、シャープニングパラメータは、β＞γ及びε＞γの場合には、α＝０であり、そして、
【０１７０】
【数３６】
【０１７１】
入力データの平滑性の知識が存在しない場合には、対応するＨｏｅｌｄｅｒ規則性εは、スケールをわたるウェーブレット係数の減衰から推定されることが可能である。Ｈｏｅｌｄｅｒ規則性εは、定数Ｃ＞０、スケールｊ及び、位置ｋについて、
【０１７２】
【数３７】
オリジナルデータが、テキスト領域で発生するように、ステップエッジを含む場合には、例えば、オリジナルの平滑性βは、ゼロに等しい。
オリジナルデータの平滑性βとすると、シャープニング／平滑化パラメータαは、常に、
【０１７３】
【数３８】
【０１７４】
走査された画像を処理するときには、指数α＝−１が使用され、これは理論的な理由を有する。画像は、平滑な領域とステップエッジよりなる関数として、モデル化されうる。この画像を走査することにより、ステップエッジが不鮮明になる。この不鮮明化は、ガウスカーネル又は、同様な特性を有するカーネルとの畳み込みとしてモデル化されうる。この結果、ハールシステムでのオーバーコンプリートウェーブレット分解は、指数１により記載されるウェーブレット係数の減衰を捕捉する。走査されたエッジをシャープ化するために、即ち、エッジの逆平滑化のために、シャープ化パラメータの指数として、指数α＝−１が選択される。上述の式（１０１０）の正規化定数パラメータγは、γ＝１である。全分解レベルＬ＝３のこの場合には、ウェーブレット係数の以下の修正がなされる。
−第１レベルのウェーブレット係数の
【０１７５】
【数３９】
−第２レベルのウェーブレット係数の
【０１７６】
【数４０】
−第３レベルのウェーブレット係数の
【０１７７】
【数４１】
【０１７８】
このように、例えば、ディジタルコピー器、ディジタルカメラ、ファクシミリ機、プリンタ等のような、走査された文書に関する応用でシャープ化パラメータをどのように選択するかが説明された。
【０１７９】
マルチスケールシャープニング及び平滑化の他の応用は、ウェーブレット係数に依存する、適応平滑化及びシャープニングを実行することである。それゆえに、選択された係数のみが、２ｊα、α＜０との乗算によりシャープ化され、そして、平滑領域の係数は、オーバーコンプリートハールシステムでの、２ｊβ、β＞０による乗算により平滑化される。
【０１８０】
ディジタルコピー機の一実施例を、図１７に示す。図１７を参照すると、スキャナ１８０１又は、他の半階調画像源１８０２は、画像を分類ユニット１８０３へ供給し、これは、画像データを、テキストと背景として分類する。分類ユニット１８０３の出力は、分類された画素に従って、平滑化又はシャープニングを実行する、スケーリングユニット１８０４により受信される。分類の使用と分類に関するシャープニング／平滑化を基礎にするのはオプションであることに注意する。スケーリングユニット１８０４の出力は、他の処理（例えば、ダウンサンプリング、ガンマ補正、ハーフトーン化、等）を実行する、処理ユニット１８０５に接続されている。処理ユニット１８０５の出力は、画像を印刷する、プリンタ１８０６により受信される。
【０１８１】
本発明の多くの変更及び修正は、前述の記載を読めば、当業者には明らかであり、説明した特定の実施例は、本発明を限定するものではないと理解されるべきである。従って、種々の実施例への詳細な参照は、本発明の必須であると考えられる特徴のみを列挙する請求の範囲を限定するものではない。
【０１８２】
【発明の効果】
上述のように、本発明により、ウェーブレット変換係数を用いた非線形画像処理方法及び装置を提供できる。
【図面の簡単な説明】
【図１】１次元非線形補間法の２次元拡張を示す図である。
【図２】逆ウェーブレット変換内で、補間を埋め込むための処理を示すフローチャートを示す図である。
【図３Ａ】逆ウェーブレット変換内で、補間を埋め込むための処理の一実施例を示すフロー図である。
【図３Ｂ】逆ウェーブレット変換内で、補間を埋め込むための処理の一実施例を示すフロー図である。
【図３Ｃ】逆ウェーブレット変換内で、補間を埋め込むための処理の一実施例を示すフロー図である。
【図４】一実施例に従った、逆ウェーブレット変換内に埋め込まれた補間をむための装置を示す概略図である。
【図５】標準的な３次元補間と比較した、ウェーブレット変換係数を使用する適応非線形画像拡大の例を示す概略図である。
【図６】ステップエッジを補間する処理の一実施例を示すフロー図である。
【図７】ウェーブレットに基づく向上システムを有するディジタルコピー機を示す図である。
【図８】高解像度印刷を実行する処理を示す図である。
【図９】コンピュータシステムの一実施例のブロック図である。
【図１０】画像データを処理する方法の一実施例を示す図である。
【図１１】画像データを処理する処理の他の実施例を示す図である。
【図１２】離散ウェーブレット変換での第１レベルのマルチスケールアンシャープマスキングのフィルタバンクの実装のブロックを示す図である。
【図１３】オーバーコンプリート離散ウェーブレット変換での第１レベルのマルチスケールアンシャープマスキングのフィルタリングの実装の他のブロックを示す図である。
【図１４】ウェーブレットでのマルチスケールシャープニング及び平滑化を実行する処理の一実施例のフローチャートを示す図である。
【図１５Ａ】前方及び逆変換を示す図である。
【図１５Ｂ】前方及び逆変換を示す図である。
【図１５Ｃ】前方及び逆変換を示す図である。
【図１５Ｄ】前方及び逆変換を示す図である。
【図１６Ａ】ＲＤＷＴへのシャープニング／平滑化の応用を示す図である。
【図１６Ｂ】ＲＤＷＴへのシャープニング／平滑化の応用を示す図である。
【図１６Ｃ】ＲＤＷＴへのシャープニング／平滑化の応用を示す図である。
【図１６Ｄ】ＲＤＷＴへのシャープニング／平滑化の応用を示す図である。
【図１７】コピー機の一実施例のブロック図である。
【符号の説明】
４０１ 受信ユニット
４０２ 処理ユニット
７０１ ウェーブレット変換
７０２ 画像プロセッサ
７０３ 逆冗長ウェーブレット変換
７０４ 拡大機
８０１ １レベル冗長ウェーブレット変換
８０２ 拡大機
８０３ 画像プロセッサ
９００ コンピュータシステム
９０７ データストレージ装置
９１１ バス
９１２ プロセッサ
９２１ ディスプレイ
９２２ 英数字入力装置
９２４ ハードコピー装置
９２５ 有線／無線通信能力
１３１１ 加算ユニット
１４０１ 低域通過ウェーブレットフィルタ
１４０２ 高域通過ウェーブレットフィルタ
１４０８、１４０９ スケーリングユニット
１４１０−１４１３ アップサンプリングユニット
１４１４、１４１５ 低域通過逆変換フィルタ
１４１６、１４１７ 高域通過逆変換フィルタ
１４２２ 加算ユニット
１４２３ 加算ユニット
１４２４ 加算ユニット
１８０３ 分類ユニット
１８０４ スケーリングユニット
１８０５ 処理ユニット
１８０６ プリンタ
Claims (12)
- ウェーブレット変換された画像を受信する工程と、
前記ウェーブレット変換された画像の同レベルのサブバンドに含まれるウェーブレット係数を利用して、前記ウェーブレット変換された画像よりも大きなサイズの拡大画像を得る局所化適応補間を実行する工程とを含み、
前記局所化適応補間を実行する工程は、
前記ウェーブレット変換された画像の低域係数及び詳細係数の列に垂直逆変換を実行して、第一の結果と第二の結果を得、
前記第一の結果と第二の結果を第一のグリッド画像、第二のグリッド画像上の対応する位置に、一列おきに値を含まないように配置し、前記値を含まない前記第一のグリッド画像と第二のグリッド画像の列に値を発生するために第一の補間を実行し、
前記実行された第一の補間後の前記第一のグリッド画像と第二のグリッド画像に対して水平逆変換を実行して、第三の結果を得、
前記第三の結果を第三のグリッド画像上の対応する位置に、一行おきに値を含まないように配置し、
前記値を含まない前記第三のグリッド画像の行に値を発生するために第二の補間を実行して前記拡大画像を得ること
を特徴とする非線形画像処理方法。 - ウェーブレット変換された画像を受信する工程と、
前記ウェーブレット変換された画像の同レベルのサブバンドに含まれるウェーブレット係数を利用して、前記ウェーブレット変換された画像よりも大きなサイズの拡大画像を得る局所化適応補間を実行する工程とを含み、
前記局所化適応補間を実行する工程は、
前記ウェーブレット変換された画像の低域係数及び詳細係数の行に水平逆変換を実行して、第一の結果と第二の結果を得、
前記第一の結果と第二の結果を第一のグリッド画像、第二のグリッド画像上の対応する位置に、一行おきに値を含まないように配置し、前記値を含まない前記第一のグリッド画像と第二のグリッド画像の行に値を発生するために第一の補間を実行し、
前記実行された第一の補間後の前記第一のグリッド画像と第二のグリッド画像に対して垂直逆変換を実行して、第三の結果を得、
前記第三の結果を第三のグリッド画像上の対応する位置に、一列おきに値を含まないように配置し、
前記値を含まない前記第三のグリッド画像の列に値を発生するために第二の補間を実行して前記拡大画像を得ること
を特徴とする非線形画像処理方法。 - 前記第一の補間及び前記第二の補間は、非線形補間を含むこと
を特徴とする請求項１又は２に記載の非線形画像処理方法。 - 前記第一の補間は、ウェーブレット係数から計算されたパラメータを用いて実行されることを特徴とする請求項１又は２に記載の非線形画像処理方法。
- 前記第二の補間は、前記第二のグリッド画像上の値から計算されたパラメータを用いて実行されることを特徴とする請求項１，２，４のいずれか１に記載の非線形画像処理方法。
- 前記非線形画像処理方法は、前記得られた拡大画像の値を予め定められた範囲へクリッピングすること
を特徴とする請求項１乃至５のいずれか１に記載の非線形画像処理方法。 - ウェーブレット変換された画像を受信する手段と、
前記ウェーブレット変換された画像の同レベルのサブバンドに含まれるウェーブレット係数を利用して、前記ウェーブレット変換された画像よりも大きなサイズの拡大画像を得る局所化適応補間を実行する手段とを含み、
前記局所化適応補間を実行する手段は、
前記ウェーブレット変換された画像の低域係数及び詳細係数の列に垂直逆変換を実行して、第一の結果と第二の結果を得る手段と、
前記第一の結果と第二の結果を第一のグリッド画像、第二のグリッド画像上の対応する位置に、一列おきに値を含まないように配置し、前記値を含まない前記第一のグリッド画像と第二のグリッド画像の列に値を発生するために第一の補間を実行する手段と、
前記実行された第一の補間後の前記第一のグリッド画像と第二のグリッド画像に対して水平逆変換を実行して、第三の結果を得る手段と、
前記第三の結果を第三のグリッド画像上の対応する位置に、一行おきに値を含まないように配置する手段と、
前記値を含まない前記第三のグリッド画像の行に値を発生するために第二の補間を実行して前記拡大画像を得る手段とを含むこと
を特徴とする非線形画像処理装置。 - ウェーブレット変換された画像を受信する手段と、
前記ウェーブレット変換された画像の同レベルのサブバンドに含まれるウェーブレット係数を利用して、前記ウェーブレット変換された画像よりも大きなサイズの拡大画像を得る局所化適応補間を実行する手段とを含み、
前記局所化適応補間を実行する手段は、
前記ウェーブレット変換された画像の低域係数及び詳細係数の行に水平逆変換を実行して、第一の結果と第二の結果を得る手段と、
前記第一の結果と第二の結果を第一のグリッド画像、第二のグリッド画像上の対応する位置に、一行おきに値を含まないように配置し、前記値を含まない前記第一のグリッド画像と第二のグリッド画像の行に値を発生するために第一の補間を実行する手段と、
前記実行された第一の補間後の前記第一のグリッド画像と第二のグリッド画像に対して垂直逆変換を実行して、第三の結果を得る手段と、
前記第三の結果を第三のグリッド画像上の対応する位置に、一列おきに値を含まないように配置する手段と、
前記値を含まない前記第三のグリッド画像の列に値を発生するために第二の補間を実行して前記拡大画像を得る手段とを含むこと
を特徴とする非線形画像処理装置。 - 前記第一の補間を実行する手段と前記第二の補間を実行して前記拡大画像を得る手段は、それぞれ非線形補間を実行する手段を含むこと
を特徴とする請求項７又は８に記載の非線形画像処理装置。 - 前記第一の補間を実行する手段は、ウェーブレット係数から計算されたパラメータを用いて前記第一の補間を実行することを特徴とする請求項７又は８に記載の非線形画像処理装置。
- 前記拡大画像を得る手段は、前記第二のグリッド画像上の値から計算されたパラメータを用いて前記第二の補間を実行することを特徴とする請求項７、８、１０のいずれか一項に記載の非線形画像処理装置。
- 前記得られた拡大画像の値を予め定められた範囲へクリッピングする手段をさらに有することを特徴とする請求項７乃至１１のいずれか一項に記載の非線形画像処理装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US10/124,290 US7120305B2 (en) | 2002-04-16 | 2002-04-16 | Adaptive nonlinear image enlargement using wavelet transform coefficients |
| US124290 | 2002-04-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003348328A JP2003348328A (ja) | 2003-12-05 |
| JP4035474B2 true JP4035474B2 (ja) | 2008-01-23 |
Family
ID=28674688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003110749A Expired - Fee Related JP4035474B2 (ja) | 2002-04-16 | 2003-04-15 | ウェーブレット係数を用いた非線形画像処理方法、装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7120305B2 (ja) |
| EP (2) | EP1610267B1 (ja) |
| JP (1) | JP4035474B2 (ja) |
| DE (1) | DE60302924T2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6707937B1 (en) * | 2000-07-14 | 2004-03-16 | Agilent Technologies, Inc. | Interpolation of edge portions of a digital image |
| US20050157939A1 (en) * | 2004-01-16 | 2005-07-21 | Mark Arsenault | Processes, products and systems for enhancing images of blood vessels |
| US20050226525A1 (en) | 2004-03-31 | 2005-10-13 | Fujitsu Limited | Image magnification device and image magnification method |
| US7474793B2 (en) * | 2004-09-02 | 2009-01-06 | Hewlett-Packard Development Company, L.P. | Methods for compression using a denoiser |
| US7889943B1 (en) * | 2005-04-18 | 2011-02-15 | Picture Code | Method and system for characterizing noise |
| US8059905B1 (en) | 2005-06-21 | 2011-11-15 | Picture Code | Method and system for thresholding |
| ATE534974T1 (de) | 2006-04-18 | 2011-12-15 | Ge Healthcare Bio Sciences | System zur vorbereitung eines bildes zur segmentierung |
| US20100092082A1 (en) * | 2006-11-29 | 2010-04-15 | Keigo Hirakawa | framework for wavelet-based analysis and processing of color filter array images with applications to denoising and demosaicing |
| US8761504B2 (en) * | 2006-11-29 | 2014-06-24 | President And Fellows Of Harvard College | Spatio-spectral sampling paradigm for imaging and a novel color filter array design |
| US8121195B2 (en) * | 2006-11-30 | 2012-02-21 | Lsi Corporation | Memory reduced H264/MPEG-4 AVC codec |
| US8832290B2 (en) * | 2007-02-23 | 2014-09-09 | Microsoft Corporation | Smart pre-fetching for peer assisted on-demand media |
| US7889949B2 (en) * | 2007-04-30 | 2011-02-15 | Microsoft Corporation | Joint bilateral upsampling |
| US20110150354A1 (en) * | 2009-12-18 | 2011-06-23 | Magor Communications Corporation | Image up-sampling method using 2d wavelet filters |
| RU2595587C2 (ru) | 2011-10-17 | 2016-08-27 | Кт Корпорейшен | Способ адаптивного преобразования, основанный на внутрикадровом предсказании, и устройство, использующее такой способ |
| US9324133B2 (en) | 2012-01-04 | 2016-04-26 | Sharp Laboratories Of America, Inc. | Image content enhancement using a dictionary technique |
| US20140086319A1 (en) * | 2012-09-25 | 2014-03-27 | Sony Corporation | Video coding system with adaptive upsampling and method of operation thereof |
| JP6344934B2 (ja) * | 2014-03-04 | 2018-06-20 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体 |
| CN104299185A (zh) | 2014-09-26 | 2015-01-21 | 京东方科技集团股份有限公司 | 一种图像放大方法、图像放大装置及显示设备 |
| CN104392411B (zh) * | 2014-12-12 | 2017-06-16 | 中国农业大学 | 基于Shannon‑Blackman小波稀疏表达的图像处理方法及装置 |
| US10387991B2 (en) * | 2016-07-01 | 2019-08-20 | Intel Corporation | Method and apparatus for frame buffer compression |
| CN110570874B (zh) * | 2018-06-05 | 2021-10-22 | 中国科学院声学研究所 | 一种用于监测野外鸟类鸣声强度及分布的系统及其方法 |
| CN109377463B (zh) * | 2018-11-30 | 2022-01-04 | 上海集成电路研发中心有限公司 | 一种提高小波去噪效果的图像预处理方法 |
| CN117036987B (zh) * | 2023-10-10 | 2023-12-08 | 武汉大学 | 一种基于小波域交叉配对的遥感影像时空融合方法及系统 |
Family Cites Families (132)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3506327A (en) * | 1964-04-23 | 1970-04-14 | Battelle Development Corp | Wavefront reconstruction using a coherent reference beam |
| US3950103A (en) * | 1972-10-27 | 1976-04-13 | Canadian Patents And Development Limited | Method and apparatus to determine spatial distribution of magnitude and phase of electro-magnetic fields especially optical fields |
| DE2640140C2 (de) * | 1976-09-07 | 1982-10-07 | Philips Patentverwaltung Gmbh, 2000 Hamburg | Verfahren und Anordnung zur redundanzvermindernden Bildcodierung |
| DE2640157C2 (de) * | 1976-09-07 | 1982-10-07 | Philips Patentverwaltung Gmbh, 2000 Hamburg | Verfahren und Anordnung zum redundanzvermindernden Codieren von Bildern |
| US4136954A (en) * | 1976-12-29 | 1979-01-30 | Jamieson John A | Imaging apparatus including spatial-spectral interferometer |
| US4223354A (en) | 1978-08-30 | 1980-09-16 | General Electric Company | Phase corrected raster scanned light modulator and a variable frequency oscillator for effecting phase correction |
| US4393456A (en) * | 1981-03-19 | 1983-07-12 | Bell Telephone Laboratories, Incorporated | Digital filter bank |
| DE3171311D1 (en) * | 1981-07-28 | 1985-08-14 | Ibm | Voice coding method and arrangment for carrying out said method |
| US4437087A (en) * | 1982-01-27 | 1984-03-13 | Bell Telephone Laboratories, Incorporated | Adaptive differential PCM coding |
| US4674125A (en) * | 1983-06-27 | 1987-06-16 | Rca Corporation | Real-time hierarchal pyramid signal processing apparatus |
| US4599567A (en) * | 1983-07-29 | 1986-07-08 | Enelf Inc. | Signal representation generator |
| US4652881A (en) * | 1984-01-10 | 1987-03-24 | Lewis Bernard L | Efficient adaptive filter bank |
| FR2577084B1 (fr) * | 1985-02-01 | 1987-03-20 | Trt Telecom Radio Electr | Systeme de bancs de filtres d'analyse et de synthese d'un signal |
| US4701006A (en) | 1985-02-20 | 1987-10-20 | Stanford University | Optical-digital hologram recording |
| US4751742A (en) * | 1985-05-07 | 1988-06-14 | Avelex | Priority coding of transform coefficients |
| GB2181318B (en) * | 1985-10-04 | 1989-12-28 | Sony Corp | Two-dimensional finite impulse response filters |
| US4760563A (en) * | 1986-01-09 | 1988-07-26 | Schlumberger Technology Corporation | Seismic exploration using exactly invertible discrete transformation into tau-p space |
| US4929223A (en) * | 1986-02-18 | 1990-05-29 | Adolph Coors Company | Packaging alignment system |
| DE3732085A1 (de) * | 1986-03-26 | 1989-04-06 | Ant Nachrichtentech | Digitaler filterbaum |
| US4663660A (en) * | 1986-06-20 | 1987-05-05 | Rca Corporation | Compressed quantized image-data transmission technique suitable for use in teleconferencing |
| GB8621994D0 (en) * | 1986-09-12 | 1986-10-22 | Crosfield Electronics Ltd | Image processing |
| US4868868A (en) | 1986-09-30 | 1989-09-19 | Oki Electric Industry Co., Ltd. | Sub-band speech analyzing and synthesizing device |
| FR2606576B1 (fr) | 1986-11-07 | 1989-02-03 | Labo Electronique Physique | Dispositif pour transmettre des images de television haute definition dans des canaux a bande etroite |
| GB2197766B (en) * | 1986-11-17 | 1990-07-25 | Sony Corp | Two-dimensional finite impulse response filter arrangements |
| US4817182A (en) * | 1987-05-04 | 1989-03-28 | General Electric Company | Truncated subband coding of images |
| US4815023A (en) * | 1987-05-04 | 1989-03-21 | General Electric Company | Quadrature mirror filters with staggered-phase subsampling |
| BE1000643A5 (fr) * | 1987-06-05 | 1989-02-28 | Belge Etat | Procede de codage de signaux d'image. |
| DE3853555T2 (de) | 1987-06-09 | 1995-08-17 | Sony Corp | Verarbeitung des Bewegungsvektors in digitalen Fernsehbildern. |
| US4837517A (en) * | 1987-07-16 | 1989-06-06 | Schlumberger Technology Corporation | Spatial frequency method and apparatus for investigating earth conductivity with high vertical resolution by induction techniques |
| US4785349A (en) | 1987-10-05 | 1988-11-15 | Technology Inc. 64 | Digital video decompression system |
| US4936665A (en) * | 1987-10-25 | 1990-06-26 | Whitney Theodore R | High resolution imagery systems and methods |
| US4881075A (en) | 1987-10-15 | 1989-11-14 | Digital Equipment Corporation | Method and apparatus for adaptive data compression |
| US5156943A (en) | 1987-10-25 | 1992-10-20 | Whitney Theodore R | High resolution imagery systems and methods |
| US4827336A (en) * | 1987-12-18 | 1989-05-02 | General Electric Company | Symbol code generation processing from interframe DPCM of TDM'd spatial-frequency analyses of video signals |
| US4858017A (en) * | 1988-01-22 | 1989-08-15 | The Trustees Of Columbia University In The City Of New York | System and method for hierarchal image encoding and decoding |
| US5001764A (en) * | 1988-03-25 | 1991-03-19 | Texas Instruments Incorporated | Guardbands for pattern inspector |
| US4985927A (en) * | 1988-03-25 | 1991-01-15 | Texas Instruments Incorporated | Method of detecting and reviewing pattern defects |
| US5018210A (en) * | 1988-03-25 | 1991-05-21 | Texas Instruments Incorporated | Pattern comparator with substage illumination and polygonal data representation |
| US5095447A (en) * | 1988-03-25 | 1992-03-10 | Texas Instruments Incorporated | Color overlay of scanned and reference images for display |
| US4897717A (en) * | 1988-03-30 | 1990-01-30 | Starsignal, Inc. | Computer-based video compression system |
| EP0339589A3 (en) * | 1988-04-28 | 1992-01-02 | Sharp Kabushiki Kaisha | Orthogonal transform coding system for image data |
| US4982283A (en) * | 1988-05-06 | 1991-01-01 | General Electric Company | Line-sequential pyramid processing of a plurality of raster-scanned image variables |
| US4899147A (en) * | 1988-06-03 | 1990-02-06 | Unisys Corporation | Data compression/decompression apparatus with throttle, start-up and backward read controls |
| US4829378A (en) * | 1988-06-09 | 1989-05-09 | Bell Communications Research, Inc. | Sub-band coding of images with low computational complexity |
| US4904073A (en) * | 1988-08-10 | 1990-02-27 | Aware, Inc. | Fractal tiling for multiple mirror optical devices |
| FR2637400B1 (fr) * | 1988-09-30 | 1990-11-09 | Labo Electronique Physique | Dispositif de traitement ameliore d'un signal echographique |
| US4929946A (en) * | 1989-02-09 | 1990-05-29 | Storage Technology Corporation | Adaptive data compression apparatus including run length encoding for a tape drive system |
| FR2643986B1 (fr) * | 1989-03-03 | 1991-05-17 | Thomson Csf | Procede d'analyse d'un signal par ondelettes |
| US4918524A (en) * | 1989-03-14 | 1990-04-17 | Bell Communications Research, Inc. | HDTV Sub-band coding using IIR filter bank |
| JPH02305182A (ja) * | 1989-05-19 | 1990-12-18 | Fuji Photo Film Co Ltd | 画像信号圧縮符号化装置 |
| US5072308A (en) | 1989-06-21 | 1991-12-10 | International Mobile Machines Corporation | Communication signal compression system and method |
| US4987480A (en) * | 1989-07-11 | 1991-01-22 | Massachusetts Institute Of Technology | Multiscale coding of images |
| US4974187A (en) | 1989-08-02 | 1990-11-27 | Aware, Inc. | Modular digital signal processing system |
| US5073964A (en) | 1989-08-04 | 1991-12-17 | Aware, Inc. | Signal processing device and method |
| US5241395A (en) * | 1989-08-07 | 1993-08-31 | Bell Communications Research, Inc. | Adaptive transform coding using variable block size |
| US5014134A (en) * | 1989-09-11 | 1991-05-07 | Aware, Inc. | Image compression method and apparatus |
| US5097261A (en) * | 1989-11-22 | 1992-03-17 | International Business Machines Corporation | Data compression for recording on a record medium |
| US5173880A (en) | 1989-12-26 | 1992-12-22 | Exxon Production Research Company | Method of generating seismic wavelets using seismic range equation |
| US5068911A (en) | 1990-02-09 | 1991-11-26 | Aware, Inc. | Method and apparatus for representing an image |
| US4973961A (en) | 1990-02-12 | 1990-11-27 | At&T Bell Laboratories | Method and apparatus for carry-over control in arithmetic entropy coding |
| US5103306A (en) * | 1990-03-28 | 1992-04-07 | Transitions Research Corporation | Digital image compression employing a resolution gradient |
| US4999705A (en) * | 1990-05-03 | 1991-03-12 | At&T Bell Laboratories | Three dimensional motion compensated video coding |
| DE4016172C1 (ja) | 1990-05-19 | 1991-03-28 | Werner 5900 Siegen De Ackermann | |
| US5101446A (en) * | 1990-05-31 | 1992-03-31 | Aware, Inc. | Method and apparatus for coding an image |
| US5128757A (en) * | 1990-06-18 | 1992-07-07 | Zenith Electronics Corporation | Video transmission system using adaptive sub-band coding |
| EP0465732B1 (en) * | 1990-07-11 | 1996-10-02 | Koninklijke Philips Electronics N.V. | Apparatus for deriving a compatible low-definition interlaced television signal and other components from an interlaced high-definition television signal and apparatus for reconstructing the original signal |
| US5148498A (en) | 1990-08-01 | 1992-09-15 | Aware, Inc. | Image coding apparatus and method utilizing separable transformations |
| US5081645A (en) * | 1990-08-06 | 1992-01-14 | Aware, Inc. | Novel spread spectrum codec apparatus and method |
| US5128791A (en) * | 1990-08-13 | 1992-07-07 | Bell Communications Research, Inc. | Multi-channel HDTV system |
| US5097331A (en) * | 1990-08-24 | 1992-03-17 | Bell Communications Research, Inc. | Multiple block-size transform video coding using an asymmetric sub-band structure |
| US5049992A (en) | 1990-08-27 | 1991-09-17 | Zenith Electronics Corporation | HDTV system with receivers operable at different levels of resolution |
| US5049993A (en) | 1990-10-03 | 1991-09-17 | Bell Communications Research, Inc. | Format conversion preprocessing method and circuit |
| GB2252002B (en) * | 1991-01-11 | 1995-01-04 | Sony Broadcast & Communication | Compression of video signals |
| JP3012698B2 (ja) | 1991-01-29 | 2000-02-28 | オリンパス光学工業株式会社 | 画像データの符号化装置および符号化方法 |
| US5121191A (en) * | 1991-03-15 | 1992-06-09 | Aware, Inc. | Method and apparatus for coding motion pictures |
| US5276525A (en) * | 1991-03-22 | 1994-01-04 | Bell Communications Research, Inc. | Two-dimensional block scanning for subband image and video coding |
| US5262958A (en) | 1991-04-05 | 1993-11-16 | Texas Instruments Incorporated | Spline-wavelet signal analyzers and methods for processing signals |
| AU1996292A (en) | 1991-05-17 | 1992-12-30 | Analytic Sciences Corporation, The | Continuous-tone image compression |
| US5235434A (en) * | 1991-06-27 | 1993-08-10 | Polaroid Corporation | Method and apparatus for selectively adjusting the brightness of large regions of an image |
| US5349348A (en) | 1991-08-15 | 1994-09-20 | International Business Machines Corporation | Multi-mode data stream generator |
| US5315670A (en) * | 1991-11-12 | 1994-05-24 | General Electric Company | Digital data compression system including zerotree coefficient coding |
| US5442458A (en) | 1991-12-18 | 1995-08-15 | Eastman Kodak Company | Method and associated apparatus for encoding bitplanes for improved coding efficiency |
| GB2262854B (en) * | 1991-12-24 | 1995-05-24 | Sony Broadcast & Communication | Image processing apparatus |
| US5347479A (en) | 1991-12-27 | 1994-09-13 | Nec Corporation | Small-size wavelet transform apparatus |
| CA2088082C (en) * | 1992-02-07 | 1999-01-19 | John Hartung | Dynamic bit allocation for three-dimensional subband video coding |
| US5321776A (en) * | 1992-02-26 | 1994-06-14 | General Electric Company | Data compression system including successive approximation quantizer |
| KR0150955B1 (ko) * | 1992-05-27 | 1998-10-15 | 강진구 | 비트고정을 위한 영상압축방법과 신장방법 및 그 장치 |
| US5511151A (en) * | 1992-06-10 | 1996-04-23 | Canon Information Systems, Inc. | Method and apparatus for unwinding image data |
| US5379355A (en) * | 1992-08-24 | 1995-01-03 | Ricoh Corporation | Data encoding using one or more adaptive decision trees |
| US5638498A (en) * | 1992-11-10 | 1997-06-10 | Adobe Systems Incorporated | Method and apparatus for reducing storage requirements for display data |
| US5631977A (en) * | 1992-12-08 | 1997-05-20 | Fuji Xerox Co., Ltd. | Encoding device for encoding an image along an order determined by resolution tone level |
| US5412741A (en) * | 1993-01-22 | 1995-05-02 | David Sarnoff Research Center, Inc. | Apparatus and method for compressing information |
| US5414780A (en) * | 1993-01-27 | 1995-05-09 | Immix | Method and apparatus for image data transformation |
| IL104636A (en) * | 1993-02-07 | 1997-06-10 | Oli V R Corp Ltd | Apparatus and method for encoding and decoding digital signals |
| US5381145A (en) * | 1993-02-10 | 1995-01-10 | Ricoh Corporation | Method and apparatus for parallel decoding and encoding of data |
| JP2933457B2 (ja) * | 1993-02-18 | 1999-08-16 | 日本電気株式会社 | ウェーブレット変換符号化方法 |
| US5420891A (en) * | 1993-03-18 | 1995-05-30 | New Jersey Institute Of Technology | Multiplierless 2-band perfect reconstruction quadrature mirror filter (PR-QMF) banks |
| GB2281465B (en) * | 1993-08-27 | 1997-06-04 | Sony Uk Ltd | Image data compression |
| US5495292A (en) * | 1993-09-03 | 1996-02-27 | Gte Laboratories Incorporated | Inter-frame wavelet transform coder for color video compression |
| US5717789A (en) * | 1993-09-08 | 1998-02-10 | California Institute Of Technology | Image enhancement by non-linear extrapolation in frequency space |
| US5453945A (en) | 1994-01-13 | 1995-09-26 | Tucker; Michael R. | Method for decomposing signals into efficient time-frequency representations for data compression and recognition |
| US5541594A (en) * | 1994-03-28 | 1996-07-30 | Utah State University Foundation | Fixed quality source coder with fixed threshold |
| US5534925A (en) * | 1994-05-02 | 1996-07-09 | Cognitech Inc. | Image compression by optimal reconstruction |
| US5602589A (en) * | 1994-08-19 | 1997-02-11 | Xerox Corporation | Video image compression using weighted wavelet hierarchical vector quantization |
| US5867602A (en) * | 1994-09-21 | 1999-02-02 | Ricoh Corporation | Reversible wavelet transform and embedded codestream manipulation |
| US5604824A (en) * | 1994-09-22 | 1997-02-18 | Houston Advanced Research Center | Method and apparatus for compression and decompression of documents and the like using splines and spline-wavelets |
| US5497777A (en) * | 1994-09-23 | 1996-03-12 | General Electric Company | Speckle noise filtering in ultrasound imaging |
| GB2295936B (en) * | 1994-12-05 | 1997-02-05 | Microsoft Corp | Progressive image transmission using discrete wavelet transforms |
| KR0159434B1 (ko) * | 1995-04-19 | 1999-01-15 | 김광호 | 휴먼 비쥬얼 시스템 모델링을 이용한 웨이블렛 영상 압축/복원장치 및 방법 |
| JP2840589B2 (ja) * | 1996-02-09 | 1998-12-24 | 富士通株式会社 | データ圧縮装置及びデータ復元装置 |
| US5799112A (en) * | 1996-08-30 | 1998-08-25 | Xerox Corporation | Method and apparatus for wavelet-based universal halftone image unscreening |
| US6088062A (en) * | 1996-10-29 | 2000-07-11 | Sony Corporation | Picture signal processing apparatus |
| US6020975A (en) * | 1996-12-20 | 2000-02-01 | Apple Computer, Inc. | System and method for accelerated data recompression |
| WO1998056184A1 (en) * | 1997-06-05 | 1998-12-10 | Wisconsin Alumni Research Foundation | Image compression system using block transforms and tree-type coefficient truncation |
| DE19744407C1 (de) * | 1997-10-08 | 1999-02-11 | Luratech Ges Fuer Luft Und Rau | Verfahren zur mehrdimensionalen, diskreten Wavelet-Transformation und Transformationseinheit zur Durchführung des Verfahrens |
| JPH11144053A (ja) * | 1997-11-11 | 1999-05-28 | Sharp Corp | 画像データの補間処理方法 |
| US6058214A (en) * | 1998-01-20 | 2000-05-02 | At&T Corp. | Compression of partially masked still images |
| US6229929B1 (en) * | 1998-05-14 | 2001-05-08 | Interval Research Corporation | Border filtering of video signal blocks |
| US6236765B1 (en) * | 1998-08-05 | 2001-05-22 | Intel Corporation | DWT-based up-sampling algorithm suitable for image display in an LCD panel |
| SE513353C2 (sv) * | 1998-10-21 | 2000-08-28 | Ericsson Telefon Ab L M | Partiell hämtning av bilder i den komprimerade domänen |
| US6201897B1 (en) * | 1998-11-09 | 2001-03-13 | Earth Resource Mapping | Transformation and selective inverse transformation of large digital images |
| JP3883028B2 (ja) * | 1998-12-14 | 2007-02-21 | 株式会社リコー | 画像符号化装置及び方法 |
| JP3464767B2 (ja) * | 1998-12-29 | 2003-11-10 | ソニー株式会社 | ウェーブレット復号装置及び方法 |
| US6356668B1 (en) * | 1998-12-29 | 2002-03-12 | Eastman Kodak Company | Method for efficient rate control |
| US6339658B1 (en) * | 1999-03-09 | 2002-01-15 | Rockwell Science Center, Llc | Error resilient still image packetization method and packet structure |
| US6546143B1 (en) * | 1999-03-12 | 2003-04-08 | Hewlett-Packard Development Company | Efficient wavelet-based compression of large images |
| EP1164781A1 (en) * | 1999-03-15 | 2001-12-19 | Matsushita Electric Industrial Co., Ltd. | Image processing device, image processing method, and recorded medium |
| US6350989B1 (en) * | 1999-04-23 | 2002-02-26 | Sandia National Laboratories | Wafer-fused semiconductor radiation detector |
| JP4164211B2 (ja) * | 1999-11-16 | 2008-10-15 | キヤノン株式会社 | 画像処理装置及びその方法 |
| US6782143B1 (en) * | 1999-12-30 | 2004-08-24 | Stmicroelectronics, Inc. | Method and apparatus for processing an image |
| US6738524B2 (en) * | 2000-12-15 | 2004-05-18 | Xerox Corporation | Halftone detection in the wavelet domain |
| US6819801B2 (en) * | 2001-06-19 | 2004-11-16 | Agilent Technologies, Inc. | System and method for processing demosaiced images to reduce color aliasing artifacts |
-
2002
- 2002-04-16 US US10/124,290 patent/US7120305B2/en not_active Expired - Fee Related
-
2003
- 2003-04-15 EP EP05019700A patent/EP1610267B1/en not_active Expired - Fee Related
- 2003-04-15 EP EP03008091A patent/EP1355271B1/en not_active Expired - Fee Related
- 2003-04-15 JP JP2003110749A patent/JP4035474B2/ja not_active Expired - Fee Related
- 2003-04-15 DE DE60302924T patent/DE60302924T2/de not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US20030194150A1 (en) | 2003-10-16 |
| EP1355271A1 (en) | 2003-10-22 |
| DE60302924D1 (de) | 2006-02-02 |
| US7120305B2 (en) | 2006-10-10 |
| DE60302924T2 (de) | 2006-08-17 |
| EP1355271B1 (en) | 2005-12-28 |
| EP1610267A3 (en) | 2006-04-12 |
| JP2003348328A (ja) | 2003-12-05 |
| EP1610267A2 (en) | 2005-12-28 |
| EP1610267B1 (en) | 2011-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4035474B2 (ja) | ウェーブレット係数を用いた非線形画像処理方法、装置 | |
| JP4203980B2 (ja) | データ処理方法及び装置、並びに記録媒体 | |
| Jain et al. | A survey of edge-preserving image denoising methods | |
| US6421468B1 (en) | Method and apparatus for sharpening an image by scaling elements of a frequency-domain representation | |
| JP4714668B2 (ja) | 圧縮された画像の画質の向上 | |
| JP4138459B2 (ja) | 低解像度画像作製方法及び装置 | |
| US8867858B2 (en) | Method and system for generating an output image of increased pixel resolution from an input image | |
| US7257271B2 (en) | Noise reduction in color digital images using pyramid decomposition | |
| JP3887245B2 (ja) | シグマ・フィルタを使用する階調のデスクリーニング | |
| US6263120B1 (en) | Image data interpolation processing method | |
| JP3549720B2 (ja) | 画像処理装置 | |
| US20130028538A1 (en) | Method and system for image upscaling | |
| US20040207881A1 (en) | Image processing method, image processing apparatus and image processing program | |
| JP2006074770A (ja) | 多重解像度セグメンテーションおよび充填 | |
| US6721458B1 (en) | Artifact reduction using adaptive nonlinear filters | |
| Deeba et al. | Wavelet integrated residual dictionary training for single image super-resolution | |
| JPH08294001A (ja) | 画像処理方法および画像処理装置 | |
| JP3738791B2 (ja) | 画像処理方法および装置 | |
| Zhang et al. | Image inverse halftoning and descreening: a review | |
| US7742660B2 (en) | Scale-space self-similarity image processing | |
| WO2000056060A1 (fr) | Dispositif et procede de traitement d'image, et support enregistre | |
| Li et al. | Fast single image super-resolution by self-trained filtering | |
| Sowmya | Single image super resolution with wavelet domain transformation and sparse representation | |
| JP2002247368A (ja) | 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体 | |
| Berkner | Enhancement of scanned documents in Besov spaces using wavelet domain representations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070731 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071029 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |