JP5331486B2 - デジタル画像の解像度向上方法及び装置 - Google Patents

Description

本発明は、デジタル画像の解像度を向上させる方法及び装置において用いられ得る補間フィルタ、及び好適には更に特徴ベクトルを取得するための方法及び装置に関しており、相対的に高解像度のデジタル画像を提供するために、このような補間フィルタ、及び好適には特徴ベクトルをも用いて、相対的に低解像度のデジタル画像の空間解像度を向上させる装置及び方法に関する。

本発明は、一般的には、デジタル画像のスケーリングと解像度の向上に関する。好適な実施例は、デジタル画像が最小のぼやけとギザギザのエッジでスケーリングされることを許容する。このような技術は、入力されるデジタル画像、又は一連のデジタル画像のリサイズを要するどのようなシステムにも備えられ得る。実用的な用途は、入力画像がオリジナルのサイズと異なる（概ね、元より大きい）サイズに、空間的詳細を損なうことや、ギザギザのエッジを生じることなく表示するデジタルテレビセットなどである。他の実用用途としては、入力画像を所望の（概ね、元より大きい）サイズにリサイズして印刷するプリンタ、撮影した画像が異なる（概ね、元より高い）解像度において参照されることを許容するデジタルカメラ、及び一般的には、例えば画像の解像度の増大が行われる医療画像などのデジタル画像処理などを含む。

様々な画像のスケーリング手法が従来の技術において知られている。それらの多くは、所謂Ｂ−スプライン補間器タイプである。最も簡単なＢ−スプライン補間器は、０次及び１次のものである。それらは、画素複製法（pixel replication）、共一次補間法（bi-linear interpolation）として夫々知られている。画素複製法においては、高解像度の出力画像における夫々のピクセルが、低解像度の入力画像における最も近い値をとることで取得される。共一次補間法においては、高解像度の出力画像における夫々のピクセルは、低解像度の入力画像における４つまでのピクセルの一次結合を計算することで取得される。より高次の補間法は、より精巧な手法を用いるものの、計算上集約的である。

異なる、分類に基づく手法が、CB. Atkins、CA Bouman及びJ. P. Allebachらによる「"Optimal Image Scaling Using Pixel Classification", Proceedings of the 2001 International Conference on Image Processing, 7-10 October 2001, volume 3, 864頁−867頁」において開示されている。また、更なる詳細が「"Classification-based Methods in Optimal Image Interpolation"」と題されたCB. Atkinsの学位論文において開示されている。図1及び図２は、Atkinsらによって開示された手法を図式的に示す。

先ず図1を参照すると、低解像度画像２における入力ピクセル１ごとに、この例においては、低解像度画像２におけるピクセルの５×５のウィンドウ３の中心に入力ピクセル１が置かれる。この５×５のウィンドウは、２５×１の列ベクトルＺ（Atkinsの文献においては、観測ベクトル（observation vector）Ｚと呼ばれる）へとベクトル化される。次に、特徴抽出器ブロック１１において、夫々の入力ピクセル１に対して、クラスタベクトル又は、Ｙ＝ｆ（Ｚ）である特徴ベクトルＹを取得するために、非線形変換射影演算子（non-linear transformation projection operator）ｆが観測ベクトルＺに対して適用される。一般的に、ＹはＺよりも低次のものである。このような観測ベクトルＺから特徴ベクトルＹへのマッピングは、最終的な補間された高解像度画像の画質に影響する。複数の異なる射影演算子ｆがあり得る。

それから、夫々の入力ピクセル１に対する特徴ベクトルＹは、低解像度入力画像２における入力ピクセル１ごとの特徴ベクトルＹが、限られた数のコンテクストクラスへと関連付けられる（又は、「分類される」若しくは「クラスタ化される」）分類ブロック１２へと向かう。これらのコンテクストクラスは、入力画像２における、例えば縁、平坦領域、又はテクスチャを有する領域など異なる形式の画像領域をモデル化する。このために、分布パラメータθが分類ブロック１２へと与えられ、特徴ベクトルＹと個別のクラスとの関連の度合が、とりわけ分布パラメータθに従って決定される。Atkinsらは、入力ピクセル１がコンテクストクラスに起因するとする統計的な枠組みを提案している。従って、入力ピクセル１ごとに、分類ブロック１２は、夫々のコンテクストクラスに対して、重み付け係数となり、また、その総和が１となる、０から１の間の数を計算して出力する。分類ブロック１２によって各クラスに与えられた重み付け係数は、入力ピクセル１が夫々のクラスに属する尤度であって、すなわち、ｗ_ｉは、入力ピクセル１がクラスiに属する確率である。後に詳述するように、トレーニング（training）工程の間、分布パラメータθが取得される。

夫々の入力ピクセル１に対する特徴ベクトルＹが一度コンテクストクラスに関連付けられると、線形フィルタブロック１３が高解像度出力画像６における出力ピクセル５の取得のために用いられる。特に、低解像度画像２における入力ピクセル１ごとに、該入力ピクセル１を中心とする５×５のピクセルのウィンドウ３は、線形フィルタブロック１３へと向かう。線形フィルタブロック１３は、特定の入力ピクセル１のために分類ブロック１２において計算されるコンテクストクラスの重み付け係数を入力として受けるとともに、更に、夫々のコンテクストクラスに対応づけられる補間フィルタ係数ψを他の入力として受け、特定の入力ピクセル１のために分類ブロック１２において計算される該重み付け係数に従って比例する補間フィルタの出力値の線形結合によって、高解像度出力画像６のためのＬ×Ｌの出力ピクセル５のブロックを計算する。（ここに、Ｌは倍率であって、図１の例においてはＬ＝２である。）線形フィルタブロック１３によって実施される補間工程は、以下の数式に纏められる：

ここに、Ｘは、補間された高解像度出力画像６におけるＬ×Ｌの出力ピクセル５のブロックであって、Ａは、補間行列であって、βは、バイアスベクトルであって、ｗ_ｉは、夫々のコンテクストクラス／フィルタに対する重み付け係数であって、Ｍは、コンテクストクラス／フィルタの数である。

要するに、このような従来技術の手法において、入力ピクセル１は、異なる度合い又は「重み」に応じて、画像の夫々のコンテクストクラスへと「分類」又は関連付けられる。補間された出力ピクセル５のウィンドウＸは、先ず、個別のクラスに対する最適な補間フィルタ係数ψを用いて観測ベクトルＺをフィルタリングし、次いで、分類工程において決定される比率での混同による結果を結合することで取得される。線形フィルタブロック１３に入力される補間フィルタ係数ψは、補間行列Ａ及びバイアスベクトルβに対応していて、後に詳述されるようにトレーニング工程の間、再び取得される。

明確に、この手法における鍵となる重要性は、コンテクストクラスでピクセルの分布に関連する分布パラメータθ、及び高解像度出力画像６における出力ピクセル５を取得するために加算される補間フィルタの混合物を本質的に決定する補間フィルタ係数ψである。Atkinsの文献では、分布パラメータθ及び補間フィルタ係数ψは、典型的には一度限りの原則（once-only basis）で実施されるオフラインのトレーニング手法によって取得される。特に、高解像度画像は、調達された後に、当該高解像度画像から（一つ、又は複数の手法によって）低解像度画像が取得される。図２を参照すると、低解像度画像における夫々の入力ピクセルに対して、各自の特徴ベクトルＹが取得される。これらは、分布パラメータθの初期の予測値が取得される分布パラメータ推定ブロック１４に向かう。様々な仮定を行うことで、最終且つ最適の値を見つけるために分布パラメータθの値が更新される。次に、補間フィルタデザインブロック１５で、補間フィルタ係数ψが取得される。

Atkinsの文献に述べられるように、この工程で行われる主要な仮定の１つは、特徴ベクトルＹが低い解像度の（トレーニング）画像における入力ピクセルに関する全ての情報を提供すること、及びそれが如何に高解像度の元画像におけるピクセルの対応するブロックに関連するかということである。この仮定に起因して、補間フィルタ係数ψに関する推測は、事実上、分布パラメータθに関する推測から分離される。これは、実質的に、計算された補間フィルタが副最適となることの要因となり、言い換えれば、補間される高解像度画像のあり得る品質の損失を含意する。

本発明の第１の態様によれば、高解像度画像を形成するために複数の補間フィルタを用いて低解像度画像からの入力ピクセルが分類及び補間される、デジタル画像の空間解像度を向上させる方法又は装置において用いられる前記複数の補間フィルタの取得方法であって、低解像度画像を高解像度の元画像から取得する工程と、前記低解像度画像における複数のピクセルを、前記低解像度画像における前記複数のピクセルの夫々が複数の補間フィルタの夫々に割り当てられるように前記複数の補間フィルタに対して分類する工程と、前記複数の補間フィルタの更新を行う工程と、収束条件が満たされるまで、前記分類する工程及び前記更新を行う工程を反復する工程とを備える方法が提供される。

このように複数の補間フィルタを更新することで、複数の補間フィルタは、先行技術に比してより好適に最適化され、結果としてそれは、当該複数の補間フィルタを用いる補間工程によって取得される補間された高解像度出力画像における良質の画像をもたらす。代替的に、又は追加的に、より少ない補間フィルタが、画質を犠牲にすることなしに補間工程に用いられても良く、これによって補間工程の実施がより迅速且つ低コストとなる。

好ましい実施形態においては、前記複数の補間フィルタに対して分類する工程は、前記低解像度画像における前記複数のピクセルの夫々に対して、前記補間フィルタを用いて補間された高解像度ピクセルを算出する工程と、補間された高解像度ピクセルを高解像度の元画像におけるピクセルと比較する工程と、前記低解像度画像における前記複数のピクセルの夫々に対して、前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最少の差異を提供する前記補間フィルタをラベリングする工程とを備える。

好ましい実施形態においては、前記複数の補間フィルタの更新を行う工程は、前記複数の補間フィルタの夫々に対して、前記補間フィルタに割り当てられる前記複数のピクセルに対して、前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最少の差異を提供する前記補間フィルタの値で前記補間フィルタを更新する。

好ましくは、前記方法は、高解像度画像を形成するために複数の補間フィルタ及び複数の特徴ベクトルを用いて低解像度画像からの入力ピクセルが分類及び補間される、デジタル画像の空間解像度向上のための方法又は装置において用いられる前記複数の特徴ベクトルを更に取得し、前記方法は、前記補間フィルタに対して前記分類する工程の後であり且つ、前記補間フィルタの更新を行う工程の前に、補間フィルタに割り当てられる前記複数のピクセルの夫々に対して、複数の特徴ベクトルを更新する工程と、前記低解像度画像における前記複数のピクセルを、前記複数の特徴ベクトルに対して分類する工程とを備える。

この場合もまた、このように複数の特徴ベクトルを更新することで、複数の特徴ベクトルは、先行技術に比してより好適に最適化され、結果としてそれは、特徴ベクトルを用いる補間工程によって取得される補間された高解像度出力画像における良質の画像をもたらす。代替的に、又は追加的に、より少ない補間フィルタが、画質を犠牲にすることなしに補間工程に用いられても良く、これによって補間工程の実施がより迅速且つ低コストとなる。

好ましい実施形態においては、前記複数の特徴ベクトルを更新する工程は、補間フィルタに割り当てられる全てのピクセルに対する前記更新された特徴ベクトルとして、前記補間フィルタに割り当てられる全てのピクセルに対する前記複数の特徴ベクトルの平均値を所得する工程を備える。

好ましい実施形態においては、前記特徴ベクトルを更新する工程は、補間フィルタに割り当てられる全てのピクセルに対する前記更新された特徴ベクトルとして、前記複数のピクセルの前記複数の特徴ベクトルのうち前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最小の差異を提供する特徴ベクトルを所得する工程を備える。

好ましい実施形態においては、前記特徴ベクトルに対して分類する工程は、前記低解像度画像における前記複数のピクセルの夫々に対して、前記低解像度画像における前記複数のピクセルの夫々に、前記低解像度画像におけるピクセルの前記特徴ベクトルと最も近い前記特徴ベクトルを有する前記補間フィルタの指標をラベリングする。

好ましい実施形態においては、前記低解像度画像は、前記高解像度の元画像から取得された後、離散コサイン変換（discrete cosine transformation）を用いて圧縮される。これは、複数の補間フィルタ、及び選択的には複数の特徴ベクトルが、ＪＰＥＧ画像及びＭＰＥＧ画像を含む、離散コサイン変換によって圧縮された画像の解像度向上における所定の用法に対して、最適化されることを可能とする。

好ましい実施形態においては、前記高解像度の元画像から取得される前記低解像度画像は、ウェーブレット変換（wavelet transformation）によって変換される。これは、複数の補間フィルタ、及び選択的には複数の特徴ベクトルが、ＪＰＥＧ２０００画像を含む、ウェーブレット変換によって変換された画像の解像度向上における所定の用法に対して、最適化されることを可能とする。

好ましい実施形態においては、前記低解像度画像は、テキストを含む。これは、複数の補間フィルタ、及び選択的には複数の特徴ベクトルが、例えば、文字放送（Teletext）や字幕などのテキストを含む画像の解像度向上における所定の用法に対して、最適化されることを可能とする。

実施形態においては、相対的に高解像度のデジタル画像を提供するための、相対的に低解像度のデジタル画像の空間解像度を向上させる方法は、相対的に低解像度のデジタル画像における複数のピクセルの夫々に対して、特徴ベクトルを取得する工程と、前記相対的に低解像度のデジタル画像の前記複数のピクセルの夫々が、一つ又は複数の補間フィルタへと割り当てられるように、前記相対的に低解像度のデジタル画像の前記複数のピクセルの夫々の前記特徴ベクトルを分類する工程と、前記割り当てられた一つ又は複数の補間フィルタに従って、前記相対的に低解像度のデジタル画像の前記複数のピクセルを補間する工程とを備え、前記補間フィルタは、上述した方法に従って取得される。

好ましい実施形態においては、前記特徴ベクトルは、上述した方法に従って取得される。

本発明の第２の要素によれば、高解像度画像を形成するために複数の補間フィルタを用いて低解像度画像からの入力ピクセルが分類及び補間される、デジタル画像の空間解像度を向上させる方法又は装置において用いられる前記複数の補間フィルタの取得装置であって、高解像度の元画像から取得される低解像度画像における複数のピクセルを、前記低解像度画像における前記複数のピクセルの夫々が複数の補間フィルタの夫々に割り当てられるように前記複数の補間フィルタに対して分類するよう構成され且つ配置される分類器と、前記複数の補間フィルタを更新するよう構成され且つ配置される補間フィルタ更新器と、を備え、収束条件が満足されるまで、前記分類及び前記更新を繰り返し行うよう構成され且つ配置される装置が提供される。

好ましい実施形態においては、前記補間フィルタに対して分類する前記分類器は、
前記低解像度画像における前記複数のピクセルの夫々に対して、複数の補間フィルタを用いて前記補間された高解像度ピクセルを算出し、補間された高解像度ピクセルを前記高解像度の元画像におけるピクセルと比較し、且つ前記低解像度画像における前記複数のピクセルの夫々に対して、前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最少の差異を提供する前記補間フィルタをラベリングするよう構成され且つ配置される。

好ましい実施形態においては、前記補間フィルタを更新する前記補間フィルタ更新器は、前記複数の補間フィルタの夫々に対して、前記補間フィルタに割り当てられる前記複数のピクセルに対して、前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最少の差異を提供する前記補間フィルタの値で前記補間フィルタを更新するよう構成され且つ配置される。

好ましい実施形態においては、前記装置は、高解像度画像を形成するために複数の補間フィルタ及び複数の特徴ベクトルを用いて低解像度画像からの入力ピクセルが分類及び補間される、デジタル画像の空間解像度向上のための方法又は装置において用いられる前記複数の特徴ベクトルを更に取得し、前記装置は、補間フィルタに割り当てられる前記複数のピクセルの夫々に対して、複数の特徴ベクトルを更新するよう構成され且つ配置される特徴ベクトル更新器と、前記低解像度画像における複数のピクセルを、前記複数の特徴ベクトルに対して分類するよう構成され且つ配置される分類器とを備える。

好ましい実施形態においては、前記特徴ベクトル更新器は、補間フィルタに割り当てられる全てのピクセルに対する前記更新された特徴ベクトルとして、前記補間フィルタに割り当てられる全てのピクセルに対する前記複数の特徴ベクトルの平均値を所得するよう構成され且つ配置される。

好ましい実施形態においては、前記特徴ベクトル更新器は、補間フィルタに割り当てられる全てのピクセルに対する前記更新された特徴ベクトルとして、前記複数のピクセルの前記複数の特徴ベクトルのうち前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最小の差異を提供する特徴ベクトルを所得するよう構成され且つ配置される。

好ましい実施形態においては、前記特徴ベクトルに対して分類する分類器は、前記低解像度画像における前記複数のピクセルの夫々に対して、前記低解像度画像における前記複数のピクセルの夫々に、前記低解像度画像におけるピクセルの特徴ベクトルと最も近い前記特徴ベクトルを有する補間フィルタの指標をラベリングするよう構成され且つ配置される。

実施形態においては、相対的に高解像度のデジタル画像を提供するための、相対的に低解像度のデジタル画像の空間解像度を向上させる装置は、相対的に低解像度のデジタル画像の複数のピクセル夫々が、一つ又は複数の補間フィルタへと割り当てられるように、前記相対的に低解像度のデジタル画像の前記複数のピクセルの夫々の特徴ベクトルを分類するよう構成され且つ配置される特徴ベクトル分類器と、前記割り当てられた一つ又は複数の補間フィルタに従って、前記相対的に低解像度のデジタル画像の前記複数のピクセルを補間するよう構成され且つ配置される補間器とを備え、前記補間フィルタは、上述した方法に従って取得される。

好ましい実施形態においては、前記特徴ベクトルは、上述した方法に従って取得される。

好ましい補完装置及び／又は方法は、例えば、単独型、又はテレビジョンセットや類似の物、プリンタ、デジタル画像処理ソフトウェアなどに用いられる画像処理手段に組み込まれる形であることを問わず、アップスケーラ（upscaler）を含む、デジタル画像の解像度向上に用いられるいかなる装置及び／又は方法に組み入れられても良い。ここに説明される方法は、適切なコンピュータ機器において実行される適切なソフトウェアによって行われても良い。当該ソフトウェアは、関連する処理を実行する、又はその実行に用いられるよう適合される集積回路（integrated circuit）に埋め込まれても良い。処理ステップの多くは、ソフトウェア、専用ハードウェア（ＡＳＩＣｓなど）、又はそれらの組み合わせを用いて実行されても良い。

本発明の実施形態は、付随の図面を参照して説明される。

図３を参照すると、本発明の好適な実施形態に基づく補間処理の一例は、Atkinsらによって開示され、図１に図式的に示される先行技術の補間処理と基本的に類似している。特に、低解像度入力画像１０２における入力ピクセル１０１ごとに、５×５のウィンドウ（window）１０３は、２５×１の列ベクトルＺへと列方向ベクトル化され、これは観測ベクトルＺと呼ばれても良い。特徴抽出器ブロック２１１において、観測ベクトルＺは、入力ピクセルＺそれぞれに対して、非線形変換投影演算子ｆ、即ち、Ｙ＝ｆ（Ｚ）を用いることで、通常、より低次元のものである特徴ベクトルＹにマッピングされる。一般的に、Ｙは、Ｚに比して低次元のものである。この観測ベクトルＺから特徴ベクトルＹへのマッピングは、最終的な補間された高解像度画像の画質に影響する。複数の異なる投影演算子ｆがあり得る。

説明としては、低解像度の入力画像１０２からの入力ピクセル１０１の夫々の特徴ベクトルＹは、入力ピクセル１０１が限られた数のコンテクストクラスの一要素となるよう分類され得るように用いられる。この分類は、コンテクスト分類器ブロック２１２で実施される。従来技術にあるように、これらのコンテクストクラスは、画像における、縁、平坦領域、テクスチャを有する領域などの異なる画像領域をモデル化する。コンテクストクラスごとに、異なる補間フィルタ係数ψが存在し、当該係数は、そのコンテクストクラスの特殊な特性に従って微調整されている。好適な実施形態では、入力ピクセル１０１ごとに、コンテクスト分類器ブロック２１２は、最良のコンテクストクラス、すなわち、入力ピクセル１０１の特徴ベクトルに最も近い特徴ベクトルを有するコンテクストクラス（例えば、入力ピクセル１０１の特徴ベクトルと比較される場合、その特徴ベクトルが最小二乗誤差を与えるようなコンテクストクラス）のインデックス、及び全てのコンテクストクラスと、入力ピクセル１０１の特徴ベクトルとの間の夫々の差異（例えば、全てのコンテクストクラスの特徴ベクトルと、入力ピクセル１０１の特徴ベクトルとの間の二乗誤差）を出力する。異なるコンテクストクラスの重みは、コンテクストクラスの特徴ベクトルと、入力ピクセル１０１の特徴ベクトルとの間の距離の二乗に反比例する。故に、その特徴ベクトルが最大の誤差を有するコンテクストクラスは、最小の重みに割り当てられる。故に、Ｍ個のクラスの特徴ベクトルと、現在の低解像度ピクセル１０１との距離が以下の数式２となる場合：

ただし、Ｙは現在の低解像度ピクセルの特徴ベクトルであって、Ｙ_ｉは、Ｍ個のコンテクストクラスの特徴ベクトルであるとすると、クラスｉの重みは以下の数式３となる。

次に、実際の補間が実施される。５×５のウィンドウは、再び低解像度の入力画像１０２の夫々の入力ピクセル１０１を中心とし、そして、これは線形フィルタブロック２１３へ向かう。線形フィルタブロック２１３は、補間フィルタ係数ψ、及びコンテクスト分類器ブロック２１２によって出力される重みを受ける。Atkinsらによって開示された手法と同様に、線形フィルタブロック２１３は、コンテクスト分類器ブロック２１２によって特定の入力ピクセルのために計算された重みに比例して、補間フィルタ係数を加算する。線形フィルタブロック２１３の出力は、高解像度の出力画像１０６の出力ピクセル１０５のＬ×Ｌのウィンドウ（ここに、Ｌはスケーリングファクタ、ここでは２）である。観測ベクトルＺから出力ベクトルＸへの補間は、以下のように示すことが出来る：

この特定の補間の工程は、Atkinsらによって提案される統計的な手法とは対照的に、確定的な工程である。当然のことながら、この特定の補間の工程が、確定的な方法において様々な補間フィルタ係数ψを加えるただ一つの手段である。この例では、コンテクスト分類器ブロック２１２は、Ｍ個のコンテクストクラスの全ての重みを計算する。好適な実施形態では、Ｍは相対的に小さく、Atkinsらの提案におけるものより確実に小さくなり得、従って、このような計算が適切な期間内に終了する。しかしながら、必要なら又は要望があれば、最大Ｍ個より少ないコンテクストクラスが用いられても良く、例えば、所定の閾値以下の小さい誤差を有するコンテクストクラスのみ、又は、最小の誤差を有するｍ（＜Ｍ）個のコンテクストクラスが用いられても良い。

現在の好適な方法及び装置における主要な違いは、コンテクスト分類器ブロック２１２及び線形フィルタブロック２１３に入力される、Ｍ個のコンテクストクラスに関連する特徴ベクトルＹ及び補間フィルタ係数ψが、異なる手法で取得されること（従って、従来技術における夫々の換算値とは異なること）である。

まだ図３を参照すると、ブロック２２０は、本発明の実施形態に従って補間フィルタ及び特徴ベクトルを取得する好適な方法の例を図式的に示している。好適には、最適化された補間フィルタ係数ψ及び特徴ベクトルYの取得は、トレーニング画像（training image）を用いたオフラインのトレーニングプログラムで実施される。典型的には、これは一度限りの原則で実施されても良い。

特に、トレーニング画像を取得するために、多くの高解像度の元画像が調達され、適切なダウンサンプリング（downsampling）及び／又はダウンスケーリング（downscaling）などによって高解像度の画像から対応する低解像度画像が取得される。

ブロック２２１では、低解像度入力トレーニング画像の全ての入力ピクセルが、最初に補間フィルタに対してクラスタ化される（又は、「分類される」）。これは、好適な実施形態において、順番に低解像度トレーニングピクセルの全てを経由して、全ての補間フィルタを一つずつ用いることで補間された高解像度ピクセルを計算すること、及び、その後、補間されたピクセルを、低解像度トレーニング画像が取得される元の高解像度画像における対応するピクセルと（数学的に）比較すること、によって達成される。好適な実施形態では、低解像度ピクセルの夫々は、次いで、補間された高解像度画像のピクセルと、実際の高解像度画像の対応するピクセルとの間の最小平均二乗誤差を与える（単一の）補間フィルタのインデックスにラベリングされる。

一度低解像度の入力画像からの入力ピクセルの全てが分類されれば、ピクセルの様々なクラスタの特徴ベクトルＹは、特徴ベクトル更新ブロック２２２におけるクラスタの現在の要素で、一つずつ更新される。例えば、特徴ベクトルの本質に基づく様々な手法によってこの更新は行われる。特定の特徴ベクトル構造を与えられて、更新の方針は決定され得る。例えば、１つの例の特徴ベクトルＹは、低解像度ピクセルのウィンドウにおける一次の差である。このような場合には、特徴ベクトルＹは、クラスにおける低解像度ピクセルの特徴ベクトルＹの平均を用いて更新され得る。他の例では、選択される特徴ベクトルＹは、実際の高解像度画像の対応するピクセルと、予め決定された最適な補間フィルタを用いて補間することによって取得される対応するピクセルとの間の最小二乗誤差を提供する低解像度トレーニング画像の入力ピクセルの特徴ベクトルＹである。

ブロック２２２において特徴ベクトルＹが更新された後に、更新された特徴ベクトルＹは、当該特徴ベクトルＹに対して（すなわち、それらのコンテクストに対して）低解像度ピクセルをクラスタ化するブロック２２３へと回される。或る実施形態では、これは、低解像度トレーニング画像からの入力ピクセルの全てを経由して、該ピクセルの（低解像度画像における局所的な画像特性を代表する）特徴ベクトルと、（例えば縁、平坦領域、又はテクスチャを有する領域などの異なる画像特性を代表する）クラスタ特徴ベクトルとの距離を計算することによって行われる。次いで、低解像度トレーニング画像からの入力ピクセルは、その特徴ベクトルが入力ピクセルの特徴ベクトルに最も近いクラスタのインデックスにラベリングされる。

一度低解像度トレーニング画像の入力ピクセルがそれらの特徴ベクトルに対してクラスタ化される（すなわち、それらのコンテクストは、事実上分類される）と、全てのクラスタに対する補間フィルタ係数ψは、補間される高解像度ピクセルと実際の高解像度ピクセルとの間の平均二乗誤差を最小とするフィルタからの値で更新され、これは、夫々のクラスタにおける全ての低解像度ピクセルに対して計算される。これは、補間フィルタ更新ブロック２２４で実施される。次いで、更新されたフィルタ係数は、補間フィルタ係数更新ブロック２２４から、補間フィルタに対して低解像度トレーニングピクセルをクラスタ化するブロック２２１へと回され得る。

この工程は、ある収束条件が満たされるまで、以下で簡潔に説明するように繰り返されても良い。

要するに、図４の図式的なフローチャートを参照すると、好適なトレーニング手法において、低解像度トレーニング画像は高解像度の元画像から取得される。ステップ３００において、低解像度トレーニング画像によるピクセルは、夫々の補間フィルタに対してクラスタ化される（図３のブロック２２１）。ステップ３１０において、ピクセルの様々なクラスタの特徴ベクトルは、一つずつ、クラスタの現在の要素で更新される（図３のブロック２２２）。ステップ３２０において、低解像度ピクセルは、特徴ベクトルに対してクラスタ化される（図３のブロック２２３）。ステップ３３０において、全てのクラスタに対する補間フィルタ係数は、更新される（図３のブロック２２４）。好適な方法において、これらのステップは、十分な収束が得られるまで、特徴ベクトルYと補間フィルタ係数ψとが反復して更新されるように繰り返される。例えば、補間フィルタの更新ステップ３３０の後に、ステップ３４０において、高解像度の元画像及び低解像度トレーニング画像を補間することによって取得される高解像度画像における対応するウィンドウの全ての組にわたって計算される総平均二乗誤差（mean-squared-error：MSE）の十分な減少があったか否かが決定される。例えば、前回の繰り返し以来、減少率が、わずかに改善があることを示す何らかの閾値（例えば、０．０１又は０．００１）以下であるなら、そこで繰り返しを停止する。その結果、特徴ベクトルＹと補間フィルタ係数ψの値は取得され、実際の補間の工程で用いられる。

実際の補間の工程において、上述したAtkinsらの文献に開示される工程と同様に、低解像度ピクセルが低解像度画像に残されているか否かのチェックが、ステップ４００において行われる。（好適な実施形態では、補間フィルタは、ラスタースキャン順で全ての低解像度ピクセルに適用される。）Ｙｅｓである場合、次いでステップ４１０において、低解像度の入力画像からの入力ピクセルを中心とするＫ×Ｋピクセルのウィンドウが取得される（上述の例では、Ｋ＝５）。ステップ４２０において、Ｋ×Ｋのピクセルは、Ｋ^２×１の列ベクトルＺへと再配列される。ステップ４３０において、低解像度入力ピクセルごとに、列ベクトルＺから特徴ベクトルＹが取得される。この実施形態では、特徴ベクトルＹは、図３及び図４のステップ３００から３４０を参照して上述したオフラインのトレーニング手法で取得された特徴ベクトルから選択される。

ステップ４４０において、全ての低解像度入力ピクセルの特徴ベクトルは、上述したクラスに重みを加えて、限られた数のコンテクストクラスの一要素として低解像度入力ピクセルを分類するために用いられる。再び、これらのクラスは、縁、平坦領域、又はテクスチャを有する領域などの異なる画像領域をモデル化する。のコンテクストごとに異なる補間フィルタ係数が存在し、これらは、そのコンテクストの特殊な特性に従って微調整され、上述したオフラインのトレーニング手法において取得される。

次いで、ステップ４５０において、上述の如く線形補間（linear interpolation）が実施される。この例では、５×５ウィンドウは、高解像度ピクセルのＬ×Ｌブロックを取得するために、低解像度入力ピクセルを中心とする。（Ｌはスケーリングファクタであって、上述の例では＝２である。）ステップ４６０において、補間ステップ４５０からの出力は、Ｌ^２×１ベクトルから、補間された高解像度の出力画像におけるピクセルのＬ×Ｌウィンドウへと再形成される。工程は、次いで状態チェックのステップ４００へと戻る。最終的に、低解像度ピクセルが一つも残らなくなった時、高解像度の出力画像が取得される。

好適な実施形態は、より良い補間フィルタと特徴ベクトルを得ることの高度なトレーニング計画を提供する。これは次には低解像度の入力画像から取得される補間された高解像度画像におけるより良質の画像につながる。その上、高解像度画像は、補間された高解像度画像が、（通常、好ましい画質を達成するために少なくとも２０から３０のフィルタが必要とされる）従来技術に比して少ないフィルタ（例えば、８から１０のフィルタ）を用いて、従来技術において取得されるそれらに比べて同程度の、又はより良質となるように、低解像度画像から取得される。故に、一般に、従来技術の対応するトレーニング技術に比して計算上集約的である、より高度なトレーニング手法を用いて、実際の補間家庭における計算上の複雑さは、画質を犠牲にすることなく大幅に減少され得るため、これによって補間工程の実施がより迅速且つ低コストとなる。

好適な実施形態において、トレーニングプログラムの最中に補間フィルタ及び特徴ベクトルが繰り返し更新及び最適化されている間、選択的に補間フィルタのみが、繰り返されるトレーニング手法の最中に最適化されても良い。言い換えれば、選択的に、上述のブロック２２２及び２２３、並びにステップ３１０及び３２０は、省略されても良い。この選択肢は、不可避的に画質をわずかに犠牲にすることもあるが、トレーニングプログラムの最中に必要とされる計算を減少させる。

上述した好適なトレーニング手法においては、トレーニングの繰り返しを開始することが可能となるために、補間フィルタ係数の初期値のセットが必要となる。補間フィルタ係数を初期化するための多くの異なる方法がある。好適なトレーニング手法のような繰り返しのアルゴリズムにおいて、初期状態が収束速度及び最終的な結果に影響するということは、周知の事実である。故に、賢明に初期のフィルタ係数を選ぶことは、重要である。好適な実施形態において、単一の非指向性のガウス型のフィルタ及び幾つかの指向性のガウスフィルタ（Gaussian filter）が、フィルタ係数を初期化するために用いられる。ガウスフィルタは、標準の二次元ガウスカーネル（Gaussian kernel）から取得され、：

そして、相関係数ｐ並びに標準偏差σ_Ｘ及びσ_Ｙを調整することによって、必要なエッジオリエンテーション（edge orientation）を持つために歪まされ得る。初期のフィルタ係数を選ぶための他の方法もあり得る。

トレーニングプログラムは、実際の挿入の工程で補間されることになっている低解像度画像の本質に従って、適合されても良い。

例えば、トレーニングプログラムでは、例えばＪＰＥＧ及びＭＰＥＧの圧縮技術で用いられる離散コサイン変換（ＤＣＴ）を用いることで、調達された高解像度画像は、ダウンサンプリングされ、次いで圧縮され得る。このように、トレーニングプログラムで取得される特徴ベクトル及び補間フィルタは、ＤＣＴを用いることで圧縮された画像の補間に用いるために最適化される。

別の例では、トレーニングプログラムは、特定のタイプの画像データを有する、又はそれより成る低解像度画像の補間を向上するために、該特定のタイプの画像データを用いても良い。トレーニングプログラムは、特定のタイプの画像のために最適化される補間フィルタ及び特徴ベクトルを取得するために、所望のタイプの画像に属すると知られる選択された高解像度画像を用いて実行される。具体例は、文字放送、又はその他の字幕のようなテレビ画像上に重ね撮りされた（overlaid）テキストの解像度を向上させるものであっても良い。この場合、トレーニングプログラムで使用されるより高い解像度画像は、異なるサイズの文字及び数字を含むテキスト風の画像を含む、又はそれらより成るように選択される。

更に別の例では、補間工程の最中、低解像度画像は、始めに適切な変換方法で変換され、次いで変換された領域においてフィルタリングが実行される。逆変換を適用することによって、補間された高解像度画像が取得される。例えば、補間工程の最中、低解像度画像データは、ウェーブレット分解（wavelet decomposition）を用いることで変換されても良い。このような場合には、周知の通り、画像の空間的詳細の大部分は、高高（ＨＨ）、低高（ＬＨ）及び高低（ＨＬ）のコンポーネントに集中される。低低（ＬＬ）コンポーネントは、画像のＤＣレベルによって支配されるものの、空間的な詳細を含んでいる。このような場合には、トレーニングプログラムは、対応して変換された低解像度トレーニング画像に好適に実施される。最も好適な実施形態において、トレーニングは、高高、低高及び高低のコンポーネントに別々に実施され、これらのコンポーネントは、補間工程の最中、別々に補間される。低低のコンポーネントは、共一次補間法などのより簡単な方法で補間され得る。とにかく、このような好適なトレーニングプログラムの最中、異なるウェーブレットコンポーネントのための特徴ベクトルは、必然的にこれらのコンポーネントの特性に適合する。例えば、高低のコンポーネントは、ほぼ垂直な空間的詳細を含み、対応する特徴ベクトルは、この構造を利用することによって、対応する特徴ベクトルをより区別的とすることが出来る。

本発明に係る実施形態は、特に図示された例を参照しながら説明された。しかしながら、本発明の範囲内において、上述の実施例に変更及び修正され得ることは、理解されるものである。

ピクセル分類を用いる光学的画像スケーリングのための先行技術を図式的に示す図である。 先行技術において、如何に図１に記載の方法における分布パラメータ及び補間フィルタ係数が取得されるかを図式的に示す図である。 本発明の実施形態に基づく装置の一例を図式的に示す図である。 本発明の実施形態に基づく方法の一例を図式的に示す図である。

Claims (19)

1. 高解像度画像を形成するために複数の補間フィルタ及び複数の特徴ベクトルを用いて低解像度画像からの入力ピクセルが分類及び補間される、デジタル画像の空間解像度を向上させる方法又は装置において用いられる前記複数の補間フィルタ及び前記複数の特徴ベクトルの取得方法であって、
   前記複数の特徴ベクトル各々は、前記低解像度画像のピクセルの局所的な画像特性の数値表現であり、
   低解像度画像を高解像度の元画像から取得する工程と、
   前記低解像度画像における複数のピクセルを、前記低解像度画像における前記複数のピクセルの夫々が複数の補間フィルタの夫々に割り当てられるように前記複数の補間フィルタに対して分類する工程と、
   補間フィルタに割り当てられる前記複数のピクセルの夫々に対して、複数の特徴ベクトルを更新する工程と、
   前記低解像度画像における前記複数のピクセルを、前記複数の特徴ベクトルに対して分類する工程と、
   前記複数の補間フィルタの更新を行う工程と、
   を備え、
   収束条件が満たされるまで、複数の補間フィルタ及び特徴ベクトルに夫々関する前記分類する工程及び複数の特徴ベクトル及び複数の補間フィルタに夫々関する前記更新を行う工程を反復する
   ことを特徴とする方法。
2. 前記複数の補間フィルタに対して分類する工程は、
   前記低解像度画像における前記複数のピクセルの夫々に対して、前記補間フィルタを用いて補間された高解像度ピクセルを算出する工程と、補間された高解像度ピクセルを高解像度の元画像におけるピクセルと比較する工程と、前記低解像度画像における前記複数のピクセルの夫々に対して、前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最少の差異を提供する前記補間フィルタをラベリングする工程とを備えることを特徴とする請求項１に記載の方法。
3. 前記複数の補間フィルタの更新を行う工程は、
   前記複数の補間フィルタの夫々に対して、前記補間フィルタに割り当てられる前記複数のピクセルに対して、前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最少の差異を提供する前記補間フィルタの値で前記補間フィルタを更新することを特徴とする請求項１又は２に記載の方法。
4. 前記複数の特徴ベクトルを更新する工程は、補間フィルタに割り当てられる全てのピクセルに対する前記更新された特徴ベクトルとして、前記補間フィルタに割り当てられる全てのピクセルに対する前記複数の特徴ベクトルの平均値を所得する工程を備えることを特徴とする請求項１に記載の方法。
5. 前記特徴ベクトルを更新する工程は、補間フィルタに割り当てられる全てのピクセルに対する前記更新された特徴ベクトルとして、前記複数のピクセルの前記複数の特徴ベクトルのうち前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最小の差異を提供する特徴ベクトルを所得する工程を備えることを特徴とする請求項１に記載の方法。
6. 前記特徴ベクトルに対して分類する工程は、
   前記低解像度画像における前記複数のピクセルの夫々に対して、前記低解像度画像における前記複数のピクセルの夫々に、前記低解像度画像におけるピクセルの前記特徴ベクトルと最も近い前記特徴ベクトルを有する前記補間フィルタの指標をラベリングすることを特徴とする請求項１から５のいずれか一項に記載の方法。
7. 前記低解像度画像は、前記高解像度の元画像から取得された後、離散コサイン変換（discrete cosine transformation）を用いて圧縮されることを特徴とする請求項１から６のいずれか一項に記載の方法。
8. 前記高解像度の元画像から取得される前記低解像度画像は、ウェーブレット変換（wavelet transformation）によって変換されることを特徴とする請求項１から７のいずれか一項に記載の方法。
9. 前記低解像度画像は、テキストを含むことを特徴とする請求項１から８のいずれか一項に記載の方法。
10. 相対的に高解像度のデジタル画像を提供するための、相対的に低解像度のデジタル画像の空間解像度を向上させる方法であって、
    相対的に低解像度のデジタル画像における複数のピクセルの夫々に対して、特徴ベクトルを取得する工程と、
    前記相対的に低解像度のデジタル画像の前記複数のピクセルの夫々が、一つ又は複数の補間フィルタへと割り当てられるように、前記相対的に低解像度のデジタル画像の前記複数のピクセルの夫々の前記特徴ベクトルを分類する工程と、
    前記割り当てられた一つ又は複数の補間フィルタに従って、前記相対的に低解像度のデジタル画像の前記複数のピクセルを補間する工程と
    を備え、
    前記補間フィルタは、請求項１から９のいずれか一項の方法に従って取得されることを特徴とする方法。
11. 前記特徴ベクトルは、請求項１の方法に従って取得されることを特徴とする請求項１０に記載の方法。
12. 高解像度画像を形成するために複数の補間フィルタ及び複数の特徴ベクトルを用いて低解像度画像からの入力ピクセルが分類及び補間される、デジタル画像の空間解像度を向上させる方法又は装置において用いられる前記複数の補間フィルタ及び前記複数の特徴ベクトルを取得する装置であって、
    前記複数の特徴ベクトル各々は、前記低解像度画像のピクセルの局所的な画像特性の数値表現であり、
    高解像度の元画像から取得される低解像度画像における複数のピクセルを、前記低解像度画像における前記複数のピクセルの夫々が複数の補間フィルタの夫々に割り当てられるように前記複数の補間フィルタに対して分類するよう構成され且つ配置される分類器と、
    補間フィルタに割り当てられる前記複数のピクセルの夫々に対して、複数の特徴ベクトルを更新するよう構成され且つ配置される特徴ベクトル更新器と、
    前記低解像度画像における前記複数のピクセルを、前記複数の特徴ベクトルに対して分類するよう構成され且つ配置される分類機と、
    前記複数の補間フィルタを更新するよう構成され且つ配置される補間フィルタ更新器と、
    を備え、
    当該装置は、収束条件が満足されるまで、複数の補間フィルタ及び複数の特徴ベクトルに夫々関する前記分類並びに、複数の補間フィルタ及び複数の特徴ベクトルに夫々関する前記更新を繰り返し行うよう構成され且つ配置される
    ことを特徴とする装置。
13. 前記補間フィルタに対して分類する前記分類器は、
    前記低解像度画像における前記複数のピクセルの夫々に対して、複数の補間フィルタを用いて前記補間された高解像度ピクセルを算出し、補間された高解像度ピクセルを前記高解像度の元画像におけるピクセルと比較し、且つ前記低解像度画像における前記複数のピクセルの夫々に対して、前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最少の差異を提供する前記補間フィルタをラベリングするよう構成され且つ配置されることを特徴とする請求項１２に記載の装置。
14. 前記補間フィルタを更新する前記補間フィルタ更新器は、前記複数の補間フィルタの夫
    々に対して、前記補間フィルタに割り当てられる前記複数のピクセルに対して、前記補間
    された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最少の差異を
    提供する前記補間フィルタの値で前記補間フィルタを更新するよう構成され且つ配置され
    ることを特徴とする請求項１２又は１３に記載の装置。
15. 前記特徴ベクトル更新器は、補間フィルタに割り当てられる全てのピクセルに対する前記更新された特徴ベクトルとして、前記補間フィルタに割り当てられる全てのピクセルに対する前記複数の特徴ベクトルの平均値を所得するよう構成され且つ配置されることを特徴とする請求項１２に記載の装置。
16. 前記特徴ベクトル更新器は、補間フィルタに割り当てられる全てのピクセルに対する前記更新された特徴ベクトルとして、前記複数のピクセルの前記複数の特徴ベクトルのうち前記補間された高解像度ピクセルと前記高解像度の元画像におけるピクセルとの間の最小の差異を提供する特徴ベクトルを所得するよう構成され且つ配置されることを特徴とする請求項１２に記載の装置。
17. 前記特徴ベクトルに対して分類する分類器は、前記低解像度画像における前記複数のピクセルの夫々に対して、前記低解像度画像における前記複数のピクセルの夫々に、前記低解像度画像におけるピクセルの特徴ベクトルと最も近い前記特徴ベクトルを有する補間フィルタの指標をラベリングするよう構成され且つ配置されることを特徴とする請求項１２から１６のいずれか一項に記載の装置。
18. 相対的に高解像度のデジタル画像を提供するための、相対的に低解像度のデジタル画像の空間解像度を向上させる装置であって、
    相対的に低解像度のデジタル画像の複数のピクセル夫々が、一つ又は複数の補間フィルタへと割り当てられるように、前記相対的に低解像度のデジタル画像の前記複数のピクセルの夫々の特徴ベクトルを分類するよう構成され且つ配置される特徴ベクトル分類器と、
    前記割り当てられた一つ又は複数の補間フィルタに従って、前記相対的に低解像度のデジタル画像の前記複数のピクセルを補間するよう構成され且つ配置される補間器と
    を備え、
    前記補間フィルタは、請求項１から９のいずれか一項の方法に従って取得されることを特徴とする装置。
19. 前記特徴ベクトルは、請求項１の方法に従って取得されることを特徴とする請求項１８に記載の装置。

Images