JP5603414B2

JP5603414B2 - ファロー構造に基づくコンテンツ適応スケーラ

Info

Publication number: JP5603414B2
Application number: JP2012509900A
Authority: JP
Inventors: リン・リ; ティアンジャン・リ; ウェイ・チェ; ホゥイデ・リ
Original assignee: アナログディヴァイスィズインク
Priority date: 2009-05-05
Filing date: 2010-05-04
Publication date: 2014-10-08
Anticipated expiration: 2030-05-04
Also published as: US20100283799A1; US8346021B2; JP2012526458A; WO2010129548A1; CN102460561B; CN102460561A

Description

本発明は、最小限のアーティファクトで画像コンテンツをサイズ変更するための、ビデオ処理システムにおけるスケーリング操作に関する。

関連出願の相互参照
本出願は、2009年5月5日に出願された米国仮特許出願第61/175,548号「Content Adaptive Scaler Based On A Farrow Structure」の優先権を主張し、その全体を参照により本明細書に組み込む。

一般的に、「スケーリング」は画像のサイズを変更する処理を指す。スケーリングは、ビデオシステムにおけるフォーマット変換操作として実行できる。たとえば、低解像度のビデオ画像(たとえば480p)が高解像度パネル(たとえばフル高解像度(1080p)パネル)上に表示される場合、そのビデオ画像は1080pにスケールされる必要がある。このような変換はアップコンバージョンと呼ばれてきた。また、高解像度のビデオ画像は、低解像度パネルまたはより小さい表示領域(たとえばピクチャーインピクチャー(PIP))上に表示されるために変換される必要がある場合がある(たとえば1080pから480pに)。このような変換はダウンコンバージョンまたはデシメーションと呼ばれてきた。

一般的に、スケーリングは表示されるビデオ画像のサイズを調整することを含む。たとえば、解像度が480pの4:3の画像フレームは720×480、すなわち345,600ピクセルを有し、解像度が1080pの16:9の画像フレームは1920×1080、すなわち2,073,600ピクセルを有する。したがって、480pから1080pへのアップコンバージョンを実行するためにはさらなるピクセルを追加する必要があり、1080pから480pへのダウンコンバージョンを実行するためには既存のピクセルを削除および/または結合する必要がある。

従来、アップコンバージョンのために既存のピクセル間にさらなるピクセルを追加するためには補間が使用され、既存のピクセルを削除および/または結合するためにはデシメーションが使用されてきた。補間とデシメーションの両方は、信号フィルタ(たとえば、ローパスフィルタ(LPF))を通じて画像データを送ることを含む。しかし、2次元フィルタリングには理想的なLPFがなく、1次元フィルタリングは他の次元に沿った画像コンテンツをしばしば劣化させる。スケーリングを実行して、かつ望まないアーティファクトを減らすために、様々な技術が開発されてきた。しかし、既存の技術は複雑なハードウェア構造を含み、望まないアーティファクトを効率的に減らさない。たとえば、アップコンバージョンまたはダウンコンバージョンの後、鋸歯現象、エッジぼけ、リンギング、およびモアレアーティファクトなどの様々な望まないアーティファクトが、画像に歪みをもたらして画質に影響を及ぼす場合があるが、複雑なハードウェア構造を使用する既存の技術はこれらの望まないアーティファクトを効率的に減らさない。

したがって、最小限のアーティファクトで画像データをサイズ変更できるが、複雑さが軽減されたハードウェア構造を使用する、スケーリングシステムが必要である。

画像処理システムは、入力ピクセルのシーケンスを受信するための入力を有し、入力ピクセルの隣接する対の間の検出された差異に基づいて調整可能パラメータを生成するように構成されたコンテンツ検出モジュールと、入力ピクセルの前記シーケンスのための入力および前記コンテンツ検出モジュールの出力に結合された制御入力を有するデジタルフィルタであって、前記パラメータによってフィルタリング係数を調整するデジタルフィルタと、を備える。

本発明の実施形態による画像システムの概略図である。本発明の実施形態によるパラメトリックファロー構造を示す図である。本発明の実施形態によるパラメトリックファロー構造の係数を決定するための式のセットを示す図である。本発明の実施形態による、パラメトリックファロー構造によって追加されている新しいピクセルy(k)を示す図である。本発明の実施形態による、調整可能パラメータアルファについての値を決定するための状態のセットを示す図である。従来のポリフェーズフィルタの異なるフェーズについての振幅特性を示す図である。従来のポリフェーズフィルタの異なるフェーズについての振幅特性を示す図である。従来のポリフェーズフィルタの異なるフェーズについての振幅特性を示す図である。従来のポリフェーズフィルタの異なるフェーズについての振幅特性を示す図である。本発明の実施形態によるパラメトリックファロー構造についての振幅特性を示す図である。本発明の実施形態によるパラメトリックファロー構造についての振幅特性を示す図である。本発明の実施形態によるパラメトリックファロー構造についての振幅特性を示す図である。本発明の実施形態によるパラメトリックファロー構造についての振幅特性を示す図である。本発明の実施形態による、ダウンコンバージョンのためにパラメトリックファロー構造を使用するための処理を示す図である。本発明の実施形態による、パラメトリックファロー構造を使用するダウンコンバージョン処理を示す図である。本発明の実施形態によるオーバーシュート制御を示す図である。

本発明の実施形態は、画像処理システムを対象とする。画像処理システムは、入力ピクセルのシーケンスを受信するための入力を有し、入力ピクセルの隣接する対の間の検出された差異に基づいて調整可能パラメータを生成するように構成されたコンテンツ検出モジュールと、入力ピクセルのシーケンスのための入力およびコンテンツ検出モジュールの出力に結合された制御入力を有するデジタルフィルタとを備えることができる。デジタルフィルタは、パラメータによってフィルタリング係数を調整できる。

図1は、本発明の実施形態による画像システム100の概略図を示している。画像システム100は、コンテンツ検出モジュール104、パラメトリックファロー構造106、およびオーバーシュート制御モジュール108を備えることができる。パラメトリックファロー構造106は、入力ピクセルを処理して、それぞれの入力ピクセルに係数を適用することによって(たとえば、補間によって)出力ピクセルを生成するデジタルフィルタでよい。パラメトリックファロー構造106は、入力ピクセルを受信するためにピクセル入力102に結合できる。コンテンツ検出モジュール104は、パラメトリックファロー構造106のための係数を調整するために、入力ピクセルに基づいてパラメータアルファ112を決定できる。オーバーシュート制御モジュール108は、ファロー構造106からの出力ピクセルを入力ピクセルの一定の範囲内に制限できる。一実施形態では、コンテンツ検出モジュール104とオーバーシュート制御モジュール108の両方はパラメトリックファロー構造106に結合できる。パラメトリックファロー構造106は、入力ピクセルおよびパラメータアルファ112に基づいて出力ピクセルを生成できる。生成された出力ピクセルをオーバーシュート制御モジュール108に送信できる。オーバーシュート制御モジュール108はオーバーシュート制御のために生成された出力ピクセルを処理して、生成されたピクセルをピクセル出力110に出力できる。

本発明の実施形態は、画像の様々な色空間(たとえば、赤緑青(RGB)、YIQ、YUV)に補間/デシメーションを適用できる。一実施形態では、コンテンツまたは周波数検出はYUV色空間に基づくことができる。したがってこの実施形態では、RGB入力はスケールされる前にYUVに変換されて、スケールされた後でYUVからRGBに再変換する必要がある場合がある。YUV色空間に適用された実施形態では、Yチャネルにアルファ決定を適用でき、UVは同じアルファをYと共有できる。いくつかの実施形態では、コンテンツまたは周波数検出はRGB色空間に基づくことができる。1つまたは複数の実施形態では、RGB色空間の3チャネルは、それぞれ別々のアルファ決定モジュールを有することができる。

図2は、本発明の実施形態によるパラメトリックファロー構造200を示している。パラメトリックファロー構造200は、入力信号線202、位置信号線220、出力信号線230、複数の遅延要素216.1〜216.5(集合的に遅延要素216)、4つの増幅器218.1〜218.4(集合的に増幅器218)、8つの加算器224.1〜224.8(集合的に加算器224)、および2つの乗算器222.1〜222.2(集合的に乗算器222)を備えることができる。

入力信号線202は、画像の1次元(たとえば、水平または垂直)である入力ピクセルx(m)のシーケンス(たとえば、x(0)、x(1))を受信できる。それぞれの受信された入力ピクセルを増幅器218に適用して、遅延要素216に送信できる。増幅器218はそれぞれアルファ(α)のファクタによって入力信号を増幅できる。たとえば、x(m)の入力について出力はαx(m)でよい。

遅延要素216はそれぞれ1つの遅延をピクセルに追加できる。たとえば、入力信号線202の入力信号がx(n)の場合、ポイント204および210での信号(それぞれx(n)から離れた1つの遅延要素216.1および216.4)は以前のピクセルx(n-1)であり、ポイント206および212での信号(それぞれx(n)から離れた2つの遅延要素216.1と 216.2、および216.4と216.5)は以前のピクセルx(n-2)であり、ポイント208での信号(x(n)から離れた3つの遅延要素216.1、216.2、および216.3)は以前のピクセルx(n-3)である。一実施形態では、それぞれの遅延要素216はレジスタなどの記憶装置でよいが、これに限定されない。

位置信号線220は、新しいピクセルを生成する場所を識別する位置インジケータμ_kを受信できる。パラメトリックファロー構造200内の信号に、位置インジケータμ_kを乗算できる(乗算器222で)。位置インジケータμ_kによって識別された位置のために、入力ピクセルに基づいて出力信号y(k)(たとえば新しいピクセル)を出力信号線230上で生成できる。一実施形態では、パラメトリックファロー構造200は4ポイント区分パラボリックファロー構造でよく、2次補間器と呼ばれる。

図3および4は、本発明の実施形態によるパラメトリックファロー構造200の操作を示している。図4は、4つの既存の入力ピクセル(たとえば、x(-1)、x(0)、x(1)、およびx(2))に基づいて位置μ_kで追加される新しいピクセルy(k)を示している。図3は、本発明の実施形態による、4つの既存のピクセルに適用できる係数C_-1、C₀、C₁、およびC₂を決定するための式のセットを示している。図4に示されるように、新しいピクセルy(k)は、2つの既存のピクセルx(0)とx(1)との間の位置μ_kに位置できる。パラメトリックファロー構造200は、新しいピクセルが追加される位置μ_kの前に、2つの既存のピクセル(たとえばx(-1)およびx(0))を、および位置μ_kの後に2つの既存のピクセル(たとえばx(1)およびx(2))を使用できる。一実施形態では、μ_kはゼロ(ゼロを含む)と1(1を含まない)との間の値でよい。新しいピクセルy(k)は、以下のように4つの入力ピクセルx(-1)、x(0)、x(1)、およびx(2)によって生成できる:
y(k)=C₂x(2)+C₁x(1)+ C₀x(0)+C_-1x(-1)

再び図2を参照すると、入力信号線202の入力信号がx(2)の場合、それぞれポイント204および210の信号はx(1)でよく、ポイント206および212の信号はx(0)でよく、ポイント208の信号はx(-1)でよい。図2に示されるように、x(2)は増幅器218.1によって増幅されて、加算器224.1に加算されてよい。加算器224.1での他の入力は、ポイント204で信号x(1)を増幅する増幅器218.2からのネガティブ入力でよい。したがって、加算器224.1は加算器224.3に入力されるαx(2)-αx(1)の出力を生成できる。加算器224.3は、ポイント206で信号x(0)を増幅する増幅器218.3からのネガティブ入力(たとえば-αx(0))を有することもできる。したがって、加算器224.3は加算器224.5に入力されるαx(2)-αx(1)-αx(0)の出力を生成できる。加算器224.5は、加算器224.3からの出力および増幅器218.4からの出力(たとえばαx(-1))を加算して、αx(2)-αx(1)-αx(0)+αx(-1)の出力を有することができる。乗算器222.1で加算器224.5の出力を位置信号μ_kに乗算できる。したがって、乗算器222.1は(αx(2)-αx(1)-αx(0)+αx(-1)) μ_kの出力を有することができる。

同様に、加算器224.2への入力は、増幅器218.1(ネガティブ入力)、増幅器218.2、およびポイント210からの信号である。したがって、加算器224.2は-αx(2)+αx(1)+x(1)の出力を生成できる。加算器224.2は、増幅器218.3からの信号に加算器224.2からの出力を加算して(たとえば+αx(0))、ポイント212からの信号を減算できる(たとえば-x(0))。したがって、加算器224.4は-αx(2)+(α+1)x(1)+(α-1)x(0)の出力信号を生成できる。加算器224.2からの出力は、加算器224.6で増幅器218.4からのネガティブ信号(たとえば-αx(-1))に加算することができる。したがって加算器224.6は、
-αx(2)+(α+1)x(1)+(α-1)x(0)-αx(-1)
の出力を有することができる。

加算器224.7で、増幅器222.1および加算器224.6の出力を加算できる。次いで、乗算器222.2で増幅器222.1および加算器224.6出力の合計をμ_kで乗算できる。最後に、加算器224.8で生成された信号y(k)を生成でき、乗算器222.2からの出力信号とポイント212での信号(たとえばx(0))とを合計できる。したがって生成された信号y(k)は以下の通りとなり、図3に示されるように、既存の入力ピクセルx(-1)、x(0)、x(1)、およびx(2)ごとの係数C_-1、C₀、C₁、およびC₂を決定できる。
y(k)=(αx(2)-αx(1)-αx(0)+αx(-1))μ_k ²+(-αx(2)+(α+1)x(1)+(α-l)x(0)-αx(-1))μ_k+x(0)

図5は、本発明の実施形態による、調整可能パラメータアルファについての値を決定するための状態のセットを示している。挿入される新しいピクセルの値は、挿入位置の前後の入力ピクセルの値に依存する場合がある。特に、新しいピクセルの値は隣接する入力ピクセル間の差異に依存する場合がある。たとえば、挿入位置の直前および直後の入力ピクセル間の差異は、挿入位置から遠く離れたピクセル間の差異よりも新しいピクセルの貢献により重要な役割を果たす場合がある。本発明の実施形態によるコンテンツ検出モジュール104は、コンテンツ(たとえば隣接するピクセル間の差異)に基づいてパラメータアルファの値を動的に決定できる。図5に示されるように、たとえばシーケンスの第2ピクセルと第3ピクセル(たとえばx(n-1)とx(n-2))との間に挿入される新しいピクセルのためのパラメータアルファの値を決定するために、既存のピクセルのシーケンスの値(たとえば、x(n-3)、x(n-2)、x(n-1)、およびx(n))を使用できる。

一実施形態では、状態のセットA、B、C、D、E、F、G、およびHを調べることによってアルファの値を決定できる。次いで、状態のセットA、B、C、D、E、G、およびHは、x(n-2)とx(n-1)(たとえば、図4のx(0)とx(1))との間に挿入される新しいピクセルについての適切なアルファを得ることができる。コンテンツ検出モジュール(たとえば、図1のコンテンツ検出モジュール104)は、入力ピクセル間の差異を決定して、パラメータアルファの値を決定できる。いくつかの実施形態では、5つのレベル(たとえば、調整可能パラメータアルファについての5つの値)、すなわち高、中高、中、低、オフを使用できる。一実施形態では、5つのレベルは1、0.75、0.5、0.25、0に対応できる。状態A、B、C、D、およびEは、新たに挿入されたピクセルの直前および直後の入力ピクセル(たとえば、x(n-2)およびx(n-1))間の差異を対象にすることができる。状態GおよびHは、挿入位置に近い入力ピクセルの隣接する対の間の差異を対象にすることができる。

差異が一定の範囲内(たとえば、x(n-2)の値とx(n-1)との値の間の差異が一定範囲内)の場合、挿入位置の直前および直後のピクセル間の差異だけで、パラメータアルファの値を決定できる。たとえば、x(n-2)とx(n-1)との間の差異が最高しきい値よりも大きいかそれと等しい場合(たとえば、図5に状態Aとして示したように、差異の絶対値が96より大きいかそれと等しくてよい)、アルファは高(たとえば1)でよい。さらに、x(n-2)とx(n-1)との間の差異が最高しきい値と中間しきい値の間である場合(たとえば、図5に状態Bとして示したように、差異の絶対値が96(96を含まず)と64(64を含む)の間でよい)、アルファは中高(たとえば0.75)でよい。

上記の2つの状況のいずれも当てはまらない場合、x(n-2)とx(n-1)との間の差異が中間のしきい値と中低のしきい値の間の場合(たとえば、図5に状態Cとして示したように、差異の絶対値が64(64を含まず)と32(32を含む)の間でよい)、アルファは中(たとえば0.5)でよい。x(n-2)とx(n-1)との間の差異が非常に低いが極度に低くはない場合、たとえば、中低のしきい値と最低しきい値との間の場合(たとえば、図5に状態Dとして示したように、差異の絶対値が32(32を含まず)と16(16を含む)の間でよい)、入力ピクセルの隣接する対の差異がより高いしきい値よりも大きければ(たとえば、図5に状態Gとして示すように、x(n-3)とx(n-2)との間の差異と、x(n-1)とx(n)との間の差異との両方の絶対値が64より大きい)、アルファは中間(たとえば0.5)でよい。x(n-2)とx(n-1)との間の差異が極めて低い場合、たとえば、最低しきい値よりも小さい場合(たとえば、図5に状態Eとして示すように、差異の絶対値が16より小さくてよい)、入力ピクセルの隣接する対の差異がより低いしきい値よりも大きければ(たとえば、図5に状態Hとして示すように、x(n-3)とx(n-2)との間の差異と、x(n-1)とx(n)との間の差異との両方の絶対値が32より大きい)、アルファは依然として中間(たとえば0.5)でよい。

x(n-2)とx(n-1)との間の差異が非常に低いが極めて低くはない場合、たとえば、中低のしきい値と最低しきい値との間の場合(たとえば、差異の絶対値が32(32を含まず)と16(16を含む)との間でよい)、入力ピクセルの隣接する対のどちらかまたは両方の差異がより高いしきい値よりも小さいかそれと等しい場合(たとえば、図5に0と等しい状態Gとして示すように、x(n-3)とx(n-2)との間の差異と、x(n-1)とx(n)の間の差異とのどちらかまたは両方の絶対値が、64より小さいかそれと等しい)、アルファは低(たとえば0.25)でよい。最後に、x(n-2)とx(n-1)との間の差異が極めて低い場合、たとえば最低しきい値よりも小さい場合(たとえば差異の絶対値が16より小さくてよい)、入力ピクセルの隣接する対の差異のどちらかまたは両方がより低いしきい値よりも小さいかそれと等しい場合(たとえば、図5に状態H == 0として示すように、x(n-3)とx(n-2)との間の差異と、x(n-1)とx(n)の間の差異の両方の絶対値が32より大きくない)、アルファは0に設定されてよい。

システム設計者によって、様々なしきい値の値を調整および/または決定できる。たとえば、他の実施形態では最高しきい値は100でよく、中間しきい値は50でよく、中低しきい値は25でよく、最低しきい値は10でよく、より高いしきい値は48でよく、より低いしきい値は24でよい。

したがって、図5に示されるように、一実施形態では入力ピクセルのシーケンスによってアルファの値を決定できる。したがって、本発明の実施形態によるファロー構造の係数を、入力ピクセルのシーケンス(たとえば挿入されたピクセルの前後の既存のピクセル)に基づいて適応でき、補間は画像コンテンツ(たとえばピクセル間の差異)に基づくことができる。さらに、本発明の実施形態による決定の基準は必要に応じて調整できる。

上述のように、信号処理構造は信号フィルタの役割を果たすことができる。信号フィルタは一般的に異なる周波数に異なる影響を及ぼす。図6は、従来のポリフェーズフィルタについての、異なるフェーズでの異なる周波数についての振幅特性(たとえば、それぞれμ_k=0、μ_k=0.25、μ_k=0.5、およびμ_k=0.75、)を示している。それぞれの図6(a)、6(b)、6(c)、および6(d)では、水平軸は周波数でよく、垂直軸はそれぞれのフェーズについての従来のポリフェーズ構造の振幅特性(たとえばμ_k)でよい。フィルタが理想的なローパスフィルタ(LPF)の場合、周波数応答は全て1と等しいはずである。しかし図6(a)に示されるように、周波数ポイントf=0.8で、第1フェーズの応答は1(たとえばポイント602)であり、図6(b)および6(d)に示されるように、第2および第4フェーズは両方とも約0.75の応答を有し(たとえば、それぞれポイント604および608)、図6(c)に示されるように、第3フェーズの応答は約0.4である(たとえばポイント606)。したがって従来のポリフェーズ構造は理想的なLPFとは程遠く、処理される画像に大幅な歪みを引き起こす可能性がある。実際、大幅な歪みは、信号処理における望まないアーティファクトとしてよく知られる鋸歯エッジの直接原因である。

たとえば、画像が4によってスケールされる場合、2つの隣接する既存のピクセルの間に(たとえば、図4のピクセル0と1との間のμ_k=0.25、μ_k=0.5、およびμ_k=0.75に)3つの追加ピクセルを挿入できる。図6に示されるような振幅特性を有する従来のポリフェーズ構造を使用すると、μ_k=0.5に挿入されたピクセルは周波数0.8の振幅の半分以上を失うことになる。

異なるフェーズで一貫した応答を持たせるために、本発明の実施形態は画像の周波数レベルによってパラメータアルファ(したがってパラメトリックファロー構造の係数)を調整できる。様々な周波数についての所望の周波数応答を動的に実現するために、調整はデジタルフィルタのパラメータを変更する効果がある場合がある。たとえばフェーズ3(μ_k=0.5)を例にとると、画像が4によってスケールアップされると、上述のように異なるパラメータアルファが異なる周波数応答を生成できる。

図7は、フェーズ3の補間(μ_k=0.5)についての、本発明の実施形態によるパラメータアルファの4つの異なる値についての振幅特性を示している。たとえば、0.25の値があるパラメータアルファを有する本発明の実施形態によるパラメトリックファロー構造は、周波数ポイントf=0.8(たとえば、図7(a)のポイント702)で0.5より小さい振幅特性を有することができる。図7(b)に示されるように、パラメトリックファロー構造のこの実施形態は、0.5の値を有するパラメータアルファについて、周波数ポイントf=0.8(たとえば、ポイント704)で約0.6の振幅特性を有することができる。図7(c)では、パラメトリックファロー構造のこの実施形態は、中高の値(たとえば0.75)を有するパラメータアルファについて、周波数ポイントf=0.8(たとえば、ポイント706)で約0.7の振幅特性を有することができる。図7(d)では、パラメトリックファロー構造のこの実施形態は、1の値を有するパラメータアルファについて、周波数ポイントf=0.8(たとえば、ポイント708)で約0.8の振幅特性を有することができる。

図7に示されるように、パラメータアルファの異なる値は、異なる周波数応答を有することができる。したがって、一実施形態では、スペクトルをフラットにするために、すなわち振幅特性を周波数についてより高くして(たとえば1に近づけるために)、それによって振幅特性をより理想的なLPFスペクトルのようにするために、パラメータアルファを調整できる。

一実施形態では、コンテンツ検出モジュールは、既存のピクセルの周波数レベルを検出して、パラメトリックファロー構造に一貫した振幅特性を生成させることができるパラメータアルファについての値を調整および/または選択できる。ローカル周波数特性によって、パラメータアルファを高、中高、中、低、およびオフ(たとえば、1、0.75、0.6、0.25、および0)のうちの1つに構成できる。たとえば、図7に示されるように、一実施形態ではα=1はf=0.8でより良い応答を有することができる。したがって一実施形態では、スペクトルをフラットにするために、および振幅特性をより理想的なLPFスペクトルのようにするために、パラメータの調整が容易な場合がある。

本発明の実施形態は、望まないアーティファクトを減らすために役立つことができる。画像にアップコンバージョン(たとえばスケールアップ)を適用する際のアーティファクトのうちの1つに階段がある。階段は、主に異なるフェーズ上の一定しない周波数応答によって生じる(たとえば図6)。一実施形態では、異なるフェーズについての周波数応答を調整することによって、パラメトリックファロー構造は同じ周波数ポイントでより良いまたは等しい利益を実現できる(たとえば図7)。したがって、階段アーティファクトを大幅に減らすことができる。画像にアップコンバージョンを適用する際の他のアーティファクトは、ぼけである。一実施形態では、異なるフェーズについての周波数応答を調整することによって、全体的な周波数応答を従来のどのフィルタよりも大きくできる。したがって、本実施形態はエッジの鮮明度を高めることができる。

図8は、本発明の実施形態による、ダウンコンバージョンのためにパラメトリックファロー構造を使用するための処理800を示している。処理800は2つのステップを備えることができる。ステップ802で、パラメトリックファロー構造をローパスフィルタとして使用できる。いくつかの隣接するピクセルを1つの生成された中間ピクセルに統合するために、ローパスフィルタによって既存のピクセルを処理できる。ステップ804で、元の既存のピクセルから最終ピクセルを取得するために、生成された中間ピクセルから双線形補間を実行するようにパラメトリックファロー構造を使用できる。一実施形態では、双線形補間を実行するために、パラメトリックファロー構造をまずある方向に、続いてもう一方の方向に(たとえば、水平に続いて垂直に、または垂直に続いて水平に)線形補間を実行できる。

図9は、4つの既存のピクセルを1つのピクセルに統合する例として、処理800を示している。本発明の実施形態(たとえば、図2のパラメトリックファロー構造)によって、4つの既存のピクセルx(-1)、x(0)、x(1)、およびx(2)をパラメトリックファロー構造に入力できる。パラメトリックファロー構造を3ポイントローパスフィルタ(LPF)として使用できる。3ポイントLPFは、最初の3つの連続セルピクセルx(-1)、x(0)、およびx(1)を処理して、第1の中間ピクセルx’(0)を生成できる。次いで、パラメトリックファロー構造は次の3つの連続するピクセルx(0)、x(1)、および(2)を処理して、第2の中間ピクセルx’(1)を生成できる。最後に、パラメトリックファロー構造は線形補間を中間ピクセルx’(0)とx’(1)に適用して、既存のピクセルx(0)とx(1)との間の位置μ_kに最終ピクセルy(k)を生成できる。この処理は2次元に適用できるので、双線形補間と呼ぶことができる。一実施形態では、2次元について3ポイントLPFと線形補間の両方を実行できる。したがって線形補間は双線形補間になることができる。

一実施形態では、3ポイントLPFは、先行ピクセルの4分の1、中間ピクセルの半分、および後続ピクセルの4分の1を合計することによって、中間ピクセルを生成できる。たとえば、第1中間ピクセルx’(0)を、1/4x(-1)+1/2x(0)+1/4x(1)として生成して、および第2中間ピクセルx’(1)を1/4x(0)+1/2x(1)+1/4x(2)として生成できる。一実施形態では、パラメトリックファロー構造は、追加スイッチによって調整された図2に示されたパラメトリックファロー構造でよい。追加スイッチはアップコンバージョンのために図2における信号を選択し、ダウンコンバージョンのために係数のセット、たとえばC-₁=1/4、C₀=1/2、C₁=1/4、およびC₂=0、またはC_-1=0、C₀=1/4、C₁=1/2、およびC₂=1/4を選択できる。

一実施形態では、本開示によるダウンスケーリングは、双線形補間操作のためのパラメトリックファロー構造のためにアルファを0に設定できる。図3に示された係数のセットにアルファを0として適用することによって、係数はC_-1=0、C₀=1-μ_k、C₁₌μ_k、およびC₂=0になることができる。したがって、y(k)は(1-μ_k)x’(0)およびμ_kx’(1)(たとえば、2つのポイントについての線形補間)の合計になることができる。

ダウンスケーリング、すなわちデシメーションも、画像スケーリングにおける他の重要な技術である。デシメーションにはPIP(ピクチャーインピクチャー)などのアプリケーションがある。これらの種類のピクチャースケーリング(たとえば、ダウンコンバージョン)アプリケーションには、周波数エイリアシング(たとえば、エイリアシングアーティファクトとして知られる)のために、通常モアレパターンが引き起こされる。通常、高周波数におけるエイリアシングを減らすために、特に大規模なデシメーションにとってアンチエイリアシングフィルタ(たとえはLPF)が必要である。しかしLPFは追加ハードウェアコストを引き上げる場合がある。LPFのパスバンドはデシメーションスケールに比例しなければならない。本開示の実施形態によれば、適切な周波数応答(たとえば、高周波数コンテンツを中程度のレベルへ抑える)を実現して、追加ハードウェアなしにモアレアーティファクトを大幅に減らすために、ファロー構造フィルタのパラメータを選択できる。

本発明の実施形態は、オーバーシュート/アンダーシュート制御をどのようなスケーリング(たとえば補間またはデシメーション)処理にも適用できる。図10は、本発明の実施形態によるオーバーシュート制御を示している。オーバーシュート(またはアンダーシュート)は、フィルタの出力信号が入力信号の最大(または最小)の一定の範囲外になる場合、たとえば、図4の出力信号y(k)が4つの入力信号の最大(たとえばx(0))よりも非常に大きい場合、または4つの入力信号の最小(たとえばx(2))よりも非常に小さい場合、信号処理の間に発生する場合がある。一実施形態では、図10に示した式によって出力信号を決定できる。最大および最小は、4つの入力ピクセルの最大値および最小値を表すことができる。オフセットは、スケールされる全ての画像に適用されたグローバルパラメータでよい。したがって、出力ピクセルの値を4つの入力ピクセルに基づいて一定の範囲に制限でき、それによって、本発明によるオーバーシュート制御は、新しい補間の値が大きくすぎたり小さすぎたりしてオーバーシュートに見えることを防ぐことができる。

調整可能パラメータによって、本開示によるパラボリックファロー構造の実施形態は適応LPFになることができ、したがって図8および9を参照した上記の記述のように、デシメーションは同じコンピューティング回路を補間と共有できる。

本開示による実施形態は、新しいピクセルを適応的に生成して、よりスムースで鮮明な画像を作り出すことができる。この成果は、異なる周波数スペクトルについての周波数応答を調整することによって得ることができる。従来のラグランジュ3次と比較して、よりコストが低くより高い周波数応答を有するパラメトリック2次カーネルが使用される。さらに、画像のコンテンツによって決定できるパラメータを修正することによって周波数応答を調整できる。

本発明の実施形態によるパラメトリックファロー構造の費用効率をより高くすることができる。たとえば、パラメトリックファロー構造200の係数は動的に計算できるので、ルックアップテーブル(LUT)を削除できる。さらに、パラメータアルファに基づいて、動的に生成された係数を調整できる。1つまたは複数の実施形態では、処理される画像のコンテンツによってパラメータアルファを調整できる。すなわち、既存の周辺ピクセルに基づいて係数を動的に生成できる。一実施形態では、まず垂直、次いで水平に補間を実行できる。

本発明の実施形態は、パラメトリック2次カーネルを有することができる。パラメトリック2次カーネルは、以下の特性を有することができる。第1にコストを低くすることができる。たとえば、従来のファロー構造(たとえば、従来の3次ファロー構造)と比較して、4タップファロー構造(たとえば、4つの既存のピクセルを使用する)では、それぞれの方向およびそれぞれのチャネルに2つの乗算および8つの加算器だけがあればよい。第2に係数を適応できる。たとえば、元のラグランジュファローカーネル関数は固定されているが、係数が最高周波数スペクトルを有することができるようにパラメータを調整できる。第3にリンギングの減少を実現できる。画像におけるリンギング範囲は低周波数であると考えられるので、適応周波数応答は影響を緩和することができ、リンギングを誇張しない。

本明細書では、本発明のいくつかの実施形態を特に図示および説明してきた。しかし、本発明の修正形態および変更形態は上記の教示によってカバーされ、本発明の趣旨および意図された範囲を逸脱することなしに、添付の特許請求の範囲内である点を理解されたい。

100 画像システム
102 ピクセル入力
104 コンテンツ検出モジュール
106 パラメトリックファロー構造
108 オーバーシュート制御モジュール
110 ピクセル出力
112 パラメータアルファ
200 パラメトリックファロー構造
202 入力信号線
216 遅延要素
216.1〜216.5 遅延要素
218 増幅器
218.1〜218.4 増幅器
220 位置信号線
221 乗算器
222 乗算器
222.1〜222.2 乗算器
224 加算器
224.1〜224.8 加算器
230 出力信号線
800 処理

Claims

入力ピクセルのシーケンスを受信するための入力を有し、４つの連続した入力ピクセル毎の差異に基づいて調整可能パラメータアルファ(α)を生成するように構成されたコンテンツ検出モジュールと、
入力ピクセルの前記シーケンスのための入力、および前記コンテンツ検出モジュールの出力に結合された制御入力を有するデジタルフィルタと、
を備え、
前記デジタルフィルタは、前記調整可能パラメータαによってフィルタリング係数を調整し、４つの連続した入力ピクセル毎に１つの出力ピクセルを生成し、
それぞれの出力ピクセルは、４つの係数Ｃ_-１、Ｃ_０，Ｃ_１、Ｃ_２を４つの連続した入力ピクセルx(-1), x(0), x(1), x(2)のシーケンスのそれぞれに乗算し、式：
ｙ（ｋ）＝Ｃ_２x(2)＋Ｃ_１x(1)＋Ｃ_０x(0)＋Ｃ_-１x(-1)
で表されるように、それらの乗算結果を加算することにより生成され、
x(-1)は、前記４つの連続した入力ピクセルの第１入力ピクセルであり、
x(0)は、第２入力ピクセルであり、
x(1)は、第３入力ピクセルであり、
x(2)は、第４入力ピクセルであり、
前記生成された出力ピクセルは、x(0)とx(1)の間であり、
前記４つの係数は、以下の式：
Ｃ_-１＝αμ_ｋ ^２−αμ_ｋ
Ｃ_０＝−αμ_ｋ ^２＋（α−１）μ_ｋ＋１
Ｃ_１＝−αμ_ｋ ^２＋（α＋１）μ_ｋ
Ｃ_２＝αμ_ｋ ^２−αμ_ｋ
０≦μ_ｋ＜１
の前記調整可能パラメータαから決定されることを特徴とする画像処理システム。
前記デジタルフィルタは、マルチポイントファロー構造であることを特徴とする請求項1に記載の画像処理システム。
前記画像処理システムは、前記フィルタリング係数を使用して画像のアップコンバージョンのためのピクセルを生成するように構成されることを特徴とする請求項2に記載の画像処理システム。
前記調整可能パラメータαは、前記シーケンスの前記入力ピクセルx(-1)とx(0)間、前記入力ピクセルx(0)とx(1)間、及び前記入力ピクセルx(1)とx(2)間の差異によって決定されることを特徴とする請求項3に記載の画像処理システム。
前記調整可能パラメータαは、高、中高、中、低、およびオフのうちの1つの値を有することを特徴とする請求項3に記載の画像処理システム。
前記x(0)とx(1)の入力ピクセル間の差異が、第1しきい値よりも大きいかそれと等しい場合、前記調整可能パラメータαが前記高の値を有することを特徴とする請求項5に記載の画像処理システム。
前記x(0)とx(1)の入力ピクセル間の差異が、前記第1しきい値よりも小さく、第2しきい値よりも大きいかそれと等しい場合、前記調整可能パラメータαが前記中高の値を有することを特徴とする請求項6に記載の画像処理システム。
前記x(0)とx(1)の入力ピクセル間の差異が、前記第2しきい値よりも小さく、第3しきい値よりも大きいかそれと等しい場合、前記調整可能パラメータαが前記中の値を有することを特徴とする請求項7に記載の画像処理システム。
1)前記x(0)とx(1)の入力ピクセル間の差異が、前記第3しきい値よりも小さく、第4しきい値よりも大きいかそれと等しい場合、ならびに2)前記x(-1)とx(0)の入力ピクセル間の差異、ならびにx(1)とx(2)の入力ピクセル間の差異の両方が第5しきい値よりも大きい場合、前記調整可能パラメータαが前記中の値を有することを特徴とする請求項8に記載の画像処理システム。
1)前記x(0)とx(1)の入力ピクセル間の差異が、前記第4しきい値よりも小さい場合、ならびに2)前記x(-1)とx(0)の入力ピクセル間の差異、ならびにx(1)とx(2)の入力ピクセル間の差異の両方が第6しきい値よりも大きい場合、前記調整可能パラメータαが前記中の値を有することを特徴とする請求項9に記載の画像処理システム。
1)前記x(0)とx(1)の入力ピクセル間の差異が、前記第4しきい値よりも小さい場合、ならびに2)前記x(-1)とx(0)の入力ピクセル間の差異、ならびにx(1)とx(2)の入力ピクセル間の差異の両方が第6しきい値よりも大きい場合、前記調整可能パラメータαが前記低の値を有することを特徴とする請求項9に記載の画像処理システム。
1)前記x(0)とx(1)の入力ピクセル間の差異が、前記第4しきい値よりも小さい場合、ならびに2)前記x(-1)とx(0)の前記入力ピクセル間の差異、ならびにx(1)とx(2)の入力ピクセル間の差異の両方が第6しきい値よりも大きい場合、前記調整可能パラメータαが前記オフであることを特徴とする請求項9に記載の画像処理システム。
前記調整可能パラメータαは、入力ピクセルの周波数スペクトルに基づいて選択されることを特徴とする請求項5に記載の画像処理システム。
前記画像は、水平次元および垂直次元を備え、
入力ピクセルの前記シーケンスは、前記水平次元および前記垂直次元のうちの1つであることを特徴とする請求項3に記載の画像処理システム。
前記デジタルフィルタによって生成されたピクセルを、前記入力ピクセルによって決定された範囲内に制限するオーバーシュート制御をさらに備えることを特徴とする請求項1に記載の画像処理システム。
前記画像処理システムは、入力ピクセルに基づいてデシメーションを実行するように構成されることを特徴とする請求項1に記載の画像処理システム。
前記画像処理システムは、ローパスフィルタリングおよび双線形補間を実行することによってデシメーションを実行することを特徴とする請求項16に記載の画像処理システム。
入力ピクセルのシーケンスを受信するステップと、
隣接する入力ピクセルのそれぞれの対の値を比較するステップと、
隣接する入力ピクセルのそれぞれの対の値の差異に基づいて、調整可能パラメータアルファ(α)の値を決定するステップと、
新しいピクセルのための位置と前記調整可能パラメータαに基づいて入力ピクセルに適用される係数を計算するステップと、
デジタルフィルタによって、前記計算された係数を使用して前記新しいピクセルを生成するステップと、
を備え、
前記係数は、前記デジタルフィルタ内の前記入力ピクセルに適用され、
前記新しいピクセルは、４つの係数Ｃ_-１、Ｃ_０，Ｃ_１、Ｃ_２を４つの連続した入力ピクセルx(-1), x(0), x(1), x(2)のシーケンスのそれぞれに乗算し、式：
ｙ（ｋ）＝Ｃ_２x(2)＋Ｃ_１x(1)＋Ｃ_０x(0)＋Ｃ_-１x(-1)
で表されるように、それらの乗算結果を加算することにより生成され、
x(-1)は、前記４つの連続した入力ピクセルの第１入力ピクセルであり、
x(0)は、第２入力ピクセルであり、
x(1)は、第３入力ピクセルであり、
x(2)は、第４入力ピクセルであり、
前記新しいピクセルは、x(0)とx(1)の間であり、
前記４つの係数は、以下の式：
Ｃ_-１＝αμ_ｋ ^２−αμ_ｋ
Ｃ_０＝−αμ_ｋ ^２＋（α−１）μ_ｋ＋１
Ｃ_１＝−αμ_ｋ ^２＋（α＋１）μ_ｋ
Ｃ_２＝αμ_ｋ ^２−αμ_ｋ
０≦μ_ｋ＜１
の前記調整可能パラメータαから決定されることを特徴とする入力画像をサイズ変更するための方法。
前記入力画像は、水平次元および垂直次元を備え、
入力ピクセルの前記シーケンスは、前記水平次元および前記垂直次元のうちの1つであることを特徴とする請求項18に記載の方法。
前記デジタルフィルタは、4ポイントパラボリックファロー構造であることを特徴とする請求項18に記載の方法。
前記調整可能パラメータαの前記値は、高、中高、中、低、およびオフのうちの1つであることを特徴とする請求項20に記載の方法。
前記調整可能パラメータαが、
前記シーケンスの前記第2入力ピクセルと第3入力ピクセルとの間の差異が、第1しきい値よりも大きいかそれと等しい場合は高の値を有し、
前記シーケンスの前記第2入力ピクセルと第3入力ピクセルとの間の差異が、前記第1しきい値よりも小さく、第2しきい値よりも大きいかそれと等しい場合は中高の値を有し、
(1)前記シーケンスの前記第2入力ピクセルと第3入力ピクセルとの間の差異が、前記第2しきい値よりも小さく、第3しきい値よりも大きいかそれと等しい場合、または、
(2)前記シーケンスの前記第2入力ピクセルと第3入力ピクセルとの間の差異が、前記第3しきい値よりも小さく、第4しきい値よりも大きいかそれと等しく、前記シーケンスの前記第1入力ピクセルと第2入力ピクセルとの間の差異、および前記第3入力ピクセルと第4入力ピクセルとの間の差異の両方が第5しきい値よりも大きい場合、または、
(3)前記シーケンスの前記第2入力ピクセルと第3入力ピクセルとの間の差異が、前記第4しきい値よりも小さく、前記シーケンスの前記第1入力ピクセルと第2入力ピクセルとの間の差異、および前記第3入力ピクセルと第4入力ピクセルとの間の差異の両方が第6しきい値よりも大きい場合は中の値を有し、
1)前記シーケンスの前記第2入力ピクセルと第3入力ピクセルとの間の差異が、前記第4しきい値よりも小さい場合、ならびに2)前記シーケンスの前記第1入力ピクセルと第2入力ピクセルとの間の差異、および前記第3入力ピクセルと第4入力ピクセルとの間の前記差異の両方が第6しきい値よりも大きい場合は低の値を有し、
1)前記シーケンスの前記第2入力ピクセルと第3入力ピクセルとの間の差異が、前記第4しきい値よりも小さい場合、2)前記シーケンスの前記第1入力ピクセルと第2入力ピクセルとの間の差異、および前記第3入力ピクセルと第4入力ピクセルとの間の差異の両方が第6しきい値よりも大きい場合はオフであることを特徴とする請求項21に記載の方法。
前記生成されたピクセルは、出力される前にオーバーシュート制御に送信されることを特徴とする請求項20に記載の方法。
前記調整可能パラメータαの前記値は、入力ピクセルの周波数スペクトルに基づいて決定されることを特徴とする請求項20に記載の方法。