JP4734239B2 - 空間的信号変換 - Google Patents

Description

本発明は、入力標本値からなる入力信号を出力標本値からなる出力信号に変換する、空間的フィルタユニットであって、
・第一のフィルタ係数を決定するための係数決定手段と、
・前記入力標本値の第一のものおよび前記第一のフィルタ係数に基づいて出力標本値の第一のものを計算するための適応フィルタ処理手段とを有するユニットに関するものである。

本発明はさらに、
・入力信号およびさらなる入力信号を受信する受信手段と、
・前記入力信号を出力信号に変換するための上述した空間的フィルタユニットとを有する画像処理装置に関するものである。

本発明はさらに、入力標本値からなる入力信号を出力標本値からなる出力信号に変換する方法であって、
・第一のフィルタ係数を決定し、
・前記入力標本値の第一のものおよび前記第一のフィルタ係数に基づいて出力標本値の第一のものを計算することを有する方法に関するものである。

本発明はさらに、入力標本値からなる入力信号を出力標本値からなる出力信号に変換する命令を有する、処理手段およびメモリを有するコンピュータ設備によって読み込まれるべきコンピュータプログラムプロダクトであって、読み込まれたのちに前記処理手段に、
・第一のフィルタ係数を決定し、
・前記入力標本値の第一のものおよび前記第一のフィルタ係数に基づいて出力標本値の第一のものを計算することを実行する能力を与えるようなコンピュータプログラムプロダクトに関するものである。

ＨＤＴＶの登場は、標準精細度（SD: standard definition）映像素材が高精細度（HD: high definition）テレビジョン（TV: television）のディスプレイ上で見られるようにする空間的アップコンバート技術に対する必要性を浮き彫りにした。従来の技術は、双線形補間のような線形補間法および多相低域通過補間フィルタを使う方法である。前者はテレビジョン分野では低品質のために人気がないが、後者は商業ベースで入手可能なＩＣで利用できる。線形法については、フレーム内のピクセル数は増加するものの、知覚される画像の鮮明さは向上しない。つまり、ディスプレイの能力が十分活用されていないのである。

従来式の線形技術に加えて、このアップコンバートを実現するためのいくつかの非線形アルゴリズムが提案されている。時に、こうした技術はコンテンツベース、コンテンツ適応型、あるいはエッジ依存型の空間的アップコンバートと称される。これらのアップコンバート技術のいくつかはProceedings of the ISCE 2002, Erfurt, Germany（2002年9月23-26日）所収のMeng Zhao et al.による概説論文「空間的アップコンバート技術の概説について」（Towards an overview of spatial up-conversion techniques）で述べられている。これらの文書で述べられているようなコンテンツ適応型画像拡大は、標本化定理に基づく線形アップコンバート法に比べて著しく向上した鮮明さの印象を与えることが立証されている。

コンテンツベースのアップコンバートの一つの種類に、類別ベースアップコンバートがある。類別ベースのビデオアップコンバートの中心的発想は、ＳＤ画像内容に基づいてＨＤ画像ピクセルの計算を適応させるということである。同じ空間的フィルタ特性、すなわちフィルタ係数によって拡大されるのは似通った特性のある画像ブロックだけとするのである。補間中の瞬時フィルタ係数は局所的な内容、すなわち入力ＳＤ画像を表す入力信号の標本値に依存する。ビデオ変換の場合、これらの標本値は当該画像のあるブロック内のピクセルの値でありうる。局所的な内容はそのブロックの値のパターンに基づいて類別される。フィルタ係数を得るには、前もって学習プロセスが実行される。学習プロセスはトレーニング素材としてＨＤビデオとＳＤビデオの両方を用い、該ＳＤビデオはＨＤビデオの縮小によって計算される。そして最適フィルタ係数を決定するためにＬＭＳ（Least Mean Square［最小二乗法］）アルゴリズムが使用される。トレーニング過程は類の数が膨大なために計算集約的になるが、幸いにも一度実行するだけでよい。好ましくは、ピクセルブロックの類別はＡＤＲＣ（Adaptive Dynamic Range Coding［適応ダイナミックレンジ符号化］）を使って実現される。これは１ピクセル１ビットの符号化の場合には次のことに還元される。

ここで、F_SDはＳＤピクセルの輝度値であり、F_AVはフィルタ係数決定手段の現在の窓における諸ピクセルの平均（average）輝度値である。F_YがＡＤＲＣの符号化結果である。ＡＤＲＣを用いる理由は実装が簡単なことである。式（１）を使うと、輝度として256通りの異なる値が可能な場合、１２ピクセルを含む窓について、類の数は8¹²から2¹²に減少する。窓内の個々のピクセルのＱ値を連結することで、類のコードが得られる。これはフィルタ係数を生成する探索表の項目として使うことができる。これ以外の類別技術も考えられる。

コンテンツベースの変換法は比較的よく機能するものの、いまだ改良の余地がある。

冒頭段落において述べたような空間的フィルタユニットでより性能のよいものを提供することが本発明の目的の一つである。

本発明のこの目的は、前記係数決定手段が、当該入力信号に相関のあるさらなる入力信号に基づいて前記第一のフィルタ係数を決定するよう構成されることによって達成される。相関のあるというのは、たとえば複数の信号が同じ源に由来するだとか、同時に取り込まれたとか、同一の対象または場面に対応するものであるとか、一方の信号が他方から導出されたものであるといったことを意味する。好ましくは、係数決定手段は、前記さらなる入力標本値と前記入力値との両方に基づいて前記第一のフィルタ係数を決定するよう構成される。従来技術のコンテンツベースの空間的フィルタユニットも比較的よく機能するものの、適応フィルタ処理手段を制御するために入力信号から抽出されうる情報量は限定されることがある。特に必要とされる出力標本値の数に比較して入力標本値の数が比較的少ない場合にはそうである。入力信号に相関のあるさらなる入力信号のさらなる入力標本値を適用することによって、よりよいフィルタ係数を決定することができる。

本発明に基づく空間的フィルタユニットを補間フィルタとして適用することが有益である。よって、本発明に基づく空間的フィルタユニットのある実施形態では、適応フィルタ処理手段は、入力標本値の第一のものおよび入力標本値のある第二のものの補間に基づいて出力標本値の第一のものを計算する計算手段を有する。

好ましくは、前記第一の入力信号はある第一の量を表し、前記さらなる入力信号は前記第一の量とは異なるある第二の量を表す。前記第一の量は輝度、クロミナンス、動き、位置、温度または音のいずれでもよく、前記第二の量は輝度、クロミナンス、動き、位置、温度または音に対応する物理変数の一覧のうちのもう一つのものである。たとえば、４：２：２（ＹＵＶ）フォーマットのビデオデータについては、輝度の水平解像度がクロミナンスの水平解像度よりも高いので、本発明に基づく水平拡大フィルタユニットを使うことは理にかなっている。たとえば、４：２：０（ＹＵＶ）フォーマットのビデオデータについては、輝度の水平および垂直解像度がクロミナンスの水平および垂直解像度よりも高いので本発明に基づく水平および垂直拡大フィルタユニットを使うことは理にかなっている。さらに、色、すなわちクロミナンス信号における符号化または伝送乱れ効果の低減のためには、典型的に優越する輝度信号を適用することができる。

もう一つの例は、立体撮像、すなわち３Ｄ撮像に関係している。立体撮像では、典型的には同じ場面について二つの画像シーケンスが二つのカメラによって取り込まれる。それぞれの画像に対応する信号は、わずかに異なる角度からではあるが、同じ場面を表しているので相関している。第一の画像シーケンスの輝度値に対応する信号は、第二の画像シーケンスの輝度値に対応する信号の変換を制御するために適用されうる。

あるいはまた、輝度および任意的にクロミナンスの値を表す可視画像のシーケンスが取得され、たとえば赤外線や超音波によって対応する奥行き画像のシーケンスが取得される。典型的には、場面内での対象の位置情報を表す後者の種類の画像は前者の種類の画像よりも標本値の数は少ない。前記可視画像に対応する信号および前記奥行き情報に対応する信号は同じ場面を表すものであるから互いに相関がある。輝度値に対応する信号は、奥行き値に対応する信号をより高解像度の奥行き値に対応する別の信号に変換するのを制御するために適用することができる。

もう一つの例は、撮像される場面内での動きに関係している。いわゆる動きベクトル場、すなわち輝度画像のピクセルのそれぞれのグループについての動きベクトルからなる二次元マトリクスを計算するためにはさまざまな技法がある。たとえば、IEEE Transactions on circuits and systems for video technology, vol. 3, no.5, October 1993, pp. 368-379所収のG. de Haan et al.による論文「３Ｄ再帰検索ブロック一致を用いた真の動きの推定」（True-Motion Estimation with 3-D Recursive Search Block Matching）を参照されたい。この論文では、８×８ピクセルのブロックについての動きベクトルの推定が記載されている。８×８ブロックの動きベクトルの場を表す入力信号をたとえば２×２ピクセルのブロックを表す出力信号に変換するために、８×８ブロックの動きベクトルの場を決定するのに使われた輝度値を表す信号を適用することができる。場面内の多くの対象は、８×８ピクセルという粗い動きベクトルの場のブロック構造には一致しない形を有することを注意しておく。

動きはしばしば動きベクトルによって記述される。動きを記述する別の方法は、いわゆる動き検出信号、すなわち動きがあるか否かを示す二値信号に基づくものである。そうした種類の信号についても、本発明に基づく空間的フィルタユニットは適用することができる。

本発明に基づく空間的フィルタユニットのある実施形態では、係数決定手段は、前記さらなる入力信号から導かれたデータを前記第一のフィルタ係数に換算するための所定の探索表を有する。この所定の探索表はトレーニング過程によって得られるものである。フィルタ係数を決定するために探索表を適用することは、先述され、たとえば米国特許第6,323,905号において開示されている。信号、すなわち標本値のグループから必要とされるデータを導き出す好ましい技術は、先述され、米国特許第5,444,487号において開示されている。

本発明に基づく探索表を有する空間的フィルタユニットのある実施形態は、係数決定手段が前記さらなる入力信号に属するいくつかの輝度値に基づいて第一のフィルタ係数を決定するよう構成されている点と、適応フィルタ処理手段が前記入力信号に属するクロミナンスに基づいて出力標本値の第一のものを計算するよう構成されていることを特徴とする。ここで、クロミナンス信号はクロミナンスおよび輝度の標本値から導かれる類を使って変換される。これは、クロミナンス変換がより詳細な輝度データの恩恵を受けることができるので有益である。結果として、適応フィルタ処理手段のフィルタ窓および係数決定手段のコンテンツ適応窓は、フィルタ窓がクロミナンス標本値にのみ作用するのに対してコンテンツ窓は輝度およびクロミナンス信号の両者からのデータを含んでいるという意味で互いに異なっている。

本発明に基づく空間的フィルタユニットのもう一つの実施形態では、係数決定手段は最適化アルゴリズムによって第一のフィルタ係数を計算するよう構成される。たとえば、最適化アルゴリズムは前記さらなる入力標本値に対する前記さらなる入力標本値の近似を評価するのに適用される。この近似は、前記さらなる入力標本値の近傍における前記さらなる入力信号の別の入力標本値に基づく。好ましくは、最適化アルゴリズムは最小二乗法アルゴリズムである。最小二乗法は比較的簡単で堅牢である。アップコンバートユニットの場合におけるフィルタ係数決定のために最適化アルゴリズムを適用する方法は、Proceedings of the ISCE 2002, Erfurt, Germany（2002年9月23-26日）所収のMeng Zhao et al.による前記引用の論文「空間的アップコンバート技術の概説について」で述べられている。

本発明に基づく空間的フィルタユニットを画像拡大ユニットとして適用することが有益である。よって、本発明に基づく空間的フィルタユニットの実施形態の一つは、前記入力信号および前記さらなる入力信号によって表されている入力画像を前記出力信号によって表される出力画像に拡大するための画像拡大ユニットである。

本発明に基づく空間的フィルタユニットをノイズ削減ユニットとして適用することが有益である。よって、本発明に基づく空間的フィルタユニットの実施形態の一つは、前記入力信号および前記さらなる入力信号によって表されている入力画像を前記出力信号によって表される出力画像に拡大するためのノイズ削減ユニットである。

より性能のよい空間的フィルタユニットを有する冒頭で述べたような画像処理装置を提供することが本発明のさらなる目的の一つである。

本発明のこの目的は、係数決定手段が当該入力信号に相関のあるさらなる入力信号に基づいて第一のフィルタ係数を決定するよう構成されることによって達成される。その画像処理装置は任意的に出力信号によって表される出力信号を表示するための表示装置を有している。この画像処理装置はたとえば、テレビ、セットトップボックス、衛星チューナー、ビデオデッキ（VCR: Video Cassette Recorder）またＤＶＤ（Digital Versatile Disk）プレーヤーであってよい。

冒頭段落で述べたような方法でより性能のよいものを提供することも本発明のさらなる目的の一つである。

本発明のこの目的は、当該入力信号に相関のあるさらなる入力信号に基づいて第一のフィルタ係数を決定することによって達成される。

冒頭段落で述べたようなコンピュータプログラムプロダクトでより性能のよいものを提供することも本発明のさらなる目的の一つである。

本発明のこの目的は、該コンピュータプログラムプロダクトが、読み込まれたのち処理手段に、当該入力信号に相関のあるさらなる入力信号に基づいて第一のフィルタ係数を決定する能力を与えることによって達成される。

空間的フィルタユニットの修正およびその変形は、前記画像処理装置、前記方法および前記コンピュータプログラムプロダクトの修正およびその変形に対応しうる。

本発明に基づく前記空間的フィルタユニット、前記画像処理装置、前記方法および前記コンピュータプログラムプロダクトのこれらのことを含むさまざまな側面は、付属の図面を参照しつつ以下に記載される実装および実施形態との関連で明らかとなり、明快に説明されることであろう。

図１Ａは従来技術に基づく空間的フィルタユニット１００を画像アップコンバートユニットに適用したものを示す概略図である。画像変換ユニット１００は入力コネクタ１０８において標準精細度（ＳＤ）画像を与えられ、出力コネクタ１１０において高精細度（ＨＤ）画像を与える。画像変換ユニット１００は：
・ＳＤ入力画像の第一のものの中で一つのＨＤ出力ピクセルの位置に対応する特定の位置のある第一の近傍内でピクセル１〜４（図１Ｂ参照）の輝度値からなる第一の集合を取得するよう構成されており、またＳＤ入力画像の前記第一のものの中で前記特定の位置のある第二の近傍内でピクセル１〜１６の輝度値からなる第二の集合を取得するよう構成されているピクセル取得ユニット１０２と、
・前記第一の輝度値の集合と前記第二の輝度値の集合とに基づいてフィルタ係数を計算するよう構成されている、すなわち、前記フィルタ係数が局所的な窓内のＳＤ入力画像から、より詳細には輝度値に基づいて近似されるよう構成されており、それが図１Ｂとの関連で説明される最小二乗法（ＬＭＳ）を使ってなされるようなフィルタ係数決定ユニットと、
・前記第一の輝度値の集合および式（２）で指定されるフィルタ係数に基づいてＨＤ出力ピクセルの輝度値を計算する適応フィルタ処理ユニット１０４、
とを有する。ここで、前記フィルタ係数決定ユニット１０６は前記適応フィルタ処理ユニット１０４を制御するよう構成される。前記適応フィルタ処理ユニット１０４は式（２）で指定される４次の補間アルゴリズムを使用する。

ここで、F_HDI(i,j)は補間された（interpolated）ＨＤ出力ピクセルの輝度値、F_SD(i,j)は入力ピクセルの輝度値、w_e(i)はフィルタ係数である。

図１Ｂは、従来技術に基づくアップコンバート法を説明するために、ＳＤ入力画像のいくつかのピクセル１〜１６およびＨＤ出力画像の一つのＨＤピクセルを示す概略図である。このＨＤ出力ピクセルがピクセル１〜４の４つの輝度値の重み付き平均として補間される。これは、ＨＤ出力ピクセルの輝度値F_HDIがＳＤの４つの近接ピクセルの輝度値の重み付き和として得られるということである。

ここで、F_SD(1)〜F_SD(4)は４つのＳＤ入力ピクセル１〜４のピクセル値であり、w_e(1)〜w_e(4)は最小二乗法によって計算されるべきフィルタ係数である。従来技術が述べられている前記引用の論文「空間的アップコンバート技術の概説について」の著者らは、エッジ方向が拡大によって変化しないという理にかなった想定をしている。この想定の帰結として、最適フィルタ係数は、標準解像度の格子上で
・ピクセル１を５、７、１１、４から（すなわち、ピクセル１がその４つの斜め隣から導けるということ）、
・ピクセル２を６、８、３、１２から、
・ピクセル３を９、２、１３、１５から、
・ピクセル４を１、１０、１４、１６から、
補間するフィルタ係数と同じになるはずである。これは４つの線形方程式を与え、それから最小二乗法最適化を用いてＨＤ出力ピクセルを補間する最適な４つのフィルタ係数が見出される。

４つの重みを計算するのに使われるＳＤ格子上でのピクセル集合をＭで表すと、最適化における集合Ｍ上での平均平方誤差（MSE: Mean Square Error）は、元のＳＤピクセルF_SDおよび補間されたＳＤピクセルF_SIの間の平方差の合計として書くことができる。

これは行列形式では次のようになる。

ここで、ベクトルyはＭ内のＳＤピクセル（F_SD(1,1)からF_SD(1,4)、F_SD(2,1)からF_SD(2,4)、F_SD(3,1)からF_SD(3,4)、F_SD(4,1)からF_SD(4,4)）を含んでおり、Cは4×M²の行列で、そのk番目の行はベクトルyに含まれるk番目のＳＤピクセルのＳＤでの４つの斜め隣を含んでいる。各行の重み付き和によって式（４）で使われているピクセルF_SIが記述される。最小のMSE、すなわち最小二乗値ＬＭＳを見出すには、MSEのベクトルwによる微分が計算される。

式（８）を解くことによってフィルタ係数が求まり、式（３）を使うことによってＨＤ出力ピクセルの輝度値が計算できる。

この例では、４×４ピクセルの窓がフィルタ係数の計算のために使われている。より大きな窓、たとえば４×４の代わりに８×８での最小二乗法の最適化をすればよりよい結果が得られる。

図１Ｃは、従来技術に基づく画像変換ユニットの代替的な実施形態１０１を示す概略図である。フィルタ係数決定ユニット１０６は圧縮ユニット１０７およびトレーニング過程の間に導かれたデータを使った探索表１０９を有している。トレーニング過程の説明のための図１Ｄとのつながりの記述も併せて参照されたい。圧縮方式は、スライドする窓内のどのピクセルが当該窓内のピクセルの平均輝度値より上で、どのピクセルが下かを検出することに基づいている。これは、スライドする窓の各位置に対して、０（平均輝度値より下のピクセル値）および１（平均輝度値より上のピクセル値）のパターンを与える。このパターンが探索表１０９の項目に対応する。探索表１０９のそれぞれの出力では、所与の入力に対する適切なフィルタ係数が与えられる。Proceedings of the ISCE 2002, Erfurt, Germany（2002年9月23-26日）所収のMeng Zhao et al.による論文「空間的アップコンバート技術の概説について」では、従来技術に基づく画像変換ユニット１０１のこの実施形態がより詳しく説明されている。

図１Ｄは従来技術に基づくコンテンツベースの補間において使用される窓を示している。白ピクセルは補間されたＨＤピクセルF_HDIである。黒ピクセルはＳＤピクセルF_SDで、F_SD(1,2)などはF₁₂のように略記している。F_HDI(2(i+3),2(j+3))に対応するＨＤピクセルＡは１２個のＳＤピクセル（F₀₀からF₂₃）を使って補間される。トレーニング過程における最小二乗法の使用をはっきりさせるため、F_HDを実際の（アップコンバートされたのでない）ＨＤピクセルとし、F_HDIを補間窓内の１２個のＳＤピクセルの重み付き和である補間されたＨＤピクセルとする。位置Ａ上のピクセルを補間するために使われる方程式は次のようになる。

ここで、w_klが重みである。多数の画像にわたってのある類の平方誤差は次のようになる。

トレーニング過程には一つの類に対してｔ個の標本値があるとすると、

p番目の補間標本値は次のようになる。

この類の全誤差は、

となる。各wに関するe²の１階微分を計算すると、次式が得られる。

極値が生じるのは１階微分が０になることは周知のことである。そこで、

とおくと、次のようになる。

すべての類に対して方程式（１７）を解くことによって、係数w_klが得られる。ひとたびすべてのフィルタ係数がわかれば、補間は式（９）を使っての単純計算になる。

図２は、本発明に基づく空間的フィルタユニット２００のある実施形態を示す概略図である。この空間的フィルタユニット２００は基本的には図１Ｃとの関連で説明した画像変換ユニット１０１と同じ種類の構成要素を有している。その構成要素は：
・入力画像のピクセル値を取得するよう構成されているピクセル取得ユニット１０２と、
・前記取得されたピクセル値に基づいてフィルタ係数を計算するよう構成されているフィルタ係数決定ユニット１０６と、
・前記取得されたピクセル値に基づいて出力ピクセルのピクセル値を計算するための適応フィルタ処理ユニット１０４とである。

空間的フィルタユニット２００は入力コネクタ１０８においてＹＵＶ（４：２：２）フォーマットでビデオデータが与えられ、出力コネクタ１１０においてＹＵＶ（４：４：４）フォーマットでビデオデータを与える。

本発明に基づく空間的フィルタユニット２００の動作を例を用いて説明する。ピクセル取得ユニット１０２は１２標本値の窓を有するものとする。これはすなわち、標本値(Y₁,U₁,V₁), (Y₂), (Y₃,U₃,V₃), (Y₄), (Y₅,U₅,V₅), (Y₆)が一緒に取得されるということである。６つのYの標本値は第一の圧縮ユニット２０２に与えられて、式（１８）で指定される６ビット語に変換される。

ここで、Y_AVはピクセル取得ユニット１０２の係数窓内の平均輝度値に対応する。３つのUの標本値は第二の圧縮ユニット２０４に与えられて、式（１９）で指定される３ビット語に変換される。

ここで、U_AVはピクセル取得ユニット１０２の係数窓内の第一の平均クロミナンス値に対応する。３つのVの標本値は第三の圧縮ユニット２０６に与えられて、式（２０）で指定される３ビット語に変換される。

ここで、V_AVはピクセル取得ユニット１０２の係数窓内の第二の平均クロミナンス値に対応する。その後、３つの成分（YUV）の全標本値の個々のＱ値が連結されて１２ビットの単一の類指標を形成する。

この１２ビット語に基づいて、トレーニング過程の間に導かれた変換情報を有している探索表１０９からフィルタ係数が導かれる。この場合、探索表１０９は欠けているUの標本値の計算のための３組のフィルタ係数を与える。たとえば、U₁、U₃、U₅に基づいてU₂を計算するための３つのフィルタ係数、そしてU₁、U₃、U₅に基づいてU₄を計算するためのもう３つのフィルタ係数、などである。この場合、探索表１０９はまた欠けているVの標本値の計算のための３組のフィルタ係数をも与える。たとえば、V₁、V₃、V₅に基づいてV₂を計算するための３つのフィルタ係数、そしてV₁、V₃、V₅に基づいてV₄を計算するためのもう３つのフィルタ係数、などである。最後には出力は標本値(Y₁,U₁,V₁), (Y₂,U₂,V₂), (Y₃,U₃,V₃), (Y₄,U₄,V₄), (Y₅,U₅,V₅), (Y₆,U₆,V₆)を含むことになる。

フィルタの窓についての提案される形はビデオフォーマットに依存する。ＹＵＶ（４：２：２）フォーマットについては、輝度の水平解像度がクロミナンスの水平解像度よりも高いので、本発明に基づく水平拡大フィルタを使うことは理にかなっている。ＹＵＶ（４：２：０）フォーマットのビデオデータについては、輝度の垂直解像度もクロミナンスの垂直解像度より高いので二次元窓が適切であるように思える。

上記の例では、ＹＵＶ（４：２：２）フォーマットのＳＤ入力画像がＹＵＶ（４：４：４）フォーマットのＳＤ出力画像に変換されている。任意的に、このＹＵＶ（４：４：４）フォーマットのＳＤ出力画像がその後ＹＵＶ（４：４：４）フォーマットのＨＤ出力画像にアップコンバートされてもよい。あるいはまた、ＹＵＶ（４：２：２）フォーマットのＳＤ入力画像が直接ＹＵＶ（４：４：４）フォーマットのＨＤ出力画像にアップコンバートされてもよい。その場合、輝度信号をクロミナンスのアップコンバートを制御することに使うことができ、またその逆も可能である。

ピクセル取得ユニット１０２、フィルタ係数決定ユニット１０６および適応フィルタ処理ユニット１０４は一つのプロセッサを使って実装することもできる。通常、これらの機能はソフトウェアプログラムプロダクトの制御のもとで実行される。実行の間、通常は該ソフトウェアプログラムプロダクトはＲＡＭのようなメモリ内に読み込まれており、そこから実行される。該プログラムは、ＲＯＭ、ハードディスクあるいは磁気記憶装置、光学式記憶装置、光磁気記憶装置のような補助記憶装置から読み込むこともできるし、あるいはインターネットから読み込まれてもよい。任意的に、カスタムチップが開示されている機能を提供してもよい。

上記では、異なるＱ値が別々に計算され、その後連結される形を示した。つまり、Ｑ値は輝度値とクロミナンス値について独立に計算されたのである。これは魅力的な副次効果がある。米国特許US6019216において、輝度拡大について、映像データを反転させることに対して探索表内の係数が不変であることが示された。二値の類とその反転バージョンが常に同一の補間係数を与えると想定することは合理的である。よって、二つの相補的な類は一緒にすることができ、それにより出力信号の品質を全く損なうことなく探索表の大きさを半分に減らせる。このことがクロミナンスデータUおよびVについても同じように成り立つことは理にかなっているように思われる。３つの成分（Y/U/V）を独立に符号化することによって、各成分についてのＱの数は半分に減る。すなわち、３ビットが節約される。あるいは探索表のアドレス空間で言えば８分の１になることになる。

典型的には、アップコンバートのためのトレーニング過程は次のステップを有する：まず原信号をダウンサンプリングし、そのダウンサンプリングされた信号を原信号に一致する信号に変換するための最適フィルタ係数を見出すのである。ノイズ削減などのためのトレーニング過程についても同様の手法が取られる：原信号にノイズを加え、ノイズのはいったその信号を原信号に変換するための最適フィルタ係数を見出すのである。トレーニング過程においては、第一の入力信号を出力信号に変換する間に本発明に基づく空間的フィルタユニット２００において適用される両方の種類の入力信号、すなわち輝度およびクロミナンスデータの両方に対応する信号が必要とされることは明らかであろう。これは図１Ｃおよび図１Ｄとの関連で説明した従来技術に基づく適応フィルタ処理手段の場合とは異なっている。その従来技術の場合では、トレーニング過程および信号変換の間に解析される信号は一種類だけなのである。

図３Ａは、ある第二の入力信号３０６から該第二の入力信号３０６より高解像度の出力信号３１６へのアップコンバートを制御するために第一の入力信号３０２が適用される様子を示す概略図である。入力信号も出力信号もみな二次元信号であるが、第一の入力信号３０２については二つの次元のうちの一つしか示していない。つまり、一次元表示をしているのである。この第一の入力信号３０２は比較的大きな値の第一の部分３３０、急峻な移行部３３２、比較的小さな値の第二の部分３３４からなる。第二の入力信号３０６については、４つの標本値３０８〜３１４のみを示してあり、それぞれの値はＬ１、Ｌ１、Ｌ２、Ｌ２である。出力信号３１６については１６の標本値３１８〜３２８のみを示してある。これら１６の標本値のうちの４つ３１８〜３２４は値Ｌ１を割り当てられ、他の１２の標本値３２６〜３２８には値Ｌ２が割り当てられている。値Ｌ１を割り当てられた４つの標本値３１８〜３２４が第一の入力信号３０２で比較的大きな値の第一の部分３３０に対応することは明らかに見て取れる。出力信号３１６の標本値３１８〜３２８の値は第二の入力信号３０６の値３０８〜３１４に基づいて、第一の入力信号３０２の制御のもとに計算されている。これはつまり、出力標本値３１８〜３２８の計算のためのフィルタ係数が相関のある第一の入力信号３０２の標本値の値に基づいているということを意味している。たとえば、出力信号３１６の出力標本値の第一のもの３１８は第二の入力信号の入力標本値のうちの２つ３０８、３１０の重み付き平均によって計算される。この場合、これら二つの入力標本値のうちの一つ３０８に対する第一の重み付け因子、すなわち第一のフィルタ係数は比較的大きいが、これら二つの入力標本値のうちのもう一方３１０に対する第二の重み付け因子、すなわち第二のフィルタ係数は比較的小さい。結果として、出力標本値の第一のもの３１８にはその二つの入力標本値のうちの一つ３０８の値であるＬ１という値が割り当てられたのである。

図３Ｂは、ある第二の入力信号３０６から該第二の入力信号３０６より高解像度の出力信号３１６へのアップコンバートを制御するために第一の入力信号３０４が適用されるところを図解する別の例を示す概略図である。第一の入力信号３０４は比較的大きな値の第一の部分３３６、ゆるやかな移行部３３８、比較的小さな値の第二の部分３４０からなる。第二の入力信号３０６については、４つの標本値３０８〜３１４のみを示してあり、それぞれの値はＬ１、Ｌ１、Ｌ２、Ｌ２である。出力信号３１６については１６の出力標本値３１８〜３２８のみを示してある。これら１６の出力標本値のうちの４つ３１８〜３２４は値Ｌ１を割り当てられ、別の４つの出力標本値は値Ｌ３を割り当てられ、別の４つの出力標本値は値Ｌ４を割り当てられ、別の４つの出力標本値３２６〜３２８には値Ｌ２が割り当てられている。値Ｌ１を割り当てられた４つの出力標本値３１８〜３２４が第一の入力信号３０４で比較的大きな値の第一の部分３３６に対応し、値Ｌ２を割り当てられた４つの出力標本値３２６〜３２８が第一の入力信号３０４で比較的小さな値の第二の部分３４０に対応することは明らかに見て取れる。値Ｌ３またはＬ４が割り当てられた残りの出力標本値は移行部３３８に対応している。出力信号３１６の出力標本値３１８〜３２８の値は第二の入力信号３０６の値３０８〜３１４に基づいて、第一の入力信号３０４の制御のもとに計算されている。これはつまり、出力標本値３１８〜３２８の計算のためのフィルタ係数が相関のある第一の入力信号３０４の標本値の値に基づいているということを意味している。

ＳＤ入力画像をＨＤ出力画像に変換するには、いくつかの処理ステップが必要とされる。図４Ａ〜４Ｄによってこれらの処理ステップを説明する。図４ＡはＳＤ入力画像を示す概略図である。図４Ｄは図４ＡのＳＤ入力画像から導かれたＨＤ出力画像を示す概略図であり、図４Ｂおよび図４Ｃは中間結果を示す概略図である。

図４ＡはＳＤ入力画像を示す概略図である。各×印がそれぞれのピクセルに対応する。

図４Ｂは図４ＡのＳＤ入力画像に解像度を上げるためにピクセルが追加されたところを示す概略図である。追加されたピクセルは＋印で示されている。これらの追加されたピクセルはそれぞれの斜め隣からの補間によって計算される。

図４Ｃは４５度回転させたあとの図４Ｂの画像を示す概略図である。これを使うと、図４Ａに基づいて図４Ｂの画像を計算するために適用されるのと同じ画像変換ユニット２００を、図４Ｂに示した画像に基づいて図４Ｄに示した画像を計算するのにも使うことができる。つまり、新しいピクセル値がそれぞれの斜め隣の補間によって計算されるのである。これら斜め隣の第一の部分（×印で示したもの）はＳＤ入力画像の原ピクセルの値に対応し、これら斜め隣の第二の部分（＋で示したもの）はＳＤ入力画像のその原ピクセルの値から補間によって導かれたピクセル値に対応することを注意しておく。

図４Ｄは最終的なＨＤ出力画像を示す概略図である。最終的な変換ステップにおいて追加されたピクセルは○印で示されている。

図５は、本発明に基づく画像処理装置５００のある実施形態を示す概略図である。それは：
・ＹＵＶ（４：２：２）フォーマットのビデオデータを表す信号を受信する受信手段５０２と、
・図２との関連で述べた空間的フィルタユニット２００と、
・前記空間的フィルタユニット２００のＹＵＶ（４：４：４）フォーマットのビデオデータを表示する表示装置５０６、
とを有する。表示装置５０６は任意的である。

前記信号はアンテナやケーブルを通じて受信された放送信号でもよいが、ビデオデッキやＤＶＤのような記憶装置からの信号であってもよい。信号は入力コネクタ５０８において与えられる。当該画像処理装置５００はたとえばテレビである。あるいはまた、当該画像処理装置５００は任意的な表示装置を有さず、表示装置５０６となる装置に出力画像を提供するのでもよい。その場合、当該画像処理装置５００はたとえばセットトップボックス、衛星チューナー、ビデオデッキまたはＤＶＤプレーヤーなどでありうる。しかしまた、映画製作スタジオや放送局によって適用されるシステムであってもよい。

上述の実施形態は、本発明を解説するものであって限定するものではないこと、そして当業者は付属の特許請求の範囲から外れることなく代替的な実施形態を考案することができるであろうことを注意しておくべきである。請求項において、括弧に入れた参照符号があったとしてもそれはその請求項を限定するものと解釈してはならない。「有する」の語は請求項で挙げられていない要素やステップの存在を排除するものではない。要素の単数形の表現はそのような要素の複数の存在を排除するものではない。本発明はいくつかの異なる要素を有するハードウェアによって実装することもできるし、好適にプログラムされたコンピュータによって実装することもできる。いくつかの手段を列挙する装置請求項では、それらの手段のいくつかが同一のハードウェア項目によって具現されていることもできる。

従来技術に基づく空間的フィルタユニットを画像アップコンバートユニットに適用したものを示す概略図である。 従来技術に基づくアップコンバート法を説明するためのいくつかのピクセルを示す概略図である。 従来技術に基づく空間的フィルタユニットの代替的な実施形態を示す概略図である。 従来技術に基づくコンテンツベースの補間において使われる窓を示す概略図である。 本発明に基づく空間的フィルタユニットのある実施形態を示す概略図である。 第一の入力信号が、第二の入力信号の該第二の入力信号より高解像度の出力信号へのアップコンバートを制御するために適用される様子を示す概略図である。 第一の入力信号が、第二の入力信号の該第二の入力信号より高解像度の出力信号へのアップコンバートを制御するために適用される様子を図示する代替的な例を示す概略図である。 ＳＤ入力画像を示す概略図である。 図４ＡのＳＤ入力画像に解像度を上げるためにピクセルを追加したものを示す概略図である。 ４５度回転させたあとの図４Ｂの画像を示す概略図である。 図４ＡのＳＤ入力画像から導かれるＨＤ出力画像を示す概略図である。 本発明に基づく画像処理装置の実施形態を示す概略図である。

Claims (15)

1. 入力標本値からなる入力信号を出力標本値からなる出力信号に変換する、空間的フィルタユニットであって、
   ・第一のフィルタ係数を決定するための係数決定手段と、
   ・前記入力標本値の第一のものおよび前記第一のフィルタ係数に基づいて出力標本値の第一のものを計算するための適応フィルタ処理手段とを有しており、
   前記係数決定手段が前記第一のフィルタ係数を、前記入力信号に相関のあるさらなる入力信号に基づいて決定するよう構成されており、前記入力信号と前記さらなる入力信号は同じ場面の異なる画像に関係し、前記入力信号が第一の属性を表し、前記さらなる入力信号が該第一の属性とは異なるある第二の属性を表すことを特徴とするユニット。
2. 前記係数決定手段が前記第一のフィルタ係数を、前記さらなる入力信号および前記入力信号に基づいて決定するよう構成されていることを特徴とする、請求項１記載の空間的フィルタユニット。
3. 前記適応フィルタ処理手段が前記入力標本値の前記第一のものおよび前記入力標本値のある第二のものの補間に基づいて出力標本値の第一のものを計算する計算手段を有することを特徴とする、請求項１記載の空間的フィルタユニット。
4. 前記第一の属性が輝度およびクロミナンスのうちのいずれかであることを特徴とする、請求項１記載の空間的フィルタユニット。
5. 前記第二の属性が輝度およびクロミナンスのうちのいずれかであることを特徴とする、請求項４記載の空間的フィルタユニット。
6. 前記係数決定手段が前記さらなる入力信号から導かれたデータを前記第一のフィルタ係数に換算するための所定の探索表を有し、この所定の探索表がトレーニング過程によって得られることを特徴とする、請求項１記載の空間的フィルタユニット。
7. 前記係数決定手段が前記さらなる入力信号に属するいくつかの輝度値に基づいて前記第一のフィルタ係数を決定するよう構成されており、前記適応フィルタ処理手段が前記入力信号に属するクロミナンス値に基づいて出力標本値の第一のものを計算するよう構成されていることを特徴とする、請求項６記載の空間的フィルタユニット。
8. 前記係数決定手段が最適化アルゴリズムによって前記第一のフィルタ係数を計算するよう構成されていることを特徴とする、請求項１記載の空間的フィルタユニット。
9. 前記入力信号および前記さらなる入力信号によって表される入力画像を前記出力信号によって表される出力画像にスケーリングするための画像スケーリングユニットであることを特徴とする、請求項１記載の空間的フィルタユニット。
10. 前記入力信号および前記さらなる入力信号によって表される入力画像を前記出力信号によって表される出力画像に変換するためのノイズ削減ユニットであることを特徴とする、請求項１記載の空間的フィルタユニット。
11. ・入力信号およびさらなる入力信号を受信する受信手段と、
    ・前記入力信号を出力信号に変換するための、請求項１記載の空間的フィルタユニット、
    とを有することを特徴とする画像処理装置。
12. 前記出力信号によって表される出力画像を表示するための表示装置をさらに有することを特徴とする、請求項１１記載の画像処理装置。
13. テレビであることを特徴とする、請求項１２記載の画像処理装置。
14. 入力標本値からなる入力信号を出力標本値からなる出力信号に変換する方法であって、
    ・第一のフィルタ係数を決定し、
    ・前記入力標本値の第一のものおよび前記第一のフィルタ係数に基づいて前記出力標本値の第一のものを計算することを有しており、前記第一のフィルタ係数を前記入力信号に相関のあるさらなる入力信号に基づいて決定し、ここで、前記入力信号と前記さらなる入力信号は同じ場面の異なる画像に関係し、前記入力信号が第一の属性を表し、前記さらなる入力信号が該第一の属性とは異なるある第二の属性を表すことを特徴とする方法。
15. 入力標本値からなる入力信号を出力標本値からなる出力信号に変換する命令を有する、処理手段およびメモリを有するコンピュータ設備によって読み込まれるべきコンピュータプログラムであって、読み込まれたのちに前記処理手段に、
    ・第一のフィルタ係数を決定し、
    ・前記入力標本値の第一のものおよび前記第一のフィルタ係数に基づいて出力標本値の第一のものを計算し、前記第一のフィルタ係数を前記入力信号に相関のあるさらなる入力信号に基づいて決定することを実行する能力を与える、ここで、前記入力信号と前記さらなる入力信号は同じ場面の異なる画像に関係し、前記入力信号が第一の属性を表し、前記さらなる入力信号が該第一の属性とは異なるある第二の属性を表す
    コンピュータプログラム。

Images