JP5419897B2 - 空間処理及び時間処理を用いた、ビデオシーケンス中の雑音及びちらつきの少なくとも一方の低減 - Google Patents

Description

[0003]本発明は一般に、ビデオシーケンスの処理に関する。より詳細には、本発明は、ビデオシーケンス中の雑音及びちらつきの少なくとも一方を低減することに関する。

[0001]本特許出願は、２００８年２月５日に出願された、「Ｆｌｉｃｋｅｒ Ｒｅｄｕｃｔｉｏｎ ｉｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅｓ Ｕｓｉｎｇ Ｔｅｍｐｏｒａｌ Ｐｒｏｃｅｓｓｉｎｇ」という名称の、対応する仮特許出願第６１／０２６，４５３号の優先権を主張し、この仮特許出願を参照により組み込む。

[0002]本出願は、本発明の法人譲受人に譲渡された、２００８年６月１７日に出願された「Ｉｍａｇｅ／Ｖｉｄｅｏ Ｑｕａｌｉｔｙ Ｅｎｈａｎｃｅｍｅｎｔ ａｎｄ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｕｓｉｎｇ Ｓｐａｒｓｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ」という名称の同時係属出願、米国特許出願第１２／１４０，８２９号に関係する。

[0004]カメラ制限のせいで、獲得中にモスキート雑音及び時間的ちらつきが引き起こされる。圧縮、ダウンサンプリング、及びアップサンプリングなど、ビデオ処理パイプライン中のモジュールは、アーチファクト、エイリアシング、リンギング、及び時間的ちらつきを阻止することにつながる。今日、多くの適用例で、画像及びビデオ信号処理が広く使用されている。これらの技法のいくつかを使用して、雑音及び時間的ちらつきが低減されてきた。

本明細書では、ビデオシーケンス中の雑音及びちらつきの少なくとも一方を低減するための方法及び装置を開示する。一実施形態では、本方法は、入力ビデオを受け取るステップと、空間処理及び時間処理を使用して、入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、を含む。

[0005]本発明は、以下に提供する詳細な説明、及び本発明の様々な実施形態に関する添付の図面から、より完全に理解されるであろう。しかし、図面は、本発明を特定の実施形態に限定するものと考えるべきではなく、説明及び理解のためのものに過ぎない。

入力ビデオ中の雑音及びちらつきの少なくとも一方を低減するための、雑音ちらつき低減モジュールの一実施形態を示す図である。 入力ビデオ中の雑音及びちらつきの少なくとも一方を低減するための、雑音ちらつき低減モジュールの一実施形態を示す図である。 ビデオシーケンスに対して画像処理を実施するプロセスの一実施形態の流れ図である。 サブフレームタイプのライブラリに対応するマスクの例を示す図である。 ピクセルにラスタ走査順に番号が付けられたときの、ピクセルｉにおける例示的なサブフレームを示す図である。 サブフレームタイプ選択プロセスの一実施形態の流れ図である。 過去の出力フレームからのサブフレーム形成プロセスの一実施形態の流れ図である。 空間変換選択プロセスの一実施形態の流れ図である。 時間変換選択プロセスの一実施形態の流れ図である。 変換係数をしきい値処理するしきい値処理プロセスの一実施形態の流れ図である。 サブフレームを結合してフレームを生み出すプロセスの一実施形態の流れ図である。 単調減少階段関数を示す図である。 ビデオシーケンスに対して画像処理を実施するプロセスの別の実施形態の流れ図である。 選択されたピクセルの例示的なサブセットを示す図である。 コンピュータシステムの一実施形態のブロック図である。

[0006]圧縮／非圧縮ビデオシーケンス中の雑音及びちらつきの少なくとも一方低減のための方法及び装置について述べる。本明細書においてビデオシーケンスは、順番に配置された、本明細書でフレームと呼ぶ複数の画像からなる。

[0007]一実施形態では、本明細書に開示する技法は、入力ビデオの現在フレームからいくつかのピクセルにおけるサブフレームを選択し、出力ビデオの過去フレームから基準を満たす別のサブフレームを見つけること、ピクセル適応性のワープ空間変換を選択し、サブフレームを空間変換領域に変換すること、ディテール保存性の適応しきい値を導出し、ハードしきい値処理（変換係数の大きさがしきい値未満の場合は０に設定する）、又はソフトしきい値処理など他のしきい値処理技法を使用して、現在フレーム及び過去フレームからのサブフレームの変換係数をしきい値処理すること、時間変換を使用して空間変換係数をさらに変換し、時間変換係数の選択されたサブセットをしきい値処理すること、時間変換係数をまず時間的に、次いで空間的に逆変換して、現在フレームと過去フレームの両方に属する処理済みサブフレームを得ること、並びに、入力ビデオからの現在フレームに属する処理済みサブフレームを結合して、出力ビデオのための現在フレームを得ることを含むが、これらに限定されない。これらの操作を、入力ビデオの全てのフレームについて繰り返すことができる。

[0008]以下の記述では、本発明のより完全な説明を提供するために多くの詳細を示す。しかし、これらの具体的詳細なしでも本発明を実施することができることは、当業者には明らかであろう。他の場合では、本発明を曖昧にするのを避けるために、周知の構造及びデバイスについては詳細に示すのではなくブロック図の形で示す。

[0009]後続の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する操作の、アルゴリズム及び象徴表現の点から提示する。これらのアルゴリズム的記述及び表現は、データ処理分野の当業者が他の当業者に自身の作業の実質を最も効果的に伝えるために使用される手段である。アルゴリズムは、ここでは、また一般的には、所望の結果につながる首尾一貫した一連のステップであると考えられる。これらのステップは、物理量の物理的操作を必要とするステップである。必ずしもそうとは限らないが通常は、これらの量は、記憶、転送、結合、比較、及び他の方法で操作することのできる電気的又は磁気的信号の形をとる。主に一般的な慣例の理由で、これらの信号をビット、値、要素、記号、文字、用語、数字などとして言及するのが時として好都合であることが証明されている。

[0010]しかし、これら及び類似の用語は全て、適切な物理量に関連付けられるべきであって単にこれらの量に適用される好都合なラベルに過ぎないことを念頭に置くべきである。特に指定がない限り、以下の考察から明らかなように、この記述全体を通して、「処理する」又は「計算する」又は「算出する」又は「決定する」又は「表示する」などの用語を利用した考察は、コンピュータシステムのレジスタ及びメモリ内の物理的（電子的）量として表されるデータを操作して、コンピュータシステムメモリ又はレジスタ又は他のそのような情報記憶、伝送、若しくは表示デバイス内で同様に物理量として表される他のデータに変換するコンピュータシステム又は類似の電子コンピューティングデバイスの、アクション及びプロセスを指すことを理解されたい。

[0011]本発明はまた、本明細書の操作を実施するための装置に関する。本装置は、必要とされる目的に向けて特に構築されたものであってもよく、或いは、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化又は再構成される汎用コンピュータを含んでもよい。このようなコンピュータプログラムは、コンピュータ可読記憶媒体に記憶することができ、コンピュータ可読記憶媒体は、フレキシブルディスクや光学ディスクやＣＤ−ＲＯＭや光磁気ディスクを含めた任意のタイプのディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光学カード、又は、電子的命令を記憶するのに適した任意のタイプの媒体など（ただしこれらに限定されない）であり、これらはそれぞれコンピュータシステムバスに結合される。

[0012]本明細書に提示するアルゴリズム及び表示は、どんな特定のコンピュータ又は他の装置にも本質的に関係しない。本明細書の教示に従ったプログラムと共に様々な汎用システムを使用することもでき、或いは、必要とされる方法ステップを実施するためのより特殊化された装置を構築するのが好都合であることが判明する場合もある。これらの様々なシステムに必要とされる構造は、以下の記述から明らかになるであろう。加えて、本発明は、どんな特定のプログラミング言語に関して述べるものでもない。様々なプログラミング言語を使用して、本明細書に述べる本発明の教示を実施することができることは、理解されるであろう。

[0013]機械可読媒体は、マシン（例えばコンピュータ）によって読取り可能な形で情報を記憶又は伝送するための任意の機構を含む。例えば、機械可読媒体は、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、電気的、光学的、音響、又は他の形の伝搬信号（例えば搬送波、赤外線信号、ディジタル信号など）等を含む。

概観
[0014]図１Ａに、入力ビデオ中の雑音及びちらつきの少なくとも一方を低減するための、雑音ちらつき低減モジュールの一実施形態を示す。図１Ａを参照すると、雑音ちらつき低減ブロック１０１が、入力ビデオ１００を受け取る。入力ビデオ１００は、雑音及びちらつきの少なくとも一方を含む。雑音ちらつき低減ブロック１０１はまた、本明細書でＯＰと呼ぶオプショナルパラメータのベクトルと、しきい値パラメータ

も受け取る。これらの入力に応答して、雑音ちらつき低減ブロック１０１は、雑音及びちらつきが低減された出力ビデオ１０２を生成する。

[0015]図１Ｂに、ビデオシーケンスに対して画像処理を実施するプロセスの一実施形態の流れ図を示す。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。

[0016]図１Ｂを参照すると、プロセスは、処理ロジックが入力ビデオを受け取ることで開始する（処理ブロック１１１）。

[0017]入力ビデオを受け取るのに応答して、処理ロジックは、空間及び時間処理を使用して入力ビデオ中の雑音とちらつきの一方又は両方を低減するための操作を実施する（処理ブロック１１２）。一実施形態では、これらの操作は、係数の適応しきい値処理を伴う空間変換及び時間変換を適用することを含む。一実施形態では、空間変換及び時間変換を適用することは、少なくとも１つのワープ変換をサブフレームに適用して変換係数を生み出すことを含む。

[0018]図２に、ビデオシーケンスに対して画像処理を実施するプロセスの一実施形態のより詳細な流れ図を示す。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。

[0019]以下に述べるプロセスでは、ｘは、本明細書に述べる技法によって処理されている入力ビデオシーケンスからの現在フレームを示し、

は、本明細書に述べる技法を使用した後で出力される過去フレームを示し、

は、画像処理プロセスによって使用されるしきい値パラメータを示す。さらに、他のオプショナルパラメータを含む、ＯＰで示されるベクトルを供給することができる。ユーザ又はアルゴリズムは、主観的／客観的品質の最適化を使用して、又はモデルベースの技法を使用して、又は他の方法を使用して、最も望ましいパラメータを決定することができる。較正アルゴリズムを使用することもできる。このようなアルゴリズムはまた、ビデオ処理パイプラインと入力ビデオのいずれか又は両方に関する部分的／完全な知識を利用することができる。一実施形態では、ピクセルをラスタ走査順に構成することによって全てのビデオフレームがベクトルで表され、Ｎは各ビデオフレーム中のピクセルの数を表す。

[0020]フレームｘが得られた後、図２の処理ブロック２０２のサブフレーム選択プロセスが開始する。サブフレームタイプＳが、Ｍ^２×１整数値ベクトルとして定義される。本明細書において、Ｍは、０よりも大きい任意の整数とすることができる。｛Ｓ^１，Ｓ^２，Ｓ^３，．．．｝は、サブフレームタイプのライブラリである。ピクセルにラスタ走査順に番号が付けられた場合に、フレームｘからの選択されたピクセルのセット中の各ピクセルｉにつき、サブフレームタイプｓ_ｉがライブラリから選択され、ベクトルｐ_ｉが

として形成され、ここで、

は、全ての要素が１に等しいＭ^２×１ベクトルである。一実施形態では、選択されないピクセルの場合、ｐ_ｉは０のベクトルである。選択されたピクセルのセットは、所定とすることもでき、或いはベクトルＯＰ内で信号伝達することもできる。この実施形態では、画像中の各ピクセルにつき、サブフレームが形成され処理される。すなわち、選択されたピクセルのセットは、フレーム中のピクセルのセット全体である。しかし、別の実施形態では、画像中の全てのピクセルに対してではなく、ピクセルの選択されたサブセットのみに対して処理が実施されてもよい。サブセットは、所定とすることもでき、或いはサイド情報の一部として信号伝達することもできる。図１３に、このようなサブセットの例を示す。本明細書に述べる教示により他のサブセットを使用してもよい。サブフレームと呼ばれるＭ^２×１ベクトルｚ_ｉが、ｐ_ｉの要素に対応する位置におけるフレームｘのピクセル値を用いて形成される。ピクセルｉは、サブフレームｚ_ｉに対するピボットと呼ばれる。図４に、ピクセルにラスタ走査順に番号が付けられたときの、ピクセルｉにおける例示的なサブフレームｚ_ｉを示す。図４を参照すると、ピクセルのラスタ走査順序付けは、この順序で「１」からピクセルに番号を付けることによって行われる。サブフレームがピクセルｉでピボットされるのが示されている。サブフレームは、ワープ行と呼ばれるＭ個のベクトルに編成される。第１のワープ行は、この順序でサブフレーム要素１〜Ｍを有し、第２のワープ行は、要素（Ｍ＋１）〜２Ｍを有し、以下同様である。

[0021]一実施形態では、Ｍは４に等しく、サブフレームタイプのライブラリは、図３に示すマスクのセットに対応する。図３を参照すると、このサブフレームライブラリでは、マスクは、矢印で示されるような種々の方向に対応する。図３の（Ａ）のマスクは、通常の水平又は垂直方向に対応するので、本明細書ではこれを通常マスクと呼ぶ。他のマスクは、非自明な方向に対応するので、有向マスクと呼ぶ。マスク中のピクセル（「ａ」〜「ｐ」）の差分位置（Ω）は、Ω＝Ｃ_Ｃ＋Ｗ×Ｃ_Ｒとして定義され、ここで、Ｗはフレームｙの幅である。Ｃ_Ｃは、当該の現在ピクセルの列に達するためにピクセル「ａ」の列から右に水平に移動させる必要のある列の数である。Ｃ_Ｒは、当該の現在ピクセルの行に達するためにピクセル「ａ」の行から下に垂直に移動させる必要のある行の数である。例えば、図３の（Ｈ）のマスクの場合、ピクセル「ｃ」は、Ｃ_Ｃ＝−１及びＣ_Ｒ＝２を有する。あるマスクに対応するサブフレームタイプは、「ａ」から「ｐ」まで順序付けられたそのマスク中のピクセルの差分位置を含むベクトルである。

[0022]一実施形態では、ピクセルに対するサブフレームタイプの選択は、常に通常マスクに対応するサブフレームタイプを選択することによって行われる。別の実施形態では、ピクセルに対するサブフレームタイプの選択は、選択された各ピクセルにつき、（１）形成されたサブフレームにわたる２次元ＤＣＴをサブフレームタイプごとに評価することによって、且つ（２）所与のしきい値Ｔについて、Ｔよりも大きい０でない変換係数の数を最小限にするサブフレームタイプを選択することによって、行われる。さらに別の実施形態では、ピクセルに対するサブフレームタイプの選択は、選択された各ピクセルにつき、全てのワープ行にわたって平均されたピクセル値のワープ行分散を最小限にするサブフレームタイプを選択することによって行われる。さらに別の実施形態では、ピクセルに対するサブフレームタイプの選択は、Ｋ×Ｌピクセルのブロックに対して、サブフレームタイプに対する各ピクセル票（ｖｏｔｅ）（全てのワープ行にわたって平均されたピクセル値のワープ行分散を最小限にするサブフレームタイプに基づく）を有することによって、且つ、Ｋ×Ｌブロック中の全てのピクセルについて票が最も多いサブフレームタイプを選択することによって行われ、ここで、Ｋ及びＬは、０よりも大きい任意の整数とすることができる。一実施形態では、Ｋ及びＬは、全て４に設定される。さらに別の実施形態では、ピクセルに対するサブフレームタイプの選択は、各ピクセルにつき、Ｋ×Ｌピクセルのブロックを形成し、このブロックに対して上記投票方式を使用してサブフレームタイプを選択することによって行われる。各ケースで、選択されたサブフレームタイプは、現在ピクセルに使用される。したがって、各マスクに対するこれらの測定された統計のうちの１つを使用して、サブフレームの選択が実施される。

[0023]図３に示すマスク以外のマスクを使用してもよいことに留意されたい。

[0024]図５は、サブフレーム選択処理の一実施形態の流れ図である。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。

[0025]図５を参照すると、プロセスは、処理ロジックが、フレームｘを受け取り、サブフレームがピクセル適応であるかどうか判定することによって開始する（処理ブロック５０１）。サブフレームがピクセル適応でない場合は、処理ロジックは、全てのピクセルに対して通常サブフレームタイプを選択する（処理ブロック５０２）。フレームｘのサブフレームがピクセル適応である場合は、処理ロジックは、各ピクセルにつき、ワープ行分散を最小限にするサブフレームタイプをマークする（処理ブロック５０３）。これは、前述のようにサブフレームタイプのライブラリ（５１０）を使用して行われる。したがって、各ピクセルにつき、サブフレームタイプのライブラリのうち、ワープ行分散を最小限にするサブフレームタイプがマークされる。

[0026]次に、処理ロジックは、選択がブロックベースであるかどうか判定する（処理ブロック５０４）。選択がブロックベースであると処理ロジックが判定した場合は、処理ロジックは、各ブロック中で、各サブフレームタイプをマークしたピクセルの数をカウントし（処理ブロック５０６）、ブロック中の全てのピクセルに対して、そのブロック中で最も多くのピクセルによってマークされたサブフレームタイプを選択する（処理ブロック５０７）。言い換えれば、選択がブロックベースの場合、ブロック中の最も多くのピクセルによってマークされたサブフレームタイプが、そのブロック中の全てのピクセルに対して選択される。選択がブロックベースでないと処理ロジックが判定した場合は、処理ロジックは、各ピクセルに対して、そのピクセルによってマークされたサブフレームタイプを選択する（処理ブロック５０５）。言い換えれば、各ピクセルは、それ自体によってマークされたサブフレームタイプを選択する。

[0027]各ピクセルに対するサブフレームタイプの選択は、ベクトルＯＰ内で信号伝達することができる。

[0028]サブフレームタイプｓ_ｉを使用してベクトル

が形成され、ここで、ｍ_ｉは整数であり、

は、全ての要素が１に等しいＭ^２×１ベクトルである。処理ロジックはまた、

の要素に対応する位置における過去の出力フレーム

のピクセル値を用いて、

（やはりサブフレームである）で示されるＭ^２×１ベクトルも形成する（処理ブロック２０３）。

[0029]ｍ_ｉの選択は、いくつかの異なる方式で行うことができる。代替実施形態では、ｍ_ｉの選択は、以下の方法のうちの１つで実施される。

ｉ．ｍ_ｉ＝ｉ
ｉｉ．全ての可能な値から、ｚ_ｉと

との間のｐ−ノルム（ｐ≧０）である

が最小限になるようなｍ_ｉを選択する。

ｉｉｉ．上記「ｉｉ」に基づいてｍ_ｉを選択するが、探索セットを｛ｊ：ｊ＝ｉ＋ｊ_ｈ＋Ｗ×ｊ_ｖ｝に制限し、ここで、Ｗはフレーム

の幅であり、ｊ_ｈ，ｊ_ｖ∈｛−Ｊ，−（Ｊ−１），．．．，−１，０，１，．．．，Ｊ−１，Ｊ｝である。Ｊは、０以上の任意の整数である。一実施形態では、オプション「ｉｉｉ」が使用されるときは、Ｊの値は２に設定され、２−ノルムが使用される。

ｉｖ．上記「ｉｉｉ」に基づいてｍ_ｉを計算し、値ｋ＝ｋ_ｈ＋Ｗ×ｋ_ｖをｍ_ｉに加える。ここで、Ｗはフレーム

の幅であり、ｋ_ｈ，ｋ_ｖは、セット｛−Ｋ，−（Ｋ−１），．．．，−１，０，１，．．．，Ｋ−１，Ｋ｝からのランダム生成された値である。Ｋは、０以上の任意の整数である。

ｍ_ｉの選択は、ベクトルＯＰ内で信号伝達することができる。

[0030]別の実施形態では、強度補償や非線形予測フィルタなど（ただしこれらに限定されない）の技法を使用して過去の出力フレーム

が処理されて、例えば輝度変化や場面フェードなどの問題が補償された後で、サブフレーム

が形成される。

[0031]図６は、過去の出力フレームからのサブフレーム形成プロセスの一実施形態の流れ図である。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。

[0032]図６を参照すると、プロセスは、処理ロジックが探索セット｛ｍ^１，ｍ^２，．．．｝を使用することによって開始し、各値ｍ^ｊにつき、以下の式に従って

を計算する（処理ブロック６０１）。

[0033]次に、処理ロジックは、

を使用して、フレーム

からサブフレーム

を形成する（処理ブロック６０２）。次いで処理ロジックは、各ｊにつき、ｐ−ノルム

を計算する（処理ブロック６０３）。

[0034]ｐ−ノルムを計算した後、処理ロジックは、最小のｐ−ノルムを与えるようなｍ^ｋを選択する。ｍ_ｉをｍ^ｋに等しく設定し、式

に従って

を設定し、

を使用してサブフレーム

を形成する（処理ブロック６０４）。

空間変換の選択及び適用
[0035]図２の処理ブロック２０４の一部として、処理ロジックはまた、空間変換の選択及び適用を実施する。より具体的には、処理ロジックは、ピクセル適応ワープ空間変換Ｈ_ｉを使用して、サブフレームｚ_ｉ及び

を、ｅ_ｉ及び

にそれぞれ変換する。この変換は「ワープ」と呼ばれる。その理由は、変換基底のサポートが、サブフレーム形状に合致するようにワープしたからである。この変換はピクセル適応と呼ばれる。その理由は、サブフレームタイプの選択がピクセルごとに異なることに加えて、異なるピクセルにおいてピボットされるサブフレームが、異なる変換を使用することができるからである。変換Ｈ_ｉは、分離ＤＣＴ、非分離ＤＣＴ、２次元ガボールウェーブレット、ステアラブル（Ｓｔｅｅｒａｂｌｅ）ピラミッド、２次元有向ウェーブレット、カーブレット（Ｃｕｒｖｅｌｅｔ）、及びコンタレット（Ｃｏｎｔｏｕｒｌｅｔ）などの、変換のライブラリから選択することができる。一実施形態では、使用される空間変換は、非適応方式の正規直交分離２次元ＤＣＴである。別の実施形態では、使用される空間変換は、非適応方式の正規直交分離２次元アダマール変換である。

[0036]分離変換は、ワープされた後で非分離になることに留意されたい。変換の選択は、アプリオリに固定されていてもよく、或いは、異なるピクセルにおいてピボットされる異なるサブフレームに対して適応的であってもよい。適応の場合、選択される変換は、絶対値がマスタしきい値

よりも大きいｅ_ｉ中の係数の数が最も少ない変換である。

[0037]図７に、サブフレームに対する空間変換選択プロセスの一実施形態の流れ図を示す。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。

[0038]図７を参照すると、プロセスは、変換がピクセル適応であるかどうかを処理ロジックがテストすることによって開始する（処理ブロック７０１）。このテストは、リストを参照することによって実施することができる。一実施形態では、リストは、変換が非適応であるようなリストとすることができる。別の実施形態では、リストは、ベクトルＯＰ内で信号伝達することができる。変換がピクセル適応でないと処理ロジックが判定した場合は、処理ロジックは、変換Ｈ_ｉとして使用するための２次元正規直交分離ＤＣＴを選択し、変換をサブフレームｚ_ｉに適用することによって変換係数ｅ_ｉを生成し、変換をサブフレーム

に適用することによって変換係数

を生成する（処理ブロック７０２）。

[0039]変換がピクセル適応であると処理ロジックが判定した場合は、処理ロジックは、変換のライブラリ｛Ｈ^１，Ｈ^２，．．．．｝（処理ブロック７０４）中の各変換Ｈ^ｊにつき、以下の式
ｅ^ｊ＝Ｈ^ｊ×ｚ_ｉ
を使用して変換係数ｅ^ｊを計算する（処理ブロック７０３）。変換係数ｅ^ｊは、変換Ｈ^ｊに対応する。

[0040]次に、処理ロジックは、各ｊにつき、絶対値がしきい値

よりも大きいｅ^ｊ中の係数の数をカウントし（処理ブロック７０５）、最少カウントの変換Ｈ^ｋを変換のライブラリから選択し、変換Ｈ_ｉを、最少カウントに対応する変換（Ｈ^ｋ）に等しく設定し、次いで、係数ｅ_ｉを変換係数ｅ^ｋに等しく設定し、変換Ｈ_ｉをサブフレーム

に適用することによって変換係数

を生成する（処理ブロック７０６）。

[0041]空間変換の選択は、ベクトルＯＰ内で信号伝達することができる。

しきい値処理
[0042]図２の処理ブロック２０４の一部として、処理ロジックはまた、しきい値処理を実施する。より具体的には、処理ロジックは、ｅ_ｉの選択された要素に適応しきい値

を適用してａ_ｉを得る。一実施形態では、ｅ_ｉの全ての要素が選択される。別の実施形態では、第１の要素（通常はＤＣ要素）を除いた全ての要素が選択される。さらに別の実施形態では、どの要素も選択されない。変換係数ｅ_ｉはまた、マスタしきい値

を使用してしきい値処理されて、

が得られる。しきい値処理操作は、例えばハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。ハードしきい値処理操作は、

として定義され、ここで、Ｔは、使用されるしきい値である。同様に、Ｔをしきい値とするソフトしきい値処理操作は、以下のように定義される。

代替実施形態では、しきい値

が、以下の方法のうちの１つで計算される。

ここで、ｆ（ ）は関数を表す。

ここで、ｆ（ ）は関数を表す。

関数ｆ（ ）は、図１１に示すような単調減少階段関数である。一実施形態では、関数のステップ位置（ｆ_１，ｆ_２，．．．，ｆ_ｎ及びＥ_１，Ｅ_２，．．．，Ｅ_ｎ）が訓練セットに対して調整されて、再構築画像／ビデオ品質における局所最適が達成される。一実施形態では、このしきい値計算は、ハードしきい値処理で使用される。
(6)

の可能な値に対して探索を実施して、

であるようなａ_ｉ中の０でない要素の数を最小限にする。Ｅ_{ｌｏｃａｌ}はサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像／ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
(7)

の可能な値に対してジョイント探索を実施して、

であるような、全てのｋ∈｛１，２，．．．，Ｎ｝にわたって合計されたａ_ｋ中の０でない要素の総数を最小限にする。Ｅ_{ｇｌｏｂａｌ}はサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像／ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。

の値は、ベクトルＯＰ内で信号伝達することができる。別の実施形態では、

を計算するのに使用されるオプションの選択を、ベクトルＯＰ内で信号伝達することができる。

[0043]

の選択された要素に適応しきい値

が適用されて、

が得られる。一実施形態では、

の全ての要素が選択される。別の実施形態では、第１の要素（通常はＤＣ要素）を除いた全ての要素が選択される。さらに別の実施形態では、どの要素も選択されない。変換係数

はまた、マスタしきい値

を使用してしきい値処理されて、

が得られる。しきい値処理操作は、前述のハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。

[0044]代替実施形態では、しきい値

は、以下の方法のうちの１つで計算される。

ここで、ｆ（ ）は関数を表す。

ここで、ｆ（ ）は関数を表す。

関数ｆ（ ）は、図１１に示すような単調減少階段関数である。関数のステップ位置（ｆ_１，ｆ_２，．．．，ｆ_ｎ及びＥ_１，Ｅ_２，．．．，Ｅ_ｎ）が訓練セットに対して調整されて、局所最適が達成される。一実施形態では、このしきい値計算が使用され、ハードしきい値処理がしきい値処理操作に使用される。
(6)

の可能な値に対して探索を実施して、

であるような

中の０でない要素の数を最小限にする。Ｅ_{ｌｏｃａｌ}はサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像／ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。
(7)

の可能な値に対してジョイント探索を実施して、

であるような、全てのｋ∈｛１，２，．．．，Ｎ｝にわたって合計された

中の０でない要素の総数を最小限にする。Ｅ_{ｇｌｏｂａｌ}はサイド情報の一部とすることができ、或いはデフォルト値を使用してもよい。これは、アルゴリズムに関する設定と見なすことができる。一実施形態では、デフォルト値は、訓練セットに対して調整して、再構築画像／ビデオ品質における局所最適を達成する値を選択することによって、得ることができる。

一実施形態では、

の値は、ベクトルＯＰ内で信号伝達される。別の実施形態では、

を計算するのに使用されるオプションの選択が、ベクトルＯＰ内で信号伝達される。

時間変換の選択及び適用
[0045]処理ブロック２０５で、処理ロジックは、しきい値処理の結果、すなわちベクトルａ_ｉ及び

を使用して、Ｍ^２×２行列

を形成する。本明細書において、関数ｈ（ ）は、輝度変化に合致するための、

の全ての要素の恒等関数若しくは単純な線形スケーリング、又は、フェードなどのより複雑な場面特性を取り込むためのより一般的な関数とすることができる。処理ロジックは、ピクセル適応時間変換Ｇ_ｉを使用して、

をｂ_ｉに変換する。

変換Ｇ_ｉは、変換のライブラリから選択することができる。変換は、ピクセル適応と呼ばれる。その理由は、異なるピクセルにおいてピボットされるサブフレームが、異なる変換を使用することができるからである。適応の場合、選択される変換は、絶対値がマスタしきい値

よりも大きいｂ_ｉ中の係数の数が最も少ない変換である。

[0046]図８は、時間変換選択プロセスの一実施形態の流れ図である。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。

[0047]図８を参照すると、プロセスは、変換がピクセル適応であるかどうかを処理ロジックがテストすることによって開始する（処理ブロック８０１）。このテストは、リストを参照することによって実施することができる。一実施形態では、リストは、変換が非適応であるようなリストとすることができる。別の実施形態では、リストは、ベクトルＯＰ内で信号伝達することができる。変換がピクセル適応でないと処理ロジックが判定した場合は、処理ロジックは、デフォルト時間変換に基づいて変換Ｇ_ｉを選択し、変換Ｇ_ｉを行列

に適用することによって変換係数ｂ_ｉを生成する（処理ブロック８０２）。一実施形態では、使用されるデフォルト時間変換はハール変換、すなわち

である。時間変換の選択は、ベクトルＯＰ内で信号伝達することができる。

[0048]変換がピクセル適応であると処理ロジックが判定した場合は、処理ロジックは、変換のライブラリ｛Ｇ^１，Ｇ^２，．．．．｝（処理ブロック８０４）中の各変換Ｇ^ｊにつき、式

を使用して変換係数ｂ^ｊを計算する（処理ブロック８０３）。

変換係数ｂ^ｊは、変換Ｇ^ｊに対応する。

[0049]次に、処理ロジックは、各ｊにつき、絶対値がマスタしきい値

よりも大きいｂ^ｊ中の係数の数をカウントし（処理ブロック８０５）、次いで、最少カウントの変換Ｇ^ｋを変換のライブラリから選択し、変換Ｇ_ｉを、最少カウントに対応する変換（Ｇ^ｋ）に等しく設定し、次いで、係数ｂ_ｉを変換係数ｂ^ｋに等しく設定する（処理ブロック８０６）。

時間変換後のしきい値処理
[0050]変換係数ｂ_ｉを生成した後、

を使用して変換係数ｂ_ｉがしきい値処理されて、ｃ_ｉが得られる（図２の処理ブロック２０６）。しきい値処理操作は、前述のように、ハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。しきい値処理の選択は、ベクトルＯＰ内で信号伝達することができる。

[0051]一実施形態では、図９に示すようにハードしきい値処理が使用される。図９を参照すると、このハードしきい値処理は、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。

[0052]このハードしきい値処理は、マスタしきい値

及び係数ｂ_ｉを入力として使用して、処理ロジックが、各要素ｂ_ｉｊ∈ｂ_ｉにつき、以下の式

に従って対応する要素ｃ_ｉｊ∈ｃ_ｉを計算することによって開始する（処理ブロック９０１）。このようにして、処理ロジックは、絶対値がマスタしきい値

よりも小さい全ての係数を０に設定し、これらの係数はｃ_ｉとして記憶される。

[0053]一実施形態では、アプリオリに選択されたｂ_ｉのいくつかの要素は、しきい値処理されず、ｃ_ｉ中のそれぞれの位置に直接コピーされる。特定の一実施形態では、ｂ_ｉの第１の列中の要素はしきい値処理されない。しきい値処理されない要素のセットの選択は、ベクトルＯＰ内で信号伝達することができる。

[0054]一実施形態では、任意選択で、式ｃ_ｉｊ＝ｃ_ｉｊ＊α_ｊ０＋α_ｊ１を使用して要素ｃ_ｉｊ∈ｃ_ｉを向上させ、ここで、パラメータα_ｊ０、α_ｊ１は訓練セットに対して調整されて、再構築画像／ビデオ品質における局所最適が達成される。このような操作は、図２の処理ブロック２０６の後に行われることに留意されたい。一実施形態では、これらのパラメータはベクトルＯＰ内で信号伝達することができる。

逆変換
[0055]しきい値処理の後、処理ロジックは、

を使用して係数を逆変換して（時間変換により）、

を得る（処理ブロック２０７）。処理ロジックはまた、ｄ_ｉに逆変換（空間）

を適用して、処理済みサブフレーム

を得る（処理ブロック２０８）。

[0056]一実施形態では、前の反復によって出力された過去フレームを使用せずに、現在フレームが処理される。この実施形態では、ベクトル

及び、行列

は計算されない。ベクトルｄ_ｉは、ｄ_ｉ＝ａ_ｉとして得られ、ｄ_ｉに逆変換（空間）

が適用されて、処理済みサブフレーム

が得られる。

[0057]別の実施形態では、単に直前の過去出力フレーム

を使用するのではなく、画像処理の結果として出力された過去フレームのセット

を使用することができる。Ｎ_ＰＦが、セット中の過去フレームの数を示すものとする。この場合、セット中の各過去フレームは、前述と同様にして、

の１つの列に貢献する。出力フレーム

は、

の形で第２の列に貢献し、出力フレーム

は、

の形で第３の列に貢献し、以下同様である。一実施形態では、

、ｂ_ｉ、ｃ_ｉ、及びｄ_ｉは、サイズＭ^２×（Ｎ_ＰＦ＋１）であり、Ｇ_ｉは、サイズ（Ｎ_ＰＦ＋１）×（Ｎ_ＰＦ＋１）である。

サブフレームの結合
[0058]しきい値処理された係数に逆変換を適用した後、全ての処理済みサブフレームが重み付き方式で結合されて、フレームｙが形成される。一実施形態では、各処理済みサブフレーム

につき、重みｗ_ｉが計算される。代替実施形態では、ｅ_ｉ及びａ_ｉに基づく重みが、以下の方法のうちの１つで計算される。
(1) ｗ_ｉ＝１
(2) ｗ_ｉ＝ｆ（ｅ_ｉ，ａ_ｉ） ここで、ｆ（ ）は関数を表す。
(3) ＭＳＥオプション１：

ここで、ｅ_ｍｉｎは定数である。
(4) Ｌ−ｐノルム（ｐ≧０）オプション１：

ここで、ｎ_ｍｉｎは定数である。
(5) 調整重みオプション１：

ここで、ｆ_ｔ（ ）は、セット｛１，２，．．．，Ｍ^２｝（

の可能な値のセット）から［０，１］へのマッピングを表す。シミュレーテッドアニーリングなどの最適化アルゴリズムを使用してｆ_ｔ（ ）が調整されて、訓練ビデオのセットに対する最良の性能（ＰＳＮＲなどのメトリクスを使用して、又は主観的スコアを使用して測定される）が得られる。
(6) 他の実施形態では、ｂ_ｉ及びｃ_ｉに基づく重み付けのための重みを、以下の方法のうちの１つで計算することができる。
(7) ｗ_ｉ＝ｆ（ｂ_ｉ，ｃ_ｉ） ここで、ｆ（ ）は関数を表す。
(8) ＭＳＥオプション２：

ここで、ｅ_ｍｉｎは定数である。
(9) Ｌ−ｐノルム（ｐ≧０）オプション２：

ここで、ｎ_ｍｉｎは定数である。
(10) 調整重みオプション２：

ここで、ｆ_ｔ（ ）は、セット｛１，２，．．．，２Ｍ^２｝（

の可能な値のセット）から［０，１］へのマッピングを表す。シミュレーテッドアニーリングなどの最適化アルゴリズムを使用してｆ_ｔ（ ）が調整されて、訓練ビデオのセットに対する最良の性能（ＰＳＮＲなどのメトリクスを使用して、又は主観的スコアを使用して測定される）が得られる。

マッピングｆ_ｔ（ ）及び計算された重みのうち少なくとも一方は、ベクトルＯＰ内で信号伝達することができる。

[0059]重み付き方式で、処理済みサブフレーム

（全てのピクセルに対応する）が共に結合されてｙが形成される。このプロセスの一実施形態を、ｊ番目のピクセルの値であるｙ_ｊについて述べる。
１．ｙ_ｊ＝０及びｎ_ｊ＝０に設定する。ここで、ｎ_ｊは、ｊ番目のピクセルに対する正規化係数である。
２．各処理済みサブフレーム

につき、
ａ．ピクセルｊがｐ_ｉの一部である場合、
i)ｋ＝ｐ_ｉ中のピクセルｊのインデックス
ii)

ここで、

は、処理済みサブフレーム

中のピクセルｊの値である。
iii)ｎ_ｊ＝ｎ_ｊ＋ｗ_ｉ
３．

[0060]図１０は、全ての処理済みサブフレームを結合してフレームｙを形成するプロセスの一実施形態の流れ図である。このプロセスは、ハードウェア（回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム上若しくは専用マシン上で実行されるものなど）、又はこれらの組合せを含むことのできる、処理ロジックによって実施される。

[0061]図１０を参照すると、プロセスは、フレームｙ中の各ピクセルｍ＝１：Ｎにつき、その値ｙ_ｍ及びその正規化因子ｎ_ｍを０に設定することによって開始する（処理ブロック１００１）。次に、処理ロジックは、ピクセルインデックスｊ及びサブフレームインデックスｉを１に初期化する（処理ブロック１００２）。

[0062]初期化の後、処理ロジックは、ピクセルｊ∈ｐ_ｉであるかどうか判定する（処理ブロック１００３）。そうである場合は、プロセスは処理ブロック１００４に移行する。そうでない場合は、プロセスは処理ブロック１００５に移行する。

[0063]処理ブロック１００４で、一実施形態では、処理ロジックは、

中のピクセルｊの値である

を使用して、且つ前述のように重みｗ_ｉを使用して、ｙ_ｊ及びｎ_ｊを更新する。一実施形態では、重みは、以下に従って計算される。

[0064]処理ブロック１００４で、ｋは、ｐ_ｉ中のピクセルｊのインデックスに等しい。一実施形態では、処理ロジックは、以下の式に基づいてｙ_ｊ及びｎ_ｊを更新する。

ｎ_ｊ＝ｎ_ｊ＋ｗ_ｉ
処理ロジックがｙ_ｊ及びｎ_ｊを更新した後、プロセスは処理ブロック１００５に移行する。

[0065]処理ブロック１００５で、処理ロジックは、インデックスｉ＝Ｎ、すなわちフレーム中のピクセルの総数であるかどうかチェックする。そうである場合は、プロセスは処理ブロック１００７に移行する。そうでない場合は、プロセスは処理ブロック１００６に移行する。処理ブロック１００６で、インデックスが１つインクリメントされ、プロセスは処理ブロック１００３に移行する。

[0066]処理ブロック１００７で、処理ロジックは、以下の式に従ってｙ_ｊを更新する。

[0067]ｙ_ｊを更新した後、処理ロジックは、インデックスｉを１に等しく設定し（処理ブロック１００８）、インデックスｊがＮに等しいかどうかチェックする（処理ブロック１００９）。そうである場合は、プロセスは終了する。そうでない場合は、プロセスは処理ブロック１０１０に移行し、インデックスｊが１つインクリメントされる。インデックスｊを１つインクリメントした後、プロセスは処理ブロック１００３に移行する。

[0068]フレームｙは、現在の入力フレームｘに対応する出力である。処理すべきフレームがまだある場合、処理ロジックは、現在の入力フレームｘを更新し、ｙを

にコピーし、図２に示すようにプロセスを繰り返す（処理ブロック２１２）。

[0069]一実施形態では、フレームｙは、ピクセル領域又は変換領域においてさらに画像／ビデオ処理を経る。一実施形態では、アンシャープマスキングをフレームｙに対して実施して、高周波数ディテールを向上させる。別の実施形態では、サイズＰ×Ｐピクセルの複数のブロックがフレームｙから形成され、ここでＰは整数であり、各Ｐ×Ｐブロックｆは、２次元ＤＣＴや２次元アダマールなどのブロック変換を経て、別のＰ×Ｐブロックｈが生成される。Ｐ×Ｐブロックｈの要素であるｈ（ｉ，ｊ）（０≦ｉ，ｊ≦Ｐ−１）が処理されて、ｈ（ｉ，ｊ）＝ｈ（ｉ，ｊ）＊α（ｉ，ｊ）であるような向上Ｐ×Ｐブロック

が形成される。代替実施形態では、以下の方法のうちの１つで向上因子α（ｉ，ｊ）を計算することができる。

ａ．α（ｉ，ｊ）＝α_０＊（ｉ＋ｊ）^β＋α_１
ｂ．α（ｉ，ｊ）＝α_０＊ｉ^β＊ｊ^δ＋α_１
ここで、パラメータ（α_０、α_１、β、及びδ）は訓練セットに対して調整されて、再構築画像／ビデオ品質における局所最適が達成される。一実施形態では、これらのパラメータはベクトルＯＰ内で信号伝達することができる。上記操作は、図２の処理ブロック２１０の後に行われることに留意されたい。向上Ｐ×Ｐブロックは、逆変換され結合されて、フレームｙの向上バージョンが形成される。

代替画像処理実施形態
[0070]代替の一実施形態では、図２に述べたプロセスを修正して、より複雑度の低いアルゴリズムを得ることができ、以下、このアルゴリズムを低複雑度（ｌｏｗｅｒ−ｃｏｍｐｌｅｘｉｔｙ）技法と呼ぶ。図１２に、低複雑度技法をフローチャートによって示す。この実施形態では、フレームｙは、現在の入力フレームｘに対応する低複雑度技法の出力であり、処理すべきフレームがまだある場合は、現在の入力フレームｘを更新し、ｙを

にコピーし、図１２に示すようにプロセスを繰り返す。

[0071]図１２を参照すると、プロセスは、処理ロジックが、

であるように、現在の入力フレームｘ及び過去の出力フレーム

を使用してフレーム

を形成することによって開始し、ここで、ｗ_ｚ、ｗ_ｙは実数であり、ｍは整数である（処理ブロック１２０１）。本明細書において、表記（ｊ）は、当該フレーム中のピクセルｊ（ラスタ走査順に番号が付けられた）の値を示す。例えば、

は、フレーム

の５番目のピクセルの値を表す。一実施形態では、ｗ_ｚ＝０．５であり、ｗ_ｙ＝０．５である。一実施形態では、値ｗ_ｚ及びｗ_ｙはベクトルＯＰ内で信号伝達される。

[0072]代替実施形態では、ｍの選択は、以下の方法のうちの１つで行うことができる。
i) ｍ＝０
ii) 全ての可能な値から、

のｐ−ノルム（ｐ≧０）である

が最小限になるようなｍを選択する。
iii) 上記「ｉｉ」に基づいてｍを選択するが、探索セットを｛ｊ：ｊ＝ｊ_ｈ＋Ｗ×ｊ_ｖ｝に制限する。ここで、Ｗはフレームｘの幅であり、ｊ_ｈ、ｊ_ｖ∈｛−Ｊ，−（Ｊ−１），．．．，−１，０，１，．．．，Ｊ−１，Ｊ｝である。Ｊは、０以上の任意の整数である。

一実施形態では、ｍの選択は、ベクトルＯＰ内で信号伝達することができる。

[0073]別の実施形態では、

の代わりに、

の処理済みバージョンを使用して輝度変化や場面フェードなどの問題が補償されて、フレーム

が形成される。この場合、処理は、強度補償及び非線形予測フィルタなどの技法を含むが、これらに限定されない。

[0074]処理ロジックは、ｐ_ｉの要素に対応する位置におけるフレームｘのピクセル値を用いて、サブフレームと呼ばれるＭ^２×１ベクトルｚ_ｉを形成する。ピクセルｉは、サブフレームｚ_ｉに対するピボットと呼ばれる（処理ブロック１２０２）。ｐ_ｉの要素に対応する位置におけるフレーム

のピクセル値を用いて、

で示されるＭ^２×１ベクトル（やはりサブフレームである）が形成される（処理ブロック１２０２）。

[0075]処理ロジックは、空間変換Ｈ_ｉを選択し、この空間変換をサブフレームｚ_ｉ及び

に適用して、ベクトルｅ_ｉ及び

をそれぞれ得る（処理ブロック１２０３）。

[0076]処理ロジックは、前述と同じプロセスを使用して、

から適応しきい値

を計算し、ｅ_ｉの選択された要素に適応しきい値

を適用してａ_ｉを得る（処理ブロック１２０３）。一実施形態では、ｅ_ｉの全ての要素が選択される。別の実施形態では、第１の要素（通常はＤＣ要素）を除いた全ての要素が選択される。しきい値処理操作は、前述のように、ハードしきい値処理及びソフトしきい値処理など、様々な方法で行うことができる。

[0077]ｅ_ｉの選択された要素に適応しきい値

を適用した後、処理ロジックは、ａ_ｉ、ｅ_ｉ、

を使用して、且つ、しきい値

を使用して、ベクトルｄ_ｉを形成する（処理ブロック１２０４）。ａ_ｉｊ、ｅ_ｉｊ、

、及びｄ_ｉｊが、それぞれベクトルａ_ｉ、ｅ_ｉ、

及びｄ_ｉ中のｊ番目の要素を表すものとし、ここで、ｊ∈｛１，２，．．．，Ｍ^２｝である。代替実施形態では、値ｄ_ｉｊは、以下の方法のうちの１つで計算される。

一実施形態では、ｄ_ｉｊを計算するのに使用されるオプションの選択が、ベクトルＯＰ内で信号伝達される。

[0078]その後、処理ロジックは、ベクトルｄ_ｉに逆空間変換を適用してサブフレーム

を生成し（処理ブロック１２０５）、処理ブロックの残り１２０６、１２０７、１２０８、及び１２０９は、図２中のそれぞれの相当ブロック２０９、２１０、２１１、及び２１２として作用して、プロセスは完了する。

[0079]前述の各実施形態では、オプショナルパラメータベクトルＯＰ又はその一部を、コーデック、カメラ、超解像度プロセッサなどを含めた（ただしこれらに限定されない）任意のモジュールによって信号伝達することができる。パラメータベクトルを構築するための単純な方法の１つは、次のとおりである。各選択が、ベクトル中の２つの要素を使用して信号伝達される。ｎ番目の選択の場合、ＯＰ（２＊ｎ）＝０で、選択は信号伝達されない、または、ＯＰ（２＊ｎ）＝１で、選択は信号伝達される。このとき、ＯＰ（２＊ｎ）＝選択を表す値、である。ＯＰ（２＊ｎ）は、ＯＰ（２＊ｎ−１）＝１のときにのみ、設定される必要があり、使用される。

[0080]本明細書に述べた技法を使用して、ＲＧＢ、ＹＵＶ、ＹＣｂＣｒ、ＹＣｏＣｇ、及びＣＭＹＫを含めた（ただしこれらに限定されない）任意の色表現のビデオシーケンスを処理することができる。これらの技法は、色表現における、色チャネルの任意のサブセット（空集合又は全てのチャネル集合を含む）に適用することができる。一実施形態では、本明細書に述べた技法を使用して、ＹＵＶ色表現における「Ｙ」チャネルのみが処理される。Ｕ及びＶチャネルは、２次元ローパスフィルタ（例えばルガル（Ｌｅ Ｇａｌｌ）５／３ウェーブレットのＬＬ帯域フィルタ）を使用してフィルタリングされる。

[0081]本明細書に述べた技法を使用して、ビデオシーケンス中のフレームの事前選択済みセットのみを処理することができる。一実施形態では、１つおきのフレームが処理される。別の実施形態では、ビデオシーケンスの１つ又は複数の区分に属する全てのフレームが処理される。処理のために選択されたフレームのセットは、ＯＰ内で信号伝達することができる。

[0082]本明細書に述べた技法を圧縮／非圧縮ビデオシーケンスに適用することに加えて、これらの技法はまた、非線形雑音除去フィルタなどの事後処理を経た圧縮ビデオシーケンスに適用することもできる。さらに、これらの技法は、低解像度の圧縮／非圧縮ビデオシーケンスを超解像することによって得られるビデオシーケンスに適用することもできる。これらの技法はまた、フレームレート変換モジュールによってすでに処理されたか又はこれから処理されることになるビデオシーケンスに適用することもできる。

コンピュータシステムの例
[0083]図１４は、本明細書に述べた操作の１つ又は複数を実施することのできる例示的なコンピュータシステムのブロック図である。図１４を参照すると、コンピュータシステム１４００は、例示的なクライアント又はサーバコンピュータシステムを含むことができる。コンピュータシステム１４００は、情報を通信するための通信機構又はバス１４１１と、情報を処理するための、バス１４１１に結合されたプロセッサ１４１２とを備える。プロセッサ１４１２は、マイクロプロセッサに限定されないが、例えばペンティアム（登録商標）（Ｐｅｎｔｉｕｍ（登録商標））、パワーＰＣ（登録商標）（ＰｏｗｅｒＰＣ（登録商標））、アルファ（登録商標）（Ａｌｐｈａ（登録商標））などのマイクロプロセッサを含む。

[0084]システム１４００はさらに、情報、及びプロセッサ１４１２によって実行される命令を記憶するための、バス１４１１に結合されたランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶デバイス１４０４（メインメモリと呼ばれる）を備える。メインメモリ１４０４は、プロセッサ１４１２による命令の実行中に一時変数又は他の中間情報を記憶するのに使用することもできる。

[0085]コンピュータシステム１４００は、また、プロセッサ１４１２のための静的情報及び命令を記憶するための、バス１４１１に結合された読取専用メモリ（ＲＯＭ）及び他の静的記憶デバイスの少なくとも一方を含む静的記憶デバイス１４０６と、磁気ディスク又は光学ディスク及びそれに対応するディスクドライブなどのデータ記憶デバイス１４０７とを備える。データ記憶デバイス１４０７は、情報及び命令を記憶するためにバス１４１１に結合される。

[0086]コンピュータシステム１４００はさらに、情報をコンピュータユーザに対して表示するための、バス１４１１に結合された陰極線管（ＣＲＴ）や液晶表示装置（ＬＣＤ）などの表示デバイス１４２１に結合させることができる。情報及びコマンド選択をプロセッサ１４１２に通信するために、文字数字キー及び他のキーを備える文字数字入力デバイス１４２２をバス１４１１に結合させることもできる。追加のユーザ入力デバイスは、方向情報及びコマンド選択をプロセッサ１４１２に通信するため、及び表示装置１４２１上のカーソル移動を制御するための、バス１４１１に結合されたマウス、トラックボール、トラックパッド、スタイラス、又はカーソル方向キーなどのカーソルコントロール１４２３である。

[0087]バス１４１１に結合させることのできる別のデバイスは、ハードコピーデバイス１４２４であり、これは、紙、フィルム、又は類似のタイプの媒体上に情報を記すのに使用することができる。バス１４１１に結合させることのできる別のデバイスは、電話機又はハンドヘルドパームデバイスへの通信のための、有線／ワイヤレス通信機能１４２５である。

[0088]本発明では、システム１４００のいずれか又は全てのコンポーネント、及び関連するハードウェアを使用することができることに留意されたい。しかし、コンピュータシステムの他の構成がこれらのデバイスのいくつか又は全てを含むこともできることを理解することができる。

[0089]以上の記述を読んだ後には、本発明の多くの改変及び修正が当業者にはおそらく明らかになるであろうが、例示として図示及び記述したどんな特定の実施形態も、決して限定と見なされるべきものとはしないことを理解されたい。したがって、様々な実施形態の詳細への言及は、特許請求の範囲を限定するものとはせず、特許請求の範囲自体が、本発明に必須であると考えられる特徴のみを列挙する。

Claims (29)

1. 入力ビデオを受け取るステップと、
   空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
   を含み、
   空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための前記操作を実施するステップは、
   サブフレームごとの空間変換を使用して現在フレーム及び過去フレームのサブフレームを変換するサブステップと、
   各変換済みサブフレームに対する空間変換係数を適応しきい値によってしきい値処理するサブステップと、
   時間変換を使用して、しきい値処理された空間変換済み係数を変換するサブステップと、
   各変換済みサブフレームに対する時間変換係数をしきい値によってしきい値処理して、しきい値処理された時間変換済み係数を生み出すサブステップと、
   前記しきい値処理された時間変換係数を逆変換して、ピクセル領域における処理済みサブフレームを形成するサブステップと、
   前記処理済みサブフレームを結合して、新しいフレームを生み出すサブステップと、
   を含む方法。
2. 前記空間変換がワープ変換である、請求項１に記載の方法。
3. 各変換済みサブフレームに対する空間変換係数を適応しきい値によってしきい値処理する前記サブステップは、
   第１のしきい値を使用して、前記現在フレームの前記サブフレームから生成された係数に対するしきい値処理を実施すること、及び、
   第２のしきい値を使用して、前記過去フレームの前記サブフレームから生成された係数に対するしきい値処理を実施することを含み、
   前記第２のしきい値は、前記第１のしきい値から独立して計算される、請求項１に記載の方法。
4. 前記方法は、１つ又は複数の適応しきい値を計算するステップをさらに含み、
   各変換済みサブフレームに対する変換係数を適応しきい値によってしきい値処理する前記サブステップは、前記１つ又は複数の適応しきい値のうちの１つによって、各変換済みサブフレームに対する変換係数をしきい値処理することを含む、請求項１に記載の方法。
5. 前記方法は、
   前記新しいフレームに少なくとも１つの順方向変換を適用して、前記新しいフレームのデータを変換領域における係数に変換するステップと、
   前記係数に対して少なくとも１つのデータ処理を実施するステップと、
   データ処理後の前記係数に対して少なくとも１つの逆変換を適用するステップと、
   をさらに含む、請求項１に記載の方法。
6. 前記少なくとも１つのデータ処理は、
   前記係数に対しアンシャープマスキングを施すことと、前記係数に向上因子を適用することと、からなるグループの１つ又は複数を含む、請求項５に記載の方法。
7. 入力ビデオを受け取るステップと、
   空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
   を含み、
   前記操作は、
   入力ビデオの現在フレームから幾つかのピクセルにおけるサブフレームを選択し、出力ビデオの過去フレームから別のサブフレームを見つけること、
   ワープ空間変換を選択し、前記サブフレームを空間変換領域に変換すること、
   適応しきい値を導出し、前記現在フレームから選択したサブフレームの空間変換係数及び前記過去フレームから見つけたサブフレームの空間変換係数をしきい値処理すること、
   しきい値処理された空間変換係数に時間変換を適用し、時間変換係数の選択されたサブセットをしきい値処理すること、
   時間変換係数を、まず時間的に逆変換し、次いで空間的に逆変換して、処理済みサブフレームを得ること、並びに、
   現在フレームに属するサブフレームであって以前に処理されたサブフレームと、前記処理済みサブフレームとを結合して、出力ビデオの新しいフレームを生み出すこと、
   を含む方法。
8. 前記ワープ空間変換がピクセル適応性であり、前記適応しきい値がディテール保存性である、請求項７に記載の方法。
9. 前記過去フレームの前記サブフレームは、基準を満たすことに基づいて、突き止められる、請求項７に記載の方法。
10. 前記基準は、
    前記ピクセルの数と、
    前記現在フレームの前記選択されたサブフレームと前記過去フレームの前記見つけられたサブフレームとの間のｐ−ノルムの全ての値のうちの最小値と、
    前記現在フレームの前記選択されたサブフレームと前記過去フレームの前記見つけられたサブフレームとの間のｐ−ノルムの、前記過去フレームの幅と垂直及び水平オフセットとによって限定される範囲内の値のうちの最小値と、
    前記現在フレームの前記選択されたサブフレームと前記過去フレームの前記見つけられたサブフレームとの間のｐ−ノルムの、前記過去フレームの幅とランダムに選択された水平及び垂直オフセットとによって限定される範囲内の値のうちの最小値と、
    からなるグループ、のうちの１つに基づく、請求項９に記載の方法。
11. 適応しきい値を導出し、前記現在フレームから選択したサブフレームの空間変換係数及び前記過去フレームから見つけたサブフレームの空間変換係数をしきい値処理することは、
    変換係数の大きさがしきい値未満の場合は係数が０に設定されるハードしきい値処理を使用することを含む、請求項７に記載の方法。
12. 適応しきい値を導出し、前記現在フレームから選択したサブフレームの空間変換係数及び前記過去フレームから見つけたサブフレームの空間変換係数をしきい値処理することは、ソフトしきい値処理を使用することを含む、請求項７に記載の方法。
13. 前記方法は、
    前記入力ビデオからの別のフレームに最もよく合致する、前記出力ビデオの出力ビデオフレームを選択するステップと、
    前記出力ビデオフレームを前記過去フレームとして使用して前記操作を実施するステップと、
    をさらに含む、請求項７に記載の方法。
14. 前記方法は、
    前記サブフレームがあらゆるピクセルにおいて規則的であるように当該サブフレームを設定するステップ、をさらに含む、請求項７に記載の方法。
15. 前記方法は、
    変換をサブフレームごとに適応的に選択するステップ、をさらに含む、請求項７に記載の方法。
16. 前記方法は、
    サブフレームを各ピクセルにおいて適応的に選択するステップ、をさらに含む、請求項７に記載の方法。
17. 前記方法は、
    １つ又は複数の適応しきい値を計算するステップをさらに含み、
    各変換済みサブフレームに対する変換係数を適応しきい値によってしきい値処理することは、前記１つ又は複数の適応しきい値のうちの１つによって、各変換済みサブフレームに対する変換係数をしきい値処理することを含む、請求項７に記載の方法。
18. 前記方法は、
    各ピクセルにおいて選択されたサブフレームに対して前記変換を適応的に選択するステップ、をさらに含む、請求項１７に記載の方法。
19. 前記方法は、
    操作パラメータのベクトルを送るステップ、をさらに含む、請求項７に記載の方法。
20. しきい値処理された空間変換係数に時間変換を適用し、時間変換係数の選択されたサブセットをしきい値処理することは、
    前記現在フレーム及び前記過去フレームからの前記サブフレームのしきい値処理された空間変換係数から第１の行列／ベクトルを形成することと、
    前記第１の行列／ベクトル中の係数の選択されたサブセットにしきい値処理を適用して、第２の行列／ベクトルを生み出すことと、
    を含み、
    時間変換係数を、まず時間的に逆変換し、次いで空間的に逆変換して、処理済みサブフレームを得ることは、
    前記第２の行列／ベクトルに逆時間変換を適用して、第３の行列／ベクトルを生成することと、
    前記第３の行列／ベクトルに逆空間変換を適用して、前記処理済みサブフレームを作成することと、
    を含む、請求項７に記載の方法。
21. 入力ビデオを受け取るステップと、
    空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
    を含み、
    空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための前記操作を実施するステップは、
    サブフレームごとの空間変換を使用して、現在フレームのサブフレーム及び過去フレームのサブフレームを変換するサブステップと、
    時間変換を使用して、空間変換済み係数を変換するサブステップと、
    各変換済みサブフレームに対する時間変換係数をしきい値によってしきい値処理して、しきい値処理された時間変換済み係数を生み出すサブステップと、
    前記しきい値処理された時間変換済み係数を逆変換して、ピクセル領域における処理済みサブフレームを形成するステップと、
    前記処理済みサブフレームを結合して新しいフレームを生み出すサブステップと、
    を含む方法。
22. 入力ビデオを受け取るステップと、
    空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
    を含み、
    前記操作は、
    入力ビデオの現在フレーム及び出力ビデオの過去フレームから新しいフレームを形成すること、および、
    前記新しいフレームのサブフレーム及び前記現在フレームのサブフレームを処理することと、
    を含み、
    前記新しいフレームのサブフレーム及び前記現在フレームのサブフレームを処理することは、
    前記現在フレーム及び前記新しいフレームからのピクセルを使用して第１及び第２のサブフレームをそれぞれ生成し、ピクセルごとのサブフレームタイプに基づいて、前記第１及び第２のサブフレーム中の各ピクセルからそれぞれ形成されたベクトルを使用することと、
    ワープ空間変換を選択し、前記第１及び第２のサブフレームを空間変換領域に変換することと、
    適応しきい値を導出し、前記第１のサブフレームの変換係数をしきい値処理することと、
    しきい値処理された変換係数と前記第２のサブフレームから生成された係数とを使用して行列／ベクトルを生成することと、
    前記行列／ベクトル中の係数を逆変換して処理済みサブフレームを作成することと、
    現在フレームに属し且つ前に処理されたサブフレームと前記処理済みサブフレームとを結合して、出力ビデオの新しいフレームを生み出すことと、
    を含む方法。
23. 前記現在フレーム及び前記過去フレームが、多次元色表現の全てのチャネルのサブセットのみについて前記フレームのチャネル情報を含む、請求項２２に記載の方法。
24. 入力ビデオを受け取るステップと、
    空間処理及び時間処理を使用して前記入力ビデオ内の雑音とちらつきのうち一方又は両方を低減するための操作を実施するステップと、
    を含み、
    前記操作は、
    入力ビデオの現在フレームからいくつかのピクセルにおけるサブフレームを選択すること、
    ワープ空間変換を選択し、前記サブフレームを空間変換領域に変換すること、
    適応しきい値を導出し、前記現在フレームからのサブフレームの空間変換係数をしきい値処理すること、
    空間変換係数を逆変換して処理済みサブフレームを得ること、及び、
    現在フレームに属し且つ前に処理されたサブフレームと前記処理済みサブフレームとを結合して、出力ビデオの新しいフレームを生み出すこと、
    を含む方法。
25. コンピュータに、
    請求項１に記載の方法が含む各ステップを実行させるためのプログラム、
    を記憶したコンピュータ読み取り可能な記憶媒体。
26. 請求項１に記載の方法における前記空間変換がワープ変換である、請求項２５に記載のコンピュータ読み取り可能な記憶媒体。
27. コンピュータに、
    請求項３に記載の方法が含む各ステップを実行させるためのプログラム、
    を記憶したコンピュータ読み取り可能な記憶媒体。
28. コンピュータに、
    請求項７に記載の方法が含む各ステップを実行させるためのプログラム、
    を記憶したコンピュータ読み取り可能な記憶媒体。
29. 請求項７に記載の方法における前記ワープ空間変換がピクセル適応性であり、前記適応しきい値がディテール保存性である、請求項２８に記載のコンピュータ読み取り可能な記憶媒体。