JP5461443B2 - ビデオ符号化 - Google Patents

Description

本発明は、ビデオ符号化に関する。

本発明は、請求項に定義されている。

ビデオ符号器のブロック図である。 図１の符号器の動作を説明するフローチャートである。 図１の符号器の動作を説明するフローチャートである。 特定のパラメータを導き出すことを示すグラフである。

ここで、本発明の幾つかの実施形態を添付の図面を参照して記載する。

図１に示されている装置は、ビデオインターフェイス１を具備し、ビデオインターフェイス１は、ビデオ入力２において、ディジタル符号化されたビデオ信号を、圧縮されていない形で受信する。プロセッサ３は、ディスク記憶装置４に記憶されているプログラムの制御の下で動作して、メモリ５とビデオ出力バッファ６とにアクセスする。ビデオ出力バッファ６は、ビデオ出力７を供給する。メモリ５は、ピクチャパラメータの一時記憶域としてのメモリ領域51を含む。プログラムは、汎用オペレーティングシステム40とビデオ符号化ソフトウェアとを含む。ビデオ符号化ソフトウェアは、以下で簡潔に記載される符号化方法の１つ以上を実施する。このソフトウェアは、次の幾つかのプログラム(又はプログラムのグループ)を具備する。

−制御ソフトウェア41；
−圧縮ソフトウェア42：この例では、圧縮ソフトウェアは、ＩＴＵ Ｈ．２６４標準に準拠する符号化アルゴリズムを実施する；
−知覚品質評価ソフトウェア43。

図２のフローチャートを参照して、本発明の第１のバージョンに従うビデオ符号化方法を記載するが、先ず、動作原理を説明する。

この方法の目的は、ビデオ信号を一定の品質で符号化することである。原則として、各ピクチャに対する品質パラメータの値が、品質パラメータの目標値に等しくなるか、又は少なくとも、目標値からのずれを低減していくようなやり方で、各ピクチャを符号化することを構想している。一定に維持された１つの目標値を指定してもよく、又は希望であれば、異なるピクチャに対して異なる目標値を指定してもよい。例えば、Ｈ．２６４では、イントラ符号化されるピクチャ（Ｉ−ピクチャ）に対する１つの目標値と、前方予測を使用して符号化されるピクチャ（Ｐ−ピクチャ）に対する別の目標値と、双方向符号化されるピクチャ（Ｂ−ピクチャ）に対する第３の目標値とを指定することができる。更に、何らかの外部システムの特性に適応するように、目標値を変更することが望まれる場合もある。何らかの外部システムとは、例えば、輻輳制御機構の一部である。知覚品質測度、即ち、マスキング効果を考慮に入れた測度を用いることが好ましい。

復号されたピクチャの品質に影響を及ぼす少なくとも１つの可変パラメータを、符号化アルゴリズムが有することによって、品質を制御する。この例では、可変パラメータは量子化インデックスである。Ｈ．２６４では、量子化インデックス（quantiser index, QP）と、調整された量子化ステップサイズ（quantiser step size, QSS）との関係は、ピクチャｋに対して、

によって与えられる。

従って、制御ソフトウェア41の主なタスクは、ＱＰの値を推定することであり、復号されたピクチャの品質を測定すると、目標値に等しい又は近い品質測定パラメータの値が得られる。原則として、量子化インデックスの様々な異なる値を使用してピクチャを符号化して、ピクチャを復号して、復号されたピクチャの品質測定パラメータ値を計算することによって、ＱＰを決定できるが、ＱＰと、品質測定パラメータ値と、マスキングの項との既知の関係から、ＱＰを推定することが好ましい。

１つのこのような関係は、同時係属の国際特許出願ＷＯ２００７／０６６０６６号に記載されている。この方法において、品質測度は、量子化ステップサイズパラメータと、復号されたピクチャの空間複雑性（spatial complexity）の測度とに基づく。より具体的には、Ｈ．２６４の信号の場合に、復号器は、ピクチャごとに、以下の（ａ）、（ｂ）を与える。

（ａ）各マクロブロックｉ,ｊに対する、量子化ステップサイズパラメータＱ（ｉ，ｊ）（ｉ＝０，・・・，Ｍ_ｘ−１；ｊ＝０・・・Ｍ_ｙ−１）、
（ｂ）各画素ｘ,ｙに対する、復号された輝度値Ｄ（ｘ，ｙ）（ｘ＝０，・・・Ｐ_ｘ−１；ｙ＝０，・・・・，Ｐ_ｙ−１）。

ピクチャの平均量子化ステップサイズＱＰＦを計算する。

マスキング測度として、コントラスト測度を使用する。コントラスト測度は、幅Ｈの小さな水平方向ウィンドウ全体の平均輝度と、類似の水平方向の隣接ウィンドウ全体の平均輝度との差を表わす。

垂直方向においても、同様である。

なお、Ｖは、垂直方向ウィンドウの高さである。これらの２つの測度を組み合わせて、大きい方が用いられるようにする。

ピクチャの平均コントラスト測度ＣＳを計算する。

次に、ＭＯＳ推定が要求されている期間に対して、これらの２つの量の時間平均をとる。この場合に、期間が１つのピクチャの期間であるときは、時間平均をとることは当然に不要である。

次に、既知の主観的品質のトレーニングシーケンスの回帰分析によって得た重み係数を使用して、これらの加重和として、品質測度ｉＭＯＳ(瞬間平均オピニオン評点、instantaneous mean opinion score)を生成する。

この結果を０乃至５の範囲に留める。

現在の場合、目標値Ｔ_ｉＭＯＳを指定して、ＱＰを計算しなければならない。１つのオプションでは、式（７）の線形関係を反転する。即ち、

である。Ｔ_ｉＭＯＳは、０乃至５の範囲にあり、必ずしも整数とは限らない(大抵の場合に、整数ではない）。

非線形モデルを用いることが好ましいが、二次表現を選んだ。他の非線形表現が可能である。一例として、量子化インデックスの線形関数と対数関数とを含む関係を試みた。これを解くために数値方法を用いる準備ができると、これを用いることができる。二次モデルは、以下の通りである。

ビデオの符号化されたトレーニングシーケンスから、復号されたピクチャを得て、復号されたピクチャに対する主観的テストの結果を分析することによって、定数に対する実験値を得た。実験値は、ａ＝−００５０３；ｂ＝０．１７４２；ｃ_１＝０．０７２；ｃ_２＝２．６４９である。マスキング測度Ｃは、ＣＳと僅かに異なって計算されることに留意すべきである(しかしながら、希望であれば、ＣＳを使用してもよい)。二次モデルは、解析解を有するという特長があるので、二次方程式の解に通常の式を適用することによって、目標に等しい品質に対するＱＰ値を得ることができる。即ち、

である。コントラスト測度Ｃは、ピクチャのマスキング能力の測度であり、次のように計算される。各輝度画素に対して、輝度画素の左側の８画素のブロックを考慮に入れて、平均を計算する。画素のコントラストは、この平均とその画素値との差の絶対値に設定される。上述と同じ表記を使用すると、これは次のようになる。

なお、この例では、ブロック長Ｈ＝８である。

ピクチャ全体の平均コントラストは、画素のコントラスト値の平均として計算される。個々の画素のコントラスト値を計算する場合に、画素ブロックは常にピクチャエリア内にある。

我々の先の特許出願に記載されたシステムでは、復号されたピクチャの画素Ｄ（ｘ，ｙ）から、コントラスト測度を得た。しかしながら、符号化が行われるまでは、復号されたピクチャは得られないので、ここでは、符号化されていないソースピクチャの画素輝度値Ａ(ｘ，ｙ)を使用する。ソースピクチャに対する、ピクチャの平均コントラスト測度Ｃ_{ＳＯＵＲＣＥ}は、

である。式１２において、Ｃの代わりに、この値を使用することができる。しかしながら、細かい量子化を使用して(即ち、小さな量子化インデックスとステップサイズとを用いて)、復号されたピクチャにおいて観測されたマスキング効果が、元のピクチャにおけるマスキング効果とほぼ同じである場合は、より粗い量子化(quantisation)で、マスキング効果が修正される。従って、本発明の好ましいバージョンでは、使用される量子化インデックスに基づいてマスキング効果が修正されることを考慮して、補正を加える。しかしながら、量子化インデックスは、事前に分からないので、Ｃと、Ｃ_{ＳＯＵＲＣＥ}と、Ｔ_ｉＭＯＳとにおける、実験によって観測された相関関係に基づいて、この補正を行なう。

補正を行なう１つの方法では、この線形(又は、他の)モデルを使用する。

なお、α＝−４、β＝１、γ＝０．９は、実験係数である。これらの係数は、次の手続きによって推定される。

（ｉ）様々なタイプの材料(material)をカバーする、１７個のビデオシーケンス、合計で５９５８ピクチャを使用する。２０乃至５１の範囲にわたる３２個の異なる量子化インデックスを使用して、これらを符号化して、復号する。これは、１ピクチャ当たりに、３２個の結果を与えるが、データ量を低減するために、各ピクチャに対して、ランダムなＱＰに関する１つの結果のみを確保する。

（ｉｉ）これらのピクチャの各々に対して、ソースコントラスト測度Ｃ_{ＳＯＵＲＣＥ}と、符号化後のコントラストＣとを、式１４と式１５とに従って計算する。品質ｉＭＯＳは、式１１に従って計算する。

（ｉｉｉ）式（１６）のパラメータを推定するために、単に、回帰法をデータセット全体に適用することが可能である。しかしながら、７個のＱＰ値からなる各範囲(２０乃至２６、２１乃至２７、等)に対して、２６回の異なる回帰分析を行なって、係数α、β、γに対する２６個の値を得た。図４は、ＱＰに対する係数α、β、γを示すグラフである。

（ｉｖ）選ばれた値は、グラフの中央部から得た代表的な値である。

しかしながら、実際には、同じ目標ｉＭＯＳを使用して前のピクチャが既に符号化されている場合は、異なるアプローチを使用することが好ましい。各ピクチャが復号されると、式(１４)を使用して、Ｃの値を決定し、(Ｔ_ｉＭＯＳが常に一定でない場合に)Ｔ_ｉＭＯＳを記憶し、更に、Ｃ_{ＳＯＵＲＣＥ}と、Ｃとを記憶する。新たなピクチャに対するＣ_ＣＯＲＲを計算するために、新たなピクチャに対するＣ_{ＳＯＵＲＣＥ}が与えられると、次の式を使用する。

なお、Ｃ_{ＰＳＯＵＲＣＥ}(ｉＭＯＳ)とＣ_Ｐ(ｉＭＯＳ)は、それぞれ、前に符号化されて復号されたピクチャに対する、ソースコントラストと符号化後のコントラストとである。この目的のために選択される前のピクチャは、直前のピクチャか、又は(直前のピクチャが、同じ目標ｉＭＯＳを使用しなかった場合は)同じ目標ｉＭＯＳを使用した最新のピクチャ（most recent picture）であり得る。「直前」と「最新」は、符号化順を考慮した場合の「直前」と「最新」とを意味するが、その代わりに、表示順を考慮して、既に符号化されたフレームの中の、直前のピクチャ又は最新のピクチャを選択することがある。更に、同じではないが小さな許容差(例えば、±０．２)の範囲内の目標ｉＭＯＳを有する、前に符号化されたピクチャは、新たなピクチャに対する類似のＴ_ｉＭＯＳを有する候補ピクチャであるのに十分である(更に、これは、後述の別のアプローチに該当する)ことに留意すべきである。この選択に対する他のアプローチは、後述する。Ｃ_{ＰＳＯＵＲＣＥ}(ｉＭＯＳ)とＣ_Ｐ(ｉＭＯＳ)が得られない場合は、代わりに、式１６の関係を使用する。Ｔ_ｉＭＯＳに対して1つのみの値が指定される場合に、これは、第１のフレームに対してのみ当てはまる。その代わりに、指定されたＴ_ｉＭＯＳで符号化された第１のフレームに対して、補正されていないＣ_{ＳＯＵＲＣＥ}が使用される場合に、同じＴ_ｉＭＯＳで符号化される後のフレームに対して、式１７を後で繰り返し使用すると、マスキング補正におけるエラーが次第に減る。

ここで、図２を参照すると、ステップ100において、信号を受信して、目標値Ｔ_ｉＭＯＳを定める。ステップ102において、ディジタル符号化されたピクチャを、入力１で受信して、メモリ５に記憶する。次に(104)、式（１５）に従ってピクチャを分析して、Ｃ_{ＳＯＵＲＣＥ}を決定する。106において、現在のＴ_ｉＭＯＳに対するデータがメモリ領域51に記憶されているかどうかについて検査する。最初にこのテストを行なって、現在のＴ_ｉＭＯＳに対するデータが記憶領域51に記憶されていない場合は、108において、式(１６)に従ってマスキング値Ｃ_ＣＯＲＲを計算する。次に、ステップ110において、式（１２）に従って、Ｃの代わりに、Ｃ_ＣＯＲＲを使用して、使用される量子化インデックスを計算する。次に、ステップ112において、この量子化インデックスを用いて、Ｈ．２６４のソフトウェア42を使用して、このピクチャを符号化して、出力緩衝器６に送る。符号化されたピクチャを、Ｈ．２６４に従って復号して(114)、次に、式（１４）に従って分析して(116)、Ｃに対する復号値を得る。ステップ118において、復号されたピクチャに対する様々なデータとピクチャ番号を、将来使用するためにメモリ領域51に記憶する。前に符号化されて復号されたピクチャのうちのどれが、式（１７）を適用するために使用されるかを決定するために、どの方式が使用されるかによって、必要とされる正確なデータが決まる。それらは、符号化順におけるピクチャ番号と、表示順におけるピクチャ番号と、Ｔ_ｉＭＯＳと、Ｃ_{ＳＯＵＲＣＥ}と、Ｃと、ピクチャタイプ（Ｉ、Ｐ、又はＢ）とのうちの、一部又は全てを含む。

次に、プロセスは、ステップ102に戻って、別のピクチャを受信する。別のピクチャは、同じやり方で処理される。しかしながら、ステップ106において、Ｔ_ｉＭＯＳの現在の値で、１つ以上のピクチャが既に符号化されていることが分かると、ステップ108の代わりに、ステップ120において、選択された前に符号化されて復号されたピクチャに対するＣ_{ＰＳＯＵＲＣＥ}(ｉＭＯＳ)の値とＣ_Ｐ(ｉＭＯＳ)の値とを調べて、式（１７）を適用することによって、マスキング値Ｃ_ＣＯＲＲを得る。次に、ステップ110からプロセスを続ける。

ステップ120で使用するための前に符号化されて復号されたピクチャに対する幾つか選択オプションは、既に記載した。最新のピクチャが、必ずしも、符号化されるピクチャに最も類似したピクチャではない可能性を考慮に入れた他のアプローチをここで記載する。１つの可能性は、同じタイプの（何れの意味においても）最新のピクチャを使用することである。一例において、現在のピクチャがＢピクチャである場合は、最新のＢピクチャを使用し、現在のピクチャがＰ又はＩピクチャである場合は、Ｂピクチャ以外の、最新のピクチャを使用する（言い換えると、この目的の場合に、Ｐ及びＩピクチャは、同じ「タイプ」であると見なされる）。

ＢＢＰＢＢＰの符号化構造の場合に、これらのオプションのうちの最初の３つは、次の出力を与える。ピクチャは、符号化順に記載され、表示順に番号を付されている。

各グループ中の第１のＢピクチャについて、「出力された前のピクチャ」と「符号化された前の同じタイプ」とに唯一の違いがあることに留意すべきである。前者の場合において、前のピクチャは、４期間前に符号化されたが直前に表示された、Ｉ又はＰピクチャである。後者の場合において、前のピクチャは、２期間前に符号化されて表示された、最後のグループ中の最後のＢピクチャである。

別のオプションは、前に符号化されて復号されたピクチャを探索して、現在符号化されているピクチャに類似したピクチャを見付けることである。通常、これは、恐らく１秒又は数秒の、短時間のウィンドウにわたる。この目的に対する類似性の１つの可能な基準は、現在のピクチャのソースコントラストＣ_{ＳＯＵＲＣＥ}値に最も近いソースコントラストＣ_{ＳＯＵＲＣＥ}値を有する、前に符号化されて復号されたピクチャを探索することである。次のマクロＦｉｎｄＳｉｍｉｌａｒを使用して、現在のピクチャのソースコントラストと、前のＲ符号化されたピクチャの各々のソースコントラストとを比較することによって、前のＲ符号化されたピクチャの中で最も類似したソースコントラストを見付けることができる。

ＦｉｎｄＳｉｍｉｌａｒマクロの実施を以下に示す。なお、ｒは、ピクチャ番号であり、第１のピクチャは、ｒ＝１を有し、指定されたＴ_ｉＭＯＳで符号化されている。

最も類似した最近のピクチャを見付ける別のオプションは、ピクチャ自体を実際に比較することであるが、これは処理能力を相当に必要とする。このオプションを使用する場合は、これらのピクチャにアクセスする必要がある。従って、ピクチャが既に利用可能である場合(例えば、符号化される全シーケンスがディスク４に既に記憶されている場合)を除いて、ステップ118は、全ピクチャを更に記憶する必要がある。

Ｍ個のピクチャが緩衝器の中にあると仮定する。現在のピクチャを、ピクチャゼロと称する。最新の符号化されたピクチャは、ピクチャ１である。最も古いピクチャは、ピクチャＭである。ステップ200において、ポインタｍをＭに設定し、Ｂをゼロに設定する。Ｂは、現在のピクチャに最も良くマッチするピクチャの番号を含む。

ステップ202において、フレームｍに対する記憶されているＴ_ｉＭＯＳと、現在のピクチャに対するＴ_ｉＭＯＳとを比較する。これらが等しくない場合に、ステップ204においてｍをデクレメントして、ステップ202から処理を繰り返す。ただし、記憶されているピクチャが全て検査された場合は（206）、プロセスは終了する。

ステップ202において、マッチした場合に、ピクチャｍと現在のピクチャとを比較して(210)、絶対差の合計Δ（ｍ）を得る。

これまでに最良のピクチャから得た絶対差の合計Δ（Ｂ）よりも、Δ（ｍ）が小さい場合に、ステップ212において、Ｂはｍに等しいと設定される。何れにしても、次に、プロセスは、ステップ204に進む。ステップ206において終了するときに、ポインタＢは、現在のピクチャに最も良くマッチしたピクチャのピクチャ番号ｍを含み、このピクチャが選ばれる。現在の目標ｉＭＯＳと同じ目標ｉＭＯＳを有する、前に符号化されたピクチャがない場合は、唯一の例外である。従って、直前のピクチャがデフォルトで選ばれるように、Ｂ＝０であり、１に設定される(ステップ214)。

希望であれば、これらの探索方法は、現在のタイプと同じタイプ(Ｂ又はＩ／Ｐ)のピクチャの探索に制限することができる。

前に符号化されて復号されたピクチャを選択する方法を幾つか記載した。異なる方法の組み合わせも使用できる。好ましい１つの方法は、以下の通りに、下記にコードで示されている。最初に、同じタイプ(即ち、Ｂ又はＢ以外)の前のピクチャを検討する。次に、そのピクチャのソースコントラストが、現在のものに類似している場合は、それを使用する。そうでない場合は、別のタイプ(それぞれ、Ｂ以外又はＢ)の前のピクチャを検討して、そのピクチャのソースコントラストが、現在のものに(即ち、例えば±２０％の規定許容差内で)類似している場合は、それを使用する。そうでなければ、これらの前のピクチャの何れかのソースコントラストが、現在のピクチャのソースコントラストに(より広い許容差、例えば±５０％で)類似している場合は、最も類似しているもの(即ち、現在のピクチャのソースコントラストに最も近いソースコントラストを有するもの)を選ぶ。(以下で使用されている許容差は、僅かに異なることに留意すべきである。以下では、２つのコントラストを比較するために使用される基準は、より大きなものとより小さなものとの比率が１．２５(又は、より広い許容差の場合、２．０)未満である場合に、それらは類似していると見なされる）。さもなければ、式１６の(単一のフレームの)方法を使用する。

初期設定コード

ピクチャごとのコードである（Ｂピクチャのみについて示されており、Ｉ／Ｐピクチャについては、ｅｌｓｅステートメントにおける類似のコードである）。「ｂｒｅａｋ」は、「ｗｈｉｌｅ」ループから飛び出すことを意味することに留意すべきである。「ｗｈｉｌｅ」ループは、実際にはループではないが、時代遅れの（unfashionable）「ｇｏｔｏ」ステートメントを避ける手段である。

バリエーション
使用される符号化アルゴリズムが、少なくとも１つの可変パラメータを有することは、既に記載した。一例として、量子化インデックスを提供した。空間分解能を低減することによって、例えば、変換係数を捨てることによって又はサブサンプリングすることによって、符号化を変えることも可能である。

Ｈ．２６４標準では、ピクチャ内の異なるマクロブロック(１６×１６画素)に、異なる量子化ステップサイズを割り当てることができる。希望であれば、ピクチャに使用される量子化インデックスを決定する上述のプロセスを、個々のマクロブロックのようなピクチャの一部にそれぞれ等しく適切に適用してもよい。ピクチャ全体に同じ目標品質が指定されたとしても、これは可能である。その理由は、マスキング効果が変わる場合は、異なるマクロブロックに対して、異なる量子化インデックスをもたらし得るからである。更に、異なるマクロブロック(例えば、イントラマクロブロック又はインターマクロブロック)に対して、異なる目標値を指定することもできる。実際には、マスキングが、ピクチャ全体に対してのみ評価されても、マクロブロックごとに、異なる目標値を指定することができる。

更に、他の何らかの基準で、例えば注目の焦点（focus of attention）に基づいて、選択することができる。観察者（viewer）が焦点を合わせる関心エリアとは異なり、観察者が焦点を合わせないピクチャの部分は、符号化する必要はない。関心領域の符号化は、以下の文献に記載されている。Ｄ．アグラフィオティス（D. Agrafiotis）、Ｓ．Ｊ．Ｃ．デーヴィス（S. J. C. Davies）、Ｎ．カナグラヤ(N. Canagarajah）、及びＤ．Ｒ．ブル（D. R. Bull）の「注視追跡分析に基づく効率的なコンテキスト別のビデオ符号化に向けて（Towards efficient context-specific video coding based on gaze-tracking analysis）」；マルチメディアコンピューティングと、通信と、アプリケーションとに対するＡＣＭトランザクション（ACM Transactions on Multimedia Computing, Communications, and Applications, TOMCCAP)、第３巻、第４版、２００７年１２月；クラブトリー，Ｂ（Crabtree, B.）の「注目の焦点を使用したビデオ圧縮（Video compression using focus of attention）」、ピクチャ符号化シンポジウムの議事録（Proceedings of the Picture Coding Symposium）、中国、２００６年；並びに、我々の国際特許出願ＷＯ０１／６１６４８号。

更に、マクロブロック内の異なる係数に異なる量子化ステップサイズを適用することが可能である。マトリックスを適用することによって、１つの量子化インデックスを指定して、異なる係数に対して調節する。これは、ＭＰＥＧ２標準とＨ．２６４標準とに詳しく記載されている。調節により、式（１２）を使用することによって得られる量子化インデックスの値が、整数でなくなることがよくある。多くの目的に対しては、これを最も近い整数に丸めるだけで十分である。しかしながら、得られた非整数値に等しい、ピクチャに対する平均量子化インデックスを得ることが望ましい場合は、次のように進めることができる。マクロブロックは、１６×１６の画素のエリアである。これは、独立した量子化インデックス値を有することができる、ピクチャの最小エリアである。最初に計算されたピクチャのａｖｅｒａｇｅ ｑｕａｎｔｉｓｅｒの値(即ち、ＱＰ)が、整数である場合は、この点において必要なことは、各マクロブロックに対する量子化インデックスを、この整数値に設定することだけである。これが整数でない場合、例えば３２．５である場合は、各マクロブロックに対する量子化インデックスを変えることが必要である。この場合に、これを行うやり方は多数ある。例えば、ピクチャの上方に対して３２を使用して、下方に対して３３を使用することであるが、ピクチャの上方が下方よりも、良く見え得るときは、このような方式は明らかな効果があり得る。別のやり方では、３２、３３、３２、３３、等を交互にする。

しかしながら、この交互のパターンには問題もある。マクロブロックがスキップされた(符号化されない)場合には、マクロブロックの符号化されたビットストリームの中に、情報が存在せず、量子化インデックスを変更することができない。従って、第２のマクロブロックがスキップされた場合に、３２、３３、３２、３３の量子化インデックスの設定は、復号器において、３２、３２、３２、３３のパターンで受信されることになり、平均値は、計画された３２．５ではなく、３２．２５として計算されることになる。

従って、復号器がビットストリームから復号する量子化インデックス値を追跡し続けて、復号器における平均値が、確実に、意図した通りになることが必要である。

次の擬似コードは、これがどのように実施されるかを示している。

以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
［１］ビデオ符号化の品質に影響を及ぼす可変パラメータを有する符号化アルゴリズムを使用する、ビデオ符号化方法であって、
各ピクチャ又はピクチャの一部が、品質測定パラメータに対する目標値を有するように、少なくとも１つの前記目標値を指定するステップと、
ピクチャエリアがピクチャ又はピクチャの一部であり得る場合に、符号化される各ピクチャエリアに対して、
他のピクチャから独立して、（ａ）前記ピクチャエリアに対する前記目標値と、（ｂ）前記ピクチャエリアのピクチャの内容によって決まる知覚マスキング測度とに基づいて、それらの量の所定の関係に従って、前記可変パラメータに対する値を推定するサブステップと、
前記推定された値を使用して、前記ピクチャエリアを符号化するサブステップと、
を行うステップと、を含む、ビデオ符号化方法。
［２］前記ピクチャエリアを符号化する前に、符号化されるピクチャの画素値から、前記マスキング測度を生成する、前記［１］に記載のビデオ符号化方法。
［３］前記マスキング測度は、前記ピクチャエリアの空間複雑性の測度である、前記［２］に記載のビデオ符号化方法。
［４］前記ピクチャエリアを符号化する前に、前記符号化されるピクチャの画素値から、ソースマスキング測度を導き出して、マスキングの程度に対する前記符号化アルゴリズムの効果の推定値に従って、前記測度を修正することによって、前記マスキング測度を生成する、前記［２］又は［３］に記載のビデオ符号化方法。
［５］前記マスキング測度は、
ａ）前記ソースマスキング測度と、
ｂ）前記ピクチャエリアに対する前記品質測定パラメータの前記目標値と、
の関数である、前記［４］に記載のビデオ符号化方法。
［６］ピクチャを符号化した後で、
前記ピクチャの復号されたバージョンを生成するステップと、
前記復号されたピクチャに対するマスキング測度を決定するステップと、
（ａ）前記復号されたピクチャに対する前記マスキング測度及び前記ソースピクチャに対する前記マスキング測度、又は（ｂ）前記復号されたピクチャに対する前記マスキング測度と前記ソースピクチャに対する前記マスキング測度との関係を示すデータ、の何れかを記憶するステップと、
を含み、
（第１のピクチャエリアではなく）符号化されるピクチャエリアに対する前記ソースマスキング測度を修正するステップは、
前記符号化されるピクチャと同じ又は類似の、品質測定パラメータの目標値を使用して符号化された、前に符号化されて復号されたピクチャに対する前記マスキング測度と、
前記前に符号化されて復号されたピクチャに対する前記ソースマスキング測度と、
の関係に従って、前記測度を調整するステップを含む、前記［３］又は［４］に記載のビデオ符号化方法。
［７］前記関係は、
前に符号化されて復号されたピクチャに対する前記マスキング測度と、
前記前に符号化されて復号されたピクチャに対する前記ソースマスキング測度と、
の比である、前記［６］に記載のビデオ符号化方法。
［８］前記前に符号化されて復号されたピクチャは、前記符号化されるピクチャと同じ又は類似の目標値を用いて符号化されたピクチャの組のうちの、(前記ピクチャが符号化される順序を考慮して)最新のピクチャである、前記［６］又は［７］に記載のビデオ符号化方法。
［９］前記前に符号化されて復号されたピクチャは、前記符号化されるピクチャと同じ又は類似の目標値を用いて符号化されたピクチャの組のうちの、(前記ピクチャが表示される順序を考慮して)最新のピクチャである、前記［６］又は［７］に記載のビデオ符号化方法。
［１０］前記符号化されるピクチャと、前に符号化されたピクチャの組とを比較するステップと、
前記符号化されるピクチャに対する高い類似度を有する、前記前に符号化されたピクチャのうちの１つのピクチャを選択するステップと、
を更に含み、
前記符号化されるピクチャに対する前記ソースマスキング測度を調整するために使用される関係は、前記選択されたピクチャのそれである、前記［６］又は［７］に記載のビデオ符号化方法。
［１１］前記符号化されるピクチャと、前に符号化されたピクチャとの前記類似度は、
前記２つのピクチャの前記ソースマスキング測度を比較することによって決定される、前記［１０］に記載のビデオ符号化方法。
［１２］前記符号化されるピクチャと、前に符号化されたピクチャとの前記類似度は、
前記２つのピクチャの画素値を比較することによって決定される、前記［１０］に記載のビデオ符号化方法。
［１３］前記ピクチャの組は、前記符号化されるピクチャと同じ又は類似の目標値で符号化された最新のピクチャである、所定数のピクチャである、前記［８］又は［１２］の何れか１つに記載のビデオ符号化方法。
［１４］前記ピクチャの組は、前記符号化されるピクチャと同じ又は類似の目標値で符号化された最新のピクチャから、前記符号化されるピクチャの予測タイプに基づいて選択された、所定数のピクチャである、前記［８］又は［１２］の何れか１つに記載のビデオ符号化方法。
［１５］前記符号化されるピクチャが、双方向予測を使用して符号化される場合に、前記ピクチャの組は、双方向予測を使用して符号化されたピクチャから構成され、
前記符号化されるピクチャが、双方向予測を使用せずに符号化される場合に、前記ピクチャの組は、双方向予測を使用することなく符号化されたピクチャから構成される、前記［１４］に記載のビデオ符号化方法。
［１６］前記可変パラメータは、量子化パラメータである、前記［１］乃至［１５］の何れか１つに記載のビデオ符号化方法。
［１７］前記可変パラメータと、前記品質メトリックと、前記マスキング測度との前記所定の関係は、ビデオ材料のトレーニングシーケンスの符号化結果を分析することによって決定される、前記［１］乃至［１６］の何れか１つに記載のビデオ符号化方法。

１・・・ビデオインターフェイス、２・・・ビデオ入力、４・・・ディスク記憶装置、７・・・ビデオ出力、40・・・汎用オペレーティングシステム、41・・・制御ソフトウェア、42・・・圧縮ソフトウェア、43・・・知覚品質評価ソフトウェア、51・・・メモリ領域。

Claims (14)

1. ビデオ符号化の品質に影響を及ぼす可変パラメータを有する符号化アルゴリズムを使用する、ビデオ符号化方法であって、
   各ピクチャ又はピクチャの一部が、品質測定パラメータに対する目標値を有するように、少なくとも１つの前記目標値を指定するステップと、
   ピクチャエリアがピクチャ又はピクチャの一部であり得る場合に、符号化される各ピクチャエリアに対して、
   他のピクチャから独立して、（ａ）前記ピクチャエリアに対する前記目標値と、（ｂ）前記ピクチャエリアのピクチャの内容によって決まるマスキング測度とに基づいて、それらの量の所定の関係に従って、前記可変パラメータに対する値を推定するサブステップと、
   前記推定された値を使用して、前記ピクチャエリアを符号化するサブステップと、
   を行うステップと、を含み、
   前記マスキング測度は、前記ピクチャエリアを符号化する前に、符号化されるピクチャの画素値から導き出されるソースマスキング測度に従って生成され、更に、前記符号化アルゴリズムのマスキング効果の推定値に従って修正され、
   前記マスキング測度は、前記ピクチャエリアの空間複雑性の測度である、ビデオ符号化方法。
2. 前記マスキング測度は、
   ａ）前記ソースマスキング測度と、
   ｂ）前記ピクチャエリアに対する前記品質測定パラメータの前記目標値と、
   の関数である、請求項１に記載のビデオ符号化方法。
3. ピクチャを符号化した後で、
   前記ピクチャの復号されたバージョンを生成するステップと、
   前記復号されたピクチャに対するマスキング測度を決定するステップと、
   （ａ）前記復号されたピクチャに対する前記マスキング測度及びソースピクチャに対するソースマスキング測度、又は（ｂ）前記復号されたピクチャに対する前記マスキング測度と前記ソースピクチャに対する前記ソースマスキング測度との関係を示すデータ、の何れかを記憶するステップと、
   を含み、
   符号化されるピクチャエリアに対する前記ソースマスキング測度を修正するステップは、
   前記符号化されるピクチャと同じ又は類似の、品質測定パラメータの目標値を使用して符号化された、前に符号化されて復号されたピクチャに対する前記マスキング測度と、
   前記前に符号化されて復号されたピクチャに対する前記ソースマスキング測度と、
   の関係に従って、前記ソースマスキング測度を修正するステップを含む、請求項１に記載のビデオ符号化方法。
4. 前記関係は、
   前に符号化されて復号されたピクチャに対する前記マスキング測度と、
   前記前に符号化されて復号されたピクチャに対する前記ソースマスキング測度と、
   の比である、請求項３に記載のビデオ符号化方法。
5. 前記前に符号化されて復号されたピクチャは、前記符号化されるピクチャと同じ又は類似の目標値を用いて符号化されたピクチャの組のうちの、前記ピクチャが符号化される順序を考慮して最新のピクチャである、請求項３又は４に記載のビデオ符号化方法。
6. 前記前に符号化されて復号されたピクチャは、前記符号化されるピクチャと同じ又は類似の目標値を用いて符号化されたピクチャの組のうちの、前記ピクチャが表示される順序を考慮して最新のピクチャである、請求項３又は４に記載のビデオ符号化方法。
7. 前記符号化されるピクチャと、前に符号化されたピクチャの組とを比較するステップと、
   前記符号化されるピクチャに対する高い類似度を有する、前記前に符号化されたピクチャのうちの１つのピクチャを選択するステップと、
   を更に含み、
   前記符号化されるピクチャエリアに対する前記ソースマスキング測度を修正するために使用される関係は、前記選択されたピクチャのそれである、請求項３又は４に記載のビデオ符号化方法。
8. 前記符号化されるピクチャと、前に符号化されたピクチャとの前記類似度は、
   前記符号化されるピクチャと、前記前に符号化されたピクチャとの前記ソースマスキング測度を比較することによって決定される、請求項７に記載のビデオ符号化方法。
9. 前記符号化されるピクチャと、前に符号化されたピクチャとの前記類似度は、
   前記符号化されるピクチャと、前記前に符号化されたピクチャとの画素値を比較することによって決定される、請求項７に記載のビデオ符号化方法。
10. 前記ピクチャの組は、前記符号化されるピクチャと同じ又は類似の目標値で符号化された最新のピクチャである、所定数のピクチャである、請求項５乃至９の何れか１項に記載のビデオ符号化方法。
11. 前記ピクチャの組は、前記符号化されるピクチャと同じ又は類似の目標値で符号化された最新のピクチャから、前記符号化されるピクチャの予測タイプに基づいて選択された、所定数のピクチャである、請求項５乃至９の何れか１項に記載のビデオ符号化方法。
12. 前記符号化されるピクチャが、双方向予測を使用して符号化される場合に、前記ピクチャの組は、双方向予測を使用して符号化されたピクチャから構成され、
    前記符号化されるピクチャが、双方向予測を使用せずに符号化される場合に、前記ピクチャの組は、双方向予測を使用することなく符号化されたピクチャから構成される、請求項１１に記載のビデオ符号化方法。
13. 前記可変パラメータは、量子化パラメータである、請求項１乃至１２の何れか１項に記載のビデオ符号化方法。
14. 前記可変パラメータと、前記品質測定パラメータと、前記マスキング測度との前記所定の関係は、ビデオ材料のトレーニングシーケンスの符号化結果を分析することによって決定される、請求項１乃至１３の何れか１項に記載のビデオ符号化方法。

Images