本願は、復号器側によって取得される再構成された画像ブロックがより良い効果を有し、且つ、符号器側がより良い符号化効果を実装するように、画像処理方法、デバイス、及びシステムを提供する。
第1の態様によれば、本願は、原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの前記現在の画像エリアの第2量子化パラメータと、前記現在の画像エリア内の現在の再構成されるべき画像ブロックの符号化スキームと、前記現在の再構成されるべき画像ブロックの量子化係数と、前記現在の再構成されるべき画像ブロックの予測信号とを取得するように符号ストリームをパースすることであり、前記現在の再構成されるべき画像ブロックの前記符号化スキームは、前記原解像度符号化スキーム又は前記ダウンサンプリング符号化スキームであり、前記現在の再構成されるべき画像ブロックは、前記現在の画像エリアの部分である、前記符号ストリームをパースすることと、前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの量子化パラメータを決定することであり、前記現在の再構成されるべき画像ブロックの前記量子化パラメータは、前記第1量子化パラメータ又は前記第2量子化パラメータである、前記量子化パラメータを決定することと、現在の再構成された画像ブロックを取得するように前記現在の再構成されるべき画像ブロックの前記量子化パラメータ、前記量子化係数、及び前記予測信号に基づき前記現在の再構成されるべき画像ブロックを再構成することとを含む画像処理方法を提供する。
本願の有利な効果は、次の通りである:画像ブロックが各々の特徴を有していると考えると、符号器側は、異なるように画像ブロックを符号化する。これに基づき、復号器側は、現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータを決定してよい。すなわち、量子化パラメータは、現在の再構成されるべき画像ブロックを再構成するために適切である。従って、復号器側によって取得される再構成された画像ブロックは、より良い効果を有する。
任意に、前記符号ストリームは、前記第1量子化パラメータ及び前記第2量子化パラメータを含む。
代替的に、前記符号ストリームは、前記第1量子化パラメータと、前記現在の画像エリアの量子化パラメータ予測差とを含む。相応して、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータを取得することは、前記第1量子化パラメータ及び前記量子化パラメータ予測差に基づき前記第2量子化パラメータを計算することを含む。
本願の有利な効果は、次の通りである:量子化パラメータ予測差は、第2量子化パラメータよりも短い。従って、この方法は、符号器側のビットオーバーヘッドを減らすことができる。
任意に、前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの量子化パラメータを決定することは、
前記現在の再構成されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合に、前記現在の再構成されるべき画像ブロックの前記量子化パラメータとして前記第1量子化パラメータを使用すること、又は
前記現在の再構成されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合に、前記現在の再構成されるべき画像ブロックの前記量子化パラメータとして前記第2量子化パラメータを使用すること
を含む。
第2の態様によれば、本願は、現在の再構成されるべき画像ブロックの量子化パラメータ予測差と、前記現在の再構成されるべき画像ブロックの量子化係数と、前記現在の再構成されるべき画像ブロックの符号化スキームと、前記現在の再構成されるべき画像ブロックの予測信号とを取得するように符号ストリームをパースすることであり、前記符号化スキームは、原解像度符号化スキーム又はダウンサンプリング符号化スキームである、前記符号ストリームをパースすることと、前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定することと、前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子及び前記量子化パラメータ予測差に基づき前記現在の再構成されるべき画像ブロックの量子化パラメータを決定することと、現在の再構成された画像ブロックを取得するように前記現在の再構成されるべき画像ブロックの前記量子化パラメータ、前記量子化係数、及び前記予測信号に基づき前記現在の再構成されるべき画像ブロックを再構成することとを含む画像処理方法を提供する。
本願の有利な効果は、次の通りである:画像ブロックが各々の特徴を有していると考えると、符号器側は、異なるように画像ブロックを符号化する。これに基づき、復号器側は、現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定し、現在の再構成されるべき画像ブロックの量子化パラメータ予測子及び量子化パラメータ予測差に基づき、現在の再構成されるべき画像ブロックの量子化パラメータを決定してよい。すなわち、量子化パラメータは、現在の再構成されるべき画像ブロックを再構成するために適切である。従って、復号器側によって取得される再構成された画像ブロックは、より良い効果を有する。
任意に、前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定することは、
Mが正の整数であるとして、前もって設定された規則に従って、前記現在の再構成されるべき画像ブロックと同じ現在の画像エリアに属するM個の再構成された画像ブロックを選択し、該M個の再構成された画像ブロックの量子化パラメータ及び該M個の再構成された画像ブロックの符号化スキームを取得することと、
前記M個の再構成された画像ブロックの前記量子化パラメータに基づき前記現在の再構成されるべき画像ブロックの前記符号化スキーム及び前記M個の再構成された画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子を決定することと
を含む。
前もって設定された規則は、復号化シーケンスにおける現在の再構成されるべき画像ブロックの前の再構成された画像ブロックを選択すること、又は現在の再構成されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックを選択すること、又は復号化シーケンスにおいて、前もって設定された範囲内にある再構成された画像ブロックから、現在の再構成されるべき画像ブロックと同じ符号化スキームを有し且つ現在の再構成されるべき画像ブロックに最も近い再構成された画像ブロックを選択すること、であってよい。前もって設定された規則は、本願において限定されない点が留意されるべきである。
本願の有利な効果は、次の通りである:この方法は、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を有効に且つ正確に決定するために使用され得る。
任意に、前記M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、
前記M個の再構成された画像ブロックの前記量子化パラメータに基づき前記現在の再構成されるべき画像ブロックの前記符号化スキーム及び前記M個の再構成された画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子を決定することは、
前記1つの再構成された画像ブロックの符号化スキームが前記現在の再構成されるべき画像ブロックの前記符号化スキームと同じである場合に、前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子として前記1つの再構成された画像ブロックの量子化パラメータを決定すること、又は
前記1つの再構成された画像ブロックの前記符号化スキームが前記現在の再構成されるべき画像ブロックの前記符号化スキームとは異なる場合に、第1量子化パラメータ及び第2量子化パラメータに基づき前記1つの再構成された画像ブロックの前記符号化スキーム及び前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子を決定すること
を含む。前記第1量子化パラメータは、前記原解像度符号化スキームでの前記現在の画像エリアの量子化パラメータであって、前記符号ストリームをパースすることによって取得される。前記第2量子化パラメータは、前記ダウンサンプリング符号化スキームでの前記現在の画像エリアの量子化パラメータであって、前記符号ストリームをパースすることによって取得される。前記現在の再構成されるべき画像ブロックは、前記現在の画像エリアの部分である。
任意に、第1量子化パラメータ及び第2量子化パラメータに基づき前記1つの再構成された画像ブロックの前記符号化スキーム及び前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子を決定することは、
前記1つの再構成された画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームであり、且つ、前記現在の再構成されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合に、量子化差分を取得するように前記第1量子化パラメータから前記第2量子化パラメータを減じ、前記量子化パラメータ予測子を取得するように前記1つの再構成された画像ブロックの前記量子化パラメータと前記量子化差分との和を計算すること、又は
前記1つの再構成された画像ブロックの前記符号化スキームが前記原解像度符号化スキームであり、且つ、前記現在の再構成されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合に、前記量子化差分を取得するように前記第1量子化パラメータから前記第2量子化パラメータを減じ、前記量子化パラメータ予測子を取得するように前記1つの再構成された画像ブロックの前記量子化パラメータと前記量子化差分との間の差を計算すること
を含む。
任意に、前記1つの再構成された画像ブロックは、復号化シーケンスにおける前記現在の再構成されるべき画像ブロックの前の再構成された画像ブロックである。
任意に、Mは1よりも大きく、
前記M個の再構成された画像ブロックの前記量子化パラメータに基づき前記現在の再構成されるべき画像ブロックの前記符号化スキーム及び前記M個の再構成された画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子を決定することは、
前記M個の再構成された画像ブロックの前記符号化スキームが夫々、前記現在の再構成されるべき画像ブロックの前記符号化スキームと同じである場合に、前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子として前記M個の再構成された画像ブロックの前記量子化パラメータの平均を決定すること、又は
前記M個の再構成された画像ブロックの前記符号化スキームのいずれかが前記現在の再構成されるべき画像ブロックの前記符号化スキームとは異なる場合に、第1量子化パラメータ及び第2量子化パラメータに基づき前記M個の再構成された画像ブロックの前記符号化スキーム及び前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子を決定すること
を含む。前記第1量子化パラメータは、前記原解像度符号化スキームでの前記現在の画像エリアの量子化パラメータであって、前記符号ストリームをパースすることによって取得される。前記第2量子化パラメータは、前記ダウンサンプリング符号化スキームでの前記現在の画像エリアの量子化パラメータであって、前記符号ストリームをパースすることによって取得される。前記現在の再構成されるべき画像ブロックは、前記現在の画像エリアの部分である。
任意に、第1量子化パラメータ及び第2量子化パラメータに基づき前記M個の再構成された画像ブロックの前記符号化スキーム及び前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子を決定することは、
前記M個の再構成された画像ブロックが、前記ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、前記現在の再構成されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合に、前記第1量子化パラメータと、前記第2量子化パラメータと、前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの量子化パラメータとに基づき、前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの補正された量子化パラメータを計算し、前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記補正された量子化パラメータに基づき前記M個の再構成された画像ブロックの前記量子化パラメータの前記平均を決定し、該平均が、前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子である、こと、又は
前記M個の再構成された画像ブロックが、前記原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、前記現在の再構成されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合に、前記第1量子化パラメータと、前記第2量子化パラメータと、前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの量子化パラメータとに基づき、前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの補正された量子化パラメータを計算し、前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記補正された量子化パラメータに基づき前記M個の再構成された画像ブロックの前記量子化パラメータの前記平均を決定し、該平均が、前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子である、こと
を含む。
任意に、前記第1量子化パラメータと、前記第2量子化パラメータと、前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの量子化パラメータとに基づき、前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの補正された量子化パラメータを計算することは、
量子化差分を取得するように前記第1量子化パラメータから前記第2量子化パラメータを減じることと、
前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記補正された量子化パラメータを取得するように、前記量子化差分と前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記量子化パラメータとの和を計算することと
を含む。
本願の有利な効果は、次の通りである:この方法は、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを有効に且つ正確に計算するために使用され得る。
任意に、前記第1量子化パラメータと、前記第2量子化パラメータと、前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの量子化パラメータとに基づき、前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの補正された量子化パラメータを計算することは、
前記量子化差分を取得するように前記第1量子化パラメータから前記第2量子化パラメータを減じることと、
前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記補正された量子化パラメータを取得するように、前記量子化差分と前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記量子化パラメータとの間の差を計算することと
を含む。
本願の有利な効果は、次の通りである:この方法は、原解像度符号化スキームによって符号化された再構成された画像ブロックの補正された量子化パラメータを有効に且つ正確に計算するために使用され得る。
任意に、前記M個の再構成された画像ブロックは、前記現在の再構成されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックを含む。
任意に、前記M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、
前記M個の再構成された画像ブロックの量子化パラメータ及び前記M個の再構成された画像ブロックの符号化スキームを取得することは、
前記現在の再構成されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックを、前もって設定された範囲内にある再構成された画像ブロックから探すことと、
前記1つの再構成された画像ブロックの量子化パラメータを取得することと
を含む。相応して、前記M個の再構成された画像ブロックの前記量子化パラメータに基づき前記現在の再構成されるべき画像ブロックの前記符号化スキーム及び前記M個の再構成された画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子を決定することは、
前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子として前記1つの再構成された画像ブロックの前記量子化パラメータを使用することを含む。
任意に、前記1つの再構成された画像ブロックは、復号化シーケンスにおいて、前記前もって設定された範囲内にある前記再構成された画像ブロックの中にあって、前記現在の再構成されるべき画像ブロックに最も近い再構成された画像ブロックである。
任意に、前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定することは、
前記現在の再構成されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合に、前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子として第1量子化パラメータを使用すること、又は
前記現在の再構成されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合に、前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子として第2量子化パラメータを使用すること
を含む。前記第1量子化パラメータは、前記原解像度符号化スキームでの現在の画像エリアの量子化パラメータであって、前記符号ストリームをパースすることによって取得される。前記第2量子化パラメータは、前記ダウンサンプリング符号化スキームでの前記現在の画像エリアの量子化パラメータであって、前記符号ストリームをパースすることによって取得される。前記現在の再構成されるべき画像ブロックは、前記現在の画像エリアの部分である。
任意に、前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定することは、
前記現在の再構成されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合に、前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子を取得するように前記量子化パラメータ予測差に基づき第1量子化パラメータを補正すること、又は
前記現在の再構成されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合に、前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子を取得するように前記量子化パラメータ予測差に基づき第2量子化パラメータを補正すること
を含む。前記第1量子化パラメータは、前記原解像度符号化スキームでの現在の画像エリアの量子化パラメータであって、前記符号ストリームをパースすることによって取得される。前記第2量子化パラメータは、前記ダウンサンプリング符号化スキームでの前記現在の画像エリアの量子化パラメータであって、前記符号ストリームをパースすることによって取得される。前記現在の再構成されるべき画像ブロックは、前記現在の画像エリアの部分である。
第3の態様によれば、本願は、原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの前記現在の画像エリアの第2量子化パラメータと、前記現在の画像エリア内の現在の符号化されるべき画像ブロックの符号化スキームと、前記現在の符号化されるべき画像ブロックの符号化された信号と、前記現在の符号化されるべき画像ブロックの予測信号とを取得することであり、前記現在の符号化されるべき画像ブロックの前記符号化スキームは前記原解像度符号化スキーム又は前記ダウンサンプリング符号化スキームであり、前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合には、前記符号化された信号は前記現在の符号化されるべき画像ブロックの原信号であり、あるいは、前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合には、前記符号化された信号は、前記現在の符号化されるべき画像ブロックの前記原信号に対してダウンサンプリング処理が実行された後に取得される信号である、前記取得することと、前記現在の符号化されるべき画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの量子化パラメータを決定することであり、前記現在の符号化されるべき画像ブロックの前記量子化パラメータは前記第1量子化パラメータ又は前記第2量子化パラメータであり、あるいは、前記現在の符号化されるべき画像ブロックの前記量子化パラメータは、前記第1量子化パラメータを補正することによって取得される量子化パラメータ、又は前記第2量子化パラメータを補正することによって取得される量子化パラメータである、前記決定することと、前記予測信号及び前記符号化された信号に基づき前記現在の符号化されるべき画像ブロックの残留信号を生成することと、前記現在の符号化されるべき画像ブロックの前記量子化パラメータに基づき前記残留信号を符号化することとを含む画像処理方法を提供する。
本願の有利な効果は、次の通りである:画像ブロックが各々の特徴を有していると考えると、符号器側は、異なるように画像ブロックを符号化する。これに基づき、符号器側は、現在の符号化されるべき画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータを決定してよい。すなわち、量子化パラメータは、現在の符号化されるべき画像ブロックを符号化するために適切である。従って、符号器側は、より良い符号化効果を有する。
任意に、ダウンサンプリング符号化スキームでの前記現在の画像エリアの第2量子化パラメータを取得することは、
前記現在の画像エリアの量子化パラメータ予測差を取得することと、
前記第1量子化パラメータ及び前記量子化パラメータ予測差に基づき前記第2量子化パラメータを計算することと
を含む。
任意に、現在の符号化されるべき画像ブロックの符号化スキームを取得することは、
前記第1量子化パラメータに基づき、前記原解像度符号化スキームが前記現在の符号化されるべき画像ブロックに使用される場合に使用される第1符号化コストを決定することと、
前記第2量子化パラメータに基づき、前記ダウンサンプリング符号化スキームが前記現在の符号化されるべき画像ブロックに使用される場合に使用される第2符号化コストを決定することと、
前記現在の符号化されるべき画像ブロックの前記符号化スキームとして前記第1符号化コスト及び前記第2符号化コストの中の最低符号化コストに対応する符号化スキームを使用することと
を含む。
本願の有利な効果は、次の通りである:この方法は、符号化コストが最も低い符号化スキームを選択するために使用され得、これは、符号化をより容易にする。
任意に、前記現在の符号化されるべき画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの量子化パラメータを決定することは、
前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合に、前記第1量子化パラメータとして前記現在の符号化されるべき画像ブロックの前記量子化パラメータを決定すること、又は
前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合に、前記第2量子化パラメータとして前記現在の符号化されるべき画像ブロックの前記量子化パラメータを決定すること
を含む。
任意に、当該方法は、符号ストリームを生成することを更に含む。前記符号ストリームは、前記第1量子化パラメータと、前記第2量子化パラメータと、前記現在の符号化されるべき画像ブロックの前記符号化スキームとを含むか、あるいは、前記符号ストリームは、前記第1量子化パラメータと、前記現在の画像エリアの前記量子化パラメータ予測差と、前記現在の符号化されるべき画像ブロックの前記符号化スキームとを含む。
本願の有利な効果は、次の通りである。量子化パラメータ予測差は、第2量子化パラメータよりも短い。従って、この方法は、符号器側のビットオーバーヘッドを減らすことができる。
任意に、現在の符号化されるべき画像ブロックの符号化スキームを取得することは、
少なくとも1つの第3量子化パラメータを取得するように少なくとも1回前記第1量子化パラメータを補正し、且つ、少なくとも1つの第4量子化パラメータを取得するように少なくとも1回前記第2量子化パラメータを補正することと、
前記第3量子化パラメータに基づき、前記原解像度符号化スキームが前記現在の符号化されるべき画像ブロックに使用される場合に使用される第3符号化コストを決定し、且つ、前記第4量子化パラメータに基づき、前記ダウンサンプリング符号化スキームが前記現在の符号化されるべき画像ブロックに使用される場合に使用される第4符号化コストを決定することと、
前記現在の符号化されるべき画像ブロックの前記符号化スキームとして前記第3符号化コスト及び前記第4符号化コストの中の最低符号化コストに対応する符号化スキームを使用することと
を含む。
本願の有利な効果は、次の通りである。この方法は、符号化コストが最も低い符号化スキームを選択するために使用され得、これは、符号化をより容易にする。
任意に、前記現在の符号化されるべき画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの量子化パラメータを決定することは、
前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合に、前記現在の符号化されるべき画像ブロックの前記量子化パラメータとして前記少なくとも1つの第3量子化パラメータの中で符号化コストが最も低い第3量子化パラメータを決定すること、又は
前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合に、前記現在の符号化されるべき画像ブロックの前記量子化パラメータとして前記少なくとも1つの第4量子化パラメータの中で符号化コストが最も低い第4量子化パラメータを決定すること
を含む。
任意に、当該方法は、
前記現在の符号化されるべき画像ブロックの量子化パラメータ予測子を取得することと、
前記量子化パラメータ予測子及び前記現在の符号化されるべき画像ブロックの前記量子化パラメータに基づき前記現在の符号化されるべき画像ブロックの量子化パラメータ予測差を計算することと、
前記現在の符号化されるべき画像ブロックの前記符号化スキーム及び前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測差を含む符号ストリームを生成することと
を更に含む。
本願の有利な効果は、次の通りである。量子化パラメータ予測差は、量子化パラメータよりも短い。従って、この方法は、符号器側のビットオーバーヘッドを減らすことができる。
任意に、前記現在の符号化されるべき画像ブロックの量子化パラメータ予測子を取得することは、
Mが正の整数であるとして、前もって設定された規則に従って、前記現在の符号化されるべき画像ブロックと同じ現在の画像エリアに属するM個の再構成された画像ブロックを選択し、該M個の再構成された画像ブロックの量子化パラメータ及び該M個の再構成された画像ブロックの符号化スキームを取得することと、
前記M個の再構成された画像ブロックの前記量子化パラメータに基づき前記現在の符号化されるべき画像ブロックの前記符号化スキーム及び前記M個の再構成された画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子を決定することと
を含む。
本願の有利な効果は、次の通りのものである:この方法は、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を有効に且つ正確に決定するために使用され得る。
任意に、前記M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、
前記M個の再構成された画像ブロックの前記量子化パラメータに基づき前記現在の符号化されるべき画像ブロックの前記符号化スキーム及び前記M個の再構成された画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子を決定することは、
前記1つの再構成された画像ブロックの符号化スキームが前記現在の符号化されるべき画像ブロックの前記符号化スキームと同じである場合に、前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子として前記1つの再構成された画像ブロックの量子化パラメータを決定すること、又は
前記1つの再構成された画像ブロックの前記符号化スキームが前記現在の符号化されるべき画像ブロックの前記符号化スキームとは異なる場合に、前記第1量子化パラメータ及び前記第2量子化パラメータに基づき前記1つの再構成された画像ブロックの前記符号化スキーム及び前記現在の符号化されるべき画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子を決定すること
を含む。
任意に、前記第1量子化パラメータ及び前記第2量子化パラメータに基づき前記1つの再構成された画像ブロックの前記符号化スキーム及び前記現在の符号化されるべき画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子を決定することは、
前記1つの再構成された画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームであり、且つ、前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合に、量子化差分を取得するように前記第1量子化パラメータから前記第2量子化パラメータを減じ、前記量子化パラメータ予測子を取得するように前記1つの再構成された画像ブロックの前記量子化パラメータと前記量子化差分との和を計算すること、又は
前記1つの再構成された画像ブロックの前記符号化スキームが前記原解像度符号化スキームであり、且つ、前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合に、前記量子化差分を取得するように前記第1量子化パラメータから前記第2量子化パラメータを減じ、前記量子化パラメータ予測子を取得するように前記1つの再構成された画像ブロックの前記量子化パラメータと前記量子化差分との間の差を計算すること
を含む。
任意に、前記1つの再構成された画像ブロックは、符号化シーケンスにおける前記現在の符号化されるべき画像ブロックの前の再構成された画像ブロックである。
任意に、Mは1よりも大きく、
前記M個の再構成された画像ブロックの前記量子化パラメータに基づき前記現在の符号化されるべき画像ブロックの前記符号化スキーム及び前記M個の再構成された画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子を決定することは、
前記M個の再構成された画像ブロックの前記符号化スキームが夫々、前記現在の符号化されるべき画像ブロックの前記符号化スキームと同じである場合に、前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子として前記M個の再構成された画像ブロックの前記量子化パラメータの平均を決定すること、又は
前記M個の再構成された画像ブロックの前記符号化スキームのいずれかが前記現在の符号化されるべき画像ブロックの前記符号化スキームとは異なる場合に、前記第1量子化パラメータ及び前記第2量子化パラメータに基づき前記M個の再構成された画像ブロックの前記符号化スキーム及び前記現在の符号化されるべき画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子を決定すること
を含む。
任意に、前記第1量子化パラメータ及び前記第2量子化パラメータに基づき前記M個の再構成された画像ブロックの前記符号化スキーム及び前記現在の符号化されるべき画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子を決定することは、
前記M個の再構成された画像ブロックが、前記ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合に、前記第1量子化パラメータと、前記第2量子化パラメータと、前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの量子化パラメータとに基づき、前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの補正された量子化パラメータを計算し、前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記補正された量子化パラメータに基づき前記M個の再構成された画像ブロックの前記量子化パラメータの前記平均を決定し、該平均が、前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子である、こと、又は
前記M個の再構成された画像ブロックが、前記原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合に、前記第1量子化パラメータと、前記第2量子化パラメータと、前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの量子化パラメータとに基づき、前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの補正された量子化パラメータを計算し、前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記補正された量子化パラメータに基づき前記M個の再構成された画像ブロックの前記量子化パラメータの前記平均を決定し、該平均が、前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子である、こと
を含む。
任意に、前記第1量子化パラメータと、前記第2量子化パラメータと、前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの量子化パラメータとに基づき、前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの補正された量子化パラメータを計算することは、
量子化差分を取得するように前記第1量子化パラメータから前記第2量子化パラメータを減じることと、
前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記補正された量子化パラメータを取得するように、前記量子化差分と前記ダウンサンプリング符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記量子化パラメータとの和を計算することと
を含む。
本願の有利な効果は、次の通りである:この方法は、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを有効に且つ正確に計算するために使用され得る。
任意に、前記第1量子化パラメータと、前記第2量子化パラメータと、前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの量子化パラメータとに基づき、前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの補正された量子化パラメータを計算することは、
前記量子化差分を取得するように前記第1量子化パラメータから前記第2量子化パラメータを減じることと、
前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記補正された量子化パラメータを取得するように、前記量子化差分と前記原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの前記量子化パラメータとの間の差を計算することと
を含む。
本願の有利な効果は、次の通りである:この方法は、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを有効に且つ正確に計算するために使用され得る。
任意に、前記M個の再構成された画像ブロックは、前記現在の符号化されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックを含む。
任意に、前記M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、
前記M個の再構成された画像ブロックの量子化パラメータ及び前記M個の再構成された画像ブロックの符号化スキームを取得することは、
前記現在の符号化されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックを、前もって設定された範囲内にある再構成された画像ブロックから探すことと、
前記1つの再構成された画像ブロックの量子化パラメータ及び前記1つの再構成された画像ブロックの符号化スキームを取得することと
を含む。相応して、前記M個の再構成された画像ブロックの前記量子化パラメータに基づき前記現在の符号化されるべき画像ブロックの前記符号化スキーム及び前記M個の再構成された画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子を決定することは、
前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子として前記1つの再構成された画像ブロックの前記量子化パラメータを使用することを含む。
任意に、前記1つの再構成された画像ブロックは、符号化シーケンスにおいて、前記前もって設定された範囲内にある前記再構成された画像ブロックの中にあって、前記現在の符号化されるべき画像ブロックに最も近い再構成された画像ブロックである。
任意に、前記現在の符号化されるべき画像ブロックの量子化パラメータ予測子を取得することは、
前記原解像度符号化スキームでの前記現在の画像エリアの前記第1量子化パラメータと、前記ダウンサンプリング符号化スキームでの前記現在の画像エリアの前記第2量子化パラメータとを取得することと、
前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合に、前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子として前記第1量子化パラメータを使用すること、又は
前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合に、前記現在の符号化されるべき画像ブロックの前記量子化パラメータ予測子として前記第2量子化パラメータを使用することと
を含む。
以下は、画像処理デバイス及びシステムについて記載する。画像処理デバイス及びシステムの実施原理及び技術的効果は、上記の原理及び技術的効果と同様であり、詳細は、ここで再びは記載されない。
第4の態様によれば、本願は、原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの前記現在の画像エリアの第2量子化パラメータと、前記現在の画像エリア内の現在の再構成されるべき画像ブロックの符号化スキームと、前記現在の再構成されるべき画像ブロックの量子化係数と、前記現在の再構成されるべき画像ブロックの予測信号とを取得するように符号ストリームをパースするよう構成されるパージングモジュールであり、前記現在の再構成されるべき画像ブロックの前記符号化スキームは、前記原解像度符号化スキーム又は前記ダウンサンプリング符号化スキームであり、前記現在の再構成されるべき画像ブロックは、前記現在の画像エリアの部分である、前記パージングモジュールと、前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの量子化パラメータを決定するよう構成される決定モジュールであり、前記現在の再構成されるべき画像ブロックの前記量子化パラメータは、前記第1量子化パラメータ又は前記第2量子化パラメータである、前記決定モジュールと、現在の再構成された画像ブロックを取得するように前記現在の再構成されるべき画像ブロックの前記量子化パラメータ、前記量子化係数、及び前記予測信号に基づき前記現在の再構成されるべき画像ブロックを再構成するよう構成される再構成モジュールとを含む画像処理デバイスを提供する。
第5の態様によれば、本願は、現在の再構成されるべき画像ブロックの量子化パラメータ予測差と、前記現在の再構成されるべき画像ブロックの量子化係数と、前記現在の再構成されるべき画像ブロックの符号化スキームと、前記現在の再構成されるべき画像ブロックの予測信号とを取得するように符号ストリームをパースするよう構成されるパージングモジュールであり、前記符号化スキームは、原解像度符号化スキーム又はダウンサンプリング符号化スキームである、前記パージングモジュールと、前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定するよう構成される第1決定モジュールと、前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子及び前記量子化パラメータ予測差に基づき前記現在の再構成されるべき画像ブロックの量子化パラメータを決定するよう構成される第2決定モジュールと、現在の再構成された画像ブロックを取得するように前記現在の再構成されるべき画像ブロックの前記量子化パラメータ、前記量子化係数、及び前記予測信号に基づき前記現在の再構成されるべき画像ブロックを再構成するよう構成される再構成モジュールとを含む画像処理デバイスを提供する。
第6の態様によれば、本願は、原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの前記現在の画像エリアの第2量子化パラメータと、前記現在の画像エリア内の現在の符号化されるべき画像ブロックの符号化スキームと、前記現在の符号化されるべき画像ブロックの符号化された信号と、前記現在の符号化されるべき画像ブロックの予測信号とを取得するよう構成される第1取得モジュールであり、前記現在の符号化されるべき画像ブロックの前記符号化スキームは前記原解像度符号化スキーム又は前記ダウンサンプリング符号化スキームであり、前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合には、前記符号化された信号は前記現在の符号化されるべき画像ブロックの原信号であり、あるいは、前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合には、前記符号化された信号は、前記現在の符号化されるべき画像ブロックの前記原信号に対してダウンサンプリング処理が実行された後に取得される信号である、前記第1取得モジュールと、前記現在の符号化されるべき画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの量子化パラメータを決定するよう構成される決定モジュールであり、前記現在の符号化されるべき画像ブロックの前記量子化パラメータは前記第1量子化パラメータ又は前記第2量子化パラメータであり、あるいは、前記現在の符号化されるべき画像ブロックの前記量子化パラメータは、前記第1量子化パラメータを補正することによって取得される量子化パラメータ、又は前記第2量子化パラメータを補正することによって取得される量子化パラメータである、前記決定モジュールと、前記予測信号及び前記符号化された信号に基づき前記現在の符号化されるべき画像ブロックの残留信号を生成するよう構成される生成モジュールと、前記現在の符号化されるべき画像ブロックの前記量子化パラメータに基づき前記残留信号を符号化するよう構成される符号化モジュールとを含む画像処理デバイスを提供する。
第7の態様によれば、本願は、第4の態様に従う画像処理デバイスと、第6の態様に従う画像処理デバイスとを含む画像処理システムを提供する。
第8の態様によれば、本願は、第5の態様に従う画像処理デバイスと、第6の態様に従う画像処理デバイスとを含む画像処理システムを提供する。
第9の態様によれば、本願は、画像処理デバイスを提供し、当該デバイスは、
原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの前記現在の画像エリアの第2量子化パラメータと、前記現在の画像エリア内の現在の再構成されるべき画像ブロックの符号化スキームと、前記現在の再構成されるべき画像ブロックの量子化係数と、前記現在の再構成されるべき画像ブロックの予測信号とを取得するように符号ストリームをパースする動作であり、前記現在の再構成されるべき画像ブロックの前記符号化スキームは、前記原解像度符号化スキーム又は前記ダウンサンプリング符号化スキームであり、前記現在の再構成されるべき画像ブロックは、前記現在の画像エリアの部分である、前記符号ストリームをパースする動作と、
前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの量子化パラメータを決定する動作であり、前記現在の再構成されるべき画像ブロックの前記量子化パラメータは、前記第1量子化パラメータ又は前記第2量子化パラメータである、前記量子化パラメータを決定する動作と、
現在の再構成された画像ブロックを取得するように前記現在の再構成されるべき画像ブロックの前記量子化パラメータ、前記量子化係数、及び前記予測信号に基づき前記現在の再構成されるべき画像ブロックを再構成する動作と
を実行するよう構成された復号器を含む。
第10の態様によれば、本願は、画像処理デバイスを提供し、当該デバイスは、
現在の再構成されるべき画像ブロックの量子化パラメータ予測差と、前記現在の再構成されるべき画像ブロックの量子化係数と、前記現在の再構成されるべき画像ブロックの符号化スキームと、前記現在の再構成されるべき画像ブロックの予測信号とを取得するように符号ストリームをパースする動作であり、前記符号化スキームは、原解像度符号化スキーム又はダウンサンプリング符号化スキームである、前記符号ストリームをパースする動作と、
前記現在の再構成されるべき画像ブロックの前記符号化スキームに従って前記現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定する動作と、
前記現在の再構成されるべき画像ブロックの前記量子化パラメータ予測子及び前記量子化パラメータ予測差に基づき前記現在の再構成されるべき画像ブロックの量子化パラメータを決定する動作と、
現在の再構成された画像ブロックを取得するように前記現在の再構成されるべき画像ブロックの前記量子化パラメータ、前記量子化係数、及び前記予測信号に基づき前記現在の再構成されるべき画像ブロックを再構成する動作と
を実行するよう構成された復号器を含む。
第11の態様によれば、本願は、画像処理デバイスを提供し、当該デバイスは、
原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの前記現在の画像エリアの第2量子化パラメータと、前記現在の画像エリア内の現在の符号化されるべき画像ブロックの符号化スキームと、前記現在の符号化されるべき画像ブロックの符号化された信号と、前記現在の符号化されるべき画像ブロックの予測信号とを取得する動作であり、前記現在の符号化されるべき画像ブロックの前記符号化スキームは前記原解像度符号化スキーム又は前記ダウンサンプリング符号化スキームであり、前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記原解像度符号化スキームである場合には、前記符号化された信号は前記現在の符号化されるべき画像ブロックの原信号であり、あるいは、前記現在の符号化されるべき画像ブロックの前記符号化スキームが前記ダウンサンプリング符号化スキームである場合には、前記符号化された信号は、前記現在の符号化されるべき画像ブロックの前記原信号に対してダウンサンプリング処理が実行された後に取得される信号である、前記取得する動作と、
前記現在の符号化されるべき画像ブロックの前記符号化スキームに従って前記現在の符号化されるべき画像ブロックの量子化パラメータを決定する動作であり、前記現在の符号化されるべき画像ブロックの前記量子化パラメータは前記第1量子化パラメータ又は前記第2量子化パラメータであり、あるいは、前記現在の符号化されるべき画像ブロックの前記量子化パラメータは、前記第1量子化パラメータを補正することによって取得される量子化パラメータ、又は前記第2量子化パラメータを補正することによって取得される量子化パラメータである、前記決定する動作と、
前記予測信号及び前記符号化された信号に基づき前記現在の符号化されるべき画像ブロックの残留信号を生成する動作と、
前記現在の符号化されるべき画像ブロックの前記量子化パラメータに基づき前記残留信号を符号化する動作と
を実行するよう構成された符号器を含む。
第12の態様によれば、本願は、第4の態様又は第9の態様を実行するよう設計されたプログラムを含む、第4の態様又は第9の態様の画像処理デバイスによって使用されるコンピュータソフトウェア命令を記憶するよう構成されたコンピュータ記憶媒体を提供する。
第13の態様によれば、本願は、コンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、命令を含む。コンピュータプログラム製品がコンピュータによって実行される場合に、命令は、コンピュータが、第4の態様又は第9の態様の画像処理デバイスによって実行される機能を実行することを可能にする。
第14の態様によれば、本願は、第5の態様又は第10の態様を実行するよう設計されたプログラムを含む、第5の態様又は第10の態様の画像処理デバイスによって使用されるコンピュータソフトウェア命令を記憶するよう構成されたコンピュータ記憶媒体を提供する。
第15の態様によれば、本願は、コンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、命令を含む。コンピュータプログラム製品がコンピュータによって実行される場合に、命令は、コンピュータが、第5の態様又は第10の態様の画像処理デバイスによって実行される機能を実行することを可能にする。
第16の態様によれば、本願は、第6の態様又は第11の態様を実行するよう設計されたプログラムを含む、第6の態様又は第11の態様の画像処理デバイスによって使用されるコンピュータソフトウェア命令を記憶するよう構成されたコンピュータ記憶媒体を提供する。
第17の態様によれば、本願は、コンピュータプログラム製品を提供し、当該コンピュータプログラム製品は、命令を含む。コンピュータプログラム製品がコンピュータによって実行される場合に、命令は、コンピュータが、第6の態様又は第11の態様の画像処理デバイスによって実行される機能を実行することを可能にする。
最後に、本願は、画像処理方法、デバイス、及びシステムを提供する。画像ブロックが各々の特徴を有していると考えると、符号器側は、異なるように画像ブロックを符号化する。これに基づき、復号器側は、現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータを決定してよい。すなわち、量子化パラメータは、現在の再構成されるべき画像ブロックを再構成するために適切である。従って、復号器側によって取得される再構成された画像ブロックは、より良い効果を有する。その上、符号器側は、現在の符号化されるべき画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータを決定してよい。すなわち。量子化パラメータは、現在の符号化されるべき画像ブロックを符号化するために適切である。従って、符号器側は、より良い符号化効果を有する。
以下は、当業者の理解を促すように、本願中のいくつかの用語について記載する。
デジタルビデオは、デジタル形式で記録された映像である。デジタルビデオは、デジタル画像の複数のフレームを含む。元の映像は、通常はデータ量が比較的に多く、記憶及び伝送に適さない。そのため、高効率ビデオ圧縮符号化技術が、元データを圧縮するために使用される必要がある。
ビデオ圧縮技術は、ビデオ冗長性を除くことによって圧縮を実施する。ビデオ冗長性は、主に、空間冗長性、時間冗長性、視覚冗長性、及び情報エントロピー冗長性を含む。
空間冗長性:空間冗長性は、静止画像における主なデータ冗長性である。空間冗長性は、画像内の隣接するピクセルが比較的に近似した振幅を有していることを意味する。この空間コヒーレンスは、空間相関又は空間冗長性と呼ばれる。空間冗長性は、主に、イントラフレーム予測法を使用することによって取り除かれる。イントラフレーム予測法は、現在の再構成された画像ブロック内の画素が、ビデオ空間冗長性を取り除くために、参照再構成画像ブロック内のピクセルを使用することによってビデオ空間領域相関により予測されることを意味する。
時間冗長性:時間冗長性は、ビデオシーケンスで通常起こる冗長性である。ビデオの隣接する画像は、通常、同じ背景及び動いている対象物、又は類似した背景及び動いている対象物を含む。しかし、動いている対象物は、わずかに異なった空間的位置にある。隣接する画像どうしのこのような高いデータ相関は、時間冗長性と呼ばれる。時間冗長性は、主に、インタフレーム予測技術を使用することによって取り除かれる。インタフレーム予測技術は、現在のピクセルが時間的に隣接する画像のピクセルを使用することによって予測されることを意味する。
視覚冗長性:人間の視覚系は、画像ディテールの変化に鈍感である。たとえわずかな変化に関する情報が失われるとしても、人間の目は喪失を感じることができない。元のビデオデータが記録されるときに、視覚系は、様々なタイプのコンテンツに一貫して敏感であると通常は考えられる。その結果として、理想的な符号化の間に生成されるものよりも多くのデータが生成され、これは視覚冗長性と呼ばれる。視覚冗長性は、主に、変換技術及び量子化技術を使用することによって取り除かれる。変換技術は、画像サンプルに対して周波数解析が実行され、画像サンプルが周波数領域に変換され、視覚品質に対して異なる周波数信号によってなされる寄与の大きさに基づきデータ提示及びビット再割り当てが行われることを意味する。これは、空間領域での一様サンプリングの不適切な提示を補正することができる。その上、ビット再割り当てプロセスでは、視覚冗長性を取り除くための要件は包括的に考えられ、高周波成分の極端に精緻化された表現は、量子化操作を使用することによって除かれる。これは、有効な圧縮を実装する。
情報エントロピー冗長性:画像データのピクセルは、ピクセルの情報エントロピーサイズに基づき対応する数量のビットを割り当てることによってのみ表現可能であることが、情報理論から分かる。しかし、画像データのピクセル毎に、画像取得中にそのピクセルの情報エントロピーを取得することは極めて難しい。そのため、通常は、全てのピクセルが、同じ数量のビットを用いることによって表現される。その結果として、冗長性が必然的に引き起こされる。情報エントロピー冗長性は、主に、エントロピー符号化技術を使用することによって取り除かれる。エントロピー符号化技術は、係数情報エントロピー分布に関する統計値を集めることによって、情報エントロピーが異なるデータに対して異なる数量のビットを割り当てることである。
現在の主流のビデオ圧縮符号化アーキテクチャは、複合型の符号化アーキテクチャである。上記の冗長性は、種々の技術を使用することによって取り除かれ、それらの技術は、複合的なビデオ符号化アーキテクチャを形成するように組み合わされる。図3に示されるように、ビデオを受け取った後、符号器側は、ビデオを構成する画像の各フレームを、符号化されるべき画像ブロックに分け、その後に、符号化されるべき画像ブロックを符号化する。現在の符号化されるべき画像フロックについて、現在の符号化されるべき画像ブロックは、最初に、現在の符号化されるべき画像ブロックの予測信号を取得するように、参照再構成画像ブロックを使用することによって予測される。予測信号は、残留信号を取得するように、現在の符号化されるべき画像ブロックの原信号から減じられる。予測後に、残留信号の大きさは、原信号のそれよりもはるかに小さい。変換操作(任意の操作)及び量子化操作が残留信号に対して実行される。変換及び量子化後に量子化係数が得られ、次いで、符号ストリームを取得するように、量子化係数に対して、可変長符号化又はバイナリ符号化のようなエントロピー符号化により、エントロピー符号化操作が実行される。符号ストリームは、通常は、符号化されるべき画像ブロックを分割するための情報、エントロピー符号化が画像に対して実行された後に取得される情報、などを含む。更に、符号器側は、続いて符号化されるべき画像ブロックを符号化するための参照ピクセルを提供するように、現在の符号化されるべき画像ブロックを再構成する必要がある。具体的に、現在の符号化されるべき画像ブロックの量子化係数を取得した後、符号器側は、現在の符号化されるべき画像ブロックの量子化係数に対して逆量子化及び逆変換を実行して、再構成された残留信号を取得し、再構成された残留信号と、現在の符号化されるべき画像ブロックに対応する予測信号とを加算して、現在の符号化されるべき画像ブロックの再構成信号を取得し、再構成信号に基づいて、再構成された画像ブロックを取得する必要がある。
図4に示されるように、符号ストリームを取得した後、復号器側は、最初に、現在の再構成されるべき画像ブロックの量子化係数を取得するように、符号ストリームに対してエントロピー復号化を実行し、次いで、現在の再構成されるべき画像ブロックの再構成された残留信号を取得するように、量子化係数に対して逆量子化及び逆変換を実行する。現在の再構成されるべき画像ブロックは、現在の再構成されるべき画像ブロックの予測信号を取得するように、参照再構成画像ブロックを使用することによって予測される。予測信号及び再構成された残留信号は、現在の再構成されるべき画像ブロックの再構成信号を取得するように加算される。再構成信号に基づいて、現在の再構成されるべき画像ブロックに対応する現在の再構成された画像ブロックが得られる。
符号化及び復号化をより容易にするために、符号器側は、最初に、画像の各フレームに対してダウンサンプリング処理を実行する。図5に示されるように、符号器側は、画像全体に対してダウンサンプリング処理を実行し、次いで、符号ストリームを取得するように、ダウンサンプリング処理後に得られた画像内の夫々の符号化されるべき画像ブロックを符号化する。夫々の符号化されるべき画像ブロックに対応する再構成された画像ブロックの解像度は、ダウンサンプリング解像度である。相応して、復号器側は符号ストリームをパースする。夫々の再構成されるべき画像ブロックの解像度はダウンサンプリング解像度であり、取得される再構成された画像ブロックの対応する解像度もダウンサンプリング解像度である。復号器側は、元の解像度の再構成された画像ブロックを取得するように、再構成された画像ブロックに対してアップサンプリング処理を実行する必要がある。
符号器側及び復号器側は両方とも、現在の再構成された画像ブロックの予測信号を取得するために、参照再構成画像ブロックを使用することによって現在の再構成された画像ブロック(現在の符号化されるべき画像ブロック又は現在の再構成されるべき画像ブロック)を予測するプロセスに関与する。本願において、現在の再構成された画像ブロックの先行技術の予測モード(主にイントラフレーム予測法である。)は、具体的に次の通りであってよい。
例えば、図6は、本願の実施形態に従って符号化中である画像の概略図である。図6に示されるように、画像は複数の画像ブロックを含む。画像は、上から下及び左から右へ順に符号化される。図6では、ブロックC、B、D、E、及びAは、再構成された画像ブロックであり、画像ブロックFは、現在の符号化されるべき画像ブロックであり、画像内の他のエリアは、符号化されていない画像エリアである。
H.265標準が、イントラフレーム予測法の具体的なプロセスについて記載するためにここでは使用される。H.265では、現在の符号化されるべき画像ブロックは、予測のために、より小さいサブ画像ブロックに分けられる。サブ画像ブロックが分割を通じて取得される構造は、四分木構造である。具体的に言えば、1つの画像ブロックは4つのサブ画像ブロックに分割されてよく、各サブ画像ブロックは、更に4つのサブ画像ブロックに分割されてよい。図6に示されるように、現在の符号化されるべき画像ブロックは、予測のために7つのサブ画像ブロックに分けられると考えられ、あるいは、現在の符号化されるべき画像ブロックは、予測のために、より多くのサブ画像ブロックに分割されてもよい。各サブ画像ブロックは、最初に、予測信号を取得するように予測される。次いで、サブ画像ブロックの残留信号が予測信号に基づき取得される。変換、量子化、及びエントロピー符号化が残留信号に対して更に実行される。任意に、プレーナモード、DCモード、及び33の角度予測モードを含む、各サブ画像ブロックを予測するための35のイントラフレーム予測法が存在する。同じ参照ピクセルテンプレート(複数の参照ピクセルを含む。)が全ての予測モードに対して使用される。図7は、本願の実施形態に従う参照ピクセルテンプレートの概略図である。図7に示されるように、ピクセルP1,1、P2,1、・・・、P1,N、P2,N、・・・、及びPN,Nは、符号化されるべきサブ画像ブロックを構成する。例えば、符号化されるべきサブ画像ブロックは、図6のサブ画像ブロック1であってよい。図7に示されるように、符号化されるべきサブ画像ブロックに加えて、他の参照ピクセルR0,0、R1,0、・・・、R2N+1,0、・・・、及びR0,2Nは、参照ピクセルテンプレートを構成する。符号化されるべきサブ画像ブロックは、図6のサブ画像ブロック1であると仮定される。この場合に、それらの参照ピクセルのいくつかは、参照再構成画像ブロックBの最後の行にあるピクセルであり、他のピクセルは、参照再構成画像ブロックAの最右の列にあるピクセルである。他の標準では、それらの参照ピクセルのいくつは、参照再構成画像ブロックBに含まれる下の方の複数行のピクセルであり、他のピクセルは、参照再構成画像ブロックAに含まれる右の複数列のピクセルである。すなわち、参照ピクセルテンプレートは、本願において限定されない。
プレーナモード
プレーナモードは、ピクセル値がゆっくりと変化するエリアに適用可能である。図8A及び図8Bは、本願の実施形態に従うプレーナモードの概略図である。図8A及び図8Bに示されるように、水平方向及び垂直方向における2つの線形フィルタが、2つの予測子Px,y Hor及びPx,y Verを夫々得るために使用され、Px,y Hor及びPx,y Verの平均が、ピクセル(x,y)の予測信号として使用される。
DCモード
DCモードは、広域的な平面エリアに適用可能である。現在の符号化されるべきサブ画像ブロックの予測信号は、現在の符号化されるべきサブ画像ブロックの左参照ピクセル及び上参照ピクセルの平均によって取得され得る。図7に示されるように、符号化されるべきサブ画像ブロック内の各ピクセルの予測信号は、R0,1、・・・、R0,N、R1,0、・・・、RN,0の平均を使用することによって取得され得る。
角度モード
H.265/HEVCは、ビデオコンテンツにおいて異なる方向でテクスチャにより良く適応するように33の角度予測モードを規定している。図9は、本願の実施形態に従う33の角度予測モードの具体的な方向の概略図である。図9に示されるように、33の角度予測モードは、水平モード(モード2からモード17)と、垂直モード(モード18からモード34)とに分類され、V0(モード26)及びH0(モード10)は、垂直方向及び水平方向を夫々示しており、残りの角度予測モードの予測方向は夫々、垂直方向又は水平方向からの角度偏差と見なされ得る。ここで、角度予測プロセスについて記載するために、垂直方向V0(モード26)が一例として使用される。垂直予測は、現在の符号化されるサブ画像ブロックが、現在の符号化されるべきサブ画像ブロックの上で隣接している行内の参照ピクセルを使用することによって予測されることを意味する。現在の符号化されるべきサブ画像ブロック内の各ピクセルの予測信号は、そのピクセルが位置している列に対応する参照ピクセルのピクセル値に等しい。すなわち、Px,y=Ry,0。他の角度予測モードについては、水平方向又は垂直方向からの角度偏差が存在し、参照ピクセルの位置は、角度偏差に基づき計算され得る。参照ピクセルは、2つの隣接する参照ピクセルの間にあってよい。この場合に、参照ピクセルを取得するために、2つの参照ピクセルの間の計算された位置に対して補間操作が実行される必要があり、予測信号は、取得された参照ピクセルを使用することによって生成される。
イントラフレーム予測法は、復号器側にも適用可能であり、詳細は、本願で再度ここでは記載されない点が留意されるべきである。
更に、本願は、量子化プロセス及び逆量子化プロセスに関係がある。
具体的に、符号器側は、上記の量子化プロセスに関与する。量子化プロセスは、信号の連続的な値又は大量のとり得る離散値を有限な量の離散振幅値にマッピングするプロセスである。ビデオ符号化の間、残留信号が変換された後に、変換係数が取得される。変換係数は、通常、比較的に大きいダイナミックレンジを有している。変換係数は、信号値範囲を有効に減らし、更には、より良い圧縮効果を実装するように、量子化される。ビデオ標準で広く使用されている量子化方法は、スケール量子化である。スケール量子化は、入力値フィールドを等間隔のインターバルに分けるものである。各インターバルに対応する出力値(すなわち、再構成値)はインターバルの中点であり、インターバルの長さは量子化ステップと呼ばれる。具体的な量子化プロセスは、変換係数で量子化ステップを割り、次いで除算結果を四捨五入して、量子化係数を取得するものである。
復号器側は、上記の逆量子化プロセスに関与する。逆量子化プロセスは、量子化係数に量子化ステップを乗じて、再構成された変換係数を取得するものです。H.264標準及びH.265標準では、量子化パラメータ(Quantization Parameter,QP)が量子化ステップを決定するために使用される。量子化パラメータは0から51の範囲をとる。その上、量子化パラメータが1ずつ増大されるたびに、量子化ステップは近似的に12.25%ずつ増える。
更に、本願は、画像ダウンサンプリング処理及び画像アップサンプリング処理に関係がある。
画像ダウンサンプリング処理は、3つの側面、すなわち、1.ダウンサンプリング比、2.ダウンサンプリング位置、3.ダウンサンプリングに使用されるフィルタ、における情報に関係がある。
ダウンサンプリング比は、ダウンサンプリング後に得られた画像に対する原画像の比であり、水平方向及び垂直方向で別々に示され得る。例えば、画像信号について、水平ダウンサンプリングは2:1の比で実行されてよく、垂直ダウンサンプリングは4:1の比で実行されてよく、あるいは、水平ダウンサンプリングは実行されず、垂直ダウンサンプリングは2:1の比で実行され、あるいは、水平ダウンサンプリング及び垂直ダウンサンプリングは両方とも2:1の比で実行される。
ダウンサンプリング位置は、ダウンサンプリング点と原サンプリング点との間の位置関係である。例えば、ダウンサンプリング点は、いくつかの原サンプリング点と同じ位置にあってよく、あるいは、ダウンサンプリング点は、いくつかの原サンプリング点の間にある。
ダウンサンプリングフィルタは、3−lobeランチョスフィルタ、双線形フィルタ、バイキュービックフィルタ、ガウスフィルタ、などであってよい。
以下は、ダウンサンプリングプロセスについて記載するために、16×16解像度の画像ブロックを一例として使用する(実際の画像は、よりずっと大きく、例えば、1920×1080である。)。図10は、本願の実施形態に従う画像ダウンサンプリングの概略図である。水平方向及び垂直方向におけるサンプリング比が両方とも2:1であるとすると、ダウンサンプリング点の位置は、水平方向では2つの原サンプリング点の左の位置であり、ダウンサンプリング点の位置は、垂直方向では2つの原サンプリング点の上の位置である。図10に示されるように、四角で囲まれた丸は、ダウンサンプリング点位置を示し、ダウンサンプリングフィルタは、次の通りである。
フィルタは、単純なローパスフィルタである。ローパスフィルタは、1つの2次元フィルタと見なされても、あるいは、2つの1次元フィルタと見なされてもよい。フィルタが1つの2次元フィルタと見なされる場合には、水平ダウンサンプリング及び垂直ダウンサンプリングの両方が1回のフィルタリング操作で完了され得る。図10に示されるように、ダウンサンプリングがダウンサンプリング点Aに対して実行されるとき、8つの隣接する原サンプリング点(三角で囲まれた丸)が使用され、ダウンサンプリング点Aのピクセル値は上記のフィルタに従って計算される。フィルタが2つの1次元フィルタと見なされる場合には、最初に、水平ダウンサンプリング又は垂直ダウンサンプリングが完了される必要があり、次いで、垂直ダウンサンプリング又は水平ダウンサンプリングが水平ダウンサンプリング結果又は垂直ダウンサンプリング結果に対して実行される。図10に示されるように、ダウンサンプリングがダウンサンプリング点Aに対して実行されるとき、最初に、ダウンサンプリング点Aの左右の原サンプリング点を使用することによって、水平ダウンサンプリングが実行され、次いで、ダウンサンプリング点Aの上下の原サンプリング点を使用することによって、垂直ダウンサンプリングがダウンサンプリング結果に対して実行され、そして、ダウンサンプリング点Aのピクセル値は、上記のフィルタに従って計算される。同じ方法が、16×16の画像ブロック全体に対してダウンサンプリング処理を実行するために使用される。最終的なダウンサンプリング結果が図10に示されている。各ダウンサンプリング点の位置は、四角で囲まれた丸によって表されており、ダウンサンプリング点のピクセル値は、フィルタリング操作を通じて取得される。図10に示されるように、ダウンサンプリング後に取得される画像ブロックは、8×8解像度を有している。
符号器側又は復号器側は、通常、元の解像度の画像を取得するために、ダウンサンプリング後に取得された画像に対してアップサンプリング処理を実行する必要がある。上記のアップサンプリング処理は、3つの側面、すなわち、1.アップサンプリング比、2.アップサンプリング位置、3.アップサンプリングに使用されるフィルタ、における情報に関係がある。
アップサンプリング比は、アップサンプリング後に得られた画像に対する、アップサンプリングが実行されていない画像の比であり、水平方向及び垂直方向で別々に示され得る。例えば、アップサンプリングが実行されていない画像信号について、水平アップサンプリングは1:2の比で実行されてよく、垂直アップサンプリングは1:4の比で実行されてよく、あるいは、水平アップサンプリングは実行されず、垂直アップサンプリングは1:2の比で実行され、あるいは、水平アップサンプリング及び垂直アップサンプリングは両方とも1:2の比で実行される。
アップサンプリング位置は、アップサンプリング後に得られるサンプリング点と、アップサンプリングが実行されないサンプリング点との間の位置関係である。例えば、図11は、本願の実施形態に従う画像アップサンプリングの概略図である。図11に示されるように、最初の行で、水平アップサンプリングが1:2のアップサンプリング比で実行された後に得られるサンプリング点の位置は、アップサンプリングが実行されないサンプリング点の右側にあってよく、×は、アップサンプリング後に得られるサンプリング点の位置を表し、丸は、アップサンプリングが実行されないサンプリング点の位置を表す。2行目では、水平アップサンプリングが1:2のアップサンプリング比で実行された後に得られるサンプリング点の位置は、アップサンプリングが実行されないサンプリング点の左側にあってよく、×は、アップサンプリング後に得られるサンプリング点の位置を表し、丸は、アップサンプリングが実行されないサンプリング点の位置を表す。アップサンプリング後に得られるサンプリング点の位置は、上記のダウンサンプリング点の位置選択に対応する必要がある点が留意されるべきである。例えば、ダウンサンプリングの間に、左の原サンプリング点の位置が、ダウンサンプリング点の位置として選択される。この場合に、アップサンプリングの間に、アップサンプリングが実行されない右のサンプリング点(ダウンサンプリング点)の位置が、アップサンプリング後に得られるサンプリング点の位置として選択される。
アップサンプリングフィルタは、DCTIFフィルタ、双線形補間フィルタ、sincフィルタ、などであってよい。以下は、アップサンプリングプロセスについて記載するために、8×8解像度の画像ブロック(すなわち、ダウンサンプリング後に得られた上記の画像ブロック)を一例として使用する。水平方向及び垂直方向におけるサンプリング比は両方とも2:1であると仮定される。水平方向において、アップサンプリング後に得られるサンプリング点の位置は、アップサンプリングが実行されない右側のサンプリング点の位置である。垂直方向において、アップサンプリング後に得られるサンプリング点の位置は、アップサンプリングが実行されない下側のサンプリング点の位置である。ここで、DCTIFフィルタが水平アップサンプリング及び垂直アップサンプリングを別々に実行する例が、アップサンプリング処理のプロセスについて記載するために使用される。DCTIFフィルタは(−1,4,−11,40,40,−11,4,−1)である。水平アップサンプリングが目下実行される必要があると仮定される。図11において、サンプリング点B3が挿入される必要があるとすれば、B3のピクセル値は、次の式:
B3=(−A0+4×A1−11×A2+40×A3+40×A4−11×A5+4×A6−A7)>>6
を使用することによって決定される。
他の位置、例えばB7での補間サンプリング点については、B7の右側4つのピクセルが使用される必要があり、それらのピクセルは目下取得され得ない。実際には、通常、A7が、B7のピクセル値を計算するために4回繰り返される。垂直アップサンプリングは水平アップサンプリングと同様であり、詳細は、再びここで記載されない。代替的に、垂直アップサンプリングは、水平アップサンプリングの前に実行されてもよい。図12は、本願の実施形態に従う画像アップサンプリングの概略図である。図12に示されるように、×は、アップサンプリング後に得られるサンプリング点を表し、丸は、アップサンプリングが実行されないサンプリング点を表す。
先行技術では、符号器側は、画像全体に対してダウンサンプリング処理を実行する。しかし、画像全体に含まれる全ての画像ブロックは、異なった特徴を有することがある。例えば、いくつかの画像ブロックは比較的に平坦であり得る。この場合に、符号器側は、それらの画像ブロックに対してダウンサンプリング処理を実行することができる。いくつかの画像ブロックは多数のディテールを有することがある。この場合に、これらのディテールは、ダウンサンプリング処理が実行されると失われる。その結果として、符号器側によって実行される符号化の効果は不十分であり、相応して、復号器側によって取得されるいくつかの再構成された画像ブロックは比較的に不鮮明である。すなわち、復号器側によって取得される再構成された画像ブロックの効果は不十分である。
上記の技術的問題を解決するために、本願は、画像処理方法、デバイス、及びシステムを提供する。本願は、図3及び図5における符号化の概略図に基づく。図3及び図5に示されるように、画像に含まれている符号化されるべき画像ブロックは、図3に示される原解像度符号化スキーム、又は図5に示されるダウンサンプリング符号化スキームを使用することによって、符号化されてよい。原解像度符号化スキームは、現在の符号化されるべき画像ブロックを直接符号化するものである。ダウンサンプリング符号化スキームは、現在の符号化されるべき画像ブロックに対して最初にダウンサンプリング処理を実行し、次いで、ダウンサンプリング後に得られた現在の符号化されるべき画像ブロックを符号化するものである。通常、テクスチャ画像ブロックは、原解像度符号化スキームを使用することによって符号化され、滑らかな画像ブロックは、ダウンサンプリング符号化スキームを使用することによって符号化される。符号器側は、夫々の符号化されるべき画像ブロックに使用される符号化スキームを記録する必要があり、その記録を符号ストリームに書き込む。従って、復号器側は、記録に基づき、対応する操作を、再構成されるべき画像ブロックに対して実行する。本願の主な考えは次の通りである:復号器側は、原解像度符号化スキーム又はダウンサンプリング符号化スキームを使用することによって、再構成されるべき画像ブロックを符号化し、再構成されるべき画像ブロックの符号化スキームに従って、再構成されるべき画像ブロックのQPを決定し、QPに基づいて、再構成されるべき画像ブロックを再構成してよい。相応して、符号器側は、原解像度符号化スキーム又はダウンサンプリング符号化スキームを使用することによって、符号化されるべき画像ブロックを符号化し、符号化されるべき画像ブロックの符号化スキームに従って、符号化されるべき画像ブロックのQPを決定し、QPに基づいて符号化を実行してよい。
図13は、本願の実施形態に従う画像処理方法のフローチャートである。図13に示されるように、方法は、次のプロシージャを含む。
ステップS1301:原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータと、現在の画像エリア内の現在の再構成されるべき画像ブロックの符号化スキームと、現在の再構成されるべき画像ブロックの量子化係数と、現在の再構成されるべき画像ブロックの予測信号とを取得するように、符号ストリームをパースし、このとき、現在の再構成されるべき画像ブロックの符号化スキームは、原解像度符号化スキーム又はダウンサンプリング符号化スキームであり、現在の再構成されるべき画像ブロックは、現在の画像エリアの部分である。
ステップS1302:現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータを決定し、このとき、現在の再構成されるべき画像ブロックの量子化パラメータは、第1量子化パラメータ又は第2量子化パラメータである。
ステップS1303:現在の再構成された画像ブロックを取得するように、現在の再構成されるべき画像ブロックの量子化パラメータ、量子化係数、及び予測信号に基づき、現在の再構成されるべき画像ブロックを再構成する。
ステップS1301について詳細に記載する。具体的に、第1量子化パラメータは、原解像度符号化スキームにおけるビデオレベル(シーケンスレベル)、画像レベル、又は画像スライス(Slice)レベルでの量子化パラメータであってよい。本発明のこの実施形態での画像エリアは画像であってよく、あるいは、画像スライスであってもよい。一例としてビデオレベルを使用することによって、原解像度符号化スキームが同じビデオ内の画像の各フレーム及び画像の各フレーム内の各画像ブロックに使用されるという条件で、第1量子化パラメータは使用され得る。一例として画像レベルを使用することによって、原解像度符号化スキームが同じ画像内の各画像ブロックに使用されるという条件で、第1量子化パラメータは使用され得る。一例として画像スライス(Slice)レベルを使用することによって、原解像度符号化スキームが同じ画像スライス(Slice)内の各画像ブロックに使用されるという条件で、第1量子化パラメータは使用され得る。同様に、第2量子化パラメータは、ダウンサンプリング符号化スキームにおけるビデオレベル(シーケンスレベル)、画像レベル、又は画像スライス(Slice)レベルでの量子化パラメータであってよい。
任意に、第1量子化パラメータがビデオレベルでの量子化パラメータである場合には、第2量子化パラメータもビデオレベルでの量子化パラメータである。同様に、第1量子化パラメータが画像レベルでの量子化パラメータである場合には、第2量子化パラメータも画像レベルでの量子化パラメータである。第1量子化パラメータが画像スライスレベルでの量子化パラメータである場合には、第2量子化パラメータも画像スライスレベルでの量子化パラメータである。
第1量子化パラメータの値範囲については、既存の標準を参照されたい。例えば、第1量子化パラメータは、H.265では、0から51の範囲をとり、第2量子化パラメータは、通常は、第1量子化パラメータよりも小さい。
第1量子化パラメータ及び第2量子化パラメータは、符号器側によって生成される符号ストリームで直接運ばれてよい。
代替的に、符号ストリームは、第1量子化パラメータと、現在の画像エリアの量子化パラメータ予測差とを含む。任意に、量子化パラメータ予測差は、第2量子化パラメータを第1量子化パラメータから減じることによって符号器側によって計算される差である。相応して、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータを取得することは、第2量子化パラメータを取得するように、第1量子化パラメータと量子化パラメータ予測差との間の差を計算することを含む。代替的に、量子化パラメータ予測差は、第1量子化パラメータを第2量子化パラメータから減じることによって符号器側によって計算される差である。相応して、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータを取得することは、第2量子化パラメータを取得するように、第1量子化パラメータと量子化パラメータ予測差との和を計算することを含む。代替的に、量子化パラメータ予測差は、符号器側の設定ファイルから直接取得される量子化パラメータ予測差である。この場合に、復号器側は、量子化パラメータ予測差によって表される意味を取得してよい。例えば、量子化パラメータ予測差によって表される意味は、第2量子化パラメータを第1量子化パラメータから減じることによって取得される差であってよい。この場合に、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータを取得することは、第2量子化パラメータを取得するように、第1量子化パラメータと量子化パラメータ予測差との間の差を計算することを含む。代替的に、量子化パラメータ予測差によって表される意味は、第1量子化パラメータを第2量子化パラメータから減じることによって取得される差であってよい。この場合に、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータを取得することは、第2量子化パラメータを取得するように、第1量子化パラメータと量子化パラメータ予測差との和を計算することを含む。量子化パラメータ予測差は、第2量子化パラメータよりも短い。従って、この方法によれば、符号器側のビットオーバーヘッドを低減することができる。
代替的に、符号ストリームは、第2量子化パラメータ及び量子化パラメータ予測差を含む。第1量子化パラメータは、第2量子化パラメータ及び量子化パラメータ予測差に基づき決定され得る。第1量子化パラメータを決定する方法は、第2量子化パラメータを決定する方法と同様であり、詳細は、再びここで記載されない。
現在の再構成されるべき画像ブロックの符号化スキームは、符号ストリームで直接運ばれてよい。1以上のビットが、現在の再構成されるべき画像ブロックの符号化スキームを示すために使用されてよい。例えば、現在の再構成されるべき画像ブロックの符号化スキームを示すために1ビットが使用されるとき、0は、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームであることを示すために使用されてよく、1は、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであることを示すために使用されてよく、あるいは、1は、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームであることを示すために使用されてよく、0は、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであることを示すために使用されてよい。
代替的に、現在の再構成されるべき画像ブロックの符号化スキームは、符号ストリーム内の他のパラメータ情報を使用することによって導出されてもよい。
任意に、復号器側は、現在の再構成されるべき画像ブロックの予測信号を取得するように、現在の再構成されるべき画像ブロックM個の参照再構成画像ブロックを使用することによって、現在の再構成されるべき画像ブロックを予測し、このとき、Mは、1以上の正の整数である。例えば、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームであり、M個の参照再構成画像ブロックが、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の再構成されるべき画像ブロックの参照ピクセルは、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルの中で決定される。現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームであり、M個の参照再構成画像ブロックが、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の再構成されるべき画像ブロックを再構成するために必要とされるピクセルが、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルから取得され、アップサンプリング処理が、現在の再構成されるべき画像ブロックの参照ピクセルを取得するように、現在の再構成されるべき画像ブロックを再構成するために必要とされるピクセルに対して実行される。現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、M個の参照再構成画像ブロックが、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の再構成されるべき画像ブロックの参照ピクセルは、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルの中で決定される。現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、M個の参照再構成画像ブロックが、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の再構成されるべき画像ブロックを再構成するために必要とされるピクセルが、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルから取得され、ダウンサンプリング処理が、現在の再構成されるべき画像ブロックの参照ピクセルを取得するように、現在の再構成されるべき画像ブロックを再構成するために必要とされるピクセルに対して実行される。最後に、上記のイントラフレーム予測法によれば、現在の再構成されるべき画像ブロックの予測信号は、現在の再構成されるべき画像ブロックの参照ピクセルを使用することによって取得される。現在の再構成されるべき画像ブロックの予測信号を取得する方法は、本願において限定されない。
ステップS1302について詳細に記載する。任意の様態で、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合には、第1量子化パラメータが、現在の再構成されるべき画像ブロックの量子化パラメータとして使用され、あるいは、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合には、第2量子化パラメータが、現在の再構成されるべき画像ブロックの量子化パラメータとして使用される。
他の任意の様態では、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、第1量子化パラメータは少なくとも1回補正され、得られた補正結果が、現在の再構成されるべき画像ブロックの量子化パラメータとして使用され、あるいは、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、第2量子化パラメータは少なくとも1回補正され、得られた補正結果が、現在の再構成されるべき画像ブロックの量子化パラメータとして使用される。
例えば、第1量子化パラメータと補正係数との間の差が計算され、その得られた差が、現在の再構成されるべき画像ブロックの量子化パラメータとして使用される。補正係数は実際の要件に基づき設定されてよく、例えば、3であってよい。代替的に、第1量子化パラメータと補正係数との積が計算され、その得られた積が、現在の再構成されるべき画像ブロックの量子化パラメータとして使用される。補正係数は実際の要件に基づき設定されてよく、例えば、0.2であってよい。同様に、第2量子化パラメータも、同じ方法を使用することによって補正されてよい。
例えば、固定スケール係数が前もって設定され、復号器側は、第1量子化パラメータ及びスケール係数に基づき第2量子化パラメータを直接決定してよい。スケール係数は、0から1の範囲をとる。例えば、水平方向の2:1ダウンサンプリング及び垂直方向の2:1ダウンサンプリングが実行されるとき、スケール係数は、経験に従って、およそ0.8である。すなわち、第2量子化パラメータは、第1量子化パラメータの0.8倍である。ダウンサンプリングスケーリング比が増大し、例えば、水平方向の2:1ダウンサンプリングが実行され、垂直方向のダウンサンプリングが実行されない場合に、スケール係数も増大する。例えば、スケール係数は0.9であってよい。ダウンサンプリングスケーリング比が低減し、例えば、水平方向の4:1ダウンサンプリング及び垂直方向の4:1ダウンサンプリングが実行される場合に、スケール係数も低減する。例えば、スケール係数は0.6であってよい。
ステップS1303について詳細に記載する。任意に、エントロピー復号化が、現在の再構成されるべき画像ブロックの量子化係数を取得するように符号ストリームに対して実行されてよい。量子化ステップは、複数の先行技術の方法を使用することによって、量子化パラメータに基づき取得される。再構成された変換係数を取得するために、量子化係数は量子化ステップを乗じられる。現在の再構成されるべき画像ブロックの再構成された残留信号を取得するために、変換係数に対して逆変換が実行される。次いで、現在の再構成されるべき画像ブロックの再構成信号を取得するために、予測信号及び再構成された残留信号が加算される。最後に、現在の再構成されるべき画像ブロックに対応する現在の再構成された画像ブロックが、再構成信号に基づき取得される。
符号器側が変換操作を実行し、復号器側が逆変換操作を実行する例が、本願のこの実施形態では使用されている点が留意されるべきである。実際には、符号器側は変換操作を実行しなくてもよく、相応して、復号器側も逆変換操作を実行しない。詳細は、以下では記載されない。
任意に、現在の再構成された画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、方法は、現在の再構成された画像ブロックに対してアップサンプリング処理を実行するために必要とされる隣接再構成画像ブロックのピクセルに基づき、現在の再構成された画像ブロックに対してアップサンプリング処理を実行することを更に含む。詳細については、上記のアップサンプリング処理方法を参照されたい。現在の再構成された画像ブロックに対してアップサンプリング処理を実行するために必要とされる隣接再構成画像ブロックは、アップサンプリング処理を実行するために復号器側によって使用されるフィルタに関係がある。例えば、必要とされる隣接再構成画像ブロックは、上画像ブロック、下画像ブロック、左画像ブロック、及び右画像ブロックであってよい。代替的に、必要とされる隣接再構成画像ブロックは、現在の再構成された画像ブロックの上画像ブロック、下画像ブロック、左画像ブロック、右画像ブロック、左上画像ブロック、左下画像ブロック、右上画像ブロック、及び右下画像ブロックを含む。アップサンプリング処理のプロセスは、本願において限定されない。
結論として、画像ブロックは本願では各々の特徴を有しており、符号器側は異なるように画像ブロックを符号化するので、復号器側は、現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータを決定してよい。すなわち、量子化パラメータは、現在の再構成されるべき画像ブロックを再構成するために適切である。従って、復号器側によって取得される再構成された画像ブロックは、より良い効果を有する。
図14は、本願の他の実施形態に従う画像処理方法のフローチャートである。図14に示されるように、方法は、次のプロシージャを含む。
ステップS1401:現在の再構成されるべき画像ブロックの量子化パラメータ予測差と、現在の再構成されるべき画像ブロックの量子化係数と、現在の再構成されるべき画像ブロックの符号化スキームと、現在の再構成されるべき画像ブロックの予測信号とを取得するように、符号ストリームをパースし、このとき、符号化スキームは、原解像度符号化スキーム又はダウンサンプリング符号化スキームである。
ステップS1402:現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定する。
ステップS1403:現在の再構成されるべき画像ブロックの量子化パラメータ予測子及び量子化パラメータ予測差に基づき、現在の再構成されるべき画像ブロックの量子化パラメータを決定する。
ステップS1404:現在の再構成された画像ブロックを取得するように、現在の再構成されるべき画像ブロックの量子化パラメータ、量子化係数、及び予測信号に基づき、現在の再構成されるべき画像ブロックを再構成する。
ステップS1401について詳細に記載する。具体的に、量子化パラメータ予測差は、現在の再構成されるべき画像ブロックに対応する量子化パラメータ予測子と、現在の再構成されるべき画像ブロックの量子化パラメータとに基づいて、符号器側によって取得され得る。例えば、符号器側は、現在の再構成されるべき画像ブロックに対応する量子化パラメータ予測子を、現在の再構成されるべき画像ブロックの量子化パラメータから減じて、量子化パラメータ予測差を取得する。代替的に、符号器側は、現在の再構成されるべき画像ブロックに対応する量子化パラメータ予測子を、現在の再構成されるべき画像ブロックの量子化パラメータから減じ、最終的に量子化パラメータ予測差が得られるように差を調整し、量子化パラメータ予測差を符号ストリームに加える。代替的に、符号器側は、現在の再構成されるべき画像ブロックの量子化パラメータを、現在の再構成されるべき画像ブロックに対応する量子化パラメータ予測子から減じて、量子化パラメータ予測差を取得する。代替的に、符号器側は、現在の再構成されるべき画像ブロックの量子化パラメータを、現在の再構成されるべき画像ブロックに対応する量子化パラメータ予測子から減じ、最終的に量子化パラメータ予測差が得られるように差を調整し、量子化パラメータ予測差を符号ストリームに加える。代替的に、量子化パラメータ予測差は、符号器側の設定ファイルから直接取得される量子化パラメータ予測差である。
前の実施形態では、量子化パラメータ予測差は、現在の画像エリアに対応する量子化パラメータ予測子である点が留意されるべきである。しかし、この実施形態では、量子化パラメータ予測子は、現在の再構成されるべき画像ブロックに対応する量子化パラメータ予測差である。
現在の再構成されるべき画像ブロックの符号化スキームは、符号ストリームで直接運ばれてよい。1以上のビットが、現在の再構成されるべき画像ブロックの符号化スキームを示すために使用されてよい。例えば、現在の再構成されるべき画像ブロックの符号化スキームを示すために1ビットが使用されるとき、0は、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームであることを示すために使用されてよく、1は、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであることを示すために使用されてよく、あるいは、1は、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームであることを示すために使用されてよく、0は、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであることを示すために使用されてよい。
代替的に、現在の再構成されるべき画像ブロックの符号化スキームは、符号ストリーム内の他のパラメータ情報を使用することによって導出されてもよい。
復号器側は、現在の再構成されるべき画像ブロックの予測信号を取得するように、現在の再構成されるべき画像ブロックM個の参照再構成画像ブロックを使用することによって、現在の再構成されるべき画像ブロックを予測し、このとき、Mは、1以上の正の整数である。例えば、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームであり、M個の参照再構成画像ブロックが、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の再構成されるべき画像ブロックの参照ピクセルは、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルの中で決定される。現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームであり、M個の参照再構成画像ブロックが、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の再構成されるべき画像ブロックを再構成するために必要とされるピクセルが、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルから取得され、アップサンプリング処理が、現在の再構成されるべき画像ブロックの参照ピクセルを取得するように、現在の再構成されるべき画像ブロックを再構成するために必要とされるピクセルに対して実行される。現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、M個の参照再構成画像ブロックが、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の再構成されるべき画像ブロックの参照ピクセルは、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルの中で決定される。現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、M個の参照再構成画像ブロックが、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の再構成されるべき画像ブロックを再構成するために必要とされるピクセルが、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルから取得され、ダウンサンプリング処理が、現在の再構成されるべき画像ブロックの参照ピクセルを取得するように、現在の再構成されるべき画像ブロックを再構成するために必要とされるピクセルに対して実行される。最後に、上記のイントラフレーム予測法によれば、現在の再構成されるべき画像ブロックの予測信号は、現在の再構成されるべき画像ブロックの参照ピクセルを使用することによって取得される。現在の再構成されるべき画像ブロックの予測信号を取得する方法は、本願において限定されない。
ステップS1402について詳細に記載する。任意の様態1において、現在の再構成されるべき画像ブロックの量子化パラメータ予測子は、現在の再構成されるべき画像ブロックの符号化スキームに従って直接決定される。例えば、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子は、量子化パラメータAとして決定され、あるいは、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子は、量子化パラメータBとして決定される。
任意の様態2において、M個の再構成された画像ブロックが、前もって設定された規則に従って選択され、M個の再構成された画像ブロックの量子化パラメータ及びM個の再構成された画像ブロックの符号化スキームが取得される。M個の再構成された画像ブロックは、現在の再構成されるべき画像ブロックと同じ現在の画像エリアに属し、Mは正の整数である。現在の再構成されるべき画像ブロックの量子化パラメータ予測子は、M個の再構成された画像ブロックの量子化パラメータに基づき、現在の再構成されるべき画像ブロックの符号化スキーム及びM個の再構成された画像ブロックの符号化スキームに従って決定される。
前もって設定された規則は、復号化シーケンスにおける現在の再構成されるべき画像ブロックの前の再構成された画像ブロックを選択すること、又は現在の再構成されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックを選択すること、又は復号化シーケンスにおいて、前もって設定された範囲内にある再構成された画像ブロックから、現在の再構成されるべき画像ブロックと同じ符号化スキームを有し且つ現在の再構成されるべき画像ブロックに最も近い再構成された画像ブロックを選択すること、であってよい。前もって設定された規則は、本願において限定されない点が留意されるべきである。
特に、現在の再構成されるべき画像ブロックが復号化シーケンスにおける現在の画像内の最初の画像ブロックである、すなわち、M個の再構成された画像ブロックが現在の画像内に存在しない場合に、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームであるときには、原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータが取得され、第1量子化パラメータが現在の再構成されるべき画像ブロックの量子化パラメータ予測子として使用され、あるいは、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであるときには、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータが取得され、第2量子化パラメータが現在の再構成されるべき画像ブロックの量子化パラメータ予測子として使用される。
任意の様態3において、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合には、第1量子化パラメータが現在の再構成されるべき画像ブロックの量子化パラメータ予測子として使用され、あるいは、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合には、第2量子化パラメータが現在の再構成されるべき画像ブロックの量子化パラメータ予測子として使用される。第1量子化パラメータは、原解像度符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得される。第2量子化パラメータは、ダウンサンプリング符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得される。現在の再構成されるべき画像ブロックは、現在の画像エリアの部分である。
任意の様態4において、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合には、第1量子化パラメータが、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得するように、量子化パラメータ予測差に基づき補正され、あるいは、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合には、第2量子化パラメータが、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得するように、量子化パラメータ予測差に基づき補正される。第1量子化パラメータは、原解像度符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得される。第2量子化パラメータは、ダウンサンプリング符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得される。現在の再構成されるべき画像ブロックは、現在の画像エリアの部分である。
様態2について詳細に記載する。
場合1:M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、M個の再構成された画像ブロックの量子化パラメータに基づき、現在の再構成されるべき画像ブロックの符号化スキーム及びM個の再構成された画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定することは、1つの再構成された画像ブロックの符号化スキームが現在の再構成されるべき画像ブロックの符号化スキームと同じである場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として1つの再構成された画像ブロックの量子化パラメータを決定すること、又は1つの再構成された画像ブロックの符号化スキームが現在の再構成されるべき画像ブロックの符号化スキームとは異なる場合に、第1量子化パラメータ及び第2量子化パラメータに基づき、1つの再構成された画像ブロックの符号化スキーム及び現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定することを含む。第1量子化パラメータは、原解像度符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得される。第2量子化パラメータは、ダウンサンプリング符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得される。現在の再構成されるべき画像ブロックは、現在の画像エリアの部分である。
任意に、1つの再構成された画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、且つ、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、量子化差分を取得するように第2量子化パラメータが第1量子化パラメータから減じられ、1つの再構成された画像ブロックの量子化パラメータと量子化差分との和が、量子化パラメータ予測子を取得するように計算され、あるいは、1つの再構成された画像ブロックの符号化スキームが原解像度符号化スキームであり、且つ、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、量子化差分を取得するように第2量子化パラメータが第1量子化パラメータから減じられ、1つの再構成された画像ブロックの量子化パラメータと量子化差分との間の差が、量子化パラメータ予測子を取得するように計算される。
代替的に、M個の再構成された画像ブロックの符号化スキームが夫々ダウンサンプリング符号化スキームであり、且つ、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、量子化差分を取得するように第2量子化パラメータが第1量子化パラメータから減じられ、量子化差分は補正され、例えば、量子化差分は調整係数を乗じられ、1つの再構成された画像ブロックの量子化パラメータと補正された量子化差分との和が、量子化パラメータ予測子を取得するように計算される。代替的に、1つの再構成された画像ブロックの符号化スキームが原解像度符号化スキームであり、且つ、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、量子化差分を取得するように第2量子化パラメータが第1量子化パラメータから減じられ、量子化差分は補正され、1つの再構成された画像ブロックの量子化パラメータと補正された量子化差分との間の差が、量子化パラメータ予測子を取得するように計算される。
具体的に、1つの再構成され画像ブロックの符号化スキームが現在の再構成されるべき画像ブロックの符号化スキームと同じである場合に、それは、1つの再構成された画像ブロックの量子化パラメータが量子化パラメータ予測子として直接使用されてよいことを示す。1つの再構成された画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、且つ、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、それは、量子化パラメータ予測子を取得するために、1つの再構成された画像ブロックの量子化パラメータに値が加えられる必要があることを示す。1つの再構成された画像ブロックの符号化スキームが原解像度符号化スキームであり、且つ、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、それは、量子化パラメータ予測子を取得するために、1つの再構成された画像ブロックの量子化パラメータから値が減じられる必要があることを示す。
任意に、1つの再構成された画像ブロックは、復号化シーケンスにおける現在の再構成されるべき画像ブロックの前の再構成された画像ブロックである。例えば、H.265標準では、復号化シーケンスが上から下及び左から右であって、現在の再構成されるべき画像ブロックが非左境界画像ブロックであるとすれば、現在の再構成されるべき画像ブロックの前の再構成された画像ブロックは、現在の再構成されるべき画像ブロックの左側にあり、現在の再構成されるべき画像ブロックに隣接している。復号化シーケンスが上から下及び左から右であって、現在の再構成されるべき画像ブロックが左境界画像ブロックであるとすれば、現在の再構成されるべき画像ブロックの前の再構成された画像ブロックは、現在の再構成されるべき画像ブロックの上の行にある最左の再構成された画像ブロックである。
場合2:Mは1よりも大きく、M個の再構成された画像ブロックの量子化パラメータに基づき、現在の再構成されるべき画像ブロックの符号化スキーム及びM個の再構成された画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定することは、M個の再構成された画像ブロックの符号化スキームが夫々、現在の再構成されるべき画像ブロックの符号化スキームと同じである場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として、M個の再構成された画像ブロックの量子化パラメータの平均を決定すること、又はM個の再構成された画像ブロックの符号化スキームのいずれかが現在の再構成されるべき画像ブロックの符号化スキームとは異なる場合に、第1量子化パラメータ及び第2量子化パラメータに基づき、M個の再構成された画像ブロックの符号化スキーム及び現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定することを含む。第1量子化パラメータは、原解像度符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得される。第2量子化パラメータは、ダウンサンプリング符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得される。現在の再構成されるべき画像ブロックは、現在の画像エリアの部分である。
任意に、M個の再構成された画像ブロックが、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、第1量子化パラメータと、第2量子化パラメータと、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとに基づき、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータが計算され、そして、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータに基づき、M個の再構成された画像ブロックの量子化パラメータの平均が決定される。平均は、現在の再構成されるべき画像ブロックの量子化パラメータ予測子である。M個の再構成された画像ブロックが、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータが計算され、第1量子化パラメータと、第2量子化パラメータと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータとに基づき、M個の再構成された画像ブロックの量子化パラメータの平均が決定される。平均は、現在の再構成されるべき画像ブロックの量子化パラメータ予測子である。
任意に、第1量子化パラメータと、第2量子化パラメータと、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとに基づき、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを計算することは、量子化差分を取得するように第1量子化パラメータから第2量子化パラメータを減じることと、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するように、量子化差分とダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの和を計算することとを含み、あるいは、量子化差分を取得するように第2量子化パラメータから第1量子化パラメータを減じることと、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するように、量子化差分とダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの間の差を計算することとを含む。
これに基づき、任意に、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータに基づき、M個の再構成された画像ブロックの量子化パラメータの平均を決定することは、M個の再構成された画像ブロックに含まれ、原解像度符号化スキームを使用することによって符号化されている全て(又はいくつか)の再構成された画像ブロックの補正された量子化パラメータと、M個の再構成された画像ブロックに含まれ、ダウンサンプリング符号化スキームを使用することによって符号化されている全て(又はいくつかの)再構成された画像ブロックの量子化パラメータとの平均を、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として決定することを含む。
任意に、第1量子化パラメータと、第2量子化パラメータと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとに基づき、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを計算することは、量子化差分を取得するように第1量子化パラメータから第2量子化パラメータを減じることと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するように、量子化差分と原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの間の差を計算することとを含み、あるいは、量子化差分を取得するように第2量子化パラメータから第1量子化パラメータを減じることと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するように、量子化差分と原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの和を計算することとを含む。
これに基づき、任意に、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータに基づき、M個の再構成された画像ブロックの量子化パラメータの平均を決定することは、M個の再構成された画像ブロックに含まれ、ダウンサンプリング符号化スキームを使用することによって符号化されている全て(又はいくつか)の再構成された画像ブロックの補正された量子化パラメータと、M個の再構成された画像ブロックに含まれ、原解像度符号化スキームを使用することによって符号化されている全て(又はいくつかの)再構成された画像ブロックの量子化パラメータとの平均を、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として決定することを含む。
任意に、M個の再構成された画像ブロックは、現在の再構成されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックを含む。
具体的に、Mが2に等しく、M個の再構成された画像ブロックは、現在の再構成されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックであり、現在の再構成されるべき画像ブロック、上側の再構成された画像ブロック、及び左側の再構成された画像ブロックは、全て、原解像度符号化スキーム又はダウンサンプリング符号化スキームを使用することによって符号化されると仮定される。この場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得するために、上側の再構成された画像ブロックの量子化パラメータ及び左側の再構成された画像ブロックの量子化パラメータの平均が計算される。現在の再構成されるべき画像ブロック及び上側の再構成された画像ブロックは両方とも、原解像度符号化スキームを使用することによって符号化され、左側の再構成された画像ブロックは、ダウンサンプリング符号化スキームを使用することによって符号化されると仮定される。この場合に、第1量子化パラメータと第2量子化パラメータとの間の量子化差分が計算され、左側の再構成された画像ブロックの量子化パラメータと量子化差分との和が、左側の再構成された画像ブロックの補正された量子化パラメータを取得するように計算され、上側の再構成された画像ブロックの量子化パラメータ及び左側の再構成された画像ブロックの補正された量子化パラメータの平均が、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得するように計算される。現在の再構成されるべき画像ブロック及び上側の再構成された画像ブロックは両方とも、ダウンサンプリング符号化スキームを使用することによって符号化され、左側の再構成された画像ブロックは、原解像度符号化スキームを使用することによって符号化されると仮定される。この場合に、第1量子化パラメータと第2量子化パラメータとの間の量子化差分が計算され、左側の再構成された画像ブロックの量子化パラメータと量子化差分との間の差が、左側の再構成された画像ブロックの補正された量子化パラメータを取得するように計算され、上側の再構成された画像ブロックの量子化パラメータ及び左側の再構成された画像ブロックの補正された量子化パラメータの平均が、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得するように計算される。
現在の再構成されるべき画像ブロックの量子化パラメータ予測子は、通常は、場合2の方法で決定される点が留意されるべきである。現在の再構成されるべき画像ブロックにおいて左側の再構成された画像ブロック又は上側の再構成された画像ブロックが存在しないときに、現在の再構成されるべき画像ブロックの量子化パラメータ予測子は、場合1の方法で決定されてよい。
場合3:M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、M個の再構成された画像ブロックの量子化パラメータ及びM個の再構成された画像ブロックの符号化スキームを取得することは、現在の再構成されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックを、前もって設定された範囲内にある再構成された画像ブロックから探すことを含む。前もって設定された範囲は、現在の画像エリア内の前もって設定された範囲である。任意に、前もって設定された範囲は、現在の再構成されるべき画像ブロックより前に位置し、再構成された画像ブロックが選択される再構成された画像ブロックの数量であってよく、あるいは、前もって設定された範囲は、再構成された画像ブロックが選択されるスライスであってよい。再構成された画像ブロックが見つけられた後、その再構成された画像ブロックの量子化パラメータが取得される。相応して、M個の再構成された画像ブロックの量子化パラメータに基づき、現在の再構成されるべき画像ブロックの符号化スキーム及びM個の再構成された画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定することは、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として、その再構成された画像ブロックの量子化パラメータを使用することを含む。
任意に、1つの再構成された画像ブロックは、復号化シーケンスにおいて、前もって設定された範囲内にある再構成された画像ブロックの中にあって、現在の再構成されるべき画像ブロックに最も近い再構成された画像ブロックである。
現在の再構成されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックは、次の2つの任意の様態において、現在の画像エリアにおいて前もって設定された範囲内にある再構成された画像ブロックから見つけられる。
様態1:現在の再構成されるべき画像ブロックの前の再構成された画像ブロックの符号化スキームが、復号化シーケンスで決定される。現在の再構成されるべき画像ブロックの符号化スキームが、前の再構成された画像ブロックの符号化スキームと同じである場合には、前の再構成された画像ブロックの量子化パラメータが、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として使用される。現在の再構成されるべき画像ブロックの符号化スキームが、前の再構成された画像ブロックの符号化スキームとは異なる場合には、前の再構成された画像ブロックより前にある再構成された画像ブロックの符号化スキームが決定される。現在の再構成されるべき画像ブロックの符号化スキームが、前の再構成された画像ブロックより前にある再構成された画像ブロックの符号化スキームと同じである場合には、前の再構成された画像ブロックより前にある再構成された画像ブロックの量子化パラメータが、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として使用され、そうでない場合には、現在の再構成されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックが見つけられ、その再構成された画像ブロックの量子化パラメータが現在の再構成されるべき画像ブロックの量子化パラメータ予測子として使用されるまで、上記の方法が引き続き実行される。現在の再構成されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックは、通常は、スライスを横断することなしに探索され、すなわち、現在の再構成されるべき画像ブロックが位置しているスライス内で探索される。
様態2:ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの最新の量子化パラメータが変数QPdown prevに割り当てられ、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの最新の量子化パラメータが変数QPorg prevに割り当てられる。例えば、復号化シーケンスにおいて、最初の再構成された画像ブロックの符号化スキームが原解像度符号化スキームである場合に、最初の再構成された画像ブロックの量子化パラメータはQPorg prevに割り当てられ、第2の再構成された画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、第2の再構成された画像ブロックの量子化パラメータはQPdown prevに割り当てられ、第3の再構成された画像ブロックの符号化スキームが原解像度符号化スキームである場合に、第3の再構成された画像ブロックの量子化パラメータはQPorg prevに割り当てられる、など。このようにして、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの最新の量子化パラメータは、変数QPdown prevに割り当てられ、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの最新の量子化パラメータは、変数QPorg prevに割り当てられる。現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合には、QPorg prevに対応する量子化パラメータが、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として使用される。現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合には、QPdown prevに対応する量子化パラメータが、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として使用される。
上記の任意の様態4について詳細に記載する。現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得するように、量子化パラメータ予測差に基づき第1量子化パラメータを補正することは、第1量子化パラメータから量子化パラメータ予測差を減じて、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得すること、又は第1量子化パラメータから量子化パラメータ予測差を減じ、次いで、差を補正して、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得することを含む。同様に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得するように、量子化パラメータ予測差に基づき第2量子化パラメータを補正することは、第2量子化パラメータから量子化パラメータ予測差を減じて、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得すること、又は第2量子化パラメータから量子化パラメータ予測差を減じ、次いで、差を補正して、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得することを含む。
ステップS1403について詳細に記載する。任意に、復号器側は、量子化パラメータ予測子を計算する方法を符号器側と事前交渉する。これに基づき、復号器側は、量子化パラメータ予測子を計算する方法に従って、現在の再構成されるべき画像ブロックの量子化パラメータを逆算してよい。例えば、符号器側が、量子化パラメータ予測差を取得するように、現在の再構成されるべき画像ブロックの量子化パラメータと、現在の再構成されるべき画像ブロックの量子化パラメータ予測子との間の差を計算する場合に、復号器側は、現在の再構成されるべき画像ブロックの量子化パラメータを取得するように、量子化パラメータ予測子と現在の再構成されるべき画像ブロックの量子化パラメータ予測差との和を計算してよい。符号器側が、現在の再構成されるべき画像ブロックの量子化パラメータと現在の再構成されるべき画像ブロックに対応する量子化パラメータ予測子との間の差を計算し、次いで、差に調整係数を乗じて、最終的に量子化パラメータ予測差を取得する場合に、復号器側は、最初に、量子化パラメータ予測差と調整係数との商を計算して除算結果を取得し、次いで、現在の再構成されるべき画像ブロックの量子化パラメータ予測子と除算結果との和を計算して、現在の再構成されるべき画像ブロックの量子化パラメータを取得してよい。
任意に、復号器側は、量子化パラメータ予測子を計算する方法を符号器側と事前交渉せずに、方法を符号ストリームに加えてもよい。代替的に、符号器側が最初にメッセージを復号器側へ送り、メッセージが方法を運ぶ。
ステップS1404はステップS1303と同じであり、対応する内容及び効果は、再びここで記載されない。
任意に、ステップS1404の後で、方法は、現在の符号化されるべき画像ブロックの再構成信号を生成することと、現在の再構成された画像ブロックを取得するように、現在の符号化されるべき画像ブロックを再構成信号に基づいて再構成することと、現在の再構成された画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、現在の再構成された画像ブロックに対してアップサンプリング処理を実行するために必要とされる隣接再構成画像ブロックのピクセルに基づき、現在の再構成された画像ブロックに対してアップサンプリング処理を実行することとを更に含む。現在の再構成された画像ブロックに対して実行されるアップサンプリング処理に関する詳細については、上記のアップサンプリング処理方法を参照されたい。現在の再構成された画像ブロックに対してアップサンプリング処理を実行するために必要とされる隣接再構成画像ブロックは、アップサンプリング処理を実行するために復号器側によって使用されるフィルタに関係がある。例えば、必要とされる隣接再構成画像ブロックは、上画像ブロック、下画像ブロック、左画像ブロック、及び右画像ブロックであってよい。代替的に、必要とされる隣接再構成画像ブロックは、現在の再構成された画像ブロックの上画像ブロック、下画像ブロック、左画像ブロック、右画像ブロック、左上画像ブロック、左下画像ブロック、右上画像ブロック、及び右下画像ブロックを含む。アップサンプリング処理のプロセスは、本願において限定されない。
結論として、画像ブロックは本願では各々の特徴を有しており、符号器側は異なるように画像ブロックを符号化するので、復号器側は、現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータを決定してよい。すなわち、量子化パラメータは、現在の再構成されるべき画像ブロックを再構成するために適切である。従って、復号器側によって取得される再構成された画像ブロックは、より良い効果を有する。
図15は、本願の更なる他の実施形態に従う画像処理方法のフローチャートである。図15に示されるように、方法は、次のプロシージャを含む。
ステップS1501:原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータと、現在の画像エリア内の現在の符号化されるべき画像ブロックの符号化スキームと、現在の符号化されるべき画像ブロックの符号化された信号と、現在の符号化されるべき画像ブロックの予測信号とを取得する。
ステップS1502:現在の符号化されるべき画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータを決定し、このとき、現在の符号化されるべき画像ブロックの量子化パラメータは、第1量子化パラメータ又は第2量子化パラメータであり、あるいは、現在の符号化されるべき画像ブロックの量子化パラメータは、第1量子化パラメータを補正することによって取得される量子化パラメータ、又は第2量子化パラメータを補正することによって取得される量子化パラメータである。
ステップS1503:予測信号及び符号化された信号に基づき、現在の符号化されるべき画像ブロックの残留信号を生成する。
ステップS1504:現在の符号化されるべき画像ブロックの量子化パラメータに基づき、残留信号を符号化する。
ステップS1501について詳細に記載する。具体的に、第1量子化パラメータは、原解像度符号化スキームにおけるビデオレベル(シーケンスレベル)、画像レベル、又は画像スライス(Slice)レベルでの量子化パラメータであってよい。本発明のこの実施形態での画像エリアは画像であってよく、あるいは、画像スライスであってもよい。一例としてビデオレベルを使用することによって、原解像度符号化スキームが同じビデオ内の画像の各フレーム及び画像の各フレーム内の各画像ブロックに使用されるという条件で、第1量子化パラメータは使用され得る。一例として画像レベルを使用することによって、原解像度符号化スキームが同じ画像内の各画像ブロックに使用されるという条件で、第1量子化パラメータは使用され得る。一例として画像スライス(Slice)レベルを使用することによって、原解像度符号化スキームが同じ画像スライス(Slice)内の各画像ブロックに使用されるという条件で、第1量子化パラメータは使用され得る。同様に、第2量子化パラメータは、ダウンサンプリング符号化スキームにおけるビデオレベル(シーケンスレベル)、画像レベル、又は画像スライス(Slice)レベルでの量子化パラメータであってよい。
任意に、第1量子化パラメータがビデオレベルでの量子化パラメータである場合には、第2量子化パラメータもビデオレベルでの量子化パラメータである。同様に、第1量子化パラメータが画像レベルでの量子化パラメータである場合には、第2量子化パラメータも画像レベルでの量子化パラメータである。第1量子化パラメータが画像スライスレベルでの量子化パラメータである場合には、第2量子化パラメータも画像スライスレベルでの量子化パラメータである。
第1量子化パラメータの値範囲については、既存の標準を参照されたい。例えば、第1量子化パラメータは、H.265では、0から51の範囲をとり、第2量子化パラメータは、通常は、第1量子化パラメータよりも小さい。
任意に、第1量子化パラメータ及び第2量子化パラメータを取得することは、次を含む:第1量子化パラメータ及び第2量子化パラメータは、符号器側の設定ファイルから直接取得される。
代替的に、第1量子化パラメータ、及び現在の画像エリアの量子化パラメータ予測差が、符号器側の設定ファイルから直接取得される。量子化パラメータ予測差によって表される意味は、第2量子化パラメータを第1量子化パラメータから減じることによって取得される差であってよい。この場合に、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータを取得することは、第2量子化パラメータを取得するように、第1量子化パラメータと量子化パラメータ予測差との間の差を計算することを含む。代替的に、量子化パラメータ予測差によって表される意味は、第1量子化パラメータを第2量子化パラメータから減じることによって取得される差であってよい。この場合に、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータを取得することは、第2量子化パラメータを取得するように、第1量子化パラメータと量子化パラメータ予測差との和を計算することを含む。
代替的に、第2量子化パラメータ、及び現在の画像エリアの量子化パラメータ予測差が、符号器側の設定ファイルから直接取得される。量子化パラメータ予測差によって表される意味は、上記の量子化パラメータ予測差のそれと同じである。第1量子化パラメータは、第2量子化パラメータ及び量子化パラメータ予測差に基づき決定され得る。第1量子化パラメータを決定する具体的な方法は、第2量子化パラメータを決定する方法と同様であり、詳細は、再びここで記載されない。
現在の符号化されるべき画像ブロックの符号化スキームは、原解像度符号化スキーム又はダウンサンプリング符号化スキームである。現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームであるとき、符号化された信号は、現在の符号化されるべき画像ブロックの原信号であり、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであるとき、符号化された信号は、現在の符号化されるべき画像ブロックの原信号に対してダウンサンプリング処理が実行された後に取得される信号である。
現在の符号化されるべき画像ブロックの符号化スキームは、次のいくつかの任意の様態で取得される。
任意の様態1:現在の符号化されるべき画像ブロックの符号化スキームは、直接取得される。すなわち、現在の符号化されるべき画像ブロックの符号化スキームは決定される。
任意の様態2:最初に、現在の符号化されるべき画像ブロックに対して原解像度符号化スキームが使用されるときに使用される符号化コストが、第1量子化パラメータに基づき決定され、現在の符号化されるべき画像ブロックに対してダウンサンプリング符号化スキームが使用されるときに使用される符号化コストが、第2量子化パラメータに基づき決定され、第1符号化コスト及び第2符号化コストの中で最も低い符号化コストに対応する符号化スキームが、現在の符号化されるべき画像ブロックの符号化スキームとして使用される。
任意に、符号器側は、レート歪み最適化(Rate Distortion Optimization,RDO)
法を使用することによって、現在の符号化された画像ブロックの符号化コストを計算してよい。RDO法は、ビデオ圧縮性能を改善する最適な方法である。RDO法の原理は、ビデオの損失(画像品質)及びビットレート(符号化に必要とされるデータ量)が、最適な平衡点を達成するように同時に最適化されることである。このアルゴリズムは、当初は、ビデオ圧縮の間に符号器によって使用される。しかし、アルゴリズムはまた、品質及びファイルサイズの両方が符号化の間に考慮されるという条件で、ビデオ及びオーディオを含む様々なマルチメディアを符号化するためにも使用され得る。
任意に、RDO法を使用することによって符号化コストを計算するプロセスは、次の通りである:現在の符号化されるべき画像ブロックは原解像度符号化スキームを使用することによって符号化されるとすると、現在の符号化されるべき画像ブロックの量子化係数を取得した後に、符号器側は、第1量子化パラメータに基づき、現在の符号化されるべき画像ブロックの量子化係数に対して逆量子化を実行して、変換係数を取得し、変換係数に対して逆変換を実行して、再構成された残留信号を取得し、再構成された残留信号と、現在の符号化されるべき画像ブロックに対応する予測信号とを足し合わせて、現在の符号化されるべき画像ブロックの再構成信号を取得し、再構成信号に基づいて、現在の再構成された画像ブロックを取得する必要がある。現在の再構成された画像ブロックと符号化されるべき画像ブロックとの間の誤差が計算され、誤差が小さいほど、第1符号化コストは低い。現在の再構成された画像ブロックと符号化されるべき画像ブロックとの間の誤差を計算することは、現在の再構成された画像ブロック内の各ピクセルと、符号化されるべき画像ブロック内の対応するピクセルとの間の差を計算して、対応する差を取得することと、現在の再構成された画像ブロックにおける全ての差の加重平均を計算することと、最後に、現在の再構成された画像ブロックと符号化されるべき画像ブロックとの間の誤差を取得することとを含む。
現在の符号化されるべき画像ブロックはダウンサンプリング符号化スキームを使用することによって符号化されるとすると、現在の符号化されるべき画像ブロックの量子化係数を取得した後に、符号器側は、第2量子化パラメータに基づき、現在の符号化されるべき画像ブロックの量子化係数に対して逆量子化を実行して、変換係数を取得し、変換係数に対して逆変換を実行して、再構成された残留信号を取得し、再構成された残留信号と、現在の符号化されるべき画像ブロックに対応する予測信号とを足し合わせて、現在の符号化されるべき画像ブロックの再構成信号を取得し、再構成信号に基づいて、現在の再構成された画像ブロックを取得する必要がある。現在の再構成された画像ブロックと符号化されるべき画像ブロックとの間の誤差が計算され、誤差が小さいほど、第2符号化コストは低い。現在の再構成された画像ブロックと符号化されるべき画像ブロックとの間の誤差を計算することは、現在の再構成された画像ブロック内の各ピクセルと、符号化されるべき画像ブロック内の対応するピクセルとの間の差を計算して、対応する差を取得することと、現在の再構成された画像ブロックにおける全ての差の加重平均を計算することと、最後に、現在の再構成された画像ブロックと符号化されるべき画像ブロックとの間の誤差を取得することとを含む。
任意に、量子化パラメータと符号化コストとの間には一定のマッピング関係があると仮定される。この場合に、現在の符号化されるべき画像ブロックに原解像度符号化スキームが使用されるときに使用される第1符号化コストは、第1量子化パラメータに基づき直接決定され、現在の符号化されるべき画像ブロックにダウンサンプリング符号化スキームが使用されるときに使用される第2符号化コストは、第2量子化パラメータに基づき直接決定され、第1符号化コスト及び第2符号化コストの中の最低符号化コストに対応する符号化スキームが、現在の符号化されるべき画像ブロックの符号化スキームとして使用される。
これに基づき、本願では、符号化されるべき画像ブロックに使用される符号化スキームは、最低限の符号化コストを有する符号化スキームである。これは、符号器側によって実行される符号化をより容易にし、符号器側の符号化効率を改善する。
任意の様態3:第1量子化パラメータは、少なくとも1つの第3量子化パラメータを取得するように、少なくとも1回補正され、第2量子化パラメータは、少なくとも1つの第4量子化パラメータを取得するように、少なくとも1回補正され、第3量子化パラメータに基づいて、現在の符号化されるべき画像ブロック符号化に原解像度符号化スキームが使用されるときに使用される第3符号化コストが決定され、第4量子化パラメータに基づいて、現在の符号化されるべき画像ブロックにダウンサンプリング符号化スキームが使用されるときに使用される第4符号化コストが決定され、第3符号化コスト及び第4符号化コストの中の最低符号化コストに対応する符号化スキームが、現在の符号化されるべき画像ブロックの符号化スキームとして使用される。
例えば、第1量子化パラメータは2回補正され、これは、3を第1量子化パラメータから減じることによって、第3量子化パラメータが取得されるように、最初に第1量子化パラメータを補正することと、6を第1量子化パラメータから減じることによって、第3量子化パラメータが取得されるように、2回目に第1量子化パラメータを補正することとを含む。第2量子化パラメータは2回補正され、これは、3を第2量子化パラメータから減じることによって、第4量子化パラメータが取得されるように、最初に第2量子化パラメータを補正することと、6を第2量子化パラメータから減じることによって、第4量子化パラメータが取得されるように、2回目に第2量子化パラメータを補正することとを含む。次いで、第3符号化コスト及び第4符号化コストは、上記の方法と同様の方法を使用することによって決定されてよく、第3符号化コスト及び第4符号化コストのうちの低い方の符号化コストに対応する符号化スキームが、現在の符号化されるべき画像ブロックの符号化スキームとして使用される。
更に、符号器側は、現在の符号化されるべき画像ブロックの予測信号を取得するように、現在の符号化されるべき画像ブロックのM個の参照再構成画像ブロックを使用することによって、現在の符号化されるべき画像ブロックを予測し、このとき、Mは、1以上の正の整数である。例えば、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームであり、M個の参照再構成画像ブロックが、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の符号化されるべき画像ブロックの参照ピクセルは、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルの中で決定される。現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームであり、M個の参照再構成画像ブロックが、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の符号化されるべき画像ブロックを再構成するために必要とされるピクセルが、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルから取得され、アップサンプリング処理が、現在の符号化されるべき画像ブロックの参照ピクセルを取得するように、現在の符号化されるべき画像ブロックを再構成するために必要とされるピクセルに対して実行される。現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、M個の参照再構成画像ブロックが、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の符号化されるべき画像ブロックの参照ピクセルは、ダウンサンプリング符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルの中で決定される。現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、M個の参照再構成画像ブロックが、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックを含む場合には、現在の符号化されるべき画像ブロックを再構成するために必要とされるピクセルが、原解像度符号化スキームを使用することによって符号化された参照再構成画像ブロックのピクセルから取得され、ダウンサンプリング処理が、現在の符号化されるべき画像ブロックの参照ピクセルを取得するように、現在の符号化されるべき画像ブロックを再構成するために必要とされるピクセルに対して実行される。最後に、上記のイントラフレーム予測法によれば、現在の符号化されるべき画像ブロックの予測信号は、現在の符号化されるべき画像ブロックの参照ピクセルを使用することによって取得される。現在の符号化されるべき画像ブロックの予測信号を取得する方法は、本願において限定されない。
ステップS1503について詳細に記載する。現在の符号化されるべき画像ブロックの残留信号を取得するために、符号化された信号と、現在の符号化されるべき画像ブロックの予測信号との間の差が、計算される。現在の符号化されるべき画像ブロックの残留信号を計算する方法は、本願において限定されない。
ステップS1504について詳細に記載する。変換操作及び量子化操作が残留信号に対して実行され、変換及び量子化の後に、量子化係数が取得される。残留信号を符号化する方法は、本願において限定されない。いくつかの実施形態において、量子化操作は、量子化係数を取得するように、残留信号に対して直接実行されてよい。すなわち、変換操作は残留信号に対して実行されない。例えば、変換操作は、変換スキップモード(Transform skip mode)では、残留信号に対して実行される必要がない。
符号化スキームを取得する第2の任意の様態に従って、ステップS1502について詳細に記載する。現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、現在の符号化されるべき画像ブロックの量子化パラメータは第1量子化パラメータとして決定され、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、現在の符号化されるべき画像ブロックの量子化パラメータは第2量子化パラメータとして決定される。
更に、画像処理方法は、符号ストリームを生成することを含む。符号ストリームは、第1量子化パラメータと、第2量子化パラメータと、現在の符号化されるべき画像ブロックの符号化スキームとを含むか、あるいは、符号ストリームは、第1量子化パラメータと、現在の画像エリアの量子化パラメータ予測差と、現在の符号化されるべき画像ブロックの符号化スキームとを含む。符号ストリームを取得するために、現在の符号化されるべき画像ブロックの量子化パラメータに対して、エントロピー符号化が実行される。
符号化スキームを取得する第3の任意の様態に従って、ステップS1502について詳細に記載する。現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、少なくとも1つの第3量子化パラメータの1つが、現在の符号化されるべき画像ブロックの量子化パラメータとして決定され、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、少なくとも1つの第4量子化パラメータの1つが、現在の符号化されるべき画像ブロックの量子化パラメータとして決定される。
任意に、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、最も低い第3符号化コストに対応する第3量子化パラメータが、現在の符号化されるべき画像ブロックの量子化パラメータとして、全ての第3符号化コストのから選択され、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、最も低い第4符号化コストに対応する第4量子化パラメータが、現在の符号化されるべき画像ブロックの量子化パラメータとして、全ての第4符号化コストから選択される。
更に、画像処理方法は、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を取得することと、量子化パラメータ予測子及び現在の符号化されるべき画像ブロックの量子化パラメータに基づき、現在の符号化されるべき画像ブロックの量子化パラメータ予測差を計算することと、符号ストリームを生成することとを含む。符号ストリームは、現在の符号化されるべき画像ブロックの符号化スキームと、現在の符号化されるべき画像ブロックの量子化パラメータ予測差とを含む。
符号器側は、現在の符号化されるべき画像ブロックに対応する量子化パラメータ予測子を、現在の符号化されるべき画像ブロックの量子化パラメータから減じて、量子化パラメータ予測差を取得する。代替的に、符号器側は、現在の符号化されるべき画像ブロックに対応する量子化パラメータ予測子を、現在の符号化されるべき画像ブロックの量子化パラメータから減じ、最終的に量子化パラメータ予測差が得られるように差を調整し、量子化パラメータ予測差を符号ストリームに加える。代替的に、符号器側は、現在の符号化されるべき画像ブロックの量子化パラメータを、現在の符号化されるべき画像ブロックに対応する量子化パラメータ予測子から減じて、量子化パラメータ予測差を取得する。代替的に、符号器側は、現在の符号化されるべき画像ブロックの量子化パラメータを、現在の符号化されるべき画像ブロックに対応する量子化パラメータ予測子から減じ、次いで、最終的に量子化パラメータ予測差が得られるように差を調整する。代替的に、量子化パラメータ予測差は、符号器側の設定ファイルから直接取得される量子化パラメータ予測差である。
現在の符号化されるべき画像ブロックの量子化パラメータ予測子は、次のいくつかの任意の様態で取得される。
任意の様態で、現在の符号化されるべき画像ブロックの量子化パラメータ予測子は、現在の符号化されるべき画像ブロックの符号化スキームに従って直接決定される。例えば、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、現在の符号化されるべき画像ブロックの量子化パラメータ予測子は、量子化パラメータAとして決定され、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、現在の符号化されるべき画像ブロックの量子化パラメータ予測子は、量子化パラメータBとして決定される。
任意の様態2において、M個の再構成された画像ブロックが、前もって設定された規則に従って選択され、M個の再構成された画像ブロックの量子化パラメータ及びM個の再構成された画像ブロックの符号化スキームが取得され、このとき、M個の再構成された画像ブロックは、現在の符号化されるべき画像ブロックと同じ現在の画像エリアに属し、Mは正の整数であり、現在の符号化されるべき画像ブロックの量子化パラメータ予測子は、M個の再構成された画像ブロックの量子化パラメータに基づき、現在の符号化されるべき画像ブロックの符号化スキーム及びM個の再構成された画像ブロックの符号化スキームに従って決定される。
前もって設定された規則は、符号化シーケンスにおける現在の符号化されるべき画像ブロックの前の再構成された画像ブロックを選択すること、又は現在の符号化されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックを選択すること、又は符号化シーケンスにおいて、前もって設定された範囲内にある再構成された画像ブロックから、現在の符号化されるべき画像ブロックと同じ符号化スキームを有し且つ現在の符号化されるべき画像ブロックに最も近い再構成された画像ブロックを選択すること、であってよい。前もって設定された規則は、本願において限定されない点が留意されるべきである。
特に、現在の符号化されるべき画像ブロックが符号化シーケンスにおける現在の画像内の最初の画像ブロックである、すなわち、M個の再構成された画像ブロックが現在の画像内に存在しない場合に、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームであるときには、原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータが取得され、第1量子化パラメータが現在の符号化されるべき画像ブロックの量子化パラメータ予測子として使用され、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームであるときには、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータが取得され、第2量子化パラメータが現在の符号化されるべき画像ブロックの量子化パラメータ予測子として使用される。
任意の様態3において、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合には、第1量子化パラメータが現在の符号化されるべき画像ブロックの量子化パラメータ予測子として使用され、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合には、第2量子化パラメータが現在の符号化されるべき画像ブロックの量子化パラメータ予測子として使用される。
様態2について詳細に記載する。
場合1:M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、M個の再構成された画像ブロックの量子化パラメータに基づき、現在の符号化されるべき画像ブロックの符号化スキーム及びM個の再構成された画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を決定することは、1つの再構成された画像ブロックの符号化スキームが現在の符号化されるべき画像ブロックの符号化スキームと同じである場合に、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として1つの再構成された画像ブロックの量子化パラメータを決定すること、又は1つの再構成された画像ブロックの符号化スキームが現在の符号化されるべき画像ブロックの符号化スキームとは異なる場合に、第1量子化パラメータ及び第2量子化パラメータに基づき、1つの再構成された画像ブロックの符号化スキーム及び現在の符号化されるべき画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を決定することを含む。
任意に、1つの再構成された画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、且つ、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、量子化差分を取得するように第2量子化パラメータが第1量子化パラメータから減じられ、1つの再構成された画像ブロックの量子化パラメータと量子化差分との和が、量子化パラメータ予測子を取得するように計算され、あるいは、1つの再構成された画像ブロックの符号化スキームが原解像度符号化スキームであり、且つ、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、量子化差分を取得するように第2量子化パラメータが第1量子化パラメータから減じられ、1つの再構成された画像ブロックの量子化パラメータと量子化差分との間の差が、量子化パラメータ予測子を取得するように計算される。
代替的に、M個の再構成された画像ブロックの符号化スキームが夫々ダウンサンプリング符号化スキームであり、且つ、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、量子化差分を取得するように第2量子化パラメータが第1量子化パラメータから減じられ、次いで、量子化差分は補正される。例えば、量子化差分は調整係数を乗じられる。1つの再構成された画像ブロックの量子化パラメータと補正された量子化差分との和が、量子化パラメータ予測子を取得するように計算される。代替的に、1つの再構成された画像ブロックの符号化スキームが原解像度符号化スキームであり、且つ、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、量子化差分を取得するように第2量子化パラメータが第1量子化パラメータから減じられ、量子化差分は補正され、1つの再構成された画像ブロックの量子化パラメータと補正された量子化差分との間の差が、量子化パラメータ予測子を取得するように計算される。
具体的に、1つの再構成され画像ブロックの符号化スキームが現在の符号化されるべき画像ブロックの符号化スキームと同じである場合に、それは、1つの再構成された画像ブロックの量子化パラメータが量子化パラメータ予測子として直接使用されてよいことを示す。1つの再構成された画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、且つ、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、それは、量子化パラメータ予測子を取得するために、1つの再構成された画像ブロックの量子化パラメータに値が加えられる必要があることを示す。1つの再構成された画像ブロックの符号化スキームが原解像度符号化スキームであり、且つ、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、それは、量子化パラメータ予測子を取得するために、1つの再構成された画像ブロックの量子化パラメータから値が減じられる必要があることを示す。
任意に、1つの再構成された画像ブロックは、符号化シーケンスにおける現在の符号化されるべき画像ブロックの前の再構成された画像ブロックである。例えば、H.265標準では、符号化シーケンスが上から下及び左から右であって、現在の符号化されるべき画像ブロックが非左境界画像ブロックであるとすれば、現在の符号化されるべき画像ブロックの前の再構成された画像ブロックは、現在の符号化されるべき画像ブロックの左側にあり、現在の符号化されるべき画像ブロックに隣接している。符号化シーケンスが上から下及び左から右であって、現在の符号化されるべき画像ブロックが左境界画像ブロックであるとすれば、現在の符号化されるべき画像ブロックの前の再構成された画像ブロックは、現在の符号化されるべき画像ブロックの上の行にある最右の再構成された画像ブロックである。
場合2:Mは1よりも大きく、M個の再構成された画像ブロックの量子化パラメータに基づき、現在の符号化されるべき画像ブロックの符号化スキーム及びM個の再構成された画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を決定することは、M個の再構成された画像ブロックの符号化スキームが夫々、現在の符号化されるべき画像ブロックの符号化スキームと同じである場合に、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として、M個の再構成された画像ブロックの量子化パラメータの平均を決定すること、又はM個の再構成された画像ブロックの符号化スキームのいずれかが現在の符号化されるべき画像ブロックの符号化スキームとは異なる場合に、第1量子化パラメータ及び第2量子化パラメータに基づき、M個の再構成された画像ブロックの符号化スキーム及び現在の符号化されるべき画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を決定することを含む。
任意に、M個の再構成された画像ブロックが、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、第1量子化パラメータと、第2量子化パラメータと、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとに基づき、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータが計算され、そして、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータに基づき、M個の再構成された画像ブロックの量子化パラメータの平均が決定される。平均は、現在の符号化されるべき画像ブロックの量子化パラメータ予測子である。M個の再構成された画像ブロックが、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータが計算され、第1量子化パラメータと、第2量子化パラメータと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータとに基づき、M個の再構成された画像ブロックの量子化パラメータの平均が決定される。平均は、現在の符号化されるべき画像ブロックの量子化パラメータ予測子である。
任意に、第1量子化パラメータと、第2量子化パラメータと、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとに基づき、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを計算することは、量子化差分を取得するように第1量子化パラメータから第2量子化パラメータを減じることと、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するように、量子化差分とダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの和を計算することとを含み、あるいは、量子化差分を取得するように第2量子化パラメータから第1量子化パラメータを減じることと、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するように、量子化差分とダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの間の差を計算することとを含む。
これに基づき、任意に、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータに基づき、M個の再構成された画像ブロックの量子化パラメータの平均を決定することは、M個の再構成された画像ブロックに含まれ、原解像度符号化スキームを使用することによって符号化されている全て(又はいくつか)の再構成された画像ブロックの補正された量子化パラメータと、M個の再構成された画像ブロックに含まれ、ダウンサンプリング符号化スキームを使用することによって符号化されている全て(又はいくつかの)再構成された画像ブロックの量子化パラメータとの平均を、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として決定することを含む。
任意に、第1量子化パラメータと、第2量子化パラメータと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとに基づき、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを計算することは、量子化差分を取得するように第1量子化パラメータから第2量子化パラメータを減じることと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するように、量子化差分と原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの間の差を計算することとを含み、あるいは、量子化差分を取得するように第2量子化パラメータから第1量子化パラメータを減じることと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するように、量子化差分と原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの和を計算することとを含む。
これに基づき、任意に、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータに基づき、M個の再構成された画像ブロックの量子化パラメータの平均を決定することは、M個の再構成された画像ブロックに含まれ、ダウンサンプリング符号化スキームを使用することによって符号化されている全て(又はいくつか)の再構成された画像ブロックの補正された量子化パラメータと、M個の再構成された画像ブロックに含まれ、原解像度符号化スキームを使用することによって符号化されている全て(又はいくつかの)再構成された画像ブロックの量子化パラメータとの平均を、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として決定することを含む。
任意に、M個の再構成された画像ブロックは、現在の符号化されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックを含む。
具体的に、Mが2に等しく、M個の再構成された画像ブロックは、現在の符号化されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックであり、現在の符号化されるべき画像ブロック、上側の再構成された画像ブロック、及び左側の再構成された画像ブロックは、全て、原解像度符号化スキーム又はダウンサンプリング符号化スキームを使用することによって符号化されると仮定される。この場合に、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を取得するために、上側の再構成された画像ブロックの量子化パラメータ及び左側の再構成された画像ブロックの量子化パラメータの平均が計算される。現在の符号化されるべき画像ブロック及び上側の再構成された画像ブロックは両方とも、原解像度符号化スキームを使用することによって符号化され、左側の再構成された画像ブロックは、ダウンサンプリング符号化スキームを使用することによって符号化されると仮定される。この場合に、第1量子化パラメータと第2量子化パラメータとの間の量子化差分が計算され、左側の再構成された画像ブロックの量子化パラメータと量子化差分との和が、左側の再構成された画像ブロックの補正された量子化パラメータを取得するように計算され、上側の再構成された画像ブロックの量子化パラメータ及び左側の再構成された画像ブロックの補正された量子化パラメータの平均が、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を取得するように計算される。現在の符号化されるべき画像ブロック及び上側の再構成された画像ブロックは両方とも、ダウンサンプリング符号化スキームを使用することによって符号化され、左側の再構成された画像ブロックは、原解像度符号化スキームを使用することによって符号化されると仮定される。この場合に、第1量子化パラメータと第2量子化パラメータとの間の量子化差分が計算され、左側の再構成された画像ブロックの量子化パラメータと量子化差分との間の差が、左側の再構成された画像ブロックの補正された量子化パラメータを取得するように計算され、上側の再構成された画像ブロックの量子化パラメータ及び左側の再構成された画像ブロックの補正された量子化パラメータの平均が、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を取得するように計算される。
現在の符号化されるべき画像ブロックの量子化パラメータ予測子は、通常は、場合2の方法で決定される点が留意されるべきである。現在の符号化されるべき画像ブロックにおいて左側の再構成された画像ブロック又は上側の再構成された画像ブロックが存在しないときに、現在の符号化されるべき画像ブロックの量子化パラメータ予測子は、場合1の方法で決定されてよい。
場合3:M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、M個の再構成された画像ブロックの量子化パラメータ及びM個の再構成された画像ブロックの符号化スキームを取得することは、現在の符号化されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックを、前もって設定された範囲内にある再構成された画像ブロックから探すことを含む。前もって設定された範囲は、現在の画像エリア内の前もって設定された範囲である。任意に、前もって設定された範囲は、現在の符号化されるべき画像ブロックより前に位置し、再構成された画像ブロックが選択される再構成された画像ブロックの数量であってよく、あるいは、前もって設定された範囲は、再構成された画像ブロックが選択されるスライスであってよい。再構成された画像ブロックが見つけられた後、その再構成された画像ブロックの量子化パラメータが取得される。相応して、M個の再構成された画像ブロックの量子化パラメータに基づき、現在の符号化されるべき画像ブロックの符号化スキーム及びM個の再構成された画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を決定することは、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として、その再構成された画像ブロックの量子化パラメータを使用することを含む。
任意に、1つの再構成された画像ブロックは、符号化シーケンスにおいて、前もって設定された範囲内にある再構成された画像ブロックの中にあって、現在の符号化されるべき画像ブロックに最も近い再構成された画像ブロックである。
具体的に、現在の符号化されるべき画像ブロックの前の再構成された画像ブロックの符号化スキームは、符号化シーケンスで決定される。現在の符号化されるべき画像ブロックの符号化スキームが、前の再構成された画像ブロックの符号化スキームと同じである場合には、前の再構成された画像ブロックの量子化パラメータが、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として使用される。現在の符号化されるべき画像ブロックの符号化スキームが、前の再構成された画像ブロックの符号化スキームとは異なる場合には、前の再構成された画像ブロックより前にある再構成された画像ブロックの符号化スキームが決定される。現在の符号化されるべき画像ブロックの符号化スキームが、前の再構成された画像ブロックより前にある再構成された画像ブロックの符号化スキームと同じである場合には、前の再構成された画像ブロックより前にある再構成された画像ブロックの量子化パラメータが、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として使用され、そうでない場合には、現在の符号化されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックが見つけられ、その再構成された画像ブロックの量子化パラメータが現在の符号化されるべき画像ブロックの量子化パラメータ予測子として使用されるまで、上記の方法が引き続き実行される。現在の符号化されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックは、通常は、スライスを横断することなしに探索され、すなわち、現在の符号化されるべき画像ブロックが位置しているスライス内で探索される。
代替的に、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの最新の量子化パラメータが変数QPdown prevに割り当てられ、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの最新の量子化パラメータが変数QPorg prevに割り当てられる。例えば、符号化シーケンスにおいて、最初の再構成された画像ブロックの符号化スキームが原解像度符号化スキームである場合に、最初の再構成された画像ブロックの量子化パラメータはQPorg prevに割り当てられる。第2の再構成された画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、第2の再構成された画像ブロックの量子化パラメータはQPdown prevに割り当てられる。第3の再構成された画像ブロックの符号化スキームが原解像度符号化スキームである場合に、第3の再構成された画像ブロックの量子化パラメータはQPorg prevに割り当てられる。類推によって、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの最新の量子化パラメータは、変数QPdown prevに割り当てられ、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの最新の量子化パラメータは、変数QPorg prevに割り当てられる。現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合には、QPorg prevに対応する量子化パラメータが、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として使用される。現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合には、QPdown prevに対応する量子化パラメータが、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として使用される。
結論として、画像ブロックは本願では各々の特徴を有しており、符号器側は異なるように画像ブロックを符号化するので、符号器側は、現在の符号化されるべき画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータを決定してよい。すなわち、量子化パラメータは、現在の符号化されるべき画像ブロックを符号化するために適切である。従って、符号器側は、より良い符号化効果を実装する。
図16は、本願の実施形態に従う画像処理デバイスの概略構造図である。図16に示されるように、デバイスは、パージングモジュール1601と、決定モジュール1602と、再構成モジュール1603とを含む。パージングモジュール1601は、原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータと、現在の画像エリア内の現在の再構成されるべき画像ブロックの符号化スキームと、現在の再構成されるべき画像ブロックの量子化係数と、現在の再構成されるべき画像ブロックの予測信号とを取得するように、符号ストリームをパースするよう構成される。現在の再構成されるべき画像ブロックの符号化スキームは、原解像度符号化スキーム又はダウンサンプリング符号化スキームであり、現在の再構成されるべき画像ブロックは、現在の画像エリアの部分である。
決定モジュール1602は、現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータを決定するよう構成される。現在の再構成されるべき画像ブロックの量子化パラメータは、第1量子化パラメータ又は第2量子化パラメータである。
再構成モジュール1603は、現在の再構成された画像ブロックを取得するように、現在の再構成されるべき画像ブロックの量子化パラメータ、量子化係数、及び予測信号に基づき、現在の再構成されるべき画像ブロックを再構成するよう構成される。
任意に、符号ストリームは、第1量子化パラメータ及び第2量子化パラメータを含むか、あるいは、符号ストリームは、第1量子化パラメータと、現在の画像エリアの量子化パラメータ予測差とを含む。相応して、パージングモジュール1601は、第1量子化パラメータ及び量子化パラメータ予測差に基づき第2量子化パラメータを計算するよう特に構成される。
任意に、決定モジュール1602は、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、現在の再構成されるべき画像ブロックの量子化パラメータとして第1量子化パラメータを使用するよう、あるいは、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、現在の再構成されるべき画像ブロックの量子化パラメータとして第2量子化パラメータを使用するよう特に構成される。
本願で提供される画像処理デバイスは、図13に対応する画像処理方法及び方法の任意の様態を実行してよい。その実施原理及び技術的効果は同様であり、詳細は、再びここで記載されない。
図17は、本願の他の実施形態に従う画像処理デバイスの概略構造図である。図17に示されるように、デバイスは、パージングモジュール1701と、第1決定モジュール1702と、第2決定モジュール1703と、再構成モジュール1704とを含む。パージングモジュール1701は、現在の再構成されるべき画像ブロックの量子化パラメータ予測差と、現在の再構成されるべき画像ブロックの量子化係数と、現在の再構成されるべき画像ブロックの符号化スキームと、現在の再構成されるべき画像ブロックの予測信号とを取得するように、符号ストリームをパースするよう構成される。符号化スキームは、原解像度符号化スキーム又はダウンサンプリング符号化スキームである。
第1決定モジュール1702は、現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定するよう構成される。
第2決定モジュール1703は、現在の再構成されるべき画像ブロックの量子化パラメータ予測子及び量子化パラメータ予測差に基づき、現在の再構成されるべき画像ブロックの量子化パラメータを決定するよう構成される。
再構成モジュール1704は、現在の再構成された画像ブロックを取得するように、現在の再構成されるべき画像ブロックの量子化パラメータ、量子化係数、及び予測信号に基づき、現在の再構成されるべき画像ブロックを再構成するよう構成される。
任意に、第1決定モジュール1702は、Mが正の整数であるとして、前もって設定された規則に従って、現在の再構成されるべき画像ブロックと同じ現在の画像エリアに属するM個の再構成された画像ブロックを選択し、M個の再構成された画像ブロックの量子化パラメータ及びM個の再構成された画像ブロックの符号化スキームを取得し、M個の再構成された画像ブロックの量子化パラメータに基づき、現在の再構成されるべき画像ブロックの符号化スキーム及びM個の再構成された画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定するよう特に構成される。
任意に、M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、第1決定モジュール1702は、1つの再構成された画像ブロックの符号化スキームが現在の再構成されるべき画像ブロックの符号化スキームと同じである場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として1つの再構成された画像ブロックの量子化パラメータを決定するよう、あるいは、1つの再構成された画像ブロックの符号化スキームが現在の再構成されるべき画像ブロックの符号化スキームとは異なる場合に、第1量子化パラメータ及び第2量子化パラメータに基づき、1つの再構成された画像ブロックの符号化スキーム及び現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定するよう特に構成され、このとき、第1量子化パラメータは、原解像度符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得され、第2量子化パラメータは、ダウンサンプリング符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得され、現在の再構成されるべき画像ブロックは、現在の画像エリアの部分である。
任意に、第1決定モジュール1702は、1つの再構成された画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、且つ、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、量子化差分を取得するように第1量子化パラメータから第2量子化パラメータを減じ、量子化パラメータ予測子を取得するように1つの再構成された画像ブロックの量子化パラメータと量子化差分との和を計算するよう、あるいは、1つの再構成された画像ブロックの符号化スキームが原解像度符号化スキームであり、且つ、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、量子化差分を取得するように第1量子化パラメータから第2量子化パラメータを減じ、量子化パラメータ予測子を取得するように1つの再構成された画像ブロックの量子化パラメータと量子化差分との間の差を計算するよう特に構成される。
任意に、1つの再構成された画像ブロックは、復号化シーケンスにおける現在の再構成されるべき画像ブロックの前の再構成された画像ブロックである。
任意に、Mは1よりも大きく、第1決定モジュール1702は、M個の再構成された画像ブロックの符号化スキームが夫々、現在の再構成されるべき画像ブロックの符号化スキームと同じである場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子としてM個の再構成された画像ブロックの量子化パラメータの平均を決定するよう、あるいは、M個の再構成された画像ブロックの符号化スキームのいずれかが現在の再構成されるべき画像ブロックの符号化スキームとは異なる場合に、第1量子化パラメータ及び第2量子化パラメータに基づき、M個の再構成された画像ブロックの符号化スキーム及び現在の再構成されるべき画像ブロックの符号化スキームに従って、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を決定するよう特に構成され、このとき、第1量子化パラメータは、原解像度符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得され、第2量子化パラメータは、ダウンサンプリング符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得され、現在の再構成されるべき画像ブロックは、現在の画像エリアの部分である。
任意に、第1決定モジュール1702は、M個の再構成された画像ブロックが、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、第1量子化パラメータと、第2量子化パラメータと、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとに基づき、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを計算し、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータに基づき、M個の再構成された画像ブロックの量子化パラメータの平均を決定し、平均が、現在の再構成されるべき画像ブロックの量子化パラメータ予測子である、よう、あるいは、M個の再構成された画像ブロックが、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、第1量子化パラメータと、第2量子化パラメータと、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとに基づき、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを計算し、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータに基づき、M個の再構成された画像ブロックの量子化パラメータの平均を決定し、平均が、現在の再構成されるべき画像ブロックの量子化パラメータ予測子である、よう特に構成される。
任意に、第1決定モジュール1702は、第1量子化パラメータから第2量子化パラメータを減じて量子化差分を取得し、量子化差分と、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの和を計算して、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するよう特に構成される。
任意に、第1決定モジュール1702は、第1量子化パラメータから第2量子化パラメータを減じて量子化差分を取得し、量子化差分と、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの間の差を計算して、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するよう特に構成される。
任意に、M個の再構成された画像ブロックは、現在の再構成されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックを含む。
任意に、M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、第1決定モジュール1702は、現在の再構成されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックを、前もって設定された範囲内にある再構成された画像ブロックから探し、1つの再構成された画像ブロックの量子化パラメータを取得し、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として1つの再構成された画像ブロックの量子化パラメータを使用するよう特に構成される。
任意に、1つの再構成された画像ブロックは、復号化シーケンスにおいて、前もって設定された範囲内にある再構成された画像ブロックの中にあって、現在の再構成されるべき画像ブロックに最も近い再構成された画像ブロックである。
任意に、第1決定モジュール1702は、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として第1量子化パラメータを使用するよう、あるいは、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子として第2量子化パラメータを使用するよう特に構成される。第1量子化パラメータは、原解像度符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得され、第2量子化パラメータは、ダウンサンプリング符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得され、現在の再構成されるべき画像ブロックは、現在の画像エリアの部分である。
任意に、第1決定モジュール1702は、現在の再構成されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得するように量子化パラメータ予測差に基づき第1量子化パラメータを補正するよう、あるいは、現在の再構成されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、現在の再構成されるべき画像ブロックの量子化パラメータ予測子を取得するように量子化パラメータ予測差に基づき第2量子化パラメータを補正するよう特に構成される。第1量子化パラメータは、原解像度符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得され、第2量子化パラメータは、ダウンサンプリング符号化スキームでの現在の画像エリアの量子化パラメータであって、符号ストリームをパースすることによって取得され、現在の再構成されるべき画像ブロックは、現在の画像エリアの部分である。
本願で提供される画像処理デバイスは、図14に対応する画像処理方法及び方法の任意の様態を実行してよい。その実施原理及び技術的効果は同様であり、詳細は、再びここで記載されない。
図18は、本願の更なる他の実施形態に従う画像処理デバイスの概略構造図である。図18に示されるように、デバイスは、第1取得モジュール1801と、決定モジュール1802と、生成モジュール1803と、符号化モジュール1804とを含む。第1取得モジュール1801は、原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの現在の画像エリアの第2量子化パラメータと、現在の画像エリア内の現在の符号化されるべき画像ブロックの符号化スキームと、現在の符号化されるべき画像ブロックの符号化された信号と、現在の符号化されるべき画像ブロックの予測信号とを取得するよう構成される。現在の符号化されるべき画像ブロックの符号化スキームは、原解像度符号化スキーム又はダウンサンプリング符号化スキームである。現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合には、符号化された信号は、現在の符号化されるべき画像ブロックの原信号であり、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合には、符号化された信号は、現在の符号化されるべき画像ブロックの原信号に対してダウンサンプリング処理が実行された後に取得される信号である。
決定モジュール1802は、現在の符号化されるべき画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータを決定するよう構成される。現在の符号化されるべき画像ブロックの量子化パラメータは、第1量子化パラメータ又は第2量子化パラメータであるか、あるいは、現在の符号化されるべき画像ブロックの量子化パラメータは、第1量子化パラメータを補正することによって取得される量子化パラメータ、又は第2量子化パラメータを補正することによって取得される量子化パラメータである。
生成モジュール1803は、予測信号及び符号化された信号に基づき、現在の符号化されるべき画像ブロックの残留信号を生成するよう構成される。
符号化モジュール1804は、現在の符号化されるべき画像ブロックの量子化パラメータに基づき、残留信号を符号化するよう構成される。
任意に、第1取得モジュール1801は、現在の画像エリアの量子化パラメータ予測差を取得し、第1量子化パラメータ及び量子化パラメータ予測差に基づき第2量子化パラメータを計算するよう特に構成される。
任意に、第1取得モジュール1801は、第1量子化パラメータに基づき、原解像度符号化スキームが現在の符号化されるべき画像ブロックに使用される場合に使用される第1符号化コストを決定し、第2量子化パラメータに基づき、ダウンサンプリング符号化スキームが現在の符号化されるべき画像ブロックに使用される場合に使用される第2符号化コストを決定し、現在の符号化されるべき画像ブロックの符号化スキームとして、第1符号化コスト及び第2符号化コストの中で最も低い符号化コストに対応する符号化スキームを使用するよう特に構成される。
任意に、決定モジュール1802は、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、第1量子化パラメータとして現在の符号化されるべき画像ブロックの量子化パラメータを決定するよう、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、第2量子化パラメータとして現在の符号化されるべき画像ブロックの量子化パラメータを決定するよう特に構成される。
任意に、生成モジュール1803は、符号ストリームを生成するよう更に構成される。符号ストリームは、第1量子化パラメータと、第2量子化パラメータと、現在の符号化されるべき画像ブロックの前記符号化スキームとを含むか、あるいは、符号ストリームは、第1量子化パラメータと、現在の画像エリアの量子化パラメータ予測差と、現在の符号化されるべき画像ブロックの符号化スキームとを含む。
任意に、第1取得モジュール1801は、少なくとも1つの第3量子化パラメータを取得するように少なくとも1回第1量子化パラメータを補正し、且つ、少なくとも1つの第4量子化パラメータを取得するように少なくとも1回第2量子化パラメータを補正し、第3量子化パラメータに基づき、原解像度符号化スキームが現在の符号化されるべき画像ブロックに使用される場合に使用される第3符号化コストを決定し、且つ、第4量子化パラメータに基づき、ダウンサンプリング符号化スキームが現在の符号化されるべき画像ブロックに使用される場合に使用される第4符号化コストを決定し、現在の符号化されるべき画像ブロックの符号化スキームとして第3符号化コスト及び第4符号化コストの中で最も低い符号化コストに対応する符号化スキームを使用するよう特に構成される。
任意に、決定モジュール1802は、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、現在の符号化されるべき画像ブロックの量子化パラメータとして、少なくとも1つの第3量子化パラメータの中で符号化コストが最も低い第3量子化パラメータを決定するよう、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、現在の符号化されるべき画像ブロックの量子化パラメータとして、少なくとも1つの第4量子化パラメータの中で符号化コストが最も低い第4量子化パラメータを決定するよう特に構成される。
任意に、デバイスは、第2取得モジュール1805と、計算モジュール1806とを更に含む。第2取得モジュール1805は、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を取得するよう構成される。計算モジュール1806は、量子化パラメータ予測子及び現在の符号化されるべき画像ブロックの量子化パラメータに基づき、現在の符号化されるべき画像ブロックの量子化パラメータ予測差を計算するよう構成される。生成モジュール1803は、符号ストリームを生成するよう更に構成される。符号ストリームは、現在の符号化されるべき画像ブロックの符号化スキームと、現在の符号化されるべき画像ブロックの量子化パラメータ予測差とを含む。
任意に、第2取得モジュール1805は、Mが正の整数であるとして、前もって設定された規則に従って、現在の符号化されるべき画像ブロックと同じ現在の画像エリアに属するM個の再構成された画像ブロックを選択し、M個の再構成された画像ブロックの量子化パラメータ及びM個の再構成された画像ブロックの符号化スキームを取得し、M個の再構成された画像ブロックの量子化パラメータに基づき、現在の符号化されるべき画像ブロックの符号化スキーム及びM個の再構成された画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を決定するよう特に構成される。
任意に、M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、第2取得モジュール1805は、1つの再構成された画像ブロックの符号化スキームが現在の符号化されるべき画像ブロックの符号化スキームと同じである場合に、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として、1つの再構成された画像ブロックの量子化パラメータを決定するよう、あるいは、1つの再構成された画像ブロックの符号化スキームが現在の符号化されるべき画像ブロックの符号化スキームとは異なる場合に、第1量子化パラメータ及び第2量子化パラメータに基づき、1つの再構成された画像ブロックの符号化スキーム及び現在の符号化されるべき画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を決定するよう特に構成される。
任意に、第2取得モジュール1805は、1つの再構成された画像ブロックの符号化スキームがダウンサンプリング符号化スキームであり、且つ、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、第1量子化パラメータから第2量子化パラメータを減じて量子化差分を取得し、1つの再構成された画像ブロックの量子化パラメータと量子化差分との和を計算して量子化パラメータ予測子を取得するよう、あるいは、1つの再構成された画像ブロックの符号化スキームが原解像度符号化スキームであり、且つ、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、第1量子化パラメータから第2量子化パラメータを減じて量子化差分を取得し、1つの再構成された画像ブロックの量子化パラメータと量子化差分との間の差を計算して量子化パラメータ予測子を取得するよう特に構成される。
任意に、1つの再構成された画像ブロックは、符号化シーケンスにおける現在の符号化されるべき画像ブロックの前の再構成された画像ブロックである。
任意に、Mは1よりも大きく、第2取得モジュール1805は、M個の再構成された画像ブロックの符号化スキームが夫々、現在の符号化されるべき画像ブロックの符号化スキームと同じである場合に、現在の符号化されるべき画像ブロックの量子化パラメータ予測子としてM個の再構成された画像ブロックの量子化パラメータの平均を決定するよう、あるいは、M個の再構成された画像ブロックの符号化スキームのいずれかが現在の符号化されるべき画像ブロックの符号化スキームとは異なる場合に、第1量子化パラメータ及び第2量子化パラメータに基づき、M個の再構成された画像ブロックの符号化スキーム及び現在の符号化されるべき画像ブロックの符号化スキームに従って、現在の符号化されるべき画像ブロックの量子化パラメータ予測子を決定するよう特に構成される。
任意に、第2取得モジュール1805は、M個の再構成された画像ブロックが、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、第1量子化パラメータと、第2量子化パラメータと、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとに基づき、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを計算し、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータに基づき、M個の再構成された画像ブロックの量子化パラメータの平均を決定し、平均が、現在の符号化されるべき画像ブロックの量子化パラメータ予測子である、よう、あるいは、M個の再構成された画像ブロックが、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックを含み、且つ、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、第1量子化パラメータと、第2量子化パラメータと、原解像度符号化スキームを使用することによって符号化された前記再構成された画像ブロックの量子化パラメータとに基づき、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを計算し、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータに基づき、M個の再構成された画像ブロックの量子化パラメータの平均を決定し、平均が、現在の符号化されるべき画像ブロックの量子化パラメータ予測子である、よう特に構成される。
任意に、第2取得モジュール1805は、第1量子化パラメータから第2量子化パラメータを減じて量子化差分を取得し、量子化差分と、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの和を計算して、ダウンサンプリング符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するよう特に構成される。
任意に、第2取得モジュール1805は、第1量子化パラメータから第2量子化パラメータを減じて量子化差分を取得し、量子化差分と、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの量子化パラメータとの間の差を計算して、原解像度符号化スキームを使用することによって符号化された再構成された画像ブロックの補正された量子化パラメータを取得するよう特に構成される。
任意に、M個の再構成された画像ブロックは、現在の符号化されるべき画像ブロックの上側の再構成された画像ブロック及び左側の再構成された画像ブロックを含む。
任意に、M個の再構成された画像ブロックは、1つの再構成された画像ブロックであり、第2取得モジュール1805は、現在の符号化されるべき画像ブロックと同じ符号化スキームを有している再構成された画像ブロックを、前もって設定された範囲内にある再構成された画像ブロックから探し、1つの再構成された画像ブロックの量子化パラメータ及び1つの再構成された画像ブロックの符号化スキームを取得し、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として1つの再構成された画像ブロックの量子化パラメータを使用するよう特に構成される。
任意に、1つの再構成された画像ブロックは、符号化シーケンスにおいて、前もって設定された範囲内にある再構成された画像ブロックの中にあって、現在の符号化されるべき画像ブロックに最も近い再構成された画像ブロックである。
任意に、第2取得モジュール1805は、原解像度符号化スキームでの現在の画像エリアの第1量子化パラメータと、ダウンサンプリング符号化スキームでの現在の画像エリアの前記第2量子化パラメータとを取得し、現在の符号化されるべき画像ブロックの符号化スキームが原解像度符号化スキームである場合に、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として第1量子化パラメータを使用するか、あるいは、現在の符号化されるべき画像ブロックの符号化スキームがダウンサンプリング符号化スキームである場合に、現在の符号化されるべき画像ブロックの量子化パラメータ予測子として第2量子化パラメータを使用するよう特に構成される。
本願で提供される画像処理デバイスは、図15に対応する画像処理方法及び方法の任意の様態を実行してよい。その実施原理及び技術的効果は同様であり、詳細は、再びここで記載されない。
図19は、本願に従う画像処理システムの概略構造図である。図19に示されるように、システムは、図13に示される方法を実行するよう構成される画像処理デバイス1901と、図15に示される方法を実行するよう構成される画像処理デバイス1902とを含む。
図20は、本願に従う画像処理システムの概略構造図である。図20に示されるように、システムは、図14に示される方法を実行するよう構成される画像処理デバイス2001と、図15に示される方法を実行するよう構成される画像処理デバイス2002とを含む。
本願は、画像処理デバイスを提供し、デバイスは、プロセッサと、プロセッサの実行可能命令を記憶するよう構成されたメモリとを含む。プロセッサは、図13に対応する画像処理方法及び方法の任意の様態を実行してよい。その実施原理及び技術的効果は同様であり、詳細は、再びここで記載されない。
本願は、画像処理デバイスを提供し、デバイスは、プロセッサと、プロセッサの実行可能命令を記憶するよう構成されたメモリとを含む。プロセッサは、図14に対応する画像処理方法及び方法の任意の様態を実行してよい。その実施原理及び技術的効果は同様であり、詳細は、再びここで記載されない。
本願は、画像処理デバイスを提供し、デバイスは、プロセッサと、プロセッサの実行可能命令を記憶するよう構成されたメモリとを含む。プロセッサは、図15に対応する画像処理方法及び方法の任意の様態を実行してよい。その実施原理及び技術的効果は同様であり、詳細は、再びここで記載されない。