JP7480170B2 - 画像予測方法、エンコーダー、デコーダー及び記憶媒体 - Google Patents

画像予測方法、エンコーダー、デコーダー及び記憶媒体 Download PDF

Info

Publication number
JP7480170B2
JP7480170B2 JP2021557118A JP2021557118A JP7480170B2 JP 7480170 B2 JP7480170 B2 JP 7480170B2 JP 2021557118 A JP2021557118 A JP 2021557118A JP 2021557118 A JP2021557118 A JP 2021557118A JP 7480170 B2 JP7480170 B2 JP 7480170B2
Authority
JP
Japan
Prior art keywords
prediction
image component
predicted
value
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021557118A
Other languages
English (en)
Other versions
JP2022528635A (ja
Inventor
ワン、シューアイ
フオ、チュンイェン
マー、イェンチュオ
チャン、ウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2022528635A publication Critical patent/JP2022528635A/ja
Priority to JP2024069934A priority Critical patent/JP2024095842A/ja
Application granted granted Critical
Publication of JP7480170B2 publication Critical patent/JP7480170B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ビデオの符号化及び復号化技術分野に関し、さらに具体的に、画像予測方法、エンコーダ、デコーダ及び記憶媒体に関する。
最新のビデオコーディング標準H.266/多用途ビデオコーディング(versatile video coding,VVC)では、クロスコンポーネント予測の存在を許可する。CCLM予測(cross-component linear model prediction)は、典型的なクロスコンポーネント予測技術の1つである。クロスコンポーネント予測技術を利用して、1つのコンポーネントを介して他のコンポーネント(又はその残差)を予測することができ、例えば、輝度コンポーネント(luma component)を介して彩度コンポーネント(chroma component)を予測することができるか、又は彩度コンポーネントを介して輝度コンポーネントを予測することができるか、又は彩度コンポーネントを介して彩度コンポーネントを予測することもできる。
異なるコンポーネントは異なる統計特性を有するので、コンポーネントによって統計特性も相違点が存在する。ただし、コンポーネント予測を行う時、従来のクロスコンポーネント予測技術は、全面的に考慮しないので、予測効率が低くなる。
本出願の実施形態は、画像予測方法、エンコーダー、デコーダー及び記憶媒体を提供し、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取ることによって、予測効率を高めるだけではなく、ビデオ画像の符号化及び復号化の効率を向上させることができる。
本出願の実施形態の技術的解決策は次のとおりである。
第一態様において、本出願の実施形態はエンコーダー又はデコーダーに用いられる画像予測方法を提供する。この方法は、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得することと、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得することと、を含む。
第二態様において、本出願の実施形態はエンコーダーを提供する。このエンコーダーは第一予測ユニットと第一処理ユニットを含む。第一予測ユニットは、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得するために用いられる。第一処理ユニットは、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得するために用いられる。
第三態様において、本出願の実施形態はエンコーダーを提供する。このエンコーダーは第一メモリ及び第一プロセッサを含む。第一メモリは、第一プロセッサによって実行可能なコンピュータプログラムを格納するために用いられる。第一プロセッサは、コンピュータプログラムを実行することにより、第一態様で説明した方法を実行するために用いられる。
第四態様において、本出願の実施形態はデコーダーを提供する。このデコーダーは第二予測ユニット及び第二処理ユニットを含む。第二予測ユニットは、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得するために用いられる。第二処理ユニットは、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得するために用いられる。
第五態様において、本出願の実施形態はデコーダーを提供する。このデコーダーは第二メモリ及び第二プロセッサを含む。第二メモリは、第二プロセッサによって実行可能なコンピュータプログラムを格納するために用いられる。第二プロセッサは、コンピュータプログラムを実行することにより、第一態様で説明した方法を実行するために用いられる。
第六態様において、本出願の実施形態はコンピューター記憶媒体を提供する。コンピュータ記憶媒体には、画像予測プログラムを格納されている。画像予測プログラムが第一プロセッサ又は第二プロセッサによって実行されると、第一態様で説明した方法を実現する。
本出願の実施形態は、画像予測方法、エンコーダー、デコーダー及び記憶媒体を提供する。先ず、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する。次に、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得する。このように、現在のブロックの少なくとも一つの画像コンポーネントに対して予測した後、この少なくとも一つの画像コンポーネントに対してフィルタリング処理を実行し続けることによって、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取ることができる。従って、予測効率を高めるだけではなく、取得された目標予測値がリアルな数値により近いため、画像コンポーネントの予測残差が小さくなり、符号化及び復号化過程で伝送されるビットレートが少なくなり、同時にビデオ画像の符号化及び復号化効率を向上させることもできる。
図1は、関連技術的解決策に係わる従来のクロスコンポーネント予測アーキテクチャの構造を示す概略図である。 図2は、本出願の実施形態に係わるビデオエンコーディングシステムの構造を示すブロック図である。 図3は、本出願の実施形態に係わるビデオデコーディングシステムの構造をブロック図である。 図4は、本出願の実施形態に係わる画像予測方法のフローチャートである。 図5は、本出願の実施形態に係わる改良型クロスコンポーネント予測アーキテクチャの構造を示す概略図である。 図6は、本出願の実施形態に係わるエンコーダーの構造を示す概略図である。 図7は、本出願の実施形態に係わるエンコーダーの具体的なハードウェアの構造を示す概略図である。 図8は、本出願の実施形態に係わるデコーダーの構造を示す概略図である。 図9は、本出願の実施形態に係わるデコーダーの具体的なハードウェアの構造を示す概略図である。
本出願の実施形態の特徴と技術内容を詳細に了解するために、以下、図面を参照しながら本出願の実施形態の技術方案を詳細に説明し、添付された図面はただ説明するために用いられ、本出願を限定するものではない。
ビデオ画像では、一般的に第一画像コンポーネント、第二画像コンポーネント及び第三画像コンポーネントでコーディングブロックを示す。第一画像コンポーネント、第二画像コンポーネント及び第三画像コンポーネントは、それぞれ、輝度コンポーネント(luma component)、青彩度コンポーネント(blue chroma component)及び赤彩度コンポーネント(red chroma component)である。具体的には、輝度コンポーネントは一般的に記号Yで示し、青彩度コンポーネントは一般的に記号Cb又はUで示し、赤彩度コンポーネントは一般的に記号Cr又はVで示す。このように、ビデオ画像はYCbCr又はYUVのフォーマットで示すことができる。
本出願の実施形態において、第一画像コンポーネントは輝度コンポーネントであることができ、第二画像コンポーネントは青彩度コンポーネントであることができ、第三画像コンポーネントは赤彩度コンポーネントであることができるが、本出願の実施形態はこれに対して具体的に限定しない。
符号化及び復号化性能をさらに向上させるために、H.266/VCCは、CCLMのクロスコンポーネント予測技術を提出した。CCLMのクロスコンポーネント予測技術によって、輝度コンポーネントを介して彩度コンポーネントを予測することができるばかりではなく(即ち第一画像コンポーネントを介して第二画像コンポーネントを予測することができ、又は第一画像コンポーネントを介して第三画像コンポーネントを予測することができる)、彩度コンポーネントを介して輝度コンポーネントを予測することもでき(即ち第二画像コンポーネントを介して第一画像コンポーネントを予測することができ、又は第三画像コンポーネントを介して第一画像コンポーネントを予測することができる)、さらに彩度コンポーネント間の予測を実現することができる(即ち第二画像コンポーネントを介して第三画像コンポーネントを予測することができ、又は第三画像コンポーネントを介して第二画像コンポーネントを予測することができる)。本出願の実施形態において、以下、第一画像コンポーネントを介して第二画像コンポーネントを予測することを例として説明するが、本出願の実施形態の技術方案は他の画像コンポーネントの予測にも適用できる。
図1は、関連技術に係わる従来のクロスコンポーネント予測アーキテクチャの構造を示す図である。図1に示されたように、第一画像コンポーネント(例えば、Yコンポーネントによって示す)を介して第二画像コンポーネントを予測する(例えば、Uコンポーネントによって示す)。ビデオ画像が採用するYUVフォーマットが4:2:0フォーマットである場合、YコンポーネントとUコンポーネントは異なる解像度を有する。この場合、予測しようとするコンポーネントの目標解像度に達するために、Yコンポーネントに対してダウンサンプリングを実行するか又はUコンポーネントに対してアップサンプリングを実行することを必要として、同じ解像度でコンポーネント間の予測を実行することができる。本例示において、Yコンポーネントを介して第三画像コンポーネント(例えば、Vコンポーネントによって示す)を予測する方法は上述したものと同じである。
Figure 0007480170000001
従来のクロスコンポーネント予測アーキテクチャ10では、画像コンポーネント予測を行う時、全面的に考慮せず、例えば、各画像コンポーネントの統計的特性の差異を考慮しないため、予測の効率が低くなる。予測効率を高めるために、本出願の実施形態は、画像予測方法を提供する。先ず、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する。次に、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得する。このように、現在のブロックの少なくとも一つの画像コンポーネントに対して予測した後、この少なくとも一つの画像コンポーネントに対してフィルタリング処理を実行し続けることによって、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取ることができる。従って、予測効率を高めるだけではなく、同時にビデオ画像の符号化及び復号化の効率を向上させることもできる。
以下、図面を参照しながら本出願の各実施形態を詳細に説明する。
図2は、本出願の実施形態に係わるビデオエンコーディングシステムの構造を示すブロック図である。図2に示されたように、ビデオエンコーディングシステム20は、変換及び量子化ユニット201、イントラ推定ユニット202、イントラ予測ユニット203、動き補償ユニット204、動き推定ユニット205、逆変換及び逆量子化ユニット206、フィルタ制御分析ユニット207、フィルタリングユニット208、コーディングユニット209、デコードされた画像バッファユニット210などを含む。フィルタリングユニット208は、デブロッキング(deblocking,DBK)フィルタリング及びサンプル適応オフセット(sample adaptive offset,SAO)フィルタリングを実現することができる。コーディングユニット209は、ヘッダ情報コーディング及びCABAC(context-based adaptive binary arithmetic coding)を実現することができる。入力された元のビデオ信号に対して、コーディングツリーユニット(coding tree unit,CTU)の分割によって、1つのコーディングブロックを取得することができる。次に、イントラ予測又はインター予測によって取得された残差サンプル情報に対して、変換及び量子化ユニット201によってコーディングブロックを変換し、残差情報をサンプルドメインから変換ドメインに変換し、ビットレートをさらに下げるために、得られた変換係数を量子化することを含む。イントラ推定ユニット202及びイントラ予測ユニット203は、コーディングブロックに対してイントラ予測を実行するために用いられる。明らかに説明すると、イントラ推定ユニット202及びイントラ予測ユニット203は、コーディングブロックを符号化するために用いられるイントラ予測モードを確定するために用いられる。動き補償ユニット204及び動き推定ユニット205は、時間予測情報を提供するために、1つ又は複数の参照フレーム内の1つ又は複数のブロックに対して、受信されたコーディングブロックのフレーム間予測コーディングを実行するために用いられる。動き推定ユニット205によって実行される動き推定は動きベクトルを生成するプロセスであり、動きベクトルはコーディングブロックの動きを推定することができる。動き補償ユニット204は、動き推定ユニット205によって確定された動きベクトルに基づいて動き補償を実行するために用いられる。イントラ予測モードを確定してから、イントラ予測ユニット203は、さらに選択されたイントラ予測データをコーディングユニット209に提供するために用いられ、動き推定ユニット205は、計算された動きベクトルデータをコーディングユニット209に送信するために用いられる。逆変換及び逆量子化ユニット206は、コーディングブロックを再構成するために用いられる。残差ブロックはサンプル領域で再構成され、再構成された残差ブロックのブロッキングアーチファクト(blocking artifact)はフィルタ制御分析ユニット207及びフィルタリングユニット208を介して除去され、それから再構成された残差ブロックは復号化された画像バッファユニット210のフレーム内の1つの予測ブロックに追加されて、再構築されたビデオコーディングブロックを生成するために用いられる。コーディングユニット209は、様々なエンコーディングパラメータ及び量子化された変換係数を符号化するために用いられる。CABACに基づくコーディングアルゴリズムにおいて、コンテキストコンテンツは隣接するコーディングブロックに基づくことができ、ビデオ信号のビットストリームを出力するために、確定されたイントラ予測モードを示す情報を符号化することができる。デコードされた画像バッファユニット210は、予測参照のために、再構成されたビデオコーディングブロックを格納するために用いられる。ビデオ画像の符号化が進行することにつれて、新しい再構成されたコーディングブロックが絶えずに生成され、これらの再構成されたコーディングブロックは全てデコードされた画像バッファユニット210に格納される。
図3は、本出願の実施形態に係わるビデオデコーディングシステムの構造を示すブロック図である。図3に示されたように、ビデオデコーディングシステム30は、デコーディングユニット301、逆変換及び逆量子化ユニット302、イントラ予測ユニット303、動き補償ユニット304、フィルタリングユニット305、デコードされた画像キャッシュユニット306などを含む。デコーディングユニット301は、ヘッダー情報デコーディング及びCABACデコーディングを実現することができる。フィルタリングユニット305は、DBKフィルタリング及びSAOフィルタリングを実現することができる。入力されたビデオ信号は符号化された後(図2に示されたように)、ビデオ信号のビットストリームを出力する。ビットストリームは、ビデオデコーディングシステム30に入力される。先ず、デコーディングユニット301を介して復号化された変換係数を取得する。復号化された変換係数は逆変換及び逆量子化ユニット302によって処理されて、サンプル領域で残差ブロックを生成する。イントラ予測ユニット303は、確定されたイントラ予測モード及び現在のフレーム又は画像の前の復号化されたブロックからのデータに基づいて、復号化される現在のビデオコーディングブロックの予測データを生成するために用いられることができる。動き補償ユニット304は、動きベクトル及び他の関連する構文要素を分析することにより、復号化しようとするビデオコーディングブロックの予測情報を確定するために用いられ、且つ予測情報を使用して復号化されているビデオコーディングブロックの予測ブロックを生成する。逆変換及び逆量子化ユニット302からの残差ブロックと、イントラ予測ユニット303又は動き補償ユニット304によって生成された対応する予測ブロックとを合計することによって、復号化されたビデオブロックを形成する。復号化されたビデオブロックのブロッキングアーチファクトは、フィルタリングユニット305を介して除去され、ビデオの品質を改善することができる。次に、復号化されたビデオブロックは、デコードされた画像キャッシュユニット306に格納される。デコードされた画像キャッシュユニット306は、後続のイントラ予測又は動き補償に使用される参照画像を格納するために用いられ、ビデオ信号を出力するためにも用いられ、即ち復元された元のビデオ信号を取得する。
本出願の実施形態は、図2に示されたイントラ予測ユニット203及び図3に示されたイントラ予測ユニット303に適用することができる。換言すると、本出願の実施形態は、ビデオエンコーディングシステム及びビデオデコーディングシステムの両方に適用可能であるが、本出願の実施形態はこれに関して限定しない。
図2又は図3に示されたアプリケーションシナリオの例に基づいて、図4を参照してください、図4は、本出願の実施形態に係わる画像予測方法のフローチャートである。 この方法には以下の内容を含むことができる。
S401:予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する。
S402:初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得する。
ビデオ画像は複数の画像ブロックに分割されることができ、現在符号化しようとする各画像ブロックは、コーディングブロックと呼ぶことができることに留意されたい。各コーディングブロックは、第一画像コンポーネント、第二画像コンポーネント及び第三画像コンポーネントを含むことができる。現在のブロックは、ビデオ画像において、現在第一画像コンポーネント、第二画像コンポーネント又は第三画像コンポーネントの予測を実行しようとするコーディングブロックである。
本出願の実施形態に係わる画像予測方法は、ビデオエンコーディングシステム又はビデオデコーディングシステムに適用することができ、又はビデオエンコーディングシステム及びビデオデコーディングシステムの両方に同時に適用することもでき、本出願の実施形態はこれに対して具体的に限定しないことにも留意されたい。
本出願の実施形態において、先ず、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する。次に、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得する。このように、現在のブロックの少なくとも一つの画像コンポーネントに対して予測した後、この少なくとも一つの画像コンポーネントに対してフィルタリング処理を実行し続けることによって、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取ることができる。従って、予測効率を高めるだけではなく、同時にビデオ画像の符号化及び復号化の効率を向上させることもできる。
さらに、異なる画像コンポーネントは異なる統計特性を有し、各画像コンポーネントの統計特性に相違点が存在する。例えば、輝度コンポーネントは豊富なテクスチャ特性を持っているが、彩度コンポーネントはより均一で平坦である傾向がある。クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取るために、この時、現在のブロックの少なくとも一つの画像コンポーネントに対して特性統計を行う必要がある。従って、いくつかの実施形態において、S402にとって、初期予測値に対してフィルタリングする前に、以下の内容をさらに含むことができる。
現在のブロックの少なくとも一つの画像コンポーネントに対して特性統計を行う。少なくとも一つの画像コンポーネントは、予測しようとする画像コンポーネント及び/又は参照しようとする画像コンポーネントを含む。予測しようとする画像コンポーネントと参照しようとする画像コンポーネントは異なる。
特性統計の結果に基づいて、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値を取得する。予測しようとする画像コンポーネントは予測モデルを構築する時に予測されるコンポーネントであり、参照しようとする画像コンポーネントは予測モデルを構築する時に予測に用いられるコンポーネントである。
現在のブロックの少なくとも一つの画像コンポーネントは、予測しようとする画像コンポーネントであることができ、参照しようとする画像コンポーネントであることもでき、さらに予測しようとする画像コンポーネントと参照しようとする画像コンポーネントであることができる。予測モデルによって、第一画像コンポーネントから第二画像コンポーネントへの予測を実現すると仮定すると、予測しようとする画像コンポーネントは第二画像コンポーネントであり、参照しようとする画像コンポーネントは第一画像コンポーネントである。又は、予測モデルによって、第一画像コンポーネントから第三画像コンポーネントへの予測を実現すると仮定すると、予測しようとする画像コンポーネントは第三画像コンポーネントであり、参照しようとする画像コンポーネントは第一画像コンポーネントである。
このように、現在のブロックの少なくとも一つの画像コンポーネントに対して特性統計を行うことにより、特性統計の結果に基づいて、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値を取得することができる。
さらに、予測効率を向上させるために、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、現在のブロックの予測しようとする画像コンポーネントの初期予測値に対してフィルタリング処理を行うことができる。
いくつかの実施形態において、少なくとも一つの画像コンポーネントの参照値に基づいて、少なくとも一つの画像コンポーネントに対応する初期予測値に対して処理を行うことは、以下の内容を含む。
現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行う。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、非量子化処理の中の少なくとも一つを備える。
処理した結果に基づいて、目標予測値を取得する。
現在のブロックの少なくとも一つの画像コンポーネントの特性統計の結果に基づいて、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値を取得してから、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行うことができる。具体的に、単純なフィルタリング(simple filtering)を利用して初期予測値に対してフィルタリング処理を行うことができ、又はグルーピング処理を利用して初期予測値に対してフィルタリング処理を行うことができ、又は値の補正処理を利用して初期予測値に対してフィルタリング処理を行うことができ、又は量子化処理を利用して初期予測値に対してフィルタリング処理を行うことができ、又は逆量子化処理(非量子化処理とも呼ばれる)(inverse quantization also called de-quantization)を利用して初期予測値に対してフィルタリング処理を行うことができる。本出願の実施形態は具体的に限定しない。
例示的に、予測効率を向上させるために、即ち、予測値の正確性を向上させるために、輝度コンポーネントを利用して彩度コンポーネントを予測すると仮定すると、予測モデルで取得された彩度コンポーネントの初期予測値に対して、プリセット処理モードが値の補正処理を採用する場合、輝度コンポーネントと彩度コンポーネントは異なる統計的特性を有するため、二つの画像コンポーネントの統計的特性の差異に基づいて、偏差係数(deviation factor)を得ることが出来る。次に、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取るために、この偏差係数を利用して初期予測値に対して値の補正処理(例えば、初期予測値とこの偏差係数とを合計する)を行って、彩度コンポーネントの目標予測値を取得する。このとき、この彩度コンポーネントの目標予測値は彩度コンポーネントのリアルな数値にさらに近い。プリセット処理モードがフィルタリング処理を採用すると、輝度コンポーネントと彩度コンポーネントは異なる統計的特性を有するので、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取るために、二つの画像コンポーネントの統計的特性の差異に基づいて、初期予測値に対してフィルタリング処理を行って、彩度コンポーネントの対応する目標予測値を取得する。このとき、この彩度コンポーネントの目標予測値は彩度コンポーネントのリアルな数値にさらに近い。プリセット処理モードがグルーピング処理を採用すると、輝度コンポーネントと彩度コンポーネントは異なる統計的特性を有するので、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取るために、二つの画像コンポーネントの統計的特性の差異に基づいて、初期予測値に対してグルーピング処理を行って、グルーピング処理後の初期予測値に基づいて彩度コンポーネントの目標予測値を取得することができる。このとき、この彩度コンポーネントの目標予測値は彩度コンポーネントのリアルな数値にさらに近い。なお、初期予測値を確定するプロセスにおいて輝度コンポーネントと彩度コンポーネントに対する量子化処理と逆量子化処理が伴い、同時に輝度コンポーネントと彩度コンポーネントは異なる統計的特性を有するので、二つの画像コンポーネントの統計的特性の差異に基づいて、量子化処理と逆量子化処理の差異を招く可能性がある。この場合、プリセット処理モードが量子化処理を採用すると、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取るために、初期予測値に対して量子化処理を行って、彩度コンポーネントの対応する目標予測値を取得する。このとき、この彩度コンポーネントの目標予測値は彩度コンポーネントのリアルな数値にさらに近い。プリセット処理モードが逆量子化処理を採用すると、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取るために、初期予測値に対して逆量子化処理を行って、彩度コンポーネントの対応する目標予測値を取得する。このとき、この彩度コンポーネントの目標予測値は彩度コンポーネントのリアルな数値にさらに近い。このように、予測値の正確性を向上させて、予測効率を向上させることができる。
さらに、予測効率を向上させるために、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、現在のブロックの予測しようとする画像コンポーネントの初期予測残差に対してフィルタリング処理を行う。
いくつかの実施形態において、S401では、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得してから、この方法は、以下の内容をさらに含むことができる。
初期予測値に基づいて、現在のブロックの予測しようとする画像コンポーネントの初期予測残差を計算する。
現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測残差に対してフィルタリング処理を行う。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、非量子化処理の中の少なくとも一つを備える。
処理結果に基づいて、目標予測残差を取得する。
さらに、いくつかの実施形態において、S402では、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得することは、以下の内容を含む。
目標予測残差に基づいて、現在のブロックの予測しようとする画像コンポーネントの目標予測値を計算する。
予測残差は、画像コンポーネントの予測値と画像コンポーネントのリアルな数値との間の差から取得されることに留意されたい。ビデオ画像の符号化及び復号化の効率を向上させるために、現在のブロックの予測残差をできるだけ小さくする必要がある。
予測残差をできるだけ小さくさせるために、一方、予測モデルによって、予測しようとする画像コンポーネントの初期予測値を取得してから、プリセット処理モードによって、初期予測値に対してフィルタリング処理を行って、予測しようとする画像コンポーネントの目標予測値を取得することができる。予測しようとする画像コンポーネントの目標予測値は予測しようとする画像コンポーネントのリアルな数値に可能な限り近いため、両者の間の予測残差をできるだけ小さくさせる。他方、予測モデルによって、予測しようとする画像コンポーネントの初期予測値を取得してから、予測しようとする画像コンポーネントの初期予測値と予測しようとする画像コンポーネントのリアルな数値との間の差に基づいて、予測しようとする画像コンポーネントの初期予測残差を確定することもできる。次にプリセット処理モードで初期予測残差に対してフィルタリング処理を行って、予測しようとする画像コンポーネントの目標予測残差を取得することができ、目標予測残差に基づいて、予測しようとする画像コンポーネントの目標予測値を取得することができる。目標予測残差が可能な限り小さいため、予測しようとする画像コンポーネントの目標予測値は予測しようとする画像コンポーネントのリアルな数値に可能な限り近くなる。即ち、本出願の実施形態は、現在のブロックの予測しようとする画像コンポーネントの初期予測値に対してフィルタリング処理を行うために用いられるだけではなく、現在のブロックの予測しようとする画像コンポーネントの初期予測残差に対してフィルタリング処理を行うためにも用いられる。フィルタリング処理後、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取ることができ、予測効率を向上させるだけではなく、取得された目標予測値がリアルな数値により近いため、予測しようとする画像コンポーネントの予測残差を小さくさせることができる。このように、符号化及び復号化のプロセスにおいて伝送されるビットレートは少なくなり、同時にビデオ画像の符号化及び復号化の効率を向上させることができる。
さらに、現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する前に、予測モデルを構築するために、予測モデルのモデルパラメータを確定する必要がある。従って、いくつかの実施形態において、S401では、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する前に、この方法は以下の内容をさらに含むことができる。
現在のブロックの予測しようとする画像コンポーネントの参照値を確定する。現在のブロックの予測しようとする画像コンポーネントの参照値は、現在のブロックの隣接サンプルの予測しようとする画像コンポーネント値である。
現在のブロックの参照しようとする画像コンポーネントの参照値を確定する。現在のブロックの参照しようとする画像コンポーネントと予測しようとする画像コンポーネントは異なり、現在のブロックの参照しようとする画像コンポーネントの参照値は、現在のブロックの隣接サンプルの参照画像コンポーネント値である。
現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、予測モデルのモデルパラメータを計算する。
計算されたモデルパラメータに基づいて、予測モデルを構築する。予測モデルは、現在のブロックの参照しようとする画像コンポーネントに基づいて、現在のブロックの予測しようとする画像コンポーネントに対してクロスコンポーネント予測処理を行うために用いられる。
本出願の実施形態において、予測モデルは線形モデルであることができ、例えば、CCLM予測などのクロスコンポーネント予測技術であることができる。予測モデルは、非線形モデルであることもでき、例えば、マルチモデルCCLM(Multiple Model CCLM,MMLM)予測などのクロスコンポーネント予測技術であり、複数の線形モデルからなる。本出願の実施形態は、予測モデルが線形モデルであることを例として説明するが、本出願の実施形態に係わる予測方法は非線形モデルにも適用できる。
Figure 0007480170000002
最小二乗法で構築されたプリセットファクター計算モデルを例として説明する。先ず、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値を確定することを必要とする。現在のブロックの参照しようとする画像コンポーネントの参照値は、現在のブロックの隣接サンプルの参照画像コンポーネント値(例えば、第一画像コンポーネントの隣接参照値)であることができ、現在のブロックの予測しようとする画像コンポーネントの参照値は、現在のブロックの隣接サンプルの予測しようとする画像コンポーネント値(例えば、第二画像コンポーネントの隣接参照値)であることができる。第一画像コンポーネントの隣接参照サンプル値と第二画像コンポーネントの隣接参照サンプル値の最小の回帰誤差を利用して予測モデルのモデルパラメータを導出する。具体的には式(1)をご参照下さい。
Figure 0007480170000003
Figure 0007480170000004
Figure 0007480170000005
Figure 0007480170000006
最大値と最小値で構築されたプリセットファクター計算モデルを例とすると、簡略化されたモデルパラメータの導出方法を提供する。具体的には、式(3)に示されたように、最大の第一画像コンポーネント隣接参照値及び最小の第一画像コンポーネント隣接参照値を検索してから、2つのポイントで1つの線を確定する原則に基づいて、予測モデルのモデルパラメータを導出することができる。
Figure 0007480170000007
Figure 0007480170000008
予測モデルを構築した後、この予測モデルに基づいて画像コンポーネントを予測することができる。例えば、式(2)に示された予測モデルに基づいて、第一画像コンポーネントで第二画像コンポーネントを予測することができる。例えば、輝度コンポーネントで彩度コンポーネントを予測して、彩度コンポーネントの初期予測値を取得し、次に輝度コンポーネントの参照値及び/又は彩度コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行って、彩度コンポーネントの目標予測値を取得することができる。第二画像コンポーネントで第一画像コンポーネントを予測することもできる、例えば、彩度コンポーネントで輝度コンポーネントを予測して、輝度コンポーネントの初期予測値を取得し、次に輝度コンポーネントの参照値及び/又は彩度コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行って、輝度コンポーネントの目標予測値を取得することができる。さらに、第二画像コンポーネントで第三画像コンポーネントを予測することもできる、例えば、青彩度コンポーネントで赤彩度コンポーネントを予測して、赤彩度コンポーネントの初期予測値を取得し、次に青彩度コンポーネントの参照値及び/又は赤彩度コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行って、赤彩度コンポーネントの目標予測値を取得することができる。このように、予測の効率を向上させる目的に達成できる。
さらに、各画像コンポーネントは異なる解像度を有するので、予測モデルを便利に構築するために、画像コンポーネントの解像度を調整する(画像コンポーネントに対してアップサンプリングするか、又は画像コンポーネントのダウンサンプリングすることを含む)ことを必要として、従って目標解像度に達する。
選択的に、いくつかの実施形態において、予測モデルのモデルパラメータを計算する前に、この方法は、以下の内容をさらに含む。
現在のブロックの予測しようとする画像コンポーネントの解像度と現在のブロックの参照しようとする画像コンポーネントの解像度が異なる場合、参照しようとする画像コンポーネントの解像度を調整する。解像度調整は、アップサンプリング調整又はダウンサンプリング調整を含む。
調整後の参照しようとする画像コンポーネントの解像度に基づいて、現在のブロックの参照しようとする画像コンポーネントの参照値を更新して、現在のブロックの参照しようとする画像コンポーネントの第一参照値を取得する。調整後の参照しようとする画像コンポーネントの解像度と予測しようとする画像コンポーネントの解像度は同じである。
選択的に、いくつかの実施形態において、予測モデルのモデルパラメータを計算する前に、この方法は以下の内容をさらに含む。
現在のブロックの予測しようとする画像コンポーネントの解像度と現在のブロックの参照しようとする画像コンポーネントの解像度が異なる場合、現在のブロックの参照しようとする画像コンポーネントの参照値を調整して、現在のブロックの参照しようとする画像コンポーネントの第一参照値を取得する。調整処理は、ダウンサンプリングフィルタリング、アップサンプリングフィルタリング、ダウンサンプリングフィルタリングとローパスフィルタリングとのカスケードフィルタリング、アップサンプリングフィルタリングとローパスフィルタリングとのカスケードフィルタリングの中の一つを備える。
現在のブロックの予測しようとする画像コンポーネントの解像度と現在のブロックの参照しようとする画像コンポーネントの解像度が異なる場合、参照しようとする画像コンポーネントの解像度を調整することができ、調整後の参照しようとする画像コンポーネントの解像度と予測しようとする画像コンポーネントの解像度が同じようにする。解像度調整は、アップサンプリング調整又はダウンサンプリング調整を含む。調整後の参照しようとする画像コンポーネントの解像度に基づいて、現在のブロックの参照しようとする画像コンポーネントの参照値を更新して、現在のブロックの参照しようとする画像コンポーネントの第一参照値を取得する。
また、現在のブロックの予測しようとする画像コンポーネントの解像度と現在のブロックの参照しようとする画像コンポーネントの解像度が異なる場合、現在のブロックの参照しようとする画像コンポーネントの参照値に対して調整処理を行って、現在のブロックの参照しようとする画像コンポーネントの第一参照値を取得することができる。ここの調整処理は、ダウンサンプリングフィルタリング、アップサンプリングフィルタリング、ダウンサンプリングフィルタリングとローパスフィルタリングとのカスケードフィルタリング、アップサンプリングフィルタリングとローパスフィルタリングとのカスケードフィルタリングの中の一つを備える。
さらに、いくつかの実施形態において、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、予測モデルのモデルパラメータを計算することは、以下の内容を含むことができる。
現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの第一参照値に基づいて、予測モデルのモデルパラメータを計算する。
現在のブロックの予測しようとする画像コンポーネントの解像度と現在のブロックの参照しようとする画像コンポーネントの解像度が異なる場合、更新後の現在のブロックの参照しようとする画像コンポーネントの第一参照値を取得してから、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの第一参照値に基づいて予測モデルのモデルパラメータを計算する。
例えば、輝度コンポーネントを介して彩度コンポーネントを予測すると仮定すると、使用しようとする画像コンポーネントは輝度コンポーネントであり、予測しようとする画像コンポーネントは彩度コンポーネントである。輝度コンポーネントと彩度コンポーネントは異なる解像度を有するので、彩度コンポーネントの目標解像度を取得してから、輝度コンポーネントの解像度が目標解像度と一致しないため、輝度コンポーネントの解像度を調整することを必要とする。例えば、輝度コンポーネントに対してダウンサンプリング処理を行って、調整後の輝度コンポーネントの解像度が目標解像度と一致するようにする。逆に、彩度コンポーネントを介して輝度コンポーネントを予測する場合、輝度コンポーネントの目標解像度を取得してから、彩度コンポーネントの解像度が目標解像度と一致しないため、彩度コンポーネントの解像度を調整することを必要とする。例えば、彩度コンポーネントに対してアップサンプリング処理を行って、調整後の彩度コンポーネントの解像度が目標解像度と一致するようにする。また、青彩度コンポーネントを介して赤彩度コンポーネントを予測する場合、赤彩度コンポーネントの目標解像度を取得してから、青彩度コンポーネントの解像度が目標解像度と一致するため、青彩度コンポーネントの解像度を調整することを必要とせず、青彩度コンポーネントの解像度が目標解像度と一致することは既に保障された。このように、同じ解像度に基づいて更新後の現在のブロックの参照しようとする画像コンポーネントの第一参照値を取得して、予測モデルを構築して画像コンポーネントを予測する。
これ以外に、予測効率を向上させるために、ただ現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、現在のブロックの予測しようとする画像コンポーネントの初期予測値に対してフィルタリング処理を行うことができる。
いくつかの実施形態において、S402では、初期予測値に対してフィルタリング処理を行うことは以下の内容を含むことができる。
現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、初期予測値に対してフィルタリング処理を行って、目標予測値を取得する。現在のブロックの予測しようとする画像コンポーネントの参照値は、画像の予測しようとする画像コンポーネント又は現在のブロックの予測しようとする画像コンポーネントに対して特性統計を行うことにより取得することができる。
さらに、現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、初期予測値に対してフィルタリング処理を行うことは、以下の内容を含むことができる。
現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行う。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、逆量子化処理、ローパスフィルタリング処理、適応フィルタリング処理の中の少なくとも一つを備える。
いくつかの実施形態において、S402では、初期予測値に対してフィルタリング処理を行うことは、以下の内容を含む。
初期予測値を利用して、現在のブロックの予測しようとする画像コンポーネントの初期予測残差を計算する。
現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測残差に対してフィルタリング処理を行う。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、逆量子化処理、ローパスフィルタリング処理、適応フィルタリング処理の中の少なくとも一つを備える。
プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、逆量子化処理、ローパスフィルタリング処理、又は適応フィルタリング処理などであることができることに留意されたい。また、現在のブロックの予測しようとする画像コンポーネントの参照値は、画像の予測しようとする画像コンポーネント又は現在のブロックの予測しようとする画像コンポーネントに対して特性統計を行って取得することができる。ここの特性統計は現在のブロックの予測しようとする画像コンポーネントに限定されず、現在のブロックの所属画像の予測しようとする画像コンポーネントに対して特性統計を行うことができる。
このように、フィルタリング処理のプロセスについて、現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得してから、現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行って、目標予測値を取得する。又は、初期予測値を利用して、現在のブロックの予測しようとする画像コンポーネントの初期予測残差を計算してから、現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測残差に対してフィルタリング処理を行って、目標予測残差を取得することができ、この目標予測残差に基づいて目標予測値を取得することもできる。
予測効率を向上させるために、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、現在のブロックの予測しようとする画像コンポーネントの初期予測値に対してフィルタリング処理を行うことができる。
いくつかの実施形態において、S401では、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する前に、この方法は、以下の内容をさらに含むことができる。
画像の予測しようとする画像コンポーネントに対して特性統計を行う。
特性統計の結果に基づいて、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値を確定する。参照しようとする画像コンポーネントと予測しようとする画像コンポーネントは異なる。
現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、予測モデルのモデルパラメータを計算する。
さらに、いくつかの実施形態において、この方法は以下の内容をさらに含むことができる。
現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行う。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、逆量子化処理、ローパスフィルタリング処理、適応フィルタリング処理の中の少なくとも一つを備える。
異なる画像コンポーネントは異なる統計特性を有し、各画像コンポーネントの統計特性に相違点が存在する。例えば、輝度コンポーネントは豊富なテクスチャ特性を持っているが、彩度コンポーネントはより均一で平坦である傾向がある。クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取るために、この時、現在のブロックの少なくとも一つの画像コンポーネントに対して特性統計を行う必要がある。例えば、画像の予測しようとする画像コンポーネントに対して特性統計を行う。次に、特性統計の結果に基づいて、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値を確定する。現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、予測モデルを構築するために予測モデルのモデルパラメータを計算できるだけではなく、初期予測値に対してフィルタリング処理を行って、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取ることもできるので、予測効率を向上させることができる。
例示的に、図5は、本出願の実施形態に係わる改良型クロスコンポーネント予測アーキテクチャの構造を示す概略図である。図5に示されたように、図1に示された従来のクロスコンポーネント予測アーキテクチャ10に基づいて、改良型クロスコンポーネント予測アーキテクチャ50は処理ユニット510をさらに含むことができる。処理ユニット510は、より正確な目標予測値を取得するために、主にクロスコンポーネント予測ユニット160によって取得された予測値に対して関連処理を行うために用いられる。
Figure 0007480170000009
本出願の実施形態において、画像予測方法がエンコーダーに適用される場合、目標予測値を取得してから、目標予測値とリアルな数値の間の差に基づいて予測残差を確定し、予測残差をビットストリームに書き込むことができる。同時に、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、予測モデルのモデルパラメータを計算し、取得されたモデルパラメータをビットストリームに書き込むこともできる。このビットストリームはエンコーダーからデコーダーに伝送される。逆に、画像予測方法がデコーダーに適用される場合、ビットストリームを解析して予測残差を取得することができ、且つビットストリームを解析して予測モデルのモデルパラメータを取得して、予測モデルを構築することもできる。このように、デコーダーにおいて、依然として予測モデルによって、現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得することができ、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得することができる。
本実施形態は、画像予測方法を提供する。予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する。初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得する。このように、現在のブロックの少なくとも一つの画像コンポーネントに対して予測した後、この少なくとも一つの画像コンポーネントに対してフィルタリング処理を実行し続けることによって、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取ることができる。従って、予測効率を高めるだけではなく、取得された目標予測値がリアルな数値により近いため、画像コンポーネントの予測残差が小さくなり、符号化及び復号化において伝送されるビットレートが少なくなり、同時にビデオ画像の符号化及び復号化の効率を向上させることもできる。
上記の実施形態と同じ発明思想に基づいて、図6を参照すると、図6は本出願の実施形態に係わるエンコーダー60の構造を示す概略図である。エンコーダー60は、第一予測ユニット601と第一処理ユニット602を含むことができる。
第一予測ユニット601は、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得するために用いられる。
第一処理ユニット602は、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得するために用いられる。
上記の実施形態において、図6を参照すると、エンコーダー60は、第一統計ユニット603と第一取得ユニット604をさらに含むことができる。
第一統計ユニット603は、現在のブロックの少なくとも一つの画像コンポーネントに対して特性統計を行うために用いられる。少なくとも一つの画像コンポーネントは、予測しようとする画像コンポーネント及び/又は参照しようとする画像コンポーネントを含み、予測しようとする画像コンポーネントと参照しようとする画像コンポーネントは異なる。
第一取得ユニット604は、特性統計の結果に基づいて、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値を取得するために用いられる。予測しようとする画像コンポーネントは予測モデルを構築する時に予測されるコンポーネントであり、参照しようとする画像コンポーネントは予測モデルを構築する時に予測に用いられるコンポーネントである。
上記の実施形態において、第一処理ユニット602は、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行うために用いられる。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、非量子化処理の中の少なくとも一つを備える。
第一取得ユニット604は、処理結果に基づいて、目標予測値を取得するために用いられる。
上記の実施形態において、図6を参照すると、エンコーダー60は、初期予測値に基づいて、現在のブロックの予測しようとする画像コンポーネントの初期予測残差を計算するために用いられる計算ユニット605をさらに含むことができる。
第一処理ユニット602は、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測残差に対してフィルタリング処理を行うために用いられる。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、非量子化処理の中の少なくとも一つを備える。
第一取得ユニット604は、処理結果に基づいて、目標予測残差を取得するために用いられる。
上記の実施形態において、計算ユニット605は、目標予測残差に基づいて、現在のブロックの予測しようとする画像コンポーネントの目標予測値を計算するために用いられる。
上記の実施形態において、図6を参照すると、エンコーダー60は、第一確定ユニット606と第一構築ユニット607をさらに含むことができる。
第一確定ユニット606は、現在のブロックの予測しようとする画像コンポーネントの参照値を確定するために用いられる。現在のブロックの予測しようとする画像コンポーネントの参照値は、現在のブロックの隣接サンプルの予測しようとする画像コンポーネント値である。第一確定ユニット606は、現在のブロックの参照しようとする画像コンポーネントの参照値を確定するためにも用いられる。現在のブロックの参照しようとする画像コンポーネントと予測しようとする画像コンポーネントは異なり、現在のブロックの参照しようとする画像コンポーネントの参照値は、現在のブロックの隣接サンプルの参照画像コンポーネント値である。
計算ユニット605は、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、予測モデルのモデルパラメータを計算するために用いられる。
第一構築ユニット607は、計算されたモデルパラメータに基づいて、予測モデルを構築するために用いられる。予測モデルは、現在のブロックの参照しようとする画像コンポーネントに基づいて、現在のブロックの予測しようとする画像コンポーネントに対してクロスコンポーネント予測処理を行うために用いられる。
上記の実施形態において、図6を参照すると、エンコーダー60は、第一調整ユニット608をさらに含むことができる。第一調整ユニット608は、現在のブロックの予測しようとする画像コンポーネントの解像度と現在のブロックの参照しようとする画像コンポーネントの解像度が異なる場合、参照しようとする画像コンポーネントの解像度を調整するために用いられる。解像度調整は、アップサンプリング調整とダウンサンプリング調整を備える。第一調整ユニット608は、また、調整後の参照しようとする画像コンポーネントの解像度に基づいて、現在のブロックの参照しようとする画像コンポーネントの参照値を更新して、現在のブロックの参照しようとする画像コンポーネントの第一参照値を取得するためにも用いられる。調整後の参照しようとする画像コンポーネントの解像度と予測しようとする画像コンポーネントの解像度は同じである。
上記の実施形態において、第一調整ユニット608は、さらに、現在のブロックの予測しようとする画像コンポーネントの解像度と現在のブロックの参照しようとする画像コンポーネントの解像度が異なる場合、現在のブロックの参照しようとする画像コンポーネントの参照値に対して調整処理を行って、現在のブロックの参照しようとする画像コンポーネントの第一参照値を取得するためにも用いられる。調整処理は、ダウンサンプリングフィルタリング、アップサンプリングフィルタリング、ダウンサンプリングフィルタリングとローパスフィルタリングとのカスケードフィルタリング、アップサンプリングフィルタリングとローパスフィルタリングとのカスケードフィルタリングの中の一つを備える。
上記の実施形態において、計算ユニット605は、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの第一参照値に基づいて、予測モデルのモデルパラメータを計算するためにも用いられる。
上記の実施形態において、第一処理ユニット602は、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、初期予測値に対してフィルタリング処理を行って、目標予測値を取得するためにも用いられる。現在のブロックの予測しようとする画像コンポーネントの参照値は、画像の予測しようとする画像コンポーネント又は現在のブロックの予測しようとする画像コンポーネントに対して特性統計を行うことによって取得される。
上記の実施形態において、第一処理ユニット602は、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行うためにも用いられる。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、逆量子化処理、ローパスフィルタリング処理、適応フィルタリング処理の中の少なくとも一つを備える。
上記の実施形態において、計算ユニット605は、さらに、初期予測値を利用して、現在のブロックの予測しようとする画像コンポーネントの初期予測残差を計算するためにも用いられる。
第一処理ユニット602は、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測残差に対してフィルタリング処理を行うためにも用いられる。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、逆量子化処理、ローパスフィルタリング処理、適応フィルタリング処理の中の少なくとも一つを備える。
上記の実施形態において、第一統計ユニット603は、さらに、画像の予測しようとする画像コンポーネントに対して特性統計を行うためにも用いられる。
第一確定ユニット606は、さらに、特性統計の結果に基づいて、現在のブロックの予測しようとする画像コンポーネントの参照値及び現在のブロックの参照しようとする画像コンポーネントの参照値を確定するためにも用いられる。参照しようとする画像コンポーネントと予測しようとする画像コンポーネントは異なる。
計算ユニット605は、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、予測モデルのモデルパラメータを計算するためにも用いられる。
上記の実施形態において、第一処理ユニット602は、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行うためにも用いられる。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、逆量子化処理、ローパスフィルタリング処理、適応フィルタリング処理の中の少なくとも一つを備える。
本出願の実施形態において、「ユニット」は、回路の一部、プロセッサの一部、プログラムの一部又はソフトウェアなどであることができ、モジュールであってもなくてもよいことが理解され得る。さらに、本出願の実施形態の様々なコンポーネントは、1つの処理ユニットに統合され得るか、又は各ユニットが単独に物理的に存在し得るか、又は2つ以上のユニットが1つのユニットに統合され得る。上記の統合ユニットは、ハードウェア又はソフトウェア機能モジュールの形式で実現することができる。
集積ユニットは、ソフトウェアの機能ユニットとして実現され、且つ独立の製品として販売又は使用される場合、コンピュータ可読記録媒体に記憶されてもよい。この理解によれば、本出願の技術方案について、本質的な部分、又は従来技術に貢献できた部分、又は該技術方案の全部又は一部は、ソフトウェア製品として表現され得る。このコンピュータソフトウェア製品は、記憶媒体に記憶されており、1つのコンピュータ(パソコン、サーバー、又はネットワークデバイスなどであってもよい)又はプロセッサに本実施例に係る方法の全部又は一部の過程を実行させるための複数のコマンドが含まれている。前記記憶媒体は、USB(ユニバーサルシリアルバス)フラッシュディスク、モバイルハードディスク、読み出し専用メモリ(Read-Only Memory,ROM)、ランダムアクセスメモリ(Random Access Memory,RAM)、磁気ディスク又は光ディスクなどの各種のプログラムコードを記憶可能な媒体を含む。
従って、本出願の実施形態は、画像予測プログラムを格納するために用いられるコンピュータ記憶媒体を提供する。画像予測プログラムが少なくとも1つのプロセッサによって実行されると、上記実施形態で説明した方法を実行する。
上述したエンコーダー60の構成及びコンピューター記憶媒体に基づいて、図7を参照すると、図7は、本出願の実施形態に係わるエンコーダー60の具体的なハードウェア構造を示す図である。エンコーダー60は、第一通信インターフェース701、第一メモリ702及び第一プロセッサ703を含むことができる。様々な構築要素は第一バスシステム704を介して一緒に結合される。第一バスシステム704は、これらのコンポーネント間の接続及び通信を実現するために用いられる。第一バスシステム704は、データバスに加えて、電力バス、制御バス及び状態信号バスをさらに含む。しかしながら、説明を明確にするために、図7において、様々なバスは、第一バスシステム704としてマークされている。
第一通信インターフェース701は、他の外部ネットワーク要素と情報を送受信するプロセスにおいて信号を送受信するために用いられる。
第一メモリ702は、第一プロセッサ703によって実行可能なコンピュータプログラムを格納するために用いられる。
第一プロセッサ703は、コンピュータプログラムを実行するとき、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得し、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得する。
本出願の実施形態の第一メモリ702は、揮発性メモリ又は不揮発性メモリであることができる、又は揮発性メモリ及び不揮発性メモリの両方を含むことができる。不揮発性メモリは、読み取り専用メモリ(Read-Only Memory,ROM)、プログラム可能な読み取り専用メモリ(Programmable Read-Only Memory,PROM)、消去可能なプログラム可能な読み取り専用メモリ(Erasable Programmable Read-Only Memory,EPROM)、電気的に消去可能なプログラム可能な読み取り専用メモリ(Electrically Erasable Programmable Read-Only Memory,EEPROM)、フラッシュメモリ(Flash Memory)であることができる。揮発性メモリは、外部高速キャッシュとして機能するランダムアクセスメモリ(Random Access Memory,RAM)であることができる。例示的であるが限定的ではない例として、様々なRAMが利用可能であり、例えば、スタティックランダムアクセスメモリ(Static Random Access Memory,SRAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory,DRAM)、同期ダイナミックランダムアクセスメモリ(Synchronous Dynamic Random Access Memory,SDRAM)、ダブルデータレート同期ダイナミックランダムアクセスメモリ(Double Data Rate Synchronous Dynamic Random Access Memory,DDRSDRAM)、強化された同期ダイナミックランダムアクセスメモリ(Enhanced Synchronous Dynamic Random Access Memory,ESDRAM)、同期リンクダイナミックランダムアクセスメモリ(Synch-link Dynamic Random Access Memory,SLDRAM)、ダイレクトランバスランダムアクセスメモリ(Dierct Rambus Random Access Memory,DRRAM)が挙げられる。本明細書に記載されるシステム及び方法の第一メモリ702は、これら及び他の任意の適切なタイプのメモリを含むことができるが、これらに限定されない。
本出願の実施形態の第一プロセッサ703は、信号処理能力を有する集積回路チップであることができる。実施プロセスにおいて、上述した方法実施例の各ステップは、第一プロセッサ703のハードウェア形態の集積論理回路(Integrated Logic Circuit)又はソフトウェア形態の命令によって完成することができる。上述した第一プロセッサ703は、汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processor,DSP)、特定用途向け集積回路(Application Specific Integrated Circuit,ASIC)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array,FPGA)又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントであることができる。プロセッサは、本出願の実施例で開示された方法、ステップ及び論理ブロック図を実現又は実行することができる。汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサなどであることができる。本出願の実施例で開示された方法のステップは、直接にハードウェア復号化プロセッサによって実行及び完成することができるか、又は復号化プロセッサにおけるハードウェア及びソフトウェアモジュールの組合せによって実行及び完成することができる。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラム可能な読み取り専用メモリ、又は電気的に消去可能なプログラム可能なメモリ、レジスタなど本技術分野のマチュアな記憶媒体に位置することができる。記憶媒体は、第一メモリ702にある。第一プロセッサ703は、第一メモリ702における情報を読み取り、プロセッサのハードウェアとともに上述した方法のステップを完成する。
本出願に記載される実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はその組合によって実現できることが理解され得る。ハードウェアによって実現する場合、処理ユニットは、1つ又は複数の特定用途向け集積回路(Application Specific Integrated Circuits,ASIC)、デジタル信号処理(Digital Signal Processing,DSP)、DSPデバイス(DSP Device)、プログラマブルロジックデバイス(Programmable Logic Device,PLD)、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array,FPGA)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本出願に記載される機能を実行するために用いられるその他の電子ユニット又はその組合で実現することができる。ソフトウェアによって実現する場合、本出願に記載される技術は、本出願に記載される機能を実行するためのモジュール(例えば、手順、関数など)によって実現することができる。ソフトウェアコードはメモリに格納され且つプロセッサで実行される。メモリは、プロセッサ内又はプロセッサの外部で実現することができる。
選択的に、別の実施形態として、第一プロセッサ703は、コンピュータプログラムを実行するとき、上記実施形態のいずれか一項に記載の方法を実行するために用いられる。
本出願の実施形態は、第一予測ユニットと第一処理ユニットを含むエンコーダーを提供する。第一予測ユニットは、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得するために用いられる。第一処理ユニットは、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得するために用いられる。このように、現在のブロックの少なくとも一つの画像コンポーネントに対して予測した後、この少なくとも一つの画像コンポーネントに対してフィルタリング処理を実行し続けることによって、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取ることができる。従って、予測効率を高めるだけではなく、取得された目標予測値がリアルな数値により近いため、画像コンポーネントの予測残差が小さくなり、符号化及び復号化において伝送されるビットレートが少なくなり、同時にビデオ画像の符号化及び復号化の効率を向上させることもできる。
上記した実施形態と同じ発明思想に基づいて、図8を参照すると、図8は本出願の実施形態に係わるデコーダー80の構造を示す概略である。デコーダー80は、第二予測ユニット801と第二処理ユニット802を含むことができる。
第二予測ユニット801は、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得するために用いられる。
第二処理ユニット802は、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得するために用いられる。
上記の実施形態において、図8を参照すると、デコーダー80は、第二統計ユニット803と第二取得ユニット804をさらに含むことができる。
第二統計ユニット803は、現在のブロックの少なくとも一つの画像コンポーネントに対して特性統計を行うために用いられる。少なくとも一つの画像コンポーネントは、予測しようとする画像コンポーネント及び/又は参照しようとする画像コンポーネントを含み、予測しようとする画像コンポーネントと参照しようとする画像コンポーネントは異なる。
第二取得ユニット804は、特性統計の結果に基づいて、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値を取得するために用いられる。予測しようとする画像コンポーネントは予測モデルを構築する時に予測されるコンポーネントであり、参照しようとする画像コンポーネントは予測モデルを構築する時に予測に用いられるコンポーネントである。
上記実施形態において、第二処理ユニット802は、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行うために用いられる。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、非量子化処理の中の少なくとも一つを備える。
第二取得ユニット804は、処理結果に基づいて、目標予測値を取得するために用いられる。
上記の実施形態において、図8を参照すると、デコーダー80は、ビットストリームを解析して、現在のブロックの予測しようとする画像コンポーネントの初期予測残差を取得するために用いられる解析ユニット805をさらに含むことができる。
第二処理ユニット802は、現在のブロックの予測しようとする画像コンポーネントの参照値及び/又は現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測残差に対してフィルタリング処理を行うために用いられる。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、非量子化処理の中の少なくとも一つを備える。
第二取得ユニット804は、処理結果に基づいて、目標予測残差を取得するために用いられる。
上記の実施形態において、図8を参照すると、デコーダー80は、第二構築ユニット806をさらに含むことができる。
解析ユニット805は、さらに、ビットストリームを解析して、予測モデルのモデルパラメータを取得するために用いられる。
第二構築ユニット806は、解析されたモデルパラメータに基づいて、予測モデルを構築するために用いられる。予測モデルは、現在のブロックの参照しようとする画像コンポーネントに基づいて、現在のブロックの予測しようとする画像コンポーネントに対してクロスコンポーネント予測処理を行うために用いられる。
上記の実施形態において、図8を参照すると、デコーダー80は、第二調整ユニット807をさらに含むことができる。第二調整ユニット807は、現在のブロックの予測しようとする画像コンポーネントの解像度と現在のブロックの参照しようとする画像コンポーネントの解像度が異なる場合、参照しようとする画像コンポーネントの解像度に対して解像度調整を行うために用いられる。第二調整ユニット807は、また、調整後の参照しようとする画像コンポーネントの解像度に基づいて、現在のブロックの参照しようとする画像コンポーネントの参照値を更新して、現在のブロックの参照しようとする画像コンポーネントの第一参照値を取得するためにも用いられる。解像度調整はアップサンプリング調整とダウンサンプリング調整を備える。調整後の参照しようとする画像コンポーネントの解像度と予測しようとする画像コンポーネントの解像度は同じである。
上記の実施形態において、第二調整ユニット807は、さらに、現在のブロックの予測しようとする画像コンポーネントの解像度と現在のブロックの参照しようとする画像コンポーネントの解像度が異なる場合、現在のブロックの参照しようとする画像コンポーネントの参照値に対して調整処理を行って、現在のブロックの参照しようとする画像コンポーネントの第一参照値を取得するためにも用いられる。調整処理は、ダウンサンプリングフィルタリング、アップサンプリングフィルタリング、ダウンサンプリングフィルタリングとローパスフィルタリングとのカスケードフィルタリング、アップサンプリングフィルタリングとローパスフィルタリングとのカスケードフィルタリングの中の一つを備える。
上記の実施形態において、第二処理ユニット802は、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、初期予測値に対してフィルタリング処理を行って、目標予測値を取得するためにも用いられる。現在のブロックの予測しようとする画像コンポーネントの参照値は、画像の予測しようとする画像コンポーネント又は現在のブロックの予測しようとする画像コンポーネントに対して特性統計を行うことによって取得される。
上記の実施形態において、第二処理ユニット802は、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行うためにも用いられる。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、逆量子化処理、ローパスフィルタリング処理、適応フィルタリング処理の中の少なくとも一つを備える。
上記の実施形態において、解析ユニット805は、さらに、ビットストリームを解析して、現在のブロックの予測しようとする画像コンポーネントの初期予測残差を取得するために用いられる。
第二処理ユニット802、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測残差に対してフィルタリング処理を行うためにも用いられる。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、逆量子化処理、ローパスフィルタリング処理、適応フィルタリング処理の中の少なくとも一つを備える。
上記の実施形態において、図8を参照すると、デコーダー80は第二確定ユニット808をさらに含むことができる。
第二統計ユニット803は、さらに画像の予測しようとする画像コンポーネントに対して特性統計を行うためにも用いられる。
第二確定ユニット808は、さらに、特性統計の結果に基づいて、現在のブロックの予測しようとする画像コンポーネントの参照値及び現在のブロックの参照しようとする画像コンポーネントの参照値を確定するためにも用いられる。参照しようとする画像コンポーネントと予測しようとする画像コンポーネントは異なる。
上記の実施形態において、第二処理ユニット802は、さらに、現在のブロックの予測しようとする画像コンポーネントの参照値と現在のブロックの参照しようとする画像コンポーネントの参照値に基づいて、プリセット処理モードを利用して初期予測値に対してフィルタリング処理を行うためにも用いられる。プリセット処理モードは、フィルタリング処理、グルーピング処理、値の補正処理、量子化処理、逆量子化処理、ローパスフィルタリング処理、適応フィルタリング処理の中の少なくとも一つを備える。
本出願の実施形態において、「ユニット」は、回路の一部、プロセッサの一部、プログラムの一部又はソフトウェアなどであることができ、モジュールであってもなくてもよいことが理解され得る。さらに、本出願の実施形態の様々なコンポーネントは、1つの処理ユニットに統合され得るか、又は各ユニットが単独に物理的に存在し得るか、又は2つ以上のユニットが1つのユニットに統合され得る。上記の統合ユニットは、ハードウェア又はソフトウェア機能モジュールの形式で実現することができる。
集積ユニットは、ソフトウェアの機能モジュールとして実現され、かつ、独立の製品として販売されたり使用されたりする場合、コンピュータ読み取り可能な記録媒体に記憶されてもよい。この理解によれば、本出願の実施形態は、画像予測プログラムを格納するために用いられるコンピュータ記憶媒体を提供する。画像予測プログラムが第二プロセッサによって実行されると、上記実施形態のいずれか一項に記載の方法を実現する。
上述したデコーダー80の構成及びコンピューター記憶媒体に基づいて、図9を参照すると、図9は、本出願の実施形態に係わるデコーダー80の具体的なハードウェア構造を示す図である。デコーダー80は、第二通信インターフェース901、第二メモリ902及び第二プロセッサ903を含むことができる。様々な構築要素は第二バスシステム904を介して一緒に結合される。第二バスシステム904は、これらのコンポーネント間の接続及び通信を実現するために用いられる。第二バスシステム904は、データバスに加えて、電力バス、制御バス及び状態信号バスをさらに含む。しかしながら、説明を明確にするために、図9において、様々なバスは、第二バスシステム904としてマークされている。
第二通信インターフェース901は、他の外部ネットワーク要素と情報を送受信するプロセスにおいて信号を送受信するために用いられる。
第二メモリ902は、第二プロセッサ903によって実行可能なコンピュータプログラムを格納するために用いられる。
第二プロセッサ903は、コンピュータプログラムを実行するとき、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得し、初期予測値に対して、フィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得する。
選択的に、別の実施形態として、第二プロセッサ903は、さらに、コンピュータプログラムを実行するとき、上記の実施形態のいずれか一項に記載された方法を実行するために用いられる。
第二メモリ902と第一メモリ702のハードウェアの機能は類似であり、第二プロセッサ903と第一プロセッサ703のハードウェアの機能が類似であるため、ここでは詳しく説明しない。
本出願の実施形態は、第二予測ユニットと第二処理ユニットを含むデコーダーを提供する。第二予測ユニットは、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得するために用いられる。第二処理ユニットは、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得するために用いられる。このように、現在のブロックの少なくとも一つの画像コンポーネントに対して予測した後、この一つの画像コンポーネントに対してフィルタリング処理を実行し続けることによって、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取ることができる。従って、予測効率を高めるだけではなく、ビデオ画像の符号化及び復号化の効率を向上させることもできる。
本明細書において、「備える」、「含む」、又はそれらの変形などの用語は、非排他的な包含をカバーすることを意図するので、一連の要素を含むプロセス、方法、物品又は装置は、リストされた要素だけではなく、リストされていない他の要素を含み、あるいはプロセス、方法、オブジェクト又は装置に固有の他の要素を含むことができる。さらに多い制限がない場合、「…を含む」というステートメントによって限定された要素を含むプロセス、方法、オブジェクト又は装置に他の同じ要素が存在することを除外しない。
上述した実施形態のシーケンス番号は、実施形態の優劣を表すものではなく、ただ説明するために採用される。
本出願に係わるいくつかの方法の実施形態に開示された方法は、矛盾がない限り、任意に組み合わせて、新しい方法の実施形態を得ることができる。
本出願に係わるいくつかの製品の実施形態に開示された特徴は、矛盾がない限り、任意に組み合わせて、新しい製品の実施形態を得ることができる。
本出願に係わるいくつかの方法又は装置の実施形態に開示された特徴は、矛盾がない限り、任意に組み合わせて、新しい方法の実施形態又は装置の実施形態を得ることができる。
上述したのは、ただ本発明の具体的な実施形態であり、本発明の保護範囲はこれに限定されるものではない。当業者であれば、本発明に開示された技術範囲内で変更又は置換を容易に想到しうることであり、全て本出願の範囲内に含まれるべきである。従って本願の保護範囲は特許請求の範囲によって決めるべきである。
産業上の利用可能性
本出願の実施形態において、先ず、予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する。次に、初期予測値に対してフィルタリング処理を行って、現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得する。このように、現在のブロックの少なくとも一つの画像コンポーネントに対して予測した後、この少なくとも一つの画像コンポーネントに対してフィルタリング処理を実行し続けることによって、クロスコンポーネント予測後の各画像コンポーネントの統計的特性のバランスを取ることができる。従って、予測効率を高められるだけではなく、取得された目標予測値がリアルな数値により近いため、画像コンポーネントの予測残差が小さくなり、符号化及び復号化において伝送されるビットレートが少なくなり、同時にビデオ画像の符号化及び復号化の効率を向上させることもできる。

Claims (9)

  1. デコーダーに用いられる画像予測方法であって、
    予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する(S401)ことと、
    前記初期予測値に対してフィルタリング処理を行って、前記現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得する(S402)ことと、
    を含
    前記初期予測値に対してフィルタリング処理を行って、前記現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得することは、
    プリセット処理モードを利用して前記初期予測値に対してフィルタリング処理を行うことと、
    フィルタリング処理の結果に基づいて、前記目標予測値を取得することと、
    を含み、
    前記プリセット処理モードは、値の補正処理である、
    ことを特徴とする画像予測方法。
  2. 前記画像予測方法は、
    前記現在のブロックの参照しようとする画像コンポーネントに基づいて、前記現在のブロックの予測しようとする画像コンポーネントの参照値を確定することをさらに含む、
    ことを特徴とする請求項に記載の画像予測方法。
  3. エンコーダーに用いられる画像予測方法であって、
    予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得する(S401)ことと、
    前記初期予測値に対してフィルタリング処理を行って、前記現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得する(S402)ことと、
    を含
    前記初期予測値に対してフィルタリング処理を行って、前記現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得することは、
    プリセット処理モードを利用して前記初期予測値に対してフィルタリング処理を行うことと、
    フィルタリング処理の結果に基づいて、前記目標予測値を取得することと、
    を含み、
    前記プリセット処理モードは、値の補正処理である、
    ことを特徴とする画像予測方法。
  4. 前記画像予測方法は、
    前記現在のブロックの参照しようとする画像コンポーネントに基づいて、前記現在のブロックの予測しようとする画像コンポーネントの参照値を確定することをさらに含む、
    ことを特徴とする請求項に記載の画像予測方法。
  5. エンコーダーであって、
    予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得するために用いられる予測ユニットと、
    前記初期予測値に対してフィルタリング処理を行って、前記現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得するために用いられる処理ユニットと、
    を含
    前記処理ユニットは、プリセット処理モードを利用して前記初期予測値に対してフィルタリング処理を行って、フィルタリング処理の結果に基づいて前記目標予測値を取得し、前記プリセット処理モードは、値の補正処理である、
    ことを特徴とするエンコーダー。
  6. エンコーダーであって、
    プロセッサによって実行可能なコンピュータプログラムを格納するために用いられるメモリと、
    前記コンピュータプログラムを実行するとき、請求項3又は4のいずれか一項に記載の方法を実行するために用いられるプロセッサと、
    を含む、
    ことを特徴とするエンコーダー。
  7. デコーダーであって、
    予測モデルによって、画像における現在のブロックの予測しようとする画像コンポーネントの初期予測値を取得するために用いられる予測ユニットと、
    前記初期予測値に対して、フィルタリング処理を行って、前記現在のブロックの予測しようとする画像コンポーネントの目標予測値を取得するために用いられる処理ユニットと、
    を含
    前記処理ユニットは、プリセット処理モードを利用して前記初期予測値に対してフィルタリング処理を行って、フィルタリング処理の結果に基づいて前記目標予測値を取得し、前記プリセット処理モードは、値の補正処理である、
    ことを特徴とするデコーダー。
  8. デコーダーであって、
    プロセッサによって実行可能なコンピュータプログラムを格納するために用いられるメモリと、
    前記コンピュータプログラムを実行するとき、請求項1又は2に記載の方法を実行するために用いられるプロセッサと、
    を含む、
    ことを特徴とするデコーダー。
  9. コンピューター記憶媒体であって、
    前記コンピューター記憶媒体には画像予測プログラムが格納されており、
    前記画像予測プログラムがプロセッサによって実行されると、請求項1~のいずれか一項に記載の方法を実現する、
    ことを特徴とするコンピューター記憶媒体。
JP2021557118A 2019-03-25 2019-10-12 画像予測方法、エンコーダー、デコーダー及び記憶媒体 Active JP7480170B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024069934A JP2024095842A (ja) 2019-03-25 2024-04-23 画像予測方法、エンコーダー、デコーダー及び記憶媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962823613P 2019-03-25 2019-03-25
US62/823,613 2019-03-25
PCT/CN2019/110834 WO2020192085A1 (zh) 2019-03-25 2019-10-12 图像预测方法、编码器、解码器以及存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024069934A Division JP2024095842A (ja) 2019-03-25 2024-04-23 画像予測方法、エンコーダー、デコーダー及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2022528635A JP2022528635A (ja) 2022-06-15
JP7480170B2 true JP7480170B2 (ja) 2024-05-09

Family

ID=72611276

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021557118A Active JP7480170B2 (ja) 2019-03-25 2019-10-12 画像予測方法、エンコーダー、デコーダー及び記憶媒体
JP2024069934A Pending JP2024095842A (ja) 2019-03-25 2024-04-23 画像予測方法、エンコーダー、デコーダー及び記憶媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024069934A Pending JP2024095842A (ja) 2019-03-25 2024-04-23 画像予測方法、エンコーダー、デコーダー及び記憶媒体

Country Status (6)

Country Link
US (1) US20220014772A1 (ja)
EP (1) EP3944621A4 (ja)
JP (2) JP7480170B2 (ja)
KR (1) KR20210139328A (ja)
CN (3) CN116320472A (ja)
WO (1) WO2020192085A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110572673B (zh) * 2019-09-27 2024-04-09 腾讯科技(深圳)有限公司 视频编解码方法和装置、存储介质及电子装置
CN115176475A (zh) * 2019-12-31 2022-10-11 抖音视界有限公司 多参考线色度预测
WO2022067805A1 (zh) * 2020-09-30 2022-04-07 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及计算机存储介质
WO2024148017A1 (en) * 2023-01-02 2024-07-11 Bytedance Inc. Method, apparatus, and medium for video processing
CN117528098B (zh) * 2024-01-08 2024-03-26 北京小鸟科技股份有限公司 基于深压缩码流提升画质的编解码系统、方法及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090238276A1 (en) 2006-10-18 2009-09-24 Shay Har-Noy Method and apparatus for video coding using prediction data refinement
US20150043641A1 (en) 2012-04-26 2015-02-12 Sony Corporation Data encoding and decoding
WO2019004283A1 (ja) 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
WO2020036130A1 (ja) 2018-08-15 2020-02-20 日本放送協会 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101455647B1 (ko) * 2007-09-14 2014-10-28 삼성전자주식회사 컬러 기반으로 예측 값을 보정하는 방법 및 장치, 이것을이용한 이미지 압축/복원 방법과 장치
US20140192862A1 (en) * 2013-01-07 2014-07-10 Research In Motion Limited Methods and systems for prediction filtering in video coding
US20150373362A1 (en) * 2014-06-19 2015-12-24 Qualcomm Incorporated Deblocking filter design for intra block copy
US10200700B2 (en) * 2014-06-20 2019-02-05 Qualcomm Incorporated Cross-component prediction in video coding
CN107079157B (zh) * 2014-09-12 2020-12-22 Vid拓展公司 用于视频编码的分量间去相关
US9838662B2 (en) * 2014-10-10 2017-12-05 Qualcomm Incorporated Harmonization of cross-component prediction and adaptive color transform in video coding
KR20200051831A (ko) * 2014-10-28 2020-05-13 미디어텍 싱가폴 피티이. 엘티디. 비디오 코딩을 위한 가이드된 크로스-컴포넌트 예측 방법
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
US10045023B2 (en) * 2015-10-09 2018-08-07 Telefonaktiebolaget Lm Ericsson (Publ) Cross component prediction in video coding
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
WO2018070914A1 (en) * 2016-10-12 2018-04-19 Telefonaktiebolaget Lm Ericsson (Publ) Residual refinement of color components
US11025903B2 (en) * 2017-01-13 2021-06-01 Qualcomm Incorporated Coding video data using derived chroma mode

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090238276A1 (en) 2006-10-18 2009-09-24 Shay Har-Noy Method and apparatus for video coding using prediction data refinement
JP2010507335A (ja) 2006-10-18 2010-03-04 トムソン ライセンシング 予測データ精緻化を使用してビデオを符号化する方法及び装置
US20150043641A1 (en) 2012-04-26 2015-02-12 Sony Corporation Data encoding and decoding
JP2015515236A (ja) 2012-04-26 2015-05-21 ソニー株式会社 データ符号化及び復号化
WO2019004283A1 (ja) 2017-06-28 2019-01-03 シャープ株式会社 動画像符号化装置及び動画像復号装置
WO2020036130A1 (ja) 2018-08-15 2020-02-20 日本放送協会 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

Also Published As

Publication number Publication date
CN113784128B (zh) 2023-04-21
EP3944621A1 (en) 2022-01-26
KR20210139328A (ko) 2021-11-22
CN113196765A (zh) 2021-07-30
CN116320472A (zh) 2023-06-23
JP2022528635A (ja) 2022-06-15
JP2024095842A (ja) 2024-07-10
EP3944621A4 (en) 2022-05-18
CN113784128A (zh) 2021-12-10
WO2020192085A1 (zh) 2020-10-01
US20220014772A1 (en) 2022-01-13

Similar Documents

Publication Publication Date Title
JP7480170B2 (ja) 画像予測方法、エンコーダー、デコーダー及び記憶媒体
CN116668675A (zh) 视频图像分量的预测方法、装置及计算机存储介质
JP2023510666A (ja) 画像コンポーネント予測方法、エンコーダ、デコーダ及び記憶媒体
US20240163470A1 (en) Method for inter prediction method, video picture encoder and decoder
US20220239901A1 (en) Video picture component prediction method and apparatus, and computer storage medium
JP7535057B2 (ja) 画像予測方法、エンコーダ、デコーダ及び記憶媒体
US20140044167A1 (en) Video encoding apparatus and method using rate distortion optimization
WO2020186763A1 (zh) 图像分量预测方法、编码器、解码器以及存储介质
WO2022227082A1 (zh) 块划分方法、编码器、解码器以及计算机存储介质
JP2024147829A (ja) 画像予測方法、エンコーダ、デコーダ及び記憶媒体
WO2020192180A1 (zh) 图像分量的预测方法、编码器、解码器及计算机存储介质
RU2827054C2 (ru) Способ предсказания изображения, кодер, декодер
WO2023197193A1 (zh) 编解码方法、装置、编码设备、解码设备以及存储介质
WO2021174396A1 (zh) 图像预测方法、编码器、解码器以及存储介质
WO2023044900A1 (zh) 编解码方法、码流、编码器、解码器以及存储介质
RU2805048C2 (ru) Способ предсказания изображения, кодер и декодер
WO2021056224A1 (zh) 预测值的确定方法、编码器、解码器以及存储介质
KR20210114961A (ko) 예측 방향 결정 방법, 디코더 및 컴퓨터 저장 매체

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240424

R150 Certificate of patent or registration of utility model

Ref document number: 7480170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150