JP5859572B2 - 画素レベルの適応イントラ平滑化 - Google Patents

画素レベルの適応イントラ平滑化 Download PDF

Info

Publication number
JP5859572B2
JP5859572B2 JP2013552016A JP2013552016A JP5859572B2 JP 5859572 B2 JP5859572 B2 JP 5859572B2 JP 2013552016 A JP2013552016 A JP 2013552016A JP 2013552016 A JP2013552016 A JP 2013552016A JP 5859572 B2 JP5859572 B2 JP 5859572B2
Authority
JP
Japan
Prior art keywords
local
pixel
pixels
prediction
statistic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013552016A
Other languages
English (en)
Other versions
JP2014506755A (ja
Inventor
ジェン、ユンフェイ
コバン、ムハンメド・ゼイド
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2014506755A publication Critical patent/JP2014506755A/ja
Application granted granted Critical
Publication of JP5859572B2 publication Critical patent/JP5859572B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

優先権の主張
本出願は、本出願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる、2011年1月28日に出願された仮出願第61/437,482号に関し、その優先権を主張する。
本出願はまた、本出願の譲受人に譲渡され、参照により本明細書に明確に組み込まれる、2011年7月13日に出願された仮出願第61/507,459号にも関し、その優先権をも主張する。
本開示は、ビデオコード化、例えば、ビデオデータの符号化の分野に関する。
デジタルビデオ機能は、デジタルテレビジョン、デジタルダイレクトブロードキャストシステム、無線電話ハンドセットなどのワイヤレス通信機器、ワイヤレスブロードキャストシステム、携帯情報端末(PDA)、ラップトップコンピュータ、デスクトップコンピュータ、デジタルカメラ、デジタル記録機器、ビデオゲーム機器、ビデオゲームコンソールなどを含む、広範囲にわたる機器に組み込まれ得る。デジタルビデオ機器は、デジタルビデオをより効率的に送信及び受信するために、MPEG−2、MPEG−4、又はH.264/MPEG−4、Part10、アドバンストビデオコード化(AVC)などのビデオ圧縮技法を実施する。
ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を低減又は除去するために空間的予測及び/又は時間的予測を実行する。ブロックベースのビデオコード化の場合、ビデオフレーム又はスライスはブロックに区分され得る。各ブロックは更に区分され得る。イントラコード化(I)フレーム又はスライス中のブロックは、近傍ブロックに関する空間的予測を使用して符号化される。インターコード化(P又はB)フレーム又はスライス中のブロックは、同じフレーム又はスライス中の近傍ブロックに対する空間的予測、若しくは他の参照フレームに対する時間的予測を使用し得る。
概して、本開示では、ビデオデータのイントラコード化をサポートするためのイントラ平滑化技法について説明する。具体的には、幾つかの例では、本開示の技法は、フィルタ処理決定が画素ごとに行われる、適応イントラ平滑化(AIS:adaptive intra-smoothing)を使用したビデオコンテンツのコード化及び復号に関する。本開示はまた、幾つかの例では、複数の可能な平滑化フィルタのうちのどれを各予測サンプルのために使用するべきかを決定するための技法をも含む。幾つかの例では、本開示はまた、コード化ブロックの各画素について、フィルタ処理された予測サンプルを使用するか、フィルタ処理されていない予測サンプルを使用するかを決定するための技法をも含む。
一態様では、ビデオデータを処理する方法は、ビデオフレーム内でコード化されるべきブロックのイントラ予測コード化のための、複数の予測サンプルを決定することと、複数の予測サンプルのうちの第1の予測サンプルについての局所統計量を計算することとを備える。この方法はまた、局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、選択されたフィルタを第1の予測サンプルに適用することとを備える。
別の態様では、データを符号化するための機器は、ビデオフレーム内でコード化されるべきブロックのイントラ予測コード化のための、複数の予測サンプルを決定することと、複数の予測サンプルのうちの第1の予測サンプルについての局所統計量を計算することと、局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、選択されたフィルタを第1の予測サンプルに適用することとを行うように構成されたビデオ符号器を備える。
別の態様では、コンピュータ可読媒体は、実行されたとき、ビデオフレーム内でコード化されるべきブロックのイントラ予測コード化のための、複数の予測サンプルを決定することと、複数の予測サンプルのうちの第1の予測サンプルについての局所統計量を計算することとを、ビデオコード化機器のプロセッサに行わせる命令を記憶しているコンピュータ可読記憶媒体を備える。この命令は、ビデオコード化機器のプロセッサに、局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、選択されたフィルタを第1の予測サンプルに適用することとを更に行わせる。
別の態様では、ビデオフレーム内でコード化されるべきブロックのイントラ予測コード化のための、複数の予測サンプルを決定するための手段と、複数の予測サンプルのうちの第1の予測サンプルについての局所統計量を計算するための手段とを備える、装置が提供される。この装置は、局所統計量に基づいて、複数の異なるフィルタからフィルタを選択するための手段と、選択されたフィルタを第1の予測サンプルに適用するための手段とを更に備える。
更に別の態様では、ビデオデータを符号化する方法は、コード化されるべきブロック内の画素についての局所統計量を計算することであり、ブロックがビデオフレームの少なくとも一部分を形成することを備える。この方法は、ブロックに関連付けられた複数の予測サンプルを受信することを更に備える。この方法はまた、局所統計量に基づいて、複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、予測サンプルのフィルタ処理されていないバージョンとの間で選択することをも備える。この方法は、予測サンプルの選択されたバージョンを適用して、画素をイントラ予測コード化することを更に備える。
別の態様では、データを復号するための装置は、コード化されるべきブロック内の画素についての局所統計量を計算することであり、ブロックがビデオフレームの少なくとも一部分を形成することと、ブロックに関連付けられた複数の予測サンプルを受信することと、局所統計量に基づいて、複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、予測サンプルのフィルタ処理されていないバージョンとの間で選択することと、予測サンプルの選択されたバージョンを適用して、画素をイントラ予測コード化することとを行うように構成されたビデオ復号器を備える。
別の態様では、コンピュータプログラム製品は、実行されたとき、コード化されるべきブロック内の画素についての局所統計量を計算することであり、ブロックがビデオフレームの少なくとも一部分を形成することと、ブロックに関連付けられた複数の予測サンプルを受信することとを、ビデオ復号装置のプロセッサに行わせる命令を記憶しているコンピュータ可読記憶媒体を備える。この命令は、ビデオ復号装置に、局所統計量に基づいて、複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、予測サンプルのフィルタ処理されていないバージョンとの間で選択することと、予測サンプルの選択されたバージョンを適用して、画素をイントラ予測コード化することとを更に行わせる。
別の態様では、機器は、コード化されるべきブロック内の画素についての局所統計量を計算するための手段であり、ブロックがビデオフレームの少なくとも一部分を形成する、手段と、ブロックに関連付けられた複数の予測サンプルを受信するための手段とを備える。この機器は、局所統計量に基づいて、複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、予測サンプルのフィルタ処理されていないバージョンとの間で選択するための手段を更に備える。この機器はまた、予測サンプルの選択されたバージョンを適用して、画素をイントラ予測コード化するための手段をも備える。
更に別の態様では、ビデオデータを処理する方法は、ビデオフレームの少なくとも一部分の画素を示すコード化ブロックを受信することと、コード化ブロックに関連付けられた複数の予測サンプルを決定することとを備える。この方法は、コード化ブロックに関連付けられたビデオフレームの部分内の画素についての局所統計量を計算することと、局所統計量に基づいて、複数の予測サンプルと、複数の予測サンプルのフィルタ処理されたバージョンとの間で選択することとを更に備える。この方法は、複数の予測サンプルの選択されたバージョンを適用して、画素を復号することを更に備える。
別の態様では、データを復号するための装置は、ビデオフレームの少なくとも一部分の画素を示すコード化ブロックを受信することと、コード化ブロックに関連付けられた複数の予測サンプルを決定することと、コード化ブロックに関連付けられたビデオフレームの部分内の画素についての局所統計量を計算することと、局所統計量に基づいて、複数の予測サンプルと、複数の予測サンプルのフィルタ処理されたバージョンとの間で選択することと、複数の予測サンプルの選択されたバージョンを適用して、画素を復号することとを行うように構成されたビデオ復号器を備える。
別の態様では、コンピュータプログラム製品は、実行されたとき、ビデオフレームの少なくとも一部分の画素を示すコード化ブロックを受信することと、コード化ブロックに関連付けられた複数の予測サンプルを決定することと、コード化ブロックに関連付けられたビデオフレームの部分内の画素についての局所統計量を計算することと、局所統計量に基づいて、複数の予測サンプルと、複数の予測サンプルのフィルタ処理されたバージョンとの間で選択することと、複数の予測サンプルの選択されたバージョンを適用して、画素を復号することとを、ビデオ復号装置のプロセッサに行わせる命令を記憶しているコンピュータ可読記憶媒体を備える。
別の態様では、機器は、ビデオフレームの少なくとも一部分の画素を示すコード化ブロックを受信するための手段と、コード化ブロックに関連付けられた複数の予測サンプルを決定するための手段と、コード化ブロックに関連付けられたビデオフレームの部分内の画素についての局所統計量を計算するための手段と、局所統計量に基づいて、複数の予測サンプルと、複数の予測サンプルのフィルタ処理されたバージョンとの間で選択するための手段と、複数の予測サンプルの選択されたバージョンを適用して、画素を復号するための手段とを備える。
本開示で説明する技法は、ハードウェア、ソフトウェア、ファームウェア、又はその任意の組合せで実施できる。ソフトウェアで実施された場合、ソフトウェアは、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、又はデジタル信号プロセッサ(DSP)、若しくは他の等価の集積又はディスクリート論理回路など、1つ以上のプロセッサを指すことがあるプロセッサで実行できる。本技法を実行する命令を備えるソフトウェアは、最初にコンピュータ可読媒体に記憶し、プロセッサによってロードして実行できる。
従って、本開示はまた、プロセッサに、本開示で説明する様々な技法のいずれかを実行させる命令を備えるコンピュータ可読媒体を企図する。場合によっては、コンピュータ可読媒体はコンピュータプログラム製品の一部をなすことができ、コンピュータプログラム製品は、製造業者に販売でき、及び/又は機器中で使用できる。コンピュータプログラム製品はコンピュータ可読媒体を含むことがあり、場合によってはパッケージング材料を含むこともある。
本開示はまた、情報を搬送する電磁信号にも適用され得る。例えば、電磁信号は、予測サンプルをフィルタ処理するためにどのフィルタが選択されるか、又は、コード化ブロック内の画素を予測するために、フィルタ処理された予測サンプルが使用されたか、フィルタ処理されていない予測サンプルが使用されたかに関する情報を含み得る。幾つかの例では、信号は、本明細書で説明する技法を実施する機器から生成され、又は、そのような機器によって送信され得る。他の例では、本開示は、本明細書で説明する技法を実施する機器において受信され得る信号に適用され得る。
本開示の1つ以上の態様の詳細について添付の図面及び以下の説明において述べる。本開示で説明する技法の他の特徴、目的、及び利点は、これらの説明及び図面、ならびに特許請求の範囲から明らかになろう。
本開示の技法のうちの1つ又は複数を実施するために使用できるビデオ符号化及び復号システムの一例を示すブロック図。 ビデオ符号器の一例を更に詳細に示すブロック図。 本開示の技法によってフィルタ処理され得る、予測されるべきビデオブロックの予測サンプルの一例を示す概念図。 本開示の技法によるビデオ符号器の例示的な動作を示すフロー図。 本開示の技法による、予測サンプルのための平滑化フィルタを選択する、ビデオ符号器の例示的な動作を示すフロー図。 本開示の技法による、予測サンプルのフィルタ処理されたセット又はフィルタ処理されていないセットを選択的に使用して予測され得る、予測されるべきビデオブロック内の画素の一例を示す概念図。 本開示の技法による、符号化されるべきブロック内の画素を予測するために、予測サンプルのフィルタ処理されたセットとフィルタ処理されていないセットとの間で選択する、ビデオ符号器の例示的な動作を示すフロー図。 本開示の技法による、局所統計量に基づいて、符号化されるべきブロックに適応イントラ平滑化を実行する、ビデオ復号器の例示的な動作を示すフロー図。 図1のビデオ復号器の一例を更に詳細に示すブロック図。 本開示の技法による、画素の局所統計量に基づいて、画素を示すコード化ブロックを復号する、ビデオ復号器の例示的な動作を示すフロー図。
イントラ予測コード化(又は、イントラコード化)は、画像フレームのブロックを同じフレームのブロックに対して符号化することを含む。ブロックは、Joint Collaborative Team on Video Coding(JCT−VC)によって現在開発中の高効率ビデオコード化(HEVC)規格によれば、予測ユニットと呼ばれることがある。
本開示では、「コード化」という用語は、符号化及び/又は復号のいずれか又はその両方を指すことがある。「コーダ」という用語は、ビデオ符号化又はビデオ復号を実行する専用コンピュータ機器又は装置を指すことがある。「コーダ」という用語は、一般に、任意のビデオ符号器、ビデオ復号器、又は複合符号器/復号器(コーデック)を指す。「コード化ブロック」、「コード化ブロックユニット」又は「コード化ユニット」という用語は、フレーム全体、フレームのスライス、ビデオデータのブロック、又は使用されるコード化技法に従って定義される別の単独で復号可能なユニットなど、ビデオフレームの単独で復号可能な任意のユニットを指すことがある。「予測ユニット」又は「予測ブロック」は、予測サンプルから予測された画素のブロックを指すことがある。対照的に、コード化ブロックは、画像フレームの実際のブロックと、その画像フレームの予測ブロックとの間の差分を記述する、残差係数の符号化ブロックであり得る。
幾つかのイントラコード化モードでは、コード化されるべきフレーム又はスライスのブロック内の画素は、同じフレーム又はスライス内の近傍ブロックからの周囲画素の方向性外挿(directional extrapolation)によって形成される。近傍ブロックからの周囲画素は、イントラコード化ブロック内の画素のための予測サンプルを形成する。従って、「画素」、「予測子」及び「予測サンプル」という用語は、コード化ブロック内の画素の予測のために使用される1つ以上の近傍ブロック内の画素に関して、互換的に使用され得る。予測サンプルは、例えば、様々なモードに応じて垂直、水平又は対角線などの方向に沿って、コード化ブロックの画素を形成するために使用され得る。水平モードでは、例えば、コード化ブロックの左端の近傍ブロック内の画素が、コード化ブロックの同じ行のあらゆる画素のための予測サンプルとして使用され得る。
より大きいブロックサイズでは、近傍予測サンプルからより遠く離れた画素の予測精度が低下させられ、ブロッキングアーティファクトを引き起こすことがある。例えば、水平モードでは、コード化ブロックの最も右端の画素のための予測精度は、コード化ブロックの左端の予測サンプルにより近い画素の予測精度未満であり得る。イントラ予測コード化において起こり得る低下を克服するために、平滑化フィルタが周囲の予測サンプルに適用され得る。
2つ以上のフィルタがイントラ平滑化技法とともに使用するために利用可能であるとき、予測サンプルのセット内の個々の画素(本明細書では「予測サンプル」と呼ぶ、個々の画素)に対してどのフィルタを使用するべきかを決定するための決定が行われ得る。予測サンプルは、参照サンプルと互換的に呼ばれることがある。予測サンプルをフィルタ処理するためにフィルタのうちのどれを使用するべきかを決定するために、1つ以上の局所統計量がその予測サンプルについて計算され得る。次いで、あるフィルタが、その予測サンプルについての局所統計量の値に基づいて、フィルタのグループから選択される。これらのフィルタには、1次元フィルタと2次元フィルタの両方を含む、任意の利用可能なフィルタが含まれ得る。この方法は、異なる予測サンプルが異なるフィルタによってフィルタ処理される、予測サンプルのセットを生じ得る。
本開示で単に「コード化ブロック」とも呼ばれるコード化ブロックユニットは、ITU−T H.264/AVC(Advanced Video Coding)規格によるビデオコード化におけるマクロブロック、又は、現在開発中の高効率ビデオコード化(HEVC)規格によるビデオコード化におけるコード化単位(CU)に対応することがある。コード化ブロックは、ビデオフレームのルミナンス(Y)成分又はクロミナンス(Cb及びCr)成分に関する情報を含み得る。ルミナンス(輝度)成分及びクロミナンス(色)成分は、テクスチャ成分と総称される。ルミナンス成分及びクロミナンス成分のための別々のコード化ブロックがあり得る。
本開示は、フィルタ処理決定が画素ごとに行われ得る、AIS方式を提案する。本開示は、複数の可能な平滑化フィルタのうちのどれを所与の予測サンプルのために使用するべきかを決定する技法に適用され得る。本開示はまた、コード化ブロックの所与の画素のイントラコード化のために、フィルタ処理された予測サンプルを使用するか、フィルタ処理されていない予測サンプルを使用するかを決定する技法にも適用され得る。これらの技法は、1つ以上の参照ブロック内の全部又は一部の参照サンプルと、コード化されるべきブロック内のイントラコード化画素の一部の全部とに適用され得る。
2つ以上のフィルタがイントラ平滑化技法とともに使用するために利用可能であるとき、個々の予測サンプルについてフィルタ決定を行うことに関して、予測サンプルのセット内の個々の画素(本明細書では「予測サンプル」と呼ぶ、個々の画素)に対してどのフィルタを使用するべきかを決定するための決定が行われ得る。予測サンプルをフィルタ処理するためにN個のフィルタのうちのどれを使用するべきかを決定するために、1つ以上の局所統計量がその予測サンプルについて計算され得る。次いで、あるフィルタが、その予測サンプルについての、局所統計量(1つ又は複数)、例えば、局所統計量の値(1つ又は複数)に基づいて、N個のフィルタのグループから選択され得る。N個のフィルタは、1次元フィルタと2次元フィルタの両方を含む、任意の利用可能なフィルタであり得る。この方法は、コード化されるべきブロック内の画素のイントラコード化のために使用される、異なる予測サンプルが、異なるフィルタによってフィルタ処理される、予測サンプルのセットを生じ得る。
異なるフィルタを使用して、フィルタ処理された予測サンプルを生成することに加えて、所与の画素は、フィルタ処理された予測サンプル又はフィルタ処理されていない予測サンプルのいずれかを使用して、選択的にイントラ予測され得る。コード化ブロックの各画素について、フィルタ処理された予測サンプルを使用するか、フィルタ処理されていない予測サンプルを使用するかを決定するために、本開示の技法は、各画素の局所統計量を決定することができる。局所統計量を、予測されている画素の因果的近傍(causal neighbors)である画素、即ち、予測された画素の復号より前に復号器において復号され、利用可能である画素について、得ることができる。局所統計量に基づいて、フィルタ処理された予測サンプル又はフィルタ処理されていない予測サンプルが、画素を予測するために選択されるようになる。
図1は、本開示の技法のうちの1つ又は複数を実施するために使用できるビデオ符号化及び復号システム10の一例を示すブロック図である。図1に示すように、システム10は、通信チャネル15を介して符号化ビデオを宛先機器16に送信ことができる信号源12を含む。信号源12及び宛先機器16は、広範囲の機器のいずれかを備えることができる。場合によっては、信号源12及び宛先機器16のいずれか又はその両方は、所謂セルラー電話又は衛星無線電話のワイヤレスハンドセットなどのワイヤレス通信機器、又は通信チャネル15を介してビデオ情報を通信することができ、その場合、通信チャネル15がワイヤレスである任意のワイヤレス機器を備え得る。但し、画素ごとのイントラ平滑化に関係する本開示の技法は、必ずしもワイヤレスアプリケーション又は設定に限定されるとは限らない。本技法はまた、物理的ワイヤ、光ファイバ又は他の物理媒体又はワイヤレス媒体を介して通信する機器を含む、広範囲の他の設定及び機器においても有用であり得る。更に、本符号化技法又は復号技法は、必ずしも他の機器と通信するとは限らないスタンドアロン機器においても適用され得る。例えば、ビデオ復号器28は、デジタルメディアプレーヤ又は他の機器内に常駐し、ストリーミング、ダウンロード又は記憶媒体を介して、符号化ビデオデータを受信することができる。従って、互いに通信している信号源12及び宛先機器16の図は、例示的な実施形態の例示のために与えられるものであり、一般に様々な環境、適用例又は実施形態におけるビデオコード化に適用可能であり得る、本開示において説明する技法についての制限として見なされるべきでない。
図1の例では、信号源12は、ビデオソース20と、ビデオ符号器22と、変調器/復調器(モデム)23と、送信機24とを含み得る。宛先機器16は、受信機26と、モデム27と、ビデオ復号器28と、表示装置30とを含み得る。本開示によれば、信号源12のビデオ符号器22など、ビデオ符号器は、ビデオ符号化プロセスの一部として本開示の技法のうちの1つ以上を適用するように構成され得る。同様に、宛先機器16のビデオ復号器28など、ビデオ復号器は、ビデオ復号プロセスの一部として本開示の技法のうちの1つ又は複数を適用するように構成され得る。
ビデオ符号器22はまた、残差ブロックの通信に関連するビットレートを更に低減するために、変換、量子化及びエントロピーコード化プロセスを適用することができる。変換技法は、離散コサイン変換(DCT)又は概念的に同様のプロセスを備えることができる。代替的に、ウェーブレット変換、整数変換、又は他のタイプの変換を使用することができる。DCTプロセスでは、一例として、画素値のセットが、周波数領域における画素値のエネルギーを表すことができる変換係数に変換され得る。
ビデオ符号器22はまた、変換係数を量子化することもでき、一般に、対応する変換係数に関連するビット数を低減するプロセスを伴うことがある。エントロピーコード化は、ビットストリームへの出力のためにデータをまとめて圧縮する、1つ以上のプロセスを含み得、但し、圧縮されたデータは、例えば、一連のコード化モードと、動き情報と、コード化ブロックパターンと、量子化された変換係数とを含み得る。エントロピーコード化の例には、限定はしないが、コンテキスト適応型可変長コード化(CAVLC)及びコンテキスト適応型バイナリ算術コード化(CABAC)がある。
コード化ビデオブロックは、予測ブロックを生成又は識別するために使用され得る予測情報と、元のブロックを再現するために予測ブロックに適用され得る残差データブロックとによって表され得る。予測情報は、データのブロックを予測するために使用される1つ以上の予測サンプルを備え得る。予測サンプルを使用して、ビデオ復号器28は、残差ブロックをコード化するために使用された予測ブロックを再構成可能であり得る。従って、残差ブロックのセットと予測サンプルのセット(場合によっては幾つかの追加のシンタックス要素)とが与えられれば、ビデオ復号器28は、最初に符号化されたビデオフレームを再構成することができる。適応イントラ平滑化技法に基づくイントラコード化は、過大なデータ損失なしに比較的大量の圧縮を達成することができ、その理由は、連続するビデオフレーム又は他のタイプのコード化ユニットがしばしば類似するからである。符号化ビデオシーケンスは、残差データのブロックと、予測サンプルのフィルタ処理されていないバージョンと、予測サンプルのフィルタ処理されたバージョンと、イントラ予測のためのイントラ予測モードの指示と、使用されるフィルタの指示と、場合によっては、シンタックス要素のタイプなど、他のデータとを備え得る。
ビデオ符号器22は、イントラ予測技法を利用して、共通のフレーム又はスライスの近傍の参照ビデオブロックに対してビデオブロックを符号化することができる。このようにして、ビデオ符号器22は、符号化されるべきブロックの画素を空間的に予測することができる。ビデオ符号器22は、一般に様々な空間的予測方向に対応する、様々なイントラ予測モードで構成され得る。ビデオ符号器22は、ブロックのルミナンス成分に基づいてイントラ予測モードを選択し、次いで、イントラ予測モードを再使用して、ブロックのクロミナンス成分を符号化するように構成され得る。その上、本開示の技法によれば、ビデオ符号器22は、ブロックを符号化するために使用されたイントラ予測モードにかかわらず、画素ごと(サンプルごと)に参照サンプルのためのフィルタを選択することによって、ブロックを符号化することができる。
予測サンプルのために個別的に適用するために、フィルタのセットからフィルタを選択することによって、予測サンプルを用いて予測されたブロックの精度が改善される。どのフィルタを予測サンプルに適用するべきかの選択は、その予測サンプルの統計量に基づいてもよい。同様に、コード化されるべきブロック内の画素について、個々の画素ごとに、予測サンプルのフィルタ処理されたバージョンを適用するか、予測サンプルのフィルタ処理されていないバージョンを適用するかを選択することは、予測されたブロックの精度を改善することがある。予測サンプルのどのバージョン、即ち、予測サンプルのフィルタ処理されたバージョン又はフィルタ処理されていないバージョンを、イントラコード化されるべき画素に適用するべきかの選択は、そのイントラコード化されるべき画素の局所統計量に基づいてもよい。各予測サンプルは、画像フレームの一部分内の画素である。各予測サンプルは、符号化されるべき画素について、対応するルミナンス値とクロミナンス値とを予測するために使用される、ルミナンス(Y)値とクロミナンス(Cr及びCb)値とを有する。画素のためのY値は、その画素のためのCr値及びCb値とは別のブロック内にあり得る。
ここでも、図1の図示のシステム10は一例にすぎない。本開示の様々な技法は、ブロックベースの予測符号化をサポートする任意の符号化装置によって、又はブロックベースの予測復号をサポートする任意の復号装置によって実行され得る。信号源12及び宛先機器16は、信号源12が宛先機器16に送信するためのコード化ビデオデータを生成するような、コード化機器の例にすぎない。場合によっては、機器12、16の各々がビデオ符号化構成要素と復号構成要素とを含むので、機器12、16は、実質的に対称的に動作し得る。従って、システム10は、例えば、ビデオストリーミング、ビデオ再生、ビデオブロードキャスト又はビデオテレフォニーのためのビデオ機器12とビデオ機器16との間の一方向又は双方向のビデオ送信をサポートすることができる。他の例では、復号器は、別の機器と通信しないことがある。代わりに、復号器は、ローカル媒体上で符号化ビデオデータにアクセスすることができる。更なる例では、復号器は、単に、前に符号化されたビデオデータのためのサーバであり、かつ、必ずしも符号器を含むとは限らない機器から、ストリーミング又はダウンロードすることによってビデオデータを受信する機器の一部分であってもよい。
図1は、リアルタイムビデオテレフォニーの可能性を示す。しかしながら、上述のように、本開示の技法はまた、ストリーミング、ダウンロード、又は媒体への直接アクセスを含む、適用例においても使用され得る。システム10の信号源12は、通信チャネル15を介して、符号化ビデオを宛先機器16へ送信することが可能であるとして説明されるが、信号源12のビデオ符号器22と宛先機器16のビデオ復号器28との間に直接通信がないことがある。幾つかの例では、信号源12は、ビデオ符号器22を含まないことさえある。更に、符号化データは、ビデオ復号器28がデータにアクセスする前の任意の時間(数週間、数ヶ月又は数年など)に符号化され得る。他の例では、符号化データは、サーバからの、又は、ローカルディスク(例えば、デジタル多用途ディスク(DVD)若しくはブルーレイ(登録商標)ディスク)を介した、ダウンロード又はライブストリーミングを介してアクセスされ得る。従って、モデム23は、信号源12中に含まれないことがあり、幾つかの例では、通信チャネル15をもつ信号源12がないことがある。
幾つかの例では、信号源12のビデオソース20は、ビデオカメラ、予め撮影されたビデオを含んでいるビデオアーカイブ、又はビデオコンテンツプロバイダからのビデオフィードなど、撮像装置を含むことができる。更なる代替として、ビデオソース20は、ソースビデオとしてのコンピュータグラフィックスベースのデータ、又は、ライブビデオ、アーカイブビデオ及び/又はコンピュータ生成ビデオの組合せを生成し得る。場合によっては、ビデオソース20がビデオカメラである場合、信号源12及び宛先機器16は、所謂カメラ付き携帯電話又はビデオ電話、若しくは、タブレットコンピュータ機器など、ビデオデータを操作するように構成された他のモバイル機器を形成することができる。各場合において、撮影されたビデオ、以前に撮影されたビデオ、又はコンピュータ生成ビデオは、ビデオ符号器22によって符号化され得る。
ビデオソース20がデジタル静止ピクチャを撮影するとき、ビデオ符号器22は、例えば、Joint Photographic Experts Group(JPEG)画像として画像を符号化するように構成され得る。画像がビデオデータのフレームであるとき、ビデオ符号器22は、例えば、Motion Picture Experts Group(MPEG)、国際標準化機構(ISO)/国際電気標準会議(IEC)MPEG−1 Visual、ISO/IEC MPEG−2 Visual、ISO/IEC MPEG−4 Visual、国際電気通信連合(ITU)H.261、ITU−T H.262、ITU−T H.263、ITU−T H.264/MPEG−4、H.264 Advanced Video Coding(AVC)、来るべき高効率ビデオコード化(HEVC)規格(H.265とも呼ばれる)、又は、他のビデオ符号化規格など、ビデオコード化規格に従って、画像を符号化するように構成され得る。ビデオ符号器22は、ビデオデータのフレームに関連付けられたコード化ビデオデータを、送信機24に渡す。コード化ビデオデータは、コード化ビデオデータとともに信号伝達情報を含むビットストリームにおいて、受信機26へ転送され得る。
コード化ビデオデータは、例えば、符号分割多元接続(CDMA)又は別の通信規格などの通信規格に従ってモデム23によって変調され、送信機24及び通信チャネル15を介して宛先機器16に送信され得る。モデム23は、信号変調のために設計された様々なミキサ、フィルタ、増幅器又は他の構成要素を含み得る。送信機24は、増幅器、フィルタ、及び1つ以上のアンテナを含む、データを送信するために設計された回路を含み得る。幾つかの例では、通信チャネル上で送信するのではなく、信号源12は、デジタルビデオディスク(DVD)、ブルーレイディスク、フラッシュドライブなどの記憶媒体上に、テクスチャ成分と深度成分とを有するブロックを含む、符号化ビデオデータを記憶する。
宛先機器16の受信機26は通信チャネル15を介して情報を受信し、モデム27はその情報を復調する。送信機24と同様に、受信機26は、増幅器、フィルタ、及び1つ以上のアンテナを含む、データを受信するために設計された回路を含み得る。幾つかの例では、送信機24及び/又は受信機26は、受信回路と送信回路の両方を含む単一のトランシーバ構成要素内に組み込まれ得る。モデム27は、信号復調のために設計された様々なミキサ、フィルタ、増幅器又は他の構成要素を含み得る。幾つかの例では、モデム23及び27は、変調と復調の両方を実行するための構成要素を含み得る。
ここでも、ビデオ符号器22によって実行されるビデオ符号化プロセスは、イントラ予測符号化中に本明細書で説明する技法のうちの1つ又は複数を実施することができ、本明細書で説明する技法は、フィルタ選択と、1つ以上の予測サンプルのフィルタ処理されたバージョンとフィルタ処理されていないバージョンとの間の選択とを含み得る。ビデオ復号器28によって実行されるビデオ復号プロセスもまた、復号プロセスの動き補償段階中にそのような技法を実行し得る。
表示装置30は、復号ビデオデータをユーザに対して表示し、陰極線管(CRT)、液晶表示器(LCD)、プラズマ表示器、有機発光ダイオード(OLED)表示器、又は別のタイプの表示装置など、様々な1つ以上の表示装置のいずれかを備え得る。幾つかの例では、表示装置30は、3次元再生が可能な機器に対応する。例えば、表示装置30は、閲覧者によって着用されたアイウェアとともに使用される、立体視表示器を備え得る。アイウェアは、アクティブメガネを備えることがあり、その場合、表示装置30は、アクティブメガネのレンズの交互シャッタリング(alternate shuttering)と同期して、異なるビューの画像間で高速に交互する。代替として、アイウェアは、パッシブメガネを備えることがあり、その場合、表示装置30は、異なるビューからの画像を同時に表示し、パッシブメガネは、一般に、異なるビュー間でフィルタ処理するために直交方向に偏光される偏光レンズを含み得る。
図1の例では、通信チャネル15は、無線周波数(RF)スペクトルあるいは1つ以上の物理伝送線路など、任意のワイヤレス又はワイヤード通信媒体、あるいはワイヤレス媒体とワイヤード媒体との任意の組合せを備え得る。通信チャネル15は、ローカルエリアネットワーク、ワイドエリアネットワーク、又はインターネットなどのグローバルネットワークなど、パケットベースのネットワークの一部を形成することができる。通信チャネル15は、一般に、ビデオデータを信号源12から宛先機器16に送信するのに好適な任意の通信媒体、又は様々な通信媒体の集合体を表す。通信チャネル15は、信号源12から宛先機器16への通信を可能にするのに有用であり得るルータ、スイッチ、基地局、又は任意の他の機器を含み得る。
ビデオ符号器22及びビデオ復号器28は、代替的にMPEG−4、Part10、Advanced Video Coding(AVC)として説明されるITU−T H.264規格など、ビデオ圧縮規格に従って動作することができる。ビデオ符号器22及びビデオ復号器28によって使用され得るITU H.264/AVC規格に基づく追加のビデオ圧縮規格には、ITU H.264/AVC規格のスケーラブルな拡張である、スケーラブルビデオコード化(SVC)規格が含まれる。ビデオ符号器22及びビデオ復号器28がそれに従って動作することができる別の規格には、ITU H.264/AVC規格のマルチビュー拡張である、マルチビュービデオコード化(MVC)規格が含まれる。ビデオ符号器22及びビデオ復号器28はまた、現在開発中の高効率ビデオコード化(HEVC)規格に従って動作してもよい。但し、本開示の技法は、いかなる特定のビデオコード化規格にも限定されない。
幾つかの態様では、ビデオ符号器22及びビデオ復号器28は、それぞれオーディオ符号器及び復号器と統合され得、適切なMUX−DEMUXユニット、又は他のハードウェア及びソフトウェアを含んで、共通のデータストリーム又は別個のデータストリーム中のオーディオとビデオの両方の符号化を処理することができる。適用可能な場合、MUX−DEMUXユニットはITU H.223マルチプレクサプロトコル、又はユーザデータグラムプロトコル(UDP)などの他のプロトコルに準拠することができる。
ビデオ符号器22及びビデオ復号器28はそれぞれ、1つ以上のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せとして実施できる。本開示の技法のうちのいずれか又は全てがソフトウェアで実施されるとき、実施する機器は、ソフトウェアのための命令を記憶及び/又は実行するためのハードウェア、例えば、命令を記憶するためのメモリと、命令を実行するための1つ以上の処理装置とを更に含み得る。ビデオ符号器22及びビデオ復号器28の各々を1つ以上の符号器又は復号器中に含めることができ、そのいずれかは符号化機能と復号機能とを与える複合コーデックの一部としてそれぞれモバイル機器、加入者機器、ブロードキャスト機器、サーバなどに統合できる。
ビデオシーケンスは、一般に、ビデオピクチャとも呼ばれる一連のビデオフレームを含む。ビデオ符号器22は、ビデオデータを符号化するために、個々のビデオフレーム内のビデオブロック上で動作する。ビデオブロックは、サイズを固定することも変更することもでき、指定のコード化規格に応じてサイズが異なることがある。各ビデオフレームは、一連の1つ以上のスライスを含む。ITU−T H.264規格では、例えば、各スライスは一連のマクロブロックを含み得、それらのマクロブロックはサブブロックに構成され得る。H.264規格は、ルーマ成分では16×16、8×8又は4×4、及び、クロマ成分では8×8など、2次元(2D)ビデオ符号化のための様々なブロックサイズにおけるイントラ予測をサポートする。ビデオブロックは、画素データのブロック、又は、例えば離散コサイン変換(DCT)若しくは概念的に同様の変換プロセスなどの変換プロセスの後の変換係数のブロックを備え得る。
ビデオブロックは、小さいほどより良い解像度が得られ、高い詳細レベルを含むビデオフレームの位置決めに使用することができる。概して、マクロブロック及び様々なサブブロックはビデオブロックであると見なされ得る。更に、スライスは、マクロブロック及び/又はサブブロックなど、一連のビデオブロックであると見なされ得る。各スライスはビデオフレームの単独で復号可能な単位であり得る。代替的に、フレーム自体が復号可能な単位であり得るか、又はフレームの他の部分が復号可能な単位として定義され得る。
ビデオブロックを符号化するために、ビデオ符号器22は、イントラ予測を実行して、1つ以上の予測ブロックを生成する。ビデオ符号器22は、符号化されるべき元のビデオブロックから予測ブロックを減算して、残差ブロックを生成する。従って、残差ブロックは、コード化されているブロックと予測ブロックとの間の画素ごとの差分を表し得る。ビデオ符号器22は、残差ブロックに対して変換を実行して、変換係数のブロックを生成することができる。イントラベース予測コード化及び変換技法の後、ビデオ符号器22は、変換係数を量子化することができる。量子化は、一般に、係数を表すために使用されるデータ量をできるだけ低減するように係数を量子化するプロセスを指す。量子化の後、コンテキスト適応型可変長コード化(CAVLC)又はコンテキスト適応型バイナリ算術コード化(CABAC)など、エントロピーコード化方法に従ってエントロピーコード化が実行され得る。ビデオ符号器22によって実行される符号化プロセスの追加の詳細について、図2に関して以下で説明する。
高効率ビデオコード化(HEVC)と現在呼ばれる、新しいビデオコード化規格を開発するための取り組みが現在進行中である。この今度の規格はH.265とも呼ばれる。この規格化の取り組みは、HEVCテストモデル(HM:HEVC Test Model)と呼ばれるビデオコード化機器のモデルに基づく。HMは、例えば、ITU−T H.264/AVCによる機器に勝るビデオコード化機器の幾つかのケイパビリティー(能力)を仮定する。例えば、H.264は9つのイントラ予測符号化モードを提供するが、HMは33個ものイントラ予測符号化モードを提供する。
HMでは、ビデオデータのブロックをコード化単位(CU)と呼ぶ。ビットストリーム内のシンタックスデータが、画素の数に関して最大のコード化単位である最大コード化単位(LCU:largest coding unit)を定義し得る。概して、CUは、CUがサイズの差異を有しないことを除いて、H.264のマクロブロックと同様の目的を有する。従って、CUは、サブCUに分割され得る。概して、本開示におけるCUへの言及は、ピクチャの最大コード化単位(LCU)又はLCUのサブCUを指すことがある。LCUはサブCUに分割され得、各サブCUはサブCUに分割され得る。ビットストリームのシンタックスデータは、CU深度と呼ばれる、LCUが分割され得る最大回数を定義し得る。それに応じて、ビットストリームは最小コード化単位(SCU:smallest coding unit)をも定義し得る。本開示ではまた、CU、予測単位(PU:prediction unit)、又は変換単位(TU:transform unit)のいずれかを指すために「ブロック」という用語を使用する。
LCUは4分木データ構造に関連付けられ得る。概して、4分木データ構造はCUごとに1つのノードを含み、ルートノードはLCUに対応する。CUが4つのサブCUに分割された場合、CUに対応するノードは4つのリーフノードを含み、リーフノードの各々はサブCUのうちの1つに対応する。4分木データ構造の各ノードは、対応するCUのシンタックスデータを与え得る。例えば、4分木のノードは、そのノードに対応するCUがサブCUに分割されるかどうかを示す分割フラグを含み得る。CUのシンタックス要素は、再帰的に定義され得、CUがサブCUに分割されるかどうかに依存し得る。
分割されないCUは、1つ以上の予測単位(PU)を含み得る。概して、PUは、対応するCUの全部又は一部分を表し、そのPUの参照サンプルを取り出すためのデータを含む。例えば、PUがイントラモード符号化されるとき、PUは、PUのイントラ予測モードを記述するデータを含み得る。(1つ以上の)PUを定義するCUのデータはまた、例えば、CUを1つ以上のPUに区分することを記述し得る。区分モードは、CUがコード化されないか、イントラ予測モード符号化されるか、又はインター予測モード符号化されるかの間で異なり得る。
1つ以上のPUを有するCUはまた、1つ以上の変換単位(TU)を含み得る。PUを使用した予測の後に、ビデオ符号器22は、PUに対応するCUの部分の残差値を計算し得る。残差値は、変換、走査、及び量子化され得る。TUは、必ずしもPUのサイズに制限されるとは限らない。従って、TUは、同じCUの対応するPUよりも大きいことも小さいこともある。幾つかの例では、TUの最大サイズは、対応するCUのサイズに対応し得る。
上記のように、イントラ予測は、あるピクチャの現在のCUのPU又はTUを、同じピクチャの前にコード化されたCUから予測することを含む。より詳細には、ビデオ符号器22は、特定のイントラ予測モードを使用してあるピクチャの現在のCUをイントラ予測し得る。HM符号器は、最高35個のイントラ予測モードで構成され得る。従って、イントラ予測モードと変換との間の1対1のマッピングをサポートするために、HM符号器及び復号器は、サポートされる各変換サイズについて66個の行列を記憶する必要があろう。更に、全ての35個のイントラ予測モードがサポートされるブロックサイズは、相対的に大きいブロック、例えば、32×32画素、64×64画素、又はより一層大きい画素になり得る。
宛先機器16において、ビデオ復号器28が符号化ビデオデータを受信する。ビデオ復号器28は、量子化係数を得るために、CAVLC又はCABACなど、エントロピーコード化方法に従って、コード化ブロック8など、受信したビデオデータをエントロピー復号する。ビデオ復号器28は、逆量子化(inverse quantization)(逆量子化(de-quantization))機能と逆変換機能とを適用して、画素領域中で残差ブロックを再構成する。ビデオ復号器28はまた、符号化ビデオデータ中に含まれる(例えば、コード化モード、動きベクトル、フィルタ係数を定義するシンタックスなどの)制御情報又はシンタックス情報に基づいて予測ブロックを生成する。ビデオ復号器28は、予測ブロックと再構成された残差ブロックとの和を計算して、表示のための再構成されたビデオブロックを生成することができる。ビデオ復号器28によって実行される例示的な復号プロセスの追加の詳細について、図10に関して以下で説明する。
図2は、図1のビデオ符号器22の一例を更に詳細に示すブロック図である。ビデオ符号器22は、本開示の技法に一致して、各予測サンプルためのフィルタを、その予測サンプルの局所統計量に基づいて選択することによって、予測サンプルを画素ごとにフィルタ処理することができる。ビデオ符号器22はまた、本開示の技法に一致して、画素ごとに、フィルタ処理された予測サンプルを用いて画素を予測するか、フィルタ処理されていない予測サンプル、即ち、参照ブロックからの参照画素を用いて画素を予測するかを決定することによって、ブロック単位を符号化することもできる。ビデオ符号器22は、本明細書では「コーダ」と呼ぶ専用ビデオコンピュータ機器又は装置の一例である。図2に示すように、ビデオ符号器22は、信号源12のビデオ符号器22に対応する。しかしながら、他の例では、ビデオ符号器22は、異なる機器に対応してもよい。更なる例では、他のユニット(例えば、他の符号器/復号器(コーデック)など)もまた、ビデオ符号器22によって実行されるものと同様の技法を実行することができる。
ビデオ符号器22は、LCUと、CUと、PUとを含む、ビデオフレーム内のビデオブロックのイントラ及びインター予測を実施し、TUとして符号化され得る残差値を計算することができる。イントラコード化は、所与のビデオフレーム内のビデオの空間的冗長性を低減又は除去するために空間的予測に依拠する。インターコード化は、ビデオシーケンスの隣接フレーム内のビデオの時間的冗長性を低減又は除去するために時間的予測に依拠する。イントラモード(Iモード)は、幾つかの空間ベースの圧縮モードのいずれかを指すことがある。単方向予測(Pモード)、双方向予測(Bモード)、又は一般化P/B予測(GPBモード)などのインターモードは、幾つかの時間ベースの圧縮モードのいずれかを指すことがある。動き推定ユニット42及び動き補償ユニット44はインター予測コード化を実行し得、イントラ予測ユニット46はイントラ予測コード化を実行し得る。
図2に示すように、ビデオ符号器22は、符号化されるべきビデオフレーム内の画像の一部分を受信する。図2の例では、ビデオ符号器22は、予測ユニット32と、メモリ34と、第1の加算器48と、変換ユニット38と、量子化ユニット40と、エントロピーコード化ユニット46とを含む。ビデオブロック再構成のために、ビデオ符号器22はまた、逆量子化ユニット42と、逆変換ユニット44と、第2の加算器51と、デブロッキングユニット43とをも含む。デブロッキングユニット43は、再構成されたビデオからブロック歪み(blockiness artifacts)を除去するためにブロック境界をフィルタ処理することができるデブロッキングフィルタであり得る。ビデオ符号器22中に含まれる場合、デブロッキングユニット43は、典型的には、加算器51の出力をフィルタ処理するようになる。一例では、図2に示すように、変換ユニット38は、HEVCに関する「TU」ではなく、機能ブロックであってもよい。
予測ユニット32は、イントラ予測ユニット39と、動き推定ユニット35と、動き補償ユニット37とを備える。符号化プロセス中に、ビデオ符号器22は、コード化されるべきビデオフレーム又はスライスを受信する。フレーム又はスライスは、複数のビデオブロック又はCUに分割され得る。例えば、符号化プロセス中に、ビデオ符号器22は、(図2において「ビデオブロック」と標示される)コード化されるべきビデオブロックを受信する。動き推定ユニット35及び動き補償ユニット37は、時間圧縮を行うために、1つ以上の参照フレーム中の1つ以上のブロックに対する受信したビデオブロックのインター予測コード化を実行する。イントラ予測ユニット39は、空間圧縮を行うために、コード化されるべきブロックと同じフレーム又はスライス中の1つ以上の近傍ブロックに対して受信されたビデオブロックのイントラ予測コード化を実行し得る。
イントラ予測中に、イントラ予測ユニット39は、ブロックのためのイントラ予測モードを選択することができる。幾つかの符号化規格は、使用され得る様々な予測モードを定義しており、ビデオ符号器22は、ビデオブロックを符号化するためのモードのうちの1つを選択する。例えば、選択されたイントラ予測モードは、HMによって提供される35個のモードの1つであり得る。しかしながら、本明細書で説明する技法は、ビデオブロックを符号化するためにどのようなイントラ予測モードが使用されたかにかかわらず、適用可能であり得る。
予測ユニット32は、イントラ予測コード化を実行して、(図2において「予測ブロック」と標示される)予測ブロックを生成する。イントラ予測ユニット39は、近傍ブロック、例えば、左から右、上から下への符号化順序又はブロックを仮定すると、現在のブロックの上ブロック、右上ブロック、左上ブロック、又は左ブロックに対して現在のビデオブロックをイントラ予測符号化し得る。復号器側において、近傍の参照ブロックは、そのような参照ブロックを使用してイントラコード化されるブロックの復号より前に復号されるように、因果的近傍であり得る。イントラ予測ユニット46は、現在のブロック用の、選択されたイントラ予測モードに基づいて、近傍ブロックを使用することができる。
イントラ予測ユニット39は、利用可能イントラ予測モードの1つを選択することによって、ブロック用の適切なイントラ予測モードを決定することができる。予測モードは、空間的な近傍画素の値を合成し、その合成された値を予測単位(PU)中の1つ以上の画素位置に適用するための機能を含み得る。イントラ予測ユニット39は、選択されたイントラ予測モードを信号伝達することができ、そうすることによって、そのモードは、コード化ブロックに関連付けられたシンタックス要素とともに符号化される。
イントラ予測中に、予測ユニット39は、予測サンプルの局所統計量に基づいて、複数の平滑化フィルタのうちのどれを各予測サンプル、即ち、参照サンプルを形成する画素のセット内の各画素に適用するべきかを決定する。即ち、平滑化フィルタは、予測サンプルの周囲の画素の性質に基づいて、複数の異なる平滑化フィルタの候補リストから選択され得る。平滑化フィルタの候補セット中の異なる平滑化フィルタの数は、システムによって変わり得る。候補セット中の平滑化フィルタは、異なる平滑化フィルタ特性を有して、例えば、異なる程度又はタイプの平滑化を行うことができる。幾つかの例では、異なる平滑化フィルタは、異なる平滑化結果を与えるために選択された異なるフィルタ係数を有してもよい。平滑化フィルタは、予測サンプルごとに選択され得る。他の例では、ある平滑化フィルタが、全ての予測サンプルに対して使用され得る。一例では、平滑化フィルタのうちの1つは、全域通過フィルタ(即ち、フィルタ処理動作なし)である。
予測ユニット39はまた、コード化ビデオブロック内の各画素をイントラ符号化するために、予測サンプル又はフィルタ処理された予測サンプルのどちらを使用するべきかを決定する。例えば、コード化ビデオブロック内の所与の画素の予測のために、フィルタ又はフィルタ処理されていない予測サンプルが選択的に使用され得るように、フィルタ予測サンプル及びフィルタ処理なし予測サンプルのバッファが記憶され得る。ビデオ符号器22は、ビデオブロック内の各画素についての局所統計量を計算する。局所統計量は、問題となっている画素の因果的近傍について計算され得る。画素の因果的近傍は、前に符号化された画素であり得る。幾つかの例では、画素の因果的近傍は、その画素に隣接する。局所統計量に基づいて、イントラ予測ユニット39は、フィルタ処理された予測サンプル又はフィルタ処理されていない予測サンプルをビデオブロック内の各画素に適用することの間で選択する。この選択は、どのセットの予測サンプルが最も正確な予測画素を生じるかに基づく。
ビデオ符号器22がインター予測を実行する例では、予測ユニット32は、動き推定(ME)ユニット35と、動き補償(MC)ユニット37とを含み得る。1つ以上の補間フィルタが、予測ユニット32によって使用され得、動き推定及び/又は動き補償の一部として補間を実行するために、例えば、選択的に、整数画素精度又は分数画素精度で動き推定及び動き補償を行うために、MEユニット35とMCユニット37の一方又は両方によって起動され得る。MEユニット35は、動き推定を実行してメモリ34中の予測ブロックを識別することができ、MCユニット37は、動き補償を実行して予測ブロックを生成することができる。
動き推定は、一般に、ビデオブロックの動きを推定する、動きベクトルを生成するプロセスと考えられる。動きベクトルは、例えば、現在のフレーム(又は、他のコード化単位)内のコード化されるべきブロックに対する、予測フレーム又は参照フレーム(又は、他のコード化単位、例えばスライス)内の予測ブロックの変位を示し得る。動きベクトルは、上述のように、フル整数画素精度又はサブ整数画素精度を有してもよい。例えば、動きベクトルの水平成分と垂直成分の両方は、それぞれのフル整数成分とサブ整数成分とを有してもよい。参照フレーム(又は、参照フレームの部分)は、時間的に、現在のビデオブロックが属するビデオフレーム(又は、ビデオフレームの部分)より前に、又はその後に配置され得る。動き補償は、一般に、メモリ34から予測ブロックを取り込む又は生成するプロセスと考えられ、動き推定によって決定された動きベクトルに基づいて、予測データを補間するか、又は場合によっては生成することを含み得る。
MEユニット35は、コード化されるべきビデオブロックを1つ以上の参照フレーム(例えば、前のフレーム及び/又は後続のフレーム)の参照ブロックと比較することによって、そのビデオブロックのための少なくとも1つの動きベクトルを計算する。予測ブロックは、画素の内容に関してコード化されるべきブロックに厳密にマッチする予測ブロックを識別するために、コード化されるべきブロックと予測ブロックの間の差分メトリックに基づいて、例えば、絶対値差分和(SAD)又は他の差分メトリックに基づいて選択され得る。参照フレームのためのデータは、メモリ34に記憶され得る。MEユニット35は、フル画素精度又は分数画素精度で動き推定を実行することができる。MEユニット35は、動き推定プロセス中に任意の必要な補間のために、1つ以上の補間フィルタを起動することができる。幾つかの例では、メモリ34は、サブ整数画素のための補間値を記憶することができ、この補間値は、例えば、補間フィルタを使用する加算器51によって計算され得る。例えば、加算器51は、補間フィルタを、メモリ34に記憶されるべきである再構成されたブロックに適用することができる。コード化されるべきビデオブロックのための動きベクトルがMEユニット35によって計算されると、MCユニット37は、その動きベクトルに関連する予測ビデオブロックを生成する。MCユニット37は、MCユニット35によって決定された動きベクトルに基づいて、メモリ34から予測ブロックをフェッチすることができる。
予測ユニット32が予測ブロックを生成すると、ビデオ符号器22は、コード化されている元のビデオブロックから予測ブロックを減算することによって、(図2において「残差ブロック」と標示される)残差ビデオブロックを形成する。この減算は、コード化される元のビデオブロック内のテクスチャ成分と、予測ブロック内のテクスチャ成分との間で、ならびに、元のビデオブロック内の深度情報、又は、予測ブロック内の深度情報からの深度マップについて、起こり得る。加算器48は、この減算演算を実行する1つ以上の構成要素を表す。加算器48の結果は、コード化されるべきブロックと予測ブロックの間の画素差分を示す残差値のブロックである。残差データは、残差ルーマブロックと残差クロマブロックとを含み得る。
変換ユニット38は、離散コサイン変換(DCT)又は概念的に同様の変換などの変換を残差ブロックに適用し、残差変換ブロック係数を備えるビデオブロックを生成する。変換ユニット38は、HEVCによって定義されたCUのTUとは対照的に、変換をビデオデータのブロックの残差係数に適用する、ビデオ符号器22の構成要素を表すことを理解されたい。変換ユニット38は、例えば、概念的にDCTと同様である、H.264規格によって定義される変換などの他の変換を実行することができる。そのような変換には、例えば、方向性変換(カルーネンレーベ定理変換など)、ウェーブレット変換、整数変換、サブバンド変換、又は他のタイプの変換が含まれ得る。いずれの場合も、変換ユニット38は、変換を残差ブロックに適用し、残差変換係数のブロックを生成する。変換ユニット38は、同じタイプの変換を、テクスチャ成分と、適用可能な場合、対応する残差ブロック内の深度情報の両方に適用することができる。各テクスチャ成分及び各深度成分について、別々の残差ブロックがあるようになる。変換は、画素差分値を与える画素領域からの残差情報を、変換係数を与える周波数領域に変換することができる。
量子化ユニット40は、ビットレートを更に低減するために残差変換係数を量子化する。量子化プロセスは、係数の一部又は全部に関連するビット深度を低減することができる。量子化ユニット40は、深度画像コード化残余を量子化することができる。量子化の後、エントロピーコード化ユニット46が量子化変換係数をエントロピーコード化する。例えば、エントロピーコード化ユニット46は、CAVLC、CABAC、又は別のエントロピーコード化方法を実行することができる。
エントロピーコード化ユニット46はまた、予測ユニット32、又は、量子化ユニット40など、ビデオ符号器22の他の構成要素から得られた1つ以上の動きベクトルとサポート情報とをコード化することもできる。1つ以上の予測シンタックス要素には、コード化モード、1つ以上の動きベクトルについてのデータ(例えば、水平成分、垂直成分、参照リスト識別子、リストインデックス、及び/又は、動きベクトル分解信号伝達情報)、使用された補間技法の指示、フィルタ係数のセット、デブロッキング情報、又は、予測ブロックの生成に関連する他の情報が含まれ得る。これらの予測シンタックス要素は、シーケンスレベルにおいて、又はピクチャレベルにおいて与えられ得る。
逆量子化ユニット42及び逆変換ユニット44は、それぞれ逆量子化及び逆変換を適用して、例えば参照ブロックとして後で使用するために、画素領域中で残差ブロックを再構成する。(図2で「再構成された残差ブロック」と標示される)再構成された残差ブロックは、変換ユニット38に与えられる残差ブロックの再構成されたバージョンを表すことができる。再構成された残差ブロックは、量子化演算及び逆量子化演算によって生じた細部の損失により、加算器48によって生成された残差ブロックとは異なり得る。加算器51は、再構成された残差ブロックを、予測ユニット32によって生成された動き補償された予測ブロックに加算して、メモリ34に記憶するための再構成されたビデオブロックを生成する。再構成されたビデオブロックは、ブロックをその後コード化するために使用され得る参照ブロックとして予測ユニット32によって使用され得る。
このようにして、ビデオ符号器22は、ビデオフレームの少なくとも一部分からのイントラ予測コード化のための、複数の予測サンプルを決定することと、複数の予測サンプルのうちの第1の予測サンプルについての1つ以上の局所統計量を計算することと、1つ以上の局所統計量に基づいて、複数のフィルタからフィルタを選択することと、選択されたフィルタを第1の予測サンプルに適用することとを行うように構成されたビデオ符号器の一例を表す。ビデオ符号器22はまた、複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量を計算することと、各予測サンプルについての少なくとも1つの局所統計量に基づいて、複数のフィルタからフィルタを選択することと、各選択されたフィルタを対応する予測サンプルに適用して、予測サンプルのフィルタ処理されたバージョンを生成することとを行うようにも構成され得る。
図3は、本開示の技法によるビデオ符号器の例示的な動作を示すフロー図である。図3の技法について図2のビデオ符号器22の観点から説明するが、他の機器でも同様の技法を実行することができる。
ビデオ符号器22は、ビデオデータのフレーム又はブロックを得ることができる(82)。ビデオフレーム又はビデオブロックは、画像の少なくとも一部分であり得る。ビデオ符号器22は、予測されるべきビデオブロックのための予測サンプルを決定する(84)。予測サンプルは、例えば、コード化されるべきブロックの左側の、左画素アレイ、及び、例えば、コード化されるべきブロックの上の、上画素アレイ内の、それらの画素であり得る。左画素アレイは、参照サンプルを形成する画素の列であり得、左画素アレイ内の各画素は、コード化されるべきブロックの対応する行内の画素を予測するために、参照サンプルとして使用され得る。上画素アレイは、参照サンプルを形成する画素の行であり得、上画素アレイ内の各画素は、コード化されるべきブロックの対応する列内の画素を予測するために、参照サンプルとして使用され得る。
幾つかの例では、上画素アレイは、コード化されるべきブロックの幅(行内の画素の数)と同一の広がりをもち得、左画素アレイは、コード化されるべきブロックの高さ(列内の画素の数)と同一の広がりをもち得る。他の例では、上画素アレイは、コード化ブロックの幅と同一の広がりをもつ画素と、例えば、対角線予測(diagonal prediction)において使用するために、コード化ブロックの幅を(例えば、左側に、又は右側に)越えて延長する追加の画素とを含む、ビデオブロックに隣接する上のほうの延長された画素アレイであり得る。同様に、幾つかの例では、左画素アレイは、コード化ブロックの高さと同一の広がりをもつ画素と、例えば、対角線予測において使用するために、コード化ブロックの高さを越えて延長する(例えば、上のほうに、又は下のほうに延長する)追加の画素とを含む、ビデオブロックに隣接する左の延長された画素アレイであり得る。
ビデオ符号器22は、予測サンプルをフィルタ処理することができる(86)。予測サンプルは、参照サンプルの局所統計量に基づいて、個々の画素ごとにフィルタ処理される。例えば、複数の異なるフィルタのうちの1つが、参照サンプルの1つ以上の局所統計量に基づいて、参照サンプルを形成する個々の画素ごとに選択され得る。本開示で説明するような、異なるフィルタの選択は、メモリ内に記憶されたフィルタ特性によって定義された、異なる事前構成されたフィルタの選択、既存のフィルタの特性の修正、異なるフィルタの組合せ、又は、異なるフィルタ特性を参照サンプルに選択的に適用するための他の技法を指すことがある。予測サンプルがどのようにフィルタ処理され得るかについて、図4及び図5に関して更に詳細に説明する。
予測サンプルがフィルタ処理されると、ビデオ符号器22は、予測サンプルを用いてビデオブロック内の各画素を予測する(88)。これらの画素は、局所統計量に基づいて、フィルタ処理された予測サンプル又はフィルタ処理されていない予測サンプルのいずれかを使用して、個別的に予測され得る。予測されるべきブロック内の画素がどのように予測され得るかについて、図6及び図7に関して更に詳細に説明する。
ビデオ符号器22は、コード化ブロックのための残差係数を計算することができる(90)。ビデオ符号器22は、次いで、残差係数を符号化することができる(92)。符号化残差係数は、符号化ビットストリーム内で復号器機器(復号器28など)へ送信され得る。
図4は、本開示の技法によってフィルタ処理され得る、予測されるべきビデオブロック100の予測サンプル102の一例を示す概念図である。予測サンプル102は、画素P0〜Pnを含み、所与の画素を図4において画素Piと示す。図4の例に示すように、予測サンプルは、ビデオブロック100の左画素アレイと、上のほうの延長された画素アレイとを含む。他の例では、基本の(延長されていない)上画素アレイ、又は、延長された左画素アレイが使用され得る。予測サンプル内の画素は、前に符号化されていることがある。
図4は、適応イントラ平滑化を画素ごとに予測サンプルPiに適用する一例を示す。図4は、例示のために、8×8画素ビデオブロック100を示す。しかしながら、ブロックを予測するために選択され得る様々なイントラコード化モードに従って、より小さい又はより大きいブロックを、イントラコード化のための予測単位として使用することができる。本開示で説明する技法は、画素Piに適用するために、複数の異なる平滑化フィルタのセットの中で平滑化フィルタを選択するために使用され得る。フィルタの選択は、画素Piの少なくとも1つの局所統計量に基づく。
局所統計量は、画素について計算され得る。画素の局所統計量は、画素の、又は、その画素の近傍の少なくとも1つの他の画素の、及び、場合によっては2つ以上の近傍画素の、性質の尺度である。幾つかの例では、画素の局所統計量は、コード化シーケンス内でその画素の前の隣接画素について決定される。コード化シーケンス内のその画素の前のそのような近傍画素は、その画素がフィルタ処理されるべきである時間に復号され、復号器にとって利用可能であるので、その画素の因果的近傍と呼ばれることがある。局所統計量は、1つ以上の画素について計算され得る。複数の画素が使用される幾つかの例では、局所統計量に、加重平均を含む、平均化が行われ得る。
局所統計量には、強度、位置、局所勾配、分散などが含まれ得る。強度は、画素の輝度に関係する。強度又は位置は、参照サンプルのアレイ内でフィルタ処理されるべき画素の強度又は位置を指すことがある。勾配又は分散は、参照サンプルのアレイ内の画素と、1つ以上の隣接画素とを含む、画素の近傍にある勾配又は分散を指すことがある。例えば、位置に基づく局所統計量は、予測サンプルのセット内、又は、コード化されるべきビデオブロック内の、画素の位置であってもよい。局所統計量は、画素及び隣接画素のパラメータ(例えば、強度)の差であってもよい。例えば、勾配は、予測サンプルと、左側又は右側の隣接する予測サンプルとの間の差であってもよい。分散は、予測サンプルのアレイ内の2つ以上の隣接画素の平均2乗誤差(MSE)の計算によるなど、様々な方法で計算され得る。例えば、平均2乗誤差は、ある性質の勾配の平方和を計算することができる。例えば、強度Iの勾配に基づく分散を、[(Ip−Ilp2+(Ip−Irp21/2として定義することができ、但し、Ipは、問題となっている予測サンプル又は画素の強度であり、Ilpは、問題となっている予測サンプル又は画素の左側の予測サンプル又は画素の強度である。分散は、他の性質を使用して計算され得る。更に、任意の他の局所統計量が使用され得る。
局所統計量に基づいて、画素に適用するためにフィルタが選ばれ得る。例えば、Piの局所統計量が強度である場合、フィルタは、例えば、比較的暗いか又は明るい画素のためのその適切さに基づいて、選ばれ得る。同様に、フィルタは、予測サンプルのアレイ内の画素の位置、例えば、予測サンプルを形成する左の、最上の、又は延長された画素のアレイ内の位置に基づいて選ばれ得る。局所統計量としての分散に関して、例えば、分散が、(ビデオフレーム内の被写体の端に沿ってなど)平均よりも比較的大きい勾配を示す場合、この状況に適したフィルタが選択され得る。同様に、適切なフィルタは、画素間の性質の小さい差を示す分散について選択され得る。幾つかの例では、そのような局所統計量は、統計量から異なるフィルタへの予め定義されたマッピング、異なるフィルタにマップする値を生成するために使用される関数、フィルタの1つ以上の特性を修正するために使用される関数に基づいて、又は、所与の参照サンプルについての局所統計量に基づいてその参照サンプルのための異なるフィルタの選択と使用とをサポートするための他の方法で、フィルタを選択するために使用され得る。フィルタ処理された参照サンプル、又はフィルタ処理されていない参照サンプルが、コード化されるべきビデオブロック100内の画素の値を予測するために使用され得る。
図4に示すように、局所統計量が、画素Piについて計算される。予測サンプルをフィルタ処理するための平滑化フィルタの選択のための局所統計量には、強度、位置、局所勾配、分散などが含まれ得る。例えば、局所統計量である分散が、Piについて計算される。分散の値に基づいて、フィルタFiがN個のフィルタから選ばれる。Fiが、Piに適用されて、フィルタ処理された予測サンプルPiが生成される。予測サンプルのセット内の予測サンプルの残りは、同様の方法で処理され得る。局所統計量は、予測サンプルのセット内の各画素について計算され得る。従って、フィルタは、予測サンプルの少なくとも1つの局所統計量に基づいて、予測サンプルごとに個別的に選択され得る。全ての予測サンプルが処理されると、これらの予測サンプルを、予測ブロックを予測するために使用することができる。ここでも、分散ではなく、他の局所統計量又はそのような統計量の組合せが使用され得る。具体的には、幾つかの例では、複数の異なるフィルタのうちの1つの選択又は生成のために、単一の局所統計量が使用され得、又は、複数の局所統計量が使用され得る。
フィルタ処理されていない予測サンプルの元のアレイ内の予測サンプルごとに選択されたフィルタを使用して、フィルタ処理された予測サンプルのアレイが生成され得る。従って、フィルタ処理された予測サンプルのアレイ、及び、フィルタ処理されていない予測サンプルのアレイが、復号器、例えば、図1のビデオ復号器28内でバッファされ得る。フィルタ処理された予測サンプルのアレイ、及び、フィルタ処理されていない予測サンプルのアレイが、予測されるべきブロック100内の各画素の予測において使用するために利用可能にされ得る。ビデオ復号器28など、復号器は、同様の統計量ベースのルールを適用して、予測サンプルのフィルタ処理されたセットを再生することができる。このようにして、幾つかの例では、復号器28によって受信されたビットストリームは、どのフィルタが予測サンプルのために選択されたかを信号伝達しないことがある。
各予測サンプルは、符号化順序に従って個別的にフィルタ処理され得る。例えば、フィルタ処理されるべき第1の予測サンプルは、左上の予測サンプルであってもよい。フィルタ処理されるべき次の予測サンプルは、前の予測サンプルと同じ水平レベルで次に隣接する予測サンプルであってもよい。他の例では、ラスタ順序における次の予測サンプルが、フィルタ処理される次の予測サンプルである。幾つかの例では、局所統計量は、左アレイ又は最上アレイ内の隣接画素の1次元統計量であり得る。別の例では、局所統計量は、隣接画素であるが、左アレイ又は最上アレイ内ではない画素のものであり得る。例えば、局所統計量は、それぞれ、左側の次の列内、又は、左アレイもしくは最上アレイの上の次の行内の画素のものであり得る。
イントラ平滑化フィルタは、適用される画素マスクであり得る。フィルタは、例えば、1次元フィルタ又は2次元フィルタであり得る。幾つかの例では、複数のイントラ平滑化フィルタが、複数の予測サンプルをフィルタ処理するために利用可能である。例には、1−2−1及び5−9−5などの係数を有する、3タップフィルタがある。別の例には、3次元フィルタがある。また、幾つかの例は、予測サンプルの異なるアレイのために利用可能な異なるフィルタを有する。1つのフィルタが、予測サンプルの局所統計量に基づいて選ばれる。予測サンプルがフィルタ処理されると、フィルタ処理された予測サンプルの値が、モード予測サンプルバッファに入れられ得る。これは、予測サンプルごとに繰り返され得る。
図5は、本開示の技法による、予測サンプルのための平滑化フィルタを選択する、ビデオ符号器の例示的な動作を示すフロー図である。図5の技法について図2のビデオ符号器22の観点から説明するが、他の機器でも同様の技法を実行することができる。図5の技法は、図3に示す、予測サンプルを決定すること(84)と、予測サンプルをフィルタ処理すること(86)に対応し得る。
ビデオ符号器22は、ビデオフレームの少なくとも一部分から、イントラ予測コード化のための複数の予測サンプルを決定する(112)。予測サンプルは、図4に示すように、左画素アレイと、基本又は延長された上画素アレイとを含み得る。他の例では、他のセットの予測サンプルが使用される。
予測サンプルのセットのうちの予測サンプルについて、その予測サンプルについての局所統計量が計算される(114)。上記で説明したように、局所統計量は、予測サンプルの1つ以上の近傍について計算され得る。局所統計量はまた、分散、位置、局所勾配又は強度値のうちの1つ又は複数でもあり得る。幾つかの例では、局所統計量は、予測サンプルの周囲の画素の領域に基づいてもよい。
局所統計量に基づいて、フィルタが、符号器22によって複数のフィルタから選択される(116)。そのフィルタは、他のフィルタよりも局所統計量の値に最も適しているか、又は、等しく適しているので、選択され得る。選択されたフィルタが、予測サンプルに適用され得る(118)。このプロセスは、予測サンプルのセット内の予測サンプルごとに繰り返され得る。
他の例では、フィルタが、1つの予測サンプルのために、そのサンプルの局所統計量に基づいて選択される。選択されたフィルタが、予測サンプルのセット内のあらゆる予測サンプルに適用され得る。
別の例では、閾値が、局所統計量について決定され得る。フィルタは、局所統計量の値を閾値と比較することに基づいて、複数のフィルタから選択され得る。例えば、局所統計量が閾値未満である場合、1つのフィルタが選ばれ得る。そのフィルタは、閾値未満の値の範囲内の局所統計量をもつ予測サンプルをフィルタ処理するために適切であり得る。局所統計量が閾値に等しいか又はそれよりも大きい場合、異なるフィルタが選ばれ得る。
幾つかの例では、複数の閾値レベルが、1つ以上の局所統計量に割り当てられ得る。複数のフィルタのうちの各フィルタは、それらの閾値レベル内の範囲に割り当てられ得、あるフィルタが、2つ以上の閾値レベル間であるかどうかに基づいて選ばれるようになる。局所統計量の値のその範囲にわたる予測サンプルのフィルタ処理において、フィルタがどのくらい適切であるかに基づいて、フィルタが閾値レベルに割り当てられ得る。幾つかの例では、関数を使って、フィルタを選択することができる。関数の入力は、1つ以上の局所統計量であってもよい。関数の出力は、複数のフィルタからのフィルタの選択であってもよい。
図6は、本開示の技法による、予測サンプルのフィルタ処理されたセット126、又は、予測サンプルのフィルタ処理されていないセット124を、選択的に使用して予測され得る、予測されるべきビデオブロック122内の画素Bi120の一例を示す概念図である。フィルタ処理された予測サンプル126は、本明細書で説明する技法によってフィルタ処理されていることがある。他の例では、フィルタ処理された予測サンプル126は、他の技法を使用してフィルタ処理されていることがある。幾つかの例では、予測サンプルのフィルタ処理されていないバージョンと、予測サンプルのフィルタ処理されたバージョン126とが、1つ以上のメモリバッファ内で生成及び維持され得る。
予測ブロック122の各画素について、フィルタ処理された予測サンプルを使用するか、フィルタ処理されていない予測サンプルを使用するかが、決定され得る。予測ブロック122内の各画素について、フィルタ処理された予測サンプルを使用するか、フィルタ処理されていない予測サンプルを使用するかの決定は、その画素に関連付けられた少なくとも1つの局所統計量に基づいてもよい。少なくとも1つの局所統計量は、その画素の局所因果的近傍(local causal neighbor)のものであり得る。局所因果的近傍は、予測された画素よりもラスタ処理において早く処理されたいずれかの画素であり得る。
図6に示すように、予測ブロック122は、予測されるべきである画素(Bi)130を備える。画素130は、局所因果的近傍132を有する。局所因果的近傍132は、ラスタ処理において画素130に先行する画素である。幾つかの例では、局所統計量は、画素130の局所因果的近傍132について計算されない。上記で説明したように、局所統計量には、強度、位置、局所勾配、分散など、又は、異なるフィルタの選択において有用な他の局所統計量が含まれ得る。
局所因果的近傍132は、画素130の上及び左側のそれらの隣接画素として示される。任意の数の局所因果的近傍又は局所統計量が使用され得る。局所因果的近傍1323はまた、画素130が予測される前の時間に予測され得る。予測サンプルのフィルタ処理されたバージョン又はフィルタ処理されていないバージョンを使用するための決定は、画素130の少なくとも1つの因果的近傍130の少なくとも1つの局所統計量に基づく。
予測ブロック122内の各画素について、例えば、復号器28によって、予測ブロック122の画素に対して、フィルタ処理された予測サンプル126を使用するか、フィルタ処理されていない予測サンプル124を使用するかが、決定され得る。予測ブロック122内の各画素について、フィルタ処理された予測サンプル126を使用するか、フィルタ処理されていない予測サンプル124を使用するかの決定は、その画素の少なくとも1つの局所統計量に基づいてもよい。例えば、フィルタ処理された予測サンプル126、又はフィルタ処理されていない予測サンプル124のうちの一方が、予測されている画素130の局所因果的近傍132の1つ以上の局所統計量に基づいて選択される。1つ以上の局所統計量に基づいて、フィルタ処理された予測サンプル126、又は、フィルタ処理されていない予測サンプル124が、どのセットが画素130を予測するためのより良い精度を生じるようになるかに基づいて、画素130を予測するために適用するために選択される。
例えば、画素についての局所統計量が位置である場合、予測サンプルのバージョンは、フィルタ処理された予測サンプル又はフィルタ処理されていない予測サンプルが画素の位置と比較してどのくらい正確であるかに基づいて決定され得る。例えば、画素130が予測ブロック122の左上に極めて近い場合、フィルタ処理されていない予測サンプルを使用することができ、その理由は、画素130が予測サンプル124に近いほど、フィルタ処理されていない予測サンプルが正確である可能性が高いからである。画素130が予測ブロック122の右下に近かった場合、フィルタ処理された予測サンプル126を使用することができ、その理由は、画素130が予測サンプル124とは異なるようになる可能性が高いからである。例えば、画素が左上から遠くなるほど、画素が予測サンプルとあまり相関しなくなり得るように、予測ブロック122の左上側のフィルタ処理されていない予測サンプル124とのより高い相関があり得る。
図7は、本開示の技法による、符号化されるべきブロック内の画素を予測するために、予測サンプルのフィルタ処理されたセットとフィルタ処理されていないセットとの間で選択する、ビデオ符号器の例示的な動作を示すフロー図である。図7の技法について図2のビデオ符号器22の観点から説明するが、他の機器でも同様の技法を実行することができる。図7の技法は、図3に示す、予測サンプルを使用してビデオブロック内の各画素を予測すること(88)に対応し得る。
ビデオ符号器22は、コード化されるべきブロック内の画素についての局所統計量を計算し、そのブロックは、ビデオフレームの少なくとも一部分を形成する(160)。局所統計量は、画素の少なくとも1つの局所因果的近傍について計算され得る。コード化されるべきブロック内の画素の局所因果的近傍は、予測されるべき画素に隣接する1つ以上の画素であり得る。
そのブロックに関連付けられた複数の予測サンプルが、ビデオ符号器22によって受信され得る(162)。ビデオ符号器22は、それらの予測サンプルをフィルタ処理することができる。予測サンプルのフィルタ処理は、本開示で説明する技法に従って実行され得る。フィルタ処理されていない予測サンプル及びフィルタ処理された予測サンプルは、メモリ34など、バッファ又はメモリに記憶され得る。ビデオ符号器22は、画素の少なくとも1つの局所因果的近傍の局所統計量に基づいて、複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、その予測サンプルのフィルタ処理されていないバージョンとの間で選択する(164)。予測サンプルのフィルタ処理されたバージョン又はフィルタ処理されていないバージョンが、予測サンプルのどのバージョンが画素の予測において最も正確であるかに基づいて、予測ブロック内の画素を予測するために選択され得る。予測サンプルの選択されたバージョンが、画素に適用されて、画素がイントラ予測コード化される(166)。
別の例では、閾値が、画素についての局所統計量について決定され得る。予測サンプルのフィルタ処理されたバージョン又はフィルタ処理されていないバージョンが、局所統計量の値を閾値と比較することに基づいて選択され得る。例えば、局所統計量が閾値未満である場合、フィルタ処理されていないバージョンが選ばれ得る。予測サンプルのフィルタ処理されていないバージョンは、閾値未満の局所統計量の値の範囲内の局所統計量をもつ画素を予測するために、より正確であり得る。局所統計量が閾値に等しいか又はそれよりも大きい場合、予測サンプルのフィルタ処理されたバージョンが選択され得る。異なる閾値が、異なるタイプの局所統計量に対して設定され得る。そのようにして、ビデオ符号器22など、符号化装置は、イントラ予測ブロックを生成することができ、ビデオ復号器28など、復号装置は、逆の方法で同様の技法を使用して、ほぼ同じ予測ブロックを再生することができる。符号器は、復号器が残差を予測ブロックに加算することによって、コード化された元のブロックを再生できるように、残差ブロックを送る。
図8は、本開示の技法による、局所統計量に基づいて、符号化されるべきブロックに適応イントラ平滑化を実行する、ビデオ復号器の例示的な動作を示すフロー図である。図8の技法について図2のビデオ符号器22の観点から説明するが、他の機器でも同様の技法を実行することができる。図8の技法は、図5及び図7の技法の組合せに対応し得る。
ビデオ符号器22は、ビデオフレームの少なくとも一部分から、イントラ予測コード化のための複数の予測サンプルを決定することができる(202)。複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量が、符号器22によって計算され得る(204)。複数の予測サンプルのうちの各予測サンプルについて、ビデオ符号器22は、各予測サンプルについての少なくとも1つの局所統計量に基づいて、複数のフィルタからフィルタを選択することができる(206)。各選択されたフィルタが、対応する予測サンプルに適用されて、複数のフィルタ処理された予測サンプルが生成され得る(208)。フィルタ処理されていない予測サンプル及びフィルタ処理された予測サンプルは、ビデオ復号器28に記憶又は送信され得る。
ビデオフレームの少なくとも一部分を形成する、コード化されるべきブロック内の、画素についての少なくとも1つの第2の局所統計量が、計算され得る(210)。2つ以上の第2の局所統計量が計算される場合、平均化又は加重平均を通してなど、それらの第2の局所統計量が合成され得る。第2の局所統計量は、予測された画素の因果的近傍のものであり得る。
画素についての少なくとも1つの局所統計量に基づく、複数の予測サンプル及び複数のフィルタ処理された予測サンプルのうちの1つが、画素を予測するために、例えば、ビデオ符号器22によって選択される(212)。複数の予測サンプルの選択されたバージョンが、例えば、ビデオ符号器22によって、画素に適用されて、画素がイントラ予測コード化され得る(214)。この技法は、予想サンプルのセット内の予測サンプルごとに、及び、予測ブロック内の画素ごとに、ビデオ符号器22によって適用され得る。
幾つかの例では、本開示の技法は、イントラ予測モードから独立している。即ち、本明細書で説明する技法は、ビデオ符号器22が動作中である特定のイントラ予測モードにかかわらず、使用され得る。他の例では、本開示の技法は、モード依存のイントラ予測に適用され得る。例えば、予測サンプルをフィルタ処理するために、そこから選択するために利用可能なフィルタは、イントラ予測モードに基づいてもよい。
図9は、図1のビデオ復号器28の一例を更に詳細に示すブロック図である。ビデオ復号器28は、本明細書で説明する方法で符号化されるビデオシーケンスを復号することができる。ビデオ復号器28は、本明細書では「コーダ」と呼ぶ専用ビデオコンピュータ機器又は装置の一例である。図9に示すように、ビデオ復号器28は、宛先機器16のビデオ復号器28に対応する。しかしながら、他の例では、ビデオ復号器28は、異なる機器に対応してもよい。更なる例では、他のユニット(例えば、他の符号器/復号器(コーデック)など)もまた、ビデオ復号器28と同様の技法を実行することができる。
ビデオ復号器28は、例えば、ストリーミング、ダウンロード、ローカル記憶媒体へのアクセスによって、又は他の方法で、符号化ビデオビットストリームを受信することができる。ビデオ復号器28は、量子化係数と予測シンタックス要素とを生成するために、受信したビットストリームをエントロピー復号するエントロピー復号ユニット252を含む。ビットストリームは、フィルタ処理された予測サンプルのセットを含み得、そこから、復号器は、本明細書で説明する技法によって予測サンプルのフィルタ処理されたバージョンを生成する。幾つかの例では、ビットストリームは、フィルタ処理されていない予測サンプルのセットを含み得る。ビットストリームはまた、コード化画素を示す符号化残差係数をも含み得る。予測シンタックス要素には、コード化モード、1つ以上の動きベクトル、使用された補間技法を識別する情報、補間フィルタ処理中に使用するための係数、及び/又は、予測ブロックの生成に関連する他の情報が含まれ得る。
復号器は、フィルタ処理されていない予測サンプルを受信し、次いで、それらの予測サンプルの局所統計量を解析して、符号器によって通信されたいかなるシンタックス要素をも参照せずに、フィルタ処理されたバージョンを生成することができる。しかしながら、一例では、ビデオ復号器は、ビットストリームにおいて、選択されたフィルタを識別するシンタックス要素を受信することができる。予測シンタックス要素、例えば、係数は、予測ユニット255に転送される。固定フィルタの係数に対して又は互いに対して係数をコード化するために予測が使用された場合、予測ユニット255は、実際の係数を定義するためにシンタックス要素を復号することができる。ビデオ復号器28は、同様の動作を予測サンプルビデオ符号器22に実行して、フィルタ処理された予測サンプルを平滑化するためにどのようなフィルタが使用されたかを決定する。同様に、ビデオ復号器28は、同様の動作を残差係数に実行して、対応する画素が予測サンプルのフィルタ処理されたバージョンを用いて予測されたか、予測サンプルのフィルタ処理されていないバージョンを用いて予測されたかを決定する。
量子化が予測シンタックスのいずれかに適用された場合、逆量子化ユニット256は、そのような量子化を除去してもよい。例えば、フィルタ係数は、本開示に従って予測コード化され、量子化され得、この場合、逆量子化ユニット256は、そのような係数を予測的に復号し、逆量子化するために、ビデオ復号器28によって使用され得る。
予測ユニット255は、ビデオ符号器22の予測ユニット32に対して上記で詳細に説明したのと殆んど同じ方法で、メモリ262に記憶されている予測シンタックス要素及び1つ以上の前に復号されたブロックに基づいて、予測データを生成することができる。具体的には、予測ユニット55は、予測サンプル又はコード化ブロック内の画素の、局所統計量を決定することができる。従って、本開示の技法のうちの1つ又は複数は、予測ブロックを生成する際に、ビデオ復号器28によって使用され得る。予測ユニット255は、補間のために使用されるフィルタと、本開示の技法のためのイントラ平滑化フィルタとを備える、動き補償ユニットを含み得る。動き補償構成要素は、説明を簡単で容易にするために図9に示していない。複数のイントラ平滑化フィルタが、ビデオ復号器28にとってアクセス可能であり、例えば、メモリ262に記憶され得る。一例では、複数のイントラ平滑化フィルタが、メモリ262に予め記憶される。別の例では、ビデオ符号器22が、複数のイントラ平滑化フィルタをビデオ復号器28へ信号伝達することができる。
逆量子化ユニット256は、量子化された係数を逆量子化(inverse quantize)、即ち、逆量子化(de-quantize)する。逆量子化プロセスは、H.264復号のために、又はいずれかの他の復号規格のために定義されたプロセスであり得る。逆変換ユニット258は、画素領域における残差ブロックを生成するために、変換係数に逆変換、例えば逆DCT又は概念的に同様の逆変換プロセスを適用する。加算器264は、残差ブロックを、予測ユニット255によって生成された対応する予測ブロックと加算して、ビデオ符号器22によって符号化された元のブロックの再構成されたバージョンを形成する。必要に応じて、ブロック歪みを除去するために、デブロッキングフィルタを適用して、復号ブロックをフィルタ処理することもできる。復号ビデオブロックは、次いで、メモリ262に記憶され、メモリ262は、参照ブロックを後続の動き補償に供給し、また、(図1の表示装置30などの)表示装置を駆動するために復号ビデオを生成する。
図10は、本開示の技法による、画素の局所統計量に基づいて、画素を示すコード化ブロックを復号する、ビデオ復号器の例示的な動作を示すフロー図である。従って、図10のプロセスは、図3の符号化プロセスとは逆の復号プロセスと考えることができる。図10について図9のビデオ復号器28の観点から説明するが、他の機器でも同様の技法を実行することができる。
ビデオ復号器28など、ビデオ復号器は、参照サンプルを使用して、逆のプロセスを適用して、元のブロックを再構成する。参照サンプルは、元のブロック内の画素を予測するための、フィルタ処理された予測サンプル又はフィルタ処理されていない予測サンプルであり得る。また、予測サンプルは、本明細書で説明する技法に従ってフィルタ処理され得る。ビデオ復号器28は、ビデオブロックの少なくとも一部分の画素を示すコード化ブロックを受信する(302)。コード化ブロックは、本開示の技法に従って符号化されていることがある。コード化ブロックは、変換領域における残差係数値を備え得る。逆変換は、画素領域において残差画素差分値を回復するために実行され得る。
ビデオ復号器28は、コード化ブロックに関連付けられた複数の予測サンプルを決定することができる(304)。ビデオ復号器28は、隣接する参照ブロックを前に復号し、フィルタ処理されていない参照サンプルを受信することから、複数の予測サンプルを決定することができる。ビデオ復号器28はまた、複数の予測サンプルを、各予測サンプルの局所統計量に基づいてフィルタ処理することもできる(306)。即ち、ビデオ復号器28は、予測サンプルのフィルタ処理されたセットを生成する。予測サンプルは、本開示の技法に基づいてフィルタ処理され得る。予測サンプルは、メモリ262にバッファされ得る。別の例では、ビデオ復号器28は、どの参照サンプルが符号器(ビデオ符号器22など)において予測ブロックを生成するために使用されたかを知るために、予測モードを決定することができる。予測モードを知り、ビデオ復号器28は、コード化ブロックについての予測データを計算することができる。予測サンプルのバージョンは、画素の因果的近傍の1つ以上の局所統計量に基づいて選択されていることがある。例えば、ビデオ復号器28は、近傍ブロックの復号された参照サンプルを使用して、復号されるべきブロックのための予測ブロックを生成することができる。ビデオ復号器28は、予測ブロックを、符号化ビットストリームから得られた残差データと加算して、元のブロックを再構成することができ、この再構成は、無損失であり得るが、例えば、残差データ又は他のビデオデータの量子化のために損失のあることがある。
局所統計量が、ビデオフレームの一部分の画素を示すコード化ブロック内の各残差係数について、計算され得る(308)。局所統計量は、画素の因果的近傍の1つ以上の局所統計量であり得る。1つ以上の局所統計量に基づいて、ビデオ復号器28は、複数の予測サンプルのフィルタ処理されたバージョンと、フィルタ処理されていないバージョンとの間で選択する(310)。複数の予測サンプルの選択されたバージョンが適用されて、予測ビデオブロックのための予測画素が生成される(312)。ブロックについての残差データが、予測ブロックと加算されて、符号化された元のブロックが再構成され、復号されたブロックが生成され得る。ビデオ復号器28がこのプロセスの逆を適用して、どの予測サンプルを使用するべきかを決定するので、いかなる追加の信号伝達も必要ない。
別の例では、画素の局所統計量についての閾値レベルが設定され得る。複数の予測サンプル及び複数の予測サンプルのフィルタ処理されたバージョンは、局所統計量を閾値レベルと比較することに基づいて選択される。例えば、局所統計量の値が閾値未満であるとき、予測サンプルのフィルタ処理されていないバージョンが選択され得、局所統計量の値が閾値に等しいか又はそれよりも大きいとき、予測サンプルのフィルタ処理されたバージョンが選択される。他の例では、局所統計量が閾値レベルに等しいか又はそれよりも大きいとき、フィルタ処理されていないバージョンが選択され、局所統計量が閾値レベル未満であるとき、フィルタ処理されたバージョンが選択される。
幾つかの例では、第2の局所統計量が、複数の予測サンプルについて決定される。各予測サンプルについて、フィルタが、第2の局所統計量に基づいて複数のフィルタから選択され得る。しかしながら、閾値が、第2の局所統計量について設定され得る。複数のフィルタからフィルタを選択することは、閾値と比較された第2の局所統計量の値に基づいてもよい。例えば、第2の局所統計量の値が閾値未満であるとき、第1のフィルタが選択され得る。第2の局所統計量の値が閾値に等しいか又はそれよりも大きいとき、第2のフィルタである。
本開示の技法は、画素ごとのイントラ平滑化フィルタ処理を導入することによって、イントラ予測性能を向上させる。予測ブロック内の画素を予測するために、フィルタ処理された予測サンプルを使用するか、フィルタ処理されていない予測サンプルを使用するかを決定するために、レート歪み分析が使用される必要はない。加えて、ビットストリームを復号するために、復号器は、どのサンプルを使用するべきかを決定するために本明細書で説明するプロセスの逆を適用する。従って、いかなる追加の信号伝達も必要ない。
1つ以上の例では、説明した機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組合せで実施され得る。ソフトウェアで実施される場合、機能は、1つ以上の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、若しくはコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、例えば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含むデータ記憶媒体又は通信媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含み得る。このようにして、コンピュータ可読媒体は、概して、(1)非一時的である有形コンピュータ可読記憶媒体、又は(2)信号又は搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示で説明した技法の実施のための命令、コード及び/又はデータ構造を取り出すために1つ以上のコンピュータあるいは1つ以上のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD−ROM又は他の光ディスクストレージ、磁気ディスクストレージ、若しくは他の磁気ストレージ機器、フラッシュメモリ、又は命令若しくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。例えば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線(DSL)、又は赤外線、無線、及びマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、若しくは他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、又は赤外線、無線、及びマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。但し、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、又は他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)及びディスク(disc)は、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)及びブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
命令は、1つ以上のデジタル信号プロセッサ(DSP)などの1つ以上のプロセッサ、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブル論理アレイ(FPGA)、又は他の等価な集積回路又はディスクリート論理回路によって実行され得る。従って、本明細書で使用する「プロセッサ」という用語は、前述の構造、又は本明細書で説明する技法の実施に好適な他の構造のいずれかを指すことがある。更に、幾つかの態様では、本明細書で説明した機能は、符号化及び復号のために構成された専用のハードウェア及び/又はソフトウェアモジュール内に提供され得、若しくは複合コーデックに組み込まれ得る。また、本技法は、1つ以上の回路又は論理要素中に十分に実施され得る。
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、又はICのセット(例えば、チップセット)を含む、多種多様な機器又は装置において実施され得る。本開示では、開示した技法を実行するように構成された機器の機能的態様を強調するために、様々な構成要素、モジュール、又はユニットについて説明したが、それらの構成要素、モジュール、又はユニットを必ずしも異なるハードウェアユニットによって実現する必要はない。むしろ、上記で説明したように、様々なユニットが、好適なソフトウェア及び/又はファームウェアとともに、上記で説明した1つ以上のプロセッサを含めて、コーデックハードウェアユニットにおいて組み合わせられるか、又は相互動作ハードウェアユニットの集合によって与えられ得る。
本開示の様々な例について説明した。これら及び他の例は以下の特許請求の範囲内に入る。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
[1] ビデオデータを処理する方法であって、ビデオフレーム内でコード化されるブロックのイントラ予測コード化のための複数の予測サンプルを決定することと、前記複数の予測サンプルのうちの第1の予測サンプルについて局所統計量を計算することと、前記局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、前記選択されたフィルタを前記第1の予測サンプルに適用することとを備える方法。
[2] 前記複数の予測サンプルのうちの各予測サンプルについて、少なくとも1つの局所統計量を計算することと、各予測サンプルについて、各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、前記複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、前記対応する予測サンプルに適用して、複数のフィルタ処理された予測サンプルを生成することとを更に備える、[1]に記載の方法。
[3] 前記局所統計量が、第1の局所統計量であり、前記方法が、前記コード化されるブロック内の画素について少なくとも1つの第2の局所統計量を計算することと、前記画素についての前記少なくとも1つの局所統計量に基づいて、前記複数の予測サンプル及び前記複数のフィルタ処理された予測サンプルのうちの1つを選択することと、前記予測サンプルの前記選択されたバージョンを適用して、前記画素をイントラ予測コード化することとを更に備える、[2]に記載の方法。
[4] 前記局所統計量を計算することが、前記第1の予測サンプルに関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、[1]に記載の方法。
[5] 第1の予測サンプルについての局所統計量を計算することが、前記複数の予測サンプルのうちの少なくとも第2の予測サンプル、又は、前記複数の予測サンプルのうちの1つではない前記ビデオフレーム内の画素のうちの、一方の局所統計量を計算することを更に備える、[1]に記載の方法。
[6] 前記選択されたフィルタを、前記複数の予測サンプルのうちの各予測サンプルに適用することを更に備える、[1]に記載の方法。
[7] 前記方法が、前記局所統計量についての閾値を決定することを更に備え、前記局所統計量に基づいて、複数のフィルタからフィルタを選択することが、前記局所統計量の値が前記閾値未満であるとき、第1のフィルタを選択することと、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、第2のフィルタを選択することとを更に備える、[1]に記載の方法。
[8] データを符号化するための装置であって、ビデオフレーム内でコード化されるべきブロックのイントラ予測コード化のための、複数の予測サンプルを決定することと、前記複数の予測サンプルのうちの第1の予測サンプルについて局所統計量を計算することと、前記局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、前記選択されたフィルタを前記第1の予測サンプルに適用することとを行うように構成されたビデオ符号器を備える、装置。
[9] 前記ビデオ符号器が、前記複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量を計算することと、各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、前記対応する予測サンプルに適用して、複数のフィルタ処理された予測サンプルを生成することとを行うように更に構成される、[8]に記載の装置。
[10] 前記ビデオ符号器が、コード化されるべきブロック内の画素についての少なくとも1つの第2の局所統計量を計算することと、前記画素についての前記少なくとも1つの局所統計量に基づいて、前記複数の予測サンプル及び前記複数のフィルタ処理された予測サンプルのうちの1つを選択することと、前記予測サンプルの前記選択されたバージョンを適用して、前記画素をイントラ予測コード化することとを行うように更に構成される、[9]に記載の装置。
[11] 前記局所統計量を計算することが、前記第1の予測サンプルに関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、[8]に記載の装置。
[12] 第1の予測サンプルについての局所統計量を計算することが、前記複数の予測サンプルのうちの少なくとも第2の予測サンプル、又は、前記複数の予測サンプルのうちの1つではない前記ビデオフレーム内の画素のうちの、一方の局所統計量を計算することを更に備える、[8]に記載の装置。
[13] 前記ビデオ符号器が、前記選択されたフィルタを、前記複数の予測サンプルのうちの各予測サンプルに適用することを行うように更に構成される、[8]に記載の装置。
[14] 前記ビデオ符号器が、前記局所統計量についての閾値を決定することを行うように更に構成され、前記局所統計量に基づいて、複数のフィルタからフィルタを選択することが、前記局所統計量の値が前記閾値未満であるとき、第1のフィルタを選択することと、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、第2のフィルタを選択することとを更に備える、[8]に記載の装置。
[15] 実行されたとき、ビデオフレーム内でコード化されるべきブロックのイントラ予測コード化のための、複数の予測サンプルを決定することと、前記複数の予測サンプルのうちの第1の予測サンプルについての局所統計量を計算することと、前記局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、前記選択されたフィルタを前記第1の予測サンプルに適用することとをビデオコード化装置のプロセッサに行わせる命令を記憶しているコンピュータ可読記憶媒体を備える、コンピュータプログラム製品。
[16] 前記命令が、前記ビデオコード化装置に、前記複数の予測サンプルのうちの各予測サンプルについて、少なくとも1つの局所統計量を計算することと、各予測サンプルについて、各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、前記複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、前記対応する予測サンプルに適用して、複数のフィルタ処理された予測サンプルを生成することとを更に行わせる、[15]に記載のコンピュータ可読記憶媒体。
[17] 前記局所統計量が、第1の局所統計量であり、前記命令が、前記ビデオコード化装置に、コード化されるべきブロック内の画素についての少なくとも1つの第2の局所統計量を計算することと、前記画素についての前記少なくとも1つの局所統計量に基づいて、前記複数の予測サンプル及び前記複数のフィルタ処理された予測サンプルのうちの1つを選択することと、前記予測サンプルの前記選択されたバージョンを適用して、前記画素をイントラ予測コード化することとを更に行わせる、[16]に記載のコンピュータ可読記憶媒体。
[18] 前記局所統計量を計算することが、前記第1の予測サンプルに関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、[15]に記載のコンピュータ可読記憶媒体。
[19] 第1の予測サンプルについての局所統計量を計算することが、前記複数の予測サンプルのうちの少なくとも第2の予測サンプル、又は、前記複数の予測サンプルのうちの1つではない前記ビデオフレーム内の画素のうちの、一方の局所統計量を計算することを更に備える、[15]に記載のコンピュータ可読記憶媒体。
[20] 前記命令が、前記ビデオコード化装置に、前記選択されたフィルタを、前記複数の予測サンプルのうちの各予測サンプルに適用することを更に行わせる、[15]に記載のコンピュータ可読記憶媒体。
[21] ビデオデータを処理するための装置であって、ビデオフレーム内でコード化されるべきブロックのイントラ予測コード化のための、複数の予測サンプルを決定するための手段と、前記複数の予測サンプルのうちの第1の予測サンプルについての局所統計量を計算するための手段と、前記局所統計量に基づいて、複数のフィルタからフィルタを選択するための手段と、前記選択されたフィルタを前記第1の予測サンプルに適用するための手段とを備える装置。
[22] 前記複数の予測サンプルのうちの各予測サンプルについて、少なくとも1つの局所統計量を計算するための手段と、各予測サンプルについて、各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、前記複数の異なるフィルタからフィルタを選択するための手段と、各選択されたフィルタを、前記対応する予測サンプルに適用して、複数のフィルタ処理された予測サンプルを生成するための手段とを更に備える、[21]に記載の装置。
[23] 前記局所統計量が、第1の局所統計量であり、前記装置が、前記コード化されるべきブロック内の画素についての少なくとも1つの第2の局所統計量を計算するための手段と、前記画素についての前記少なくとも1つの局所統計量に基づいて、前記複数の予測サンプル及び前記複数のフィルタ処理された予測サンプルのうちの1つを選択するための手段と、前記予測サンプルの前記選択されたバージョンを適用して、前記画素をイントラ予測コード化するための手段とを更に備える、[22]に記載の装置。
[24] 前記局所統計量を計算するための手段が、前記第1の予測サンプルに関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算するための手段を備える、[22]に記載の装置。
[25] 第1の予測サンプルについての局所統計量を計算するための手段が、前記複数の予測サンプルのうちの少なくとも第2の予測サンプル、又は、前記複数の予測サンプルのうちの1つではない前記ビデオフレーム内の画素のうちの、一方の局所統計量を計算するための手段を更に備える、[22]に記載の装置。
[26] ビデオデータを処理する方法であって、コード化されるべきブロック内の画素についての局所統計量を計算することであり、前記ブロックがビデオフレームの少なくとも部分を形成することと、前記ブロックに関連付けられた複数の予測サンプルを受信することと、前記局所統計量に基づいて、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとの間で選択することと、前記予測サンプルの前記選択されたバージョンを適用して、前記画素をイントラ予測コード化することとを備える方法。
[27] 前記複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量を計算することと、前記複数の予測サンプルのうちの各予測サンプルについて、各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、前記対応する予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成することとを更に備える、[26]に記載の方法。
[28] 前記局所統計量を計算することが、前記画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、[26]に記載の方法。
[29] 前記コード化されるべきブロック内の前記画素についての前記局所統計量を計算することが、前記画素についての局所統計量を、前記画素の少なくとも1つの局所因果的近傍に基づいて計算することを更に備える、[26]に記載の方法。
[30] 前記画素の前記少なくとも1つの局所因果的近傍が、前記画素に隣接する4つの画素を備える、[29]に記載の方法。
[31] 前記方法が、前記局所統計量についての閾値を決定することを更に備え、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとの間で選択することが、前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することとを更に備える、[26]に記載の方法。
[32] データを符号化するための装置であって、コード化されるべきブロック内の画素についての局所統計量を計算することであり、前記ブロックがビデオフレームの少なくとも部分を形成することと、前記ブロックに関連付けられた複数の予測サンプルを受信することと、前記局所統計量に基づいて、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとの間で選択することと、前記予測サンプルの前記選択されたバージョンを適用して、前記画素をイントラ予測コード化することとを行うように構成されたビデオ符号器を備える、装置。
[33] 前記ビデオ符号器が、前記複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量を計算することと、前記複数の予測サンプルのうちの各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、前記対応する予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成することとを行うように更に構成される、[32]に記載の装置。
[34] 前記局所統計量を計算することが、前記画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、[33]に記載の装置。
[35] 前記コード化されるべきブロック内の前記画素についての前記局所統計量を計算することが、前記画素についての局所統計量を、前記画素の少なくとも1つの局所因果的近傍に基づいて計算することを更に備える、[32]に記載の装置。
[36] 前記画素の前記少なくとも1つの局所因果的近傍が、前記画素に隣接する4つの画素を備える、[32]に記載の装置。
[37] 前記ビデオ符号器が、前記局所統計量についての閾値を決定することを行うように更に構成され、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとの間で選択することが、前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することとを更に備える、[32]に記載の装置。
[38] 実行されたとき、コード化されるべきブロック内の画素についての局所統計量を計算することであり、前記ブロックがビデオフレームの少なくとも部分を形成することと、前記ブロックに関連付けられた複数の予測サンプルを受信することと、前記局所統計量に基づいて、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとの間で選択することと、前記予測サンプルの前記選択されたバージョンを適用して、前記画素をイントラ予測コード化することとをビデオコード化装置のプロセッサに行わせる命令を記憶しているコンピュータ可読記憶媒体を備える、コンピュータプログラム製品。
[39] 前記命令が、前記ビデオコード化装置に、前記複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量を計算することと、前記複数の予測サンプルのうちの各予測サンプルについて、各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、前記対応する予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成することとを更に行わせる、[38]に記載のコンピュータ可読記憶媒体。
[40] 前記局所統計量を計算することが、前記画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、[38]に記載のコンピュータ可読記憶媒体。
[41] 前記コード化されるべきブロック内の前記画素についての前記局所統計量を計算することが、前記画素についての局所統計量を、前記画素の少なくとも1つの局所因果的近傍に基づいて計算することを更に備える、[38]に記載のコンピュータ可読記憶媒体。
[42] 前記画素の前記少なくとも1つの局所因果的近傍が、前記画素に隣接する4つの画素を備える、[38]に記載のコンピュータ可読記憶媒体。
[43] 前記命令が、前記ビデオコード化装置に、前記局所統計量についての閾値を決定することを更に行わせ、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとの間で選択することが、前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することとを更に備える、[38]に記載のコンピュータ可読記憶媒体。
[44] ビデオデータを処理するための装置であって、コード化されるべきブロック内の画素についての局所統計量を計算するための手段であり、前記ブロックがビデオフレームの少なくとも部分を形成する手段と、前記ブロックに関連付けられた複数の予測サンプルを受信するための手段と、前記局所統計量に基づいて、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとの間で選択するための手段と、前記予測サンプルの前記選択されたバージョンを適用して、前記画素をイントラ予測コード化するための手段とを備える装置。
[45] 前記複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量を計算するための手段と、前記複数の予測サンプルのうちの各予測サンプルについて、各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、複数の異なるフィルタからフィルタを選択するための手段と、各選択されたフィルタを、前記対応する予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成するための手段とを更に備える、[44]に記載の装置。
[46] 前記局所統計量を計算するための手段が、前記画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算するための手段を備える、[44]に記載の装置。
[47] 前記コード化されるべきブロック内の前記画素についての前記局所統計量を計算することが、前記画素についての局所統計量を、前記画素の少なくとも1つの局所因果的近傍に基づいて計算することを更に備える、[44]に記載の装置。
[48] 前記装置が、前記局所統計量についての閾値を決定するための手段
を更に備え、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとの間で選択するための手段が、前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択するための手段と、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択するための手段とを更に備える、[44]に記載の装置。
[49] ビデオデータを処理する方法であって、ビデオフレームの少なくとも部分の画素を示すコード化ブロックを受信することと、前記コード化ブロックに関連付けられた複数の予測サンプルを決定することと、前記コード化ブロックに関連付けられた前記ビデオフレームの前記部分内の画素についての局所統計量を計算することと、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとの間で選択することと、前記複数の予測サンプルの前記選択されたバージョンを適用して、前記画素を復号することとを備える方法。
[50] 前記方法が、前記局所統計量についての閾値を決定することを更に備え、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとの間で選択することが、前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することとを更に備える、[49]に記載の方法。
[51] 前記局所統計量が、第1の局所統計量であり、前記方法が、各予測サンプルについて、前記複数の予測サンプルのうちの予測サンプルについての第2の局所統計量を計算することと、各予測サンプルについて、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、前記対応する予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成することとを更に備える、[49]に記載の方法。
[52] 前記方法が、前記第2の局所統計量についての閾値を決定することを更に備え、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することが、前記第2の局所統計量の値が前記閾値未満であるとき、第1のフィルタを選択することと、前記第2の局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、第2のフィルタを選択することとを更に備える、[51]に記載の方法。
[53] 前記局所統計量を計算することが、前記画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、[49]に記載の方法。
[54] 前記コード化されるべきブロック内の前記画素についての前記局所統計量を計算することが、前記画素の少なくとも1つの局所因果的近傍の、前記画素についての局所統計量を計算することを更に備える、[49]に記載の方法。
[55] 前記画素の前記少なくとも1つの局所因果的近傍が、前記画素に隣接する4つの画素を備える、[52]に記載の方法。
[56] データを復号するための装置であって、ビデオフレームの少なくとも部分の画素を示すコード化ブロックを受信することと、前記コード化ブロックに関連付けられた複数の予測サンプルを決定することと、前記コード化ブロックに関連付けられた前記ビデオフレームの前記部分内の画素についての局所統計量を計算することと、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとの間で選択することと、前記複数の予測サンプルの前記選択されたバージョンを適用して、前記画素を復号することとを行うように構成されたビデオ復号器を備える、装置。
[57] 前記ビデオ復号器が、前記局所統計量についての閾値を決定することを行うように更に構成され、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとの間で選択することが、前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することとを行うように、前記ビデオ復号器を更に構成する、[56]に記載の装置。
[58] 前記局所統計量が、第1の局所統計量であり、前記ビデオ復号器が、各予測サンプルについて、前記複数の予測サンプルのうちの予測サンプルについての第2の局所統計量を計算することと、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、前記対応する予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成することとを行うように更に構成される、[56]に記載の装置。
[59] 前記ビデオ復号器が、前記第2の局所統計量についての閾値を決定することを行うように更に構成され、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することが、前記第2の局所統計量の値が前記閾値未満であるとき、第1のフィルタを選択することと、前記第2の局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、第2のフィルタを選択することとを行うように、前記ビデオ復号器を更に構成する、[58]に記載の装置。
[60] 前記局所統計量を計算することが、前記画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、[56]に記載の装置。
[61] 前記コード化されるべきブロック内の前記画素についての前記局所統計量を計算することが、前記画素の少なくとも1つの局所因果的近傍の、前記画素についての局所統計量を計算することを更に備える、[56]に記載の装置。
[62] 前記画素の前記少なくとも1つの局所因果的近傍が、前記画素に隣接する4つの画素を備える、[56]に記載の装置。
[63] 実行されたとき、ビデオフレームの少なくとも部分の画素を示すコード化ブロックを受信することと、前記コード化ブロックに関連付けられた複数の予測サンプルを決定することと、前記コード化ブロックに関連付けられた前記ビデオフレームの前記部分内の画素についての局所統計量を計算することと、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルの前記フィルタ処理されたバージョンとの間で選択することと、前記複数の予測サンプルの前記選択されたバージョンを適用して、前記画素を復号することとをビデオコード化装置のプロセッサに行わせる命令を記憶しているコンピュータ可読記憶媒体を備える、コンピュータプログラム製品。
[64] 前記命令が、前記ビデオコード化装置の前記プロセッサに、前記局所統計量についての閾値を決定することを更に行わせ、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとの間で選択することが、前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することとを更に備える、[63]に記載のコンピュータ可読記憶媒体。
[65] 前記命令が、前記ビデオコード化装置の前記プロセッサに、各予測サンプルについて、前記複数の予測サンプルのうちの予測サンプルについての第2の局所統計量を計算することと、各予測サンプルについて、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、前記対応する予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成することとを更に行わせる、[63]に記載のコンピュータ可読記憶媒体。
[66] 前記命令が、前記ビデオコード化装置の前記プロセッサに、前記第2の局所統計量についての閾値を決定することを更に行わせ、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することが、前記第2の局所統計量の値が前記閾値未満であるとき、第1のフィルタを選択することと、前記第2の局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、第2のフィルタを選択することとを更に備える、[65]に記載のコンピュータ可読記憶媒体。
[67] 前記局所統計量を計算することが、前記画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、[63]に記載のコンピュータ可読記憶媒体。
[68] 前記コード化されるべきブロック内の前記画素についての前記局所統計量を計算することが、前記画素の少なくとも1つの局所因果的近傍の、前記画素についての局所統計量を計算することを更に備える、[63]に記載のコンピュータ可読記憶媒体。
[69] 前記画素の前記少なくとも1つの局所因果的近傍が、前記画素に隣接する4つの画素を備える、[63]に記載のコンピュータ可読記憶媒体。
[70] ビデオデータを処理するための装置であって、ビデオフレームの少なくとも部分の画素を示すコード化ブロックを受信するための手段と、前記コード化ブロックに関連付けられた複数の予測サンプルを決定するための手段と、前記コード化ブロックに関連付けられた前記ビデオフレームの前記部分内の画素についての局所統計量を計算するための手段と、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルの前記フィルタ処理されたバージョンとの間で選択するための手段と、前記複数の予測サンプルの前記選択されたバージョンを適用して、前記画素を復号するための手段とを備える装置。
[71] 前記装置が、前記局所統計量についての閾値を決定するための手段
を更に備え、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとの間で選択するための手段が、前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択するための手段と、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択するための手段とを更に備える、[70]に記載の装置。
[72] 前記局所統計量が、第1の局所統計量であり、前記装置が、各予測サンプルについて、前記複数の予測サンプルのうちの予測サンプルについての第2の局所統計量を計算するための手段と、各予測サンプルについて、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択するための手段と、各選択されたフィルタを、前記対応する予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成するための手段とを更に備える、[70]に記載の装置。
[73] 前記装置が、前記第2の局所統計量についての閾値を決定するための手段
を更に備え、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択するための手段が、前記第2の局所統計量の値が前記閾値未満であるとき、第1のフィルタを選択するための手段と、前記第2の局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、第2のフィルタを選択するための手段とを更に備える、[72]に記載の装置。
[74] 前記局所統計量を計算するための手段が、前記画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算するための手段を備える、[70]に記載の装置。
[75] 前記コード化されるべきブロック内の前記画素についての前記局所統計量を計算することが、前記画素の少なくとも1つの局所因果的近傍の、前記画素についての局所統計量を計算することを更に備える、[70]に記載の装置。
[76] 前記画素の前記少なくとも1つの局所因果的近傍が、前記画素に隣接する4つの画素を備える、[70]に記載の装置。

Claims (51)

  1. ビデオデータを処理する方法であって、
    コード化されるブロック内の複数の画素の各画素についての局所統計量を計算することと、前記ブロックがビデオフレームの少なくとも一部を形成し、前記局所統計量が1つ以上の他の画素に基づいており、前記他の画素が、前記コード化されるブロック内に含まれており、前記局所統計量が計算される前記画素以外の画素である、
    前記ブロックに関連付けられた複数の予測サンプルを受信することと、
    前記複数の画素の各画素について、前記局所統計量に基づいて、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルの各フィルタ処理されていないバージョンとから選択することと、
    前記各画素をイントラ予測するため前記複数の画素の各画素について、前記予測サンプルの各選択された前記バージョンを適用することと、
    前記イントラ予測された画素を使用してコード化されるべき前記ブロックをコード化することと、
    を備える方法。
  2. 前記複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量を計算することと、
    前記複数の予測サンプルのうちの各予測サンプルについて、各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、
    各選択されたフィルタを、対応する前記予測サンプルに適用して、前記予測サンプルのフィルタ処理された前記バージョンを生成することと
    をさらに備える、請求項1に記載の方法。
  3. 前記局所統計量を計算することが、前記複数の画素の各画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、請求項1に記載の方法。
  4. 前記コード化されるブロック内の前記複数の画素の各画素についての前記局所統計量を計算することが、各画素についての局所統計量を、前記画素の少なくとも1つの局所因果的近傍に基づいて計算することをさらに備える、請求項1に記載の方法。
  5. 前記各画素の前記少なくとも1つの局所因果的近傍が、前記各画素に隣接する4つの画素を備える、請求項4に記載の方法。
  6. 前記方法が、
    前記局所統計量についての閾値を決定すること
    をさらに備え、
    前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとから選択することが、
    前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、
    前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することと
    をさらに備える、請求項1に記載の方法。
  7. データを符号化するためのデバイスであって、
    コード化されるブロック内の複数の画素の各画素についての局所統計量を計算することと、前記ブロックがビデオフレームの少なくとも部分を形成し、前記局所統計量が1つ以上の他の画素に基づき、前記他の画素が、前記コード化されるブロック内に含まれ、前記局所統計量が計算される前記画素以外の画素である、
    前記複数の画素の各画素について、前記ブロックに関連付けられた複数の予測サンプルを受信し、前記局所統計量に基づいて、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルの各フィルタ処理されていないバージョンとから選択することと、
    前記各画素をイントラ予測するため前記複数の画素の各画素について、前記予測サンプルの前記選択されたバージョンを適用することと、
    前記イントラ予測された画素を使用してコード化されるべき前記ブロックをコード化することと、
    を行うように構成されたビデオ符号器を備える、装置。
  8. 前記ビデオ符号器が、前記複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量を計算することと、前記複数の予測サンプルのうちの各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、対応する前記予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成することとを行うようにさらに構成される、請求項7に記載の装置。
  9. 前記局所統計量を計算することが、前記複数の画素の各画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、請求項8に記載の装置。
  10. 前記コード化されるブロック内の前記複数の画素の各画素についての前記局所統計量を計算することが、各画素についての局所統計量を、前記各画素の少なくとも1つの局所因果的近傍に基づいて計算することを更に備える、請求項7に記載の装置。
  11. 前記各画素の前記少なくとも1つの局所因果的近傍が、前記各画素に隣接する4つの画素を備える、請求項10に記載の装置。
  12. 前記ビデオ符号器が、前記局所統計量についての閾値を決定することを行うように更に構成され、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとから選択することが、前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することとを更に備える、請求項7に記載の装置。
  13. 実行されたとき、
    コード化されるブロック内の複数の画素の各画素についての局所統計量を計算することと、前記ブロックがビデオフレームの少なくとも部分を形成し、前記局所統計量が1つ以上の他の画素に基づき、前記他の画素が、前記コード化されるブロック内に含まれ、前記局所統計量が計算される前記画素以外の画素である、
    前記ブロックに関連付けられた複数の予測サンプルを受信することと、
    前記複数の画素の各画素について、前記局所統計量に基づいて、前記複数の予測サンプルのうちの予測サンプルの各フィルタ処理されたバージョンと、前記予測サンプルの各フィルタ処理されていないバージョンとから選択することと、
    前記各画素をイントラ予測するため前記複数の画素の各画素について、前記予測サンプルの前記各選択されたバージョンを適用することと、
    をビデオコード化装置のプロセッサに行わせる命令を記憶しているコンピュータ可読記憶媒体。
  14. 前記命令が、前記ビデオコード化装置に、
    前記複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量を計算することと、
    前記複数の予測サンプルのうちの各予測サンプルについて、各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、
    各選択されたフィルタを、対応する前記予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成することと
    を更に行わせる、請求項13に記載のコンピュータ可読記憶媒体。
  15. 前記局所統計量を計算することが、前記複数の画素の各画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、請求項13に記載のコンピュータ可読記憶媒体。
  16. 前記複数の画素の各画素についての前記局所統計量を計算することが、各画素についての局所統計量を、前記各画素の少なくとも1つの局所因果的近傍に基づいて計算することを更に備える、請求項13に記載のコンピュータ可読記憶媒体。
  17. 前記各画素の前記少なくとも1つの局所因果的近傍が、前記各画素に隣接する4つの画素を備える、請求項13に記載のコンピュータ可読記憶媒体。
  18. 前記命令が、前記ビデオコード化装置に、
    前記局所統計量についての閾値を決定すること
    を更に行わせ、
    前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとの間で選択することが、
    前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、
    前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することと
    を更に備える、請求項13に記載のコンピュータ可読記憶媒体。
  19. ビデオデータを処理するための装置であって、
    コード化されるブロック内の複数の画素の各画素についての局所統計量を計算するための手段と、前記ブロックがビデオフレームの少なくとも部分を形成し、前記局所統計量が1つ以上の他の画素に基づいており、前記他の画素が、前記コード化されるブロック内に含まれており、前記局所統計量が計算される前記画素以外の画素である、
    前記ブロックに関連付けられた複数の予測サンプルを受信するための手段と、
    前記複数の画素の各画素について、前記局所統計量に基づいて、前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルの各フィルタ処理されていないバージョンとの間で選択するための手段と、
    前記各画素をイントラ予測するため前記複数の画素の各画素について、前記予測サンプルの前記選択されたバージョンを適用するための手段と、
    前記イントラ予測された画素を使用してコード化されるべき前記ブロックをコード化する手段と、
    を備える装置。
  20. 前記複数の予測サンプルのうちの各予測サンプルについての少なくとも1つの局所統計量を計算するための手段と、
    前記複数の予測サンプルのうちの各予測サンプルについて、各予測サンプルについての前記少なくとも1つの局所統計量に基づいて、複数の異なるフィルタからフィルタを選択するための手段と、
    各選択されたフィルタを、対応する前記予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成するための手段と
    を更に備える、請求項19に記載の装置。
  21. 前記局所統計量を計算するための手段が、前記複数の画素の各画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算するための手段を備える、請求項19に記載の装置。
  22. 前記コード化されるブロック内の前記複数の画素の各画素についての前記局所統計量を計算することが、各画素についての局所統計量を、前記各画素の少なくとも1つの局所因果的近傍に基づいて計算することを更に備える、請求項19に記載の装置。
  23. 前記装置が、
    前記局所統計量についての閾値を決定するための手段
    を更に備え、
    前記複数の予測サンプルのうちの予測サンプルのフィルタ処理されたバージョンと、前記予測サンプルのフィルタ処理されていないバージョンとから選択するための手段が、
    前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択するための手段と、
    前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択するための手段と
    を更に備える、請求項19に記載の装置。
  24. ビデオデータを処理する方法であって、
    ビデオフレームの少なくとも部分の画素を示すコード化ブロックを受信することと、
    前記コード化ブロックに関連付けられた複数の予測サンプルを決定することと、
    前記コード化ブロックに関連付けられた前記ビデオフレームの前記部分内の複数の画素の各画素についての局所統計量を計算することと、前記局所統計量が1つ以上の他の画素に基づき、前記他の画素が、前記コード化されるブロック内に含まれ、前記局所統計量が計算される前記画素でない画素である、
    前記複数の画素の各画素について、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとから選択することと、
    前記各画素をイントラ予測するため前記複数の画素の各画素について、前記複数の予測サンプルの前記各選択されたバージョンを適用することと、
    前記イントラ予測された画素を使用して前記コード化ブロックを復号することと、
    を備える方法。
  25. 前記方法が、
    前記局所統計量についての閾値を決定すること
    を更に備え、
    前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとの間で選択することが、
    前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、
    前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することと
    を更に備える、請求項24に記載の方法。
  26. 前記局所統計量が、第1の局所統計量であり、前記方法が、
    各予測サンプルについて、前記複数の予測サンプルのうちの予測サンプルについての第2の局所統計量を計算することと、
    各予測サンプルについて、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、
    各選択されたフィルタを、対応する前記予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成することと
    を更に備える、請求項24に記載の方法。
  27. 前記方法が、
    前記第2の局所統計量についての閾値を決定すること
    を更に備え、
    各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することが、
    前記第2の局所統計量の値が前記閾値未満であるとき、第1のフィルタを選択することと、
    前記第2の局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、第2のフィルタを選択することと
    を更に備える、請求項26に記載の方法。
  28. 前記局所統計量を計算することが、前記複数の画素の各画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算することを備える、請求項26に記載の方法。
  29. 前記コード化されるブロック内の前記複数の画素の各画素についての前記局所統計量を計算することが、前記各画素の少なくとも1つの局所因果的近傍の、各画素についての局所統計量を計算することを更に備える、請求項24に記載の方法。
  30. 前記各画素の前記少なくとも1つの局所因果的近傍が、前記各画素に隣接する4つの画素を備える、請求項29に記載の方法。
  31. データを復号するための装置であって、
    ビデオフレームの少なくとも部分の画素を示すコード化ブロックを受信し、前記コード化ブロックに関連付けられた複数の予測サンプルを決定することと、
    前記コード化ブロックに関連付けられた前記ビデオフレームの前記部分内の複数の画素の各画素についての局所統計量を計算することと、前記局所統計量が1つ以上の他の画素に基づき、前記他の画素が、前記コード化されるブロック内に含まれ、前記局所統計量が計算される前記画素以外の画素である、
    前記複数の画素の各画素について、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとから選択することと、
    前記各画素をイントラ予測するため前記複数の画素の各画素について、前記複数の予測サンプルの各選択された前記バージョンを適用することと、
    前記イントラ予測された画素を使用して前記コード化ブロックを復号することと、
    を行うように構成されたビデオ復号器を備える、装置。
  32. 前記ビデオ復号器が、前記局所統計量についての閾値を決定することを行うように更に構成され、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとから選択することが、前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することとを行うように、前記ビデオ復号器を更に構成する、請求項31に記載の装置。
  33. 前記局所統計量が、第1の局所統計量であり、前記ビデオ復号器が、各予測サンプルについて、前記複数の予測サンプルのうちの予測サンプルについての第2の局所統計量を計算することと、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、各選択されたフィルタを、対応する前記予測サンプルに適用して、前記予測サンプルの前記フィルタ処理されたバージョンを生成することとを行うように更に構成される、請求項31に記載の装置。
  34. 前記ビデオ復号器が、前記第2の局所統計量についての閾値を決定することを行うように更に構成され、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することが、前記第2の局所統計量の値が前記閾値未満であるとき、第1のフィルタを選択することと、前記第2の局所統計量の前記値が前記閾値以上のとき、第2のフィルタを選択することとを行うように、前記ビデオ復号器を更に構成する、請求項33に記載の装置。
  35. 前記局所統計量が、前記複数の画素の各画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを備える、請求項31に記載の装置。
  36. 前記コード化されるブロック内の前記複数の画素の各画素についての前記局所統計量が、前記各画素の少なくとも1つの局所因果的近傍の、前記各画素についての局所統計量を更に備える、請求項31に記載の装置。
  37. 前記各画素の前記少なくとも1つの局所因果的近傍が、前記各画素に隣接する4つの画素を備える、請求項31に記載の装置。
  38. 実行されたとき、
    ビデオフレームの少なくとも部分の画素を示すコード化ブロックを受信することと、
    前記コード化ブロックに関連付けられた複数の予測サンプルを決定することと、
    前記コード化ブロックに関連付けられた前記ビデオフレームの前記部分内の複数の画素の各画素についての局所統計量を計算することと、前記局所統計量が1つ以上の他の画素に基づき、前記他の画素が、前記コード化されるブロック内に含まれ、前記局所統計量が計算される前記画素以外の画素である、
    前記複数の画素の各画素について、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとから選択することと、
    前記各画素をイントラ予測するため前記複数の画素の各画素について、前記複数の予測サンプルの前記各選択されたバージョンを適用することと、
    前記イントラ予測された画素を使用して前記コード化ブロックを復号することと
    をビデオコード化装置のプロセッサに行わせる命令を記憶しているコンピュータ可読記憶媒体。
  39. 前記命令が、前記ビデオコード化装置の前記プロセッサに、
    前記局所統計量についての閾値を決定すること
    を更に行わせ、
    前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとから選択することが、
    前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択することと、
    前記局所統計量の前記値が前記閾値に等しいか又はそれよりも大きいとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択することと
    を更に備える、請求項38に記載のコンピュータ可読記憶媒体。
  40. 前記命令が、前記ビデオコード化装置の前記プロセッサに、
    各予測サンプルについて、前記複数の予測サンプルのうちの予測サンプルについての第2の局所統計量を計算することと、
    各予測サンプルについて、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することと、
    各選択されたフィルタを、対応する前記予測サンプルに適用して、前記予測サンプルのフィルタ処理されたバージョンを生成することと
    を更に行わせる、請求項38に記載のコンピュータ可読記憶媒体。
  41. 前記命令が、前記ビデオコード化装置の前記プロセッサに、
    前記第2の局所統計量についての閾値を決定すること
    を更に行わせ、
    各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択することが、
    前記第2の局所統計量の値が前記閾値未満であるとき、第1のフィルタを選択することと、
    前記第2の局所統計量の前記値が前記閾値以上のとき、第2のフィルタを選択することと
    を更に備える、請求項40に記載のコンピュータ可読記憶媒体。
  42. 前記局所統計量が、前記複数の画素の各画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを備える、請求項38に記載のコンピュータ可読記憶媒体。
  43. 前記複数の画素の各画素についての前記局所統計量が、前記画素の少なくとも1つの局所因果的近傍の、各画素についての局所統計量を更に備える、請求項38に記載のコンピュータ可読記憶媒体。
  44. 前記各画素の前記少なくとも1つの局所因果的近傍が、前記各画素に隣接する4つの画素を備える、請求項38に記載のコンピュータ可読記憶媒体。
  45. ビデオデータを処理するための装置であって、
    ビデオフレームの少なくとも部分の画素を示すコード化ブロックを受信するための手段と、
    前記コード化ブロックに関連付けられた複数の予測サンプルを決定するための手段と、
    前記コード化ブロックに関連付けられた前記ビデオフレームの前記部分内の複数の画素の各画素についての局所統計量を計算するための手段と、前記局所統計量が1つ以上の他の画素に基づき、前記他の画素が、前記コード化されるブロック内に含まれ、前記局所統計量が計算される前記画素以外の画素である、
    前記複数の画素の各画素について、前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとの間で選択するための手段と、
    前記各画素をイントラ予測するため前記複数の画素の各画素について、前記複数の予測サンプルの前記各選択されたバージョンを適用するための手段と、
    前記イントラ予測された画素を使用して前記コード化ブロックを復号するための手段と、
    を備える装置。
  46. 前記装置が、
    前記局所統計量についての閾値を決定するための手段
    を更に備え、
    前記局所統計量に基づいて、前記複数の予測サンプルと、前記複数の予測サンプルのフィルタ処理されたバージョンとから選択するための手段が、
    前記局所統計量の値が前記閾値未満であるとき、前記予測サンプルの前記フィルタ処理されていないバージョンを選択するための手段と、
    前記局所統計量の前記値が前記閾値以上のとき、前記予測サンプルの前記フィルタ処理されたバージョンを選択するための手段と
    を更に備える、請求項45に記載の装置。
  47. 前記局所統計量が、第1の局所統計量であり、前記装置が、
    各予測サンプルについて、前記複数の予測サンプルのうちの予測サンプルについての第2の局所統計量を計算するための手段と、
    各予測サンプルについて、各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択するための手段と、
    各選択されたフィルタを、対応する前記予測サンプルに適用して、前記予測サンプルのフィルタ処理されたバージョンを生成するための手段と
    を更に備える、請求項45に記載の装置。
  48. 前記装置が、
    前記第2の局所統計量についての閾値を決定するための手段を更に備え、
    各予測サンプルについての前記第2の局所統計量に基づいて、複数の異なるフィルタからフィルタを選択するための手段が、
    前記第2の局所統計量の値が前記閾値未満であるとき、第1のフィルタを選択するための手段と、
    前記第2の局所統計量の前記値が前記閾値以上のとき、第2のフィルタを選択するための手段と
    を更に備える、請求項47に記載の装置。
  49. 前記局所統計量を計算するための手段が、前記複数の画素の各画素に関連付けられた局所勾配、分散、強度値、又は位置のうちの少なくとも1つを計算するための手段を備える、請求項45に記載の装置。
  50. 前記複数の画素の各画素についての前記局所統計量を計算することが、前記各画素の少なくとも1つの局所因果的近傍の、各画素についての局所統計量を計算することを更に備える、請求項45に記載の装置。
  51. 前記各画素の前記少なくとも1つの局所因果的近傍が、前記各画素に隣接する4つの画素を備える、請求項45に記載の装置。
JP2013552016A 2011-01-28 2012-01-18 画素レベルの適応イントラ平滑化 Expired - Fee Related JP5859572B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201161437482P 2011-01-28 2011-01-28
US61/437,482 2011-01-28
US201161507459P 2011-07-13 2011-07-13
US61/507,459 2011-07-13
US13/267,762 2011-10-06
US13/267,762 US9930366B2 (en) 2011-01-28 2011-10-06 Pixel level adaptive intra-smoothing
PCT/US2012/021747 WO2012102929A1 (en) 2011-01-28 2012-01-18 Pixel level adaptive intra-smoothing

Publications (2)

Publication Number Publication Date
JP2014506755A JP2014506755A (ja) 2014-03-17
JP5859572B2 true JP5859572B2 (ja) 2016-02-10

Family

ID=46577361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013552016A Expired - Fee Related JP5859572B2 (ja) 2011-01-28 2012-01-18 画素レベルの適応イントラ平滑化

Country Status (6)

Country Link
US (1) US9930366B2 (ja)
EP (1) EP2668780A1 (ja)
JP (1) JP5859572B2 (ja)
KR (2) KR20160052808A (ja)
CN (1) CN103348677B (ja)
WO (1) WO2012102929A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8520739B2 (en) * 2005-05-09 2013-08-27 Intel Corporation Method and apparatus for adaptively reducing artifacts in block-coded video
CN107181950B (zh) * 2010-12-08 2020-11-06 Lg 电子株式会社 一种执行内预测的编码装置和解码装置
HUE060871T2 (hu) * 2010-12-22 2023-04-28 Lg Electronics Inc Belsõ elõjelzési eljárás és az eljárást alkalmazó készülék
US9288500B2 (en) 2011-05-12 2016-03-15 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
KR101383775B1 (ko) 2011-05-20 2014-04-14 주식회사 케이티 화면 내 예측 방법 및 장치
CN108337521B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 存储由可伸缩编码方法生成的比特流的计算机记录介质
US9693070B2 (en) * 2011-06-24 2017-06-27 Texas Instruments Incorporated Luma-based chroma intra-prediction for video coding
EP2582134A1 (en) * 2011-10-12 2013-04-17 Thomson Licensing Saliency value determination of predictively encoded video streams
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US9307237B2 (en) * 2012-01-19 2016-04-05 Futurewei Technologies, Inc. Reference pixel reduction for intra LM prediction
US9843801B2 (en) 2012-07-10 2017-12-12 Qualcomm Incorporated Generalized residual prediction for scalable video coding and 3D video coding
JP5997545B2 (ja) * 2012-08-22 2016-09-28 キヤノン株式会社 信号処理方法及び信号処理装置
JP5841670B2 (ja) * 2012-09-28 2016-01-13 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
US9743091B2 (en) * 2012-12-17 2017-08-22 Lg Electronics Inc. Method for encoding/decoding image, and device using same
US10356437B2 (en) * 2013-07-22 2019-07-16 Renesas Electronics Corporation Moving image encoding apparatus including padding processor for adding padding data to moving image and operation method thereof
EP2938073A1 (en) * 2014-04-24 2015-10-28 Thomson Licensing Methods for encoding and decoding a picture and corresponding devices
WO2015178796A1 (en) 2014-05-23 2015-11-26 Huawei Technologies Co., Ltd. Method and apparatus for pre-prediction filtering for use in block-prediction techniques
CN106464855B (zh) * 2014-06-26 2019-03-01 华为技术有限公司 提供高效率视频编码中基于深度的块划分的方法和设备
US9565451B1 (en) * 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
US11477484B2 (en) * 2015-06-22 2022-10-18 Qualcomm Incorporated Video intra prediction using hybrid recursive filters
CN105049846B (zh) * 2015-08-14 2019-05-21 广东中星微电子有限公司 图像和视频编解码的方法和设备
EP3358848B1 (en) * 2015-09-29 2021-04-21 LG Electronics Inc. Method of filtering image in image coding system
US10425648B2 (en) * 2015-09-29 2019-09-24 Qualcomm Incorporated Video intra-prediction using position-dependent prediction combination for video coding
WO2017091016A1 (ko) * 2015-11-24 2017-06-01 삼성전자 주식회사 비디오 복호화 방법 및 장치, 그 부호화 방법 및 장치
WO2017142301A1 (ko) 2016-02-16 2017-08-24 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
ES2724568B2 (es) * 2016-06-24 2021-05-19 Kt Corp Método y aparato para tratar una señal de vídeo
US10742979B2 (en) * 2016-12-21 2020-08-11 Arris Enterprises Llc Nonlinear local activity for adaptive quantization
WO2018128345A2 (ko) * 2017-01-04 2018-07-12 삼성전자 주식회사 복호화 방법 및 그 장치
US10694181B2 (en) * 2017-01-27 2020-06-23 Qualcomm Incorporated Bilateral filters in video coding with reduced complexity
CN114513665B (zh) * 2017-01-31 2023-10-27 夏普株式会社 基于平面预测模式导出帧内预测数据的系统和方法
JP7036628B2 (ja) * 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US11190799B2 (en) 2017-06-21 2021-11-30 Lg Electronics Inc. Intra-prediction mode-based image processing method and apparatus therefor
CN111133440A (zh) 2017-08-04 2020-05-08 奥沃德公司 基于机器学习的图像处理技术
KR20230045102A (ko) 2017-09-28 2023-04-04 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US10965941B2 (en) 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
EP3741124A1 (en) * 2018-01-16 2020-11-25 VID SCALE, Inc. Adaptive frame packing for 360-degree video coding
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037986A (en) 1996-07-16 2000-03-14 Divicom Inc. Video preprocessing method and apparatus with selective filtering based on motion detection
KR100269125B1 (ko) * 1997-10-25 2000-10-16 윤덕용 양자화효과감소를위한영상데이터후처리방법및장치
US6907079B2 (en) * 2002-05-01 2005-06-14 Thomson Licensing S.A. Deblocking filter conditioned on pixel brightness
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
JP3997171B2 (ja) * 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US7317842B2 (en) 2003-10-30 2008-01-08 Samsung Electronics Co., Ltd. Global and local statistics controlled noise reduction system
US7412109B2 (en) * 2003-11-07 2008-08-12 Mitsubishi Electric Research Laboratories, Inc. System and method for filtering artifacts in images
US7539248B2 (en) * 2004-04-29 2009-05-26 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7400679B2 (en) * 2004-04-29 2008-07-15 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
US7359565B2 (en) 2004-05-03 2008-04-15 International Business Machines Corporation Method of filtering pixels in a video encoding process
US20060233253A1 (en) * 2005-03-10 2006-10-19 Qualcomm Incorporated Interpolated frame deblocking operation for frame rate up conversion applications
US7680355B2 (en) * 2005-05-02 2010-03-16 Intel Corporation Detection of artifacts resulting from image signal decompression
AU2006320064B2 (en) 2005-11-30 2010-09-09 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
KR100745765B1 (ko) * 2006-04-13 2007-08-02 삼성전자주식회사 화상 데이터의 공간상 예측 장치 및 방법과 그를 이용한부호화 장치 및 방법, 화상 데이터의 공간상 예측 보상장치 및 방법과 그를 이용한 복호화 장치 및 방법
JP2010507335A (ja) 2006-10-18 2010-03-04 トムソン ライセンシング 予測データ精緻化を使用してビデオを符号化する方法及び装置
JP2010514246A (ja) * 2006-12-18 2010-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像圧縮及び伸張
KR101378338B1 (ko) 2007-06-14 2014-03-28 삼성전자주식회사 영상 복구를 이용한 인트라 예측 부호화, 복호화 방법 및장치
US8576906B2 (en) * 2008-01-08 2013-11-05 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filtering
AU2009220567A1 (en) 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding device
KR101591825B1 (ko) 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
KR101517768B1 (ko) 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US8774541B2 (en) 2008-11-05 2014-07-08 Sony Corporation Intra prediction with adaptive interpolation filtering for image compression
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
CN102550026B (zh) 2009-10-05 2016-08-03 汤姆森特许公司 视频编码和解码中色度分量的预测像素的自适应滤波的方法和装置
WO2011132400A1 (ja) 2010-04-22 2011-10-27 パナソニック株式会社 画像符号化方法及び画像復号化方法
EP2564593B1 (en) * 2010-04-26 2018-01-03 Sun Patent Trust Filtering mode for intra prediction inferred from statistics of surrounding blocks
WO2011146105A1 (en) * 2010-05-17 2011-11-24 Technicolor Usa, Inc. Methods and apparatus for adaptive directional filter for video restoration
HUE041324T2 (hu) 2010-05-25 2019-05-28 Lg Electronics Inc Új síkbani elõrejelzés üzemmód
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing

Also Published As

Publication number Publication date
EP2668780A1 (en) 2013-12-04
KR20130119494A (ko) 2013-10-31
KR20160052808A (ko) 2016-05-12
JP2014506755A (ja) 2014-03-17
CN103348677B (zh) 2017-03-22
US20120195378A1 (en) 2012-08-02
CN103348677A (zh) 2013-10-09
US9930366B2 (en) 2018-03-27
KR101864910B1 (ko) 2018-06-05
WO2012102929A1 (en) 2012-08-02

Similar Documents

Publication Publication Date Title
JP5859572B2 (ja) 画素レベルの適応イントラ平滑化
TWI827609B (zh) 基於區塊之自適應迴路濾波器(alf)之設計及發信令
US10419757B2 (en) Cross-component filter
CN110393009B (zh) 帧内预测模式传播
CN107211154B (zh) 用于译码视频数据的方法和装置以及计算机可读存储介质
US10412419B2 (en) Adaptive filtering in video coding
JP5587508B2 (ja) ビデオコード化のためのイントラ平滑化フィルタ
US9838718B2 (en) Secondary boundary filtering for video coding
JP2019508971A (ja) ビデオコーディングのための固定フィルタからのフィルタ係数を予測すること
JP5866453B2 (ja) イントラモードコーディングにおける参照モード選択
KR20180063201A (ko) 비디오 코딩을 위한 위치-의존적인 예측 결합을 이용한 향상된 비디오 인트라-예측
JP2019519141A (ja) フィルタ処理情報のシグナリング
JP2017508346A (ja) ビデオコーディングのための適応的な動きベクトル分解シグナリング
KR20190089890A (ko) 비디오 코딩에서의 양방향 필터 사용의 표시
JP6199371B2 (ja) ビデオ・コーディングのためのインタ・レイヤ・テクスチャ予測
KR20140043807A (ko) 적응적 모션 벡터 해상도를 이용한 비디오 코딩
JP5937205B2 (ja) ビデオコーディングのためのランモードベース係数コーディング
WO2017205010A1 (en) Video debanding using adaptive filter sizes and gradient based banding detection
JP2019534631A (ja) ピークサンプル適応オフセット
US20190320172A1 (en) Hardware-friendly sample adaptive offset (sao) and adaptive loop filter (alf) for video coding
JP2023052019A (ja) ルマ・イントラ・モード・シグナリング
RU2783335C2 (ru) Устройство и сигнализация адаптивного контурного фильтра (alf) на блочной основе

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140715

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151216

R150 Certificate of patent or registration of utility model

Ref document number: 5859572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees