JP5032657B2 - ビデオコーディングでの適応係数スキャン - Google Patents

ビデオコーディングでの適応係数スキャン Download PDF

Info

Publication number
JP5032657B2
JP5032657B2 JP2010512366A JP2010512366A JP5032657B2 JP 5032657 B2 JP5032657 B2 JP 5032657B2 JP 2010512366 A JP2010512366 A JP 2010512366A JP 2010512366 A JP2010512366 A JP 2010512366A JP 5032657 B2 JP5032657 B2 JP 5032657B2
Authority
JP
Japan
Prior art keywords
prediction modes
given
scan order
block
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010512366A
Other languages
English (en)
Other versions
JP2010530183A (ja
Inventor
イエ、ヤン
カークゼウィックズ、マルタ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2010530183A publication Critical patent/JP2010530183A/ja
Application granted granted Critical
Publication of JP5032657B2 publication Critical patent/JP5032657B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本願は、次の米国仮出願の利益を主張する。
2008年2月21日出願の米国仮出願第61/030443号、2007年6月15日出願の米国仮出願第60/944470号、および2007年10月12日出願の米国仮出願第60/979762号
これらの特許出願のそれぞれの内容全体が、参照によって本明細書に組み込まれている。
本開示は、ディジタルビデオコーディングに関し、より具体的には、変換されたビデオブロックの変換係数など、ビデオブロックの係数のエントロピコーディングに関する。
ディジタルビデオ機能を、ディジタルテレビジョン、ディジタル直接放送システム(digital direct broadcast system)、無線電話送受話器などの無線通信デバイス、無線放送システム、携帯情報端末(PDA)、ラップトップコンピュータまたはデスクトップコンピュータ、ディジタルカメラ、ディジタル記録デバイス、ビデオゲーミングデバイス、ゲーム機、および類似物を含む広範囲のデバイスに組み込むことができる。ディジタルビデオデバイスは、ディジタルビデオをより効率的に送信し、受信するためにMPEG−2、MPEG−4、またはH.264/MPEG−4,Part 10,Advanced Video Coding(AVC)などのビデオ圧縮技法を実施する。ビデオ圧縮技法は、ビデオシーケンスに固有の冗長性を減らすか除去するために、空間予測および時間予測を実行する。
ビデオ圧縮は、一般に、空間予測および/または時間予測を含む。具体的に言うと、イントラ符号化は、所与のコーデッドユニット(coded unit)内のビデオブロックの間の空間冗長度を減らすか除去するために空間予測に頼り、このコーデッドユニットは、ビデオフレーム、ビデオフレームのスライス、または類似物を含む場合がある。対照的に、インター符号化は、ビデオシーケンスの連続するコーデッドユニットのビデオブロックの間の時間冗長度を減らすか除去するのに時間予測に頼る。イントラ符号化について、ビデオ符号器は、同一のコーデッドユニット内の他のデータに基づいてデータを圧縮するために、空間予測を実行する。インター符号化について、ビデオ符号器は、複数の隣接するコーデッドユニットの対応するビデオブロックの動きを追跡するために、動き推定および動き補償を実行する。
コーディングされたビデオブロックを、予測モード、予測ブロックサイズ、およびコーディングされるブロックと予測ブロックとの間の差を示すデータの残差ブロックを備える予測情報によって表すことができる。インターコーディングの場合には、1つまたは複数の動きベクトルが、データの予測ブロックを識別するのに使用されるが、イントラコーディングの場合には、予測モードを使用して、予測ブロックを生成することができる。イントラコーディングとインターコーディングとの両方が、複数の異なる予測モードを定義することができ、これらの予測モードは、コーディングに使用される異なるブロックサイズおよび/または予測技法を定義することができる。
ビデオ符号器は、残差ブロックの通信に関連するビットレートをさらに減らすために、変換プロセス、量子化プロセス、およびエントロピコーディングプロセスを適用することができる。変換技法は、離散コサイン変換または、ウェーブレット変換、整数変換、もしくは他のタイプの変換など、概念的に類似するプロセスを備えることができる。一例として、離散コサイン変換(DCT)プロセスでは、変換プロセスは、ピクセル値のセットを変換係数に変換し、この変換係数は、周波数領域でのピクセル値のエネルギを表す。量子化は、変換係数に適用され、一般に、任意の所与の変換係数に関連するビットの個数を制限するプロセスを伴う。エントロピコーディングは、量子化された変換係数のシーケンスを集合的に比較する1つまたは複数のプロセスを備える。
エントロピコーディングプロセスの前に、変換係数の変換されたビデオブロックを、変換係数を2次元ブロックから1次元ベクトルにスキャンすることによって直列化することができる。通常、スキャンは、ジグザグの形で実行され、ビデオブロックの左上部分の変換係数が、1次元ベクトルにより早く現れ、ビデオブロックの右下部分の変換係数が、より遅く現れるようになっている。高エネルギの変換係数は、通常、変換の後に左上角付近に存在し、したがって、ジグザグスキャンは、1次元ベクトルの始め付近に非ゼロの変換係数をグループ化するのに有効である。スキャンの順序は、エントロピコーディングで達成できる圧縮のレベルに大きく影響する可能性がある。
エントロピコーディングプロセスの例は、content adaptive variable length coding(CAVLC)およびcontext adaptive binary arithmetic coding(CABAC)を含む。CAVLCは、ITU H.264/MPEG4 Part 10 AVC標準規格によってサポートされるエントロピコーディング技法の1タイプである。CAVLCは、量子化された変換係数の直列化された「ラン」を効果的に圧縮する形で可変長コーディング(VLC)テーブルを使用する。CABACは、ITU H.264/MPEG4 Part 10 AVC標準規格によってサポートされるエントロピコーディング技法のもう1つのタイプである。CABACは、2進化、コンテキストモデル選択、および2進算術コーディングを含む複数のステージを含む場合がある。多数の他のタイプのエントロピコーディング技法も存在し、新しいエントロピコーディング技法が、将来に現れる可能性が高い。
ビデオ復号器は、変換係数の1次元ベクトルを再構成するために、符号化プロセスで使用されたタイプのエントロピコーディングに対応する逆エントロピコーディング動作を実行することができる。逆スキャンを復号器で実行して、変換係数の受け取られた1次元ベクトルから2次元ブロックを形成することもできる。その後、ビデオ復号器は、残差ピクセルデータを再構成するために、ブロック内の変換係数を逆量子化し、逆変換する。ビデオ復号器は、予測ビデオブロックを得るために、予測モード、予測サイズ、およびインターコーディングの場合に動き情報を備える復号された予測情報を使用することができる。その後、ビデオ復号器は、ビデオの復号されたシーケンスを生成するために、予測ブロックを対応する再構成された残差ブロックと組み合わせることができる。
一般に、本開示は、ビデオブロックの係数、たとえば量子化された変換係数をスキャンする技法を説明する。符号化する側では、スキャンが、係数の2次元ブロックから係数の1次元ベクトルを作成し、復号する側では、逆スキャンが、1次元ベクトルから係数の2次元ブロックを作成する。通常のジグザグスキャンを使用するのではなく、本開示で説明されるスキャン技法は、同一の予測モードでコーディングされた係数の以前にコーディングされたブロックに関連する統計に基づいて、ブロック内の係数のスキャン順序を適合させる。予測モードごとに、たとえば所与の係数がゼロ値または非ゼロ値を有する確率を示す、係数の統計が格納される。周期的に、非ゼロ係数が1次元ベクトルの始めに向かって一緒にグループ化され、ゼロ係数が1次元ベクトルの終りに向かって一緒にグループ化される(これは、エントロピコーディングの有効性を改善することができる)ことをよりよく保証するために、スキャン順序に対する調整を行うことができる。
スキャン順序の調整は、計算集中型になり得る。したがって、本開示の技法は、スキャン順序調整が発生する頻度を減らすことができ、なおかつスキャン順序調整に起因する圧縮の所望の改善を達成する、しきい値およびしきい値調整を課すことができる。この技法は、符号器および復号器によって、相反する形で実行することができる。すなわち、符号器は、ビデオブロックの係数を2次元フォーマットから1次元ベクトルフォーマットにスキャンするために、エントロピ符号化の前に適応スキャン技法を使用することができる。復号器は、ビデオブロックの係数の受け取られた1次元ベクトルをスキャンして、係数の2次元ブロックを形成することができる。したがって、ビデオブロックの係数を、2次元ブロックフォーマットまたは1次元ベクトルフォーマットで表すことができる。本開示のスキャン技法は、一般に、ビデオブロックの係数が2次元ブロックフォーマットから1次元ベクトルフォーマットへおよびその逆へどのように変換されるのかを定義する。本開示は、主に量子化された変換係数のスキャンに焦点を合わせるが、類似する技法を、たとえば、ピクセル値のスキャンが実施される場合に、量子化されていない係数、または変換されていないビデオブロックのピクセル値のような他のタイプの係数をスキャンするのに使用することができる。
一例で、本開示は、ビデオブロックの係数をコーディングする方法であって、複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を格納することと、予測モードのそれぞれに関連するビデオブロックをカウントすることと、予測モードのそれぞれについて定義されるスキャン順序に基づいてビデオブロックの係数値をスキャンすることと、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する所与のスキャン順序を評価することと、係数値をエントロピコーディングすることとを備える方法を提供する。
もう1つの例で、本開示は、ビデオブロックの係数をコーディングする装置であって、スキャンユニットと、エントロピコーディングユニットとを備える装置を提供する。スキャンユニットは、複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を格納し、予測モードのそれぞれに関連するビデオブロックをカウントし、予測モードのそれぞれについて定義されるスキャン順序に基づいてビデオブロックの係数値をスキャンし、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する所与のスキャン順序を評価する。エントロピコーディングユニットは係数値をエントロピコーディングする。
もう1つの例で、本開示は、ビデオブロックの係数をコーディングするデバイスであって、複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を格納するための手段と、予測モードのそれぞれに関連するビデオブロックをカウントするための手段と、予測モードのそれぞれについて定義されるスキャン順序に基づいてビデオブロックの係数値をスキャンするための手段と、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する所与のスキャン順序を評価するための手段と、係数値をエントロピコーディングするための手段とを備えるデバイスを提供する。
もう1つの例で、本開示は、複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を格納し、予測モードのそれぞれに関連するビデオブロックをカウントし、予測モードのそれぞれについて定義されるスキャン順序に基づいてビデオブロックの係数値を2次元ブロックから1次元ベクトルにスキャンし、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する所与のスキャン順序を評価するスキャンユニットを備えるデバイスを提供する。このデバイスは、1次元ベクトルの係数値をエントロピ符号化するエントロピコーディングユニットと、エントロピ符号化された係数値を備えるビットストリームを送る無線送信器とをも含む。
もう1つの例で、本開示は、1次元ベクトル内のビデオブロックのエントロピコーディングされた係数値を備えるビットストリームを受け取る無線受話器と、ビデオブロックの係数値をエントロピ復号するエントロピコーディングユニットと、スキャンユニットとを備えるデバイスを提供する。この場合に、スキャンユニットは、複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を格納し、予測モードのそれぞれに関連するビデオブロックをカウントし、予測モードのそれぞれについて定義されるスキャン順序に基づいてビデオブロックの係数値を1次元ベクトルから2次元ブロックにスキャンし、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する所与のスキャン順序を評価する。
本開示で説明される技法を、ハードウェア、ソフトウェア、ファームウェア、またはその組合せで実施することができる。ハードウェアで実施される場合に、装置を、集積回路、プロセッサ、ディスクリートロジック、またはその組合せで実施することができる。ソフトウェアで実施される場合に、ソフトウェアを、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、またはディジタル信号プロセッサ(DSP)などの1つまたは複数のプロセッサ内で実行することができる。本技法を実行するソフトウェアを、当初にコンピュータ可読媒体に格納し、プロセッサ内にロードし、実行することができる。
したがって、本開示は、ビデオコーディングデバイス内での実行時にデバイスにビデオブロックの係数をコーディングさせる命令を備えるコンピュータ可読媒体であって、命令が、デバイスに、複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を格納させ、予測モードのそれぞれに関連するビデオブロックをカウントさせ、予測モードのそれぞれについて定義されるスキャン順序に基づいてビデオブロックの係数値をスキャンさせ、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する所与のスキャン順序を評価させ、係数値をエントロピコーディングさせるコンピュータ可読媒体をも企図する。
本開示の1つまたは複数の態様の詳細を、添付図面および下の説明に示す。本開示で説明される技法の他の特徴、目的、および利益は、説明および図面からならびに特許請求の範囲から明白になるであろう。
ビデオ符号化および復号システムを示す例示的ブロック図。 本開示と一貫するビデオ符号器の例を示すブロック図。 本開示と一貫するビデオ復号器の例を示すブロック図。 4×4ビデオブロックのジグザグスキャンを示す概念図。 8×8ビデオブロックのジグザグスキャンを示す概念図。 特定のモードのブロックに関連する統計および本開示の技法と一貫するアルゴリズムを示す概念図。 本開示と一貫する仮説の例を示す概念図。 本開示と一貫する技法を示す流れ図。 本開示と一貫する技法を示す流れ図。
本開示は、ビデオブロックの係数、たとえば量子化された変換係数をスキャンする技法を説明する。本開示では、用語「係数ブロック」は、一般に、ビデオブロックに関連する変換係数のセットを指す。係数ブロックを、2次元ブロックフォーマットまたは1次元ベクトルフォーマットで表すことができる。本開示のスキャン技法は、係数ブロックが2次元ブロックフォーマットから1次元ベクトルフォーマットに符号器によってどのように変換されるのか、および係数ブロックが1次元ベクトルフォーマットから2次元ブロックフォーマットに復号器によってどのように変換されるのかを定義する。本開示は、主に変換され量子化されたビデオブロックに適用されるものとしてスキャン技法を説明するが、本明細書で説明されるスキャン技法を適用して、他のタイプのビデオデータ(たとえば、ピクセル領域のビデオブロック)を2次元ブロックフォーマットから1次元ベクトルフォーマットに変換することもできる。
従来、2次元ブロックフォーマットから1次元ベクトルフォーマットへの係数ブロックのスキャンは、ジグザグスキャン順序に従う。この場合に、係数ブロックの左上の係数は、1次元ベクトル内でより早く現れ、係数ブロックの右下の係数は、より遅く現れる。高エネルギの変換係数は、通常、変換の後に左上角付近に存在する。この理由から、ジグザグスキャンは、1次元ベクトルの始め付近に非ゼロの係数をグループ化する有効な形である。その後、エントロピコーディングユニットは、通常、1次元ベクトルをランおよびレベルの形でエントロピコーディングし、ここで、ランは、2つの非ゼロ変換係数の間のゼロ値変換係数の個数であり、レベルは、非ゼロ変換係数の値を表す。さらに、最後の非ゼロ変換係数が所与の係数ブロックについて(たとえば、1次元ベクトルフォーマットで)送られた後に、エントロピコーダは、これがブロック内の最後の非ゼロ変換係数であることを示すために、通常、ブロックの終り(EOB)記号または最終係数フラグを送る。非ゼロ変換係数を1次元ベクトルの始めに向かってグループ化することによって、ランのより小さい値をコーディングできるので、また、EOB記号もしくは最終係数フラグをよりすばやく送ることができるので、より高い圧縮を達成することができる。残念ながら、ジグザグスキャンは、必ず係数の最も効果的なグループ化を達成するわけではない。
従来のジグザグスキャンを使用するのではなく、本開示の技法は、同一の予測モードでコーディングされた以前にコーディングされたブロックに関連する統計に基づいてスキャン順序を適合させる。予測モードごとに、たとえば所与の位置の変換係数がゼロまたは非ゼロである確率を示す、変換係数の統計が格納される。周期的に、非ゼロ変換係数が1次元ベクトルの始めに向かって一緒にグループ化され、ゼロ値係数が1次元ベクトルの終りに向かって一緒にグループ化される(これは、エントロピコーディングの有効性を改善することができる)ことをよりよく保証するために、スキャン順序に対する調整を行うことができる。この適応スキャン技法は、別々のコーデッドユニットごとに、たとえば、各フレーム、スライス、または他のタイプのコーデッドユニットごとに行うことができる。コーデッドユニットの係数ブロックを、当初は固定された形(たとえば、ジグザグスキャン順序または別の固定スキャン順序)でスキャンすることができるが、所与の予測モードの係数ブロックの統計が、異なるスキャン順序が非ゼロ値係数およびゼロ値係数をグループ化するのにより効果的であることを示す場合に、異なるスキャン順序にすばやく適合することができる。
しかし、スキャン順序の調整は、計算集中型になり得る。したがって、本開示の技法は、スキャン順序調整が発生する頻度を減らすことができ、なおかつそのようなスキャン順序調整に起因する圧縮の所望の改善を達成する、しきい値およびしきい値調整を課す。この技法は、符号器および復号器によって、相反する形で実行することができる。すなわち、符号器は、ビデオブロックの係数を2次元フォーマットから1次元ベクトルにスキャンするために、エントロピ符号化の前に適応スキャン技法を使用することができる。復号器は、ビデオブロックの係数の受け取られた1次元ベクトルを逆スキャンし、2次元フォーマットで係数ブロックを再作成するためのエントロピ復号プロセスを続けることができる。やはり、句「係数ブロック」は、一般に、2次元ブロックフォーマットまたは1次元ベクトルフォーマットのいずれかで表された変換された係数のセットを指す。
図1は、本開示の教示を実施できる例示的なビデオ符号化および復号システム10を示すブロック図である。図1に示されているように、システム10は、通信チャネル15を介して符号化ビデオを宛先デバイス16に送るソースデバイス12を含む。ソースデバイス12および宛先デバイス16は、広範囲のデバイスのいずれをも備えることができる。いくつかの場合に、ソースデバイス12および宛先デバイス16は、いわゆるセル無線電話機または衛星無線電話機などの無線通信デバイス送受話器を備える。しかし、より一般的に係数の適応スキャンを適用する本開示の技法は、必ずしも無線応用例または無線セッティングに限定されない。
図1の例では、ソースデバイス12は、ビデオソース20、ビデオ符号器22、変調器/復調器(モデム)23、および送信器24を含むことができる。宛先デバイス16は、受話器26、モデム27、ビデオ復号器28、およびディスプレイデバイス30を含むことができる。本開示によれば、ソースデバイス12のビデオ符号器22を、データの1次元セットを形成するためにエントロピ符号化の前に係数の適応スキャンを実行するように構成することができる。同様に、宛先デバイス16のビデオ復号器28を、データの2次元セットを作るためにエントロピ復号の後に係数の適応スキャンを実行するように構成することができる。ビデオ復号器28は、ビデオ符号器22によって適用されるスキャン順序のいかなる表示をも受け取る必要はない。そうではなく、スキャン順序を、ビデオ符号器22とビデオ復号器28との両方で本質的に同一の形で導出することができる。
図1に示されたシステム10は、単に例示的である。本開示のスキャン技法は、content adaptive variable length coding(CAVLC)、context adaptive binary arithmetic coding(CABAC)、または他のエントロピコーディング方法論など、さまざまなエントロピコーディング方法論のいずれをもサポートする任意の符号化デバイスまたは復号デバイスによって実行することができる。ソースデバイス12および宛先デバイス16は、そのようなコーディングデバイスの単なる例である。
本開示によれば、ビデオ符号器22およびビデオ復号器28は、複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を格納することができ、予測モードのそれぞれに関連するビデオブロックをカウントすることができる。ビデオ符号器22およびビデオ復号器28は、予測モードのそれぞれについて定義されたスキャン順序に基づいてビデオブロックの係数値をスキャンし、予測モードの所与の1つに関連するカウント値が予測モードの所与1つのしきい値を満足するときの予測モードの所与の1つの統計と、係数値をエントロピコーディングすることとに基づいて、予測モードの所与の1つに関連する所与のスキャン順序を評価する。やはり、符号化する側では、スキャンがエントロピ符号化に先立ち、復号する側では、スキャンがエントロピ復号に続く。
一般に、ソースデバイス12は、宛先デバイス16への伝送のためにコーディングされたビデオデータを生成する。しかし、いくつかの場合には、デバイス12、16が、実質的に対称の形で動作することができる。たとえば、デバイス12、16のそれぞれが、ビデオ符号化コンポーネントおよびビデオ復号コンポーネントを含む場合がある。したがって、システム10は、たとえばビデオストリーミング、ビデオ再生、ビデオ放送、またはビデオ電話のための、ビデオデバイス12と16との間の一方向または二方向のビデオ伝送をサポートすることができる。
ソースデバイス12のビデオソース20は、ビデオカメラなどのビデオ取込デバイス、以前に取り込まれたビデオを含むビデオアーカイブ、またはビデオコンテンツプロバイダからのビデオフィードを含むことができる。さらなる代替案として、ビデオソース20は、ソースビデオとして、コンピュータグラフィックスベースのデータ、または生ビデオ、アーカイブされたビデオ、およびコンピュータ生成されたビデオの組合せを生成することができる。いくつかの場合に、ビデオソース20がビデオカメラである場合には、ソースデバイス12および宛先デバイス16は、いわゆるカメラ付き携帯電話機またはテレビ電話を形成することができる。各場合に、取り込まれるビデオ、事前に取り込まれたビデオ、またはコンピュータ生成されたビデオを、ビデオ符号器22によって符号化することができる。次に、符号化ビデオ情報を、通信標準規格、たとえば、符号分割多元接続(CDMA)または別の通信標準規格もしくは通信技法に従ってモデム23によって変調し、送信器24を介して宛先デバイス16に送ることができる。
宛先デバイス16の受話器26は、チャネル15を介して情報を受け取り、モデム27は、その情報を復調する。ビデオ復号器28によって実行されるビデオ復号プロセスは、ビデオシーケンスの再構成の一部として、エントロピ復号および適応スキャンを実行することができる。復号プロセスは、符号化プロセスに似て、データ圧縮の改善されたレベルをサポートするために本開示の技法を使用する。ディスプレイデバイス28は、復号されたビデオデータをユーザに表示し、陰極線管(CRT)、液晶ディスプレイ(LCD)、プラズマディスプレイ、有機発光ダイオード(OLED)ディスプレイ、または別のタイプのディスプレイデバイスなど、さまざまなディスプレイデバイスのいずれをも備えることができる。
図1の例では、通信チャネル15は、ラジオ周波数(RF)スペクトルまたは1つもしくは複数の物理伝送路などの任意の無線または有線の通信媒体、あるいは無線媒体および有線媒体の任意の組合せを備えることができる。通信チャネル15は、ローカルエリアネットワーク、広域ネットワーク、またはインターネットなどのグローバルネットワークなどのパケットベースネットワークの一部を形成することができる。通信チャネル15は、一般に、ソースデバイス12から宛先デバイス16にビデオデータを送るための、任意の適切な通信媒体または異なる通信媒体の集合を表す。
ビデオ符号器22およびビデオ復号器28は、CAVLC、CABAC、またはMPEG−4,Part 10,Advanced Video Coding(AVC)とも称するITU−T H.264標準規格などの別のエントロピコーディング方法論をサポートするビデオ圧縮標準規格に従って動作することができる。しかし、この技法は、単に例示のためにこの標準規格を参照して説明される。そのような技法は、Moving Picture Experts Group(MPEG)によってMPEG−1、MPEG−2、およびMPEG−4で定義されるもの、ITU−T H.263標準規格、米国映画テレビ技術者協会(SMPTE)421M video CODEC標準規格(一般に「VC−1」と称する)、中国のAudio Video Coding Standard Workgroupによって定義される標準規格(一般に「AVS」と称する)、ならびに標準化団体によって定義されるかプロプライエタリ標準規格として組織によって開発される任意の他のビデオコーディング標準規格など、さまざまな他のビデオコーディング標準規格のいずれにもすぐに適用することができる。
図1には示されていないが、いくつかの態様で、ビデオ符号器22およびビデオ復号器28は、それぞれ、オーディオ符号器およびオーディオ復号器と一体化されてもよく、共通データストリームまたは別々のデータストリーム内のオーディオとビデオとの両方の符号化を処理するために、適当なMUX−DEMUXユニットまたは他のハードウェアおよびソフトウェアを含むことができる。適用可能な場合に、MUX−DEMUXユニットは、ITU H.223マルチプレクサプロトコルまたはユーザデータグラムプロトコル(UDP)などの他のプロトコルに従うことができる。
ITU H.264/MPEG−4 Part 10 AVC標準規格は、ISO/IEC Moving Picture Experts Group(MPEG)と一緒にITU−T Video Coding Experts Group(VCEG)によって、Joint Video Team(JVT)として知られる集団パートナーシップの成果として考案された。いくつかの態様で、本開示で説明される技法を、全般的にH.264標準規格に従うデバイスに適用することができる。H.264標準規格は、ITU−T Study Group著、ITU−T Recommendation H.264、Advanced Video Coding for generic audiovisual services、2005年3月に記載されており、これを本明細書ではH.264標準規格もしくはH.264仕様書、またはH.264/AVC標準規格もしくは仕様書と称する場合がある。Joint Video Team(JVT)は、H.264/AVCの拡張に取り組み続けている。
ビデオ符号器22およびビデオ復号器28を、それぞれ、1つまたは複数のマイクロプロセッサ、ディジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはその任意の組合せとして実施することができる。ビデオ符号器22およびビデオ復号器28のそれぞれを、1つまたは複数の符号器または復号器に含めることができ、この符号器または復号器のいずれをも、それぞれのモバイルデバイス、サブスクライバデバイス、放送デバイス、サーバ、または類似物内の組み合わされた符号器/復号器(コーデック)の一部として一体化することができる。
ビデオシーケンスは、一連のビデオフレームを含む。いくつかの場合に、ビデオシーケンスを、group of pictures(GOP)として配置することができる。ビデオ符号器22は、ビデオデータを符号化するために、個々のビデオフレーム内のビデオブロックに作用する。ビデオブロックは、固定サイズまたは変化するサイズを有することができ、指定されたコーディング標準規格に従って、サイズにおいて異なる場合がある。各ビデオフレームは、一連のスライスを含むことができる。各スライスは、一連のマクロブロックを含むことができ、マクロブロックは、より小さいブロックにさえ配置され得る。マクロブロックは、通常、データの16×16ブロックを指す。ITU−T H.264標準規格は、輝度成分について16×16、8×8、または4×4、およびクロマ成分について8×8などのさまざまなブロックサイズでのイントラ予測、ならびに輝度成分について16×16、16×8、8×16、8×8、8×4、4×8、および4×4とクロマ成分について対応するスケーリングされたサイズなどのさまざまなブロックサイズでのインター予測をサポートする。本開示では、用語ビデオブロックは、係数、たとえば離散コサイン変換またはピクセル値のセットが周波数領域に変換される概念的に類似する変換プロセスなどの変換プロセスの後の変換係数のブロックを指すことができる。変換係数は、量子化されたものとすることができる。本開示のスキャン技法は、通常、量子化された変換係数に関して適用されるが、いくつかの実施形態では、量子化されていない変換係数に適用可能とすることができる。さらに、本開示のスキャン技法を、ピクセル値の量子化されたブロックであってもなくてもよいピクセル値のブロック(すなわち、変換プロセスなし)に適用可能とすることもできる。用語「係数」は、係数ブロックの変換係数だけではなく、変換されていないビデオブロックのピクセル値をも含む、ビデオブロックの値を表すのに、本明細書で広義に使用される。
マクロブロックなどのより大きいビデオブロックを、より小さいサイズのビデオブロックに分割することができる。より小さいビデオブロックは、よりよい解像度をもたらすことができるが、ビデオフレームのうちで高いレベルの詳細を含む位置に使用することができる。一般に、マクロブロック(MB)およびさまざまなより小さいブロックを、すべて、ビデオブロックと考えることができる。ビデオフレームは、復号可能単位を備えることができ、あるいは、「スライス」など、より小さい復号可能単位に分割され得る。すなわち、スライスを、MBおよび/またはより小さいサイズのブロックなど、一連のビデオブロックと考えることができ、各スライスを、ビデオフレームの独立に復号可能な単位とすることができる。
予測の後に、変換を、ピクセルの8×8残差ブロックまたはピクセルの4×4残差ブロックに対して実行することができ、追加の変換を、クロマ成分またはintra_16x16予測モードが使用される場合には輝度成分のピクセルの4×4ブロックのDC係数に適用することができる。変換の後に、データを、係数ブロックまたは変換されたビデオブロックと呼ぶことができる。変換の後に、係数ブロックは、ピクセル値ではなく変換係数を含む。やはり、用語「係数」は、一般に、変換係数を指すが、その代わりに、他のタイプの係数または値(たとえば、変換プロセスなしのピクセル値)を指すことができる。
イントラベースまたはインターベースの予測コーディング技法および変換技法(H.264/AVCで使用される4×4もしくは8×8の整数変換または離散コサイン変換DCTなど)の後に、量子化を実行することができる。ウェーブレットベースの圧縮などの他の変換技法を使用することができる。量子化は、一般に、係数を表すのに使用されるデータの量をおそらくは減らすために係数が量子化されるプロセスを指す。量子化プロセスは、係数の一部またはすべてに関連するビット深さを減らすことができる。たとえば、8ビット値を、量子化中に7ビット値に丸めることができる。
量子化の後に、スキャンおよびエントロピコーディングを、本明細書に記載の技法に従って実行することができる。具体的に言うと、4×4ビデオブロック、8×8ビデオブロック、またはおそらくは16×16ビデオブロックなどの他のサイズのブロックなどの、変換係数のビデオブロックを、2次元フォーマットから1次元フォーマットにスキャンすることができる。スキャン順序は、コーデッドユニットごとに初期化することができ、従来の形(たとえば、ジグザグスキャン順序)で開始することができる。本開示によれば、スキャン順序を適応式とすることができる。具体的に言うと、スキャン順序は、1つまたは複数の予測モードのビデオブロックに関連する統計に基づいて、そのようなビデオブロックについて適合させることができる。統計は、各めいめいの予測モードで符号化されたビデオブロックの個数のカウントと、各予測モードで符号化されたビデオブロックに係数に関連する確率のセットとを備えることができる。確率は、ビデオブロックの各位置の所与の係数値がゼロの値または非ゼロの値を有する尤度の表示を備えることができる。代替案では、確率は、各位置の実際の値を示すより詳細な確率、または係数値に関連する別のタイプの統計確率尺度を備えることができる。
1つまたは複数のしきい値を、カウント値に対して相対的に定義することができる。周期的インターバル(マクロブロック境界に出会うときなど)に、ビデオブロックの異なるモードに関連するスキャン順序を評価することができる。スキャン順序が評価されるときには、所与の予測モードに関連するカウント値が所与の予測モードのしきい値を満足する場合に、そのモードのスキャン順序を調べ、おそらくは、所与の予測モードでコーディングされたビデオブロックの統計を反映するように変更することができる。具体的に言うと、スキャン順序を、係数が非ゼロ値を有する確率の順番でスキャンされるようにするために定義することができる。すなわち、非ゼロであることのより高い確率を有する係数位置は、非ゼロであることのより低い確率を有する係数位置の前にスキャンされる。この形で、従来のスキャン順序(ジグザグスキャン順序など)を、係数ブロックの1次元ベクトル表現のより始めに向かって非ゼロ係数をグループ化するスキャン順序に適合させることができる。復号器は、同一の統計を計算することができ、これによって、符号化プロセスで使用されたスキャン順序を判定することができる。したがって、係数ブロックの1次元ベクトル表現を2次元ブロックフォーマットに戻って変換するために、相反する適応スキャン順序を、復号器によって適用することができる。
注記したように、スキャン順序(およびそれに対する適応変更)は、異なる予測モードごとに異なる場合がある。すなわち、統計は、異なる予測モードごとに維持される。本開示は、モードのどの特定の個数またはモードのタイプにも限定されない。異なるモードは、コーディングプロセスで使用されるビデオブロックのサイズおよび予測のタイプを定義することができる。複数の予測モードが、複数のイントラ予測モードおよび複数のインター予測モードを備えることができる。
例として、インターコーディングは、4×4変換ブロックサイズに対応するインター予測モードおよび8×8変換ブロックサイズに対応するインター予測モードなど、複数のモードをサポートすることができる。いくつかの場合に、予測(P)モードおよび両方向予測(B)モードなどの複数の4×4モードをサポートすることができる。インターコーディングは、8×8Pモードおよび8×8Bモードをサポートすることもできる。さらに、異なるモードを、輝度情報およびクロマ情報のインターコーディングされるブロックについて定義することもできる。さまざまな異なるインターコーディング予測モードを定義することができ、本開示は、モードのどの特定のセットにも限定されない。
イントラコーディングも、広範囲の予測モードをサポートすることができる。たとえば、イントラ予測モードは、複数の4×4輝度イントラ予測モード、複数の8×8輝度イントラ予測モード、複数の16×16輝度イントラ予測モード、および複数の8×8クロマイントラ予測モードを備えることができる。一例として、イントラ予測モードは、予測ブロックが同一コーデッドユニット内の隣接データの異なるタイプの伝搬、適合、および/または保管に基づいて生成される、26個の異なるモードを備えることができる。
イントラコーディングモードは、垂直、水平、DC、対角線左下、対角線右下、垂直右、水平下、垂直左、および水平上などのモードを備えることができる。これらの異なるモードのそれぞれが、予測ブロックが同一コーデッドユニット内の隣接データに基づいて生成される形を定義する。イントラコーディングモードは、垂直+水平、DC+垂直、DC+水平、対角線左下+水平、対角線右下+垂直、垂直右+水平、水平下+垂直、垂直左+水平、および水平上+垂直など、上で述べたモードの組合せをも定義することができる。これらの特定のモードの詳細は、参照によって本明細書に組み込まれている、Y.YeおよびM.Karczewicz、「Improved Intra Coding」、ITU−T Q.6/SG16 VCEG,C257、スイス国ジュネーブ、2007年6月に示されている。どの場合でも、本開示は、モードのどの特定の個数またはモードのタイプに限定されない。基本的に、予測モードは、符号化ブロックのサイズ、予測ブロックのサイズ、使用される変換のサイズ、および予測ブロックのデータが配置されるか生成される形を定義することができる。
図2は、ビデオブロックを2次元ブロックフォーマットから1次元ベクトルフォーマットにスキャンするために本開示の技法を実行する適応スキャンユニット45を含むビデオ符号器50の例を示すブロック図である。図2に示されているように、ビデオ符号器50は、符号化されるビデオフレーム内の現在のビデオブロックを受け取る。図2の例では、ビデオ符号器50は、予測ユニット32、基準フレームストア34、ブロック変換ユニット38、量子化ユニット40、逆量子化ユニット42、逆変換ユニット44、適応スキャンユニット45、およびエントロピ符号化ユニット46を含む。デブロッキングフィルタ(図示せず)をも含めて、ブロッキネスアーティファクト(blockiness artifact)を除去するためにブロック境界をフィルタリングすることができる。ビデオ符号器50は、合計器48および合計器51をも含む。
インターコーディングについて、予測ユニット32は、符号化されるビデオブロックを1つまたは複数のビデオ基準フレーム内のさまざまなブロックと比較する。インターコーディングについて、予測ユニット32は、同一コーデッドユニットの既にコーディングされた隣接ビデオブロックから、符号化されるビデオブロックを予測する。予測されたデータは、基準フレームストア34から取り出すことができ、この基準フレームストア34は、前に符号化されたブロックから再構成されたビデオブロックを格納するために任意のタイプのメモリまたはデータストレージデバイスを備えることができる。予測ユニット32は、現在のビデオブロックをコーディングするのに使用される予測ブロックを識別するのに使用できる構文要素を備える、予測モードおよび予測ベクトルを生成することができる。イントラコーディングについて、予測ユニット32は、空間予測ユニットを備えることができ、インターコーディングについて、予測ユニット32は、動き推定ユニットおよび動き補償ユニットを含むことができる。
ビデオ符号器50は、符号化されるオリジナルビデオブロックから予測ユニット32によって作られた予測ブロックを減算することによって、残差ビデオブロックを形成する。合計器48は、この減算演算を実行するユニットまたはモジュールを表す。ブロック変換ユニット38は、離散コサイン変換(DCT)または概念的に類似する変換などの変換を残差ブロックに適用し、残差変換ブロック係数を備えるビデオブロックを作る。ブロック変換ユニット38は、たとえば、概念的にDCTに類似する、H.264標準規格によって定義された他の変換を実行することができる。
量子化ユニット40は、ビットレートをさらに減らすために、残差変換係数を量子化する。量子化ユニット40は、たとえば、係数のそれぞれをコーディングするのに使用されるビットの個数を制限することができる。量子化の後に、適応スキャンユニット45は、量子化された係数ブロックを2次元表現から1次元ベクトルにスキャンする。その後、このスキャンプロセスの後に、エントロピ符号化ユニット46は、データをさらに圧縮するために、CAVLCまたはCABACなどのエントロピコーディング方法論に従って、量子化された変換係数を符号化する。本開示と一貫する、適応スキャンユニット45によって実行される適応スキャンの概要を、下でより詳細に説明する。
短く言うと、適応スキャンユニット45は、複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を格納し、予測モードのそれぞれに関連するビデオブロックをカウントし、予測モードのそれぞれについて定義されたスキャン順序に基づいてビデオブロックの係数値をスキャンし、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する所与のスキャン順序を評価する。その後、このスキャンプロセスの後に、エントロピ符号化ユニット46は、エントロピコーディング方法論に従って、量子化された変換係数を符号化する。
適応スキャンユニット45は、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する新しいスキャン順序を判定することができる。さらに、適応スキャンユニット45は、所与のスキャン順序を調整するときにしきい値を調整することができる。適応スキャンユニット45によって格納される統計は、係数値がゼロまたは非ゼロである確率を示す統計を備えることができる。一例では、適応スキャンユニット45は、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する新しいスキャン順序を判定し、新しいスキャン順序が前のスキャン順序と同一であるどうかに基づいてしきい値を増減する。たとえば、新しいスキャン順序が前のスキャン順序と同一である場合には、適応スキャンユニット45は、たとえば上限の支配下で2倍だけ、予測モードの所与の1つのしきい値を増やすことができる。同様に、新しいスキャン順序が前のスキャン順序とは異なる場合には、適応スキャンユニット45は、たとえば下限の支配下で2倍だけ、予測モードの所与の1つのしきい値を減らすことができる。予測モードの所与の1つのスキャン順序を判定する際に、適応スキャンユニット45は、予測モードの所与の1つに関連するカウント値をリセットすることができる。係数ブロックが1次元フォーマットにスキャンされた後に、エントロピ符号化ユニット46は、量子化された変換係数をエントロピ符号化する。
エントロピ符号化ユニット46によるエントロピコーディングの後に、符号化されたビデオを、後の伝送または取出のために別のデバイスに送るかアーカイブすることができる。逆量子化ユニット42および逆変換ユニット44は、ピクセル領域で残差ブロックを再構成するために、それぞれ逆量子化および逆変換を適用する。合計器51は、基準フレームストア34での格納のために再構成されたビデオブロックを作るために、予測ユニット32によって作られた予測ブロックに再構成された残差ブロックを加算する。望まれる場合に、再構成されたビデオブロックを、基準フレームストア34に格納される前に、デブロッキングフィルタユニット(図示せず)に通すこともできる。再構成されたビデオブロックを、後続ビデオフレーム内のブロックをインターコーディングするために、または同一のコーデッドユニット内の将来の隣接ブロックをイントラコーディングするために、予測ユニット32によって基準ブロックとして使用することができる。
図3は、本明細書で説明される形で符号化されるビデオシーケンスを復号するビデオ復号器60の例を示すブロック図である。ビデオ復号器60は、図2のエントロピ符号化ユニット46によって実行される符号化の相反する復号機能を実行するエントロピ復号ユニット52を含む。ビデオ復号器60は、図2の適応スキャンユニット45によって実行されるスキャンに相反する逆スキャンを実行する適応スキャンユニット55をも含む。
ビデオ復号器60は、ビデオフレーム内のブロックのイントラ復号およびインター復号を実行することができる。図3の例では、ビデオ復号器60は、予測ユニット54、逆量子化ユニット56、逆変換ユニット58、および基準フレームストア62をも含む。ビデオ復号器60は、合計器64をも含む。オプションで、ビデオ復号器60は、合計器64のアウトプットをフィルタリングするデブロッキングフィルタ(図示せず)をも含むことができる。
イントラコーディングについて、予測ユニット54は、空間予測ユニットを備えることができ、インターコーディングについて、予測ユニット54は、動き補償ユニットを備えることができる。逆量子化ユニット56は、逆量子化を実行し、逆変換ユニット58は、ビデオブロックの係数をピクセル領域に戻って変更するために逆変換を実行する。合計器は、基準フレームストア62に格納される再構成されたブロックを生成するために、ユニット54からの予測ブロックを逆変換ユニット58からの再構成された残差ブロックと組み合わせる。望まれる場合に、再構成されたビデオブロックを、基準フレームストア62に格納される前に、デブロッキングフィルタユニット(図示せず)に通すこともできる。復号されたビデオは、基準フレームストア62からアウトプットされ、後続予測での使用のために予測ユニット54にフィードバックすることもできる。
注記したように、エントロピ復号ユニット52は、図2のエントロピ符号化ユニット46によって実行される符号化の相反する復号機能を実行し、適応スキャンユニット55は、図2の適応スキャンユニット45によって実行されるスキャンの相反する逆スキャンを実行する。図2の適応スキャンユニット45に似て、図3の適応スキャンユニット55は、複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を格納し、予測モードのそれぞれに関連するビデオブロックをカウントし、予測モードのそれぞれについて定義されたスキャン順序に基づいてビデオブロックの係数値をスキャンし、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する所与のスキャン順序を評価する。基本的に、適応スキャンユニット55は、適応スキャンユニット45に類似する機能を実行するが、逆の形でそれを行う。したがって、適応スキャンユニット45は、エントロピ符号化の前に係数ブロックを2次元フォーマットから1次元フォーマットにスキャンするが、適応スキャンユニット55は、エントロピ復号の後に係数ブロックを1次元フォーマットから2次元フォーマットにスキャンする。
図4は、4×4係数ブロックのジグザグスキャンを示す概念図である。図5は、8×8係数ブロックのジグザグスキャンを示す概念図である。図4および5に示されたジグザグスキャンを、コーデッドユニットのコーディングプロセスの始めに適応スキャンユニット45によって実行することができる。しかし、下でより詳細に述べるように、スキャン順序は、既にコーディングされた係数ブロックに関連する実際の統計に基づいて適合させることができる。
図4および5に示されたそのようなジグザグスキャンのスキャン順序は、ビデオブロック80および90を通る矢印に従い、係数は、スキャン順序でラベルを付けられている。具体的に言うと、図4および5に示された数値は、順次1次元ベクトル内の係数の位置を示し、係数の値を表すのではない。初期化時に、本開示の技法は、どの特定のスキャン順序または技法にも限定されない。たとえば、本開示で使用される初期スキャン順序を、図4および5に示されたジグザグスキャン順序とすることができる。あるいは、その代わりに、本開示で使用される初期スキャン順序を、複数の予測モードの各1つのために特別にトレーニングすることのできる固定されたスキャン順序のセットとすることができる。ジグザグスキャンは、非常に典型的なので、本開示の適応スキャンの議論のよい出発点を与える。やはり、本開示によれば、スキャン順序は、既にコーディングされた係数ブロックに関連する実際の統計に基づいて経時的に適合する。コーデッドユニットごとに、スキャン順序は、ジグザグスキャンなど、従来のスキャン順序から始まることができるが、そのコーデッドユニット内の異なる予測モードでコーディングされる係数ブロックについて統計が累積されるときに適合することができる。しかし、上で注記したように、ジグザグスキャンは、適応スキャンの唯一の可能な出発点ではない。水平スキャン技法、垂直スキャン技法、または任意の初期スキャン技法を、本明細書で説明する適応スキャン技法の出発点として使用することができる。
図6は、特定の予測モードのブロックに関連する統計(S1〜S16)の例示的セットおよび本開示の技法と一貫するアルゴリズムを示す概念図である。図示されているように、モードXでのビデオブロックの初期スキャン順序は、次のジグザグスキャンプロセスによって定義することができる:(S1,S2,S5,S9,S6,S3,S4,S7,S10,S13,S14,S11,S8,S12,S15,S16)。この場合に、番号付きの係数は、図6の統計ブロック69で番号を付けられた統計に対応する。Count(mode X)は、所与のコーデッドユニットについてモードXでコーディングされるブロックの個数のカウントを定義する。Count(mode X)の各インクリメントに伴って、統計(S1〜S16)は、モードXの新しいブロックによって影響されて、係数の統計を反映するように変化することができる。
図6のアルゴリズム60は、マクロブロック境界に出会うときなど、コーデッドユニット(たとえば、フレームまたはスライス)のコーディングで事前定義の更新インターバルに呼び出され得る。本開示によれば、アルゴリズム60が呼び出された後に、Count(mode X)が事前定義のしきい値以上である場合には、スキャンユニット45または55(図2または3)が、統計S1〜S16に基づいてスキャン順序を選択し、その後、Count(mode X)をリセットする。スキャン順序が変化する場合には、スキャンユニット45または55は、しきい値を下に調整することができ、スキャン順序が変化しない場合には、スキャンユニット45または55は、しきい値を上に調整することができる。
しきい値は、基本的に、通常は計算集中型のソートプロセスを必要とするスキャン順序変化の発生を制限できる機構であり、スキャン順序を評価する前にビデオブロックの所与のモードについて十分な統計が累積されることを保証することができる。具体的に言うと、新しいスキャン順序は、所与のモードのカウントが所与のモードのしきい値を満足するときに限ってビデオブロックの所与のモードについて選択され得る。さらに、しきい値を、新しいスキャン順序が前のスキャン順序と異なるときにスキャン順序評価の発生を加速するため、または新しいスキャン順序が前のスキャン順序と同一のままであるときにスキャン順序評価の発生を減らすために、経時的に調整することができる。この形で、複数の予測モードのそれぞれについて、本明細書で説明する技法は、スキャン順序が安定した望ましい状態に達するまでコードユニットの始めにより頻繁にスキャン順序評価を実行でき、その後、スキャン順序の変化がよりありそうでなくなるときに、より低い頻度でスキャン順序選択を実行することができる。
図7は、本開示と一貫する仮説の例を示す概念図である。この例では、係数が、アイテム71Aおよび71Bではc1〜c16としてラベルを付けられている。実際の係数値は、ブロック1(72)、ブロック2(73)、ブロック3(74)、およびブロック4(75)に示されている。ブロック1〜4は、同一の予測モードに関連するブロックを備えることができる。ブロック1〜4を、順番にコーディングすることができる。
当初は、ジグザグスキャンを使用することができる。この場合に、ブロックは、図4の図と一貫する、次の順序でスキャンされる。
(c1,c2,c5,c9,c6,c3,c4,c7,c10,c13,c14,c11,c8,c12,c15,c16)
係数ブロックの統計が、すべてゼロに初期化されると仮定すると、統計1(76)は、たとえば非ゼロであるすべての係数について1の値、ゼロの値を有するすべての係数についてゼロの値を有する、ブロック1の統計を表す。統計2(77)は、たとえば、係数位置がブロック1および2で1または0のどちらであったかを示す正規化された確率値を有する、ブロック1および2の組み合わされた統計を表す。この場合に、位置c6の正規化された確率は、ブロック1がその位置で非ゼロ係数を有したが、ブロック2がその位置でゼロ値係数を有したので、0.5である。統計3(78)は、正規化された確率としてブロック1、2、および3の組み合わされた確率を表し、統計4(79)は、正規化された確率としてブロック1、2、3、および4の組み合わされた確率を表す。正規化された確率は、すべての所与の位置の1または0の値の平均を備えることができ、1の値は、ブロックの特定の位置が非ゼロ係数を定義する場合に、ブロックのその位置について与えられる。上の説明では、ジグザグスキャンが、初期スキャン順序として使用され、係数ブロックの統計は、すべて0に初期化される。そのような初期化は、例としてのみ与えられ、スキャン順序および係数統計の代替初期化を使用することができる。
図7の例では、しきい値に4の値がセットされると仮定することができる。この場合に、第4ブロック75をコーディングするときに、プリセット更新インターバルに出会った後に(たとえば、マクロブロック境界に出会った後に)、4ブロックのカウントが判定されて、4のしきい値を満足する。この場合に、ソートアルゴリズムが呼び出され、スキャンユニット45(図2)は、統計4(79)に基づいて新しいスキャン順序を定義することができる。したがって、新しいスキャン順序は、次のようになる。
(c1,c5,c9,c2,c13,c6,c3,c4,c7,c10,c14,c11,c8,c12,c15,c16)
具体的に言うと、スキャン順序は、初期スキャン順序(たとえば、ジグザグスキャン)から、1次元ベクトルの始めに非ゼロ係数を、終りにゼロ係数を進める新しいスキャン順序に変化する。たとえば、位置c5およびc9の確率は、統計4(79)ではc2での確率より高いので、c5およびc9は、両方とも、新しいスキャン順序ではc2の前にスキャンされる。水平次元と垂直次元との間で同等に交番するジグザグスキャンとは異なって、新しいスキャン順序は、垂直次元でより強い指向性を示す。すなわち、新しいスキャン順序は、垂直次元の係数を水平次元の係数より高速に通過し、これは、所与の予測モードでコーディングされるビデオブロック1〜4(72、73、74、75)の係数の統計的分布と一貫する。したがって、スキャン順序を定義するのに過去の統計を使用することによって、本開示の技法は、スキャンされる1次元ベクトルの始め付近での非ゼロ係数の、およびスキャンされる1次元ベクトルの終り付近でのゼロ値係数のグループ化を促進することができる。これは、エントロピコーディング中に達成できる圧縮のレベルを高めることができる。
さらに、スキャン順序変化が計算集中型のソートプロセスを必要とするので、そのような変化の発生を制限するため、およびスキャン順序を評価する前にビデオブロックの所与のモードについて十分な統計が累積されることを保証するのを助けるために、しきい値が定義される。この場合に、新しいスキャン順序は、所与のモードのカウントが所与のモードのしきい値を満足するときに限ってビデオブロックの所与のモードについて選択され得る。しきい値を、経時的に上にまたは下に(上限および下限の支配下で)調節することができる。たとえば、スキャン順序評価がスキャン順序変化をもたらす場合に、後続スキャン順序評価がよりすばやく発生するようにするために、しきい値を減らすことができる。この場合に、スキャン順序が変化しつつあるので、スキャン順序を安定した状態にするために将来の変化の発生を急がせることが望ましい可能性がある。その一方で、スキャン順序評価がスキャン順序変化をもたらさない場合に、後続スキャン順序評価が発生により長い時間を要するようにするために、しきい値を増やすことができる。この場合に、スキャン順序は変化していないので、可能なスキャン順序変化の評価が処理リソースの使用を必要とするのでこれらの評価の頻度を下げることが望ましい可能性がある。これらのタイプのしきい値調整は、スキャン順序が安定した望ましい状態に達するまでより頻繁にスキャン順序変化を評価することができ、その後、変化がよりありそうにないものになるので、スキャン順序評価の頻度を制限することができる。
図8は、本開示と一貫するコーディング(すなわち、符号化または復号)技法を示す流れ図である。図8は、エントロピコーディングのステップ(ステップ85)がスキャンのステップ(ステップ83)の後である限り、ビデオ符号器50の展望から示されている。ビデオ復号器60の展望からは、エントロピコーディングのステップ(ステップ85)は、スキャンのステップ(ステップ83)に先行するはずである。たとえば、ビデオ復号器60の展望からは、図8に示されたステップを、(ステップ85、ステップ83、ステップ81、ステップ82、ステップ84)という順序で実行することができる。説明を単純にするために、図8を、下ではビデオ符号器50の展望から説明する。
図8に示されているように、適応スキャンユニット45は、複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を更新し(81)、予測モードのそれぞれに関連するビデオブロックをカウントする(82)。次に、適応スキャンユニット45は、予測モードのそれぞれについて定義されたスキャン順序に従ってビデオブロックの係数値を1次元係数ベクトルにスキャンし(83)、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する所与のスキャン順序を評価する(84)。その後、このスキャンプロセスの後に、エントロピ符号化ユニット46は、エントロピコーディング方法論に従って1次元係数ベクトルを符号化する(85)。
適応スキャンユニット45は、予測モードの所与の1つに関連するカウント値が予測モードの所与の1つのしきい値を満足するときに、予測モードの所与の1つの統計に基づいて、予測モードの所与の1つに関連する新しいスキャン順序を判定することができる。さらに、適応スキャンユニット45は、所与のスキャン順序を判定するときにしきい値を調整することができる。本開示で述べたように、適応スキャンユニット45によって格納される統計は、係数値がゼロまたは非ゼロである確率を示す統計、またはおそらくは係数値の確率を示す他のタイプの統計を備えることができる。一例では、適応スキャンユニット45は、予測モードの所与の1つの統計に基づいて予測モードの所与の1つに関連する新しいスキャン順序を判定し、新しいスキャン順序が前のスキャン順序と同一であるどうかに基づいてしきい値を増減する。
たとえば、新しいスキャン順序が前のスキャン順序と同一である場合には、適応スキャンユニット45は、たとえば上限の支配下で2倍だけ、しきい値を増やすことができる。同様に、新しいスキャン順序が前のスキャン順序とは異なる場合には、適応スキャンユニット45は、たとえば下限の支配下で2倍だけ、しきい値を減らすことができる。新しいスキャン順序を判定する際に、適応スキャンユニット45は、予測モードの所与の1つに関連するカウント値をリセットすることができる。1次元フォーマットにスキャンした後に、エントロピ符号化ユニット46は、係数ベクトルをエントロピ符号化する。
図9は、ビデオ符号器50(図2)のスキャンユニット45およびビデオ復号器60(図3)のスキャンユニット55によって実行できる適応スキャンプロセスを示す例示的な流れ図である。図9のプロセスを、コーデッドユニットごとに繰り返すことができる。やはり、コーデッドユニットは、ビデオシーケンスの個々のフレーム、フレームの一部(スライスなど)、またはビデオシーケンスの別の独立に復号可能な単位を備えることができる。
図9に示されているように、スキャンユニット45は、新しいコーデッドユニットに関してそのスキャン順序を初期化する(91)。言い換えると、フレームまたはスライスの始めに、スキャン順序が初期化される。すべてのモードのカウント値は、0にセットされ、しきい値は、4×4ブロックに対応するモードについて4の値および8×8ブロックに対応するモードについて2の値などの初期値にセットされる。新しいコーデッドユニットの始めに、すべてのモードの係数ブロックの統計も、すべて0または経験的トレーニングに基づく他の統計のいずれかに初期化される。スキャンユニット45は、その初期スキャン順序(たとえば、ジグザグスキャン)を適用する。それを行う際に、スキャンユニット45は、スキャンされるブロックについて識別されるモードごとに、ブロック係数統計を収集し、count(mode)をインクリメントする(92)。このプロセスは、プリセット更新インターバルに達するまで継続される(93)。たとえば、プリセット更新インターバルは、マクロブロック境界または別の事前に決定されるインターバルとすることができる。
プリセット更新インターバルが識別されるとき(「yes」93)には、スキャンユニット45は、スキャン順序を評価する。具体的に言うと、スキャンユニット45は、count(mode)がしきい値thresh(mode)を満足するかどうかを判定する(94)。そうではない場合(「no」94)には、スキャンユニット45は、たとえばすべてのモードを調べるまで(100)、他のモードを検討する。任意の所与のモードについて、count(mode)がしきい値を満足する場合(「yes」94)には、スキャンユニット45は、そのモードの累積された統計に基づいてスキャン順序を更新する(95)ソート機能を呼び出す。スキャン順序が、スキャン順序のこの更新の結果として変化する場合(「yes」96)には、スキャンユニット45は、そのモードのthres(mode)を減らす(97)。スキャン順序が、スキャン順序のこの更新の結果としては変化しない場合(「no」96)には、スキャンユニット45は、そのモードのthres(mode)を増やす(98)。一例として、しきい値のこれらの増加(98)または減少(97)を、下限および上限の支配下で2倍だけ変更することができる(たとえば、2をかけるか2で割る)。下限および上限は、4×4ブロックに対応するモードについては4、そして8×8ブロックに対応するモードについては2の値にセットすることができる。この例では、初期しきい値を、初期化の後にできる限りすばやくソートを呼び出すために、下限でセットすることができる。
所与のモードのスキャン順序を更新した(95)後に、そのモードのcount(mode)をゼロにリセットする(99)。その後、このプロセスは、追加のモードを調べる必要があるかどうかを判定する(100)。このプロセスは、所与のコーデッドユニット(たとえば、フレームまたはスライス)がコーディングされるときに継続される。すなわち、次のコーデッドユニットに出会うときには、新しい初期化(91)を行うことができる。
本開示の技法を、無線送受話器および集積回路(IC)またはICのセット(すなわち、チップセット)を含むさまざまなデバイスまたは装置で実現することができる。すべてのコンポーネント、モジュール、またはユニットは、機能的態様を強調するために説明され提供されたものであり、必ずしも異なるハードウェアユニットによる実現を必要としない。
したがって、本明細書で説明された技法を、ハードウェア、ソフトウェア、ファームウェア、またはその組合せで実施することができる。モジュールまたはコンポーネントとして説明されたすべての特徴を、一体化された論理デバイス内で一緒にまたは別個だがインターオペラブルな論理デバイスとして別々に実施することができる。ソフトウェアで実施される場合に、本技法を、実行された時に上で説明した方法のうちの1つまたは複数を実行する命令を備えるコンピュータ可読媒体によって少なくとも部分的に実現することができる。コンピュータ可読データ記憶媒体は、パッケージング材料を含むことができるコンピュータプログラム製品の一部を形成することができる。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ(SDRAM)などのランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、不揮発性ランダムアクセスメモリ(NVRAM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、フラッシュメモリ、磁気または光のデータ記憶媒体、および類似物を備えることができる。本技法を、それに加えてまたはその代わりに、命令またはデータ構造の形のコードを担持するか通信し、コンピュータによってアクセスし、読み取り、かつ/または実行することのできる、コンピュータ可読通信媒体によって少なくとも部分的に実現することができる。
コードを、1つまたは複数のディジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の同等の集積回路もしくはディスクリート論理回路など、1つまたは複数のプロセッサによって実行することができる。したがって、用語「プロセッサ」は、本明細書で使用されるときに、本明細書で説明される技法の実施形態に適切な、前述の構造または任意の他の構造のいずれをも指すことができる。さらに、いくつかの態様では、本明細書で説明した機能性を、符号化および復号のために構成され、または組み合わされたビデオ符号器−復号器(コーデック)内に組み込まれる、専用のソフトウェアモジュールまたはハードウェアモジュール内で提供することができる。また、本技法を、1つまたは複数の回路または論理要素内で完全に実施することができる。
本開示のさまざまな態様を説明した。本技法は、変換されたビデオブロックの変換された係数のスキャンの文脈で説明されたが、ビデオブロックの他のタイプの係数のスキャンにも適用することができる。たとえば、ピクセル値またはビデオブロックに関連する他のタイプの変換されない係数もしくは値のスキャンが実施される場合に、本開示の技法を、そのようなスキャンに適用することができる。上記および他の態様は、添付の特許請求の範囲の範囲に含まれる。
10 ビデオ符号化および復号システム
12 ソースデバイス
15 通信チャネル
16 宛先デバイス
20 ビデオソース
22 ビデオ符号器
23 変調器/復調器(モデム)
24 送信器
26 受話器
27 モデム
28 ビデオ復号器
30 ディスプレイデバイス
32 予測ユニット
34 基準フレームストア
38 ブロック変換ユニット
40 量子化ユニット
42 逆量子化ユニット
44 逆変換ユニット
45 適応スキャンユニット
46 エントロピ符号化ユニット
48 合計器
50 ビデオ符号器
51 合計器
52 エントロピ復号ユニット
54 予測ユニット
55 適応スキャンユニット
56 逆量子化ユニット
58 逆変換ユニット
60 ビデオ復号器
62 基準フレームストア
64 合計器
71A アイテム
71B アイテム
72 ブロック1
73 ブロック2
74 ブロック3
75 ブロック4
76 統計1
77 統計2
78 統計3
79 統計4

Claims (58)

  1. ビデオブロックの係数をコーディングする方法であって、
    複数の予測モードのそれぞれについて前記ビデオブロックの係数値に関連する統計を格納することと、
    前記予測モードのそれぞれに関連する前記ビデオブロックをカウントすることと、
    前記予測モードのそれぞれについて定義されるスキャン順序に基づいて前記ビデオブロックの前記係数値をスキャンすることと、
    前記予測モードの所与の1つに対してカウントされたブロックの個数を示すカウント値が前記予測モードの前記所与の1つのしきい値を満足するときに、前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する所与のスキャン順序を評価することと、
    前記係数値をエントロピコーディングすることと、
    を備える方法。
  2. 前記予測モードの前記所与の1つに対してカウントされたブロックの個数を示す前記カウント値が前記予測モードの前記所与の1つの前記しきい値を満足するときに、前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する新しいスキャン順序を判定すること、
    をさらに備える、請求項1に記載の方法。
  3. 前記予測モードの前記所与の1つの前記所与のスキャン順序を調整するときに前記予測モードの前記所与の1つの前記しきい値を調整すること、をさらに備える、請求項2に記載の方法。
  4. 前記統計を格納することが、前記複数の予測モードのそれぞれについて、
    前記係数値がゼロまたは非ゼロである確率を示す統計を格納することを備える、請求項1に記載の方法。
  5. 前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する新しいスキャン順序を判定することと、
    前記新しいスキャン順序が前のスキャン順序と同一である場合に、前記予測モードの前記所与の1つの前記しきい値を増やすことと、
    前記新しいスキャン順序が前記前のスキャン順序と異なる場合に、前記予測モードの前記所与の1つの前記しきい値を減らすことと、
    前記予測モードの前記所与の1つに対してカウントされたブロックの個数を示す前記カウント値をリセットすることと、
    をさらに備える、請求項1に記載の方法。
  6. 前記複数の予測モードが、複数のイントラ予測モードおよび複数のインター予測モードを備える、請求項1に記載の方法。
  7. 前記イントラ予測モードが、複数の4×4輝度イントラ予測モード、複数の8×8輝度イントラ予測モード、複数の16×16輝度イントラ予測モード、および複数の8×8クロマイントラ予測モードを備え、
    前記インター予測モードが、4×4ブロックサイズおよび8×8ブロックサイズに対応するインター予測モードを備える、請求項6に記載の方法。
  8. エントロピコーディングすることが、可変長コーディング(CAVLC)またはcontext adaptive binary arithmetic coding(CABAC)を備える、請求項1に記載の方法。
  9. ピクセル領域から変換された領域への前記ビデオブロックの変換を介して前記係数値を生成することをさらに備える、請求項1に記載の方法。
  10. コーディングすることが、符号化することを備え、
    前記ビデオブロックの前記係数値をスキャンすることが、前記予測モードのそれぞれについて定義されるスキャン順序に基づいて係数の2次元ブロックから係数の1次元ベクトルを生成することを備え、
    エントロピコーディングすることが、前記係数値をスキャンした後に前記1次元ベクトルをエントロピ符号化することを備える請求項1に記載の方法。
  11. コーディングすることが、復号することを備え、
    前記ビデオブロックの前記係数値をスキャンすることが、前記予測モードのそれぞれについて定義されるスキャン順序に基づいて係数の1次元ベクトルから係数の2次元ブロックを生成することを備え、
    エントロピコーディングすることが、前記係数値をスキャンする前に前記1次元ベクトルをエントロピ復号することを備える請求項1に記載の方法。
  12. プリセット更新インターバルで前記予測モードのそれぞれについて定義される前記スキャン順序を調べることをさらに備える、請求項1に記載の方法。
  13. 前記方法が、ビデオシーケンスを形成する複数のコーデッドユニットのそれぞれについて繰り返され、
    前記方法が前記複数のコーデッドユニットのそれぞれについて繰り返される前に、前記予測モードのそれぞれの前記スキャン順序、前記統計、およびしきい値を初期化すること、をさらに備える、請求項1に記載の方法。
  14. ビデオブロックの係数をコーディングする装置であって、
    複数の予測モードのそれぞれについて前記ビデオブロックの係数値に関連する統計を格納し、
    前記予測モードのそれぞれに関連する前記ビデオブロックをカウントし、
    前記予測モードのそれぞれについて定義されるスキャン順序に基づいて前記ビデオブロックの前記係数値をスキャンし、
    前記予測モードの所与の1つに対してカウントされたブロックの個数を示すカウント値が前記予測モードの前記所与の1つのしきい値を満足するときに、前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する所与のスキャン順序を評価する、
    スキャンユニットと、
    前記係数値をエントロピコーディングするエントロピコーディングユニットと、
    を備える装置。
  15. 前記スキャンユニットが、
    前記予測モードの前記所与の1つに対してカウントされたブロックの個数を示す前記カウント値が前記予測モードの前記所与の1つの前記しきい値を満足するときに、前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する新しいスキャン順序を判定する 請求項14に記載の装置。
  16. 前記スキャンユニットが、
    前記予測モードの前記所与の1つの前記所与のスキャン順序を調整するときに前記予測モードの前記所与の1つの前記しきい値を調整する、請求項15に記載の装置。
  17. 前記スキャンユニットが、前記複数の予測モードのそれぞれについて、
    前記係数値がゼロまたは非ゼロである確率を示す統計を格納する、請求項14に記載の装置。
  18. 前記スキャンユニットが、
    前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する新しいスキャン順序を判定し、
    前記新しいスキャン順序が前のスキャン順序と同一である場合に、前記予測モードの前記所与の1つの前記しきい値を増やし、
    前記新しいスキャン順序が前記前のスキャン順序と異なる場合に、前記予測モードの前記所与の1つの前記しきい値を減らし、
    前記予測モードの前記所与の1つに対してカウントされたブロックの個数を示す前記カウント値をリセットする
    請求項14に記載の装置。
  19. 前記複数の予測モードが、複数のイントラ予測モードおよび複数のインター予測モードを備える、請求項14に記載の装置。
  20. 前記イントラ予測モードが、複数の4×4輝度イントラ予測モード、複数の8×8輝度イントラ予測モード、複数の16×16輝度イントラ予測モード、および複数の8×8クロマイントラ予測モードを備え、
    前記インター予測モードが、4×4ブロックサイズおよび8×8ブロックサイズに対応するインター予測モードを備える 請求項19に記載の装置。
  21. 前記エントロピコーディングユニットが、可変長コーディング(CAVLC)またはcontext adaptive binary arithmetic coding(CABAC)を実行する、請求項14に記載の装置。
  22. ピクセル領域から変換された領域への前記ビデオブロックの変換を介して前記係数値を生成する変換ユニットをさらに備える、請求項14に記載の装置。
  23. 前記装置が、前記ビデオブロックを符号化し、
    前記スキャンユニットが、前記予測モードのそれぞれについて定義されるスキャン順序に基づいて係数の2次元ブロックから係数の1次元ベクトルを生成し、
    前記エントロピコーディングユニットが、前記スキャンユニットが前記係数値をスキャンした後に前記1次元ベクトルをエントロピ符号化する、請求項14に記載の装置。
  24. 前記装置が、前記ビデオブロックを復号し、
    前記スキャンユニットが、前記予測モードのそれぞれについて定義されるスキャン順序に基づいて係数の1次元ベクトルから係数の2次元ブロックを生成し、
    前記エントロピコーディングユニットが、前記スキャンユニットが前記係数値をスキャンする前に前記1次元ベクトルをエントロピ復号する、
    請求項14に記載の装置。
  25. 前記スキャンユニットが、プリセット更新インターバルで前記予測モードのそれぞれについて定義される前記スキャン順序を調べる、請求項14に記載の装置。
  26. 前記スキャンユニットは、ビデオシーケンスを形成する複数のコーデッドユニットのそれぞれに関してその格納動作、カウント動作、スキャン動作、および評価動作を繰り返し、前記スキャンユニットは、前記スキャンユニットが前記複数のコーデッドユニットのそれぞれについてその格納動作、カウント動作、スキャン動作、および評価動作を繰り返す前に、前記予測モードのそれぞれの前記スキャン順序、前記統計、およびしきい値を初期化する、請求項14に記載の装置。
  27. 集積回路を備える、請求項14に記載の装置。
  28. マイクロプロセッサを備える、請求項14に記載の装置。
  29. ビデオコーディングデバイス内での実行時に前記デバイスにビデオブロックの係数をコーディングさせる命令を備えるコンピュータ可読記録媒体であって、前記命令が、前記デバイスに、
    複数の予測モードのそれぞれについて前記ビデオブロックの係数値に関連する統計を格納させ、
    前記予測モードのそれぞれに関連する前記ビデオブロックをカウントさせ、
    前記予測モードのそれぞれについて定義されるスキャン順序に基づいて前記ビデオブロックの前記係数値をスキャンさせ、
    前記予測モードの所与の1つに対してカウントされたブロックの個数を示すカウント値が前記予測モードの前記所与の1つのしきい値を満足するときに、前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する所与のスキャン順序を評価させ、
    前記係数値をエントロピコーディングさせる、
    コンピュータ可読記録媒体。
  30. 前記命令が、前記デバイスに、
    前記予測モードの前記所与の1つに対してカウントされたブロックの個数を示す前記カウント値が前記予測モードの前記所与の1つの前記しきい値を満足するときに、前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する新しいスキャン順序を判定させる、
    請求項29に記載のコンピュータ可読記録媒体。
  31. 前記命令が、前記デバイスに、
    前記予測モードの前記所与の1つの前記所与のスキャン順序を調整するときに前記予測モードの前記所与の1つの前記しきい値を調整させる、
    請求項30に記載のコンピュータ可読記録媒体。
  32. 前記複数の予測モードのそれぞれについて、前記命令が、前記デバイスに、
    前記係数値がゼロまたは非ゼロである確率を示す統計を格納させる、請求項29に記載のコンピュータ可読記録媒体。
  33. 前記命令が、前記デバイスに、
    前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する新しいスキャン順序を判定させ、
    前記新しいスキャン順序が前のスキャン順序と同一である場合に、前記予測モードの前記所与の1つの前記しきい値を増やさせ、
    前記新しいスキャン順序が前記前のスキャン順序と異なる場合に、前記予測モードの前記所与の1つの前記しきい値を減らさせ、
    前記予測モードの前記所与の1つに対してカウントされたブロックの個数を示す前記カウント値をリセットさせる
    請求項29に記載のコンピュータ可読記録媒体。
  34. 前記複数の予測モードが、複数のイントラ予測モードおよび複数のインター予測モードを備える、請求項29に記載のコンピュータ可読記録媒体。
  35. 前記イントラ予測モードが、複数の4×4輝度イントラ予測モード、複数の8×8輝度イントラ予測モード、複数の16×16輝度イントラ予測モード、および複数の8×8クロマイントラ予測モードを備え、
    前記インター予測モードが、4×4ブロックサイズおよび8×8ブロックサイズに対応するインター予測モードを備える、請求項34に記載のコンピュータ可読記録媒体。
  36. 前記エントロピコーディングユニットが、可変長コーディング(CAVLC)またはcontext adaptive binary arithmetic coding(CABAC)を実行する、請求項29に記載のコンピュータ可読記録媒体。
  37. 前記命令が、前記デバイスに、
    ピクセル領域から変換された領域への前記ビデオブロックの変換を介して前記係数値を生成させる、請求項29に記載のコンピュータ可読記録媒体。
  38. 前記命令が、前記デバイスに、前記ビデオブロックを符号化させ、前記命令が、前記デバイスに、
    前記予測モードのそれぞれについて定義されるスキャン順序に基づいて係数の2次元ブロックから係数の1次元ベクトルを生成させ、
    前記係数値をスキャンした後に前記1次元ベクトルをエントロピ符号化させる、請求項29に記載のコンピュータ可読記録媒体。
  39. 前記命令が、前記デバイスに、前記ビデオブロックを復号させ、前記命令が、前記デバイスに、
    前記予測モードのそれぞれについて定義されるスキャン順序に基づいて係数の1次元ベクトルから係数の2次元ブロックを生成させ、
    前記係数値をスキャンする前に前記1次元ベクトルをエントロピ復号させる、請求項29に記載のコンピュータ可読記録媒体。
  40. 前記命令が、前記デバイスに、
    プリセット更新インターバルで前記予測モードのそれぞれについて定義される前記スキャン順序を調べさせる、請求項29に記載のコンピュータ可読記録媒体。
  41. 前記命令は、前記デバイスに、ビデオシーケンスを形成する複数のコーデッドユニットのそれぞれに関してその格納動作、カウント動作、スキャン動作、および評価動作を繰り返させ、前記命令は、前記デバイスに、前記命令が前記デバイスに前記複数のコーデッドユニットのそれぞれについてその格納動作、カウント動作、スキャン動作、および評価動作を繰り返させる前に、前記予測モードのそれぞれの前記スキャン順序、前記統計、およびしきい値を初期化させる、請求項29に記載のコンピュータ可読記録媒体。
  42. ビデオブロックの係数をコーディングするデバイスであって、
    複数の予測モードのそれぞれについて前記ビデオブロックの係数値に関連する統計を格納するための手段と、
    前記予測モードのそれぞれに関連する前記ビデオブロックをカウントするための手段と、
    前記予測モードのそれぞれについて定義されるスキャン順序に基づいて前記ビデオブロックの前記係数値をスキャンするための手段と、
    前記予測モードの所与の1つに対してカウントされたブロックの個数を示すカウント値が前記予測モードの前記所与の1つのしきい値を満足するときに、前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する所与のスキャン順序を評価するための手段と、
    前記係数値をエントロピコーディングするための手段と、
    を備えるデバイス。
  43. 前記予測モードの前記所与の1つに対してカウントされたブロックの個数を示す前記カウント値が前記予測モードの前記所与の1つの前記しきい値を満足するときに、前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する新しいスキャン順序を判定するための手段をさらに備える、請求項42に記載のデバイス。
  44. 前記予測モードの前記所与の1つの前記所与のスキャン順序を調整するときに前記予測モードの前記所与の1つの前記しきい値を調整するための手段をさらに備える、請求項43に記載のデバイス。
  45. 前記統計を格納するための手段が、前記複数の予測モードのそれぞれについて、
    前記係数値がゼロまたは非ゼロである確率を示す統計を格納するための手段を備える、請求項42に記載のデバイス。
  46. 前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する新しいスキャン順序を判定するための手段と、
    前記新しいスキャン順序が前のスキャン順序と同一である場合に、前記予測モードの前記所与の1つの前記しきい値を増やすための手段と、
    前記新しいスキャン順序が前記前のスキャン順序と異なる場合に、前記予測モードの前記所与の1つの前記しきい値を減らすための手段と、
    前記予測モードの前記所与の1つに対してカウントされたブロックの個数を示す前記カウント値をリセットするための手段と、
    をさらに備える、請求項42に記載のデバイス。
  47. 前記複数の予測モードが、複数のイントラ予測モードおよび複数のインター予測モードを備える、請求項42に記載のデバイス。
  48. 前記イントラ予測モードが、複数の4×4輝度イントラ予測モード、複数の8×8輝度イントラ予測モード、複数の16×16輝度イントラ予測モード、および複数の8×8クロマイントラ予測モードを備え、
    前記インター予測モードが、4×4ブロックサイズおよび8×8ブロックサイズに対応するインター予測モードを備える、請求項47に記載のデバイス。
  49. エントロピコーディングするための手段が、可変長コーディング(CAVLC)するための手段またはcontext adaptive binary arithmetic coding(CABAC)の手段を備える、請求項42に記載のデバイス。
  50. ピクセル領域から変換された領域への前記ビデオブロックの変換を介して前記係数値を生成するための手段をさらに備える、請求項42に記載のデバイス。
  51. 前記デバイスが、ビデオブロックを符号化し、
    前記ビデオブロックの前記係数値をスキャンするための手段が、前記予測モードのそれぞれについて定義されるスキャン順序に基づいて係数の2次元ブロックから係数の1次元ベクトルを生成するための手段を備え、
    エントロピコーディングするための手段が、前記係数値をスキャンした後に前記1次元ベクトルをエントロピ符号化するための手段を備える 請求項42に記載のデバイス。
  52. 前記デバイスが、ビデオブロックを復号し、
    前記ビデオブロックの前記係数値をスキャンするための手段が、前記予測モードのそれぞれについて定義されるスキャン順序に基づいて係数の1次元ベクトルから係数の2次元ブロックを生成するための手段を備え、
    エントロピコーディングするための手段が、前記係数値をスキャンする前に前記1次元ベクトルをエントロピ復号するための手段を備える、請求項42に記載のデバイス。
  53. プリセット更新インターバルで前記予測モードのそれぞれについて定義される前記スキャン順序を調べるための手段をさらに備える、請求項42に記載のデバイス。
  54. 格納動作、カウント動作、スキャン動作、および評価動作が、ビデオシーケンスを形成する複数のコーデッドユニットのそれぞれについて繰り返され、前記デバイスが、前記格納動作、カウント動作、スキャン動作、および評価動作が前記複数のコーデッドユニットのそれぞれについて繰り返される前に、前記予測モードのそれぞれの前記スキャン順序、前記統計、およびしきい値を初期化するための手段をさらに備える、請求項42に記載のデバイス。
  55. 複数の予測モードのそれぞれについてビデオブロックの係数値に関連する統計を格納し、
    前記予測モードのそれぞれに関連する前記ビデオブロックをカウントし、
    前記予測モードのそれぞれについて定義されるスキャン順序に基づいて前記ビデオブロックの前記係数値を2次元ブロックから1次元ベクトルにスキャンし、
    前記予測モードの所与の1つに対してカウントされたブロックの個数を示すカウント値が前記予測モードの前記所与の1つのしきい値を満足するときに、前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する所与のスキャン順序を評価するスキャンユニットと、
    前記1次元ベクトルの前記係数値をエントロピ符号化するエントロピコーディングユニットと、
    前記エントロピ符号化された係数値を備えるビットストリームを送る無線送信器と、
    を備えるデバイス。
  56. 無線通信送受話器を備える、請求項55に記載のデバイス。
  57. 1次元ベクトル内のビデオブロックのエントロピコーディングされた係数値を備えるビットストリームを受け取る無線受話器と、
    前記ビデオブロックの前記係数値をエントロピ復号するエントロピコーディングユニットと、
    複数の予測モードのそれぞれについて前記ビデオブロックの係数値に関連する統計を格納し、
    前記予測モードのそれぞれに関連する前記ビデオブロックをカウントし、
    前記予測モードのそれぞれについて定義されるスキャン順序に基づいて前記ビデオブロックの前記係数値を前記1次元ベクトルから2次元ブロックにスキャンし、
    前記予測モードの所与の1つに対してカウントされたブロックの個数を示すカウント値が前記予測モードの前記所与の1つのしきい値を満足するときに、前記予測モードの前記所与の1つの前記統計に基づいて前記予測モードの前記所与の1つに関連する所与のスキャン順序を評価するスキャンユニットと、
    を備えるデバイス。
  58. 無線通信送受話器を備える、請求項57に記載のデバイス。
JP2010512366A 2007-06-15 2008-06-12 ビデオコーディングでの適応係数スキャン Active JP5032657B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US94447007P 2007-06-15 2007-06-15
US60/944,470 2007-06-15
US97976207P 2007-10-12 2007-10-12
US60/979,762 2007-10-12
US3044308P 2008-02-21 2008-02-21
US61/030,443 2008-02-21
US12/133,232 2008-06-04
US12/133,232 US8571104B2 (en) 2007-06-15 2008-06-04 Adaptive coefficient scanning in video coding
PCT/US2008/066796 WO2008157268A2 (en) 2007-06-15 2008-06-12 Adaptive coefficient scanning in video coding

Publications (2)

Publication Number Publication Date
JP2010530183A JP2010530183A (ja) 2010-09-02
JP5032657B2 true JP5032657B2 (ja) 2012-09-26

Family

ID=40132401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010512366A Active JP5032657B2 (ja) 2007-06-15 2008-06-12 ビデオコーディングでの適応係数スキャン

Country Status (9)

Country Link
US (1) US8571104B2 (ja)
EP (1) EP2165542B1 (ja)
JP (1) JP5032657B2 (ja)
KR (2) KR101244229B1 (ja)
CN (1) CN101682771B (ja)
BR (1) BRPI0813275A2 (ja)
CA (1) CA2687253A1 (ja)
TW (1) TW200915885A (ja)
WO (1) WO2008157268A2 (ja)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
US8000546B2 (en) * 2008-08-01 2011-08-16 National Cheng Kung University Adaptive scan method for image/video coding
KR101379185B1 (ko) * 2009-04-14 2014-03-31 에스케이 텔레콤주식회사 예측 모드 선택 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR101379186B1 (ko) * 2009-08-21 2014-04-10 에스케이 텔레콤주식회사 인트라 예측 부호화/복호화 방법 및 장치
US9287894B2 (en) * 2009-10-05 2016-03-15 Orange Methods for encoding and decoding images, corresponding encoding and decoding devices and computer programs
BR112012009142B1 (pt) * 2009-10-20 2021-10-19 Sharp Kabushiki Kaisha Dispositivo de codificação de imagem móvel, dispositivo de decodificação de imagem móvel, método de codificação de imagem móvel e método de decodificação de imagem móvel
WO2011083573A1 (ja) 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
JP5323209B2 (ja) * 2010-01-07 2013-10-23 株式会社東芝 動画像符号化装置及び動画像復号化装置
JP5696248B2 (ja) * 2010-01-07 2015-04-08 株式会社東芝 動画像符号化装置及び動画像復号化装置
JP5526277B2 (ja) * 2010-01-07 2014-06-18 株式会社東芝 動画像復号化装置、方法及びプログラム
JP5908619B2 (ja) * 2010-01-07 2016-04-26 株式会社東芝 動画像符号化装置及び動画像復号化装置
JP5525650B2 (ja) * 2010-01-07 2014-06-18 株式会社東芝 動画像復号化装置、方法及びプログラム
JP5432412B1 (ja) * 2010-01-07 2014-03-05 株式会社東芝 動画像符号化装置及び動画像復号化装置
JP5597782B2 (ja) * 2010-01-07 2014-10-01 株式会社東芝 動画像符号化装置及び動画像復号化装置
JP5432359B2 (ja) * 2010-01-07 2014-03-05 株式会社東芝 動画像符号化装置、方法及びプログラム
US9049450B2 (en) 2010-04-05 2015-06-02 Samsung Electronics Co., Ltd. Method and apparatus for encoding video based on internal bit depth increment, and method and apparatus for decoding video based on internal bit depth increment
US8982961B2 (en) 2010-04-05 2015-03-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
WO2011126277A2 (en) 2010-04-05 2011-10-13 Samsung Electronics Co., Ltd. Low complexity entropy-encoding/decoding method and apparatus
US8929440B2 (en) * 2010-04-09 2015-01-06 Sony Corporation QP adaptive coefficients scanning and application
HUE040296T2 (hu) 2010-04-13 2019-02-28 Ge Video Compression Llc Szignifikancia térképek és transzformációs együttható blokkok kódolása
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
US9661338B2 (en) 2010-07-09 2017-05-23 Qualcomm Incorporated Coding syntax elements for adaptive scans of transform coefficients for video coding
JP2012019448A (ja) * 2010-07-09 2012-01-26 Sony Corp 画像処理装置および方法
US9300970B2 (en) * 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
US8344917B2 (en) 2010-09-30 2013-01-01 Sharp Laboratories Of America, Inc. Methods and systems for context initialization in video coding and decoding
CN102447895B (zh) 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
US9313514B2 (en) * 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
US8923395B2 (en) * 2010-10-01 2014-12-30 Qualcomm Incorporated Video coding using intra-prediction
CA2810899C (en) 2010-10-05 2016-08-09 General Instrument Corporation Coding and decoding utilizing adaptive context model selection with zigzag scan
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
US9641846B2 (en) 2010-10-22 2017-05-02 Qualcomm Incorporated Adaptive scanning of transform coefficients for video coding
US9497472B2 (en) * 2010-11-16 2016-11-15 Qualcomm Incorporated Parallel context calculation in video coding
US9042440B2 (en) 2010-12-03 2015-05-26 Qualcomm Incorporated Coding the position of a last significant coefficient within a video block based on a scanning order for the block in video coding
US9288496B2 (en) * 2010-12-03 2016-03-15 Qualcomm Incorporated Video coding using function-based scan order for transform coefficients
US8976861B2 (en) 2010-12-03 2015-03-10 Qualcomm Incorporated Separately coding the position of a last significant coefficient of a video block in video coding
JP2012129888A (ja) * 2010-12-16 2012-07-05 Samsung Electronics Co Ltd 画像符号化装置及び画像符号化方法
US20120163472A1 (en) * 2010-12-22 2012-06-28 Qualcomm Incorporated Efficiently coding scanning order information for a video block in video coding
US20120163456A1 (en) 2010-12-22 2012-06-28 Qualcomm Incorporated Using a most probable scanning order to efficiently code scanning order information for a video block in video coding
US9049444B2 (en) * 2010-12-22 2015-06-02 Qualcomm Incorporated Mode dependent scanning of coefficients of a block of video data
US20120236931A1 (en) * 2010-12-23 2012-09-20 Qualcomm Incorporated Transform coefficient scan
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
KR101739580B1 (ko) * 2010-12-30 2017-05-25 에스케이 텔레콤주식회사 적응적 스캔 장치 및 그 스캔 방법
US9490839B2 (en) 2011-01-03 2016-11-08 Qualcomm Incorporated Variable length coding of video block coefficients
JP5781313B2 (ja) 2011-01-12 2015-09-16 株式会社Nttドコモ 画像予測符号化方法、画像予測符号化装置、画像予測符号化プログラム、画像予測復号方法、画像予測復号装置及び画像予測復号プログラム
FR2972588A1 (fr) 2011-03-07 2012-09-14 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US9106913B2 (en) 2011-03-08 2015-08-11 Qualcomm Incorporated Coding of transform coefficients for video coding
US20120230418A1 (en) * 2011-03-08 2012-09-13 Qualcomm Incorporated Coding of transform coefficients for video coding
US8861593B2 (en) 2011-03-15 2014-10-14 Sony Corporation Context adaptation within video coding modules
US9648334B2 (en) * 2011-03-21 2017-05-09 Qualcomm Incorporated Bi-predictive merge mode based on uni-predictive neighbors in video coding
US8938001B1 (en) 2011-04-05 2015-01-20 Google Inc. Apparatus and method for coding using combinations
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
FR2977111A1 (fr) * 2011-06-24 2012-12-28 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
US9491469B2 (en) 2011-06-28 2016-11-08 Qualcomm Incorporated Coding of last significant transform coefficient
US9516316B2 (en) 2011-06-29 2016-12-06 Qualcomm Incorporated VLC coefficient coding for large chroma block
CN104980746B (zh) * 2011-07-01 2018-07-31 三星电子株式会社 用于使用分层数据单元进行编码和解码的方法和设备
US9338456B2 (en) 2011-07-11 2016-05-10 Qualcomm Incorporated Coding syntax elements using VLC codewords
US8891616B1 (en) 2011-07-27 2014-11-18 Google Inc. Method and apparatus for entropy encoding based on encoding cost
US9787982B2 (en) * 2011-09-12 2017-10-10 Qualcomm Incorporated Non-square transform units and prediction units in video coding
MX338988B (es) * 2011-10-24 2016-05-09 Infobridge Pte Ltd Aparato para la decodificacion de imagenes.
KR20130049524A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 방법
KR20130049523A (ko) * 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
US10390046B2 (en) 2011-11-07 2019-08-20 Qualcomm Incorporated Coding significant coefficient information in transform skip mode
KR20130050405A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 시간 후보자 결정방법
US9247257B1 (en) * 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US11039138B1 (en) * 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
GB2501534A (en) * 2012-04-26 2013-10-30 Sony Corp Control of transform processing order in high efficeency video codecs
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
WO2013181821A1 (en) * 2012-06-07 2013-12-12 Mediatek Singapore Pte. Ltd. Improved intra transform skip mode
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
KR102167095B1 (ko) 2012-07-02 2020-10-16 엘지전자 주식회사 영상 정보 코딩 방법 및 이를 이용하는 장치
MY200990A (en) * 2012-07-02 2024-01-29 Samsung Electronics Co Ltd Entrophy Coding of a Video and Entropy Decoding of a Video
US9264713B2 (en) * 2012-07-11 2016-02-16 Qualcomm Incorporated Rotation of prediction residual blocks in video coding with transform skipping
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9826229B2 (en) 2012-09-29 2017-11-21 Google Technology Holdings LLC Scan pattern determination from base layer pixel information for scalable extension
EP2920962A4 (en) 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
US9350988B1 (en) 2012-11-20 2016-05-24 Google Inc. Prediction mode-based block ordering in video coding
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US9681128B1 (en) 2013-01-31 2017-06-13 Google Inc. Adaptive pre-transform scanning patterns for video and image compression
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
CN103428492B (zh) * 2013-07-16 2016-11-16 山东大学 一种高清AVS编码中快速zig-zag扫描的方法
CN105453567B (zh) 2013-07-24 2019-04-23 微软技术许可有限责任公司 用于非变换编码的扫描次序
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
JP5646713B2 (ja) * 2013-09-13 2014-12-24 株式会社Nttドコモ 画像符号化装置、方法及びプログラム、並びに、画像復号装置、方法及びプログラム
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US9179151B2 (en) 2013-10-18 2015-11-03 Google Inc. Spatial proximity context entropy coding
JP5893711B2 (ja) * 2014-11-04 2016-03-23 株式会社Nttドコモ 画像符号化装置、方法及びプログラム、並びに、画像復号装置、方法及びプログラム
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
JP6109354B2 (ja) * 2016-01-20 2017-04-05 株式会社Nttドコモ 画像復号装置、方法及びプログラム
EP3412028B1 (en) 2016-02-12 2024-04-03 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
EP3412027B1 (en) 2016-02-12 2024-04-24 Huawei Technologies Co., Ltd. Method and apparatus for scan order selection
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US10440394B2 (en) * 2016-09-08 2019-10-08 Google Llc Context adaptive scan order for entropy coding
JP6767691B2 (ja) * 2016-10-18 2020-10-14 パナソニックIpマネジメント株式会社 画像符号化方法、伝送方法および画像符号化装置
GB2557335A (en) * 2016-12-07 2018-06-20 Sony Corp Image data encoding and decoding
CA3060201C (en) 2017-04-13 2023-09-19 Lg Electronics Inc. Image encoding/decoding method and device therefor
BR112020012643B1 (pt) 2017-12-21 2022-05-17 Lg Electronics Inc Método para codificação de imagem com base em transformada seletiva e dispositivo para o mesmo
US11303884B2 (en) 2018-06-21 2022-04-12 Kt Corporation Method and apparatus for processing video signal
US20220038702A1 (en) * 2018-09-20 2022-02-03 Nokia Technologies Oy A method and an apparatus for encoding and decoding of digital image/video material
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding
KR20210031296A (ko) 2019-09-11 2021-03-19 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1000643A5 (fr) * 1987-06-05 1989-02-28 Belge Etat Procede de codage de signaux d'image.
JPH01155678A (ja) 1987-12-11 1989-06-19 Matsushita Electric Ind Co Ltd 半導体発光装置
US5136371A (en) * 1990-03-15 1992-08-04 Thomson Consumer Electronics, Inc. Digital image coding using random scanning
EP0586225B1 (en) * 1992-08-31 1998-12-23 Victor Company Of Japan, Ltd. Orthogonal transform coding apparatus and decoding apparatus
TW224553B (en) 1993-03-01 1994-06-01 Sony Co Ltd Method and apparatus for inverse discrete consine transform and coding/decoding of moving picture
TW297202B (ja) * 1993-10-13 1997-02-01 Rca Thomson Licensing Corp
KR0183688B1 (ko) * 1994-01-12 1999-05-01 김광호 영상부호화방법 및 장치
KR0178198B1 (ko) 1995-03-28 1999-05-01 배순훈 영상 신호 부호화 장치
US5721822A (en) * 1995-07-21 1998-02-24 Intel Corporation Run-length encoding/decoding video signals using scan patterns explicitly encoded into bitstreams
US5790706A (en) 1996-07-03 1998-08-04 Motorola, Inc. Method and apparatus for scanning of transform coefficients
JP2002232887A (ja) 1996-11-07 2002-08-16 Matsushita Electric Ind Co Ltd 画像符号化方法および画像符号化装置並びに画像復号化方法および画像復号化装置
EP1689194A3 (en) * 1996-11-07 2008-12-10 Panasonic Corporation Image encoder and image decoder
JPH10271505A (ja) 1997-03-25 1998-10-09 Oki Electric Ind Co Ltd 信号処理装置、符号化回路および復号回路
US5995055A (en) * 1997-06-30 1999-11-30 Raytheon Company Planar antenna radiating structure having quasi-scan, frequency-independent driving-point impedance
DE69838630T2 (de) * 1997-07-31 2008-08-28 Victor Company of Japan, Ltd., Yokohama Prädiktive Digitalvideosignalkodierung- und Dekodierungsmethode unter Verwendung von Blockinterpolation
JP4226172B2 (ja) * 1998-11-24 2009-02-18 株式会社ハイニックスセミコンダクター 適応的変換方法を用いる映像圧縮符号化装置および復号化装置ならびにその方法
AU1115001A (en) * 1999-10-22 2001-05-08 Activesky, Inc. An object oriented video system
US6724818B1 (en) * 2000-07-17 2004-04-20 Telefonaktiebolaget Lm Ericsson (Publ) Alternative block orders for better prediction
CN1142683C (zh) 2000-10-13 2004-03-17 清华大学 无转置行列分离二维离散余弦正反变换电路及其方法
JP2002135126A (ja) * 2000-10-26 2002-05-10 Seiko Epson Corp 半導体装置及びこれを用いた電子機器
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
KR100468844B1 (ko) 2002-01-07 2005-01-29 삼성전자주식회사 정지영상 및 동영상을 부호화/복호화하기 위한변환계수들의 최적주사방법
BR0304545A (pt) * 2002-01-14 2004-11-03 Nokia Corp Método de codificação das imagens em uma sequência de vìdeo digital para fornecer os dados de vìdeo codificados, codificador de vìdeo, método de decodificação dos dados indicativos de uma sequência de vìdeo digital, decodificador de vìdeo, e, sistema de decodificação de vìdeo
CN1620816A (zh) 2002-01-22 2005-05-25 诺基亚有限公司 图像/视频编码器和/或解码器中的编码变换系数
US6757576B2 (en) * 2002-02-05 2004-06-29 Gcc, Inc. System and method for drawing and manufacturing bent pipes
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
US7170937B2 (en) * 2002-05-01 2007-01-30 Texas Instruments Incorporated Complexity-scalable intra-frame prediction technique
EP2290989B1 (en) 2002-05-28 2015-01-28 Sharp Kabushiki Kaisha Method and systems for image intra-prediction mode estimation, communication, and organization
RU2314656C2 (ru) 2002-06-11 2008-01-10 Нокиа Корпорейшн Внутреннее кодирование, основанное на пространственном прогнозировании
CN101039427B (zh) * 2002-07-15 2010-06-16 株式会社日立制作所 动态图像的解码方法
US6795584B2 (en) 2002-10-03 2004-09-21 Nokia Corporation Context-based adaptive variable length coding for adaptive block transforms
US7463782B2 (en) * 2002-11-05 2008-12-09 Canon Kabushiki Kaisha Data encoding with an amplitude model and path between the data and corresponding decoding
FI116710B (fi) * 2002-12-20 2006-01-31 Oplayo Oy Kuvien koodausmenetelmä ja -järjestely
KR100750110B1 (ko) * 2003-04-22 2007-08-17 삼성전자주식회사 4×4인트라 휘도 예측 모드 결정방법 및 장치
JP3756897B2 (ja) 2003-07-30 2006-03-15 株式会社東芝 動画像符号化装置及び動画像符号化方法
US7289562B2 (en) * 2003-08-01 2007-10-30 Polycom, Inc. Adaptive filter to improve H-264 video quality
US20050036549A1 (en) * 2003-08-12 2005-02-17 Yong He Method and apparatus for selection of scanning mode in dual pass encoding
US7688894B2 (en) * 2003-09-07 2010-03-30 Microsoft Corporation Scan patterns for interlaced video content
JP4127818B2 (ja) * 2003-12-24 2008-07-30 株式会社東芝 動画像符号化方法及びその装置
EP1558039A1 (en) * 2004-01-21 2005-07-27 Deutsche Thomson-Brandt Gmbh Method and apparatus for generating/evaluating prediction information in picture signal encoding/decoding
JP4542447B2 (ja) * 2005-02-18 2010-09-15 株式会社日立製作所 画像の符号化/復号化装置、符号化/復号化プログラム及び符号化/復号化方法
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
US8369402B2 (en) * 2004-06-17 2013-02-05 Canon Kabushiki Kaisha Apparatus and method for prediction modes selection based on image formation
NO322043B1 (no) * 2004-12-30 2006-08-07 Tandberg Telecom As Fremgangsmate for forenklet entropikoding
US8311119B2 (en) 2004-12-31 2012-11-13 Microsoft Corporation Adaptive coefficient scan order
US7706443B2 (en) * 2005-03-11 2010-04-27 General Instrument Corporation Method, article of manufacture, and apparatus for high quality, fast intra coding usable for creating digital video content
CN100345449C (zh) * 2005-03-18 2007-10-24 清华大学 图像/视频编码中变换系数的熵编码方法
US20070014348A1 (en) * 2005-04-12 2007-01-18 Nokia Corporation Method and system for motion compensated fine granularity scalable video coding with drift control
EP1768415A1 (en) 2005-09-27 2007-03-28 Matsushita Electric Industrial Co., Ltd. Adaptive scan order of DCT coefficients and its signaling
CN101815224A (zh) 2005-07-22 2010-08-25 三菱电机株式会社 图像编码装置和方法、以及图像解码装置和方法
US7933337B2 (en) * 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
JP2007053561A (ja) 2005-08-17 2007-03-01 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
WO2007046644A1 (en) 2005-10-21 2007-04-26 Electronics And Telecommunications Research Institute Apparatus and method for encoding and decoding moving picture using adaptive scanning
US8200033B2 (en) 2005-11-30 2012-06-12 Koninklijke Philips Electronics N.V. Encoding method and apparatus applying coefficient reordering
US7529484B2 (en) * 2005-12-14 2009-05-05 Nec Laboratories America, Inc. Triplexer transceiver using parallel signal detection
CN1801940A (zh) 2005-12-15 2006-07-12 清华大学 整型变换电路和整型变换方法
US8000539B2 (en) * 2005-12-21 2011-08-16 Ntt Docomo, Inc. Geometrical image representation and compression
US20080008246A1 (en) * 2006-07-05 2008-01-10 Debargha Mukherjee Optimizing video coding
US8428133B2 (en) * 2007-06-15 2013-04-23 Qualcomm Incorporated Adaptive coding of video block prediction mode
EP2422520A1 (en) * 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Adaptive interpolation filters for multi-layered video delivery
US9641846B2 (en) * 2010-10-22 2017-05-02 Qualcomm Incorporated Adaptive scanning of transform coefficients for video coding

Also Published As

Publication number Publication date
WO2008157268A2 (en) 2008-12-24
BRPI0813275A2 (pt) 2014-12-30
CN101682771A (zh) 2010-03-24
EP2165542B1 (en) 2012-07-25
KR20100021658A (ko) 2010-02-25
CN101682771B (zh) 2012-02-29
CA2687253A1 (en) 2008-12-24
US20080310745A1 (en) 2008-12-18
KR101244229B1 (ko) 2013-03-18
KR20110129493A (ko) 2011-12-01
EP2165542A2 (en) 2010-03-24
US8571104B2 (en) 2013-10-29
JP2010530183A (ja) 2010-09-02
WO2008157268A3 (en) 2009-02-05
TW200915885A (en) 2009-04-01

Similar Documents

Publication Publication Date Title
JP5032657B2 (ja) ビデオコーディングでの適応係数スキャン
KR101214148B1 (ko) 비디오 블록의 인터리빙된 서브?블록들의 엔트로피 코딩
RU2447612C2 (ru) Адаптивное сканирование коэффициентов при кодировании видео
KR101168843B1 (ko) 수평 및 수직 대칭에 기초한 필터 계수들의 비디오 코딩
JP5290325B2 (ja) Cabacコーダのためのレート歪みモデリングに基づいた量子化
JP5405596B2 (ja) ビデオのコーディングの際の、アクティビティメトリックに基づくフィルタ予測
JP5415546B2 (ja) ベクトル化エントロピーコーディングに基づく加重予測
KR101376008B1 (ko) 캐시 히트들을 향상시키기 위한 디코더에서의 시간 및 공간 비디오 블록 재정렬
JP2011514055A (ja) Cabacコーダのための2パス量子化
JP2011501533A (ja) ビデオブロックヘッダ情報の適応可能なコーディング

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120529

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120628

R150 Certificate of patent or registration of utility model

Ref document number: 5032657

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250