JP5670885B2 - 映像符号化方法及びその装置、映像復号化方法及びその装置 - Google Patents

映像符号化方法及びその装置、映像復号化方法及びその装置 Download PDF

Info

Publication number
JP5670885B2
JP5670885B2 JP2011513412A JP2011513412A JP5670885B2 JP 5670885 B2 JP5670885 B2 JP 5670885B2 JP 2011513412 A JP2011513412 A JP 2011513412A JP 2011513412 A JP2011513412 A JP 2011513412A JP 5670885 B2 JP5670885 B2 JP 5670885B2
Authority
JP
Japan
Prior art keywords
data processing
processing unit
group
mode
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011513412A
Other languages
English (en)
Other versions
JP2011523321A (ja
Inventor
チェン，ジアンル
リー，ジェ−チュル
リー，サン−レ
チョン，ミン−ス
リー，キョ−ヒョク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2011523321A publication Critical patent/JP2011523321A/ja
Application granted granted Critical
Publication of JP5670885B2 publication Critical patent/JP5670885B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像の符号化及び復号化に関する。
既存のＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣのようなブロック基盤ビデオ符号化／復号化方式で、マクロブロックのサイズは、１６×１６に固定されている。特に、Ｈ．２６４／ＡＶＣの場合、さらに正確な推定または予測のために、８×８以下の４×４ブロックに細分して使用することもある。
本発明は、動的に決定されたデータ処理単位に基づく映像の符号化及び復号化を提供し、該映像符号化方法は、基本ブロックに分類された映像に対して、少なくとも１つの基本ブロックを含むグループと、少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループとに前記映像データを分類する段階と、前記所定グループを符号化するために、前記グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを符号化する方式を示す前記所定グループの符号化モードを決定する段階と、前記決定された符号化モードによって、前記所定グループのデータを符号化する段階と、を含む。
本発明の一実施形態による映像符号化方法は、基本ブロックに分類された映像に対して、少なくとも１つの基本ブロックを含むグループと、少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループとに前記映像データを分類する段階と、前記所定グループを符号化するために、前記グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを符号化する方式を示す前記所定グループの符号化モードを決定する段階と、前記決定された符号化モードによって、前記所定グループのデータを符号化する段階と、を含む。
一実施形態による映像符号化方法は、前記所定グループの符号化モードを示すフラグを符号化する段階をさらに含むことができる。
一実施形態による映像符号化方法の前記データ分類段階は、前記グループに含まれる基本ブロックの個数を示すグループのサイズと、前記グループに含まれる基本ブロックによって形成されるグループの形態とを決定する段階を含むことができる。
一実施形態による映像符号化方法の前記データ分類段階は、前記グループに含まれるサブグループの個数を示すレベル及び前記基本ブロックのスキャン順序に基づいて、前記グループのサブグループを決定する段階を含むことができる。
一実施形態による映像符号化方法の前記符号化モードは、前記グループのデータの符号化が行われるデータ処理単位であって、前記グループ単位、前記サブグループ単位、前記基本ブロック単位のうちいずれか一つを示すデータ処理単位の種類についての情報と、前記データ処理単位に含まれる基本ブロックの個数を示す前記データ処理単位のサイズについての情報と、前記データ処理単位に係わる動き推定のために、前記データ処理単位に対応する参照情報を決定する方式を示す推定モードについての情報とのうち少なくともいずれか一つを含むことができる。
一実施形態による映像符号化方法の前記符号化モード決定段階は、前記グループの所定データ処理単位別に、少なくとも１つの推定モードによって、前記データ処理単位に対する符号化を行う段階と、前記所定データ処理単位及び推定モードの組み合わせ別に符号化による誤差率を算出する段階と、前記算出された誤差率のうち最小の誤差率に対応する前記所定データ処理単位の推定モードを決定する段階と、を含むことができる。
一実施形態による映像符号化方法の前記符号化モード決定段階は、前記グループ内データ処理単位別に推定モードを考慮した符号化誤差率を比較し、最小の誤差率に対応するデータ処理単位及び推定モードの組み合わせを、前記グループの符号化モードに決定する段階を含むことができる。
一実施形態による映像符号化方法は、グループ単位及びサブグループ単位のうち１つのデータが周波数変換された係数を、複数個の基本ブロック単位に再配列する段階をさらに含むことができる。
一実施形態による前記映像符号化方法は、前記周波数変換された係数が、基本ブロック単位に再配列されているか否かを示すフラグを符号化する段階をさらに含むことができる。
一実施形態による前記映像符号化方法は、前記グループ内データの周波数変換のためのデータ処理単位を示すフラグを符号化する段階をさらに含むことができる。
一実施形態による前記データ分類段階は、前記映像データのピクチャ、シーケンス及びグループのうち１つのデータ単位別に、前記グループ単位のサイズ、形態及び最大レベルを決定できる。
本発明の一実施形態による映像復号化方法は、基本ブロック、少なくとも１つの基本ブロックを含むグループ、及び少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループのうち１つのデータ処理単位で符号化されたデータを受信してパージングする段階と、前記パージングされたデータから、前記グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを符号化した方式を示す前記所定グループの符号化モードを読み取る段階と、前記読み取られた符号化モードに基づいて、前記所定グループのデータを復号化する段階と、を含む。
一実施形態による映像復号化方法の前記符号化モード読取り段階は、前記パージングされたデータから、復号化のためのデータ処理単位として設定されたグループの形態、前記グループ内に含まれる基本ブロックの個数を示すグループのサイズ、及び前記グループ内サブグループの最大個数に関する最大レベル情報を読み取る段階と、前記グループの形態及び前記グループのサイズについての情報を利用し、前記パージングされた映像データを分類して復号化するためのデータ処理単位であるグループを決定する段階と、を含むことができる。
一実施形態による映像復号化方法で、前記グループ単位は、前記映像データのピクチャ、シーケンス及びグループのうち１つのデータ単位別に設定されうる。
一実施形態による映像復号化方法で、前記サブグループは、前記グループに含まれるサブグループの個数を示すレベル、及び前記基本ブロックのスキャン順序に基づいて設定されうる。
一実施形態による映像復号化方法の前記符号化モード読取り段階は、前記所定グループに係わるデータから、前記所定グループの符号化モードを示す符号化モード・フラグを抽出する段階と、前記符号化モード・フラグを利用し、前記所定グループの符号化モードを読み取る段階と、を含むことができる。
一実施形態による映像復号化方法で、前記グループの符号化モードは、前記グループのデータが符号化されたデータ処理単位が、前記グループ、前記サブグループ、前記基本ブロックのうちいずれか一つであることを示すデータ処理単位の種類についての情報と、前記データ処理単位に含まれる基本ブロックの個数を示すデータ処理単位のサイズについての情報と、前記データ処理単位に係わる動き推定のために、前記データ処理単位に対応する参照情報を決定する方式を示す推定モードについての情報とのうち少なくともいずれか一つを含むことができる。
一実施形態による映像復号化方法の前記グループ復号化段階は、前記符号化モードの前記データ処理単位の種類についての情報と、サイズについての情報とに基づいて復号化を行うデータ処理単位を決定する段階と、前記符号化モードの推定モードについての情報に基づいて、前記データ処理単位の推定モードを決定する段階と、前記決定されたデータ処理単位及び推定モードに基づいて、前記グループに係わる映像データを復号化する段階と、を含むことができる。
一実施形態による映像復号化方法で、前記符号化モードは、前記グループに係わる符号化のうち、前記グループ内のデータ処理単位別に、少なくとも１つの推定モードによる所定データ処理単位に係わる符号化を行って推定モード別の符号化誤差率を算出し、前記データ処理単位別に、前記推定モード別の符号化誤差率のうち最小の誤差率に対応する前記所定データ処理単位及び推定モードの組み合わせを決定し、前記グループ内のデータ処理単位及び推定モードの組み合わせ別に符号化誤差率を比較し、最小の誤差率を有するデータ処理単位及び推定モードの組み合わせを選択し、前記グループの符号化モードに設定されたものでありうる。
一実施形態による映像復号化方法で、前記基本ブロック単位の復号化処理順序は、ジグザグ・スキャン方式でありうる。
一実施形態による映像復号化方法は、複数個の基本ブロックの周波数変換された係数をグループ単位及びサブグループ単位のうち一つに再配列する段階をさらに含むことができる。
一実施形態による映像復号化方法は、前記パージングされたデータから、前記グループ単位及びサブグループ単位のうち１つのデータが周波数変換された係数が、基本ブロック単位に再配列されているか否かを示すフラグを読み取る段階をさらに含むことができる。
一実施形態による映像復号化方法は、前記パージングされたデータから、前記グループ内データの周波数変換のためのデータ処理単位を示すフラグを読み取る段階をさらに含むことができる。
本発明の一実施形態による映像符号化装置は、基本ブロックに分類された映像に対して、少なくとも１つの基本ブロックを含むグループと、少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループとに前記映像データを分類するデータ分類部と、前記グループを符号化するために、グループ単位、サブグループ単位及び基本ブロック単位のうち少なくとも１つのデータ処理単位、及び前記少なくとも１つのデータ処理単位による前記グループのデータの符号化方式を示す前記グループの符号化モードを決定するグループ符号化モード決定部と、前記決定された符号化モードによって前記グループのデータを符号化するグループ符号化部と、を含む。
本発明の一実施形態による映像復号化装置は、基本ブロック、少なくとも１つの基本ブロックを含むグループ、及び少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループのうち１つのデータ処理単位で符号化されたデータを受信してパージングする受信部と、前記パージングされたデータから、前記グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを符号化した方式を示す前記所定グループの符号化モードを読み取るグループ符号化モード読取り部と、前記読み取られた符号化モードに基づいて、前記所定グループのデータを復号化するグループ復号化部と、を含む。
一実施形態によって、映像に係わるデータ処理単位の種類及び動き推定方式を示す符号化モードが決定されれば、符号化モードに対応するデータ処理単位及び動き推定モードを考慮して映像を符号化する。
本発明の一実施形態によって動的に決定されたデータ処理単位によって映像を符号化する方法は、前記決定されたグループの符号化モードに対応する大型データ処理単位に基づいて、前記入力映像の符号化のための周波数変換及び量子化を行う段階と、前記大型データ処理単位に基づいて、前記入力映像の符号化のための動き推定を行う段階と、前記大型データ処理単位に基づいて、前記入力映像の符号化のためのインループ・フィルタリングを行う段階と、前記大型データ処理単位に基づいて、前記入力映像の符号化のためのエントロピ符号化を行う段階と、をさらに含む。
一実施形態によって、映像に係わるデータ処理単位の種類及び動き推定方式を示す符号化モードが読み取られれば、符号化モードに対応するデータ処理単位及び動き推定モードを考慮して映像を復号化する。
本発明の一実施形態によって、動的に決定されたデータ処理単位によって映像を復号化する方法は、前記読み取られたグループの符号化モードに対応する大型データ処理単位に基づいて、前記グループのデータの復号化のためのエントロピ復号化を行う段階と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のための逆量子化及び逆周波数変換を行う段階と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のための動き推定を行う段階と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のためのインループ・フィルタリングを行う段階と、をさらに含む。
本発明の一実施形態によって動的に決定されたデータ処理単位によって映像を符号化する装置は、前記決定されたグループの符号化モードに対応する大型データ処理単位に基づいて、前記入力映像の符号化のための周波数変換及び量子化を行う周波数変換及び量子化部と、前記大型データ処理単位に基づいて、前記入力映像の符号化のための動き推定を行う動き推定部と、前記大型データ処理単位に基づいて、前記入力映像の符号化のためのインループ・フィルタリングを行うインループ・フィルタリング部と、前記大型データ処理単位に基礎して前記入力映像の符号化のためのエントロピ符号化を行うエントロピ符号化部と、をさらに含む。
本発明の一実施形態によって、動的に決定されたデータ処理単位によって映像を復号化する装置は、前記読み取られたグループの符号化モードに対応する大型データ処理単位に基づいて、前記グループのデータの復号化のためのエントロピ復号化を行うエントロピ復号化部と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のための逆量子化及び逆周波数変換を行う逆量子化及び逆周波数変換部と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のための動き推定を行う動き推定部と、前記大型データ処理単位に基づいて、前記グループのデータの復号化のためのインループ・フィルタリングを行うインループ・フィルタリング部と、をさらに含む。
一実施形態による前記映像符号化方法または前記復号化方法では、前記動き推定のためのデータ処理単位のサイズに基づいて、前記周波数変換のためのデータ処理単位のサイズが決定されうる。
一実施形態による前記映像符号化方法及び前記映像復号化方法の動き推定遂行と関連して、前記大型データ処理単位に基づいて、順次的動き推定のためのデータ処理単位別スキャン順序が決定され、現在データ処理単位の右側上端に位置する隣接するデータ処理単位を参照ブロックとして利用できるか否か（neighbor availability）が決定されうる。
一実施形態によって、前記大型データ処理単位に基づく動き推定は、前記大型データ処理単位のうち正方形ブロック状のデータ処理単位を利用できる。前記正方形ブロック状のデータ処理単位に基づくところの周波数変換のためのデータ処理単位のサイズは、前記正方形ブロック状のデータ処理単位より小さいか、あるいは同じ所定サイズに制限されうる。
一実施形態によって、前記大型データ処理単位に基づく動き推定は、前記大型データ処理単位のイントラ推定を含むことができ、またコンプレックス・プレーン形態を利用したイントラ・モードに基づいて行われる前記大型データ処理単位のイントラ推定を含むことができる。一実施形態によって、前記大型データ処理単位に基づいて、イントラ・モードで動き推定が可能なデータ処理単位があらかじめ設定されうる。
一実施形態による前記大型データ処理単位に基づく動き推定は、前記大型データ処理単位に基づいたイントラ・モード及びインター・モードが混合された形態の推定モードで行われる動き推定を含むことができ、インター・モードの動き推定のための動きベクトルは、前記大型データ処理単位に基づいて決定されうる。また、前記大型データ処理単位に基づいて決定された動きベクトルに対応し、インター・モードのための動きベクトル推定子が誘導されうる。
一実施形態による前記大型データ処理単位に基づく動き推定と関連して、前記大型データ処理単位に基づいて拡張された形態のスキップ・モードが決定されうる。また、相互隣接する少なくとも１つのスキップ・モードのデータ処理単位を含むスキップ・グループが決定され、同じスキップ・グループに含まれるあらゆるデータ処理単位については、同時にスキップ・モードで動き推定が行われうる。
一実施形態による前記大型データ処理単位に基づく前記周波数変換は、前記大型データ処理単位に基づいた大型ブロック基盤の整数離散コサイン変換（ＤＣＴ）を含むことができる。また、現在データ処理単位のクロマ（chroma）成分に対して、前記大型データ処理単位に基づいて決定された所定サイズで周波数変換が行われうる。一実施形態による大型データ処理単位に基づいた周波数変換によって発生する演算量負担を減らすように変形された形態の周波数変換が行われうる。
一実施形態による前記大型データ処理単位に基づくエントロピ符号化は、前記大型データ処理単位に基づいて決定されるデータ処理単位別サイズによって、階層的な符号化ブロック・パターン（coded block pattern）を利用できる。
一実施形態による前記大型データ処理単位に基づくエントロピ符号化は、前記現在データ処理単位を、前記現在データ処理単位の量子化された係数のうち０ではない量子化された係数が存在する確率に基づいて分類した領域別に符号化ブロック・パターンをスキャンできる。前記現在データ処理単位の分類された領域別の符号化ブロック・パターンに基づいて、０ではない係数が含まれた領域だけの係数のストリップがスキャンされうる。また、前記０ではない係数が含まれた領域の係数のストリップを示す表示は、ビット・ストリームに含まれるように符号化され、ビット・ストリームの復号化過程で、０ではない係数が含まれた領域の係数ストリップであることを示す表示を読み取ることができる。
一実施形態による前記エントロピ符号化またはエントロピ復号化は、前記大型データ処理単位に基づいて、コンテクスト基盤適応的二進算術符号技法（ＣＡＢＡＣ：context-based adaptive binary arithmetic code）またはコンテクスト基盤適応的可変長符号技法（ＣＡＶＬＣ：context-based adaptive variable length code）を利用できる。
一実施形態による前記大型データ処理単位に基づくエントロピ符号化またはエントロピ復号化は、前記大型データ処理単位に基づくイントラ・モードまたはクロマ成分に対して、単一コンテクストとして決定された符号化ブロック・パターンを利用できる。
一実施形態による前記大型データ処理単位に基づくインループ・フィルタリングは、前記大型データ処理単位に基づいて、現在データ処理単位内部の下位データ処理単位に対するデブロッキング・フィルタリングの遂行いかんを含むことができる。また、前記現在データ処理単位に対するデブロッキング・フィルタリングのうち、前記現在データ処理単位内部の下位データ処理単位の左側境界または上端境界に対するデブロッキング・フィルタリング、所定サイズのデータ処理単位で周波数変換された前記現在データ処理単位内部の下位データ処理単位の境界に対するデブロッキング・フィルタリングは、除外されうる。
また、一実施形態による前記インループ・フィルタリングでは、前記現在データ処理単位のクロマ成分に対するデブロッキング・フィルタリングのうち、前記現在データ処理単位内部の下位データ処理単位のクロマ成分の境界に対するデブロッキング・フィルタリングが除外されうる。一実施形態による前記インループ・フィルタリングは、インター・モード及びイントラ・モードが混合された形態で動き推定が行われた前記現在データ処理単位に対するデブロッキング・フィルタリングのうち、前記現在データ処理単位内部の下位データ処理単位の境界に対するデブロッキング・フィルタリングが除外されうる。
一実施形態による前記インループ・フィルタリング遂行と関連して、前記現在データ処理単位内部の少なくとも１つの下位データ処理単位の境界に対して、境界別デブロッキング・フィルタリングの強度が個別的に設定されうる。
一実施形態による前記インループ・フィルタリングは、前記大型データ処理単位に基づいて、大型サイズの現在データ処理単位に対してリンギング効果低減のための付加的なフィルタリングを含むことができる。
本発明は、本発明の一実施形態によって動的に決定されたデータ処理単位による映像符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
また本発明は、本発明の一実施形態によって動的に決定されたデータ処理単位による映像復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。
本発明の一実施形態による映像符号化装置のブロック図である。 本発明の一実施形態による映像復号化装置のブロック図である。 本発明で提案するデータ処理単位であるグループの概念を図示する図である。 本発明で提案するデータ処理単位のサブグループの一例を図示する図である。 本発明で提案するデータ処理単位のサブグループの他の例を図示する図である。 本発明の一実施形態による符号化モードのシンタックスを図示する図である。 データ処理単位別の符号化方式の一例を図示する図である。 本発明の一実施形態による、グループの符号化モードを決定する符号化方法のフローチャートである。 本発明の一実施形態による、符号化モードを読み取って復号化する方法のフローチャートである。 本発明で可能なデータ処理単位の階層的構造を図示する図である。 本発明の他の実施形態によるスーパー・マクロブロック及びマクロブロック単位による符号化モードのシンタックスを図示する図である。 本発明の他の実施形態による、符号化モードがスキップ・モードである場合、動きベクトル推定方式を図示する図である。 本発明の他の実施形態のデータ処理単位別の符号化／復号化処理順序を図示する図である。 本発明の他の実施形態の周波数係数の配列方式を図示する図である。 既存符号化方式及び本発明の他の実施形態によるＣＢＰ（coded block pattern）及び係数ブロック・サイズと関連したシンタックス符号化方式を比較する図である。 本発明の他の実施形態のＣＢＰ関連シンタックスを図示する図である。 本発明の他の実施形態のＢフレームの符号化モードを図示する図である。 本発明の一実施形態による映像符号化方法のフローチャートである。 本発明の一実施形態による映像復号化方法のフローチャートである。 一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。 一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。 一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。 一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。 一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。 一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置の変形実施形態のブロック図である。 本発明の一実施形態による、動的に決定されたデータ処理単位を考慮した映像符号化方法のフローチャートである。 本発明の一実施形態による大型データ処理単位を考慮した動き推定のためのデータ処理単位別スキャン方式を図示する図である。 本発明の一実施形態による大型データ処理単位を考慮した動き推定で、隣接する近隣データ処理単位の利用可能性を図示する図である。 本発明の一実施形態による大型データ処理単位のうち簡素化された階層的データ処理単位を図示する図である。 本発明の一実施形態による大型データ処理単位を考慮したシンタックスを図示する図である。 本発明の一実施形態によるスキップ・グループの一構成方式を図示する図である。 本発明の一実施形態によるスキップ・グループの他の構成方式を図示する図である。 本発明の一実施形態によるスキップ・グループの他の構成方式を図示する図である。 本発明の一実施形態による大型データ処理単位内の動きベクトル誘導方式と、下位データ処理単位の動きベクトル誘導方式とを図示する図である。 本発明の一実施形態による大型データ処理単位内の動きベクトル誘導方式と、下位データ処理単位の動きベクトル誘導方式とを図示する図である。 本発明の一実施形態による大型データ処理単位のクロマ成分のための一動き推定方式を図示する図である。 本発明の一実施形態による大型データ処理単位のクロマ成分のための他の動き推定方式を図示する図である。 本発明の一実施形態による大型データ処理単位のクロマ成分に係わるデータ処理単位のサイズを誘導する方式を図示する図である。 本発明の一実施形態による大型データ処理単位を考慮した符号化ブロック・パターンを利用する方法のフローチャートである。 本発明の一実施形態による大型データ処理単位を考慮した符号化ブロック・パターンをスキャンする一方式を図示する図である。 本発明の一実施形態による大型データ処理単位を考慮した符号化ブロック・パターンをスキャンする他の方式を図示する図である。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化装置の変形実施形態のブロック図である。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像符号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。 一実施形態による、動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートである。
以下、本明細書の理解のために、本発明の実施形態の目次を紹介する。
まず、（I．データ処理単位の動的決定）において、一実施形態によって動的に決定されるデータ処理単位及び符号化モードについて説明する。
（II．動的に決定されたデータ処理単位による映像符号化装置）、先に動的に決定されたデータ処理単位及び符号化モードによって映像を符号化する装置について記述する。
一実施形態によって動的に決定されたデータ処理単位による映像符号化装置のそれぞれの細部動作について、（III．動き推定プロセシング）、（III−１．イントラ推定）、（III−２．インター推定）、（IV．周波数変換及び量子化）、（V．エントロピ符号化）において説明する。
（VII．動的に決定されたデータ処理単位による映像復号化装置）では、一実施形態によって動的に決定されたデータ処理単位による映像符号化モードに対応する一実施形態によって動的に決定されたデータ処理単位による映像復号化装置について説明する。
（VIII．動的に決定されたデータ処理単位による映像符号化方法及び映像復号化方法）では、一実施形態によって動的に決定されたデータ処理単位による映像符号化方法及びそれに対応する映像復号化方法について説明する。
（I．データ処理単位の動的決定）
図１は、本発明の一実施形態による映像符号化装置のブロック図を図示している。
一実施形態による映像符号化装置１００は、データ分類部１１０、グループ符号化モード決定部１２０、グループ符号化部１３０を含む。
データ分類部１００は、入力された映像データが、基本ブロック単位に分類されている場合、基本ブロックに基づいて、映像データを少なくとも１つの基本ブロックを含むグループと、少なくとも１つの基本ブロックを含んでグループに含まれるサブグループ及び基本ブロックとにデータを分類し、分類されたデータをグループ符号化モード決定部１２０及びグループ符号化部１３０に出力する。
基本ブロック、グループ、サブグループは、映像データを符号化処理するためのデータ処理単位の種類である。
グループは、基本ブロックの個数を示す「サイズ」と、グループに含まれる基本ブロックによって形成される「形態」の属性とを有することができる。サブグループは、グループ内サブグループの個数を示す「レベル」と、グループ内基本ブロック間の「スキャン順序」とによって決定される。サイズ、形態、最大レベル、スキャン順序のうち少なくともいずれか一つを含むグループの属性は、それぞれのグループ別、ピクチャ別、シーケンス別に決定されうる。
グループの決定方式については、以下の図３、サブグループの決定方式については、以下の図４及び図５で説明する。
グループ符号化モード決定部１２０は、グループを符号化するために利用されるデータ処理単位、すなわち、グループ単位、サブグループ単位及び基本ブロック単位のうち少なくとも１つのデータ処理単位によるグループ内データの符号化方式についての情報を含むグループの符号化モードを決定する。
グループ符号化モード決定部１２０の一実施形態は、データ分類部１１０で分類されたグループ、サブグループ、基本ブロックのうちそれぞれのデータ処理単位別に、それぞれのグループのデータを符号化して発生する誤差率を決定し、それぞれのグループのデータ処理単位別の誤差率に基づいて、当該グループの符号化モードを決定できる。従って、グループのデータ処理単位別の誤差率に基づいて、動的に決定されたデータ処理単位によって、映像データが符号化される。
グループ符号化モード決定部１２０で決定する符号化モードは、グループのデータをグループ単位、サブグループ単位、基本ブロック単位のうちいずれの単位で符号化処理するか示すデータ処理単位の種類についての情報と、データ処理単位に含まれる基本ブロックの個数を示すデータ処理単位のサイズについての情報と、データ処理単位による動き推定のために必要な参照情報を決定する方式を示す推定モードについての情報とのうち少なくともいずれか一つを含む。
グループ符号化モード決定部１２０は、グループのデータをデータ処理単位別に、基本ブロック単位で符号化した場合の誤差率、サブグループ単位で符号化した場合の誤差率、グループ単位で符号化した場合の誤差率を算出して相互比較し、誤差率が最も低いデータ処理単位を、当該グループの符号化処理単位として決定できる。すなわち、符号化遂行及び誤差率算出過程が、グループ単位、サブグループ単位、基本ブロック単位ごとに行われる。
また、グループ符号化モード決定部１２０の一実施形態は、それぞれのデータ処理単位ごとに、さまざまな推定モードで符号化した場合の誤差率を比較し、データ処理単位別に誤差率が最も低い推定モードを決定できる。
例えば、グループ符号化モード決定部１２０は、グループのデータを、データ処理単位ごとに推定モードでもって、スキップ・モード、インター・モード、イントラ・モードで符号化し、推定モード別の符号化誤差率を算出して比較し、最も低い誤差率を発生させる推定モードを当該データ処理単位の代表推定モードに決定できる。すなわち、推定モード別の符号化遂行による誤差率の比較と、それによる代表推定モード決定との過程が、グループ単位、サブグループ単位、基本ブロック単位ごとに行われる。
グループ符号化モード決定部１２０は、データ処理単位別に代表推定モードの誤差率を比較し、最も低い誤差率を有するデータ処理単位を、当該グループのデータのための代表データ処理単位として決定できる。最も低い誤差率を発生させる代表データ処理単位と代表推定モードとの組み合わせに基づいて、当該グループの代表データ処理単位の種類、サイズ、代表推定モードについての情報が、当該グループの符号化モードに決定される。
グループ符号化部１３０は、グループ符号化モード決定部１２０で決定されたグループ別の符号化モードによって、データ分類部１１０から入力された映像データを符号化して出力する。映像符号化装置１００は、映像データ以外にも、グループ別の符号化モードを示すフラグを符号化するグループ符号化モード・フラグをさらに符号化できる。
本発明の一実施形態による映像符号化装置１００は、基本ブロック間のラスター・スキャン（raster scan）方式の代わりに、ジグザグ・スキャン方式を介して、１つのピクチャ内のデータを符号化できる。
一実施形態による映像符号化装置１００は、グループ単位及びサブグループ単位のうち１つのデータが周波数変換された係数を、複数個の基本ブロック単位に再配列させられる。一実施形態による映像符号化装置１００は、基本ブロックまたはサブグループ単位で映像データを周波数変換することができる。このとき、周波数変換のためのデータ処理単位は、動き推定のためのデータ処理単位と一致しないこともある。
一実施形態による映像符号化装置１００は、所定データ処理単位のデータが周波数変換された係数が、可変的なデータ処理単位によって再配列されているか否かを示すフラグを符号化することもできる。
図２は、本発明の一実施形態による映像復号化装置のブロック図を図示している。
一実施形態による映像復号化装置２００は、受信部２１０、グループ符号化モード読取り部２２０及びグループ復号化部２３０を含む。基本ブロック、グループ、サブグループ、符号化モードなどの概念は、一実施形態による映像符号化装置１００の説明で述べたところと同一である。
受信部２１０は、基本ブロック、グループ、サブグループのうち１つのデータ処理単位で符号化されたデータを受信してパージングし、復号化される情報を抽出し、グループ符号化モード読取り部２２０及びグループ復号化部２３０に出力する。
グループ符号化モード読取り部２２０は、受信部２１０でパージングされたデータから、グループの符号化モードを読み取り、グループ復号化部２３０に出力する。グループ符号化モード読取り部２２０は、パージングされたデータから、グループの形態、サイズ、最大レベルについての情報を読み取り、読み取られたグループの形態及びサイズ情報を利用し、所定グループを決定できる。グループの属性は、グループ、ピクチャ、シーケンスなどのデータ単位別に設定されている。
他の実施形態のグループ符号化モード読取り部２２０は、パージングされたデータから所定グループの符号化モードを示すグループ符号化モード・フラグを抽出し、グループ符号化モード・フラグを利用し、所定グループの符号化モードを読み取ることができる。読み取られたグループ別の符号化モードは、それぞれのグループのデータを復号化するとき、使われるデータ処理単位の種類、サイズ、推定モードなどについての情報を含んでいる。
グループ復号化部２３０は、グループ符号化モード読取り部２２０から入力されたグループ別の符号化モードを利用し、受信部２１０で受信されたグループ別データを復号化して出力する。
グループ復号化部２３０は、符号化モードのうちデータ処理単位の種類及びサイズについての情報に基づいて、グループのデータ復号化のためのグループ内データ処理単位を決定し、符号化モードのうち推定モードについての情報に基づいて、当該データ処理単位の推定モードを決定できる。グループ復号化部２３０は、符号化モードから決定されたデータ処理単位及び推定モードに基づいて、当該グループのデータを復号化できる。
グループ復号化部２３０は、基本ブロック単位のジグザグ・スキャン方式によって、１ピクチャのデータをスキャンすることによって、グループ別の符号化モードを読み取って復号化できる。
一実施形態の映像復号化装置２００は、複数個の基本ブロックの周波数変換された係数を、グループ単位及びサブグループ単位のうち一つに再配列することもできる。一実施形態の映像復号化装置２００は、基本ブロックまたはサブグループ単位に分類されたデータを、周波数逆変換することもできる。
映像復号化装置２００は、パージングされたデータから、グループ単位及びサブグループ単位のうち１つのデータが周波数変換された係数が符号化過程で、基本ブロック単位に再配列されているか否かを示すフラグをさらに抽出できる。係数再配列いかんフラグに基づいて、復号化過程で係数を、グループ単位及びサブグループ単位のうち一つに再配列させられる。
図３は、本発明で提案するデータ処理単位であるグループの概念を図示している。
大容量のデータを処理できるハードウェア及びネットワーク環境が構築されつつ、大容量のデータに比べて、既存のマクロブロック単位が有用な情報を収録するのに、相対的に小さな単位でありうる。例えば、ＳＤ（standard definition）クラス以上のＨＤ（high definition）クラス解像度、及びそれ以上の解像度では、小サイズのマクロブロックによって、実際のテキスチャ・コーディングに使われることが望ましいビットが、マクロブロック・モード、動きベクトルのようなマクロブロック・シンボルである付加情報に割り当てられることによって、ＲＤコスト（rate-distortion cost）が低下しうる。
本発明は、少なくとも１つの基本ブロックを含むグループ単位を、データ処理単位として導入する。
基本ブロック３００は、少なくとも１つのデータを含む単位である。例えば、ＭＰＥＧまたはＨ．２６４の８×８，１６×１６マクロブロックでありうる。
グループは、少なくとも１つの基本ブロックを含む単位であり、その形態及び基本ブロックの個数を示すグループのサイズは、任意に決定されうる。例えば、サイズ１６及び正四角形であるグループ３１０、サイズ８及び長方形であるグループ３２０，３２５、サイズ１３及びダイアモンド形であるグループ３３０などが存在しうる。かようなグループの形態及びサイズは、映像データのピクチャ、ピクチャ・シーケンス単位で一定に設定され、あらゆるグループごとに、個別的に設定されもする。
図４は、本発明で提案するデータ処理単位のサブグループの一例を図示している。
グループ内のサブグループは、グループ内に少なくとも１つの基本ブロックを含み、サブグループを決定する第１決定方式は、レベル及びスキャン順序によって決定される方式である。図４は、正方形、グループ・サイズ１６、最大レベル４であるグループを図示している。
まず、グループ内サブグループの個数によって、レベル４であるグループ４１０，４２０，４５０、レベル２であるグループ４３０，４６０、レベル１であるグループ４４０に分類されうる。
また、グループ内基本ブロックのスキャン順序によって、ジグザグ・スキャン順序のグループ４１０、バーチカルスキャン順序のグループ４２０，４３０，４４０、ラスター・スキャン順序のグループ４５０，４６０に分類されうる。
従って、サイズ１６、正方形のグループ４１０に対して、レベル４、ジグザグ・スキャン順序でサブグループが設定されれば、サイズ４、正方形の４個のサブグループが形成されうる。グループ４２０に対して、レベル４、バーチカルスキャン順序でサブグループが設定されれば、サイズ４、長方形の４個のサブグループ４２２，４２４，４２６，４２８が形成されうる。同様に、グループ４５０に対して、レベル４、ラスター・スキャン順序でサブグループが設定されれば、サイズ４、長方形の４個のサブグループ４５２，４５４，４５６，４５８が形成されうる。
サイズ１６、正方形のグループ４３０に対して、レベル２、バーチカル・スキャン順序でサブグループが設定されれば、サイズ８、長方形の２個のサブグループ４３２，４３４が形成されうる。同様に、グループ４６０に対して、レベル２、ラスター・スキャン順序でサブグループが設定されれば、サイズ８、長方形の２個のサブグループ４６２，４６４が形成されうる。
サイズ１６、正方形のグループ４４０に対して、レベル１、バーチカル・スキャン順序でサブグループが設定されれば、サイズ１６、正方形の１個のサブグループ４４５が形成されうる。
図４には、それぞれのレベルごとに、さまざまなスキャン順序がいずれも設定されているが、レベル別に所定スキャン順序が設定されもする。また、周波数変換のためのデータ処理単位は、先に定義されたグループ、サブグループのサイズ以下の単位でもありうる。
図５は、本発明で提案するデータ処理単位のサブグループの他の例を図示している。
サブグループを決定する第２決定方式は、グループ内基本ブロックのスキャン順序によって、羅列される基本ブロックのシーケンスを、レベルによって区分する方式である。図５は、正方形、グループ・サイズ１６であるグループ５００，５５０を例に挙げ、サブグループの第２決定方式について述べている。
正方形、グループ・サイズ１６であるグループ５００は、ジグザグ・スキャン順序によって、基本ブロック１，２，５，９，６，３，４，７，１０，１３，１４，１１，８，１２，１５，１６の順序で、基本ブロックのシーケンス５１０が再配列されうる。グループ５００のレベルが３である場合、基本ブロック・シーケンス５１０は、基本ブロック１，２，５，９，６を含む第１サブグループ、基本ブロック３，４，７，１０，１３を含む第２サブグループ、基本ブロック１４，１１，８，１２，１５，１６を含む第３サブグループに分類されうる。従って、グループ５００をジグザグ・スキャン順序によって、レベル３のサブグループに分類すれば、グループ５２０のようにサブグループが分類されうる。
他の例として、正方形、グループ・サイズ１６であるグループ５５０は、逆ジグザグ・スキャン順序によって、基本ブロック４，８，３，２，７，１２，１６，１１，６，１，５，１０，１５，１４，９，１３の順序で、基本ブロックのシーケンス５６０が再配列されうる。グループ５５０のレベルが４である場合、基本ブロック・シーケンス５６０は、基本ブロック４，８，３，２を含む第１サブグループ、基本ブロック７，１２，１６，１１を含む第２サブグループ、基本ブロック６，１，５，１０を含む第３サブグループ、基本ブロック１５，１４，９，１３を含む第４サブグループに分類されうる。従って、グループ５５０を逆ジグザグ・スキャン順序によって、レベル４のサブグループに分類すれば、グループ５７０のようにサブグループが分類されうる。
図６は、本発明の一実施形態による符号化モードのシンタックスを図示している。
一実施形態による映像復号化装置２００のグループ符号化モード読取り部２２０で、所定グループの符号化モードを示すシンタックスによって、グループ符号化モードを読み取る過程のフローチャートを示している。
段階６１０（Group_SKIP？）で、グループ符号化モード読取り部２２０は、所定グループのデータがグループ単位のスキップ・モードで符号化されているか否かを示すフラグ（Group_SKIP）を確認する。「Group_SKIP」フラグ値が１であるならば、当該グループのデータに対して、グループ単位のスキップ・モードで復号化を行う（段階６２０（Group_SKIP））。「Group_SKIP」フラグ値が０であるならば、段階６３０に移動する。
段階６３０（Level Mode？）で、グループ符号化モード読取り部２２０は、レベルによるサブグループが設定されているか否かを判断する。「はい」であるならば、グループ符号化モード読取り部２２０は、サブグループ単位の復号化方式を調べる（段階６４０（Subgroup_SKIP？））。サブグループが設定されていないならば、グループ符号化モード読取り部２２０は、基本ブロック単位の復号化方式を調べる（段階６５０（Unit_SKIP？））。
望ましい実施形態では、レベルは、１よりは大きく、グループ・サイズよりは小さいのである。レベルが１であるならば、グループと同じデータ処理単位であるためである。
グループ符号化モード読取り部２２０は、当該グループのデータがサブグループ単位のスキップ・モードで符号化されているか否かを示すフラグ（Subgroup_SKIP）を確認する（段階６４０（Subgroup_SKIP？））。「Subgroup_SKIP」フラグ値が１であるならば、グループ符号化部２３０は、サブグループ単位のスキップ・モードで復号化を行う（段階６６０（Subgroup_SKIP））。「Subgroup_SKIP」フラグ値が０であるならば、グループ符号化部２３０は、スキップ・モードを除外した推定モードで、サブグループ単位の復号化を行う（段階６７０（Subgroup_Mode））。
グループ単位のスキップ・モードに係わる差別性のために、望ましい実施形態では、あらゆるサブグループに対して、「Subgroup_SKIP」フラグ値が１に設定されていることがあってはならない。
望ましい実施形態で、サブグループ単位の復号化（Subgroup_Mode）における一般モードは、レベル及びスキャン順序によって決定される。このときのレベルは、最大レベルより小さいか、あるいは同じであらねばならない。
グループ符号化モード読取り部２２０は、当該グループのデータが、基本ブロック単位のスキップ・モードで符号化されているか否かを示すフラグ（Unit_SKIP）を確認する（段階６５０（Unit_SKIP））。「Unit_SKIP」フラグの値が１であるならば、グループ符号化部２３０は、基本ブロック単位のスキップ・モードで復号化を行う（段階６８０（Unit_SKIP））。「Unit_SKIP」フラグの値が０であるならば、グループ符号化部２３０は、スキップ・モードを除外した推定モードで基本ブロック単位の復号化を行う（段階６９０（Unit_Mode））。
望ましい実施形態で、サブグループ単位またはグループ単位のスキップ・モードに係わる差別性のために、望ましい実施形態では、あらゆる基本ブロックに対して、「Unit_SKIP」フラグ値が１に設定されていてはならない。
図７は、データ処理単位別の符号化方式の一例を図示している。
グループ内データ処理単位別の符号化方式は、場合によって、任意に決定されうる。以下、正方形、グループ・サイズ４、最大レベル２であるグループ７１０のデータ処理単位別の符号化方式の一例について叙述する。
サイズ４、最大レベル２であるグループ７１０において、レベルが２であるとき、スキャン順序によって、バーチカル・スキャン順序のサブグループ７２０、ラスター・スキャン順序のサブグループ７３０が設定され、レベルが１であるとき、サブグループ７４０が設定される。
基本ブロック７００に係わる符号化方式のうちスキップ・モード（Unit_SKIP）は、１６×１６スキップ・モードが採択されうる。また、基本ブロック７００の符号化方式のうち一般モード（Unit＿Mode）は、１６×１６，８×８，４×４イントラ・モード及び１６×１６，１６×８，８×１６，８×８，４×８，８×４，４×４インター・モードのうち一つが採択されうる。
サブグループ７２０，７３０に係わる符号化方式として、レベル１のサブグループ７４０に係わる符号化方式のうち一般モード（Subgroup_Mode）は、３２×３２インター・モード及び３２×３２イントラ・モードのうち一つが採択されうる。レベル２のサブグループ７２０，７３０に係わる符号化方式のうち一般モード（Subgroup_Mode）は、１６×３２インター・モード及び３２×１６インター・モードのうち一つが採択されうる。
グループ７１０に係わる符号化方式は、スキップ・モード（Group_SKIP）であって、３２×３２スキップ・モードが設定されうる。
図８は、本発明の一実施形態によって、グループの符号化モードを決定する符号化方法のフローチャートを図示している。図８を参考にして、データ処理単位別の符号化モードに関連して、最適のデータ処理単位及び推定モードを決定する方式について叙述する。
フローチャート（８００）は、所定グループの符号化モードを決定するために、映像符号化装置１００、特に、映像符号化モード決定部１２０が行うプロセスに係わるフローチャートである。
符号化しようとするデータから獲得されたグループの形態、サイズ、最大レベルについての情報に基づいて（［From Picture/Sequence or Group information］）、符号化されるデータのうち所定グループが決定される（段階８１０（Group Type，Group Size，MaxLevel））。グループの形態、サイズ、最大レベル情報は、ピクチャ、シーケンスまたはグループ単位で設定されている。
以下、データ処理単位別の符号化が行われる。
まず、グループ単位のスキップ・モードで符号化が行われ（段階８２０（Group Skip Encoding））、グループ単位のスキップ・モードの符号化による誤差率として、ＲＤコスト（rate distortion cost）が算出される（段階８３０（Group_Skip ＲＤ cost））。例えば、３２×３２グループに係わる３２×３２スキップ・モードの符号化によるＲＤコストが算出される。
基本ブロック単位の符号化が行われる（段階８４０（Unit Encoding（Skip，Intra，inter）））。基本ブロック単位の符号化は、スキップ・モード、イントラ・モード、インター・モードでそれぞれ行われうる。基本ブロック単位の符号化は、グループ内基本ブロックごとに行われねばならないので、グループ・サイズに相応するグループ内基本ブロックの個数ほど段階８４０が反復される（［Group Size］）。
基本ブロック単位の符号化によるＲＤコストが算出される（段階８５０（Unit GroupＲＤ Cost））。例えば、１６×１６スキップ・モード、１６×１６／８×８／４×４イントラ・モード、１６×１６／１６×８／８×１６／８×８／４×８／８×４／４×４インター・モードのような基本ブロック単位別に符号化した結果、算出されるＲＤコストのうち最も小さい基本ブロック単位が検索される。すなわち、基本ブロック単位の最小ＲＤコストに相応する基本ブロック・サイズ及び推定モードの組み合わせが選択される。
サブグループ単位の符号化が行われる（段階８６０（Sub_Group Encoding））。サブグループを設定するためにレベルを確認し（段階８６２（Level Typoe））、スキャン順序を確認し（段階８６４（Scan Order））、該当レベルのそれぞれのサブグループごとに、符号化が行われる（段階８６０）。サブグループ単位の符号化は、イントラ・モード、インター・モードでそれぞれ行われうる。サブグループ単位の符号化は、グループ内サブグループごとに行われねばならないので、レベルによって可能なレベルの数ほど、段階８６２，８６４，８６０が反復される（［Number of Level］）。
サブグループ単位の符号化によるＲＤコストが算出される（段階８７０（Sub Group ＲＤ cost））。それぞれのサブグループごとに、イントラ・モード、インター・モードの符号化のうち最もＲＤコストが小さい最適推定モードが決定され、あらゆるサブグループのうちＲＤコストが最も小さいサブグループ及び推定モードの組み合わせが決定される。例えば、レベルによって、３２×３２インター・モード／３２×３２イントラ・モード、または１６×３２／３２×１６インター・モードのようなサブブロック単位別に符号化した結果として算出されるＲＤコストのうち最も小さいサブグループ単位が検索される。すなわち、サブグループ単位の最小ＲＤコストに相応するサブグループ・サイズ及び推定モードの組み合わせが選択される。
映像符号化モード決定部１２０は、段階８３０で算出されたグループ単位のＲＤコスト、段階８５０で選択された基本ブロック単位組み合わせのＲＤコスト、段階８７０で選択されたサブグループ単位組み合わせのＲＤコストを比較し、最低ＲＤコストを選択する（段階８８０（Select Best ＲＤ））。
映像符号化モード決定部１２０は、段階８８０で選択された最低ＲＤコストに対応するデータ処理単位またはデータ処理単位のサイズ、及び推定モード組み合わせに基づいて、当該グループの符号化モードを決定する（段階８９０（Best Group Mode（Level type or unit mode）））。例えば、グループの符号化モードは、グループ単位、サブグループ単位、基本ブロック単位のうちいずれの単位であるかということ、データ処理単位の種類、データ処理単位のサイズと関連した情報（３２×３２，３２×１６，１６×３２，１６×１６，１６×８，８×１６，８×８，４×８，８×４，４×４）、推定モード（スキップ、イントラ、インター・モードなど）についての情報を含むことができる。
図９は、本発明の一実施形態によって、符号化モードを読み取って復号化する方法のフローチャートを図示している。
フローチャート（９００）は、映像復号化装置２００、特に、グループ符号化モード読取り部２２０が所定グループの復号化のために、グループの符号化モードを読み取るプロセスのフローチャートを示している。
グループ符号化モード読取り部２２０は、復号化しようとするデータからグループの形態、サイズ、最大レベルについての情報を獲得し（［From Picture/Sequence or Group information］）、復号化されるデータのうち所定グループを決定する（段階９１０（Group Type，Group
Size，MaxLevel））。グループの形態、サイズ、最大レベルについての情報は、ピクチャ、シーケンスまたはグループ単位で設定されている。
グループ符号化モード読取り部２２０は、所定グループが、グループ単位のスキップ・モードで符号化されているか否かを示すフラグ（Group_Skip）を確認する（段階９２０（Check Group_Skip））。確認の結果、グループ単位のスキップ・モードである場合、当該グループに対して、スキップ・モードで復号化する（段階９３０（Group Skip decoding））。確認の結果、グループ単位のスキップ・モードではない場合、段階９４０（Check Level）に移動する。
段階９４０で、グループ符号化モード読取り部２２０は、グループのレベルを確認する。確認の結果、レベルによってサブグループが設定されていないとすれば、グループ符号化モード読取り部２２０は、基本ブロック単位の復号化方式を調べる（段階９９０（Check Unit_mode））。レベルが確認された場合、グループ符号化モード読取り部２２０は、サブグループのレベルを確認し（段階９６０（Check Level））、スキャン順序を決定する（段階９７０（Scan Order））。グループ符号化モード読取り部２２０は、レベル及びスキャン順序によって決定されたサブグループに対して復号化を行う（段階９５０（Sub_Group Decoding））。グループ内サブグループごとに復号化されるので、グループ内レベルの数ほどサブグループの復号化過程（段階９６０，９７０，９５０）が反復される（［Number of Level］）。
グループ符号化モード読取り部２２０は、基本ブロック単位の推定モードを示すフラグ（Unit_mode）を確認する（段階９９０（Check Unit_mode））。確認の結果によって決定された推定モードによって、グループ符号化モード読取り部２２０は、当該基本ブロックに対して復号化を行う（段階９８０（Skip/Intra/Inter Unit Decoding））。グループ符号化モード読取り部２２０は、「Subgroup_SKIP」フラグ値が０であるならば、段階９８０によって、スキップ・モードを除外した推定モードで、当該サブグループに係わる復号化を行う。グループ内基本ブロックごとに復号化されるので、グループ・サイズほど基本ブロックの復号化過程（段階９９０，９８０）が反復される（［Group of Size］）。
以下、本発明で提案するグループ、サブグループ、基本ブロックの可変的なデータ処理単位による符号化及び復号化において、多様な実施形態について述べる。
本発明の一実施形態で、インター・モードの動きベクトル推定方式の一例は、現在データ処理単位のあらゆる周辺データ処理単位の動きベクトルの中央値（median value）を現在データ処理単位の動きベクトルとして決定できる。
本発明の一実施形態で、インター・モードの動きベクトル推定方式は、グループ、サブグループ、基本ブロックなどのサイズを考慮して、異なって決定されもする。例えば、データ処理単位のサイズによって、参照する周辺ブロックのサイズ、種類などが異なって設定されうる。
本発明の一実施形態で、イントラ・モードの動き推定方式の一例は、現在データ処理単位の任意の角度または方向上に位置する隣接ピクセル５個を参照し、５個の隣接ピクセル値の加重平均値（weighted average）を現在ピクセル値に推定できる。
本発明の一実施形態で、イントラ・モードの動き推定方式の一例は、所定グループに対して、周波数変換処理のためのデータ処理単位別に所定グループのデータを再配列し、参照ピクセルとして使用できる。イントラ・モードの推定方式の他の例は、動きベクトルのｘ軸変化量及びｙ軸変化量をグラデーション（gradation、∇）を利用して表現することもできる。
３２×３２イントラ・モードのブロックの動き推定方式の一例は、動きベクトルなどの推定信号２つの加重平均を利用して現在ブロックを推定できる。加重平均は、ピクセル別に最も近い参照ピクセルに、さらに大きい加重値を付与する方式で求められうる。
本発明の一実施形態で、グループ単位のスキップ・モードを示すフラグは、ピクチャ単位で集めて一度に処理されうる。望ましい実施形態で、Ｂピクチャのみ当該ピクチャ内のグループ単位のスキップ・モードを示すフラグが一度に処理されうる。
本発明の一実施形態は、スキップ・モードと対比される方式であり、現在データ処理単位の情報を誘導する方式を提案する。例えば、動きベクトル及びテキスチャ情報が、いずれもシグナリングされずに誘導されうる。また、動きベクトル情報はシグナリングされ、テキスチャ情報は誘導されたり、テキスチャ情報はシグナリングされ、動きベクトル情報は誘導されうる。ＤＣ情報のみシグナリングされる推定モードが可能である。量子化パラメータ（Ｑｐ：Quantization parameter）別に、多様な動き情報誘導方式が定義されもする。
本発明の一実施形態は、スキップ・モードのデータ処理単位が階層構造を形成できる。例えば、スキップ・モードの３２×３２ブロック内の１６×１６ブロックも、スキップ・モードであるならば、３２×３２スキップフラグ及び１６×１６スキップフラグの階層構造を示すフラグが設定されうる。また、スキップ・モードである基本ブロックの集合であるグループが形成されもする。
本発明の実施形態によって、だんだんと上昇しているビデオ・コンテンツの解像度に対応するために、既存のマクロブロック・サイズをさらに効率的なサイズに拡張し、ビデオ圧縮性能が向上しうる。
以下、図１０ないし図１７を参考にして、既存のＨ．２６４動映像符号化／復号化方式に対比して、本発明で提案するグループ、サブグループ、基本ブロックの階層的概念を、３２×３２データのスーパー・マクロブロック（以下、「ＳＭＢ」または「Ｓ−ＭＢ」とも表記）単位，１６×１６マクロブロック（以下、「ＭＢ」とも表記）単位、８×８マクロブロック単位の階層的構造として具現された本発明の他の実施形態について詳述する。
図１０は、本発明で可能なデータ処理単位の階層的構造を図示している。
データ処理単位の階層的構造１０００は、３段階の構造を有することができる。第１階層１０１０は、最も大きいサイズである３２×３２スーパー・マクロブロックであり、例えば、１個の３２×３２スキップ・モードである場合、１個の３２×３２インター・モードである場合、２個の３２×１６インター・モードを含む場合、２個の１６×３２インター・モードを含む場合、４個の１６×１６インター・モードを含む場合がありうる。第１階層１０１０については、１６×１６ブロック、８×８ブロック及び４×４ブロック単位の周波数変換が行われうる。
第２階層１０２０は、第１階層１０１０のスーパー・マクロブロックのうち分化された１６×１６マクロブロックに該当する。例えば、第２階層１０２０の１６×１６マクロブロックは、１個の１６×１６イントラ・モードである場合、１個の１６×１６スキップ・モードである場合、１個の１６×１６インター・モードである場合、２個の１６×８インター・モードを含む場合、２個の８×１６インター・モードを含む場合、４個の８×８インター・モードを含む場合がありうる。第２階層１０２０については、８×８ブロック及び４×４ブロック単位の周波数変換が行われうる。
第３階層１０３０は、第２階層１０２０のマクロブロックのうち分化された８×８ブロックに該当する。例えば、第３階層１０３０の８×８マクロブロックは、１個の８×８スキップ・モードである場合、１個の８×８インター・モードである場合、２個の８×４インター・モードを含む場合、２個の４×８インター・モードを含む場合、４個の４×４インター・モードを含む場合がありうる。第３階層１０３０については、４×４ブロック単位の周波数変換が行われうる。
本発明が提案するマクロブロックの拡張型階層構造によって、大容量のビデオデータのための３２×３２スーパー・マクロブロック・モードで符号化／復号化が可能であるだけではなく、８×８以下のマクロブロック・モードにもプロセシングが可能である。また、本発明が提案するマクロブロックの拡張型階層構造で、スキップ・モードまたはイントラ・モード、１６×１６以下のマクロブロック単位などの処理は、既存符号化／復号化方式と同じ方式が採択されうるので、新たな符号化／復号化システムの構築のために必要な費用及び時間が節減されうる。
図１１は、本発明の他の実施形態によるスーパー・マクロブロック及びマクロブロック単位による符号化モードのシンタックスを図示する。
映像復号化装置２００の他の実施形態によれば、グループ符号化モード読取り部２２０は、現在グループの符号化モードを判断するために、まずスーパー・マクロブロック単位のスキップ・モードで符号化されているか否かを示すフラグ（ＳＭＢ_SKIP）を確認する（段階１１１０（ＳＭＢ_SKIP？））。「ＳＭＢ_SKIP」フラグ値が１であるならば、グループ復号化部２３０は、３２×３２スーパー・マクロブロック単位のスキップ・モードで、動き推定を介した復号化を行う（段階１１２０（SMB_SKIP（３２Ｘ３２）））。
「ＳＭＢ_SKIP」フラグ値が０であるならば、グループ符号化モード読取り部２２０は、現在グループがスーパー・マクロブロック単位で符号化されているか否かを判断する（段階１１３０（ＳＭＢ？））。段階１１３０の判断によって、スキップ・モードではない推定モードで、スーパー・マクロブロック単位の符号化がなされているとするならば、その判断の結果は、グループ復号化部２３０に伝えられ、グループ復号化部２３０は、「ＳＭＢ_mode」フラグによって、３２×３２インター・モード、３２×１６インター・モード、１６×３２インター・モード、１６×１６インター・モードのスーパー・マクロブロック単位で、動き推定を介した復号化を行う（段階１１４０（SMB_Mode（３２Ｘ３２，３２Ｘ１６，１６Ｘ３２）））。
望ましい実施形態によれば、１６×１６インター・モードのスーパー・マクロブロック単位による動き推定方式は、既存１６×１６インター・モードのマクロブロック単位による動き推定方式と同一でありうる。
段階１１３０の判断によって、現在グループが、スーパー・マクロブロック単位インター・モードで符号化されていないと判断されれば、グループ符号化モード読取り部２２０は、マクロブロック単位のスキップ・モードで符号化されたグループであるか否かを示すフラグ（ＭＢ_SKIP）を確認する（段階１１５０（ＭＢ_SKIP？））。
段階１１５０の判断によって、マクロブロック単位のスキップ・モードで符号化がなされているとするならば、その判断結果は、グループ復号化部２３０に伝えられ、グループ復号化部２３０は、「ＭＢ_SKIP」フラグによって、１６×１６スーパー・マクロブロック単位で、スキップ・モードの動き推定を介した復号化を行う（段階１１６０（ＭＢ_SKIP（１６Ｘ１６）））。
段階１１５０の判断によって、マクロブロック単位のスキップ・モードで符号化がなされていないとすれば、その判断結果は、グループ復号化部２３０に伝えられ、グループ復号化部２３０は、「ＭＢ_SKIP」フラグによって、１６×１６イントラ・モード、１６×１６インター・モード、１６×８インター・モード、８×１６インター・モード、８×８インター・モードなどのマクロブロック単位、または８×８マクロブロックより小さいサブマクロブロック単位で復号化を行う（段階１１７０（ＭＢ_Mode（１６Ｘ１６，１６Ｘ８，８Ｘ１６…）））。
図１２は、本発明の他の実施形態によって、符号化モードがスキップ・モードである場合の動きベクトル推定方式を図示している。
他の実施形態による映像符号化装置１００及び映像復号化装置２００は、スキップ・モードであるブロックの動きベクトルを推定するために、スーパー・マクロブロック単位基盤の動きベクトル推定方式、またはマクロブロック単位基盤の動きベクトル推定方式を使用できる。
スーパー・マクロブロック単位基盤の動きベクトル推定方式の一例は、３２×３２スキップ・モードのスーパー・マクロブロックは、周辺ブロックの動きベクトルを利用し、動きベクトルを推定できる。周辺ブロックは、スーパー・マクロブロックまたはマクロブロックでありうる。例えば、下記の式（１）によって、スーパー・マクロブロックの動きベクトルが推定されている。
ＭＶ＝Median（ＭＶａ，ＭＶｂ，ＭＶｃ） （１）
Median（・）関数は、入力の中央値を出力する関数である。すなわち、スーパー・マクロブロックの動きベクトルＭＶ １２１０は、周辺ブロックのうち左側ブロックの動きベクトルＭＶａ １２２０、上端ブロックの動きベクトルＭＶｂ １２２５、右側上端ブロックの動きベクトルＭＶｃ １２３０のうち中央値を有する動きベクトルとして決定される。
マクロブロック単位基盤の動きベクトル推定方式の一例は、１６×１６スキップ・モードのマクロブロックは、周辺ブロックの動きベクトルを利用し、マクロブロックの動きベクトルを推定できる。例えば、下記の式（２），（３），（４）及び（５）によって、マクロブロックの動きベクトルが推定されうる。
ＭＶ０＝Median（ＭＶａ，ＭＶｂ，ＭＶｃ） （２）
ＭＶ１＝Median（ＭＶ０，ＭＶｃ，ＭＶｄ） （３）
ＭＶ２＝Median（ＭＶｅ，ＭＶ０，ＭＶ１） （４）
ＭＶ３＝Median（ＭＶ０，ＭＶ１，ＭＶ２） （５）
１６×１６スキップ・モードのマクロブロックＭＶ０ １２４０、ＭＶ１ １２４５、ＭＶ２ １２５０、ＭＶ３ １２５５は、それぞれの周辺ブロックのうち左側ブロックの動きベクトル、上端ブロックの動きベクトル、右側上端ブロックの動きベクトルのうち中央値を有する動きベクトルとして決定される。すなわち、式（２）によってＭＶ０ １２４０は、ＭＶａ １２６０、ＭＶｂ １２６５、ＭＶｃ １２７０の中央値として決定され、式（３）によってＭＶ１ １２４５は、ＭＶ０ １２４０、ＭＶｃ １２７０、ＭＶｄ １２７５の中央値であり、式（４）によってＭＶ２ １２５０は、ＭＶｅ １２８０、ＭＶ０ １２４０、ＭＶ１ １２４５の中央値であり、式（５）によってＭＶ３ １２５５は、ＭＶ２ １２５０、ＭＶ０ １２４０、ＭＶ１ １２４５の中央値として決定される。
他の実施形態による映像符号化装置１００は、スーパー・マクロブロック単位の動きベクトル推定であるか、またはマクロブロック単位の動きベクトル推定であるか、動きベクトル推定方式を示すフラグをスライスまたは所定データ単位に、規則的に挿入できる。他の実施形態による映像復号化装置２００は、スライスまたは所定データ単位から、動きベクトル推定方式に対するフラグを抽出し、スーパー・マクロブロックまたはマクロブロックの動きベクトルを推定するのに利用できる。
図１３は、本発明の他の実施形態のデータ処理単位別の符号化／復号化処理順序を図示している。
本発明では、映像の符号化または復号化段階で、３段階階層構造を有する拡張されたマクロブロック・モードを支援するために、水平方向にマクロブロック別にスキャンするラスター・スキャン方式（１３１０）の代わりに、１６×１６マクロブロック別に行うジグザグ・スキャン順序（１３２０）を導入する。
例えば、現在マクロブロックは、ブロック１３３０のような１６×１６マクロブロックの集合のうち一つ（１６×１６ ＭＢ）のブロック、ブロック１３４０のような３２×３２スーパー・マクロブロック（３２×３２ Ｓ−ＭＢ）に含まれたマクロブロック、ブロック１３５０のように３２×１６または１６×３２スーパー・マクロブロック対（３２×１６／１６×３２ Ｓ−ＭＢ）に含まれたマクロブロック、ブロック１３７０のように３２×１６または１６×３２ハーフ・スーパー・マクロブロック（３２×１６／１６×３２ Ｓ−ＭＢ_half）に含まれたマクロブロック、ブロック１３６０のような１６×１６マクロブロック（１６×１６ ＭＢ）などでありうる。
本発明の映像符号化装置１００のグループ符号化モード決定部１２０は、それぞれの３２×３２スーパー・マクロブロックに対して、１つの３２×３２スーパー・マクロブロックである場合と、４個の１６×１６マクロブロックである場合とのＲＤコストを比較し、３２×３２スーパー・マクロブロック・モードまたは１６×１６マクロブロック・モードのうち一つで符号化するように決定できる。
マクロブロックのジグザグ・スキャン方式によって、既存の符号化または復号化のシステム構造を大きく変更せずにスキャン方式だけを変更して使用できるので、既存の符号化または復号化のシステムを利用して本発明を容易に具現することもできる。
また、スーパー・マクロブロック単位に符合しない映像のエッジ部分は、ブロック１３７０のような３２×１６または１６×３２ハーフ・スーパー・マクロブロック、またはブロック１３６０のような１６×１６マクロブロックなどを利用して容易に処理されうる。
図１４は、本発明の他の実施形態の周波数係数の配列方式を図示している。
本発明は、映像の符号化過程及び復号化過程で、１６×１６ブロックの周波数係数１４００をインターリーブド方式によって、８×８マクロブロック１４５０に再配列させられる。このように、８×８マクロブロック単位で再配列された係数は、８×８マクロブロック単位でエントロピ符号化または復号化されうる。
１６×１６ブロックの係数を、８×８マクロブロック単位のインターリーブド方式で再配列する方式の一例は、１６×１６ブロックの係数の位置によって、左側上端、右側上端、左側下端、右側下端の８×８マクロブロックに再配列されうる。
係数の再配列順序によれば、１６×１６ブロックのうち、２×２ブロックの係数のうち左側上端の係数は、左側上端の８×８マクロブロック１４６０に配される。すなわち，１６×１６ブロックの係数１４１０は、左側上端の８×８マクロブロック１４６０の係数１４６２に配される。
また、１６×１６ブロックのうち、２×２ブロックの係数のうち右側上端の係数は、右側上端の８×８マクロブロック１４７０に配される。すなわち，１６×１６ブロックの係数１４３０は、右側上端の８×８マクロブロック１４７０の係数１４７２に配される。
同様に、１６×１６ブロックのうち、２×２ブロックの係数のうち左側下端の係数は、左側下端の８×８マクロブロック１４８０に配される。すなわち，１６×１６ブロックの係数１４２０は、左側下端の８×８マクロブロック１４８０の係数１４８２に配される。
最後に、１６×１６ブロックのうち、２×２ブロックの係数のうち右側下端の係数を、右側下端の８×８マクロブロック１４９０に配する。すなわち，１６×１６ブロックの係数１４４０は、右側下端の８×８マクロブロック１４９０の係数１４９２に配される。
図１５は、既存符号化方式と、本発明の他の実施形態とによるＣＢＰ（coded block pattern）及び係数ブロック・サイズと関連したシンタックス符号化方式を比較している。
一般的なＣＢＰを考慮した係数の符号化方式１５１０は、ＣＢＰ値を確認し（段階１５２０（ＣＢＰ＝０））、ＣＢＰ値が０であるならば、ＣＢＰを考慮した係数の符号化過程を終了する。ＣＢＰ値が０ではなければ、係数ブロック・サイズを示すフラグ（ＴＦｌａｇ）を符号化し（段階１５３０（Encode ＴＦｌａｇ））、現在係数を符号化することにより（段階１５４０（Encode Ｃｏｅｆｆ．））、ＣＢＰを考慮した係数の符号化が完了する。既存の符号化／復号化方式のように、８×８ブロック単位または４×４ブロック単位で、周波数変換された係数が羅列された場合、「Ｔｆｌａｇ」フラグは、８×８ブロック単位または４×４ブロック単位の係数であるかを示すことができる。
本発明が提案するＣＢＰを考慮した符号化方式１５５０によれば、ＣＢＰ値が確認され（段階１５２０（ＣＰＢ＝０））、ＣＢＰ値が０であるならば、ＣＢＰを考慮した係数の符号化が終了する。ＣＢＰ値が０ではなければ、現在係数が８×８ブロック単位または４×４ブロック単位の係数であるか示すフラグ（ＴＦｌａｇ８）が符号化され（段階１５６０（Encode ＴＦｌａｇ８））、「ＴＦｌａｇ８」フラグの値に基づいた判断の結果（段階１５７０（ＴＦｌａｇ８））、現在係数が４×４ブロック単位の係数であるならば、係数が符号化されることにより（段階１５９０（Encode Ｃｏｅｆｆ．））、係数の符号化が完了する。
「ＴＦｌａｇ８」フラグの値に基づいた判断の結果（段階１５７０（ＴＦｌａｇ８））、現在係数が４×４ブロック単位の係数ではないならば、現在係数が８×８ブロック単位または１６×１６ブロック単位の係数であるかを示すフラグ（ＴＦｌａｇ１６）が符号化され（段階１５８０（Encode ＴＦｌａｇ１６））、現在係数が符号化されることにより（段階１５９０（Encode Ｃｏｅｆｆ．））、係数の符号化が完了する。
従って、本発明は、周波数変換された係数が配列されたデータ処理単位と関連した２つのフラグ（ＴＦｌａｇ８，ＴＦｌａｇ１６）を利用し、可変的なブロック・サイズによる周波数変換を介した符号化及び周波数逆変換を介した復号化が行われうる。
周波数変換と関連して、本発明の一実施形態は、周波数変換された係数の配列ブロックのサイズだけではなく、整数単位の周波数変換を導入することもできる。８×８インターリーブド方式の係数ブロックを介して、ＥＯＢ（end of block）長が短縮されうる。また、「Ｔｆａｌｇ８」フラグ値が１であるとき、１６×１６インター・モードのためのオーバーヘッドは、１ビットだけさらに要求される。多様なサイズのブロックによって、エネルギー圧縮効率が高まるので、周波数変換頻度が減少しうる。
図１６は、本発明の他の実施形態のＣＢＰ関連シンタックスを図示している。
本発明の他の実施形態による映像符号化装置２００は、階層的構造のＣＢＰ符号化方式を導入している。スキップ・モードではないマクロブロックのために、ＣＢＰ情報の符号化いかんを示すフラグ（ＭＢ＿ＣＢＰ＿flag）が符号化される（段階１６００（Encode ＭＢ_ＣＢＰ_flag））。「ＭＢ＿ＣＢＰ＿flag」フラグに基づいた判断の結果（段階１６１０（ＭＢ_ＣＢＰ_flag＝０？））、「ＭＢ＿ＣＢＰ＿flag」フラグ値が０であるならば、それ以上の追加情報が必要ではないので、ＣＢＰ符号化過程が終了される。「ＭＢ＿ＣＢＰ＿flag」フラグに基づいた判断の結果（段階１６１０（ＭＢ_ＣＢＰ_flag＝０？））、「ＭＢ＿ＣＢＰ＿flag｝フラグ値が１であるならば、当該マクロブロックのためのＣＢＰの符号化が行われる（段階１６２０（Ｈ．２６４ ＣＢＰ coding））。
本発明の他の実施形態による映像復号化装置２００は、受信されたデータに挿入されている「ＭＢ＿ＣＢＰ＿flag」フラグを抽出し、復号化対象のマクロブロックに対して、ＣＢＰの復号化が必要であるか否かを判断できる。
図１７は、本発明の他の実施形態のＢフレームの符号化モードを図示している。
本発明の映像符号化装置１００及び映像復号化装置２００は、Ｂフレームのための符号化モードで、スーパー・マクロブロック単位のダイレクトモード（Ｓ−ＭＢ DIRECT mode）を導入できる。現在スーパー・マクロブロックの符号化モードが、ダイレクト・モードであるならば、テキスチャ・コーディングが行われねばならないのである。
例えば、３２×３２スーパー・マクロブロック１７１０のそれぞれの１６×１６マクロブロック１７２０，１７３０，１７４０，１７５０ごとに含まれたＣＢＰ符号化いかんを示すフラグ（ＭＢ＿ＣＢＰ＿ＦＬＡＧ）は、当該１６×１６マクロブロック１７２０，１７３０，１７４０，１７５０がスキップ・モードであるか、あるいはダイレクト・モードの符号化であるかを示している。
すなわち、「ＭＢ＿ＣＢＰ＿ＦＬＡＧ」フラグが１であるマクロブロック１７２０，１７５０は、ダイレクト・モードのマクロブロック１７６０，１７９０であるから、Ｈ．２６４標準によるダイレクト・モードと同じ動き推定方式で動きベクトルが推定されうる。
一方、「ＭＢ＿ＣＢＰ＿ＦＬＡＧ」フラグが０であるマクロブロック１７３０，１７４０は、ダイレクト・モードのマクロブロック１７７０，１７８０であるから、動きベクトルの推定のために、それ以上の情報が必要ではない。
映像符号化装置１００及び映像復号化装置２００の他の例は、ダイナミック・レンジ分割方式のためのブロック単位を、量子化パラメータ、解像度、シーケンス特性に基づいて決定できる。また、水平方向、垂直方向だけではなく、多様な方向にデータ処理単位が分類されうる。
前述の３段階の階層構造で第１レベルは、スキップ・モード及びインター・モードだけではなく、イントラ・モード及びインター・モードが複合された推定モードのスーパー・マクロブロックを含むことができる。
符号化モードまたはデータ処理単位は、ピクチャ、シーケンス、スライス、マクロブロックなどの多様なデータ単位別に設定され、最大または最小の基本ブロック・サイズ及び分化階層レベルで表現されもする。データ処理単位の階層構造の二段階構造（binary tree）は、ｎ段階構造（n-ary tree）に分化されうる。
映像符号化装置１００及び映像復号化装置２００の他の実施形態で、動き推定のためのブロックのサイズ、周波数変換のためのブロックのサイズ、デブロッキング・フィルタリングのためのブロックのサイズ順に、順次にブロックのサイズが小さいか、あるいは同じにように維持されうる。また、動き推定のためのデータ処理単位及び周波数変換のためのデータ処理単位を統合したり分離して表現させることができる。
任意のグループによって形成されたイントラ・モードまたはインター・モードのマクロブロックは、任意の個数の基本ブロックを含むグループから形成されうる。この場合、グループのサイズに基づいてブロック推定が行われたり、グループのサイズに基づいて周波数変換が行われうる。
任意の個数のスキップ・モードのマクロブロックで、グループが形成されもする。
図１８は、本発明の一実施形態による映像符号化方法のフローチャートを図示している。
段階１８１０で、基本ブロックに分類された映像データが、グループ、サブグループ及び基本ブロックを含む拡張された概念に分類される。グループは、基本ブロックの個数を示すサイズ、形態及び最大レベルの属性を有することができ、サブグループは、レベル及びスキャン順序によって設定されうる。
段階１８２０で、グループを符号化するために利用されるデータ処理単位として、グループ単位、サブグループ単位及び基本ブロック単位のうち少なくともいずれか一つについての情報と、前記少なくとも１つのデータ処理単位によってグループのデータを符号化する方式についての情報とを含むグループの符号化モードが決定される。
グループの符号化モードは、グループ内それぞれのデータ処理単位別に行われたグループのデータに係わる符号化によって発生する誤差率に基づいて決定されうる。それぞれのグループごとに、グループ単位の符号化誤差率、グループ内あらゆるサブグループの符号化誤差率のうちの最低誤差率、グループ内あらゆる基本ブロックの符号化誤差率のうちの最低誤差率を比較し、最適のデータ処理単位及び推定モードが選択される。それぞれのグループの符号化モードは、当該グループの最適のデータ処理単位及び推定モードについての情報を含む。
段階１８３０で、決定された符号化モードによって、それぞれのグループのデータが符号化される。映像データ及びグループ別の符号化モードを示す情報だけではなく、グループ内の周波数変換された係数が、所定データ処理単位に再配列されているか否かについての情報、ＣＢＰ符号化情報などが符号化され、伝送データに挿入されもする。
図１９は、本発明の一実施形態による映像復号化方法のフローチャートを図示している。
段階１９１０で、基本ブロック、グループ及びサブグループのうち１つのデータ処理単位で符号化されたデータが受信され、受信されたデータから復号化に必要な情報がパージングされる。受信されたデータから、復号化対象になる映像データをパージングし、映像の復号化のために必要なパラメータなどがパージングされもする。
段階１９２０で、段階１９１０でパージングされたデータから、グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを符号化した方式を示す所定グループの符号化モードが読み取られる。
グループを決定するために、パージングされたデータから、グループのサイズ、形態、最大レベルを示す情報を抽出して読み取る。グループが決定されれば、それぞれのグループの符号化モードを抽出して読み取る。
段階１９３０で、読み取られた符号化モードに対応する所定グループのデータが復号化される。
所定グループの符号化モードから抽出及び判読されたいかなるデータ処理単位で復号するかについての情報、当該データ処理単位のサイズ及び形態に関連した情報、動き推定方式についての情報などを利用し、所定グループのデータが復号化される。
（II．動的に決定されたデータ処理単位による映像符号化装置）
図２０Ａ、図２０Ｂ、図２０Ｃ、図２０Ｄ、図２０Ｅ及び図２０Ｆは、それぞれ一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化装置１００の変形実施形態のブロック図を図示している。
一実施形態による映像符号化装置１００のグループ符号化部１３０は、グループ符号化モード決定部１２０で決定されたグループの符号化モードに基づくデータ処理単位及び推定モードによって、グループのデータを符号化するために、周波数変換及び量子化、イントラ推定及びインター推定を含む動き推定、インループ・フィルタリング、エントロピ符号化を行う。
一実施形態による映像符号化装置１００は、グループのデータ処理単位を動的に決定する。従って、グループのデータ処理単位は、グループ、サブグループ、基本ブロックの階層的構造のうち一つでありうる。
一実施形態による映像符号化装置１００によって動的に決定されるデータ処理単位は、既存の映像符号化フォーマットでは定義されていないデータ処理単位であるので、既存の映像符号化プロセスとは区別される固有プロセスが必要である。例えば、１６×１６マクロブロックまたは８×８マクロブロックよりも大サイズの大型データ処理単位が利用される場合、グループ符号化部１３０は、大型データ処理単位を考慮するプロセスを介して、映像符号化作業を行わねばならない。
図２０Ａは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮した周波数変換及び量子化が適用された場合のブロック図を図示している。
一実施形態による映像符号化装置１００のグループ符号化部１３０の第１実施形態は、大型データ処理単位を考慮した周波数変換及び量子化部２００１、イントラ推定部及びインター推定部を含む動き推定部１３３、インループ・フィルタリング部１３７及びエントロピ符号化部１３９を含む。
グループ符号化部１３０の第１実施形態による大型データ処理単位を考慮した周波数変換及び量子化部２００１は、グループ符号化モード決定部１２０で決定された符号化モードに基づいた大型データ処理単位によって、周波数変換及び量子化を行うために、大型データ処理単位を基にする整数離散コサイン変換（ＤＣＴ）及び量子化を行うことができる。
グループ符号化部１３０の第１実施形態による大型データ処理単位を考慮した周波数変換及び量子化部２００１は、大型データ処理単位によって周波数変換及び量子化を行うために、大型データ処理単位のクロマ（chroma）成分に対し、離散コサイン変換及び量子化を行うことができる。
グループ符号化部１３０の第１実施形態による大型データ処理単位を考慮した周波数変換及び量子化部２００１は、大型データ処理単位を基盤とする離散コサイン変換によって加重されうる演算量の負担を減少させるために、低複雑度演算が可能な離散コサイン変換を行うことができる。
図２０Ｂは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮した動き推定プロセシングが適用された場合のブロック図を図示する。
一実施形態による映像符号化装置１００のグループ符号化部１３０の第２実施形態は、周波数変換及び量子化部１３１、大型データ処理単位を考慮したプロセシングによる動き推定部２００３、インループ・フィルタリング部１３７及びエントロピ符号化部１３９を含む。大型データ処理単位を考慮したプロセシングを基盤として、イントラ推定及びインター推定が行われうる。
グループ符号化部１３０の第２実施形態による大型データ処理単位を考慮したプロセシングによる動き推定部２００３は、グループ符号化モード決定部１２０で決定された符号化モードに基づいた大型データ処理単位を考慮し、動き推定のための大型データ処理単位及び周波数変換のためのデータ処理単位の組み合わせがあらかじめ決定されうる。周波数変換のためのデータ処理単位は、動き推定のためのデータ処理単位よりサイズが小さいことが望ましい。
グループ符号化部１３０の第２実施形態による大型データ処理単位を考慮したプロセシングによる動き推定部２００３は、大型データ処理単位を考慮し、データ処理単位別の動き推定のためのスキャン方式及び隣接ブロックを参照ブロックとして利用できる可能性（neighbor availability）を決定できる。
グループ符号化部１３０の第２実施形態による大型データ処理単位を考慮したプロセシングによる動き推定部２００３は、大型データ処理単位を考慮し、符号化モードを示すビットの伝送量を節約するために、正方形のデータ処理単位のみが採択する簡略化された符号化モードを利用できる。
図２０Ｃは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮したイントラ推定が適用された場合のブロック図を図示している。
一実施形態による映像符号化装置１００のグループ符号化部１３０の第３実施形態は、周波数変換及び量子化部１３１、大型データ処理単位を考慮したイントラ推定部２００４及びインター推定部１３５、インループ・フィルタリング部１３７及びエントロピ符号化部１３９を含む。
グループ符号化部１３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部２００４は、所定大型データ処理単位に対してイントラ推定を行うイントラ・モードをさらに定義できる。
グループ符号化部１３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部２００４は、さらに大型データ処理単位の正確な動き推定のために、イントラ・モードにコンプレックス・プレーンを利用した推定モードを導入できる。
グループ符号化部１３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部２００４は、イントラ推定が可能な大型データ処理単位の種類を限定できる。
図２０Ｄは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮したインター推定が適用された場合のブロック図を図示する。
一実施形態による映像符号化装置１００のグループ符号化部１３０の第４実施形態は、周波数変換及び量子化部１３１、イントラ推定部１３４及び大型データ処理単位を考慮したインター推定部２００５、インループ・フィルタリング部１３７及びエントロピ符号化部１３９を含む。
グループ符号化部１３０の第４実施形態による大型データ処理単位を考慮したインター推定部２００５は、大型データ処理単位の推定モードであり、インター推定及びイントラ推定が混在しうる混合モードを導入できる。
グループ符号化部１３０の第４実施形態による大型データ処理単位を考慮したインター推定部２００５は、大型データ処理単位別に動きベクトル（ＭＶ）を決定し、それによって、動きベクトル推定子（ＭＶＰ）を誘導できる。
グループ符号化部１３０の第４実施形態による大型データ処理単位を考慮したインター推定部２００５は、大型データ処理単位に対するスキップ・モードを新たに導入し、複数のスキップ・モードのデータ処理単位を含むスキップ・グループを設定できる。スキップ・グループに属するスキップ・モードのデータ処理単位いずれについても、共にスキップ処理できる。
図２０Ｅは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮したインループ・フィルタリングが適用された場合のブロック図を図示する。
一実施形態による映像符号化装置１００のグループ符号化部１３０の第５実施形態は、周波数変換及び量子化部１３１、イントラ推定部及びインター推定部を含む動き推定部１３３、大型データ処理単位を考慮したインループ・フィルタリング部２００７及びエントロピ符号化部１３９を含む。
グループ符号化部１３０の第５実施形態による大型データ処理単位を考慮したインループ・フィルタリング部２００７は、大型データ処理単位内部の下位処理単位の境界に対するフィルタリングいかんを決定し、フィルタリング強度を調節できる。
グループ符号化部１３０の第５実施形態による大型データ処理単位を考慮したインループ・フィルタリング部２００７は、大型データ処理単位内部のリンギング効果を低減させるためのインループ・フィルタリングを行うことができる。
図２０Ｆは、一実施形態による映像符号化装置１００のグループ符号化部１３０に対して、大型データ処理単位を考慮したエントロピ符号化が適用された場合のブロック図を図示する。
一実施形態による映像符号化装置１００のグループ符号化部１３０の第６実施形態は、周波数変換及び量子化部１３１、イントラ推定部及びインター推定部を含む動き推定部１３３、インループ・フィルタリング部１３７及び大型データ処理単位を考慮したエントロピ符号化部２００９を含む。
グループ符号化部１３０の第６実施形態による大型データ処理単位を考慮したエントロピ符号化部２００９は、大型データ処理単位に係わる符号化ブロック・パターンを定義する。また、大型データ処理単位を考慮したエントロピ符号化部２００９は、データ処理単位内に０ではない符号化ブロック・パターンが存在する確率に基づいて、符号化ブロック・パターンをスキャンできる。
グループ符号化部１３０の第６実施形態による大型データ処理単位を考慮したエントロピ符号化部２００９は、大型データ処理単位に対してコンテクスト基盤の適応的二進算術符号化（ＣＡＢＡＣ）、またはコンテクスト基盤の適応的可変長符号化（ＣＡＶＬＣ）を適用できる。
グループ符号化部１３０の第６実施形態による大型データ処理単位を考慮したエントロピ符号化部２００９は、大型データ処理単位に係わる符号化ブロック・パターンの新規コンテクストを設定できる。
前述のグループ符号化部１３０の第１実施形態ないし第６実施形態は、それぞれの符号化過程別に、大型データ処理単位を考慮して行うことができる固有プロセスである。以下、映像符号化全過程にわたって、大型データ処理単位のうち一つである大型ブロックを基に、映像シーケンスを符号化する方法について、図２０Ｇを参照しつつ説明する。
図２０Ｇは、本発明の一実施形態によって動的に決定されたデータ処理単位を考慮した映像符号化方法のフローチャートを図示している。
一実施形態による映像符号化方法（２０００）は、階層的構造のブロック２０２０のうち所定符号化モードに対応するブロックを利用し、入力映像シーケンス２０１０に係わる符号化を行う。ブロックの階層的構造２０２０は、図１０を参照しつつ説明したグループ、サブグループ、基本ブロックの階層的構造と同一である。
一実施形態による映像符号化方法（２０００）は、周波数変換及び量子化段階（２０３０）、動き推定段階（２０４０）、インループ・フィルタリング段階（２０８０）、エントロピ符号化段階（２０９０）を経て、映像ビット・ストリームを出力する（２０９８）。動き推定段階（２０４０）は、所定プロセシング（２０５０）基盤のイントラ推定段階（２０６０）及びインター推定段階（２０７０）を含む。
一実施形態による映像符号化方法（２０００）は、大型ブロックを考慮するので、周波数変換及び量子化段階（２０３０）、動き推定のためのプロセシング（２０５０）、イントラ推定段階（２０６０）、インター推定段階（２０７０）、インループ・フィルタリング段階（２０８０）、エントロピ符号化段階（２０９０）も、大型ブロックを考慮した固有プロセスを行うことができる。
例えば、周波数変換及び量子化段階（２０３０）の大型ブロックを考慮した固有プロセスは、大型ブロック基盤の整数離散コサイン変換（ＤＣＴ）及び量子化（２０３２）、大型ブロックのクロマ成分に対する離散コサイン変換及び量子化（２０３４）、大型ブロック基盤の離散コサイン変換のための低複雑度演算（２０３６）のうち少なくともいずれか一つを含むことができる。
動き推定のためのプロセシング（２０５０）の大型ブロックを考慮した固有プロセスは、動き推定のための大型ブロック及び周波数変換のための大型ブロックの組み合わせ（２０５２）、動き推定のためのブロック・スキャニング方式及び隣接ブロック参照可能性（２０５４）、階層的構造の大型ブロックの簡略化モード（２０５６）のうち少なくともいずれか一つを含むことができる。
イントラ推定段階（２０６０）の大型ブロックを考慮した固有プロセスは、大型ブロック基盤のイントラ・モードの導入（２０６２）、イントラ推定のためのコンプレックス・プレーンの導入（２０６４）、推定可能なイントラ・モードの決定（２０６６）のうち少なくともいずれか一つを含むことができる。
インター推定段階（２０７０）の大型ブロックを考慮した固有プロセスは、イントラ・モード及びインター・モードが混合された推定モードの導入（２０７２）、大型ブロックの動きベクトル（ＭＶ）の決定方式及び動きベクトル推定子（ＭＶＰ）の誘導方式（２０７４）、大型ブロックの新規スキップ・モード及びスキップ・グループの導入（２０７６）のうち少なくともいずれか一つを含むことができる。
インループ・フィルタリング段階（２０８０）の大型ブロックを考慮した固有プロセスは、大型ブロック内部の境界に対するフィルタリングいかん決定及びフィルタリング強度決定（２０８２）、大型ブロック内部のリンギング効果低減フィルタリング２０８４のうち少なくともいずれか一つを含むことができる。
エントロピ符号化段階（２０９０）の大型ブロックを考慮した固有プロセスは、大型ブロックに係わる符号化ブロック・パターン（ＣＢＰ）の導入及び符号化ブロック・パターンスキャン方式（２０９２）、大型ブロックを考慮したコンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）の導入（２０９４）、大型ブロックの符号化ブロック・パターンに対するコンテクストの設定方式（２０９６）のうち少なくともいずれか一つを含むことができる。
図２０Ａないし２０Ｇ図を参照しつつ説明した大型データ処理単位を考慮した映像符号化装置１００または映像符号化方法（２０００）は、既存の映像符号化フォーマットを大きく変更せずに、大型データ処理単位を考慮した固有プロセスを追加したり、あるいは代替して適用することによって映像を符号化できる。
先に、図２０Ａないし図２０Ｇを参照しつつ映像符号化についてのみ記述したが、大型データ処理単位を考慮した固有プロセスは、映像符号化に対応する映像復号化に適用されることが望ましい。従って、以下で述べる各過程別固有プロセスは、映像符号化だけではなく、映像復号化にも適用されうる。
（III．動き推定プロセシング）
以下、一実施形態による映像符号化装置１００のグループ符号化部１３０の動き推定部１３３の固有プロセシング、及び一実施形態による映像符号化方法（２０００）の動き推定のためのプロセシング（２０５０）について詳述する。また、一実施形態による映像符号化装置１００に対応する映像復号化装置でも、以下の動き推定のためのプロセシングが適用されうる。
一実施形態による動き推定のためのプロセシングは、動き推定のための大型データ処理単位及び周波数変換のためのデータ処理単位の組み合わせ、動き推定のためのブロック・スキャニング方式及び隣接ブロックの隣接ブロック参照可能性、大型ブロックの簡略化モードとすることを特徴とする。
第一に、動き推定のためのデータ処理単位が、既存の１６×１６マクロブロックまたは８×８マクロブロック以上に拡大されることによって、動き推定のためのデータ処理単位の最大サイズ以下の範囲で、動き推定のためのデータ処理単位に比例して、周波数変換のためのデータ処理単位も拡大しうる。
すなわち、動き推定のためのデータ処理単位が、３２×３２マクロブロックまたは１６×１６マクロブロックである場合、動き推定のためのデータ処理単位によって、周波数変換のためのデータ処理単位は、３２×３２，１６×１６，８×８，４×４ブロックのうち一つで組み合わせられうる。
第二に、動き推定のためのブロック・スキャニング方式及び隣接ブロックの隣接ブロック参照可能性は、以下の図２１及び図２２を参照しつつ詳述する。
図２１は、本発明の一実施形態による大型データ処理単位を考慮した動き推定のためのデータ処理単位別スキャン方式を図示している。先に、図１３を参照しつつ、スーパー・マクロブロック単位のスキャン方式について説明したように、１フレーム内１３２０の大型データ処理単位は、ジグザグ・スキャン方式によって符号化モードが検索される。
図１３のように、フレーム１３２０内部のスーパー・マクロブロックが縦横方向に並んで整列され、６４×６４ラージ・ブロック（large block）単位でブロックが整列されうる。一実施形態による動き推定スキャン方式は、図１３のように整列された場合以外にも、図２１のように、フレーム２１００内のスーパー・マクロブロックが整列されていない場合にも適用されうる。
例えば、フレーム２１００の最初のスキャン対象２１１０が正方形のスーパー・マクロブロックではなくともよい。ジグザグにスキャンされる正方形のスーパー・マクロブロック２１４０が、必ずしも並んで整列されていなくともよい。スーパー・マクロブロック２１２０及びスーパー・マクロブロック２１３０は、隣接した近隣ブロックであるが、互いに一列に整列されていない。
また、正方形のスーパー・マクロブロック（３２×３２ Ｓ−ＭＢ、３２×１６／１６×３２ Ｓ−ＭＢ）形態でスキャンされるものではなくとも、長方形のスーパー・マクロブロック（３２×１６／１６×３２ Ｓ−ＭＢ_half）によってスキャンされる位置で、１６×１６マクロブロック２１４０単位でスキャンされもする。
フレーム１３２０のように、スキャン対象ブロックが整列された場合には、既存の隣接ブロック推定及びコンテクストと同一の方式で隣接ブロックを参照ブロックとして利用できる。しかし、フレーム２１００のように、スキャン対象ブロックが整列されていない場合には、参照ブロックが、場合によっては変更されるので、現在ブロックの動きベクトル推定子またはイントラ推定子は、最も隣接した位置の同一サイズのブロックを指すように設定されうる。
正方形のブロック（３２×３２ Ｓ−ＭＢ、３２×１６／１６×３２ Ｓ−ＭＢ、１６×１６ ＭＢ）のみ設定可能な簡略化モードでは、さらに発生する演算複雑度（complexity）及びシグナリング（signaling）が制御されうる。
図２２は、本発明の一実施形態による大型データ処理単位を考慮した動き推定で、隣接する近隣データ処理単位の利用可能性を図示している。データ処理単位の例示として、既存の１６×１６マクロブロック２２１０及び３２×３２スーパー・マクロブロック２２５０が利用される。
動きベクトル推定子（ＭＶＰ）及びイントラ推定子の遂行中に、上端右側の隣接ブロックを参照ブロックとして利用できるか否か（以下、隣接ブロック参照可能性（neighbor availability））は、すでにスキャンされた周辺ブロックであるか否かということと、位置インデックス単位とによって決定されうる。
図２２で、データ処理単位として正方形のブロックが利用される場合を参照しつつ、隣接ブロック参照可能性について説明する。１フレーム内のブロックは、最小データ単位である４×４ブロック別に、上端右側の隣接ブロックを参照できる第１ブロック群２２０２（Available Above_Right）、４×４インデックスの場合にのみ上端右側の隣接ブロックを参照できない第２ブロック群２２０４（Not Available Above_Right by ４Ｘ４ index）、８×８インデックスの場合にのみ上端右側の隣接ブロックを参照できない第３ブロック群２２０６（Not Available Above_Right by ８Ｘ８ index）、１６×１６インデックスの場合にのみ上端右側の隣接ブロックを参照できない第４ブロック群２２０８（Not Available Above_Right by １６Ｘ１６ index）に分類される。
例えば、既存の１６×１６マクロブロック２２１０の場合，４×４ブロックａ１，ａ２，ａ３，ｂ１，ｂ２，ｂ３，ｃ１，ｃ２，ｃ３，ｄ１，ｄ２は、上端右側の隣接ブロックを参照できる第１ブロック群２２０２に該当する。４×４ブロックａ４，ｂ４，ｃ４，ｄ４は、４×４インデックスの場合にのみ上端右側の隣接ブロックを参照できない第２ブロック群２２０４に該当する。４×４ブロックｄ２は、８×８インデックスの場合にのみ上端右側の隣接ブロックを参照できない第３ブロック群２２０６に該当する。
従って、既存の１６×１６マクロブロック２２１０の場合、隣接ブロック参照可能性と関連して、第１ブロック群２２０２、第２ブロック群２２０４、第３ブロック群２２０６が分類されうる。
一実施形態によって、大型データ処理単位が導入される場合、参照ブロックの決定のために、４×４インデックスまたは８×８インデックス以外に、１６×１６インデックスが追加されうる。従って，１６×１６インデックスの場合にのみ上端右側の隣接ブロックを参照できない第４ブロック群２２０８が存在しうる。
３２×３２スーパー・マクロブロック２２５０の場合，４×４ブロックＡ１，Ａ２，Ａ３，Ｂ１，Ｂ２，Ｂ３，Ｃ１，Ｃ２，Ｃ３，Ｄ１，Ｄ３，Ｅ１，Ｅ２，Ｅ３，Ｆ１，Ｆ２，Ｆ３，Ｇ１，Ｇ２，Ｇ３，Ｈ１，Ｈ３，Ｉ１，Ｉ２，Ｉ３，Ｊ１，Ｊ２，Ｊ３，Ｋ１，Ｋ２，Ｋ３，Ｌ１，Ｌ３，Ｍ１，Ｍ２，Ｍ３，Ｎ１，Ｎ３，Ｏ１，Ｏ２，Ｏ３，Ｐ１，Ｐ３は、上端右側の隣接ブロックを参照できる第１ブロック群２２０２に該当する。
４×４ブロックＡ４，Ｂ４，Ｃ４，Ｄ４，Ｅ４，Ｆ４，Ｇ４，Ｈ４，Ｉ４，Ｊ４，Ｋ４，Ｌ４，Ｍ４，Ｎ４，Ｏ４，Ｐ４は、４×４インデックスの場合にのみ上端右側の隣接ブロックを参照できない第２ブロック群２２０４に該当する。４×４ブロックＤ２，Ｈ２，Ｌ２，Ｐ２は、８×８インデックスの場合にのみ上端右側の隣接ブロックを参照できない第３ブロック群２２０６に該当する。
一方、４×４ブロックＮ２は、１６×１６インデックスの場合にのみ上端右側の隣接ブロックを参照できない第４ブロック群２２０８に該当する。
上端右側の隣接ブロック参照可能性は、動きベクトル推定子またはイントラ推定子を決定するための条件、または動きベクトル推定子またはイントラ推定子の誘導関数の入力変数として利用されうる。従って、一実施形態によって大型データ処理単位が導入される場合、動きベクトル推定子またはイントラ推定子を決定するための条件、または誘導関数の入力変数として、１６×１６インデックスによる上端右側の隣接ブロック参照可能性が追加されうる。
第三に、正方形のデータ処理単位だけ採択される簡略化された符号化モードは、以下の図２３Ａ及び図２３Ｂを参照しつつ述べる。
図２３Ａは、本発明の一実施形態による大型データ処理単位のうち簡素化された階層的データ処理単位を図示している。
図１０で述べたデータ処理単位の階層的構造１０００によれば、一実施形態によるデータ処理単位は、正方形のブロック（３２×３２、１６×１６、８×８、４×４）及び長方形のブロック（３２×１６、１６×３２、１６×８、８×１６、８×４、４×８）をいずれも含んでいる。データ処理単位の階層的構造１０００によれば、多様なデータ処理単位による符号化が可能である。
一実施形態による映像符号化装置１００は、正方形のブロックだけを含むデータ処理単位の階層的構造２３１０に簡略化されうる。
第１階層２３１０は、イントラ・モードの３２×３２スーパー・マクロブロック、スキップ・モードの３２×３２スーパー・マクロブロック、インター・モードの３２×３２スーパー・マクロブロック、１６×１６マクロブロックを含むことができる。第１階層２３１０は、３２×３２，１６×１６，８×８，４×４ブロック単位のうち少なくとも１つの単位で周波数変換することができる。
第２階層２３２０は、イントラ・モードの１６×１６マクロブロック、スキップ・モードの１６×１６マクロブロック、インター・モードの１６×１６マクロブロック、インター・モードの８×８マクロブロックを含むことができる。第２階層２３２０は、１６×１６，８×８，４×４ブロック単位のうち少なくとも１つの単位で周波数変換することができる。
第３階層２３３０は、スキップ・モードの８×８マクロブロック、インター・モードの８×８マクロブロック、インター・モードの４×４ブロックを含むことができる。第３階層２３３０は、８×８，４×４ブロック単位のうち少なくとも１つの単位で周波数変換することができる。
簡略化されたデータ処理単位の階層的構造２３１０によれば、同じサイズ及び形態のインター・モード及びイントラ・モードのブロックがそれぞれ存在することになる。また、符号化モードの数が減少するので、符号化モードを示すビットが節約されうる。
図２３Ｂは、本発明の一実施形態による大型データ処理単位を考慮したシンタックスを図示している。シンタックス２３５０は、所定データ処理単位の符号化モードによる各種情報を含む。
「mode」値２３５２は、符号化モードを示している。「ｒｅｆ＿ｉｄｘ／ｍｖｄ」値２３５４は、参照インデックス及び動きベクトルの変移を示している。「coded＿block＿pattern」値２３５６は、符号化ブロック・パターンを示している。「transform＿size＿flag」値２３５８は、周波数変換のためのデータ処理単位のサイズを示している。「residual（）」値２３６０は、残差成分についての情報を示している。
簡略化されたデータ処理単位の階層的構造２３１０に、よれば、「mode」値２３５２のビットが節約されうる。また、符号化モードによる周波数変換のためのデータ処理単位のサイズが制限されれば、シンタックス２３５０のうち、「coded＿block＿pattern」値２３５６及び「transform＿size＿flag」値２３５８が変形されうる。
（III−１．イントラ推定）
一実施形態による映像符号化装置１００の大型データ処理単位を考慮したイントラ推定部２００４、及び一実施形態による映像符号化方法（２０００）のイントラ推定段階（２０６０）は、大型データ処理単位を考慮した固有のプロセスを導入できる。
第一に、大型ブロック基盤のイントラ・モード（２０６２）が追加される。例えば、イントラ・モードの３２×３２スーパー・マクロブロック、イントラ・モードの１６×１６マクロブロックが追加されうる。
第二に、さらに精巧なイントラ推定のためのコンプレックス・プレーンを利用した推定モードが導入されうる。
第三に、それぞれのデータ処理単位別に、イントラ推定可能であることを示す符号化モードが個別的に決定されうる。
（III−２．インター推定）
一実施形態による映像符号化装置１００の大型データ処理単位を考慮したインター推定部２００５及び一実施形態による映像符号化方法（２０００）のインター推定段階（２０７０）は、大型データ処理単位を考慮した固有のプロセスを導入できる。
第一に、任意の大型データ処理単位に対して、イントラ・モード及びインター・モードが混合された推定モードが設定されうる。また、大型データ処理単位内の下位データ処理単位別に、イントラ・モードまたはインター・モードが混在して設定されうる。
第二に、大型データ処理単位に対するスキップ・モードが新たに定義され、少なくとも１つのスキップ・モードのデータ処理単位を含むスキップ・グループが導入されうる。例えば、スキップ・モードの３２×３２スーパー・マクロブロック、複数のスキップ・モードの３２×３２スーパー・マクロブロックを含むスキップ・グループを、以下の図２４Ａないし図２４Ｃを介して提案している。
図２４Ａ、図２４Ｂ及び図２４Ｃは、本発明の一実施形態によるスキップ・グループのさまざまな構成方式を図示している。説明の便宜のために、図２４Ａ、図２４Ｂ及び図２４Ｃの大型データ処理単位としては、３２×３２スーパー・マクロブロックが利用される。
一実施形態による映像符号化及び映像復号化は、スキップ・モードであるブロックをスキップ処理するにおいて、相互隣接するスキップ・モードであるブロックをスキップ・グループにまとめ、スキップ・グループに対して同時にスキップ処理できる。従って、１フレームをスキャンしていて、スキップ・グループが読み取られれば、隣接する近隣ブロックが同じスキップ・グループに含まれるスキップ・モードのブロックであるか否かが判断されねばならない。
従って、所定ブロックがスキップ・モードであり、スキップ・グループに含まれているか否かを示すための表示が必要である。図２４Ａ、図２４Ｂ及び図２４Ｃに図示されている一実施形態は、所定ブロックがスキップ・モードであり、スキップ・グループに含まれているか否かを示すための表示として、スキップ・モード・フラグを使用する。スキップ・モード・フラグが「０」であるならば、当該ブロックは、スキップ・モードではないブロックであり、「２」であるならば、当該ブロックがスキップ・グループの開始ブロックであり、「１」であるならば、当該ブロックがスキップ・グループに属するブロックであることを示す。
一実施形態によるスキップ・グループに関連し、フレーム内のスキップ・モードであるブロックを検索してスキップ・グループをスキャンするために、スキップ・グループの位置が選定されうる。また、隣接するスキップ・モードのブロックを含むスキップ・グループの最大サイズが制限されうる。
従って、一実施形態による大型データ処理単位に基づいたインター推定では、スキップ・グループの位置が固定されてサイズが固定された場合（図２４Ａのフレーム２４００）、スキップ・グループの位置が固定されて任意のサイズによって形成される場合（図２４Ｂのフレーム２４４０）、あらゆる位置にスキップ・グループが位置でき、任意のサイズによって形成される場合（図２４Ｃのフレーム２４７０）でスキップ処理を行うことができる。
図２４Ａの第１フレーム２４００では、スキップ・グループのサイズが６４×６４ブロックに固定されている。従って、スキャン・グループを検索するためには、６４×６４ブロックごとに、左側上端に位置した３２×３２スーパー・マクロブロックだけスキップ・モードであるか否かを検索すればよい。例えば、３２×３２スーパー・マクロブロック２４１２のスキップ・モード・フラグが「０」と表示されているので、スキップ・モードではなく、スーパー・マクロブロック２４１２を含む６４×６４ブロック２４１０は、スキップ・グループではないことが確認されうる。
６４×６４ブロック２４１０の次のスキャン順序として、６４×６４ブロック２４２０の左側上端スーパー・マクロブロックを検索し、スキップ・モード・フラグが「０」であるならば、６４×６４ブロック２４２０も、スキップ・グループではないことが確認される。
スーパー・マクロブロック２４３２のスキップ・モード・フラグは、「２」と表示されているので、スキップ・グループの開始ブロックであることが確認される。第１フレーム２４００のスキップ・グループのサイズは、６４×６４ブロックに固定されているので、スーパー・マクロブロック２４３２を左側上端に含む６４×６４ブロック２４３０が、スキップ・グループである。また、６４×６４ブロック２４３０内の他のスーパー・マクロブロック２４３４などは、いずれもスキップ・モード・フラグが「１」であるスキップ・モードのブロックであることが予想される。
図２４Ａを、参照して例示された固定位置及び固定サイズのスキップ・グループの場合、固定位置の３２×３２ブロックのスキップ・モード・フラグが、「０」または「２」であるかが確認されれば、隣接ブロックも、スキップ・モードであるか否かが確認されるので、符号化端から固定位置の当該ブロックのスキップ・モード・フラグだけ送信されれば、復号化端で受信し、当該フレームのあらゆるブロックがスキップ・モードであるか否かを識別できる。
図２４Ｂのフレーム２４４０では、スキップ・グループのサイズが固定されていないが、スキップ・グループが始まることができる位置は、固定されている。すなわち、６４×６４ブロックごとに、その左側上端に位置した３２×３２ブロックからスキップ・グループが始まることができるので、フレーム２４４０をスキャンするとき、６４×６４ブロックごとに左側上端に位置した３２×３２ブロックのスキップ・モード・フラグが、「０」または「２」であるかを確認すればよい。例えば、６４×６４ブロック２４５０の左側上端の３２×３２ブロックのスキップ・モード・フラグが「０」であることがスキャンされれば、６４×６４ブロック２４５０は、スキップ・グループではないことが確認される。
一方、他の６４×６４ブロックの左側上端に位置した３２×３２ブロック２４６１がスキャンされれば、スキップ・モード・フラグが「２」であるから、３２×３２ブロック２４６１から始まるスキップ・グループ２４６０が決定されねばならない。３２×３２ブロック２４６１の右側方向及び下端方向に隣接する３２×３２ブロックのスキップ・モード・フラグをスキャンし、連続してスキップ・モード・フラグが「１」である３２×３２ブロック２４６２，２４６３，２４６４，２４６５，２４６６，２４６７，２４６８，２４６９は、３２×３２ブロック２４６１と同じスキップ・グループ２４６０に含まれると確認される。
また、フレーム２４４０をスキャンしている最中に、固定位置の３２×３２ブロックのスキップ・モード・フラグは、確認されねばならないが、すでに以前にスキャンされて所定スキップ・グループに含まれていることが確認されたブロックは、スキャンされない。例えば、３２×３２ブロック２４６３，２４６７，２４６９は、それぞれ個別的な６４×６４ブロックの左側上端に位置するので、スキップ・モード・フラグがスキャンされねばならない固定位置のブロックであるが、すでに以前スキャン順序によって、スキップ・グループ２４６０に含まれるブロックであることが確認された状態である。従って、３２×３２ブロック２４６３，２４６７，２４６９は、スキャンされずに、次の位置にスキャンが進むことになる。
図２４Ｂを参照しつつ例示された固定位置及び固定サイズのスキップ・グループの場合、固定位置の３２×３２ブロックのスキップ・モード・フラグ及びスキップ・グループのサイズが符号化端から送信されて復号化端で受信される。復号化端は、当該フレームのブロックのスキップ・モード・フラグを読み取り、当該ブロックがスキップ・モードであるか否かを識別できる。ただし、固定位置のブロックであったとしても、スキップ・モード・フラグが「１」であるので、他のスキップ・グループのブロックであることが表示されるブロックは、別途にスキップ・モード・フラグが送受信される必要がない。
図２４Ｃのフレーム２４７０では、スキップ・グループのサイズが固定されておらず、スキップ・グループが始まることができる位置も固定されていない。従って、フレーム２４７０をスキャンするとき、あらゆる３２×３２ブロックのスキップ・モード・フラグが確認されねばならない。
例えば、３２×３２ブロック２４７２のスキップ・モード・フラグが「０」であるから、次の順序として、すぐに隣接する３２×３２ブロック２４７４がスキャンされる。スキャンの進行過程によって、スキップ・モード・フラグが「２」である３２×３２ブロックが検索されるまで、あらゆる３２×３２ブロックが順にスキャンされる。
一方、スキップ・モード・フラグが「２」である３２×３２ブロック２４８２がスキャンされれば、３２×３２ブロック２４８２から始まるスキップ・グループ２４８０が決定されねばならない。３２×３２ブロック２４８２の右側方向及び下端方向に隣接する３２×３２ブロックのスキップ・モード・フラグをスキャンし、連続してスキップ・モード・フラグが「１」である３２×３２ブロックは、いずれも３２×３２ブロック２４８２と同じスキップ・グループ２４８０に含まれると確認される。
スキップ・グループ２４８０が決定された後、スキップ・グループ２４８０に含まれた３２×３２ブロックは、スキャンされることなく、スキップ・グループ２４８０に属していない次の３２×３２ブロック２４９２にスキャンが進められる。同様に、３２×３２ブロック２４９２を皮切りに、スキップ・グループ２４９０が決定されうる。
図２４Ｃを参照しつつ例示された固定位置及び任意のサイズのスキップ・グループの場合、あらゆる位置での３２×３２ブロックのスキップ・モード・フラグ及びスキップ・グループのサイズが符号化端から送信されて復号化端で受信することができる。復号化端は、スキップ・モード・フラグを利用し、当該フレームでのブロック別に、スキップ・モードであるか否かを識別できる。ただし、他のスキップ・グループに含まれると確認された３２×３２ブロックは、別途にスキップ・モード・フラグが送受信される必要がない。
従って、本発明は、図２４Ａ、図２４Ｂ及び図２４Ｃを参照しつつ述べた多様な実施形態によって、スキップ・モードのブロックをグループでスキップ処理できるので、それぞれのブロック別に、スキップ・モードを表示するためのビットが節約され、あらゆるブロックがスキャンされる必要なしに、スキップ・モードが効率的に検索されうる。
第三に、インター推定による動きベクトル（ＭＶ）は、大型データ処理単位として決定され、動きベクトル推定子（ＭＶＰ）も、大型データ処理単位で誘導されうる。
図２５Ａ及び図２５Ｂは、本発明の一実施形態による大型データ処理単位内の動きベクトル誘導方式と、下位データ処理単位の動きベクトル誘導方式とを図示している。
一実施形態によるインター推定によって生成される動きベクトル（ＭＶ）及び動きベクトル推定子（ＭＶＰ）は、大型データ処理単位で誘導される。しかし、図２５Ａ及び図２５Ｂでは、大型データ処理単位の個別的な符号化モードの追加なしに、既存データ処理単位（１６×１６マクロブロック）の動きベクトルを利用し、大型データ処理単位（１６×１６マクロブロックのグループ、すなわち、３２×３２ブロック）の動きベクトルを誘導する方法が開示されている。
例えば、一実施形態による大型データ処理単位である３２×３２スーパー・マクロブロック２５００のインター推定であるならば、インター・モードである３２×３２スーパー・マクロブロック（inter ３２×３２）に係わる動きベクトルｍｖｓが推定されたり誘導される。
一方、大型データ処理単位の符号化モードが個別的に定義されていない映像符号化または映像復号化の過程で、マクロブロックの動きベクトルを利用し、スーパー・マクロブロックの動きベクトルを誘導できる。
例えば、１６×１６マクロブロック２５０２，２５０４，２５０６，２５０８の動きベクトルが、それぞれｍｖ０，ｍｖ１，ｍｖ２，ｍｖ３である場合、ｍｖ１，ｍｖ２，ｍｖ３は、ｍｖ０を利用して誘導されうる。一例として、下記の式（６）によって、ｍｖ１，ｍｖ２，ｍｖ３が推定されうる。
ｍｖ１＝ｍｖ２＝ｍｖ３＝ｆ（ｍｖ０）（ここで、ｆ（ｘ）＝median（ｘ，neighbors）） （６）
median（ｘ，ｙ）関数は、ｘ及びｙの中間値を求める関数であり、入力変数「neighbors」は、隣接する大型データ処理単位の代表動きベクトルを示す。１６×１６マクロブロックの動きベクトルは、代表１６×１６マクロブロック２５０２の動きベクトルｍｖ０と、隣接する３２×３２ブロックの代表動きベクトルとの中間値に推定されうる。
従って、図２５Ａの場合によれば、１６×１６マクロブロック別にいずれも動きベクトルを測定する必要なしに、１つの動きベクトルを１６×１６マクロブロックそれぞれの動きベクトルと見なすことができ、３２×３２スーパー・マクロブロック単位の動きベクトルｍｖｓが１６×１６マクロブロックの動きベクトルから推定されうる。
図２５Ａの場合は、符号化端と復号化端との間には、３２×３２ブロックの動きベクトルに係わるシグナリングのために、１つのマクロブロックの動きベクトルｍｖ０（または、３２×３２ブロックの動きベクトルｍｖｓ）をシグナリングするための追加フラグを伝送する必要がある。また、復号化端は、受信された動きベクトルを利用した３回の誘導過程を介して、シグナリングされていない残りの動きベクトルｍｖ１，ｍｖ２，ｍｖ３を誘導することができる。
図２５Ｂでは、１６×１６マクロブロック動きベクトルを利用した３２×３２ブロックの動きベクトルを推定する他の方式が提案される。他の推定方式は、３２×３２ブロック２５１０を、１６×１６マクロブロックにサブサンプリングし、サブサンプリングされたブロックの動きベクトルを利用し、３２×３２ブロックの動きベクトルを推定する。
例えば、左側上端ピクセル２５１２、右側上端ピクセル２５１４、左側下端ピクセル２５１６、右側下端ピクセル２５１８は、それぞれ順に、左側上端マクロブロック２５２２、右側上端マクロブロック２５２４、左側下端マクロブロック２５２６、右側下端マクロブロック２５２８にマッピングすることによって、サブサンプリングされた１６×１６マクロブロック２５２２，２５２４，２５２６，２５２８が生成されうる。
サブサンプリングされた１６×１６マクロブロック２５２２，２５２４，２５２６，２５２８のそれぞれの動きベクトルｍｖ０’，ｍｖ１’，ｍｖ２’，ｍｖ３’は、下記のように誘導されうる。
ｍｖ１’＝ｍｖ２’＝ｍｖ３’＝ｍｖ０’ （７）
従って，１６×１６マクロブロック２５２２，２５２４，２５２６，２５２８のそれぞれの動きベクトルｍｖ０’，ｍｖ１’，ｍｖ２’，ｍｖ３’は、そのうちの動きベクトル一つだけ測定すれば、残りの動きベクトルも推定されうる。
３２×３２ブロック２５１０の動きベクトルは、１６×１６マクロブロック２５２２，２５２４，２５２６，２５２８の代表動きベクトルＭＶ（＝ｍｖ１’＝ｍｖ２’＝ｍｖ３’＝ｍｖ０’）でもって推定されうる。または、ｍｖ１’，ｍｖ２’，ｍｖ３’，ｍｖ０’を利用した動きベクトル推定子を利用して、ＭＶが推定されうる。従って、図２５Ｂの場合は、符号化端と復号化端との間には、３２×３２ブロックの動きベクトルに係わるシグナリングのために、１つのマクロブロックの動きベクトルｍｖ０’，ｍｖ１’，ｍｖ２’，ｍｖ３’のうち一つをシグナリングするための追加フラグの伝送が必要である。
（IV．周波数変換及び量子化）
一実施形態による映像符号化装置１００の大型データ処理単位を考慮した周波数変換及び量子化部２００１及び一実施形態による映像符号化方法（２０００）の周波数変換及び量子化段階（２０３０）は、大型データ処理単位を考慮した固有のプロセスを導入できる。
一実施形態による映像符号化または映像復号化は、符号化モード別データ処理単位が既存マクロブロック・サイズより大きくありうるので、既存の周波数変換のデータ処理単位である８×８ブロックまたは４×４ブロック以外のデータ処理単位が導入されうる。
これによって、一実施形態による映像符号化及び映像復号化は、（ｉ−１）８×８ブロックまたは４×４ブロック以外の大型ブロック基盤の整数離散コサイン変換及び量子化が導入され、（ｉ−２）大型ブロック基盤のクロマ成分に対する離散コサイン変換は、カラー規格を考慮し、輝度（luma）成分によって、データ処理単位のサイズが変更されうる。また、（ｉ−３）大型ブロック基盤の離散コサイン変換によって発生する演算負担量を減少させるために、低複雑度演算のための変形された形態の離散コサイン変換が導入されうる。
図２６Ａ及び図２６Ｂは本発明の一実施形態による大型データ処理単位のクロマ成分のためのさまざまな動き推定方式を図示している。（ｉ−２）大型ブロック基盤のクロマ成分に対する離散コサイン変換（２０３４）については後述する。ＹＵＶカラー規格フォーマットは、ＹＵＶ４２０フォーマット及びＹＵＶ４４４フォーマットを含む。図２６Ａは、ＹＵＶ４２０フォーマットに係わる推定モード別の周波数変換方式について説明し、図２６Ｂは、ＹＵＶ４４４フォーマットに係わる推定モード別の周波数変換方式について説明している。luma成分に係わる推定モード別データ処理単位が、３２×３２スーパー・マクロブロックである場合を例に挙げる。
図２６Ａのブロック図（２６００）は、大型データ処理単位を考慮した周波数変換及び量子化部２００１の一実施形態であり、ＹＵＶ４２０フォーマットのクロマ成分について、推定モード別に適用可能な周波数変換方式を図示している。
ＹＵＶ４２０フォーマットは、Ｙ成分、Ｕ成分、Ｖ成分それぞれに割り当てられるビット量の比率が４：１：１であるので、Ｕ，Ｖ成分に該当するそれぞれのクロマ成分に割り当てられるビット量がＹ成分に該当するluma成分に割り当てられるビット量の４分の１以下である。従って、luma成分に係わるデータ処理単位のサイズに比べて、クロマ成分に係わるデータ処理単位のサイズが４分の１以下であることが望ましい。例えば、クロマ成分のための周波数変換のためのデータ処理単位の最大サイズは、３２×３２ブロックの４分の１である１６×１６ブロックであることが望ましい。
イントラ・モード２６１０の場合、（ｉ）８×８ブロックの方向性イントラ推定２６１２が行われた後、４×４離散コサイン変換及び２×２アダマール（Hadamard）変換２６１４、すなわち８×８周波数変換が行われる既存方式に、さらに（ｉｉ）１６×１６ブロックの方向性イントラ推定２６１６が行われた後、１６×１６離散コサイン変換２６１８が行われる新たなデータ処理単位が追加されうる。
また、インター・モード（２６２０）の場合、Ｎ×Ｍブロックのインター推定２６２２が行われた後、（ｉ）４×４離散コサイン変換及び２×２アダマール変換２６２４、すなわち８×８周波数変換が行われる既存方式と共に、（ｉｉ）１６×１６離散コサイン変換２６２６が行われる新たなデータ処理単位が追加されうる。
イントラ・モード２６１０またはインター・モード２６２０による動き推定及び周波数変換後、量子化２６３０及びエントロピ符号化２６４０を経て、一実施形態による大型データ処理単位のクロマ成分に対して符号化が行われうる。
図２６Ｂのブロック図（２６５０）は、大型データ処理単位を考慮した周波数変換及び量子化部２００１の他の実施形態であり、ＹＵＶ４４４フォーマットのクロマ成分に対して、推定モード別に適用可能な周波数変換方式を図示している。
ＹＵＶ４４４フォーマットは、Ｙ成分、Ｕ成分、Ｖ成分それぞれに割り当てられるビット量の比率が、４：４：４であるので、クロマ成分それぞれに割り当てられるビット量がluma成分に割り当てられるビット量と同一である。例えば、luma成分に係わるデータ処理単位の最大サイズが３２×３２ブロックであるから、クロマ成分に係わるデータ処理単位の最大サイズも、３２×３２ブロックでありうる。
イントラ・モード２６６０の場合、（ｉ）８×８ブロックの方向性イントラ推定２６６１が行われた後、４×４離散コサイン変換及び２×２アダマール変換２６６２、すなわち８×８周波数変換が行われる既存方式と共に、（ｉｉ）１６×１６ブロックの方向性イントラ推定２６６３が行われた後、１６×１６離散コサイン変換２６６４が行われる新たなデータ処理単位、（ｉｉｉ）３２×３２ブロックの方向性イントラ推定２６６５が行われた後、３２×３２離散コサイン変換２６６６が行われる新たなデータ処理単位が追加されうる。
また、インター・モード２６７０の場合、Ｎ×Ｍブロックのインター推定２６７２が行われた後、（ｉ）４×４離散コサイン変換及び２×２アダマール変換２６２４、すなわち８×８周波数変換が行われる既存方式と共に、（ｉｉ）１６×１６離散コサイン変換２６７６が行われる新たなデータ処理単位が追加されうる。
イントラ・モード２６６０またはインター・モード２６７０による動き推定及び周波数変換後、量子化２６８０及びエントロピ符号化２６９０を経て、一実施形態による大型データ処理単位のクロマ成分に対して符号化が行われうる。
図２６Ａ及び図２６Ｂを参照しつつ図示されたブロック図（２６００，２６５０）による推定モード及び周波数変換ブロックの関係を具体的に整理したテーブルが、図２７で図示されている。これによって、それぞれの推定モード別に、luma成分に対する周波数変換ブロックのサイズによって、クロマ成分に対する周波数変換ブロックのサイズが誘導されうる。
図２７は、本発明の一実施形態による大型データ処理単位のクロマ成分に係わるデータ処理単位のサイズを誘導する方式を図示している。（ｉ−１）大型ブロック基盤の整数離散コサイン変換及び量子化（２０３２）、及び（ｉ−２）大型ブロック基盤のクロマ成分に対する離散コサイン変換（２０３４）について述べる。
ＹＵＶ４２０フォーマットの場合、クロマ成分のための周波数変換ブロックのサイズは、luma成分のための周波数変換ブロックのサイズの４分の１以下である。ただし、周波数変換ブロックの最小サイズは、８×８ブロックである。
ＹＵＶ４２０フォーマットの場合、イントラ・モードのluma成分のための離散コサイン変換のためのデータ処理単位は、３２×３２，１６×１６，８×８，４×４ブロックを含む。従って、ＹＵＶ４２０フォーマットのイントラ・モードのluma成分のための離散コサイン変換ブロックが３２×３２ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、１６×１６ブロックに誘導されうる。また、ＹＵＶ４２０フォーマットのイントラ・モードのluma成分のための離散コサイン変換ブロックが１６×１６，８×８，４×４ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、最小データ単位である８×８ブロックに誘導されうる。
ＹＵＶ４２０フォーマットの場合、インター・モードのluma成分のための離散コサイン変換のためのデータ処理単位は、１６×１６，８×８，４×４ブロックを含む。従って、ＹＵＶ４２０フォーマットのインター・モードのluma成分のための離散コサイン変換ブロックが、１６×１６，８×８，４×４ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、最小データ単位である８×８ブロックに誘導されうる。
ＹＵＶ４４４フォーマットの場合、イントラ・モードである場合、クロマ成分のための周波数変換ブロックのサイズは、luma成分のための周波数変換ブロックのサイズと同一でありうる。同様に、周波数変換ブロックの最小サイズは、８×８ブロックである。
ＹＵＶ４４４フォーマットの場合、イントラ・モードのluma成分のための離散コサイン変換のためのデータ処理単位は、３２×３２，１６×１６，８×８，４×４ブロックを含む。従って、ＹＵＶ４４４フォーマットのイントラ・モードのluma成分のための離散コサイン変換ブロックが、３２×３２ブロック及び１６×１６ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、それぞれ３２×３２ブロック及び１６×１６ブロックに誘導されうる。
また、ＹＵＶ４４４フォーマットのイントラ・モードのluma成分のための離散コサイン変換ブロックが、８×８，４×４ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、最小データ単位である８×８ブロックに誘導されうる。
ＹＵＶ４４４フォーマットのインター・モードのluma成分のための離散コサイン変換のためのデータ処理単位は、１６×１６，８×８，４×４ブロックを含む。従って、ＹＵＶ４４４フォーマットのインター・モードのluma成分のための離散コサイン変換ブロックが、１６×１６ブロックである場合、当該クロマ成分の離散コサイン変換ブロックは、１６×１６ブロックに誘導されうる。また、ＹＵＶ４４４フォーマットのインター・モードのluma成分のための離散コサイン変換ブロックが、８×８，４×４ブロックである場合、当該クロマ成分のための離散コサイン変換ブロックは、最小データ単位である８×８ブロックに誘導されうる。
従って、luma成分の離散コサイン変換のためのデータ処理単位からクロマ成分のためのデータ処理単位が誘導されうる。ＹＵＶカラー規格フォーマットのうち、ＹＵＶ４２０フォーマット及びＹＵＶ４４４フォーマットだけを利用して、推定モード別周波数変換について説明したが、一実施形態による動的に決定されたデータ処理単位による映像符号化または映像復号化が、ＹＵＶ４２０フォーマット及びＹＵＶ４４４フォーマットにのみ限定されるものではない。
（V．インループ・フィルタリング）
一実施形態による映像符号化装置１００のインループ・フィルタリング部２００７及び一実施形態による映像符号化方法（２０００）の周波数変換及び量子化段階（２０８０）は、大型データ処理単位を考慮した固有のプロセスを導入できる。
一実施形態による映像符号化または映像復号化は、大型データ処理単位のサイズが既存マクロブロックのサイズより大きく、大型データ処理単位内部に対するフィルタリングを考慮する必要がある。
従って、一実施形態によって大型データ処理単位を考慮したインループ・フィルタリングに係わる固有プロセスは、大型データ処理単位内部の下位データ処理単位境界に対するフィルタリング遂行いかんの決定及び境界別フィルタリング強度の決定の方式と、大型データ処理単位の符号化によるリンギング効果低減のためのフィルタリングとを含むことができる。
一実施形態による大型データ処理単位を考慮したインループ・フィルタリングで、大型データ処理単位内部の下位データ処理単位境界に対するフィルタリング遂行いかんと、境界別フィルタリング強度の決定方式ついては、既存の映像符号化または映像復号化でのインループ・フィルタリングで使われたインループ・フィルタリング関連フラグを利用して、下記のように説明する。
既存方式によれば、１６×１６マクロブロックまたは８×８マクロブロックごとに境界に対して、インループ・フィルタリングの遂行いかんが判断される。例えば、既存Ｈ．２６４映像符号化／復号化フォーマットでは、インループ・フィルタリング関連フラグが設定される。インループ・フィルタリング関連フラグは、現在マクロブロックと、左側隣接マクロブロックとの境界に対するインループ・フィルタリングの遂行いかんを示す第１フラグ（「filterLeftMbEdgeFlag」）、及び現在マクロブロックと、上端隣接マクロブロックとの境界に対するインループ・フィルタリングの遂行いかんを示す第２フラグ（「filterTopMbEdgeFlag」）を含む。
また、インループ・フィルタリング関連フラグは、１６×１６マクロブロックまたは８×８マクロブロックの内部で、８×８ブロックまたは４×４ブロックに基づいた周波数変換によって発生する境界効果（block artifact）を低減させるために、１６×１６マクロブロックまたは８×８マクロブロックの内部でのインループ・フィルタリングの遂行いかんを示す第３フラグ（「filterInternalEdgeflag」）を含むことができる。
また、インループ・フィルタリング関連フラグは、クロマ成分に対するブロックの境界に対するインループ・フィルタリングの遂行いかんを示す第４フラグ（「chromaEdgeflag」）を含むことができる。
一実施形態による映像符号化または映像復号化では、１６×１６マクロブロックまたは８×８マクロブロックより大きい大型データ処理単位で符号化されるために、既存のインループ・フィルタリング関連フラグを利用するためには、インループ・フィルタリングを行うための条件に、大型データ処理単位内部であるか否かが追加されねばならない。
例えば、一実施形態による映像符号化または映像復号化のインループ・フィルタリングでは、現在境界が大型データ処理単位内部の境界であるならば、第１，２，４フラグを「０」に設定し、現在境界が大型データ処理単位外部の境界であるならば、第１，２，４フラグを「１」に設定できる。すなわち、大型データ処理単位内部に含まれるマクロブロックの境界については、インループ・フィルタリングを行わないように、インループ・フィルタリング関連フラグが設定されうる。
また、一実施形態による映像符号化または映像復号化のインループ・フィルタリングでは、１６×１６マクロブロックによって周波数変換された場合、第３フラグが「０」に設定されうる。すなわち，１６×１６マクロブロック単位の符号化モードで、１６×１６マクロブロックに周波数変換された場合には、１６×１６マクロブロック内部に対して、周波数変換による境界効果を低減するためのインループ・フィルタリングを行わないように、インループ・フィルタリング関連フラグが設定されうる。
インループ・フィルタリング関連フラグは、イントラ・モード及びインター・モードが混合された推定モードのマクロブロックである場合、互いに異なる推定モードの隣接ブロック間の境界に対するインループ・フィルタリングの遂行いかんを示す第５フラグ（「mixedModeEdgeFlag」）を含むことができる。
一実施形態による映像符号化または映像復号化のインループ・フィルタリングでは、大型データ処理単位の内部で、イントラ・モード及びインター・モードの隣接ブロックが存在しうるので、第５フラグの条件に、現在データ処理単位が大型データ処理単位である場合を追加できる。また、大型データ処理単位の内部の下位データ処理単位の境界ごとに、インループ・フィルタリング強度が個別的に設定されうる。
一実施形態による映像符号化及び映像復号化は、大型データ処理単位で、各種プロセスが行われるので、境界効果以外にも、リンギング効果が発生しうる。従って、一実施形態による映像符号化及び映像復号化のインループ・フィルタリングで、大型データ処理単位の符号化によるリンギング効果低減のためのフィルタリングが行うことができる。
（VI．エントロピ符号化）
一実施形態による映像符号化装置１００の大型データ処理単位を考慮したエントロピ符号化部２００９、及び一実施形態による映像符号化方法（２０００）のエントロピ符号化段階（２０９０）は、大型データ処理単位を考慮した固有のプロセスを導入できる。
一実施形態による大型データ処理単位を考慮したエントロピ符号化または復号化のための固有プロセスは、大型データ処理単位を考慮した階層的符号化ブロック・パターン（ＣＢＰ：coded block pattern）及び符号化ブロック・パターンのスキャン方式の導入（２０９２）、大型データ処理単位を考慮したコンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）の導入（２０９４）、イントラ・モードまたはクロマ成分の大型データ処理単位に係わる符号化ブロック・パターンに対する単一コンテクストの導入（２０９６）を含む。
図２８は、本発明の一実施形態による大型データ処理単位を考慮した符号化ブロック・パターンを利用した方法のフローチャートを図示している。
一実施形態によるエントロピ符号化及びエントロピ復号化は、既存の符号化ブロック・パターンである８×８ブロックに係わる符号化ブロック・パターン（ＣＢＰ８）だけではなく、大型データ処理単位を考慮した階層的符号化ブロック・パターンを利用できる。
例えば、一実施形態によるデータ処理単位の符号化モードが、３２×３２スーパー・マクロブロックのインター・モード（Inter＿３２×３２）、３２×１６スーパー・マクロブロックのインター・モード（Inter＿３２×１６）、１６×３２スーパー・マクロブロックのインター・モード（Inter＿１６×３２）などの１６×１６ブロックのインター・モード以上のデータ処理単位の符号化モードである場合、１６×１６ブロックに係わる符号化ブロック・パターン（ＣＢＰ１６）が追加される。従って、ＣＢＰ１６及びＣＢＰ８を含む階層的符号化ブロック・パターンによって、エントロピ符号化または復号化が行われうる。
従って、Inter＿３２×３２、Inter＿３２×１６、Inter＿１６×３２の符号化モードに対するエントロピ符号化の場合、ＣＢＰ１６から符号化されねばならない（段階２８００（ＣＢＰ１６））。まず、段階２８１０（Luma_ＣＢＰ＝１？）で、luma成分に対するＣＢＰ１６（Luma＿ＣＢＰ１６）が「１」であるか否かが判断され、「０」であるならば、エントロピ符号化のためのテキスチャ・プロセシング作業が終了される。luma成分に対するＣＢＰ１６（Luma＿ＣＢＰ１６）が「１」であるならば、段階２８２０（Ｔｒ_Type）で、データ処理単位のサイズを示すフラグ（Ｔｒ＿type）が符号化された後、段階２８３０（Ｃｂｐ８）で、ＣＢＰ８が符号化される。段階２８４０で、luma成分に対するテキスチャ・プロセシングが行われる。
段階２８５０（Croma_ＣＢＰ１６＝１？）で、クロマ成分に対するＣＢＰ１６（Chroma＿ＣＢＰ１６）が「１」であるか否か判断され、段階２８６０で、クロマ成分に対するテキスチャ・プロセシングが行われる。
ＣＢＰ１６を利用したエントロピ符号化方法のフローチャート（２８００）は、一実施形態によって、１６×１６ブロックのインター・モード以上のデータ処理単位の符号化モードである場合、１６×１６ブロックに係わる符号化ブロック・パターン（ＣＢＰ１６）が追加された場合を図示しているが、データ処理単位がさらに変形される場合にも、データ処理単位を考慮して変形された符号化ブロック・パターンが存在しうる。
図２９Ａ及び図２９Ｂは、本発明の一実施形態による大型データ処理単位を考慮した符号化ブロック・パターンをスキャンするさまざまな方式を図示している。大型データ処理単位を考慮した符号化ブロック・パターン（ＣＢＰ）のスキャン方式（２０９２）について述べる。
一実施形態によるエントロピ符号化は、データ処理単位２９００をスキャンし、「０」ではない符号化ブロック・パターンを検索する。既存スキャン方式は、８×８正方形ブロックをインターリーブド方式でスキャンする。
一実施形態によるエントロピ符号化は、データ処理単位２９００の左側上端から右側下端に向かる対角線を中心に、ジグザグに往復してスキャンする方式を導入する。データ処理単位２９００内の左側上端に位置する符号化ブロック・パターンであるほど、０ではない確率が高いので、０ではない有効ビットを符号化しようとするエントロピ符号化の効率性が向上しうる。
一実施形態による符号化ブロック・パターンのスキャン効率性のために、データ処理単位２９００を多数の境界２９１０，２９２０，２９３０，２９４０，２９５０，２９６０，２９７０に区画できる。ジグザグ・スキャン方式によって、境界間の領域のストリップのうち０ではない符号化ブロック・パターン（「ｘ」表示がある位置）があるか否かが検索され、０ではない符号化ブロック・パターンが含まれたストリップだけ符号化されることが望ましい。
すなわち、一実施形態による符号化ブロック・パターンのスキャン方式は、データ処理単位２９００をスキャンし、境界２９１０以前の第１領域、境界２９１０と２９２０との第１領域、境界２９２０と２９３０との第３領域、境界２９３０と２９４０と間の第４領域、境界２９４０と２９５０との第５領域、境界２９５０と２９６０との第６領域、境界２９６０と２９７０との第７領域、境界２９７０以後の第８領域のうち「０」ではない符号化ブロック・パターンが含まれた領域のストリップが符号化されねばならない。
一実施形態は、伝送ビットを節約するために、「０」ではない符号化ブロック・パターンが含まれた領域のストリップを示す二種の方式が、図２９Ａ及び図２９Ｂでそれぞれ図示されている。
図２９Ａでは、「有効ストリップ」及び「終了ストリップ」を定義し、有効ストリップの領域から終了ストリップの領域までの少なくとも１つの領域のデータだけ有効データであることを示すことができる。図２９Ｂでは、「終了ストリップ」を定義し、「終了ストリップ」の領域までの少なくとも１つの領域のデータだけ有効データであることを示すことができる。
図２９Ａの場合には、データ処理単位２９００の符号化ブロック・パターンのスキャン領域を決定するために、シンタックス上での有効ストリップ及び終了ストリップを示すフラグだけそれぞれ定義されればよい。有効ストリップの領域と終了ストリップの領域との間に無効ストリップがあっても、無効ストリップを示すフラグが必要なく、終了していないストリップであることを示すフラグも必要ない。従って，１つのデータ処理単位２９００の伝送ビットに対して、符号化ブロック・パターンと関連して、有効ストリップ及び終了ストリップをそれぞれ示すフラグのための２ビットだけ必要である。
図２９Ｂの場合には、データ処理単位２９００の符号化ブロック・パターンのスキャン領域を決定するために、シンタックス上で終了ストリップを示すフラグだけ定義されればよい。終了ストリップの領域以前の終了していないストリップであることを示すフラグも必要ない。従って、１つのデータ処理単位２９００の伝送ビットに対して、符号化ブロック・パターンと関連して、終了ストリップを示すフラグのための１ビットだけ必要である。
一実施形態によるエントロピ符号化は、大型データ処理単位の符号化モードの導入によって、イントラ・モードまたはクロマ成分の大型データ処理単位に対する新規符号化ブロック・パターン、及び新規符号化ブロック・パターンの単一コンテクストが定義されうる。
例えば、一実施形態による大型データ処理単位の符号化モードは、３２×３２スーパー・マクロブロックのイントラ・モード（Intra＿３２×３２）、１６×１６マクロブロックのイントラ・モード（Intra＿１６×１６）、１６×１６マクロブロックのクロマ成分のためのイントラ・モード（Ｃｒ＿１６×１６、Ｃｂ＿１６×１６）を新たに含むことができる。
イントラ・モードの大型データ処理単位は、内部のあらゆるデータが０である確率が非常に低い。従って、現在データ処理単位の符号化ブロック・パターンのコンテクストは、隣接データ処理単位のコンテクストを利用することよりは、それぞれの大型データ処理単位別に、符号化ブロック・パターンに対する１つのコンテクストが設定されることが望ましい。
インター・モードの符号化ブロック・パターンのコンテクストは、既存のインター・モードである８×８マクロブロックに係わる符号化ブロック・パターンのコンテクストと同じ方式で設定されうる。従って、インター・モードである隣接８×８マクロブロックのコンテクストを利用し、現在８×８マクロブロックのコンテクストが決定されうる。
一実施形態による復号化端で、大型データ処理単位に基づいたエントロピ符号化によって符号化された映像ビット・ストリームを復号化する場合、大型データ処理単位を考慮したエントロピ復号化が必要である。例えば、一実施形態による復号化端は、１６×１６マクロブロック別の符号化ブロック・パターンを利用したエントロピ復号化を介して映像を復元する。
（VII．動的に決定されたデータ処理単位による映像復号化装置）
図３０Ａ、図３０Ｂ、図３０Ｃ、図３０Ｄ、図３０Ｅ及び図３０Ｆは、それぞれ一実施形態によって動的に決定されたデータ処理単位を考慮する映像復号化装置２００の変形実施形態のブロック図を図示している。
一実施形態による映像復号化装置２００に、大型データ処理単位を適用するために、グループ復号化部２３０は、大型データ処理単位を考慮し、エントロピ復号化、逆量子化及び逆周波数変換、イントラ推定及び動き補償、インループ・フィルタリングを経て、復元映像を生成する。
受信部２１０は、映像符号化装置１００から伝送された映像ビット・ストリームを受信し、グループ符号化モード読取り部２２０は、映像ビット・ストリームから符号化モードを読み取ることができる。符号化モードは、シンタックス、フラグなどから読み取ることができる。グループ復号化部２３０は、読み取られた符号化モードに基づいて、グループ・データを符号化する。
一実施形態によるグループ復号化部２３０は、動的に決定されたデータ処理単位を考慮した復号化のために、既存の映像符号化／復号化フォーマットとは区別される固有プロセスを行うことができる。動的に決定されたデータ処理単位のうち、大型データ処理単位を考慮した固有プロセスについて、先に図２１ないし図２９Ｂを参照しつつ述べた技術に相応する。以下、グループ復号化部２３０の各過程別固有プロセスについて詳述する。
図３０Ａは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮したエントロピ復号化が適用された場合のブロック図を図示している。
一実施形態による映像復号化装置２００のグループ復号化部２３０の第１実施形態は、大型データ処理単位を考慮したエントロピ復号化部３０１０、イントラ推定部及び動き補償部２３３、逆量子化及び逆周波数変換部２３７及びインループ・フィルタリング部２３９を含む。
グループ復号化部２３０の第１実施形態による大型データ処理単位を考慮したエントロピ復号化部３０１０は、グループ符号化モード読取り部２２０で読み取られた符号化モードに基づいた大型データ処理単位によって、エントロピ復号化を行うことができる。エントロピ復号化部３０１０で行うエントロピ復号化は、［VI．エントロピ符号化］において述べたエントロピ符号化されたビット・ストリームを復号化する作業である。
図２８ないし図２９Ｂを参照して述べた符号化ブロック・パターンが、一実施形態によるエントロピ復号化部３０１０で使われうる。読み取られた符号化ブロック・パターンは、「０」ではない符号化ブロック・パターンが発生する確率が高い方向に沿ってスキャンされて符号化されたものでありうる。
グループ復号化部２３０の第１実施形態による大型データ処理単位を考慮したエントロピ復号化部３０１０は、大型データ処理単位によってエントロピ復号化を行うために、大型データ処理単位に対して、コンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）を利用できる。
グループ復号化部２３０の第１実施形態による大型データ処理単位を考慮したエントロピ復号化部３０１０は、大型データ処理単位を基盤とする符号化ブロック・パターンに対する新規に設定されたコンテクストを復号化できる。
図３０Ｂは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮した動き推定プロセシングが適用された場合のブロック図を図示する。
一実施形態による映像復号化装置２００のグループ復号化部２３０の第２実施形態は、エントロピ復号化部２３１、大型データ処理単位を考慮したプロセシングによるイントラ推定部及び動き補償部３０３０、逆量子化及び逆周波数変換部２３７及びインループ・フィルタリング部２３９を含む。
グループ復号化部２３０の第２実施形態による大型データ処理単位を考慮したプロセシングによるイントラ推定部及び動き補償部３０３０は、グループ符号化モード読取り部２２０で読み取られた符号化モードに基づいた大型データ処理単位によるプロセシングによって、動き推定または補償を行うことができる。一実施形態による大型データ処理単位を考慮したプロセシングは、［III．動き推定プロセシング］において述べた通りである。
一実施形態によるデータ処理単位は、動き推定のための大型データ処理単位及び周波数変換のためのデータ処理単位の組み合わせによって決定されうる。
グループ復号化部２３０の第２実施形態による大型データ処理単位を考慮したプロセシングによるイントラ推定部及び動き補償部３０３０は、大型データ処理単位を考慮して決定されたデータ処理単位別の動き推定のためのスキャン方式、及び隣接ブロックの隣接ブロック参照可能性を利用できる。データ処理単位別の動き推定のためのスキャン方式、及び隣接ブロックの隣接ブロック参照可能性の望ましい実施形態は、図１３、２１及び２２を参照して述べた通りである。
グループ復号化部２３０の第２実施形態による大型データ処理単位を考慮したプロセシングによるイントラ推定部及び動き補償部３０３０は、正方形の大型データ処理単位だけ利用される簡略化された符号化モードを利用できる。簡略化された符号化モードの望ましい実施形態は、図２３Ａ及び２３Ｂを参照して述べた通りである。
図３０Ｃは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮したイントラ推定が適用された場合のブロック図を図示している。
一実施形態による映像復号化装置２００のグループ復号化部２３０の第３実施形態は、エントロピ復号化部２３１、大型データ処理単位を考慮したイントラ推定部３０４０、動き補償部２３５、逆量子化及び逆周波数変換部２３７及びインループ・フィルタリング部２３９を含む。映像が、［III−１．イントラ推定］において述べた一実施形態による固有プロセスによって符号化された場合、映像復号化装置２００でも、［III−１．イントラ推定］において述べたプロセスに基づいて復号化することが望ましい。
グループ復号化部２３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部３０４０は、所定大型データ処理単位に対して追加されるイントラ・モードを利用できる。例えば、イントラ推定部３０４０は、イントラ・モードの３２×３２スーパー・マクロブロック、イントラ・モードの１６×１６スーパー・マクロブロックなどを利用できる。
グループ復号化部２３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部３０４０は、さらに正確な大型データ処理単位の動き推定のために、イントラ・モードに、コンプレックス・プレーンを利用した推定モードを導入できる。
グループ復号化部２３０の第３実施形態による大型データ処理単位を考慮したイントラ推定部３０４０は、制限された種類の大型データ処理単位だけを利用して、イントラ推定を行うことができる。
図３０Ｄは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮した動き補償が適用された場合のブロック図を図示している。
一実施形態による映像復号化装置２００のグループ復号化部２３０の第４実施形態は、エントロピ復号化部２３１、イントラ推定部２３４及び大型データ処理単位を考慮した動き補償部３０５０、逆量子化及び逆周波数変換部２３７及びインループ・フィルタリング部２３９を含む。一実施形態による大型データ処理単位によって符号化された映像については、一実施形態による［III−２．インター推定］において述べた一実施形態による固有プロセスに基づいて、動き推定及び動き補償を行われることが望ましい。
グループ復号化部２３０の第４実施形態による大型データ処理単位を考慮した動き補償部３０５０は、大型データ処理単位の推定モードとして、インター推定及びイントラ推定が混在しうる混合モードを導入できる。
グループ復号化部２３０の第４実施形態による大型データ処理単位を考慮した動き補償部３０５０は、大型データ処理単位別に決定された動きベクトル（ＭＶ）及び動きベクトル推定子（ＭＶＰ）を利用できる。
グループ復号化部２３０の第４実施形態による大型データ処理単位を考慮した動き補償部３０５０は、大型データ処理単位別に定義された新規スキップ・モードを利用し、複数のスキップ・モードのデータ処理単位を含むスキップ・グループに対して、同時にスキップ処理できる。
図３０Ｅは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮した逆量子化及び逆周波数変換が適用された場合のブロック図を図示している。
一実施形態による映像復号化装置２００のグループ復号化部２３０の第５実施形態は、エントロピ復号化部２３１、イントラ推定部及び動き補償部２３３、大型データ処理単位を考慮した逆量子化及び逆周波数変換部３０７０及びインループ・フィルタリング部２３９を含む。大型データ処理単位を考慮した逆量子化及び逆周波数変換部３０７０は、［IV．周波数変換及び量子化］において述べた一実施形態による周波数変換及び量子化技法の逆過程を行うことが望ましい。
グループ復号化部２３０の第５実施形態による大型データ処理単位を考慮した逆量子化及び逆周波数変換部３０７０は、大型データ処理単位によって逆量子化及び逆周波数変換を行うために、大型データ処理単位を基盤とする整数離散コサイン逆変換及び逆量子化を行うことができる。
グループ復号化部２３０の第５実施形態による大型データ処理単位を考慮した逆量子化及び逆周波数変換部３０７０は、大型データ処理単位によって逆周波数変換及び逆量子化を行うために、大型データ処理単位のクロマ成分に対して、離散コサイン逆変換及び逆量子化を行うことができる。
グループ復号化部２３０の第５実施形態による大型データ処理単位を考慮した逆量子化及び逆周波数変換部３０７０は、大型データ処理単位を基盤とする離散コサイン逆変換によって増加しうる演算量の負担を減少させるために、低複雑度演算を指向する離散コサイン逆変換を行うことができる。
図３０Ｆは、一実施形態による映像復号化装置２００のグループ復号化部２３０に対して、大型データ処理単位を考慮したインループ・フィルタリングが適用された場合のブロック図を図示している。
一実施形態による映像復号化装置２００のグループ復号化部２３０の第６実施形態は、エントロピ復号化部２３１、イントラ推定部及び動き補償部２３３、逆量子化及び逆周波数変換部２３７及び大型データ処理単位を考慮したインループ・フィルタリング部３０９０を含む。大型データ処理単位を考慮したインループ・フィルタリング部３０９０は、［V．インループ・フィルタリング］において述べた一実施形態によるインループ・フィルタリングに対応する作業を行うことが望ましい。
グループ復号化部２３０の第６実施形態による大型データ処理単位を考慮したインループ・フィルタリング部２００７は、大型データ処理単位内部の下位処理単位の境界に対してフィルタリングを行うか否かが決定されうる。また、大型データ処理単位内部の下位処理単位の境界別に、フィルタリング強度が調節されうる。
グループ復号化部２３０の第６実施形態による大型データ処理単位を考慮したインループ・フィルタリング部２００７は、大型データ処理単位内部のリンギング効果低減のためにインループ・フィルタリングを行うことができる。
先に、図３０Ａないし図３０Ｆを参照して説明したグループ復号化部２３０の第１実施形態ないし第６実施形態は、読み取られた符号化モードによって、既存の１６×１６ブロック、８×８ブロック、４×４ブロック以外のデータ処理単位を利用し、グループのデータを復号化できる。特に、大型データ処理単位を考慮して既存の映像符号化／復号化フォーマットのシンタックスを変形することによって、既存の映像符号化／復号化フォーマットに、大型データ処理単位による多様なプロセスを適用できる。
（VIII．動的に決定されたデータ処理単位による映像符号化方法及び映像復号化方法）
図３１Ａ、図３１Ｂ、図３１Ｃ、図３１Ｄ、図３１Ｅ及び図３１Ｆは、それぞれ一実施形態によって動的に決定されたデータ処理単位を考慮する映像符号化方法（１８００）の変形実施形態のフローチャートを図示している。
図３１Ａ、図３１Ｂ、図３１Ｃ、図３１Ｄ、図３１Ｅ及び図３１Ｆについていずれも共通し、段階１８１０で、基本ブロックに分類された映像データが、グループ、サブグループ及び基本ブロックを含む拡張された概念に分類される。また段階１８２０で、グループを符号化するために利用されるデータ処理単位についての情報及びグループの符号化モードが決定される。ここで、グループの符号化モードは、大型データ処理単位を考慮した符号化モードを含むことができる。
段階１８３０では、グループの符号化のために、周波数変換及び量子化、動き推定、インループ・フィルタリング、エントロピ符号化過程が行われうる。図３１Ａないし図３１Ｆを参照し、グループの符号化のためのそれぞれの過程別固有プロセスについて詳述する。
図３１Ａは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮した周波数変換及び量子化が適用された場合のフローチャートを図示している。
段階１８３１で、大型データ処理単位を考慮した符号化モードによる周波数変換及び量子化を経て、グループのデータが符号化される。大型データ処理単位を考慮した周波数変換及び量子化のために、大型ブロック基盤の整数離散コサイン変換及び量子化（２０３２）、大型ブロックのクロマ成分に対する離散コサイン変換及び量子化（２０３４）、大型ブロック基盤の離散コサイン変換のための低複雑度演算（２０３６）のうち少なくともいずれか一つが行われうる。
図３１Ｂは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮したプロセシングによる動き推定が適用された場合のフローチャートを図示している。
段階１８３３で、大型データ処理単位を考慮した符号化モードによる動き推定プロセシングを経て、グループのデータが符号化される。大型データ処理単位を考慮した動き推定プロセシングのために、動き推定のための大型ブロック及び周波数変換のための大型ブロックの組み合わせ（２０５２）、動き推定のためのブロック・スキャニング方式及び隣接ブロックの隣接ブロック参照可能性（２０５４）、大型ブロックの簡略化モード（２０５６）のうち少なくともいずれか一つが行われうる。
図３１Ｃは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮したイントラ推定が適用された場合のフローチャートを図示している。
段階１８３４で、大型データ処理単位を考慮した符号化モードによるイントラ推定を経て、グループのデータが符号化される。大型データ処理単位を考慮したイントラ推定のために、大型ブロック基盤のイントラ・モード（２０６２）、イントラ推定のためのコンプレックス・プレーンの導入（２０６４）、推定可能なイントラ・モードの決定（２０６６）のうち少なくともいずれか一つが行われうる。
図３１Ｄは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮したインター推定が適用された場合のフローチャートを図示している。
段階１８３５で、大型データ処理単位を考慮した符号化モードによるインター推定を経て、グループのデータが符号化される。大型データ処理単位を考慮したインター推定のために、イントラ・モード及びインター・モードが混合された推定モードの導入（２０７２）、大型ブロックの動きベクトル（ＭＶ）の決定方式及び動きベクトル推定子（ＭＶＰ）の誘導方式（２０７４）、大型ブロックの新規スキップ・モード及びスキップ・グループの導入（２０７６）のうち少なくともいずれか一つが行われうる。
図３１Ｅは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮したインループ・フィルタリングが適用された場合のフローチャートを図示している。
段階１８３７で、大型データ処理単位を考慮した符号化モードによるインループ・フィルタリングを経て、グループのデータが符号化される。大型データ処理単位を考慮したインループ・フィルタリングのために、大型ブロック内部の境界に対するフィルタリングいかん決定及びフィルタリング強度決定（２０８２）、大型ブロック内部のリンギング効果低減フィルタリング２０８４のうち少なくともいずれか一つが行われうる。
図３１Ｆは、本発明の一実施形態による映像符号化方法のグループ符号化段階（１８３０）に対して、大型データ処理単位を考慮したエントロピ符号化が適用された場合のフローチャートを図示している。
段階１８３９で、大型データ処理単位を考慮した符号化モードによるエントロピ符号化を経て、グループのデータが符号化される。大型データ処理単位を考慮したエントロピ符号化のために、大型ブロックに係わる符号化ブロック・パターン（ＣＢＰ）の導入及び符号化ブロック・パターン・スキャン方式（２０９２）、大型ブロックを考慮したコンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）の導入（２０９４）、大型ブロックの符号化ブロック・パターンに対するコンテクスト設定（２０９６）のうち少なくともいずれか一つが行われうる。
図３２Ａ、図３２Ｂ、図３２Ｃ、図３２Ｄ、図３２Ｅ及び図３２Ｆは、それぞれ一実施形態によって動的に決定されたデータ処理単位を考慮する映像復号化方法の変形実施形態のフローチャートを図示している。
図３２Ａ、図３２Ｂ、図３２Ｃ、図３２Ｄ、図３２Ｅ及び図３２Ｆに対していずれも共通して、段階１９１０で、映像ビット・ストリームを受信してパージングする。受信された映像ビット・ストリームは、基本ブロック、グループ、サブグループ単位で符号化されたデータを含む。また、段階１９２０で、グループの符号化方式を示すグループの符号化モードを読み取る。グループの符号化モードは、グループのデータ処理単位；イントラ・モード、インター・モード、スキップ・モードなどの動き推定モードを含むことができる。
段階１９３０では、グループの復号化のために、エントロピ復号化、逆周波数変換及び逆量子化、動き推定及び補償、インループ・フィルタリング過程が行われうる。図３２Ａないし図３２Ｆを参照しつつ、グループの復号化のためのそれぞれの過程別固有プロセスについて詳述する。
図３２Ａは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮したエントロピ復号化が適用された場合のフローチャートを図示する。
段階１９３１で、大型データ処理単位を考慮したエントロピ符号化を経て、グループのデータが復号化される。大型データ処理単位を考慮したエントロピ復号化を行うために、大型データ処理単位を基盤とする符号化ブロック・パターンが利用されうる。大型データ処理単位を考慮したエントロピ符号化は、大型データ処理単位に対して、コンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）を利用できる。
大型データ処理単位を考慮したエントロピ復号化を行うために、大型データ処理単位を基盤とする符号化ブロック・パターンに対する新規に設定されたコンテクストを利用し、符号化ブロック・パターンが復号化されうる。
図３２Ｂは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮した動き推定プロセシングが適用された場合のフローチャートを図示している。
段階１９３３で、大型データ処理単位を考慮したプロセスによって行う動き推定または補償を経て、グループのデータが復号化される。一実施形態によるデータ処理単位は、動き推定のための大型データ処理単位及び周波数変換のためのデータ処理単位の組み合わせによって決定されうる。大型データ処理単位を考慮して決定されたデータ処理単位別の動き推定のためのスキャン方式、及び隣接ブロックの隣接ブロック参照可能性を利用できる。
一実施形態によって、イントラ推定及び動き補償のために大型データ処理単位を考慮したプロセシングは、正方形の大型データ処理単位だけ利用される簡略化された符号化モードを利用できる。
図３２Ｃは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮したイントラ推定が適用された場合のフローチャートを図示している。
段階１９３４で、大型データ処理単位を考慮した符号化モードによるイントラ推定を経て、グループのデータが復号化される。一実施形態による大型データ処理単位を考慮したイントラ推定段階は、大型データ処理単位に対して追加されるイントラ・モードを利用できる。大型データ処理単位を考慮したイントラ・モードにコンプレックス・プレーンを利用した推定モードが導入されうる。大型データ処理単位を考慮したイントラ推定は、制限された種類の大型データ処理単位に対してのみ行われもする。
図３２Ｄは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮した動き補償が適用された場合のフローチャートを図示している。
段階１９３５で、大型データ処理単位を考慮した符号化モードによる動き補償を経て、グループのデータが復号化される。大型データ処理単位を考慮した動き補償のために、大型データ処理単位の推定モードとして、インター推定及びイントラ推定が混在できる混合モードが利用されうる。
動き補償のために大型データ処理単位別に決定された動きベクトル（ＭＶ）及び動きベクトル推定子（ＭＶＰ）が利用されうる。大型データ処理単位別に定義された新規スキップ・モードが利用され、複数のスキップ・モードのデータ処理単位を含むスキップ・グループに対して、同時にスキップ処理されうる。
図３２Ｅは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮した逆量子化及び逆周波数変換が適用された場合のフローチャートを図示している。
段階１９３７で、大型データ処理単位を考慮した符号化モードによる逆量子化及び逆周波数変換を経て、グループのデータが復号化される。
大型データ処理単位を考慮した逆量子化及び逆周波数変換のために、大型データ処理単位を基盤とする整数離散コサイン逆変換及び逆量子化が行われうる。大型データ処理単位のクロマ成分に対して、離散コサイン逆変換及び逆量子化が行われうる。大型データ処理単位を基盤とする離散コサイン逆変換によって増加しうる演算量の負担を減少させるために、低複雑度演算を指向する離散コサイン逆変換が行われうる。
図３０Ｆは、一実施形態による映像復号化方法のグループ復号化段階（１９３０）に対して、大型データ処理単位を考慮したインループ・フィルタリングが適用された場合のフローチャートを図示している。
段階１９３９で、大型データ処理単位を考慮したインループ・フィルタリングを経て、グループのデータが復号化される。
大型データ処理単位を考慮したインループ・フィルタリングを行うために、大型データ処理単位内部の下位処理単位の境界に対して、フィルタリングを行うか否かが決定されうる。また、大型データ処理単位内部の下位処理単位の境界別に、フィルタリング強度が調節されうる。また、大型データ処理単位内部のリンギング効果の低減のために、インループ・フィルタリングを行うことができる。
一方、前述の本発明の実施形態は、コンピュータで実行できるプログラムで作成可能であり、コンピュータで読取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現されうる。前記コンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスク）、光学的読取り媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）など）及びキャリアウェーブ（例えば、インターネットを介した伝送）のような記録媒体を含む。
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現できることを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

Claims (43)

  1. 基本ブロックに分類された映像データに対して、少なくとも１つの基本ブロックを含むグループと、前記基本ブロックのグループ内におけるスキャン順序に基づいて連続して位置する少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループと、に前記映像データを分類するデータ分類段階と、
    所定グループを符号化するために、前記グループ、サブグループ及び基本ブロックのうちの１つのデータ処理単位によって、所定グループのデータを予測符号化する方式を示す前記所定グループの推定モードを決定する段階と、
    前記データ処理単位と前記決定された前記決定された推定モードとに基づいて、データ処理単位によるグループ内に含まれる前記映像データの符号化方式についての情報を含むグループ毎の符号化モードを識別する符号化モード決定段階と、を含み、
    前記決定された推定モードによって、前記所定グループのデータを符号化する符号化段階と、を含み、
    前記グループに含まれた各サブグループに、前記基本ブロックの前記グループ内におけるスキャン順序に基づいて配列された所定個数の基本ブロックが順次に配分される、
    ことを特徴とする映像符号化方法。
  2. 前記映像符号化方法は、
    前記所定グループの符号化モードを示すフラグを符号化する段階をさらに含む、
    ことを特徴とする請求項１に記載の映像符号化方法。
  3. 前記データ分類段階は、
    前記グループに含まれる基本ブロックの個数を示すグループのサイズと、前記グループに含まれる基本ブロックによって形成されるグループの形態と、を決定する段階を含む、
    ことを特徴とする請求項１に記載の映像符号化方法。
  4. 前記データ分類段階は、
    前記グループに含まれるサブグループの個数を示すレベル及び前記基本ブロックのスキャン順序に基づいて、前記グループのサブグループを決定する段階を含む、
    ことを特徴とする請求項１に記載の映像符号化方法。
  5. 前記符号化モードは、
    前記グループのデータの符号化が行われるデータ処理単位として、前記グループ単位、前記サブグループ単位、前記基本ブロック単位のうちいずれか一つを示すデータ処理単位の種類についての情報と、
    前記データ処理単位に含まれる基本ブロックの個数を示す前記データ処理単位のサイズについての情報と、
    前記データ処理単位に係わる動き推定のために、前記データ処理単位に対応する参照情報を決定する方式を示す推定モードについての情報と、のうち少なくともいずれか一つを含む、
    ことを特徴とする請求項１に記載の映像符号化方法。
  6. 前記推定モードを決定する段階は、
    前記グループの所定データ処理単位別に、少なくとも１つの推定モードによって、前記データ処理単位に係わる符号化を行う段階と、
    前記所定データ処理単位及び推定モードの組み合わせ別に、符号化による誤差率を算出する段階と、
    前記算出された誤差率のうち最小の誤差率に対応する前記所定データ処理単位の推定モードを前記推定モードとして決定する段階と、
    を含むことを特徴とする請求項１に記載の映像符号化方法。
  7. 前記符号化モード決定段階は：
    前記グループ、前記サブグループおよび基本ブロックを含む複数の異なるデータ処理単位毎に推定モードを考慮した符号化誤差率を比較する動作と、
    最小の誤差率に対応するデータ処理単位及び推定モードの組み合わせを識別する動作と、
    データ処理単位及び推定モードの前記識別された組み合わせを符号化モードとして決定する動作と、を含むことを特徴とする請求項６に記載の映像符号化方法。
  8. 前記映像符号化方法は、
    グループ単位及びサブグループ単位のうち１つのデータが周波数変換された係数を、複数個の基本ブロック単位に再配列する段階をさらに含む、
    ことを特徴とする請求項１に記載の映像符号化方法。
  9. 前記映像符号化方法は、
    グループ単位で分類された前記映像データを周波数変換するためのデータ処理単位を示すフラグを符号化する段階をさらに含む、
    ことを特徴とする請求項１に記載の映像符号化方法。
  10. 前記データ分類段階は、
    前記映像データのピクチャ、シーケンス及びグループのうち１つのデータ単位別に、グループ単位のサイズ、形態及び最大レベルを決定する、
    ことを特徴とする請求項１に記載の映像符号化方法。
  11. 前記符号化段階は、
    前記決定されたグループの符号化モードに対応する大型データ処理単位に基づいて、映像符号化のために入力された前記映像データの符号化のための周波数変換及び量子化を行う段階と、
    前記大型データ処理単位に基づいて、前記入力された前記映像データの符号化のための動き推定を行う段階と、
    前記大型データ処理単位に基づいて、前記入力された前記映像データの符号化のためのインループ・フィルタリングを行う段階と、
    前記大型データ処理単位に基づいて、前記入力された前記映像データの符号化のためのエントロピ符号化を行う段階と、
    を含むことを特徴とする請求項１に記載の映像符号化方法。
  12. 前記符号化段階は、
    前記動き推定のためのデータ処理単位のサイズに基づいて、前記周波数変換のためのデータ処理単位のサイズが決定される、
    ことを特徴とする請求項１１に記載の映像符号化方法。
  13. 前記動き推定遂行段階は、
    前記大型データ処理単位に基づいた動き推定プロセシングを介して、イントラ推定またはインター推定を行う段階を含み、
    前記大型データ処理単位に基づいた動き推定プロセスは、
    前記大型データ処理単位に基づく順次的動き推定のための決定されたデータ処理単位別スキャン順序による動き推定プロセスと、
    前記大型データ処理単位に基づいて行われる前記入力された前記映像データに係わる動き推定のために、現在データ処理単位の右側上端に位置する隣接するデータ処理単位の参照可能性が決定される動き推定プロセスと、
    前記大型データ処理単位に基づいて、前記データ処理単位のうち正方形ブロック状のデータ処理単位を利用する動き推定プロセスと、のうち少なくともいずれか一つである、
    ことを特徴とする請求項１１に記載の映像符号化方法。
  14. 前記動き推定遂行段階は、
    前記大型データ処理単位に基づいてイントラ推定を行う段階を含み、
    前記大型データ処理単位に基づくイントラ推定は、
    コンプレックス・プレーン形態のイントラ・モードに基づいて、前記大型データ処理単位で行うイントラ推定と、
    前記大型データ処理単位に基づいて、イントラ・モードで動き推定が可能なように、既設定のデータ処理単位で行われるイントラ推定と、
    前記大型データ処理単位に基づいて、イントラ・モード及びインター・モードが混合された形態の推定モードで行われるイントラ推定と、のうち少なくともいずれか一つを含む、
    ことを特徴とする請求項１１に記載の映像符号化方法。
  15. 前記動き推定遂行段階は、
    前記大型データ処理単位に基づいてインター推定を行う段階を含み、
    前記大型データ処理単位に基づくインター推定は、
    現在データ処理単位に対するインター・モードの動き推定のための動きベクトルを決定するインター推定と、
    前記大型データ処理単位に基づいて、前記動きベクトルに対応する動きベクトル推定子を誘導するインター推定と、
    前記大型データ処理単位に基づいて、拡張された形態のスキップ・モードを決定し、相互隣接する少なくとも１つのスキップ・モードのデータ処理単位を含むスキップ・グループに対して、同時にスキップ処理を行うインター推定と、のうち少なくともいずれか一つを含む、
    ことを特徴とする請求項１１に記載の映像符号化方法。
  16. 前記周波数変換及び量子化遂行段階は、
    前記大型データ処理単位に基づいて、大型ブロック基盤の整数離散コサイン変換と、
    前記大型データ処理単位に基づいて、現在データ処理単位のクロマ成分に対する周波数変換と、
    前記大型データ処理単位を考慮した周波数変換に起因する演算量負担を減少させるために変形された形態の周波数変換と、のうち少なくともいずれか一つを行うことを含む、
    ことを特徴とする請求項１１に記載の映像符号化方法。
  17. 前記決定された符号化モードによって、前記所定グループのデータを符号化する符号化段階は、エントロピ符号化によって前記所定グループのデータを符号化するエントロピ符号化遂行段階を含み、前記エントロピ符号化遂行段階は、
    現在データ処理単位に対して周波数変換及び量子化を行って生成された量子化された係数を利用し、前記大型データ処理単位に基づいてデータ処理単位別サイズによって、階層的に決定された符号化ブロック・パターンと、
    前記現在データ処理単位の量子化された係数のうち０ではない量子化された係数が存在する確率に基づく順序による符号化ブロック・パターンのスキャンと、
    前記大型データ処理単位に基づいて変形されたコンテクスト基盤適応的二進算術符号化（ＣＡＢＡＣ）またはコンテクスト基盤適応的可変長符号化（ＣＡＶＬＣ）と、
    前記大型データ処理単位に基づいて、イントラ・モードまたはクロマ成分の大型データ処理単位の符号化ブロック・パターンに対して決定される単一コンテクストと、のうち少なくともいずれか一つを行う、
    ことを特徴とする請求項１１に記載の映像符号化方法。
  18. 前記決定された符号化モードによって、前記所定グループのデータを符号化する符号化段階は、エントロピ符号化によって前記所定グループのデータを符号化するのに先立って実行されるインループ・フィルタリング遂行段階をさらに含み、前記インループ・フィルタリング遂行段階は、
    前記大型データ処理単位に基づいて、大型データ処理単位内部の下位データ処理単位の境界、所定データ処理単位で周波数変換された前記大型データ処理単位内部の下位データ処理単位の境界、前記大型データ処理単位内部の下位データ処理単位のクロマ成分の境界、及びインター・モード及びイントラ・モードが混合された形態で動き推定が行われた前記大型データ処理単位内部の下位データ処理単位の境界に対するデブロッキング・フィルタリングのうち、少なくとも１つのフィルタリングの遂行いかんが決定され、
    前記大型データ処理単位内部の少なくとも１つの下位データ処理単位の境界に対して、境界別デブロッキング・フィルタリングの強度が個別的に設定され、
    前記大型データ処理単位に基づいて、大型サイズの現在データ処理単位に対して、リンギング効果低減のための付加的なフィルタリングを行う、
    ことを特徴とする請求項１１に記載の映像符号化方法。
  19. 基本ブロック、少なくとも１つの基本ブロックを含むグループ、及び前記基本ブロックのグループ内におけるスキャン順序に基づいて連続して位置する少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループのうち１つのデータ処理単位で符号化されたデータを受信してパージングする段階と、
    前記パージングされたデータから、前記グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって所定グループのデータを予測符号化する方式を示す前記所定グループの推定モードを読み取る符号化モード読み取り段階と、
    前記読み取られた推定モードに基づいて、前記所定グループのデータを復号化するグループ復号化段階と、を含み、
    前記グループに含まれた各サブグループに、前記基本ブロックの前記グループ内におけるスキャン順序に基づいて配列された所定個数の基本ブロックが順次に配分される、
    ことを特徴とする映像復号化方法。
  20. 前記符号化モード読取り段階は、
    前記パージングされたデータから、復号化のためのデータ処理単位として設定されたグループの形態、前記グループ内に含まれる基本ブロックの個数を示すグループのサイズ、及び前記グループ内に含まれるサブグループの最大個数に係わる最大レベル情報を読み取る段階と、
    前記グループの形態及び前記グループのサイズについての情報を利用し、前記パージングされた映像データを分類して復号化するためのデータ処理単位であるグループを決定する段階と、
    を含むことを特徴とする請求項１９に記載の映像復号化方法。
  21. 各グループの形態及びサイズを含む各グループの属性は、前記映像データのピクチャ、シーケンス及びグループのうち１つのデータ単位別に設定される、
    ことを特徴とする請求項２０に記載の映像復号化方法。
  22. 前記サブグループは、前記グループに含まれるサブグループの個数を示すレベル、及び前記基本ブロックの前記グループ内におけるスキャン順序に基づいて設定される、
    ことを特徴とする請求項１９に記載の映像復号化方法。
  23. 前記符号化モード読取り段階は、
    前記所定グループに係わるデータから、前記所定グループの符号化モードを示す符号化モード・フラグを抽出する段階と、
    前記符号化モード・フラグを利用し、前記所定グループの符号化モードを読み取る段階と、
    を含むことを特徴とする請求項１９に記載の映像復号化方法。
  24. 前記グループの符号化モードは、前記グループのデータが符号化されたデータ処理単位が、前記グループ、前記サブグループ、前記基本ブロックのうちいずれか一つであることを示すデータ処理単位の種類についての情報と、
    前記データ処理単位に含まれる基本ブロックの個数を示すデータ処理単位のサイズについての情報と、
    前記データ処理単位に係わる動き推定のために、前記データ処理単位に対応する参照情報を決定する方式を示す推定モードについての情報と、のうち少なくともいずれか一つを含む、
    ことを特徴とする請求項１９に記載の映像復号化方法。
  25. 前記グループ復号化段階は、
    前記符号化モードの前記データ処理単位の種類についての情報と、サイズについての情報とに基づいて復号化を行うデータ処理単位を決定する段階と、
    前記符号化モードの推定モードについての情報に基づいて、前記データ処理単位の推定モードを決定する段階と、
    前記決定されたデータ処理単位及び推定モードに基づいて、前記グループに係わる映像データを復号化する段階と、
    を含むことを特徴とする請求項２４に記載の映像復号化方法。
  26. 前記符号化モードは、
    前記グループに係わる符号化のうち、前記グループ内のデータ処理単位別に、少なくとも１つの推定モードによる所定データ処理単位に係わる符号化を行い、推定モード別の符号化誤差率を算出し、
    前記データ処理単位別に、前記推定モード別の符号化誤差率のうち最小の誤差率に対応する前記所定データ処理単位及び推定モードの組み合わせを決定し、
    前記グループ内のデータ処理単位及び推定モードの組み合わせ別に符号化誤差率を比較し、最小の誤差率を有するデータ処理単位及び推定モードの組み合わせを選択し、前記グループの符号化モードに設定される、
    ことを特徴とする請求項２４に記載の映像復号化方法。
  27. 基本ブロック単位での復号化処理の順序は、ジグザグ・スキャン方式である、
    ことを特徴とする請求項１９に記載の映像復号化方法。
  28. 前記映像復号化方法は、
    複数個の基本ブロックの周波数変換された係数をグループ単位及びサブグループ単位のうち一つに再配列する段階をさらに含む、
    ことを特徴とする請求項１９に記載の映像復号化方法。
  29. 前記映像復号化方法は、
    前記パージングされたデータから、前記グループ内に含まれる前記映像データの周波数変換のためのデータ処理単位を示すフラグを読み取る段階をさらに含む、
    ことを特徴とする請求項２０に記載の映像復号化方法。
  30. 前記グループ復号化段階は、
    前記読み取られたグループの符号化モードに対応する大型データ処理単位に基づいて、前記グループのデータの復号化のためのエントロピ復号化を行う段階と、
    前記大型データ処理単位に基づいて、前記グループのデータの復号化のための逆量子化及び逆周波数変換を行う段階と、
    前記大型データ処理単位に基づいて、前記グループのデータの復号化のための動き推定を行う段階と、
    前記大型データ処理単位に基づいて、前記グループのデータの復号化のためのインループ・フィルタリングを行う段階と、
    を含むことを特徴とする請求項１９に記載の映像復号化方法。
  31. 前記グループ復号化段階は、
    前記動き推定のためのデータ処理単位のサイズに基づいて、前記逆周波数変換のためのデータ処理単位のサイズが決定される、
    ことを特徴とする請求項３０に記載の映像復号化方法。
  32. 前記動き推定遂行段階は、
    前記大型データ処理単位に基づいて決定される順次的動き推定のためのデータ処理単位別に決定されるスキャン順序と、
    前記大型データ処理単位に基づいて決定される現在データ処理単位の右側上端に位置する隣接するデータ処理単位の参照可能性と、
    前記大型データ処理単位のうち正方形ブロック状のデータ処理単位だけ利用される簡略化モードと、のうち少なくともいずれか一つを利用する、
    ことを特徴とする請求項３０に記載の映像復号化方法。
  33. 前記動き推定遂行段階は、
    前記大型データ処理単位に基づいてイントラ推定を行うイントラ推定段階を含み、
    前記イントラ推定段階は、
    コンプレックス・プレーン形態のイントラ・モードに基づいて、前記大型データ処理単位で行われるイントラ推定と、
    前記大型データ処理単位に基づいて、イントラ・モードの動き推定が可能なように、あらかじめ設定されたデータ処理単位と、
    前記大型データ処理単位に基づいて、イントラ・モード及びインター・モードが混合された形態の推定モードと、のうち少なくともいずれか一つを利用し、前記グループのデータの復号化のための動き推定を行う、
    ことを特徴とする請求項３０に記載の映像復号化方法。
  34. 前記動き推定遂行段階は、
    前記大型データ処理単位に基づいてインター推定を行うインター推定段階を含み、
    前記インター推定段階は、
    前記大型データ処理単位に基づいて決定された現在データ処理単位に対するインター・モードの動き推定のために決定された動きベクトルと、
    前記大型データ処理単位に基づいて、前記動きベクトルに対応するように誘導された動きベクトル推定子と、
    前記大型データ処理単位に基づいて決定された拡張された形態のスキップ・モード及び相互隣接する少なくとも１つのスキップ・モードのデータ処理単位を含むスキップ・グループと、のうち少なくともいずれか一つを利用してインター推定を行う段階を含む、
    ことを特徴とする請求項３０に記載の映像復号化方法。
  35. 前記逆量子化及び逆周波数変換遂行段階は、
    前記大型データ処理単位に基づく大型ブロック基盤の整数離散コサイン逆変換と、
    前記大型データ処理単位に基づく大型データ処理単位のクロマ成分に対する逆周波数変換と、
    前記大型データ処理単位を考慮した逆周波数変換に起因する演算量負担を減少させるために変形された形態の逆周波数変換と、のうち少なくともいずれか一つを行う、
    ことを特徴とする請求項３０に記載の映像復号化方法。
  36. 前記グループ復号化段階は、エントロピ復号化によって前記所定グループのデータを復号化するエントロピ復号化遂行段階を含み、前記エントロピ復号化遂行段階は、
    前記大型データ処理単位に基づいて、データ処理単位別サイズによって決定された階層的符号化ブロック・パターンと、
    前記大型データ処理単位の量子化された係数のうち０ではない量子化された係数が存在する確率に基づいてスキャンされた符号化ブロック・パターンと、
    前記大型データ処理単位を考慮するコンテクスト基盤適応的二進算術符号化技法またはコンテクスト基盤適応的可変長符号化技法によってエントロピ符号化されたデータに対するエントロピ復号化と、
    前記大型データ処理単位に基づいて、イントラ・モードまたはクロマ成分の大型データ処理単位に対する単一コンテクストとして決定された符号化ブロック・パターンと、のうち少なくともいずれか一つを利用する、
    ことを特徴とする請求項３０に記載の映像復号化方法。
  37. 前記グループ復号化段階は、エントロピ復号化による前記所定グループのデータの復号化に続いて実行されるインループ・フィルタリング遂行段階を含み、前記インループ・フィルタリング遂行段階は、
    前記大型データ処理単位に基づいて、大型サイズの現在データ処理単位内部の下位データ処理単位に対するデブロッキング・フィルタリング、所定サイズのデータ処理単位で周波数変換された前記現在データ処理単位内部の下位データ処理単位の境界に対するデブロッキング・フィルタリング、前記現在データ処理単位内部の下位データ処理単位のクロマ成分の境界に対するデブロッキング・フィルタリング、及びインター・モード及びイントラ・モードが混合された形態で動き推定が行われた前記現在データ処理単位内部の下位データ処理単位の境界に対するデブロッキング・フィルタリングのうち、少なくとも１つの遂行いかんを決定し、
    前記現在データ処理単位内部の少なくとも１つの下位データ処理単位の境界に対して、境界別デブロッキング・フィルタリングの強度を個別的に設定し、
    前記大型データ処理単位に基づいて、大型サイズの現在データ処理単位に対してリンギング効果低減のための付加的なフィルタリングを行う、
    ことを特徴とする請求項３０に記載の映像復号化方法。
  38. 基本ブロックに分類された映像データに対して、少なくとも１つの基本ブロックを含むグループと、前記基本ブロックのグループ内におけるスキャン順序に基づいて連続して位置する少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループと、に前記映像データを分類するデータ分類部と、
    前記グループを符号化するために、グループ単位、サブグループ単位及び基本ブロック単位のうち少なくとも１つのデータ処理単位と、前記少なくとも１つのデータ処理単位による前記グループのデータの予測符号化方式を示す前記グループの推定モードを決定するグループ符号化モード決定部と、
    前記決定された推定モードによって、前記グループのデータを符号化するグループ符号化部と、を含み、
    前記グループに含まれた各サブグループに、前記基本ブロックの前記グループ内におけるスキャン順序に基づいて配列された所定個数の基本ブロックが順次に配分される、
    ことを特徴とする映像符号化装置。
  39. 基本ブロック、少なくとも１つの基本ブロックを含むグループ、及び前記基本ブロックのグループ内におけるスキャン順序に基づいて連続して位置する少なくとも１つの基本ブロックを含み、前記グループに含まれるサブグループのうち１つのデータ処理単位で符号化された映像データを受信してパージングする受信部と、
    前記パージングされたデータから、前記グループ、サブグループ及び基本ブロックのうち１つのデータ処理単位によって、所定グループのデータを予測符号化した方式を示す前記所定グループの推定モードを読み取るグループ符号化モード読取り部と、
    前記読み取られた推定モードに基づいて、前記所定グループのデータを復号化するグループ復号化部と、を含み、
    前記グループに含まれた各サブグループに、前記基本ブロックの前記グループ内におけるスキャン順序に基づいて配列された所定個数の基本ブロックが順次に配分される、
    ことを特徴とする映像復号化装置。
  40. 前記グループ符号化部は、
    前記決定されたグループの符号化モードに対応する大型データ処理単位に基づいて、映像符号化のために入力された前記映像データの符号化のための周波数変換及び量子化を行う周波数変換及び量子化部と、
    前記大型データ処理単位に基づいて、前記入力された前記映像データの符号化のための動き推定を行う動き推定部と、
    前記大型データ処理単位に基づいて、前記入力された前記映像データの符号化のためのインループ・フィルタリングを行うインループ・フィルタリング部と、
    前記大型データ処理単位に基づいて、前記入力された前記映像データの符号化のためのエントロピ符号化を行うエントロピ符号化部と、
    を含むことを特徴とする請求項３８に記載の映像符号化装置。
  41. 前記グループ復号化部は、
    前記読み取られたグループの符号化モードに対応する大型データ処理単位に基づいて、前記グループのデータの復号化のためのエントロピ復号化を行うエントロピ復号化部と、
    前記大型データ処理単位に基づいて、前記グループのデータの復号化のための逆量子化及び逆周波数変換を行う逆量子化及び逆周波数変換部と、
    前記大型データ処理単位に基づいて、前記グループのデータの復号化のための動き推定を行う動き推定部と、
    前記大型データ処理単位に基づいて、前記グループのデータの復号化のためのインループ・フィルタリングを行うインループ・フィルタリング部と、
    を含むことを特徴とする請求項３９に記載の映像復号化装置。
  42. 請求項１に記載の符号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
  43. 請求項１９に記載の映像復号化方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。
JP2011513412A 2008-06-13 2009-06-03 映像符号化方法及びその装置、映像復号化方法及びその装置 Expired - Fee Related JP5670885B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US6117508P 2008-06-13 2008-06-13
US61/061,175 2008-06-13
US8233808P 2008-07-21 2008-07-21
US61/082,338 2008-07-21
KR10-2008-0102464 2008-10-20
KR1020080102464A KR20090129926A (ko) 2008-06-13 2008-10-20 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR1020090040890A KR101599879B1 (ko) 2008-06-13 2009-05-11 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR10-2009-0040890 2009-05-11
PCT/KR2009/002942 WO2009151232A2 (ko) 2008-06-13 2009-06-03 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014211166A Division JP2015035825A (ja) 2008-06-13 2014-10-15 映像符号化方法及びその装置、映像復号化方法及びその装置

Publications (2)

Publication Number Publication Date
JP2011523321A JP2011523321A (ja) 2011-08-04
JP5670885B2 true JP5670885B2 (ja) 2015-02-18

Family

ID=41689802

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2011513412A Expired - Fee Related JP5670885B2 (ja) 2008-06-13 2009-06-03 映像符号化方法及びその装置、映像復号化方法及びその装置
JP2014211166A Pending JP2015035825A (ja) 2008-06-13 2014-10-15 映像符号化方法及びその装置、映像復号化方法及びその装置
JP2016094169A Expired - Fee Related JP6336513B2 (ja) 2008-06-13 2016-05-09 映像符号化方法及びその装置、映像復号化方法及びその装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2014211166A Pending JP2015035825A (ja) 2008-06-13 2014-10-15 映像符号化方法及びその装置、映像復号化方法及びその装置
JP2016094169A Expired - Fee Related JP6336513B2 (ja) 2008-06-13 2016-05-09 映像符号化方法及びその装置、映像復号化方法及びその装置

Country Status (7)

Country Link
US (2) US20110090967A1 (ja)
EP (2) EP2293567A4 (ja)
JP (3) JP5670885B2 (ja)
KR (2) KR20090129926A (ja)
CN (2) CN102124739B (ja)
AU (3) AU2009258401A1 (ja)
WO (1) WO2009151232A2 (ja)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8126046B2 (en) * 2006-06-30 2012-02-28 Intel Corporation Flexible macroblock ordering and arbitrary slice ordering apparatus, system, and method
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
CN104270636B (zh) * 2009-05-29 2018-11-09 三菱电机株式会社 图像编码装置以及图像编码方法
US20100329361A1 (en) * 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same
PT2449782T (pt) 2009-07-01 2018-02-06 Thomson Licensing Métodos e aparelhos para sinalizar a intra predição para grandes blocos para codificadores e descodificadores de vídeo
KR101749897B1 (ko) 2009-09-04 2017-06-22 코닌클리케 필립스 엔.브이. 스케일러블 이미지 코딩 및 디코딩
NO331356B1 (no) * 2009-10-16 2011-12-12 Cisco Systems Int Sarl Fremgangsmater, dataprogrammer og anordninger for koding og dekoding av video
US9467705B2 (en) 2009-12-30 2016-10-11 Ariscale Inc. Video encoding apparatus, video decoding apparatus, and video decoding method for performing intra-prediction based on directionality of neighboring block
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
KR101675118B1 (ko) * 2010-01-14 2016-11-10 삼성전자 주식회사 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
US8982961B2 (en) * 2010-04-05 2015-03-17 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by using transformation index, and method and apparatus for decoding video by using transformation index
JP5368631B2 (ja) * 2010-04-08 2013-12-18 株式会社東芝 画像符号化方法、装置、及びプログラム
HUE051391T2 (hu) * 2010-04-13 2021-03-01 Ge Video Compression Llc Szignifikancia térképek és transzformációs együttható blokkok kódolása
KR101791242B1 (ko) * 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101791078B1 (ko) 2010-04-16 2017-10-30 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
WO2011129673A2 (ko) * 2010-04-16 2011-10-20 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
KR101813189B1 (ko) 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
WO2011129672A2 (ko) * 2010-04-16 2011-10-20 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
WO2011129671A2 (ko) * 2010-04-16 2011-10-20 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
WO2011145819A2 (ko) 2010-05-19 2011-11-24 에스케이텔레콤 주식회사 영상 부호화/복호화 장치 및 방법
US10091529B2 (en) 2010-07-09 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for entropy encoding/decoding a transform coefficient
ES2653160T3 (es) * 2010-07-09 2018-02-06 Samsung Electronics Co., Ltd. Procedimiento para decodificar por entropía coeficientes de transformación
US20120014441A1 (en) * 2010-07-15 2012-01-19 Sharp Laboratories Of America, Inc. Parallel video coding based on boundaries
WO2012042884A1 (ja) * 2010-09-29 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
CN102447895B (zh) * 2010-09-30 2013-10-02 华为技术有限公司 扫描方法及装置、反扫描方法及装置
EP2624560B1 (en) 2010-09-30 2016-11-02 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, programme, and integrated circuit
SG10201401116TA (en) * 2010-09-30 2014-10-30 Samsung Electronics Co Ltd Video Encoding Method For Encoding Hierarchical-Structure Symbols And A Device Therefor, And Video Decoding Method For Decoding Hierarchical-Structure Symbols And A Device Therefor
KR101483179B1 (ko) * 2010-10-06 2015-01-19 에스케이 텔레콤주식회사 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9525884B2 (en) * 2010-11-02 2016-12-20 Hfi Innovation Inc. Method and apparatus of slice boundary filtering for high efficiency video coding
CN104811711B (zh) * 2011-01-06 2019-02-15 三星电子株式会社 视频的编码方法和装置及视频的解码方法和装置
JP2012147127A (ja) * 2011-01-07 2012-08-02 Sony Corp 画像処理装置および方法
US8925027B2 (en) * 2011-01-20 2014-12-30 Vidyo, Inc. Participant aware configuration for video encoder
US10148974B2 (en) * 2011-03-10 2018-12-04 Sharp Kabushiki Kaisha Image decoding device, image encoding device, and data structure of encoded data
WO2012134046A2 (ko) 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
JP5318292B2 (ja) 2011-06-23 2013-10-16 パナソニック株式会社 画像復号方法及び画像復号装置
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
KR101588143B1 (ko) 2011-06-23 2016-01-22 가부시키가이샤 제이브이씨 켄우드 화상 인코딩 장치, 화상 인코딩 방법 및 화상 인코딩 프로그램, 및 화상 디코딩 장치, 화상 디코딩 방법 및 화상 디코딩 프로그램
WO2012176464A1 (ja) 2011-06-24 2012-12-27 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
CN106878722B (zh) 2011-06-24 2019-11-12 太阳专利托管公司 解码方法、解码装置、编码方法、编码装置
MX2013013483A (es) * 2011-06-27 2014-02-27 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
CN102857746B (zh) * 2011-06-28 2017-03-29 中兴通讯股份有限公司 环路滤波编解码方法及装置
CN107105254B (zh) 2011-06-28 2020-03-20 太阳专利托管公司 编码方法及编码装置
US9565455B2 (en) * 2011-06-28 2017-02-07 Samsung Electronics Co., Ltd. Method and apparatus for coding video and method and apparatus for decoding video accompanied with arithmetic coding
WO2013001767A1 (ja) * 2011-06-29 2013-01-03 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置
WO2013003819A1 (en) * 2011-06-30 2013-01-03 Huawei Technologies Co., Ltd. Encoding of prediction residuals for lossless video coding
JP2013012995A (ja) * 2011-06-30 2013-01-17 Sony Corp 画像処理装置および方法
KR102060619B1 (ko) 2011-06-30 2019-12-30 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
PL2728869T3 (pl) 2011-06-30 2022-02-28 Sun Patent Trust Sposób dekodowania obrazów
EP2728871A4 (en) * 2011-06-30 2016-01-13 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING MOTION INFORMATION WITH A CRASHING MODE AND DECODING METHOD AND DEVICE THEREFOR
CN106851295B (zh) 2011-07-11 2019-10-18 太阳专利托管公司 编码方法及编码装置
SG187781A1 (en) * 2011-07-18 2013-03-28 Panasonic Corp Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN103202020B (zh) * 2011-07-29 2017-02-08 太阳专利托管公司 动态图像解码方法以及动态图像解码装置
ES2835801T3 (es) * 2011-09-09 2021-06-23 Sun Patent Trust Decisiones de filtro de desbloqueo de baja complejidad
HUE043274T2 (hu) * 2011-09-14 2019-08-28 Samsung Electronics Co Ltd Eljárás predikcióegység (PU) dekódolására ennek méretén alapulva
US9185404B2 (en) 2011-10-07 2015-11-10 Qualcomm Incorporated Performing transform dependent de-blocking filtering
AU2012326873B2 (en) 2011-10-17 2015-12-24 Kt Corporation Method and apparatus for encoding/decoding image
RU2646308C1 (ru) * 2011-10-17 2018-03-02 Кт Корпорейшен Способ декодирования видеосигнала
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
FR2982446A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
FR2982447A1 (fr) 2011-11-07 2013-05-10 France Telecom Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
WO2013077713A1 (ko) * 2011-11-27 2013-05-30 엘지전자 주식회사 변환 계수 재정렬 방법 및 이를 이용하는 장치
CN103200400B (zh) * 2012-01-09 2018-03-16 中兴通讯股份有限公司 一种图像层和分片层的编解码方法、编解码器和电子设备
KR20130098122A (ko) 2012-02-27 2013-09-04 세종대학교산학협력단 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법
WO2013129822A1 (ko) 2012-02-27 2013-09-06 세종대학교산학협력단 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법
US9124872B2 (en) * 2012-04-16 2015-09-01 Qualcomm Incorporated Coefficient groups and coefficient coding for coefficient scans
KR20130116754A (ko) * 2012-04-16 2013-10-24 주식회사 팬택 엔트로피 부복호화 방법 및 이러한 방법을 사용하는 장치
EP2966866A4 (en) * 2013-04-05 2016-10-26 Samsung Electronics Co Ltd VIDEO CODING METHOD AND DEVICE THEREFOR, AND VIDEO CODING METHOD AND DEVICE THEREFOR
US9877048B2 (en) * 2014-06-09 2018-01-23 Qualcomm Incorporated Entropy coding techniques for display stream compression (DSC)
US10554966B2 (en) * 2014-10-07 2020-02-04 Samsung Electronics Co., Ltd. Multi-view image encoding/decoding method and apparatus
US20160127731A1 (en) * 2014-11-03 2016-05-05 National Chung Cheng University Macroblock skip mode judgement method for encoder
US10715818B2 (en) * 2016-08-04 2020-07-14 Intel Corporation Techniques for hardware video encoding
KR20180040827A (ko) 2016-10-13 2018-04-23 디지털인사이트 주식회사 부호화 유닛의 그룹을 사용하는 비디오 코딩 방법 및 장치
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
KR102390413B1 (ko) 2017-03-03 2022-04-25 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2018160034A1 (ko) * 2017-03-03 2018-09-07 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
US10735754B2 (en) 2017-04-26 2020-08-04 Google Llc Chromatic aberration modeling in image compression and enhancement
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
WO2019225459A1 (ja) 2018-05-23 2019-11-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2020262901A1 (ko) 2019-06-24 2020-12-30 엘지전자 주식회사 영상 디코딩 방법 및 그 장치
WO2023022543A1 (ko) * 2021-08-18 2023-02-23 엘지전자 주식회사 채널간 상관도에 기반한 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100196838B1 (ko) * 1995-12-23 1999-06-15 전주범 블럭벌 상관 관계에 의한 부호화 장치
US6633611B2 (en) 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
AUPP248298A0 (en) 1998-03-20 1998-04-23 Canon Kabushiki Kaisha A method and apparatus for hierarchical encoding and decoding an image
JP2002513251A (ja) 1998-04-29 2002-05-08 センサーマティック・エレクトロニクス・コーポレーション 情報システムでの情報圧縮方法。
US6522694B1 (en) * 1998-10-09 2003-02-18 Matsushita Electric Industrial Co., Ltd. Programmable filter for removing stuffing bits from an MPEG-2 bit-stream
WO2001015459A1 (en) * 1999-08-24 2001-03-01 Fujitsu Limited Time-varying image processor, its method, and recorded medium
KR20020026175A (ko) * 2000-04-04 2002-04-06 요트.게.아. 롤페즈 웨이브릿 변환을 이용한 비디오 인코딩 방법
US6870963B2 (en) * 2001-06-15 2005-03-22 Qualcomm, Inc. Configurable pattern optimizer
JP2003319391A (ja) 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
JP2003319394A (ja) * 2002-04-26 2003-11-07 Sony Corp 符号化装置および方法、復号装置および方法、記録媒体、並びにプログラム
US7302006B2 (en) * 2002-04-30 2007-11-27 Hewlett-Packard Development Company, L.P. Compression of images and image sequences through adaptive partitioning
CA2513537C (en) 2003-02-21 2013-03-26 Matsushita Electric Industrial Co. Ltd. Picture coding method and picture decoding method
KR100510137B1 (ko) * 2003-04-30 2005-08-26 삼성전자주식회사 고속 움직임 추정을 위한 참조 픽쳐 및 블록 모드 결정방법, 그 장치, 블록 모드 결정 방법 및 그 장치
US7362810B2 (en) * 2003-05-13 2008-04-22 Sigmatel, Inc. Post-filter for deblocking and deringing of video data
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
KR101014660B1 (ko) 2003-10-24 2011-02-16 삼성전자주식회사 인트라 예측 방법 및 장치
US7400681B2 (en) * 2003-11-28 2008-07-15 Scientific-Atlanta, Inc. Low-complexity motion vector prediction for video codec with two lists of reference pictures
WO2005093661A2 (en) * 2004-03-09 2005-10-06 Thomson Research Funding Corporation Reduced resolution update mode for advanced video coding
US8116374B2 (en) * 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
FR2872974A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage adaptatif
JP4026622B2 (ja) 2004-07-06 2007-12-26 日産自動車株式会社 ハイブリッド車両の制御装置
JP2006054846A (ja) * 2004-07-12 2006-02-23 Sony Corp 符号化方法、符号化装置、復号方法、復号装置およびそれらのプログラム
US8948266B2 (en) * 2004-10-12 2015-02-03 Qualcomm Incorporated Adaptive intra-refresh for digital video encoding
KR100647294B1 (ko) * 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
KR101215614B1 (ko) 2005-09-09 2012-12-26 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
US8107748B2 (en) * 2005-09-16 2012-01-31 Sony Corporation Adaptive motion search range
BRPI0706407B1 (pt) * 2006-01-09 2019-09-03 Interdigital Madison Patent Holdings método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo
US8213495B2 (en) * 2006-02-06 2012-07-03 Panasonic Corporation Picture decoding method and picture decoding apparatus
JP2007243427A (ja) * 2006-03-07 2007-09-20 Nippon Hoso Kyokai <Nhk> 符号化装置及び復号化装置
KR100736104B1 (ko) * 2006-04-06 2007-07-06 삼성전자주식회사 독립적 파싱을 지원하는 비디오 코딩 방법 및 장치
JP2007336468A (ja) * 2006-06-19 2007-12-27 Sharp Corp 再符号化装置、再符号化方法およびプログラム
JP4250638B2 (ja) * 2006-06-30 2009-04-08 株式会社東芝 動画像符号化装置及びその方法
JP5474546B2 (ja) * 2006-08-25 2014-04-16 トムソン ライセンシング 低減された解像度の分割の方法及び装置
JP2008092137A (ja) * 2006-09-29 2008-04-17 Toshiba Corp 画像符号化装置及び画像符号化方法
US7545293B2 (en) * 2006-11-14 2009-06-09 Qualcomm Incorporated Memory efficient coding of variable length codes
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US8483282B2 (en) * 2007-10-12 2013-07-09 Qualcomm, Incorporated Entropy coding of interleaved sub-blocks of a video block

Also Published As

Publication number Publication date
WO2009151232A3 (ko) 2010-03-04
AU2014210591A1 (en) 2014-08-28
JP2015035825A (ja) 2015-02-19
JP6336513B2 (ja) 2018-06-06
AU2014210684B2 (en) 2016-03-03
US9924174B2 (en) 2018-03-20
US20150146796A1 (en) 2015-05-28
WO2009151232A2 (ko) 2009-12-17
KR101599879B1 (ko) 2016-03-07
CN104093019B (zh) 2018-09-28
AU2014210684A1 (en) 2014-09-04
US20110090967A1 (en) 2011-04-21
AU2009258401A1 (en) 2009-12-17
EP2293567A4 (en) 2014-10-01
EP2293567A2 (en) 2011-03-09
KR20090129939A (ko) 2009-12-17
KR20090129926A (ko) 2009-12-17
CN102124739A (zh) 2011-07-13
AU2014210591B2 (en) 2016-03-03
CN102124739B (zh) 2014-08-13
JP2011523321A (ja) 2011-08-04
EP2953368A1 (en) 2015-12-09
CN104093019A (zh) 2014-10-08
JP2016165148A (ja) 2016-09-08

Similar Documents

Publication Publication Date Title
JP6336513B2 (ja) 映像符号化方法及びその装置、映像復号化方法及びその装置
KR102518242B1 (ko) 영상 정보 부호화 방법 및 복호화 방법
US20220014770A1 (en) Method and apparatus for processing video signal
RU2576499C2 (ru) Способ получения блока-кандидата на слияние и использующее его устройство
US20190281297A1 (en) Method and apparatus for processing video signal
CN116866613A (zh) 图像编码/解码方法以及图像数据的传输方法
KR101974952B1 (ko) 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
US11856197B2 (en) Image encoding/decoding method and apparatus, and recording medium storing bitstream
KR20170072637A (ko) 영상 부호화/복호화 방법 및 그 장치
KR101802375B1 (ko) 시간적 후보 움직임 벡터 유도 방법 및 이러한 방법을 사용하는 장치
KR20200144480A (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102639255B1 (ko) 두 개의 후보 인트라 예측 모드를 이용한 화면 내 예측 모드의 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR102410326B1 (ko) 영상 부호화/복호화 방법 및 장치
CN116647676A (zh) 基于屏幕内容区域特性的cu划分快速选择

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121120

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130220

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130227

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130321

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130328

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130422

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140715

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140723

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140814

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140821

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140916

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141218

R150 Certificate of patent or registration of utility model

Ref document number: 5670885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees