JP5766815B2 - 画像符号化方法、および画像符号化装置 - Google Patents

画像符号化方法、および画像符号化装置 Download PDF

Info

Publication number
JP5766815B2
JP5766815B2 JP2013542736A JP2013542736A JP5766815B2 JP 5766815 B2 JP5766815 B2 JP 5766815B2 JP 2013542736 A JP2013542736 A JP 2013542736A JP 2013542736 A JP2013542736 A JP 2013542736A JP 5766815 B2 JP5766815 B2 JP 5766815B2
Authority
JP
Japan
Prior art keywords
prediction
image
unit
motion vector
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013542736A
Other languages
English (en)
Other versions
JPWO2013069095A1 (ja
Inventor
中條　健
健 中條
山影　朋夫
朋夫 山影
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of JPWO2013069095A1 publication Critical patent/JPWO2013069095A1/ja
Application granted granted Critical
Publication of JP5766815B2 publication Critical patent/JP5766815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Description

本発明の実施形態は、画像符号化方法、画像復号方法、画像符号化装置および画像復号装置に関する。
動画像符号化、復号技術では、ブロック毎の動き補償補間処理を行うことが一般的である。参照する画像信号は外部メモリに蓄積されるため、ハードウェアで実装された場合、データの読み出し量に制約が生じる場合がある。そのため、メモリにアクセスする量が増大すると符号化、復号の動作におけるボトルネックになる、いわゆるメモリバンド幅が問題となる。
ブロック毎の動き補償補間処理において、水平方向と垂直方向のＦＩＲ（Finite Impulse Response）の補間フィルタ処理を行う。補間フィルタ処理では、ブロック外の画素にアクセス必要がある。ブロック外の画素数が多くなると、その分、画素あたりのメモリバンド幅が増大する。
従来は、例えば、ブロック外にアクセスする画素数の割合が相対的に増加する小さいブロックサイズに対して補間フィルタのタップ長を短いものを適用することで、画素あたりのメモリバンド幅を削減していた。
特許第４１２０３０１号公報
しかしながら、従来技術では、適切にメモリバンド幅を削減できない場合があった。例えば、４：２：０や４：２：２といった輝度（輝度成分）よりも色差（色差成分）の画素のサンプル数が少なく、解像度が低い色フォーマットの時には、輝度を基準に考えると、色差の方が大きく拡大するように補間する必要がある。そのため、色差の補間処理に２タップよりも長いフィルタを用いた場合、輝度ブロックの単位で処理を切り替えても色差信号の処理が制限できない場合が生じるという問題があった。
実施形態の画像符号化方法は、取得ステップと、生成ステップとを含む。取得ステップは、参照画像を取得する。生成ステップは、輝度成分および色差成分ごとに、取得された参照画像に対して動きベクトルに応じた補間処理を行って、参照画像より解像度の大きい予測画像を生成する。また、生成ステップは、補間処理の単位として指定されたブロックの大きさが予め定められた閾値より小さい場合に、参照画像のアクセスする画素数が大きい補間処理を表す特定補間処理を行わずに色差成分の予測画像を生成する。
本実施形態にかかる画像符号化装置のブロック図。 色フォーマット情報の一例を示す図。 ４：２：０フォーマット・色差信号での動きベクトルの図。 ４：２：０フォーマット・輝度信号での動きベクトルの図。 ４：２：２フォーマット・色差信号での動きベクトルの図。 ４：２：２フォーマット・輝度信号での動きベクトルの図。 ４：２：０フォーマットでアクセスする画素の例を示す図。 ４：２：０フォーマットでアクセスする画素の例を示す図。 ４：２：２フォーマットでアクセスする画素の例を示す図。 画像符号化装置に対応する画像復号装置のブロック図。 予測画像生成部のブロック図。 本実施形態における制御処理のフローチャート。 メモリバンド幅を削減する処理のフローチャート。 メモリバンド幅を削減する処理のフローチャート。 メモリバンド幅を削減する処理のフローチャート。 本実施形態にかかる装置のハードウェア構成図。
以下に添付図面を参照して、この発明にかかる画像符号化方法、画像復号方法、画像符号化装置および画像復号装置の好適な実施形態を詳細に説明する。
本実施形態にかかる画像符号化装置および画像復号装置は、色差のフォーマット情報を参照し、所定のブロックサイズより小さいブロックに対しては、動きベクトルの示す画素位置が色差で補間処理とならないように制御することでメモリバンド幅を削減する。
図１は、本実施形態にかかる画像符号化装置１００の構成の一例を示すブロック図である。図１に示すように、画像符号化装置１００は、減算部１０２と、変換／量子化部１０３と、逆量子化／逆変換部１０４と、エントロピー符号化部１０５と、加算部１０６と、フレームメモリ１０８と、予測画像生成部１１０と、予測制御部１１２と、符号化制御部１１３と、動きベクトル探索部１１６と、を備えている。
画像符号化装置１００は、入力動画像信号１０１から、符号化データ１２０を生成する。画像符号化装置１００には、例えばフレーム単位で入力動画像信号１０１が入力される。入力動画像信号１０１は、例えば、マクロブロックといった単位にブロック化される。
減算部１０２は、予測画像生成部１１０で生成された予測画像信号１１１と入力動画像信号１０１との差分である予測誤差信号を出力する。
変換／量子化部１０３は、予測誤差信号を例えば離散コサイン変換（ＤＣＴ）などにより直交変換した上で、量子化処理を実行し、量子化変換係数情報を生成する。量子化変換係数情報は、二分岐され、一方は、エントロピー符号化部１０５に入力される。二分岐された量子化変換係数情報の他方は、逆量子化／逆変換部１０４に入力される。
逆量子化／逆変換部１０４は、変換／量子化部１０３の処理と逆の処理として、逆量子化、逆変換の処理を量子化変換係数情報に対して実行し、予測誤差信号を再生する。
加算部１０６は、予測誤差信号と予測画像信号とを加算する。これにより、復号画像信号１０７が生成される。復号画像信号１０７は、フレームメモリ１０８に入力される。
フレームメモリ１０８は、参照画像信号を記憶する記憶部である。フレームメモリ１０８は、復号画像信号１０７に対してフィルタ処理等を行った後に、予測画像生成部１１０に入力する参照画像信号１０９とするために、復号画像信号１０７を蓄えるかを判定する。参照画像信号１０９は、予測画像生成部１１０に入力されるとともに、動きベクトル探索部１１６にも入力される。
動きベクトル探索部１１６は、入力動画像信号１０１と、参照画像信号１０９とから、動きベクトル情報１１７を生成する。動きベクトル情報１１７は、予測画像生成部１１０に入力されるとともに、エントロピー符号化部１０５にも送られる。
予測画像生成部１１０は、参照画像信号１０９と予測制御情報１１８と動きベクトル情報１１７とから、予測画像信号１１１を生成する。
符号化制御部１１３は、ブロックサイズ制限情報１１５を予測制御部１１２に入力するとともに、プロファイル・レベル情報１１９をエントロピー符号化部１０５に送る。
プロファイル・レベル情報１１９は、符号化ツール群の組合せを表すプロファイル情報と、画像復号装置の処理能力に応じた画像符号化装置の制限情報であるレベル情報とを含む。レベル情報は、例えば、時間当たりの最大マクロブロック数、フレームあたりの最大マクロブロック数、ベクトルの最大探索範囲、および、連続する２マクロブロック数でのベクトル数等の制限の組合せを示す情報を表す。
例えば、Ｈ．２６４では、ベースラインプロファイル、メインプロファイル、ハイプロファイルなどのプロファイル情報が定められている。また、Ｈ．２６４では、１６段階のレベル情報が定められている。
本実施形態では、このプロファイル・レベル情報を用いて、メモリバンド幅削減方法を適用するか否か、ブロックサイズの制限値（ブロックサイズ制限情報１１５）、および、制限方法等のパラメータを規定する。なお、プロファイル・レベル情報以外の情報でこれらのパラメータを規定するように構成してもよい。
ブロックサイズ制限情報１１５は、ブロックサイズの判定に用いる閾値（ブロックサイズの制限値）を定める情報である。例えば、符号化制御部１１３が、プロファイル・レベル情報に応じて異なるブロックサイズ制限情報１１５を設定する。ブロックサイズ制限情報１１５を、プロファイル・レベル情報に含むように構成してもよい。
予測制御部１１２は、符号化制御部１１３から入力されるブロックサイズ制限情報１１５と、入力動画像信号１０１の色フォーマット情報１１４と、動きベクトル探索部１１６から入力される動きベクトル情報１１７とに従って、予測画像生成部１１０による予測画像生成処理を制御する（詳細は後述）。予測制御部１１２は、予測画像生成処理の制御に用いる予測制御情報１１８を生成する。予測制御情報１１８は、予測画像生成部１１０に入力されるとともに、エントロピー符号化部１０５にも送られる。
エントロピー符号化部１０５は、符号化情報をエントロピー符号化して予め決められたシンタクスに従って符号化データ１２０を生成する。符号化情報には、例えば、変換／量子化部１０３から入力される量子化変換係数情報、入力動画像信号の色フォーマット情報１１４、動きベクトル探索部１１６から入力される動きベクトル情報１１７、予測制御部１１２から入力される予測制御情報１１８、および、符号化制御部１１３から入力されるプロファイル・レベル情報１１９などが含まれる。
ここで、色フォーマット情報１１４について説明する。色フォーマット情報１１４は、入力動画像信号１０１の色フォーマットを表す情報である。図２は、色フォーマット情報１１４の一例を示す図である。図２は、Ｈ．２６４等で用いられるｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃを色フォーマット情報１１４として用いる例を示している。
ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝０は、輝度のみのモノクロフォーマットを表す。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝１は、輝度に対して色差が水平方向と垂直方向の１／２にサンプリングされている４：２：０フォーマットを表す。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝２は、輝度に対して色差が水平方向にのみ１／２にサンプリングされている４：２：２フォーマットを表す。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝３は、輝度と色差が同じ画素数の４：４：４フォーマットを表す。
輝度信号の予測ブロックの水平方向のサイズをｎＰＳＷとし、垂直方向のサイズをｎＰＳＨとする。４：２：０フォーマットの場合、色差信号ＣｂとＣｒのブロックは、水平方向のサイズはｎＰＳＷ／２となり、垂直方向のサイズはｎＰＳＨ／２となる。４：２：２フォーマットの場合は、色差信号ＣｂとＣｒのブロックは、水平方向のサイズはｎＰＳＷ／２となり、垂直方向のサイズはｎＰＳＨとなる。４：４：４フォーマットの場合は、色差信号ＣｂとＣｒのブロックは、水平方向のサイズはｎＰＳＷとなり、垂直方向のサイズはｎＰＳＨとなる。
次に、色フォーマットと補間処理との関係について説明する。
図３は、４：２：０フォーマットで色差信号の１／８画素精度での補間画像での動きベクトルの位置を示す図である。“Ｂ”が色差信号の整数画素位置であり、補間処理が必要ない動きベクトルの位置を示す。白色の部分は、水平方向または垂直方向のみの色差信号の１次元補間処理が必要な動きベクトルの位置を示す。薄い網掛けの部分は、水平方向および垂直方向の双方で色差信号の補間処理を行う２次元補間処理が必要な動きベクトルの位置を示す。
図４は、４：２：０フォーマットで輝度信号の１／４画素精度での補間画像での動きベクトルの位置を示す図である。“Ａ”が輝度信号の整数画素位置であり、輝度信号の補間処理が必要ない動きベクトルの位置を示す。“Ａ”でかつ白色の部分は、輝度信号も色差信号も補間処理が必要ない動きベクトルの位置を示す。“Ａ”でかつ薄い網掛けの部分は、輝度信号では補間画像処理が必要でないが、色差信号で補間処理が必要な位置を示す。
白色の部分のうち“Ａ”でない部分は、水平方向または垂直方向のみの輝度信号および色差信号の１次元補間処理が必要な動きベクトルの位置を示す。薄い網掛けの部分のうち“Ａ”でない部分は、輝度信号および色差信号で水平方向および垂直方向の双方で補間処理を行う２次元補間処理が必要な動きベクトルの位置を示す。濃い網掛けの部分は、輝度信号では、水平方向または垂直方向のみの１次元補間処理が必要であり、色差信号では、水平方向および垂直方向の双方での補間処理を行う２次元補間処理が必要な動きベクトルの位置を示す。
図５は、４：２：２フォーマットで色差信号の水平方向に１／４画素精度、垂直方向に１／８画素精度での補間画像での動きベクトルの位置を示す図である。“Ｂ”が色差信号の整数画素位置であり、補間処理が必要ない動きベクトルの位置を示す。白色の部分は、水平方向または垂直方向のみの色差信号の１次元補間処理が必要な動きベクトルの位置を示す。薄い網掛けの部分は、水平方向および垂直方向の双方で色差信号の補間処理を行う２次元補間処理が必要な動きベクトルの位置を示す。
図６は、４：２：２フォーマットで輝度信号の１／４画素精度での補間画像での動きベクトルの位置を示す図である。“Ａ”が輝度信号の整数画素位置であり、輝度信号の補間処理が必要ない動きベクトルの位置を示す。“Ａ”でかつ白色の部分は、輝度信号も色差信号も補間処理が必要ない動きベクトルの位置を示す。“Ａ”でかつ薄い網掛けの部分は、輝度信号では補間画像処理が必要でないが、色差信号で補間処理が必要な位置を示す。
白色の部分のうち“Ａ”でない部分は、水平方向または垂直方向のみの輝度信号および色差信号の１次元補間処理が必要な動きベクトルの位置を示す。薄い網掛けの部分のうち“Ａ”でない部分は、輝度信号および色差信号で水平方向および垂直方向の双方で補間処理を行う２次元補間処理が必要な動きベクトルの位置を示す。濃い網掛けの部分は、輝度信号では、水平方向のみの１次元補間処理が必要であり、色差信号では、水平方向および垂直方向の双方での補間処理を行う２次元補間処理が必要な動きベクトルの位置を示す。
次に、色フォーマットと補間処理でアクセスする画素との関係について説明する。
図７および図８は、４：２：０フォーマットで、ブロック単位で補間画像を生成する時にアクセスする画素の例を示す図である。
図７は、輝度信号について、８タップの補間フィルタで４×４画素ブロックの補間画像を生成する場合にアクセスを必要とする最大の画素を示している。２次元補間処理の場合、４×４画素ブロックの補間画像を作成するために、ブロック外の左と上の３画素と右と下の４画素にアクセスする必要がある。全体としては、１１×１１画素にアクセスする必要がある。ブロック外にアクセスする画素数は、タップ長に依存するため、同じタップ長の補間フィルタの場合、小さいブロックほど、画素あたりのアクセス数は大きくなる。
図８は、色差信号について、４タップの補間フィルタで、輝度信号の４×４画素ブロックに対応する２×２画素ブロックの補間画像を生成する場合のアクセスを必要とする最大画素を示している。２次元補間処理の場合、２×２画素ブロックの補間画像を作成するために、ブロック外の左と上の１画素と右と下の２画素にアクセスする必要がある。全体としては、５×５画素にアクセスする必要がある。
図９は、４：２：２フォーマットで、ブロック単位で補間画像を生成する時にアクセスする画素の例を示す図である。輝度信号について、８タップの補間フィルタで４×４画素ブロックの補間画像を生成する場合にアクセスを必要とする最大の画素は、図７と同様であるため説明を省略する。
図９は、色差信号について、４タップの補間フィルタで、輝度信号の４×４画素ブロックに対応する４×２画素ブロックの補間画像を生成する場合のアクセスを必要とする最大画素を示している。２次元補間処理の場合、２×２画素ブロックの補間画像を作成するために、ブロック外の左と上の１画素と右と下の２画素にアクセスする必要がある。全体としては、５×７画素にアクセスする必要がある。
図３〜図６に示すように、色フォーマットおよび動きベクトルに応じて、補間処理が必要となるか否かが異なる。また、色フォーマットおよび動きベクトルに応じて、１次元補間処理および２次元補間処理のいずれが必要となるかが異なる。また、図７〜図９に示すように、色フォーマットに応じて、アクセスする画素数が異なる。
本実施形態では、色フォーマットおよび動きベクトルを参照して、参照画像（参照画像信号１０９）のアクセスする画素数が大きい特定補間処理を行わないように予測画像生成処理を制御する。特定補間処理は、例えば、双方向予測かつ２次元補間となる補間処理である。双方向予測の場合の補間処理を特定補間処理としてもよい。特定補間処理を行わないように予測画像生成処理を制御する具体的な方法については後述する。
図１０は、画像符号化装置１００に対応する画像復号装置３００の構成例を示すブロック図である。画像復号装置３００は、エントロピー復号部３０２と、逆量子化／逆変換部３０３と、加算部３０４と、フレームメモリ３０６と、予測画像生成部１１０と、を備える。
画像復号装置３００は、符号化データ３０１から再生動画像信号３０７を生成する。
エントロピー復号部３０２は、予め決められたシンタクスに従って符号化データ３０１のエントロピー復号処理を行う。エントロピー復号部３０２は、符号化データ３０１を復号して、量子化変換係数情報と、予測制御情報３１１と、動きベクトル情報３１２と、プロファイル・レベル情報３１３とを求める。復号された量子化変換係数情報は、逆量子化／逆変換部３０３に入力される。復号された予測制御情報３１１、動きベクトル情報３１２およびプロファイル・レベル情報３１３は、予測画像生成部１１０に入力される。
量子化変換係数情報、予測制御情報３１１、動きベクトル情報３１２、プロファイル・レベル情報３１３は、図１の画像符号化装置１００で符号化される量子化変換係数情報、予測制御情報１１８、動きベクトル情報１１７、および、プロファイル・レベル情報１１９に相当する。
逆量子化／逆変換部３０３は、量子化変換係数情報に対して逆量子化、逆直交変換処理を行って予測誤差信号を再生する。
加算部３０４は、予測誤差信号と予測画像信号３１０とを加算して、復号画像信号３０５を生成する。復号画像信号３０５は、フレームメモリ３０６に入力される。
フレームメモリ３０６は、復号画像信号３０５にフィルタ処理を行って再生動画像信号３０７として出力する。フレームメモリ３０６は、フィルタ処理された復号画像信号３０５を記憶するかを、予測制御情報３１１に基づいて判定する。記憶された復号画像信号３０５は、参照画像信号３０８として予測画像生成部１１０に入力される。
予測画像生成部１１０は、参照画像信号３０８と予測制御情報３１１と動きベクトル情報３１２とを用いて、予測画像信号３１０を生成する。
図１１は、画像符号化装置１００および画像復号装置３００に備えられる予測画像生成部１１０の構成例を示すブロック図である。予測画像生成部１１０は、スイッチ２０１と、双方向予測部２０２と、単方向予測部２０３と、イントラ予測部２０４と、を備えている。予測画像生成部１１０は、参照画像信号１０９と予測制御情報１１８と動きベクトル情報１１７とから、予測画像信号１１１を生成する。
予測制御情報１１８は、例えば、双方向予測部２０２、単方向予測部２０３、および、イントラ予測部２０４のいずれを用いるかを指定する情報（予測モード）を含む。スイッチ２０１は、この情報を参照して、双方向予測部２０２、単方向予測部２０３、および、イントラ予測部２０４のいずれかを選択するように切り替える。
参照画像信号１０９は、スイッチ２０１によって選択された、双方向予測部２０２、単方向予測部２０３、および、イントラ予測部２０４のいずれかに入力される。
双方向予測部２０２が選択された場合、双方向予測部２０２は、複数の参照フレームからの参照画像信号１０９と、動きベクトル情報１１７とを用いて、動き補償画像信号を生成し、双方向予測に基づいて予測画像信号１１１を生成する。双方向予測部２０２は、符号化データとして明示的に予測モードが双方向予測であると指定された場合以外にも、いわゆるスキップモード、ダイレクトモード、および、マージモード等の符号化データで明示的に指定されず、セマンティクスから暗黙的に双方向予測の動作が指定される場合にも選択される。
単方向予測部２０３が選択された場合、単方向予測部２０３は、単一の参照フレームからの参照画像信号１０９と、動きベクトル情報１１７とを用いて、動き補償画像信号を生成し、予測画像信号１１１を生成する。単方向予測部２０３は、符号化データとして明示的に予測モードが単方向予測であると指定された場合以外にも、いわゆるスキップモード、ダイレクトモード、および、マージモード等の符号化データで明示的に指定されず、セマンティクスから暗黙的に単方向予測の動作が指定される場合にも選択される。
イントラ予測部２０４が選択された場合、イントラ予測部２０４は、画面内の参照画像信号１０９を用いて予測画像信号１１１を生成する。
次に、このように構成された本実施形態にかかる画像符号化装置１００によるメモリバンド幅削減のための制御処理について図１２を用いて説明する。図１２は、本実施形態における制御処理の全体の流れを示すフローチャートである。
符号化制御部１１３は、プロファイル・レベル情報１１９に応じて、ブロックサイズの制限値（ｎＬＰＳＷ，ｎＬＰＳＨ）を設定する（ステップＳ１０１）。ここで、ｎＬＰＳＷは、輝度の水平方向の予測ブロックサイズの制限値である。ｎＬＰＳＨは、輝度の垂直方向の予測ブロックサイズの制限値である。
例えば、符号化制御部１１３は、プロファイル情報が特定のプロファイル（例えば、Ｈ．２６４のハイプロファイル）を示す場合、または、レベル情報が特定のレベル（例えば所定のレベル以上のレベル）を示す場合に、予め定められたブロックサイズの制限値（ｎＬＰＳＷ，ｎＬＰＳＨ）を設定する。符号化制御部１１３が、プロファイル情報およびレベル情報に応じて段階的にブロックサイズの制限値を設定するように構成してもよい。
以下では、変数ＲＷを１／ＲＷ画素精度で表現される水平方向の動きベクトル精度とする。また、変数ＲＨを１／ＲＨ画素精度で表現される垂直方向の動きベクトル精度とする。また、変数ＲＷと変数ＲＨの初期値を、輝度の動きベクトル精度とする。なお、ＲＷ、ＲＨは、通常２のべき乗の値が使われる。
予測制御部１１２は、色フォーマット情報（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ）１１４が１であるか否かを判断する（ステップＳ１０２）。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝１の場合（ステップＳ１０２：Ｙｅｓ）、予測制御部１１２は、ＲＷとＲＨの値をそれぞれ２倍に設定する（ステップＳ１０３）。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝１は、輝度に対して色差が水平方向と垂直方向の１／２にサンプリングされている４：２：０フォーマットを表すためである。
ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝１でない場合（ステップＳ１０２：Ｎｏ）、予測制御部１１２は、色フォーマット情報（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ）１１４が２であるか否かを判断する（ステップＳ１０４）。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝２の場合（ステップＳ１０４：Ｙｅｓ）、予測制御部１１２は、ＲＷの値を２倍に設定する（ステップＳ１０５）。ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝２は、輝度に対して色差が水平方向のみ１／２にサンプリングされている４：２：２フォーマットを表すためである。
それ以外のｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃの値の時は（ステップＳ１０４：Ｎｏ）、ＲＷとＲＨの値は変更しない。
次に、予測制御部１１２は、メモリバンド幅を制限するか否かを表す変数Ｌを算出する（ステップＳ１０６）。変数Ｌは、値が“ｔｒｕｅ”の時、メモリバンド幅の削減手法を適用することを表し、値が“ｆａｌｓｅ”の時、適用しないことを表すものとする。
上述のように、例えば、双方向予測であり、予測ブロックが小さく、２つの動きベクトルが色差において小数精度の場合、画素あたりのアクセスするメモリバンド幅が大きくなる。そこで、予測制御部１１２は、以下の式（１）により変数Ｌを算出する。
Ｌ＝（ＰｒｅｄＭｏｄｅ＝＝ＰｒｅｄＢｉ）＆＆
（ｎＰＳＷ＜＝ｎＬＰＳＷ）＆＆（ｎＰＳＨ＜＝ｎＬＰＳＨ）＆＆
（ｍｖＬ０［０］＆（ＲＷ−１））＆＆
（ｍｖＬ０［１］＆（ＲＨ−１））＆＆
（ｍｖＬ１［０］＆（ＲＷ−１））＆＆
（ｍｖＬ１［１］＆（ＲＨ−１））； ・・・（１）
ここで、処理対象とするブロックのリスト０の動きベクトルの水平方向の値をｍｖＬ０［０］、垂直方向の値をｍｖＬ０［１］とする。また、リスト１の動きベクトルの水平方向の値をｍｖＬ１［０］、垂直方向の値をｍｖＬ１［１］とする。また、ＰｒｅｄＭｏｄｅは、予測モードを表す。ＰｒｅｄＢｉは、双方向予測を表す。なお、以下では、リスト０およびリスト１の動きベクトルを用いる単方向予測の予測モードを、それぞれＰｒｅｄＬ０およびＰｒｅｄＬ１と表す。
式（１）の例では、予測モードＰｒｅｄＭｏｄｅは、ＰｒｅｄＢｉの時、すなわち、双方向予測部２０２が選択された場合を意味している。また、（ｎＰＳＷ＜＝ｎＬＰＳＷ）＆＆（ｎＰＳＨ＜＝ｎＬＰＳＨ）は、予測ブロックサイズがブロックサイズ制限情報以下の大きさであることを条件としている。さらに、（ｍｖＬ０［０］＆（ＲＷ−１））＆＆（ｍｖＬ０［１］＆（ＲＨ−１））＆＆（ｍｖＬ１［０］＆（ＲＷ−１））＆＆（ｍｖＬ１［１］＆（ＲＨ−１））では、Ｌ０とＬ１の２つの動きベクトルがともに、色差において２次元補間処理にならないこと、すなわち、動きベクトルの下位ビットが小数点以下の精度を表現しているかをチェックしている。なお、“＆”は、Ｃ言語の記法に従ったビット演算子であり、ビット単位での論理和を表す。
なお、変数Ｌを算出する条件式は式（１）に限られるものではない。例えば、式（２）のように、ＰｒｅｄＢｉ以外の予測モード（ＰｒｅｄＬ０、ＰｒｅｄＬ１）についても個別に判断するように構成してもよい。
Ｌ＝（ｎＰＳＷ＜＝ｎＬＰＳＷ）＆＆（ｎＰＳＨ＜＝ｎＬＰＳＨ）＆＆
（（ＰｒｅｄＭｏｄｅ＝＝ＰｒｅｄＢｉ）＆＆
（ｍｖＬ０［０］＆（ＲＷ−１））＆＆
（ｍｖＬ０［１］＆（ＲＨ−１））＆＆
（ｍｖＬ１［０］＆（ＲＷ−１））＆＆
（ｍｖＬ１［１］＆（ＲＨ−１）））｜｜
（（ＰｒｅｄＭｏｄｅ＝＝ＰｒｅｄＬ０）＆＆
（ｍｖＬ０［０］＆（ＲＷ−１））＆＆
（ｍｖＬ０［１］＆（ＲＨ−１）））｜｜
（（ＰｒｅｄＭｏｄｅ＝＝ＰｒｅｄＬ１）＆＆
（ｍｖＬ１［０］＆（ＲＷ−１））＆＆
（ｍｖＬ１［１］＆（ＲＨ−１））））； ・・・（２）
また、式（３）のように、単方向予測（ＰｒｅｄＬ０またはＰｒｅｄＬ１）のためのブロックサイズの制限値（ｎＬＰＳＷ１，ｎＬＰＳＨ１）を別途設定してもよい。すなわち、単方向予測と双方向予測で制限するブロックサイズが異なっていてもよい。
Ｌ＝（（ＰｒｅｄＭｏｄｅ＝＝ＰｒｅｄＢｉ）＆＆
（ｎＰＳＷ＜＝ｎＬＰＳＷ）＆＆（ｎＰＳＨ＜＝ｎＬＰＳＨ）＆＆
（ｍｖＬ０［０］＆（ＲＷ−１））＆＆
（ｍｖＬ０［１］＆（ＲＨ−１））＆＆
（ｍｖＬ１［０］＆（ＲＷ−１））＆＆
（ｍｖＬ１［１］＆（ＲＨ−１）））｜｜
（（（ｎＰＳＷ＜＝ｎＬＰＳＷ１）＆＆
（ｎＰＳＨ＜＝ｎＬＰＳＨ１））｜｜
（（ＰｒｅｄＭｏｄｅ＝＝ＰｒｅｄＬ０）＆＆
（ｍｖＬ０［０］＆（ＲＷ−１））＆＆
（ｍｖＬ０［１］＆（ＲＨ−１））＆＆
（（ＰｒｅｄＭｏｄｅ＝＝ＰｒｅｄＬ１）＆＆
（ｍｖＬ１［０］＆（ＲＷ−１））＆＆
（ｍｖＬ１［１］＆（ＲＨ−１）））； ・・・（３）
また、式（４）のように、ブロックサイズの制限値（ｎＬＰＳＷ，ｎＬＰＳＨ）以下の時は、双方向予測の時に２つの動きベクトルが、色差において整数画素のみにアクセスするように制限してもよい。
Ｌ＝（（ＰｒｅｄＭｏｄｅ＝＝ＰｒｅｄＢｉ）＆＆
（ｎＰＳＷ＜＝ｎＬＰＳＷ）＆＆（ｎＰＳＨ＜＝ｎＬＰＳＨ）＆＆
！（（ｍｖＬ０［０］＆（ＲＷ−１）＝＝０）＆＆
（ｍｖＬ０［１］＆（ＲＨ−１）＝＝０）＆＆
（ｍｖＬ１［０］＆（ＲＷ−１）＝＝０）＆＆
（ｍｖＬ１［１］＆（ＲＨ−１））＝＝０）））； ・・・（４）
なお、動きベクトルの値を制限するか否か、または、どのような条件で動きベクトルの値を制限するかは、プロファイル・レベル情報１１９によって区別される。
次に、メモリバンド幅を削減する具体的手法について説明する。図１３は、メモリバンド幅を削減する処理の一例を示すフローチャートである。図１３は、メモリバンド幅を削減する手法として、動きベクトルの値を制限する手法の一例を示している。
予測制御部１１２は、変数Ｌが“ｔｒｕｅ”であるか否かを判断する（ステップＳ２０１）変数Ｌが“ｔｒｕｅ”の場合（ステップＳ２０１：Ｙｅｓ）、予測制御部１１２は、Ｌ０とＬ１の２つの動きベクトルの値を式（５）のように変換する（ステップＳ２０２）。
ｍｖＬ０［０］＝（（ｍｖＬ０［０］＋（ＲＷ＞＞１））／ＲＷ）×ＲＷ；
ｍｖＬ０［１］＝（（ｍｖＬ０［１］＋（ＲＨ＞＞１））／ＲＨ）×ＲＨ；
ｍｖＬ１［０］＝（（ｍｖＬ１［０］＋（ＲＷ＞＞１））／ＲＷ）×ＲＷ；
ｍｖＬ１［１］＝（（ｍｖＬ１［１］＋（ＲＨ＞＞１））／ＲＨ）×ＲＨ；
・・・（５）
“＞＞”はＣ言語の記法に従った算術右シフトを表す。“／”は整数演算での除算を表す。“×”は整数演算での乗算を表す。式（５）により、Ｌ０とＬ１の２つの動きベクトルの色差信号の補間精度分のビットが丸められて０となる。これにより、２次元補間処理を行わないようにすることができ、メモリバンド幅の削減を実現できる。
ここでは、一般的な四捨五入による丸め方法を示しているが、それ以外の方法であってもよい。例えば、切捨て、切り上げ、および、最近接偶数への丸め等の方法でも構わない。
値を変更された動きベクトル情報１１７は、エントロピー符号化部１０５で符号化され、符号化データとして出力される。図１３の手法は、動きベクトルの値を制限することで、動きベクトル情報１１７を制御し、メモリバンド幅が増大するような符号化データを生成しないようにする手法である。
これに対し、値を変更された動きベクトル情報１１７をエントロピー符号化部１０５で符号化するのではなく、変更前の動きベクトル情報１１７をエントロピー符号化で符号化する方法でもよい。この場合は、後述する画像復号装置３００の予測画像生成部１１０は、図１２と同様の処理でメモリバンド幅の削減手法を適用するか否かを判断する。適用する場合、画像復号装置３００の予測画像生成部１１０は、図１３と同様の処理で、動きベクトルを制限する。
動きベクトルの値の変換方法は、式（４）のように、色差の補間精度分を丸める方法に限られるものではない。輝度の補間処理の時は、輝度の補間精度分を丸め、色差の補間処理の時は、色差の補間精度分を丸めるというように、輝度と色差とで別々に丸める方法でもよい。この方法は、画像符号化装置１００と画像復号装置３００で同一の動作を実行するように予め決めておくことで、メモリバンド幅が増大するような予測画像を生成しない方法である。
図１４は、メモリバンド幅を削減する処理の他の例を示すフローチャートである。図１４は、動きベクトルの値を制限する手法の他の例を示している。
この例では、予測制御部１１２および予測画像生成部１１０は、予測モード、予測ブロックサイズおよび動きベクトルなどを選択するコストを計算し、コストが小さい予測モード、予測ブロックサイズおよび動きベクトルを優先して選択することで、最適な組み合わせを選択する。
動きベクトルのコストを表す変数ＭＶ＿Ｃｏｓｔは、式（５）のように、予測残差誤差の絶対値和（ＳＡＤ）と、動きベクトル情報の符号量（ＭＶ＿Ｃｏｄｅ）と、量子化情報から計算されるラグランジェの乗数係数（λ）と、を用いて計算される。
ＭＶ＿Ｃｏｓｔ＝ＳＡＤ＋λ×ＭＶ＿Ｃｏｄｅ ・・・（５）
変数Ｌが“ｔｒｕｅ”ならば（ステップＳ３０１：Ｙｅｓ）、予測制御部１１２は、動きベクトルのコストを表している変数ＭＶ＿Ｃｏｓｔに予め決められている最大値ＭａｘＶａｌｕｅを代入する（ステップＳ３０２）。これにより、予測制御部１１２が、メモリバンド幅が大きい動きベクトルを選択しないように制御する（ステップＳ３０１）。
図１４の方法は、図１３と同様に、動きベクトルの値を制限することで、動きベクトル情報１１７を制御し、メモリバンド幅が増大するような符号化データを生成しないようにする手法である。
図１５は、メモリバンド幅を削減する処理の他の例を示すフローチャートである。図１５は、メモリバンド幅を削減する他の手法として、色差の予測モードを制御する方法を示す。
変数Ｌが“ｔｒｕｅ”ならば（ステップＳ４０１）、色の予測モードＰｒｅｄＭｏｄｅのみを単方向予測ＰｒｅｄＬ０に強制的に書き換える（ステップＳ４０２）。これにより、メモリバンド幅が大きな色差信号で双方向予測の場合を制限することができる。
なお、強制的に書き換える予測モードは、単方向予測ＰｒｅｄＬ１でもよい。なお、どのような予測モードを制限するか否かは、プロファイル・レベル情報１１９によって区別される。
以上説明したとおり、本実施形態によれば、画像符号化および画像復号において動き補償補間画像を生成するときのメモリバンド幅を削減することができる。
次に、本実施形態にかかる装置（画像符号化装置および画像復号装置）のハードウェア構成について図１６を用いて説明する。図１６は、本実施形態にかかる装置のハードウェア構成を示す説明図である。
本実施形態にかかる装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。
本実施形態にかかる装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。
本実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。
さらに、本実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
本実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した装置の各部（予測画像生成部等）として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１００ 画像符号化装置
１０１ 入力動画像信号
１０２ 減算部
１０３ 変換／量子化部
１０４ 逆量子化／逆変換部
１０５ エントロピー符号化部
１０６ 加算部
１０７ 復号画像信号
１０８ フレームメモリ
１０９ 参照画像信号
１１０ 予測画像生成部
１１１ 予測画像信号
１１２ 予測制御部
１１３ 符号化制御部
１１４ 色フォーマット情報
１１５ ブロックサイズ制限情報
１１６ 動きベクトル探索部
１１７ 動きベクトル情報
１１８ 予測制御情報
１１９ プロファイル・レベル情報
１２０ 符号化データ
３００ 画像復号装置
３０１ 符号化データ
３０２ エントロピー復号部
３０３ 逆量子化／逆変換部
３０４ 加算部
３０５ 復号画像信号
３０６ フレームメモリ
３０７ 再生動画像信号
３０８ 参照画像信号
３１０ 予測画像信号
３１１ 予測制御情報
３１２ ベクトル情報
３１３ プロファイル・レベル情報

Claims (4)

  1. 輝度成分と色差成分とを含む画像を符号化する画像符号化方法であって、
    参照画像を取得する取得ステップと、
    前記輝度成分および前記色差成分ごとに、前記参照画像に対して動きベクトルに応じた補間処理を行って、予測画像を生成する生成ステップと、を含み、
    前記生成ステップは、２つの前記参照画像から前記予測画像を生成する双方向予測と、１つの前記参照画像から前記予測画像を生成する単方向予測とのうちいずれかを、明示的または暗黙的に指定された予測モードに基づき選択し、前記補間処理の単位として指定されたブロックの大きさが第１の条件を満たす場合であって、前記双方向予測が選択されていた場合に、前記双方向予測を前記単方向予測に変更し、前記参照画像に対して前記動きベクトルに応じた前記補間処理を行って前記予測画像を生成する、
    画像符号化方法。
  2. 前記生成ステップは、前記補間処理の単位として指定されたブロックの大きさが、前記第１の条件とは異なる第２の条件を満たす場合、前記単方向予測を行わない、
    請求項１に記載の画像符号化方法。
  3. 輝度成分と色差成分とを含む対象画像を符号化する画像符号化装置であって、
    前記輝度成分および前記色差成分ごとに、参照画像に対して動きベクトルに応じた補間処理を行って、予測画像を生成する生成部と、
    前記対象画像に対する前記予測画像の誤差を表す予測誤差から得られる係数情報を符号化する符号化部と、を有し、
    前記生成部は、２つの前記参照画像から前記予測画像を生成する双方向予測と、１つの前記参照画像から前記予測画像を生成する単方向予測とのうちいずれかを、明示的または暗黙的に指定された予測モードに基づき選択し、前記補間処理の単位として指定されたブロックの大きさが第１の条件を満たす場合であって、前記双方向予測が選択されていた場合に、前記双方向予測を前記単方向予測に変更し、前記参照画像に対して前記動きベクトルに応じた前記補間処理を行って前記予測画像を生成する、
    画像符号化装置。
  4. 前記生成部は、前記補間処理の単位として指定されたブロックの大きさが、前記第１の条件とは異なる第２の条件を満たす場合、前記単方向予測を行わない、
    請求項３に記載の画像符号化装置。
JP2013542736A 2011-11-08 2011-11-08 画像符号化方法、および画像符号化装置 Active JP5766815B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/075725 WO2013069095A1 (ja) 2011-11-08 2011-11-08 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015066225A Division JP2015111961A (ja) 2015-03-27 2015-03-27 画像復号方法および画像復号装置

Publications (2)

Publication Number Publication Date
JPWO2013069095A1 JPWO2013069095A1 (ja) 2015-04-02
JP5766815B2 true JP5766815B2 (ja) 2015-08-19

Family

ID=48288682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013542736A Active JP5766815B2 (ja) 2011-11-08 2011-11-08 画像符号化方法、および画像符号化装置

Country Status (15)

Country Link
US (9) US9135717B2 (ja)
EP (4) EP3672238B1 (ja)
JP (1) JP5766815B2 (ja)
KR (3) KR101597059B1 (ja)
CN (2) CN107277511A (ja)
AU (2) AU2011380761C1 (ja)
BR (4) BR122020011590B1 (ja)
CA (1) CA2847301C (ja)
ES (2) ES2952379T3 (ja)
MX (1) MX2014002334A (ja)
PL (2) PL3672238T3 (ja)
RU (1) RU2595569C2 (ja)
SG (1) SG11201400290XA (ja)
WO (1) WO2013069095A1 (ja)
ZA (1) ZA201401565B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI3907999T3 (fi) * 2010-09-02 2023-12-14 Lg Electronics Inc Inter-ennustus
PL2744204T3 (pl) 2011-09-14 2019-03-29 Samsung Electronics Co., Ltd. Sposób dekodowania jednostki predykcji (pu) w oparciu o jej rozmiar
BR122020011590B1 (pt) 2011-11-08 2022-05-03 Kabushiki Kaisha Toshiba Método de decodificação realizado pelo menos parcialmente por um circuito eletrônico e método de codificação realizado pelo menos parcialmente por um circuito eletrônico
US9894355B2 (en) * 2012-01-19 2018-02-13 Sony Corporation Image processing apparatus and method thereof
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
WO2015163146A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 符号化装置および符号化方法
CN107710762A (zh) * 2015-06-19 2018-02-16 诺基亚技术有限公司 用于视频编码和解码的装置、方法、以及计算机程序
US10015504B2 (en) * 2016-07-27 2018-07-03 Qualcomm Incorporated Compressing image segmentation data using video coding
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
CN112740704B (zh) * 2018-09-21 2024-04-16 夏普株式会社 图像解码装置以及图像编码装置
CN110582022B (zh) * 2019-09-27 2022-12-30 腾讯科技（深圳）有限公司 视频编解码方法和装置及存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2873396B2 (ja) 1990-09-11 1999-03-24 清水建設株式会社 軌道仮受け施工方法
JP2001045491A (ja) 1999-08-03 2001-02-16 Hitachi Ltd 符号化画像の復号・表示装置
WO2003030556A1 (en) 2001-09-18 2003-04-10 Matsushita Electric Industrial Co., Ltd. Image encoding method and image decoding method
JP4129374B2 (ja) * 2001-09-18 2008-08-06 松下電器産業株式会社 画像符号化方法および画像復号化方法
EP1467569A4 (en) * 2002-01-18 2007-11-14 Toshiba Kk METHOD AND APPARATUS FOR ENCODING IMAGES IN MOTION, DECODING METHOD AND APPARATUS
JP3861698B2 (ja) * 2002-01-23 2006-12-20 ソニー株式会社 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
JP4120301B2 (ja) 2002-04-25 2008-07-16 ソニー株式会社 画像処理装置およびその方法
JP4053925B2 (ja) * 2003-05-09 2008-02-27 日本電信電話株式会社 映像符号化方法，映像符号化装置，映像符号化プログラムおよび映像符号化プログラムの記録媒体
JP2006333436A (ja) 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
JP4755093B2 (ja) * 2005-02-01 2011-08-24 パナソニック株式会社 画像符号化方法および画像符号化装置
JP2007043651A (ja) * 2005-07-05 2007-02-15 Ntt Docomo Inc 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法及び動画像復号プログラム
JP5044415B2 (ja) 2005-11-30 2012-10-10 株式会社東芝 画像符号化／画像復号化方法及び画像符号化／画像復号化装置
JP4752631B2 (ja) * 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
JP2009094828A (ja) 2007-10-10 2009-04-30 Hitachi Ltd 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法
JPWO2010001832A1 (ja) 2008-06-30 2011-12-22 株式会社東芝 動画像予測符号化装置および動画像予測復号化装置
US8619856B2 (en) 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
US8831087B2 (en) * 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
WO2010070818A1 (ja) 2008-12-16 2010-06-24 株式会社日立製作所 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
EP3567853B8 (en) 2009-03-23 2024-01-03 Ntt Docomo, Inc. Image predictive decoding device and image predictive decoding method
TWI566586B (zh) 2009-10-20 2017-01-11 湯姆生特許公司 一序列形象的現時區塊之寫碼方法和重建方法
JP2011135184A (ja) * 2009-12-22 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
WO2012172659A1 (ja) 2011-06-15 2012-12-20 株式会社東芝 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
KR20120140592A (ko) * 2011-06-21 2012-12-31 한국전자통신연구원 움직임 보상의 계산 복잡도 감소 및 부호화 효율을 증가시키는 방법 및 장치
MX353235B (es) 2011-09-29 2018-01-08 Sharp Kk Star Dispositivo de decodificación de imágenes, método de decodificación de imágenes y dispositivo de codificación de imágenes.
WO2013065431A1 (ja) 2011-11-04 2013-05-10 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
BR122020011590B1 (pt) * 2011-11-08 2022-05-03 Kabushiki Kaisha Toshiba Método de decodificação realizado pelo menos parcialmente por um circuito eletrônico e método de codificação realizado pelo menos parcialmente por um circuito eletrônico

Also Published As

Publication number Publication date
EP3280139B1 (en) 2020-03-18
CA2847301A1 (en) 2013-05-16
AU2015213328B2 (en) 2017-03-09
KR101665921B1 (ko) 2016-10-12
EP2779647A1 (en) 2014-09-17
US11831891B2 (en) 2023-11-28
EP3280139A1 (en) 2018-02-07
WO2013069095A1 (ja) 2013-05-16
US20200267401A1 (en) 2020-08-20
EP2779647A4 (en) 2015-08-12
US20170180747A1 (en) 2017-06-22
EP4199508A1 (en) 2023-06-21
AU2011380761A1 (en) 2014-03-20
US10554991B2 (en) 2020-02-04
US20150229929A1 (en) 2015-08-13
AU2011380761B2 (en) 2015-06-25
SG11201400290XA (en) 2014-06-27
BR112014004645A2 (pt) 2017-03-14
CN103765890A (zh) 2014-04-30
RU2014107468A (ru) 2015-12-20
EP3672238B1 (en) 2023-06-07
AU2011380761C1 (en) 2015-12-17
BR112014004645B1 (pt) 2022-04-26
BR122020011581B1 (pt) 2022-05-03
US10687072B2 (en) 2020-06-16
US9135717B2 (en) 2015-09-15
US9672633B2 (en) 2017-06-06
EP2779647B1 (en) 2018-03-07
CA2847301C (en) 2017-08-01
KR101597059B1 (ko) 2016-02-23
US20200053374A1 (en) 2020-02-13
KR20160025035A (ko) 2016-03-07
ES2952379T3 (es) 2023-10-31
KR101570328B1 (ko) 2015-11-18
ES2794582T3 (es) 2020-11-18
EP3672238A1 (en) 2020-06-24
US20140010446A1 (en) 2014-01-09
KR20150038621A (ko) 2015-04-08
KR20140043828A (ko) 2014-04-10
US20240048746A1 (en) 2024-02-08
RU2595569C2 (ru) 2016-08-27
BR122020011587B1 (pt) 2022-05-03
JPWO2013069095A1 (ja) 2015-04-02
US11451808B2 (en) 2022-09-20
MX2014002334A (es) 2014-04-25
ZA201401565B (en) 2016-05-25
US20200267400A1 (en) 2020-08-20
PL3672238T3 (pl) 2023-07-24
AU2015213328A1 (en) 2015-09-03
PL3280139T3 (pl) 2020-07-27
CN107277511A (zh) 2017-10-20
US9843818B2 (en) 2017-12-12
BR122020011590B1 (pt) 2022-05-03
US11375218B2 (en) 2022-06-28
US20220385932A1 (en) 2022-12-01
US20170359592A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
JP5766815B2 (ja) 画像符号化方法、および画像符号化装置
US9743088B2 (en) Video encoder and video encoding method
CN111567047B (zh) 进行子预测块运动矢量推导的存储器访问窗口
JP2017017629A (ja) 動画像符号化装置、動画像符号化方法、及びプログラム
JP2005318297A (ja) 動画像符号化・復号方法及び装置
JP6487002B2 (ja) 復号方法および復号装置
JP2015111961A (ja) 画像復号方法および画像復号装置
JP4590337B2 (ja) 動画像符号化装置及び動画像符号化方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150519

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150617

R151 Written notification of patent or utility model registration

Ref document number: 5766815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151