JP6300884B2 - 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、および記録媒体 - Google Patents

画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、および記録媒体 Download PDF

Info

Publication number
JP6300884B2
JP6300884B2 JP2016216384A JP2016216384A JP6300884B2 JP 6300884 B2 JP6300884 B2 JP 6300884B2 JP 2016216384 A JP2016216384 A JP 2016216384A JP 2016216384 A JP2016216384 A JP 2016216384A JP 6300884 B2 JP6300884 B2 JP 6300884B2
Authority
JP
Japan
Prior art keywords
prediction
parameter
prediction parameter
unit
prediction parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016216384A
Other languages
English (en)
Other versions
JP2017079473A5 (ja
JP2017079473A (ja
Inventor
山本 智幸
智幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2017079473A publication Critical patent/JP2017079473A/ja
Publication of JP2017079473A5 publication Critical patent/JP2017079473A5/ja
Application granted granted Critical
Publication of JP6300884B2 publication Critical patent/JP6300884B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、画像を符号化し符号化データを生成する画像符号化装置に関する。また、そのような画像符号化装置を用いて生成された符号化データを復号する画像復号装置に関する。
動画像を効率的に伝送または記録するために、動画像符号化装置が用いられている。具体的な動画像符号化方式としては、例えば、H.264/MPEG−4 AVC(非特許文献1)、および、VCEG(Video Coding Expert Group)における共同開発用コーデックであるKTAソフトウェアに採用されている方式などが挙げられる。
このような符号化方式において、動画像を構成する画像(ピクチャ)は、画像を分割することにより得られるスライス、スライスを分割することにより得られるマクロブロック、及び、マクロブロックを分割することより得られるサブブロックからなる階層構造により管理され、普通、サブブロックごとに符号化される。
また、このような符号化方式においては、通常、入力画像を符号化/復号化することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像と入力画像との差分データが符号化される。また、予測画像の生成方法としては、フレーム間予測(インター予測)、および、フレーム内予測(イントラ予測)と呼ばれる方法が知られている。
インター予測においては、フレーム全体が復号された参照フレーム内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が生成される。また、インター予測においては、複数の参照画像を参照して予測画像を生成することも可能であり、その際には、各参照画像の画素値に重み係数を乗じた値を用いて予測画像が生成される。
一方で、イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。具体的には、イントラ予測においては、通常、単位領域(例えば、マクロブロック)を構成する予測単位(例えば、サブブロック)毎に、予め定められた予測方向(予測モード)群に含まれる予測方向から何れかの予測方向が選択されると共に、局所復号画像における参照画素の画素値を、選択された予測方向に外挿することによって、当該予測対象領域上の予測画素値が生成される。
このように、予測画像は、一般に、動きベクトル、重み係数、または、予測モード等の予測パラメータに基づいて生成される。
ITU−T Recommendation H.264(11/07)(2007年11月公開)
しかしながら、動画像復号装置において予測画像を適切に生成するためには、動画像符
号化装置において用いられた予測パラメータを符号化し、動画像復号装置に伝達する必要があるため、予測パラメータによって符号化データの符号量が増大するという問題がある。
例えば、上述した従来のイントラ予測においては、上記差分データと共に、各予測対象領域に対して、何れの予測モードが選択されたのかを示す情報である予測モード情報を符号化する必要があるため、予測モード情報によって、符号化データの符号量が増大するという問題がある。
本発明は、上記の問題に鑑みてなされたものであり、その目的は、符号化効率を犠牲にすることなく、予測パラメータを指定するための符号量を削減することのできる画像符号化装置、および、そのような画像符号化装置によって生成された符号化データを復号することのできる画像復号装置を実現することにある。
上記課題を解決するために、本発明の一態様に係る画像復号装置は、入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって得られた符号化データを復号する画像復号装置において、各予測単位に適用する予測パラメータを復号する予測パラメータ復号手段と、予測パラメータの集合である縮減セットを生成する縮減セット構築手段と、基本セットに含まれる予測パラメータを特定する第1予測パラメータを復号するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から復号する第2予測パラメータ復号手段とを備え、上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータ数未満であり、上記予測パラメータ復号手段が復号する予測パラメータには、上記第2予測パラメータ復号手段により符号化データに含まれるフラグの値に応じて復号される第1予測パラメータか、または、上記第2予測パラメータ復号手段により符号化データに含まれるフラグの値に応じて復号される第2予測パラメータが含まれるものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ復号手段は、上記縮減セットに含まれる予測パラメータを復号し、上記予測パラメータ復号手段は、上記縮減セットに含まれる予測パラメータに関する数が1である場合には、予測パラメータに関する情報の復号を省略して上記予測パラメータを復号することを特徴としている。
上記課題を解決するために、本発明の一態様に係る画像復号方法は、入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって得られた符号化データを復号する画像復号方法であって、各予測単位に適用する予測パラメータを復号する予測パラメータ復号ステップと、予測パラメータの集合である縮減セットを生成する縮減セット構築ステップと、基本セットに含まれる予測パラメータを特定する第1予測パラメータを復号するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から復号する第2予測パラメータ復号ステップと、を含み上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータ数未満であり、上記予測パラメータ復号ステップで復号する予測パラメータには、上記第2予測パラメータ復号ステップで符号化データに含まれるフラグの値に応じて復号される第1予測パラメータか、または、上記第2予測パラメータ復号ステップで符号化データに含まれるフラグの値に応じて復号される第2予測パラメータが含まれるものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ復号ステップでは、上記縮減セットに含まれる予測パラメータを復号し、上記予測パラメータ復号ステップでは、上記縮減セットに含まれる予測パラメータに関する数が1である場合には、予測パラメータに関する情報の復号を省略して上記予測パラメータを復号することを特徴としている。
上記課題を解決するために、本発明の一態様に係る画像符号化装置は、入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって符号化データを生成する画像符号化装置において、各予測単位に適用する予測パラメータを符号化する予測パラメータ符号化手段と、予測パラメータの集合である縮減セットを生成する縮減セット構築手段と、基本セットに含まれる予測パラメータを特定する第1予測パラメータを符号化するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から符号化する第2予測パラメータ符号化手段とを備え、上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータ数未満であり、上記予測パラメータ符号化手段が符号化する予測パラメータには、上記第2予測パラメータ符号化手段により符号化された符号化データに含まれるフラグの値に応じて符号化される第1予測パラメータか、または、上記第2予測パラメータ符号化手段により符号化された符号化データに含まれるフラグの値に応じて符号化される第2予測パラメータが含まれるものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ符号化手段は、上記縮減セットに含まれる予測パラメータを符号化し、上記予測パラメータ符号化手段は、上記縮減セットに含まれる予測パラメータに関する数が1である場合には、予測パラメータに関する情報の符号化を省略して上記予測パラメータを符号化することを特徴としている。
上記課題を解決するために、本発明の一態様に係る画像符号化方法は、入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって符号化データを生成する画像符号化方法において、各予測単位に適用する予測パラメータの集合である縮減セットを生成する縮減セット構築ステップと、基本セットに含まれる予測パラメータを特定する第1予測パラメータを符号化するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から符号化する第2予測パラメータ符号化ステップと、予測パラメータを符号化する予測パラメータ符号化ステップと、を含み、上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータ数未満であり、上記予測パラメータ符号化ステップで符号化する予測パラメータには、上記第2予測パラメータ符号化ステップにより符号化された符号化データに含まれるフラグの値に応じて符号化される第1予測パラメータか、または、上記第2予測パラメータ符号化ステップにより符号化された符号化データに含まれるフラグの値に応じて符号化される第2予測パラメータが含まれるものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ符号化ステップでは、上記縮減セットに含まれる予測パラメータを符号化し、上記予測パラメータ符号化ステップでは、上記縮減セットに含まれる予測パラメータに関する数が1である場合には、予測パラメータに関する情報の符号化を省略して上記予測パラメータを符号化することを特徴としている。
上記課題を解決するために、本発明の一態様に係る記録媒体は、入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって得られた符号化データを復号する画像復号方法をコンピュータに実行させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、各予測単位に適用する予測パラメータを復号する予測パラメータ復号ステップと、予測パラメータの集合である縮減セットを生成する縮減セット構築ステップと、基本セットに含まれる予測パラメータを特定する第1予測パラメータを復号するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から復号する第2予測パラメータ復号ステップと、を含み、上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータ数未満であり、上記予測パラメータ復号ステップで復号する予測パラメータには、上記第2予測パラメータ復号ステップで符号化データに含まれるフラグの値に応じて復号される第1予測パラメータか、または、上記第2予測パラメータ復号ステップで符号化データに含まれるフラグの値に応じて復号される第2予測パラメータが含まれるものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ復号ステップでは、上記縮減セットに含まれる予測パラメータを復号し、上記予測パラメータ復号ステップでは、上記縮減セットに含まれる予測パラメータに関する数が1である場合には、予測パラメータに関する情報の復号を省略して上記予測パラメータを復号する、ことをコンピュータに実行させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体である。
上記課題を解決するために、本発明の一態様に係る記録媒体は、入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって符号化データを生成する画像符号化方法をコンピュータに実行させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、各予測単位に適用する予測パラメータの集合である縮減セットを生成する縮減セット構築ステップと、基本セットに含まれる予測パラメータを特定する第1予測パラメータを符号化するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から符号化する第2予測パラメータ符号化ステップと、予測パラメータを符号化する予測パラメータ符号化ステップと、を含み、上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータ数未満であり、上記予測パラメータ符号化ステップで符号化する予測パラメータには、上記第2予測パラメータ符号化ステップにより符号化された符号化データに含まれるフラグの値に応じて符号化される第1予測パラメータか、または、上記第2予測パラメータ符号化ステップにより符号化された符号化データに含まれるフラグの値に応じて符号化される第2予測パラメータが含まれるものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ符号化ステップでは、上記縮減セットに含まれる予測パラメータを符号化し、上記予測パラメータ符号化ステップでは、上記縮減セットに含まれる予測パラメータに関する数が1である場合には、予測パラメータに関する情報の符号化を省略して上記予測パラメータを符号化する、ことをコンピュータに実行させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体である。
上記のように構成された画像符号化装置によれば、符号化効率を犠牲にすることなく、予測パラメータを指定するための符号量を削減することができる。
実施形態に係る動画像復号装置の構成を示すブロック図である。 実施形態に係る動画像復号装置が備えるMB復号部の構成を示すブロック図である。 実施形態に係る動画像復号装置が備える予測パラメータ復号部の構成を示すブロック図である。 予測パラメータ復号部が備えるグループ判定部の動作を説明するための図である。(a)〜(b)は、マクロブロックに含まれる16個のサブブロックの各々が、分類方法Aに基づいて、第1のグループまたは第2のグループの何れかに分類される場合を示しており、(c)〜(d)は、各サブブロックが、分類方法Bに基づいて分類される場合を示しており、(e)〜(f)は、各サブブロックが、分類方法Cに基づいて分類される場合を示している。 H.264/MPEG−4 AVC規格におけるイントラ予測に用いられるイントラ予測モードを、各予測モードに付されたインデックスと共に示す図である。 予測パラメータ復号部が備える縮減セット導出部の動作を説明するための図である。(a)は、縮減セット導出部における縮減セットの生成動作の第1の例を示すフローチャートであり、(b)は、縮減セット導出部における縮減セットの生成動作の第2の例を示すフローチャートであり、(c)は、縮減セット導出部における縮減セットの生成動作の第3の例を示すフローチャートである。 予測パラメータ復号部が備える第2予測パラメータ復号部における復号処理の流れの一例を示すフローチャートである。 予測パラメータ復号部の他の構成例を説明するための図である。(a)は、縮減セット導出部による縮減セットの生成動作を示すフローチャートであり、(b)は、近傍サブブロック領域の一例を示している。 MB復号部が備える予測画像生成部による予測画像の生成処理を説明するためのものであって、4×4画素である予測対象サブブロックの各画素と、当該予測対象サブブロックの周辺の画素とを示す図である。 実施形態に係る動画像符号化装置の構成を示すブロック図である。 実施形態に係る動画像符号化装置が備えるMB符号化部の構成を示すブロック図である。 MB符号化部が備える予測パラメータ決定部の構成を示すブロック図である。 MB符号化部が備える予測パラメータ決定部の動作を説明するための図である。(a)は、第1予測パラメータ決定部が、マクロブロックMBを構成する各サブブロックのうち、第1グループに属する各サブブロックに対して選択した予測モードの例を示しており、(b)は、(a)に示した各予測モードが予測パラメータとして供給された場合に、縮減セット導出部が生成する縮減セットの一例を示しており、(c)は、第2予測パラメータ決定部が、第2グループに属する各サブブロックに対して、(b)に示した縮減セットから選択した予測モードの例を示している。 MB符号化部が備える予測パラメータ符号化部の構成を示すブロック図である。 実施形態に係る動画像符号化装置によって生成され、実施形態に係る動画像復号装置において参照される符号化データのマクロブロック毎のビットストリーム構造を示す図である。 基本パラメータセットの他の例を示す図である。(a)は、水平方向を重視したパラメータセットの一例を示しており、(b)は、垂直方向を重視したパラメータセットの一例を示している。
(動画像復号装置)
実施形態に係る動画像復号装置(画像復号装置)1の構成について、図1〜図9を参照して説明する。動画像復号装置1は、その一部に、H.264/MPEG−4 AVC規格に採用されている技術を用いている動画像符号化装置である。
動画像復号装置1は、概略的に言えば、入力される符号化データ#1を復号することによって復号画像#2を生成し、出力する装置である。
また、動画像復号装置1は、符号化データ#1の示す画像上の単位領域を複数の予測対象領域(予測単位)に分割し、当該予測対象領域毎に生成された予測画像を用いて、復号画像#2を生成する。
以下では、上記単位領域を、H.264/MPEG−4 AVC規格におけるマクロブロックとし、上記予測対象領域を、マクロブロック内のサブブロックとした場合を例に挙げ、説明を行うが、本発明は、これに限定されるものではない。例えば、上記単位領域は、マクロブロックよりも大きな領域としてもよいし、複数のマクロブロックに重複するような領域であってもよい。
図1は、動画像復号装置1の構成を示すブロック図である。図1に示すように、動画像復号装置1は、可変長逆多重化部11、ヘッダ情報復号部12、MB設定部13、MB復号部14、および、フレームメモリ15を備えている。
動画像復号装置1に入力された符号化データ#1は可変長逆多重化部11へ入力される。可変長逆多重化部11は、入力された符号化データ#1を逆多重化することによって、符号化データ#1を、ヘッダ情報に関する符号化データであるヘッダ符号化データ#11aと、マクロブロック(単位領域)に関する符号化データであるMB符号化データ#11bとに分離し、ヘッダ符号化データ#11aをヘッダ情報復号部12に、MB符号化データ#11bをMB設定部13にそれぞれ出力する。
ヘッダ情報復号部12では、ヘッダ符号化データ#11aからヘッダ情報#12を復号する。ここで、ヘッダ情報#12は、入力画像のサイズを含む情報である。
MB設定部13では、入力されたヘッダ情報#12に基づいて、MB符号化データ#11bを個々のマクロブロックに対応する符号化データ#13に分離し、MB復号部14に対して順次出力する。
MB復号部14は、入力された個々のマクロブロックに対応する符号化データ#13を順次復号することにより、個々のマクロブロックに対応する復号画像#2を生成し、出力する。また、復号画像#2は、フレームメモリ15に対しても出力される。MB復号部14の構成については、後述するためここでは説明を省略する。
フレームメモリ15には、復号画像#2が記録される。フレームメモリ15には、特定のマクロブロックを復号する時点において、当該マクロブロックよりもラスタスキャン順
で先にある全てのマクロブロックに対応する復号画像が記録されている。
画像内の全てのマクロブロックに対して、MB復号部14によるマクロブロック単位の復号画像生成処理が終わった時点で、動画像復号装置1に入力された符号化データに対応する復号画像#2の生成処理が完了する。
(MB復号部14)
以下では、MB復号部14について、参照する図面を替えてより具体的に説明する。
図2は、MB復号部14の構成を示すブロック図である。図2に示すように、MB復号部14は、サブブロック分割部141、予測残差復号部142、サブブロック復号画像生成部143、予測パラメータ復号部144、予測画像生成部145、および、MB復号画像生成部146を備えている。
サブブロック分割部141は、マクロブロック単位の符号化データ#13が入力された時点で起動し、マクロブロック(単位領域)を構成する各サブブロック(各予測対象領域)の当該マクロブロック内での位置を示すサブブロック位置情報#141a、および、サブブロック位置情報#141aが示すサブブロックに関する符号化データであるサブブロック符号化データ#141bを所定の順序で順次出力する。なお、マクロブロックのサブブロックへの分割方法は、符号化データ#1を生成する動画像符号化装置において用いられた方法を適用することができる。
また、サブブロック分割部141は、後述する第1グループに属するサブブロックに関するサブブロック位置情報#141aおよびサブブロック符号化データ#141bを出力したのち、後述する第2グループに属するサブブロックに関するサブブロック位置情報#141aおよびサブブロック符号化データ#141bを出力するような構成とすることが好ましい。例えば、第1グループに属するサブブロックをラスタスキャン順に走査し、続いて、第2グループに属するサブブロックをラスタスキャン順に走査するような構成とすることが好ましい。また、サブブロック分割部141は、符号化データ#1を生成する動画像符号化装置において用いられた順序と同じ順序で、サブブロック位置情報#141a、および、サブブロック符号化データ#141bを出力するようにしてもよい。
予測残差復号部142は、入力されたサブブロック符号化データ#141bに対し可変長符号復号を適用することによって、入力されたサブブロック位置情報#141aを示すサブブロックに対する変換係数を生成する。また、予測残差復号部142は、生成した変換係数に対して、サブブロック位置情報#141aの示すサブブロックのサイズと同一サイズのDCT(Discrete Cosine Transform)の逆変換を適用することによって復号残差#142を生成し、出力する。
予測パラメータ復号部144は、サブブロック位置情報#141a、および、サブブロック符号化データ#141bに基づいて、各サブブロックに対する予測パラメータ#144を復号し、出力する。
ここで、予測パラメータとは、予測画像の生成に用いられるパラメータのことを指す。予測パラメータの例としては、例えば、イントラ予測における予測モード、動き補償予測における動きベクトル、輝度補償予測における重み係数などが挙げられる。
また、予測パラメータ#144には、後述する第1予測パラメータ復号部43から出力される予測パラメータ#43、および、後述する第2予測パラメータ復号部45から出力される予測パラメータ#45が含まれる。予測パラメータ復号部144の具体的な構成および動作については、後述するため、ここでは説明を省略する。
予測画像生成部145は、予測パラメータ#144、復号画像#2、および、フレームメモリ15に記録されている復号画像#15に基づいて、予測対象サブブロックに対応する予測画像#145を生成し、出力する。予測画像生成部145における予測画像#145の具体的な生成方法については、後述するため、ここでは説明を省略する。
サブブロック復号画像生成部143は、復号残差#142に予測画像#145を加えることによって、サブブロック単位の復号画像であるサブブロック復号画像#143を生成し、出力する。
MB復号画像生成部146は、サブブロック単位のサブブロック復号画像#143をマクロブロック毎に蓄積し、マクロブロックを構成する全てのサブブロック復号画像#143を統合することによってマクロブロック単位の復号画像#2を生成し、出力する。生成された復号画像#2は、予測画像生成部145にも供給される。
(予測パラメータ復号部144)
続いて、予測パラメータ復号部144の構成について、図3を参照して説明する。
図3は、予測パラメータ復号部144の構成を示すブロック図である。図3に示すように、予測パラメータ復号部144は、グループ判定部41、スイッチ部42、第1予測パラメータ復号部43、縮減セット導出部44、および、第2予測パラメータ復号部45を備えている。
(グループ判定部41)
グループ判定部41は、サブブロック位置情報#141aが示すサブブロックが、予め定められた複数のグループのうち、何れのグループに属するかを判定し、判定結果を示すグループ情報#41をスイッチ部42に対して出力する。
ここで、上記予め定められた複数のグループとは、例えば、符号化データ#1を生成する動画像符号化装置において、各サブブロックが分類された複数のグループのことを指す。すなわち、符号化データ#1を生成する動画像符号化装置において、あるマクロブロックMBに属するサブブロックSB1〜SBNs(NsはマクロブロックMBに属するサブブロックの総数)のそれぞれが、所定の分類方法に基づいて、グループGP1〜GPM(Mは、マクロブロックMBに属するサブブロックが分類されるグループの総数)の何れかに分類されるような場合であって、サブブロックSBnがグループGPmに分類された場合には、上記グループ判定部は、例えば、上記所定の分類方法に基づいて、サブブロック位置情報#141aが示すサブブロックSBnが、グループGPmに属するものであると判定する。
以下では、各サブブロックが、2つのグループに分類される場合を例にとり、図4の(a)〜(f)を参照して説明を行う。
図4の(a)〜(b)は、マクロブロックMBに含まれる16個のサブブロックの各々が、分類方法Aに基づいて、第1のグループまたは第2のグループの何れかに分類される場合を示す図であり、図4の(c)〜(d)は、各サブブロックが、分類方法Bに基づいて分類される場合を示す図であり、図4の(e)〜(f)は、各サブブロックが、分類方法Cに基づいて分類される場合を示す図である。
マクロブロックMBに含まれる各サブブロックは、図4の(a)〜(b)に示すように、各グループに含まれるサブブロックの配置がチェッカーフラッグ状となるように、第1
のグループまたは第2のグループに分類されてもよいし、図4の(c)〜(d)に示すように、各グループに含まれるサブブロックが、横方向のみに隣接するように分類されてもよいし、図4の(e)〜(f)に示すように、各グループに含まれるサブブロックが、縦方向のみに隣接するように分類されてもよい。
一般に、マクロブロック内の予測パラメータの空間的な相関に応じて、最適な分類方法は異なる。上記の分類方法Aは、縦方向および横方向の何れの空間相関が存在する場合であっても有効な分類方法である。一方で、当該マクロブロック内に斜め方向のエッジが存在するような場合には、上記の分類方法Bおよび分類方法Cが有効である。
何れの分類方法が用いられる場合であっても、図4の(a)〜(f)から明らかなように、各サブブロックは、マクロブロックMB内での位置に応じて、第1のグループまたは第2のグループの何れかに分類される。
グループ判定部41は、サブブロック位置情報#141aを参照し、符号化データ#1を生成する動画像符号化装置において用いられた分類方法に基づいて、サブブロック位置情報#141aが示すサブブロックが、第1のグループ、または、第2のグループのうち、何れのグループに属するかを判定する。
例えば、符号化データ#1を生成する動画像符号化装置において、図4の(a)〜(b)に示すように、分類方法Aに基づいて、マクロブロックMBに属するサブブロックSB1が第2のグループに分類され、サブブロックSB2が第1のグループに分類された場合には、グループ判定部41は、当該分類方法Aに基づき、サブブロック位置情報#141aを参照することによって、サブブロックSB2が、第1のグループに属するものであると判定し、サブブロックSB1が、第2のグループに属するものであると判定する。マクロブロックMBに含まれる他のサブブロックについても同様である。
また、符号化データ#1を生成する動画像符号化装置において、マクロブロックごとに異なる分類方法が用いられる場合には、符号化データ#1は、マクロブロックごとに何れの分類方法を用いたかを示すフラグを含むことが好ましい。このようなフラグを参照することによって、グループ判定部41は、マクロブロックごとに分類方法が異なる場合であっても、上記動画像符号化装置において用いられた分類方法に基づいた判定を行うことができる。
なお、上記の説明では、マクロブロックに含まれるサブブロックの数が16個であるとしたが、本発明はこれに限定されるものではない(以下同様)。また、マクロブロックMBにおけるサブブロックの分類方法は、上述した例に限定されるものではなく、他の分類方法であってもよい。例えば、第1のグループに属するサブブロックの数と、第2のグループに属するサブブロックの数とが互いに異なるような分類方法であってもよい(以下同様)。
(スイッチ部42)
スイッチ部42は、グループ情報#41に基づいて、サブブロック位置情報#141aが示すサブブロックに関する符号化データであるサブブロック符号化データ#141bを、第1予測パラメータ復号部43、または、第2予測パラメータ復号部45のうち、何れかのパラメータ復号部に伝達する。
具体的には、スイッチ部42は、グループ判定部41において、サブブロック位置情報#141aの示すサブブロックが第1のグループに属するものであると判定された場合には、上記サブブロック符号化データ#141bを、第1予測パラメータ復号部43に伝達
し、グループ判定部41において、サブブロック位置情報#141aの示すサブブロックが第2のグループに属するものであると判定された場合には、上記サブブロック符号化データ#141bを、第2予測パラメータ復号部45に伝達する。
(第1予測パラメータ復号部43)
第1予測パラメータ復号部43は、上記サブブロック符号化データ#141bの復号を行うことによって、符号化データ#1を生成する動画像符号化装置において、サブブロック位置情報#141aが示すサブブロック(予測対象サブブロック)の予測に用いられた予測パラメータ#43を復号し、出力する。
より具体的には、第1予測パラメータ復号部43は、まず、予測対象サブブロックの上または左のサブブロックの予測に用いられた予測パラメータであって、復号済みの予測パラメータを当該予測対象サブブロックに対する推定値に設定する。
続いて、第1予測パラメータ復号部43は、サブブロック符号化データ#141bに含まれるフラグを復号する。
当該フラグが、推定値を用いていることを示している場合には、上記推定値を予測対象サブブロックに対する予測パラメータに設定し、当該フラグが推定値を用いていないことを示している場合には、上記フラグ以外の部分から復号された予測パラメータを予測対象サブブロックに対する予測パラメータに設定する。
なお、予測対象サブブロックの上または左のサブブロックが復号されていない場合には、予測対象サブブロックの上方または左方の復号済みサブブロックであって、予測対象サブブロックに最も近いサブブロックの予測に用いられた予測パラメータを上記推定値として参照すればよい。
なお、復号された予測パラメータ#43は、縮減セット導出部44に対しても供給される。
以上の動作によって、縮減セット導出部44には、第1のグループに属する各サブブロックから復号された予測パラメータ#43が供給される。
(縮減セット導出部44)
縮減セット導出部44は、予測パラメータ#43を蓄積し、縮減された予測パラメータセットRS(以下、「縮減セットRS」と呼ぶ)を生成する。ここで、縮減セットRSとは、第1のグループに属する各サブブロックから復号された予測パラメータ#43を含むセットである。また、縮減セットRSには、予測パラメータ#43以外の予測パラメータが含まれていてもよい。
また、第1のグループに属する複数のサブブロックから、同一の予測パラメータが復号されるような場合には、縮減セット導出部44は、当該同一の予測パラメータについては、1つのみ含むように、縮減セットRSを生成すればよい。換言すれば、縮減セット導出部44は、予測パラメータが重複しないように、縮減セットRSを生成すればよい。例えば、第1のグループに属するサブブロックSB1〜SB16のうち、サブブロックSB1〜SB8のそれぞれから予測パラメータPP1が復号され、サブブロックSB9〜SB16のそれぞれから予測パラメータPP2が復号された場合には、縮減セット導出部44は、予測パラメータPP1および予測パラメータPP2をそれぞれ1つずつ含む縮減セットRSを生成する。
以下では、予測パラメータが、H.264/MPEG−4 AVC規格におけるイントラ予測モードである場合を例にとり、縮減セット導出部44による縮減セットRSの生成動作について、図5および図6の(a)〜(c)を参照して説明する。
図5は、H.264/MPEG−4 AVC規格におけるイントラ予測に用いられるイントラ予測モード(以下、「予測モード」と呼ぶ)、および、各予測モードに付されたインデックスを示す図である。各イントラ予測モードは、イントラ予測に用いられる予測方向を表しており、図5に示すように、H.264/MPEG−4 AVC規格においては、8方向の予測モード(インデックス0,1,3〜8に対応)、および、DC予測モード(インデックス2に対応)が用いられる。以下では、インデックスIによって指定される予測モードを予測モードIと表すことにする。また、予測モード0〜予測モード8から構成されるパラメータセットを基本パラメータセットと呼ぶことにする。
(縮減セットRSの生成例1)
図6の(a)は、縮減セット導出部44における縮減セットRSの生成動作の第1の例を示すフローチャートである。
図6の(a)に示すように、まず、縮減セット導出部44は、縮減セットRSを空に設定することによって、縮減セットRSの初期化を行う(ステップS101)。
続いて、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43を、縮減セットRSに追加する(ステップS102)。例えば、第1のグループに属する各サブブロックから予測モード1、予測モード6、および、予測モード8が復号された場合には、縮減セット導出部44は、予測モード1、予測モード6、および、予測モード8を、縮減セットRSに追加する。
以上の動作を行うことによって、第1の例においては、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43により構成される縮減セットRSを生成することができる。
一般に、マクロブロックを構成する各サブブロックに対して最適な予測パラメータ同士には、相関がある。したがって、第1グループに属する各サブブロックに対して選択された予測パラメータは、第2グループに属する各サブブロックに対しても最適な予測パラメータである可能性が高い。また、上記縮減セットRSに含まれる予測モードの数は、基本パラメータセットに含まれる予測パラメータの数よりも少ない。
したがって、符号化データ#1を生成する動画像符号化装置は、本例の構成に対応する構成をとることによって、符号化効率を犠牲にすることなく、符号量の少ない符号化データ#1を生成することができる。また、動画像復号装置1は、本例の構成をとることによって、そのように生成された符号量の少ない符号化データ#1を復号することができる。
(縮減セットRSの生成例2)
図6の(b)は、縮減セット導出部44における縮減セットRSの生成動作の第2の例を示すフローチャートである。
図6の(b)に示すように、まず、縮減セット導出部44は、縮減セットRSを空に設定することによって、縮減セットRSの初期化を行う(ステップS201)。
続いて、縮減セット導出部44は、追加パラメータセットASを縮減セットRSに追加する(ステップS202)。ここで、追加パラメータセットASには、頻繁に用いられる傾向にある予測パラメータが含まれていることが好ましい。一般に、H.264/MPEG−4 AVC規格の予測モードにおいては、より小さなインデックスによって指定される予測モードは、イントラ予測においてより頻繁に用いられる傾向があるため、インデックス0〜8のうち小さいインデックスによって指定される予測モードが含まれていることが好ましい。例えば、追加パラメータセットASは、予測モード0(垂直方向予測モード)、予測モード1(水平方向予測モード)、および、予測モード2(DC予測モード)を含むように構成されることが好ましい。
また、追加パラメータセットASは、予測モード0、予測モード1、および、予測モード2のうち、少なくとも1つの予測モードが含まれるような構成としてもよい。
続いて、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43を、縮減セットRSに追加する(ステップS203)。ただし、縮減セット導出部44は、予測パラメータ#43のうち、縮減セットRSにすでに含まれている予測パラメータについては、重複を避けるため、縮減セットRSに追加しないことが好ましい。例えば、予測パラメータ#43が、予測モード1、および、予測モード4であり、縮減セットRSに予測モード1、および、予測モード2がすでに含まれているような場合には、縮減セット導出部44は、縮減セットRSに予測モード4のみを追加すればよい。
以上の動作を行うことによって、第2の例においては、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43と、追加パラメータセットに含まれる予測モードとから構成される縮減セットRSを生成することができる。
上記のように縮減セットRSを構築することによって、第1のグループに属する各サブブロックから復号された予測パラメータ#43と、頻繁に用いられる傾向のある予測モードとから構成される縮減セットRSを生成することができる。
したがって、符号化データ#1を生成する動画像符号化装置であって、本例のように動作する縮減セット導出部を備えた動画像符号化装置は、予測残差の符号量がより少ない符号化データ#1を生成することができる。また、本例のように動作する縮減セット導出部44を備えた動画像復号装置1は、そのような予測残差の符号量がより少ない符号化データ#1を復号することができる。
(縮減セットRSの生成例3)
図6の(c)は、縮減セット導出部44における縮減セットRSの生成動作の第3の例を示すフローチャートである。
図6の(c)に示すように、まず、縮減セット導出部44は、縮減セットRSを空に設定することによって、縮減セットRSの初期化を行う(ステップS301)。
続いて、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43を、縮減セットRSに追加する(ステップS302)。
続いて、縮減セット導出部44は、log2(Np−1)が整数であるか否かを判定する(ステップS303)。ここで、Npは、縮減セットRSに含まれる予測パラメータの数である。
log2(Np−1)が整数である場合(ステップS303のYes)には、縮減セット導出部44は、縮減セットRSを出力する。
log2(Np−1)が整数でない場合(ステップS303のNo)には、縮減セット導出部44は、所定の予測パラメータを縮減セットに追加し(ステップS304)、再び、ステップS303の処理を行う。ここで、上記所定の予測パラメータとしては、例えば、基本パラメータセットに含まれる予測モード0〜予測モード8のうち、縮減セットRSに含まれていない予測モードであって、インデックスが最小の予測モードをとればよい。
上述のように、より小さなインデックスによって指定される予測モードは、イントラ予測において、より頻繁に用いられる傾向がある。したがって、縮減セット導出部44は、本ステップにおいて、イントラ予測において、より頻繁に用いられる傾向のある予測モードを縮減セットに追加することになる。
以上の動作を行うことによって、第3の例においては、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43を含む縮減セットであって、2n+1個(nは整数)の予測パラメータを含む縮減セットRSを生成することができる。
一般に、推定値と同じであるか否かを示すフラグと共に予測パラメータを可変長符号化する場合には、予測パラメータの数が、2n+1個(nは整数)である場合に、そうでない場合に比べて、予測パラメータを可変長符号化する際の圧縮効率が高まるという傾向がある。
したがって、縮減セット導出部44は、上記の動作を行うことによって、可変長符号化する際の圧縮効率が高い縮減セットRSを生成することができる。したがって、符号化データ#1を生成する動画像符号化装置であって、本例のように動作する縮減セット導出部を備えた動画像復号装置は、圧縮効率の高い符号化データ#1を生成することができる。また、本例のように動作する縮減セット導出部44を備えた動画像復号装置1は、そのような圧縮効率の高い符号化データ#1を復号することができる。
また、予測パラメータ#43の数が、2n+1個(nは整数)でない場合には、縮減セット導出部44は、上記所定の予測パラメータを含むように縮減セットRSを生成することができるので、より頻繁に用いられる傾向のある予測モードを含んだ縮減セットRSを生成することができる。
(縮減セットRSの生成例4)
図6の(a)〜(c)に示した3種の縮減セットRSの生成例のいずれにおいても、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43のうち、重複するものを除く全種類の予測パラメータを縮減セットRSに追加している。しかし、第1のグループに属するサブブロックから復号された予測パラメータを、全種類ではなく一部の種類のみを追加するような構成としてもよい。
具体的には、第1のグループに属するサブブロックから復号された予測パラメータの集合において、出現割合が所定の値よりも高い予測パラメータのみを縮減セットRSに追加するような構成としてもよい。ここで、予測パラメータの出現割合とは、例えば、第1のグループに属するサブブロックのうち当該予測パラメータが割り付けられたサブブロックの数を、第1のグループに属する全サブブロックの数で割り算することによって定義することができる。例えば、第1のグループに属する全サブブロックの数がNfであり、第1のグループに属するサブブロックのうち予測パラメータPaが復号され割り付けられたサブブロックの数がNpaであるとすると、予測パラメータPの出現割合は、Npa/Nfによって定義することができる。また、上記出現割合は、百分率によって表現することもできる。
また、本生成例を、第1のグループに8つのサブブロック(サブブロックSB1〜SB8)が属している場合について、より具体的に説明すれば以下のとおりである。
例えば、サブブロックSB1、SB2、SB3、SB4に対して予測モード0が復号され、サブブロックSB5、SB6に対して予測モード1が復号され、サブブロックSB7に対して予測モード2が復号され、サブブロックSB8に対して予測モード3が復号された場合であって、上記所定の値を40パーセントに設定した場合には、上記出現割合が50パーセントである予測モード0のみが縮減セットRSに追加される。一方で、上記所定の値を20パーセントに設定した場合には、上記出現割合が50パーセントである予測モード0、および、上記出現割合が25パーセントである予測モード1が縮減セットRSに追加される。
一般に、マクロブロックに含まれるサブブロックの数が多い場合には、縮減セットRSに多数の予測パラメータが含まれてしまうことによって、符号量を効果的に削減することが困難になる場合も生じ得る。
本生成例によれば、縮減セット導出部44は、第1のグループに属するサブブロックから復号された予測パラメータの集合において、出現割合が所定の値よりも高い予測パラメータのみを縮減セットRSに追加するので、サブブロックの数が多い場合に符号量を効果的に削減することが困難になる場合が生じるという上記の課題を解決することができる。
以上、縮減セットRSの生成例1〜4において説明したように、縮減セットRSは、第1のグループに属する予測パラメータに基づいて生成することができる。より厳密には、縮減セットRSは、少なくとも、第1のグループに属する予測パラメータの種類、または、第1のグループに属する各予測パラメータの出現割合、のいずれかに基づいて生成することができる。
(第2予測パラメータ復号部45)
続いて、第2予測パラメータ復号部45の動作について、図7を参照して説明する。第2予測パラメータ復号部45は、サブブロック符号化データ#141bに含まれる各サブブロックについての符号化データのうち、グループ判定部41において、第2のグループに属すると判定された各サブブロックの予測に用いられる予測パラメータPを復号する。
換言すれば、第2予測パラメータ復号部45は、サブブロック符号化データ#141bに含まれる、予測パラメータに関する情報であって、第2のグループに属する各サブブロックについての予測パラメータに関する情報を参照し、第2のグループに属する各サブブロックの予測に用いられる予測パラメータPを復号する。
また、復号された予測パラメータPは、予測パラメータ#45として、出力される。
図7は、第2予測パラメータ復号部45における復号処理の流れの一例を示すフローチャートである。
図7に示すように、まず、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータの数Nを計数する(ステップS501)。
続いて、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータの数Nが1であるか否かを判定する(ステップS502)。
N=1である場合(ステップS502のYes)、第2予測パラメータ復号部45は、縮減セットに含まれる唯一の予測パラメータを予測パラメータPに設定する(ステップS503)。
N=1でない場合(ステップS502のNo)、第2予測パラメータ復号部45は、予測パラメータ推定値Qを導出する(ステップS504)。ここで、予測パラメータ推定値Qとは、予測対象サブブロックの上または左に隣接するサブブロックの予測に用いられた予測パラメータのことである。また、予測対象サブブロックの上または左に隣接するサブブロックが復号されていない場合には、予測対象サブブロックの上方または左方の復号済みサブブロックであって、予測対象サブブロックに最も近いサブブロックの予測に用いられた予測パラメータを上記推定値Qとすればよい。
続いて、第2予測パラメータ復号部45は、復号対象の予測パラメータが、予測パラメータ推定値Qと同一であるか否かのフラグを復号し、復号した値を変数aに代入する。
以下では、予測パラメータ推定値Qが、縮減セットRSに含まれる何れかの予測パラメータと同一である場合を例に挙げ説明する。また、以下では、変数aの値が1である場合が、復号対象の予測パラメータが予測パラメータ推定値Qと同一である場合に対応し、変数aの値が1でない場合が、復号対象の予測パラメータが予測パラメータ推定値Qと同一でない場合に対応するものとして説明を行う。
続いて、第2予測パラメータ復号部45は、変数aの値が1であるか否かを判定する(ステップS506)。
変数aの値が1である場合(ステップS506のYes)には、予測パラメータ推定値Qを、予測パラメータPに設定する(ステップS507)。
変数aの値が1でない場合(ステップS506のNo)には、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータの数Nが2であるか否かの判定を行う(ステップS508)。
N=2である場合(ステップS508のYes)、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータであって、予測パラメータ推定値Qに一致しない予測パラメータを予測パラメータPに設定する(ステップS509)。
N=2でない場合(ステップS508のNo)、第2予測パラメータ復号部45は、ceil(log2(N−1))ビットの長さのビット列を復号し、復号した値を変数bに代入する(ステップS510)。ここで、ceil(…)は、括弧内の値以上の整数のうち、最小の整数を値にもつ天井関数である(以下同様)。したがって、ceil(…)は、括弧内の値が正である場合には、括弧内の値を切り上げ整数化する関数であると表現することもできる。
例えば、N=5である場合、第2予測パラメータ復号部45は、ceil(log2(5−1))=2ビットの長さのビット列を復号し、復号した値を変数bに代入する。ここで、変数bの値は、ビット列の長さが2ビットであることに対応して、b=0、1、2、3のうち、何れかの値をとる。
続いて、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータであって、予測パラメータ推定値Qに一致しない予測パラメータのうち、(b+1)番目に小さいインデックスを有する予測パラメータを、予測パラメータPに設定する(ステップS511)。
例えば、変数bの値が0である場合には、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータであって、予測パラメータ推定値Qに一致しない予測パラメータのうち、1番目に小さいインデックスを有する予測パラメータを、予測パラメータPに設定する。
なお、ステップS504において説明した処理によって導出された予測パラメータ推定値Qが、縮減セットRSに含まれる何れの予測パラメータとも同一でない場合には、上記予測パラメータ推定値Qとして、縮減セットRSに含まれる予測パラメータのうち、最も小さいインデックスが付された予測パラメータを用いればよい。
以上が、第2予測パラメータ復号部45による復号処理の一例である。第2予測パラメータ復号部は、上記のような処理によって復号された予測パラメータPを予測パラメータ#45として出力する。
以上のように、動画像復号装置1は、原画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データを復号する画像復号装置であって、予測画像を構成する複数の単位領域の各々に含まれる複数の予測単位を第1のグループまたは第2のグループに分類する分類手段(グループ判定部41)を備え、上記選択情報のうち、第1のグループに属する各予測単位についての選択情報である第1の選択情報(サブブロック符号化データ#141bに含まれる、予測パラメータに関する情報であって、第1のグループに属する各サブブロックについての予測パラメータに関する情報)を参照し、第1のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、予め定められた予測パラメータよりなる基本セットから選択する第1の選択手段(第1予測パラメータ復号部43)と、上記選択情報のうち、第2のグループに属する各予測単位についての選択情報である第2の選択情報(サブブロック符号化データ#141bに含まれる、予測パラメータに関する情報であって、第2のグループに属する各サブブロックについての予測パラメータに関する情報)を参照し、第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、上記第1の選択手段(第1予測パラメータ復号部43)によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットRSから選択する第2の選択手段(第2予測パラメータ復号部45)と、を含んでいることを特徴としている。
(予測パラメータ復号部144の他の構成例)
予測パラメータ復号部144に関する上記の説明においては、縮減セット導出部44がマクロブロック毎に縮減セットRSを生成する構成について述べたが、本発明はこれに限定されるものではない。
予測パラメータ復号部144においては、例えば、縮減セット導出部44が、サブブロック毎に縮減セットRSを生成し、第2予測パラメータ復号部45が、サブブロック毎に生成された縮減セットRSに基づいて、予測対象サブブロックに対する予測パラメータを復号するような構成としてもよい。
このような構成においては、縮減セット導出部44は、図8の(a)に示すように、以下の処理を行うことによって縮減セットRSを生成することができる。
(ステップS701)
まず、縮減セット導出部44は、縮減セットRSを空に設定することによって、縮減セットRSの初期化を行う。
(ステップS702)
続いて、縮減セット導出部44は、予測対象サブブロックの周辺のサブブロックから構成される領域を近傍サブブロック領域NSRに設定する。
図8の(b)は、近傍サブブロック領域NSRの一例を示す図である。図8の(b)に示すように、近傍サブブロック領域NSRは、例えば、予測対象サブブロックの周辺のサブブロックであって、予測対象サブブロックからの距離が、サブブロックを単位として1〜3市街地距離以内であるサブブロックから構成することができる。ここで、市街地距離とは、2点間の座標に対して、各座標の差の絶対値の和によって定義される距離のことである。
また、図8の(b)に示すように、近傍サブブロック領域NSRは、一般に、予測対象サブブロックが属するマクロブロック以外のマクロブロックに属するサブブロックを含んでいてもよい。
(ステップS703)
続いて、縮減セット導出部44は、近傍サブブロック領域NSRに含まれる各サブブロックに対する予測パラメータのうち、復号済みの予測パラメータを縮減セットRSに追加する。
なお、近傍サブブロック領域NSRに含まれる複数のサブブロックに対して同一の予測パラメータが対応している場合には、縮減セット導出部44は、縮減セットRSに対して、当該同一のパラメータを1つのみ追加すればよい。
以上の動作を行うことによって、縮減セット導出部44は、マクロブロック毎に縮減セットRSを生成することができる。また、第2予測パラメータ復号部45は、サブブロック毎に生成された縮減セットRSに基づいて、予測対象サブブロックに対する予測パラメータを復号することができる。
一般に、予測対象サブブロックに対する予測パラメータは、当該予測対象サブブロックの周辺のサブブロックに対する予測パラメータと相関がある。したがって、上記の処理によって生成された縮減セットRSに含まれる予測パラメータは、第2グループに属するサブブロックの予測において最も適切な予測パラメータを含む可能性が高い。また、上記の処理によって生成された縮減セットRSに含まれる予測パラメータの数は、一般に、第1のグループに対して選択可能な予測パラメータの数に比べて、少ない。
したがって、符号化データ#1を生成する動画像符号化装置は、上記の構成に対応する構成をとることによって、符号化効率を犠牲にすることなく、符号量の少ない符号化データ#1を生成することができる。また、動画像復号装置1は、上記の構成をとることによって、そのように生成された符号量の少ない符号化データ#1を復号することができる。
なお、近傍サブブロック領域NSRに含まれる複数のサブブロックについて、復号済みの予測パラメータが存在しない場合には、第2予測パラメータ復号部45は、例えば、基本パラメータセットから予測パラメータを選択するような構成とすればよい。
また、本構成例における縮減セット導出部44は、(縮減セットRSの生成例1)〜(縮減セットRSの生成例4)において説明した処理とほぼ同様の処理によって、縮減セットRSを導出するような構成としてもよい。ただし、その場合、(縮減セットRSの生成例1)〜(縮減セットRSの生成例4)における「第1のグループ」を、本構成例における「近傍サブブロック領域NSR」と読み替えるものとする。
また、上記の説明では、縮減セットRSは、第2のグループに対して用いられるものとしたが、本発明はこれに限定されるものではない。上述した処理は、マクロブロック内の全てのサブブロックに対して適用することができる。すなわち、マクロブロック内の全てのサブブロックに対して、サブブロック毎に生成された縮減セットRSに基づいて、予測パラメータを復号するような構成としてもよい。
符号化データ#1を生成する動画像符号化装置は、上記の構成に対応する構成をとることによって、マクロブロック内の全てのサブブロックに対する予測パラメータの符号量をさらに削減することができる。したがって、上記動画像符号化装置は、符号量のより少ない符号化データ#1を生成することができる。また、動画像復号装置1は、上記の構成をとることによって、そのように生成された符号化データ#1を復号することができる。
(予測画像生成部145)
以下では、予測画像生成部145における予測画像#145の生成処理について説明する。
予測画像生成部145は、予測パラメータ#144の示す予測方向(予測モード)に応じて、予測画像#145(予測対象サブブロック)における各画素(予測対象画素)の予測画素値を、例えば、以下のように生成する。なお、以下では、予測パラメータ#144が、図5に示す予測モード0〜予測モード8のうち何れかである場合を例に挙げ説明を行う。
予測画像生成部145は、予測対象画素に対して、予測パラメータ#144の示す予測モードを割り付けた後、以下の動作を行う。
・割り付けられた予測モードが予測モード2(DC予測)以外である場合、予測画像生成部145は、予測対象画素の画素位置を始点とする、予測方向の逆方向を向いた仮想線分上に位置する復号済み画素のうち、当該画素に最も近い画素(以下、最近接画素と呼ぶ)の画素値を、当該予測対象画素の画素値とする。また、最近接画素の画素値、および、最近接画素の周辺の画素の画素値を用いて算出される値を、当該予測対象画素の画素値としてもよい。
・割り付けられた予測モードが予測モード2である場合であって、予測対象サブブロックの上側に隣接するサブブロック(以下、上サブブロックと呼ぶ)および左側に隣接するサブブロック(以下、左サブブロックとよぶ)が復号済みである場合には、上サブブロックの最下列の画素の画素値および左サブブロックの最右列の画素の画素値の平均値を、予測対象画素の画素値とする。
・割り付けられた予測モードが予測モード2である場合であって、上サブブロックが復号済みであり、左サブブロックが復号済みでない場合には、上サブブロックの最下列の画素の画素値、および、予測対象サブブロックの左方のサブブロックであって予測対象サブブロックに最も近いサブブロック(以下、左最近接サブブロックと呼ぶ)内の最右列の画素の画素値、の平均値を、予測対象画素の画素値とする。
・割り付けられた予測モードが予測モード2である場合であって、上サブブロックが復号済みでなく、左サブブロックが復号済みである場合には、予測対象サブブロックの上方のサブブロックであって予測対象サブブロックに最も近いサブブロック(以下、上最近接サブブロックと呼ぶ)内の最下列の画素の画素値、および、左サブブロックの最右列の画素の画素値、の平均値を、予測対象画素の画素値とする。
・割り付けられた予測モードが予測モード2である場合であって、上サブブロック、および、左サブブロックの何れも復号済みでない場合には、上最近接サブブロックの最下列の画素の画素値、および、左最近接サブブロックの最右列の画素の画素値、の平均値を、予測対象画素の画素値とする。
以下では、予測対象サブブロックが4×4画素である場合における、予測画像生成部145による予測画像#145の生成処理の例を図9を参照してより具体的に説明する。
図9は、4×4画素である予測対象サブブロックの各画素(予測対象画素)と、当該予測対象サブブロックの周辺の画素(参照画素)とを示す図である。図9に示すように、予測対象画素には符号a〜p、参照画素には符号A〜Mを付し、画素X(Xはa〜p、A〜Mの何れか)の画素値をXと表すことにする。また、参照画素A〜Mは、何れも復号済みであるとする。
(予測モード0)
割り付けられた予測モードが予測モード0である場合、予測画像生成部145は、画素値a〜pを、以下の式
a,e,i,m=A,
b,f,j,n=B,
c,g,k,o=C,
d,h,l,p=D
によって生成する。
(予測モード2)
割り付けられた予測モードが予測モード2(DC予測)である場合、予測画像生成部145は、画素値a〜pを以下の式
a〜p=ave(A,B,C,D,I,J,K,L)
によって生成する。ここで、ave(…)は、括弧内に含まれる要素の平均をとることを示している。
(予測モード4)
割り付けられた予測モードが予測モード4である場合、予測画像生成部145は、画素値a〜pを以下の式
d=(B+(C×2)+D+2)>>2,
c,h=(A+(B×2)+C+2)>>2,
b,g,l=(M+(A×2)+B+2)>>2,
a,f,k,p=(I+(M×2)+A+2)>>2,
e,j,o=(J+(I×2)+M+2)>>2,
i,n=(K+(J×2)+I+2)>>2,
m=(L+(K×2)+J+2)>>2
によって生成する。ここで、「>>」は右シフト演算を表し、任意の正の整数x、sに対し、x>>sの値は、x÷(2^s)の少数部分を切り捨てた値と等しい。
また、予測画像生成部145は、上記の予測モード以外の予測モードに対しても、同様の方法によって画素値a〜pを算出することができる。
<動画像復号装置に関する付記事項>
以上、本発明に係る動画像復号装置について説明を行ったが、本発明は、以上の構成に限定されるものではない。
(付記事項1)
例えば、第2予測パラメータ復号部45は、符号化データ#1に含まれるフラグに応じて、予測パラメータ#45を復号する際に縮減セットRSを利用するか否かを切り替えるような構成としてもよい。
より具体的には、例えば、第2予測パラメータ復号部45は、符号化データ#1に含まれるフラグの値が1である場合には、縮減セットRSを用いて予測パラメータ#45を復号し、符号化データ#1に含まれるフラグの値が0である場合には、縮減セットRSに代えて、基本パラメータセットを用いて予測パラメータ#45を復号するような構成としてもよい。
このような構成とすることによって、予測パラメータ#45を復号する際の処理量を減らすことができる。
(付記事項2)
また、第2予測パラメータ復号部45は、マクロブロックに含まれるサブブロックの数に応じて、予測パラメータ#45を復号する際に縮減セットRSを利用するか否かを切り替えるような構成としてもよい。
より具体的には、マクロブロックに含まれるサブブロックの数が16個以上である場合には、縮減セットRSを用いて予測パラメータ#45を復号し、マクロブロックに含まれるサブブロックの数が16個未満である場合には、縮減セットRSに代えて、基本パラメータセットを用いて予測パラメータ#45を復号するような構成としてもよい。
このような構成とすることによって、予測パラメータ#45を復号する際の処理量を減らすことができる。
(付記事項3)
また、以上の説明においては、基本パラメータセットとして、図5に示すような予測パラメータのセットを用いたが、本発明はこれに限定されるものではない。
例えば、予測パラメータ復号部144は、基本パラメータセットとして、図16(a)に示すような、水平方向を重視したパラメータセット、または、図16(b)に示すような、垂直方向を重視したパラメータセットを用いるような構成としてもよい。
より具体的には、例えば、予測パラメータ復号部144は、マクロブロック内に水平方向のエッジが存在するような場合には、基本パラメータセットとして、図16(a)に示すような、水平方向を重視したパラメータセットを用い、マクロブロック内に垂直方向のエッジが存在するような場合には、基本パラメータセットとして、図16(b)に示すような、垂直方向を重視したパラメータセットを用いるような構成とすることが可能である。
また、そのような複数の基本パラメータセットを選択的に用いる場合であって、図16(a)または(b)に示すパラメータセットが基本パラメータセットに選択された場合には、第2予測パラメータ復号部45は、縮減セットRSを用いて予測パラメータ#45を復号し、図5に示すパラメータセットが基本パラメータセットに選択された場合には、第2予測パラメータ復号部45は、縮減セットRSに代えて、当該基本パラメータセットを用いて予測パラメータ#45を復号するような構成としてもよい。
このような構成とすることによって、マクロブロック内の画像の特性に応じて、縮減セットRSを利用することができる。
(動画像符号化装置)
以下では、本実施形態に係る動画像符号化装置(画像符号化装置)2について、図10〜図14を参照して説明する。図10は、動画像符号化装置2の構成を示すブロック図である。図10に示すように、動画像符号化装置2は、ヘッダ情報決定部21、ヘッダ情報符号化部22、MB設定部23、MB符号化部24、可変長符号多重化部25、MB復号部26、および、フレームメモリ27を備えている。
動画像符号化装置2は、概略的に言えば、入力画像#100を符号化することによって符号化データ#1を生成し、出力する装置である。
ヘッダ情報決定部21は、入力画像#100に基づいて、ヘッダ情報を決定する。決定されたヘッダ情報はヘッダ情報#21として出力される。ヘッダ情報#21には、入力画像#100の画像サイズが含まれる。ヘッダ情報#21は、MB設定部23に入力されると共に、ヘッダ情報符号化部22に供給される。
ヘッダ情報符号化部22は、ヘッダ情報#21を符号化し、符号化済ヘッダ情報#22を出力する。符号化済ヘッダ情報#22は、可変長符号多重化部25に供給される。
MB設定部23は、ヘッダ情報#21に基づいて、入力画像#100を複数のマクロブロックに分割し、各マクロブロックに関するマクロブロック画像#23を出力する。マクロブロック画像#23は、MB符号化部24に順次供給される。
MB符号化部24は、順次入力されるマクロブロック画像#23を符号化し、MB符号化データ#24を生成する。生成されたMB符号化データ#24は、可変長符号多重化部25に供給される。MB符号化部24の構成については、後述するため、ここでは説明を省略する。
可変長符号多重化部25は、符号化済ヘッダ情報#22と、MB符号化データ#24とを多重化することによって符号化データ#1を生成し、出力する。
MB復号部26は、入力された個々のマクロブロックに対応するMB符号化データ#24を順次復号することにより、個々のマクロブロックに対応する復号画像#26を生成し、出力する。復号画像#26は、フレームメモリ27に供給される。
フレームメモリ27には、入力された復号画像#26が記録される。特定のマクロブロックを符号化する時点では、当該マクロブロックよりもラスタスキャン順で先にある全てのマクロブロックに対応する復号画像がフレームメモリに記録されている。
(MB符号化部24)
以下では、MB符号化部24について、参照する図面を替えてより具体的に説明する。
図11は、MB符号化部24の構成を示すブロック図である。図11に示すように、MB符号化部24は、サブブロック分割部241、予測パラメータ決定部242、予測パラメータ符号化部243、予測残差生成部244、変換係数符号化部245、予測残差復号部246、サブブロック復号画像生成部247、予測画像生成部248、および、MB符号化データ生成部249を備えている。
サブブロック分割部241は、マクロブロック画像#23を複数のサブブロックに分割し、マクロブロックを構成する各サブブロックの当該マクロブロック内での位置を示すサブブロック位置情報#241a、および、サブブロック位置情報#241aが示すサブブロックに関する画像データであるサブブロック画像#241bを所定の順序で順次出力する。
なお、サブブロック分割部241は、後述する第1グループに属するサブブロックに関するサブブロック位置情報#241a、および、サブブロック画像#241bを出力したのち、後述する第2グループに属するサブブロックに関するサブブロック位置情報#241a、および、サブブロック画像#241bを出力するような構成とすることが好ましい。例えば、第1グループに属するサブブロックをラスタスキャン順に走査し、続いて、第2グループに属するサブブロックをラスタスキャン順に走査するような構成とすることが好ましい。
予測パラメータ決定部242は、サブブロック位置情報#241aが示すサブブロックに関する予測画像の生成に用いられる予測パラメータ#242を決定し、出力する。また、予測パラメータ符号化部243は、予測パラメータ#242を符号化し、符号化予測パラメータ#243を出力する。予測パラメータ決定部242および予測パラメータ符号化部243の構成については、後述するため、ここでは説明を省略する。
予測残差生成部244は、サブブロック位置情報#241aに基づいて、予測対象となるサブブロックを特定し、当該サブブロックにおける、サブブロック画像#241bと、予測画像生成部248によって生成された予測画像#248との差分画像である予測残差#244を生成する。
変換係数符号化部245は、予測残差#244に対して、サブブロックのサイズと同一のサイズの周波数変換を適用して、予測残差#244の変換係数を生成する。
また、変換係数符号化部245は、上記変換係数を量子化して量子化変換係数#245aを生成した後、当該量子化変換係数#245aに対して、CABACやCAVLC等の可変長符号化方法を適用して可変長符号を生成し、当該可変長符号を符号化データ#245bとして出力する。
予測残差復号部246は、量子化変換係数#245aを逆量子化し、その後、周波数変換の逆変換(逆周波数変換)を適用することによって、復号残差#246を生成して出力する。
なお、予測残差生成部244、変換係数符号化部245、および、予測残差復号部246による上記の処理は、本発明を限定するものではない。例えば、変換係数符号化部245は、上記周波数変換を省略し、予測残差を直接量子化するようにしてもよい。
サブブロック復号画像生成部247は、予測画像#248と復号残差#246とを加算することによってサブブロック復号画像#247を生成し、出力する。
予測画像生成部248は、予測パラメータ#242、復号画像#27、および、サブブロック復号画像#247に基づいて、予測対象サブブロックに対応する予測画像#248を生成し、出力する。予測画像生成部248における予測画像#248の具体的な生成方法は、例えば、上述した予測画像生成部145における予測画像#145の生成方法と同様の方法を適用することができる。
MB符号化データ生成部249は、各サブブロックに関する符号化データ#245b、および、各サブブロックに関する符号化予測パラメータ#243を蓄積し、マクロブロック単位に統合することによって、マクロブロック単位の符号化データであるMB符号化データ#24を生成し、出力する。
以下では、参照する図面を替えて、予測パラメータ決定部242、および、予測パラメータ符号化部243について説明する。
(予測パラメータ決定部242)
図12は、予測パラメータ決定部242の構成を示すブロック図である。図12に示すように、予測パラメータ決定部242は、グループ判定部51、スイッチ部52、第1予測パラメータ決定部53、縮減セット導出部54、および、第2予測パラメータ決定部55を備えている。
グループ判定部51は、サブブロック位置情報#241aが示すサブブロックを、複数のグループのうち何れかのグループに分類し、分類結果を示すグループ情報#51をスイッチ部52に対して出力する。
グループ判定部51は、例えば、すでに説明した図4の(a)〜(f)のように、各サブブロックを、第1のグループまたは第2のグループの何れかに分類することができる。
また、グループ判定部51は、マクロブロックごとに異なる分類方法を用いて、各サブブロックを複数のグループのうち何れかのグループに分類してもよい。例えば、マクロブロックMB1を構成する各サブブロックを、図4の(a)〜(b)に示すように、2つのグループに分類し、マクロブロックMB1と異なるマクロブロックMB2を構成する各サブブロックを、図4の(c)〜(d)に示すように、2つのグループに分類するような構成としてもよい。このように、各マクロブロックに対して、複数の分類方法のうち、何れかの分類方法を用いる場合には、グループ判定部51は、何れの分類方法を用いたかを示すフラグを出力することが好ましい。当該フラグを、符号化データ#1を復号する動画像復号装置に伝送することによって、当該動画像復号装置は、グループ判定部51において何れの分類方法が用いられたかを識別することができる。
スイッチ部52は、グループ情報#51に基づいて、サブブロック位置情報#241aが示すサブブロックに関する符号化データであるサブブロック符号化データ#241bを、第1予測パラメータ決定部53、または、第2予測パラメータ決定部55のうち、何れかのパラメータ決定部に伝達する。
具体的には、スイッチ部52は、グループ判定部51において、サブブロック位置情報#241aの示すサブブロックが第1のグループに分類された場合には、上記サブブロック符号化データ#241bを、第1予測パラメータ決定部53に伝達し、グループ判定部51において、サブブロック位置情報#241aの示すサブブロックが第2のグループに分類された判定された場合には、上記サブブロック符号化データ#241bを、第2予測パラメータ決定部55に伝達する。
第1予測パラメータ決定部53は、復号画像#27、サブブロック復号画像#247、および、サブブロック符号化データ#241bに基づいて、第1グループに属する各サブブロックに関する予測画像の生成に用いられる予測パラメータ#53を決定(選択)し、出力する。また、予測パラメータ#53は、縮減セット導出部54にも供給される。
例えば、予測パラメータが、H.264/MPEG−4 AVC規格におけるイントラ予測モードである場合には、第1予測パラメータ決定部53は、第1グループに属する各サブブロックに対して、すでに説明した図5に示した基本パラメータセットのうち、何れかの予測モードを選択し、出力する。
なお、第1予測パラメータ決定部53における具体的な予測パラメータ#53の決定方法は、本発明を限定するものではないが、例えば、第1予測パラメータ決定部53は、第1グループに属する各サブブロックに対して、当該サブブロックにおける予測画像と入力画像#100との差分が最も小さくなるように予測パラメータ#53を決定するようにすればよい。例えば、第1予測パラメータ決定部53は、第1グループに属するサブブロックSB1に対して、基本パラメータセットのうち、予測モード1を用いて生成された予測画像と入力画像#100との差分が最も小さくなるような場合には、当該サブブロックSB1に対して、予測モード1を選択し、第1グループに属するサブブロックSB2に対して、基本パラメータセットのうち、予測モード2を用いて生成された予測画像と入力画像#100との差分が最も小さくなるような場合には、当該サブブロックSB2に対して、予測モード2を選択するような構成とすればよい。
図13の(a)は、第1予測パラメータ決定部53が、マクロブロックMBを構成する各サブブロックのうち、第1グループに属する各サブブロックに対して選択した予測モードの例を示す図である。図13の(a)に示した例では、第1予測パラメータ決定部53によって、第1グループに属する各サブブロックに対して、予測モード1、予測モード6、または、予測モード8のうち、何れかの予測モードが選択されている。本例においては、予測モード1、予測モード6、および、予測モード8は、予測パラメータ#53として、縮減セット導出部54に供給される。
以上の動作によって、縮減セット導出部54には、第1のグループに属する各サブブロックに関する予測パラメータ#53が供給される。
縮減セット導出部54の構成は、すでに説明した縮減セット導出部44と同様である。すなわち、縮減セット導出部54は、予測パラメータ#53を用いて、縮減セットRSを生成する。縮減セット導出部54における縮減セットRSの生成方法は、すでに説明した縮減セット導出部44における縮減セットRSの生成方法と同様である。
なお、縮減セット導出部54において、複数の生成方法が選択的に用いられるような場合には、縮減セット導出部54は、何れの生成方法を選択したのかを示すフラグを出力することが好ましい。当該フラグを、符号化データ#1を復号する動画像復号装置に伝送することによって、当該動画像復号装置は、縮減セット導出部54において何れの生成方法が用いられたかを識別することができる。
図13の(b)は、図13の(a)に示した各予測モードが予測パラメータ#53として供給された場合に、縮減セット導出部54が生成する縮減セットRSの一例を示す図である。図13の(b)に示すように、本例においては、縮減セットRSは、予測モード1、予測モード8、および、予測モード6から構成されている。
第2予測パラメータ決定部55は、第2グループに属する各サブブロックに関する予測画像の生成に用いられる予測パラメータ#55を、縮減セットRSに含まれる予測パラメータから選択し、出力する。
第2予測パラメータ決定部55における具体的な予測パラメータ#55の決定方法は、本発明を限定するものではないが、例えば、第2予測パラメータ決定部55は、第2グループに属する各サブブロックに対して、当該サブブロックにおける予測画像が最も適切に生成できる予測パラメータ#55を、縮減セットRSに含まれる予測パラメータから選択するようにすればよい。
図13の(c)は、第2予測パラメータ決定部55が、マクロブロックMBを構成する各サブブロックのうち、第2グループに属する各サブブロックに対して、図13の(b)に示した縮減セットRSから選択した予測モードの例を示す図である。図13の(c)に示すように、第2ブロックに属する各サブブロックに対して、図13の(b)に示した縮減セットRSに含まれる予測モード1、予測モード6、または、予測モード8のうち何れかの予測モードが選択されている。
一般に、マクロブロックを構成する各サブブロックに対して最適な予測パラメータ同士には、相関がある。したがって、第1グループに属する各サブブロックに対して選択された予測パラメータは、第2グループに属する各サブブロックに対しても最適な予測パラメータである可能性が高い。
また、上述のように、第2予測パラメータ決定部55は、第2グループに属する各サブブロックに対する予測パラメータ#55を縮減セットRSに含まれる予測パラメータから選択するので、縮減セットRSを用いない場合に比べて、予測パラメータ#55の符号量を削減することができる。
例えば、後述するように、推定値と同じであるか否かを示すフラグと共に予測モードを符号化する場合、図13の(b)に示した縮減セットRSに含まれる3つの予測モードは、ceil(log2(3−1))=1ビットの符号量を用いて符号化することができる。一方で、第2予測パラメータ決定部55が、縮減セットRSを用いずに、9つの予測モードから構成される基本パラメータセットから予測パラメータを選択する場合には、ceil(log2(9−1))=3ビットの符号量が必要になる。また、上記の例においては、第2グループは8個のサブブロックから構成されているため、縮減セットRSを用いることによって、縮減セットRSを用いない場合に比べて、マクロブロック毎に、3×8−1×8=16ビットの符号量を削減することができる。
一般に、推定値と同じであるか否かを示すフラグと共に予測パラメータを符号化する場合、第1グループに属する各サブブロックに対して選択可能な予測パラメータの数をNfs、縮減セットRSに含まれる予測パラメータの数をNrs、第2グループに含まれるサブブロックの数をNgsと表すことにすると、縮減セットRSを用いることによって、縮減セットRSを用いない場合に比べて、マクロブロック毎に、Ngs×(ceil(log2(Nfs−1))−ceil(log2(Nrs−1)))ビットの符号量を削減することができる。
このように、縮減セットRSを用いることによって、符号化効率を犠牲にすることなく、予測パラメータの符号化に必要な符号量を削減することができる。
(予測パラメータ決定部242の他の構成例)
予測パラメータ決定部242に関する上記の説明においては、縮減セット導出部54がマクロブロック毎に縮減セットRSを生成する構成について述べたが、本発明はこれに限定されるものではない。
すなわち、予測パラメータ決定部242においては、縮減セット導出部54が、サブブロック毎に縮減セットRSを生成し、第2予測パラメータ決定部55が、サブブロック毎に生成された縮減セットRSに基づいて、予測対象サブブロックに対する予測パラメータを決定するような構成としてもよい。
このような構成においては、縮減セット導出部54は、(予測パラメータ復号部144の他の構成例)の(ステップS701)〜(ステップS703)において説明した縮減セット導出部44の動作と同様の動作を行うような構成とすればよい。ただし、(予測パラメータ復号部144の他の構成例)の(ステップS701)〜(ステップS703)における、復号済みの予測パラメータは、本例においては、符号化済みの予測パラメータに対応する。
これによって、縮減セット導出部54は、サブブロック毎に縮減セットRSを生成することができる。また、第2予測パラメータ決定部55は、サブブロック毎に生成された縮減セットRSに基づいて、予測対象サブブロックに対する予測パラメータを決定することができる。
一般に、予測対象サブブロックに対する予測パラメータは、当該予測対象サブブロックの周辺のサブブロックに対する予測パラメータと相関がある。したがって、上記の処理によって生成された縮減セットRSに含まれる予測パラメータは、第2グループに属するサブブロックの予測において最も適切な予測パラメータを含む可能性が高い。また、上記の処理によって生成された縮減セットRSに含まれる予測パラメータの数は、一般に、第1のグループに対して選択可能な予測パラメータの数に比べて、少ない。
したがって、動画像符号化装置1は、上記の構成をとることによって、符号化効率を犠牲にすることなく、符号量の少ない符号化データ#1を生成することができる。
なお、近傍サブブロック領域NSRに含まれる複数のサブブロックについて、符号化済みの予測パラメータが存在しない場合には、第2予測パラメータ決定部55は、例えば、基本パラメータセットから予測パラメータを選択するような構成とすればよい。
また、本構成例における縮減セット導出部54は、(縮減セットRSの生成例1)〜(縮減セットRSの生成例4)において説明した処理とほぼ同様の処理によって、縮減セットRSを導出するような構成としてもよい。ただし、その場合、(縮減セットRSの生成例1)〜(縮減セットRSの生成例4)における「第1のグループ」を、本構成例における「近傍サブブロック領域NSR」と読み替えるものとする。
また、上記の説明では、縮減セットRSは、第2のグループに対して用いられるものとしたが、本発明はこれに限定されるものではない。上述した処理は、マクロブロック内の全てのサブブロックに対して適用することができる。すなわち、マクロブロック内の全てのサブブロックに対して、サブブロック毎に生成された縮減セットRSに基づいて、予測パラメータを決定するような構成としてもよい。
上記の構成をとることによって、マクロブロック内の全てのサブブロックに対する予測パラメータの符号量を削減することができる。したがって、動画像符号化装置1は、上記の構成をとることにより、符号量のより少ない符号化データ#1を生成することができる。
(予測パラメータ符号化部243)
続いて、図14を参照して、予測パラメータ符号化部243について説明する。図14は、予測パラメータ符号化部243の構成を示すブロック図である。図14に示すように、予測パラメータ符号化部243は、グループ判定部61、スイッチ部62、第1予測パラメータ符号化部63、縮減セット導出部64、および、第2予測パラメータ符号化部65を備えている。
グループ判定部61は、すでに説明したグループ判定部51とほぼ同様の構成である。すなわち、グループ判定部61は、サブブロック位置情報#241aが示すサブブロックを、予め定められた複数のグループのうち何れかのグループに分類し、分類結果を示すグループ情報#61をスイッチ部62に対して出力する。なお、グループ判定部61は、グループ判定部51において用いられた分類方法と同じ分類方法を用いて、各サブブロックを予め定められた複数のグループのうち何れかのグループに分類すればよい。
スイッチ部62は、グループ情報#61に基づいて、サブブロック位置情報#241aが示すサブブロックに関する予測パラメータ#242を、第1予測パラメータ符号化部63、または、第2予測パラメータ符号化部65のうち、何れかのパラメータ符号化部に伝達する。
具体的には、スイッチ部62は、グループ判定部61において、サブブロック位置情報#241aの示すサブブロックが第1のグループに分類された場合には、上記予測パラメータ#242を、第1予測パラメータ符号化部63、および、縮減セット導出部64に伝達し、グループ判定部61において、サブブロック位置情報#241aの示すサブブロックが第2のグループに分類された場合には、上記予測パラメータ#242を、第2予測パラメータ符号化部65に伝達する。
第1予測パラメータ符号化部63は、第1グループに属する各サブブロックに関する予測パラメータ#242を符号化することによって、符号化予測パラメータ#63を生成し、出力する。
具体的には、第1予測パラメータ符号化部63は、まず、第1グループに属する各サブブロックの周辺のサブブロックに対して選択された予測パラメータを当該サブブロックに対する推定値に設定する。
続いて、第1予測パラメータ符号化部63は、当該サブブロックに対して選択された予測パラメータが、推定値と異なるか否かを示すフラグを符号化し、さらに、当該サブブロックに対して選択された予測パラメータが推定値と異なる場合には、当該予測パラメータを符号化する。
ここで、各サブブロックの予測パラメータが基本パラメータセットから選択されている場合には、予測パラメータは、フラグを含めて1ビットまたは4ビットの符号によって表現することができる。
上記のように、推定値を用いた符号化を行うことによって、第1グループに属する各サブブロックに関する予測パラメータ#242を符号化する際の圧縮率を高めることができる。
なお、第1予測パラメータ符号化部63は、第1グループに属する各サブブロックに関する予測パラメータ#242をそのまま符号化するような構成としてもよい。
縮減セット導出部64は、第1グループに属するサブブロックに関する予測パラメータ#242を用いて、縮減セットRSを生成する。縮減セット導出部64における縮減セットRSの生成方法は、すでに説明した縮減セット導出部44における縮減セットRSの生成方法と同様であるので、ここでは説明を省略する。
第2予測パラメータ符号化部65は、縮減セットRSに含まれる予測パラメータ、すなわち、第2グループに属する各サブブロックに対して選択された予測パラメータを符号化することによって、符号化予測パラメータ#65を生成し、出力する。
具体的には、第2予測パラメータ符号化部65は、まず、第2グループに属する各サブブロックの周辺のサブブロックに対して選択された予測パラメータを当該サブブロックに対する推定値に設定する。
縮減セットRSに含まれる予測パラメータ数Nrsが1である場合には、何も符号化せずに第2予測パラメータの符号化処理を終了する。
続いて、第2予測パラメータ符号化部65は、当該サブブロックに対して選択された予測パラメータが、推定値と異なるか否かを示すフラグを符号化し、さらに、当該サブブロックに対して選択された予測パラメータが、推定値と異なる場合には、当該予測パラメータを符号化する。
ここで、Nrsが2である場合には、第2予測パラメータの符号化処理を終了する。
それ以外の場合には、縮減セットに含まれている予測パラメータは、ceil(log2(Nrs−1))ビットの符号によって表現することができる。
また、縮減セットRSに含まれている予測パラメータの数Nrsは、一般に、第1グループに対して選択可能な予測パラメータの数よりも少ない。
したがって、縮減セットRSを用いることによって、第2グループに属する各サブブロックに対して選択された予測パラメータを、より少ない符号量で符号化することができる。
また、上記のように、推定値を用いた符号化を行うことによって、第2グループに属する各サブブロックに関する予測パラメータ#242を符号化する際の圧縮率を高めることができる。
なお、第2予測パラメータ符号化部65は、第2グループに属する各サブブロックに対して選択された予測パラメータをそのまま符号化するような構成としてもよい。
<動画像符号化装置に関する付記事項>
以上、本発明に係る動画像符号化装置2について説明を行ったが、本発明は、以上の構成に限定されるものではない。
(付記事項1’)
例えば、第2予測パラメータ決定部55は、予測パラメータのマクロブロック内での空間相関の大小に応じて、縮減セットRSを利用するか否かを判定し、空間相関が小さい場合には、縮減セットRSを利用せずに予測パラメータ#55を決定するような構成としてもよい。また、動画像符号化装置2は、第2予測パラメータ決定部55が縮減セットRSを利用せずに予測パラメータ#55を決定する場合には、縮減セットRSを利用しないことと示すフラグを符号化し、動画像復号装置に伝達するような構成とすることが好ましい。
このような構成とすることによって、予測パラメータの空間相関が小さい場合には、縮減セットRSを用いずに予測パラメータ#55を決定することができるので、予測パラメータを決定するための処理量を抑えることができる。
(付記事項2’)
また、第2予測パラメータ決定部55は、マクロブロックに含まれるサブブロックの数に応じて、予測パラメータ#55を決定する際に縮減セットRSを利用するか否かを切り替えるような構成としてもよい。
より具体的には、マクロブロックに含まれるサブブロックの数が16個以上である場合には、縮減セットRSを用いて予測パラメータ#55を決定し、マクロブロックに含まれるサブブロックの数が16個未満である場合には、縮減セットRSに代えて、基本パラメータセットを用いて予測パラメータ#45を決定するような構成としてもよい。
このような構成とすることによって、予測パラメータの空間相関が小さい場合に、縮減セットRSを用いずに予測パラメータ#55を決定することができるので、予測パラメータを決定するための処理量を抑えることができる。
(付記事項3’)
また、予測パラメータ決定部242は、マクロブロック内の画像の特性に応じて、基本パラメータセットとして、図16(a)に示すような、水平方向を重視したパラメータセット、または、図16(b)に示すような、垂直方向を重視したパラメータセットを用いるような構成としてもよい。
例えば、予測パラメータ決定部242は、マクロブロック内に水平方向のエッジが存在するような場合には、基本パラメータセットとして、図16(a)に示すような、水平方向を重視したパラメータセットを用い、マクロブロック内に垂直方向のエッジが存在するような場合には、基本パラメータセットとして、図16(b)に示すような、垂直方向を重視したパラメータセットを用いるような構成とすることが可能である。
また、複数の基本パラメータセットを選択的に用いる場合であって、図16(a)または(b)に示すパラメータセットが基本パラメータセットに選択された場合には、第2予測パラメータ決定部55は、縮減セットRSを用いて予測パラメータ#55を決定し、図5に示すパラメータセットが基本パラメータセットに選択された場合には、第2予測パラメータ決定部55は、縮減セットRSに代えて、当該基本パラメータセットを用いて予測パラメータ#55を復号するような構成としてもよい。
このような構成とすることによって、マクロブロック内の画像の特性に応じて、縮減セットRSを利用することができるので、予測パラメータの符号量を効果的に削減することができる。
(符号化データ#1のデータ構造)
以下では、動画像符号化装置2によって生成される符号化データ#1のデータ構造について図15を参照して説明する。
図15は、符号化データ#1のマクロブロック毎のビットストリーム#MBSのビットストリーム構造を示す図である。図15に示すように、ビットストリーム#MBSは、マクロブロックに含まれるサブブロックSB1〜SBN(ここで、Nは、マクロブロックにおけるサブブロックの数)に関する情報であるサブブロック情報#SB1〜#SBN(ここで、Nは、マクロブロックにおけるサブブロックの数)を含んでいる。
また、図15に示すように、各サブブロック情報#SBn(1≦n≦N)は、マクロブロックにおけるサブブロックSBnの位置を示す情報であるサブブロック位置情報#Lnと、サブブロックSBnに対応付けられた予測パラメータを示す予測パラメータ情報#Pnとを含んでいる。
サブブロック位置情報#Lnは、符号化データ#1を復号する動画像復号装置において、マクロブロックにおけるサブブロックSBnの位置を特定するために参照される情報である。特に、上述した動画像復号装置1においては、サブブロック位置情報#Lnは、サブブロックSBnをグループに分類するために参照される情報である。
予測パラメータ情報#Pnは、符号化データ#1を復号する動画像復号装置において、サブブロックSBnに対応付けられた予測パラメータを特定するための情報である。特に、上述した動画像復号装置1においては、予測パラメータ情報#Pnは、サブブロックSBnが属するグループに対して選択可能な予測パラメータのうち何れかの予測パラメータを示す情報である。
例えば、サブブロックSBnが、第1のグループに属する場合であって、第1グループに対して選択可能な予測パラメータから構成される予測パラメータセットが基本パラメータセットである場合には、予測パラメータ情報#Pnは、基本パラメータセットに含まれる予測モード0〜8のうち何れかの予測モードを示す情報である。
また、サブブロックSBnが、第2のグループに属する場合である場合には、予測パラメータ情報#Pnは、縮減セットRSに含まれる予測パラメータのうち何れかの予測パラメータを示す情報である。
また、符号化データ#1が、推定値と同じであるか否かを示すフラグと共に予測モードを符号化することによって生成されたデータである場合には、予測パラメータ情報#Pnは、ceil(log2(N−1))ビットの符号によって表現される。ここで、Nは、サブブロックSBnが属するグループに対して選択可能な予測パラメータの数である。
一般に、縮減セットRSに含まれる予測パラメータの数は、第1グループに対して選択可能な予測パラメータの数よりも少ない。したがって、符号化データ#1に含まれる予測パラメータの符号量は、縮減セットRSを用いない場合に比べて、少ない。
具体的には、符号化データ#1が、推定値と同じであるか否かを示すフラグと共に予測モードを符号化することによって生成されたデータである場合には、予測パラメータ情報#Pnの符号量は、縮減セットRSを用いない場合に比べて、ceil(log2(Nfs−1))−ceil(log2(Nrs−1))ビット少ない。ここで、Nfsは、第1グループに属する各サブブロックに対して選択可能な予測パラメータの数であり、Nrsは、縮減セットRSに含まれる予測パラメータの数である。
このように、縮減セットRSを用いることによって、符号化データ#1の符号量を削減することができる。
なお、符号化データ#1にサブブロック位置情報#Lnは含まなくてもよい。例えば、符号化時と復号時に共通のサブブロックスキャン順をあらかじめ設定しておけば、符号化データ#1中の何番目のサブブロックかという情報に基づいて、サブブロック位置を決定できる。
<他の予測パラメータへの適用例>
以上の説明においては、予測パラメータとして、主にイントラ予測における予測モードを例にとり説明を行ったが、本発明はこれに限定されるものではなく、一般に、動画像の符号化処理/復号化処理において予測画像を生成する際に用いられる他のパラメータに対しても適用することができる。
以下では、予測パラメータが動き補償予測における動きベクトルである場合への適用例、および、予測パラメータが輝度補償予測における重み係数である場合への適用例について説明する。
(動きベクトルへの適用例)
動き補償予測においては、予測対象サブブロックの予測に用いる復号済画像上の領域の位置が、動きベクトルと呼ばれる予測パラメータを用いて表現される。
動きベクトルは、要素の数が画像サイズおよび精度(補間精度)に依存する予測パラメータセットの中から選択される。例えば、画像の幅(横方向の画素数)がW、高さ(縦方向の画素数)がH、補間精度が0.25画素である場合には、動きベクトルVは、次式によって定義される予測パラメータセットSから選択される。
S≡{V|V=((N/4),(M/4))
ここで、N、Mは、0≦N<4W、0≦M<4Hを満たす整数である。
予測パラメータがこのような動きベクトルである場合には、第1予測パラメータ決定部53は、例えば、第1グループに属するサブブロック毎に動きベクトルを決定し、割り付ければよい。また、第1予測パラメータ復号部43は、第1グループに属するサブブロック毎に動きベクトルを復号することができる。
縮減セット導出部44、54は、第1グループに属する各サブブロックに割り付けられた動きベクトルから縮減セットRSを生成することができる。また、縮減セット導出部44、54は、すでに述べたように、予測対象サブブロックの周辺のサブブロックに割り付けられた動きベクトルから縮減セットRSを生成するようにしてもよい。
動画像復号装置1、および、動画像符号化装置2の備える他の各部についても、予測パラメータが予測モードである場合と同様の動作を行うことによって、符号化データ#1に含まれる予測パラメータの符号量を削減することができる。
なお、予測パラメータが動きベクトルである場合には、縮減セット導出部44、54は、例えば、予測対象サブブロックの周辺のサブブロックに割り付けられた動きベクトルとの差分ベクトルのノルムが一定値以下となるような動きベクトルを縮減セットRSに追加するような構成としてもよい。
一般に、予測パラメータが動きベクトルである場合には、予測パラメータセットは多数の予測ベクトルを含む。例えば、上記予測パラメータセットSに含まれる動きベクトルの数は、W=2000、H=1000すると、8000×4000である。
一方で、縮減セットRSに蓄積される動きベクトルの数は、第1グループに属するサブブロックの数、または、予測対象サブブロックの周辺のサブブロックの数が上限となる。例えば、図8の(b)に示した近傍サブブロック領域NSRに含まれるサブブロックを用いたとしても、縮減セットRSに蓄積される動きベクトルの数は、高々24である。
したがって、符号化/復号化対象の画像の特性如何によっては、予測対象サブブロックの周辺のサブブロックに割り付けられた動きベクトルのみから縮減セットRSを生成したとしても、縮減セットRSには、十分な数の動きベクトルが蓄積されないため、予測精度が低下し、残差データの符号量が増大する可能性がある。予測対象サブブロックの周辺のサブブロックに割り付けられた動きベクトルとの差分ベクトルのノルムが一定値以下となるような動きベクトルを縮減セットRSに追加することによって、残差データの符号量を増大させることなく、予測パラメータの符号量を削減することができる。
(輝度補償予測における重み係数への適用例)
輝度補償予測においては、予測対象サブブロックが動き補償予測のために参照する複数の参照ピクチャの輝度の各々に重み係数を乗じた値を用いて、当該予測対象サブブロックの輝度を予測する。
本発明は、予測パラメータを上記重み係数とする場合に対しても適用することができる。例えば、縮減セット導出部44、54は、予測対象サブブロックの周辺のサブブロックに割り付けられた重み係数から縮減セットRSを生成する構成とすればよい。
なお、重み係数に対して本発明を適用する場合には、重み係数がとる各々の値を、予め総数の定められた複数の代表値へ対応付け、当該代表値を、予測パラメータとして用いるような構成としてもよい。
例えば、重み係数の値Wが、0≦W≦1を満たす全ての実数値(または、既定の桁数の値)をとりうるような場合には、(n/X)≦Wn≦((n+1)/X)を満たす全ての重み係数の値Wnを代表値wに対応付け、代表値wを予測パラメータとして用いるような構成としてもよい。ここでXは自然数、nは0≦n≦X−1を満たす整数である。このような対応付けを行うことによって、0≦W≦1を満たす全ての実数値を、総数がXである代表値Wnのセットにマップすることができる。また、Xの具体的な値は、例えば、符号化データの符号量がより小さくなるように設定すればよい。
このように、予測パラメータとして用いられる要素の数を予め定められた数に制限することによって、重み係数を直接予測パラメータとして用いる場合に比べて、符号化データの符号量を削減することができる。
(付記事項)
本発明に係る画像符号化装置は、入力画像と予測画像との差を符号化する画像符号化装置において、予測画像を複数の単位領域に分割すると共に、各単位領域に含まれる複数の予測単位を第1のグループまたは第2のグループに分類する分類手段と、上記第1のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、予め定められた予測パラメータよりなる基本セットから選択する第1の選択手段と、上記第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択する第2の選択手段と、上記第1のグループに属する各予測単位について、上記第1の選択手段が何れの予測パラメータを選択したか、及び、上記第2のグループに属する各予測単位について、上記第2の選択手段が何れの予測パラメータを選択したかを符号化する予測パラメータ符号化手段と、を含んでいることを特徴としている。
上記のように構成された画像符号化装置によれば、上記第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、当該第2のグループと同じ単位領域に含まれる第1のグループに属する各予測単位について上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択し、上記第2の選択手段が何れの予測パラメータを選択したかを符号化する。
ここで、各予測単位に対する予測パラメータは、一般に、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関があるため、上記第1のグループに属する各予測単位に対して選択された予測パラメータは、上記第2のグループに属する各予測単位に対しても適切な予測パラメータである可能性が高い。すなわち、上記第2のグループに属する各予測単位に対して、上記縮減セットから選択された予測パラメータが適切な予測パラメータである可能性が高い。したがって、上記の構成によれば、符号化効率を低減させることなく、予測パラメータの符号化を行うことができる。
また、上記の構成においては、上記縮減セットは、上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなるセットであるため、上記第2のグループに属する各予測単位について、何れの予測パラメータが選択されたのかを示す情報の符号量を削減することができる。
したがって、上記の構成によれば、符号化効率を犠牲にすることなく、予測パラメータを指定するための符号量を削減することができる。
また、上記縮減セットは、上記第1の選択手段によって選択された予測パラメータであって、互いに異なる全ての予測パラメータのみを含む、ことが好ましい。
上記構成によれば、縮減セットに含まれる予測パラメータの数を、より少なくできるため、符号量をより削減することができる。より詳細に説明すると、一般的に予測パラメータには空間的な相関があるため、特定の領域内の各予測単位に対し最適な予測パラメータの分布には偏りが生じる。そのため、特定の領域内では、基本セットに含まれる多様な予測パラメータの一部のみが利用される確率が高い。したがって、特定の領域内で第1の選択手段により選択された予測パラメータの集合は、基本セットに含まれる予測パラメータの集合よりも要素数が少ない場合が多い。それゆえに、第1の選択手段によって選択された、重複しない全ての予測パラメータの集合を縮減セットとすることで、縮減セットの要素数を少なくすることができる。
また、上記複数の単位領域の各々は、当該画像符号化装置における符号化単位である、ことが好ましい。
上記構成によれば、上記縮減セットの生成処理を、符号化単位(例えば、H.264/MPEG−4 AVC規格におけるマクロブロック)毎に一度だけ実行すればよいため、縮減セット生成のための処理量を削減することができる。
また、本発明に係る画像符号化装置においては、上記第1のグループに属する予測単位と上記第2のグループに属する予測単位とが市松模様状(チェッカーボード状)に配置されている、ことが好ましい。
一般に、各予測単位における予測パラメータは、近傍の予測単位における予測パラメータと相関がある。
上記の構成によれば、上記第1のグループに属する予測単位と上記第2のグループに属する予測単位とが市松模様状(チェッカーボード状)に配置されているため、上記第1のグループに属する各予測単位について選択された予測パラメータは、上記第2のグループに属する各予測単位についても、適切な予測パラメータである可能性が高い。
したがって、上記の構成によれば、符号化効率を犠牲にすることなく、予測パラメータの符号化に必要な符号量を削減することができる。
また、上記予測パラメータは、イントラ予測における予測モードを指定するものであってもよい。
上記の構成によれば、符号化効率を犠牲にすることなく、イントラ予測における予測モードの符号化に必要な符号量を削減することができる。
また、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、イントラ予測における垂直方向予測モード、水平方向予測モード、および、DC予測モードの少なくとも何れか1を含む縮減セットから選択する、ことが好ましい。
一般に、垂直方向予測モード、水平方法予測モード、および、DC予測モードは、イントラ予測において、選択される頻度の高い予測モードである。
上記の構成によれば、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、イントラ予測における垂直方向予測モード、水平方向予測モード、および、DC予測モードの少なくとも何れか1を含む縮減セットから選択することができるので、上記第2のグループに属する予測単位上の予測画像を生成する際の予測精度を低減させることなく、符号量を削減することができる。
また、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域内の予測単位数が予め定められた閾値以上の場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択する、構成としてもよい。
上記の構成によれば、単位領域内の予測単位数が、所定の値未満の場合には、上記基本セットから予測パラメータを選択することができるので、予測パラメータを選択するための処理量を削減することができる。
本発明に係る画像符号化装置においては、上記基本セットが単位領域毎に設定可能であり、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域に対して設定された基本セットが特定の条件を満たす場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択する、構成としてもよい。
上記の構成によれば、上記基本セットが単位領域毎に設定可能であり、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域に対して設定された基本セットが特定の条件を満たす場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択することができるので、予測パラメータを選択するための処理量を削減しつつ、符号量を削減することができる。
また、本発明に係る画像符号化装置は、入力画像と予測画像との差を符号化する画像符号化装置において、各予測単位における予測画像の生成方法を指定する予測パラメータを、該予測単位の近傍に位置する符号化済みの予測単位における予測画像の生成方法を指定する予測パラメータの少なくとも一部を含む縮減セットから選択する選択手段と、各予測単位について、上記選択手段が何れの予測パラメータを選択したかを符号化する予測パラメータ符号化手段と、を含んでいることを特徴とする画像符号化装置であると表現することもできる。
一般に、各予測単位に対する予測パラメータは、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関がある。したがって、上記縮減セットは、当該予測単位における予測画像の生成において最も予測パラメータを含む可能性が高い。また、上記縮減セットは、当該予測単位の近傍に位置する予測単位に対する予測パラメータの少なくとも一部から構成されるため、上記縮減セットに含まれる予測パラメータの数は、当該予測単位以外の予測単位に対する予測パラメータから構成されるパラメータセットに含まれる予測パラメータの数よりも少ない。
したがって、本発明に係る画像符号化装置は、上記の構成をとることによって、符号化効率を犠牲にすることなく、符号量の少ない符号化データを生成することができる。
また、上記予測パラメータ符号化手段は、上記第2の選択手段が何れの予測パラメータを選択したかを示す符号として、上記第1の選択手段が何れの予測パラメータを選択したかを示す符号よりも符号長の短い符号を用いる、ことが好ましい。
上記の構成によれば、上記予測パラメータ符号化手段は、上記第2の選択手段が何れの予測パラメータを選択したかを示す符号として、上記第1の選択手段が何れの予測パラメータを選択したかを示す符号よりも符号長の短い符号を用いることができるので、上記第2のグループに属する各予測単位について、何れの予測パラメータが選択されたのかを示す情報をより短い符号長の符号を用いて符号化することができる。
また、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、2n+1個(nは任意の自然数)の予測パラメータよりなる縮減セットから選択する、ことが好ましい。
一般に、2n+1個(nは任意の自然数)の要素からなる要素群を符号化する場合、2n+1個以外の要素からなる要素群を符号化する場合に比べて、圧縮効率が向上する。
上記の構成によれば、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、2n+1個(nは任意の自然数)の予測パラメータよりなる縮減セットから何れの予測パラメータが選択されたのかを符号化することができるので、予測パラメータを符号化する際の圧縮効率を高めることができるという更なる効果を奏する。
また、本発明に係る画像復号装置は、原画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データを復号する画像復号装置において、予測画像を構成する複数の単位領域の各々に含まれる複数の予測単位を第1のグループまたは第2のグループに分類する分類手段と、上記第1のグループに属する各予測単位についての選択情報を参照し、第1のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、予め定められた予測パラメータよりなる基本セットから選択する第1の選択手段と、上記第2のグループに属する各予測単位についての選択情報を参照し、第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択する第2の選択手段と、を含んでいることを特徴としている。
上記のように構成された画像復号装置によれば、上記第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、当該第2のグループと同じ単位領域に含まれる第1のグループに属する各予測単位について上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択することができる。
ここで、各予測単位に対する予測パラメータは、一般に、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関があるため、上記第1のグループに属する各予測単位に対して選択された予測パラメータは、上記第2のグループに属する各予測単位に対しても適切な予測パラメータである可能性が高い。したがって、上記の構成によれば、符号化効率を低減させることなく、より符号量の少ない選択情報から、予測パラメータの復号を行うことができる。
また、上記縮減セットは、上記第1の選択手段によって選択された予測パラメータであって、互いに異なる全ての予測パラメータのみを含む、ことが好ましい。
上記の構成によれば、縮減セットに含まれる予測パラメータの数をより削減できるため、符号量を更に削減することができる。
また、上記複数の単位領域の各々は、当該画像復号装置における復号単位である、ことが好ましい。
上記構成によれば、上記縮減セットの生成処理を、復号単位(例えば、H.264/MPEG−4 AVC規格におけるマクロブロック)毎に一度だけ実行すればよいため、縮減セット生成のための処理量を削減することができる。
また、本発明に係る画像復号装置においては、上記第1のグループに属する予測単位と上記第2のグループに属する予測単位とが市松模様状(チェッカーボード状)に配置されている、ことが好ましい。
一般に、各予測単位における予測パラメータは、近傍の予測単位における予測パラメータと相関がある。
上記の構成に対応する構成を有する画像符号化装置によれば、上記第1のグループに属する予測単位と上記第2のグループに属する予測単位とが市松模様状(チェッカーボード状)に配置されているため、上記第2のグループに属する各予測単位について、適切な予測パラメータを選択することができる。したがって、上記の構成に対応する構成を有する画像符号化装置によれば、符号化効率を犠牲にすることなく、予測パラメータの符号化に必要な符号量を削減することができる。
上記の構成を有する画像復号装置によれば、そのように符号量が削減された符号化データを復号することができる。
また、本発明に係る画像復号装置においては、上記予測パラメータは、イントラ予測における予測モードを指定するものであってもよい。
上記の構成によれば、符号化効率を犠牲にすることなく、イントラ予測における予測モードの符号量の削減された符号化データを復号することができる。
また、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、イントラ予測における垂直方向予測モード、水平方向予測モード、および、DC予測モードの少なくとも何れか1を含む縮減セットから選択する、ことが好ましい。
一般に、垂直方向予測モード、水平方法予測モード、および、DC予測モードは、イントラ予測において、選択される頻度の高い予測モードである。
上記の構成に対応する構成を有する画像符号化装置によれば、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、イントラ予測における垂直方向予測モード、水平方向予測モード、および、DC予測モードの少なくとも何れか1を含む縮減セットから選択することができるので、上記第2のグループに属する予測単位上の予測画像を生成する際の予測精度を低減させることなく、符号量を削減することができる。
上記の構成を有する画像復号装置によれば、そのような符号量の少ない符号化データを復号することができる。
また、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域内の予測単位数が予め定められた閾値以上の場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択する、構成としてもよい。
上記の構成によれば、単位領域内の予測単位数が、所定の値未満の場合には、上記基本セットから予測パラメータを選択することができるので、予測パラメータを選択するための処理量を削減することができる。
また、本発明に係る画像復号装置においては、上記基本セットが単位領域毎に設定可能であり、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域に対して設定された基本セットが特定の条件を満たす場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択する、構成としてもよい。
上記の構成によれば、上記基本セットが単位領域毎に設定可能であり、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域に対して設定された基本セットが特定の条件を満たす場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択することができるので、予測パラメータを選択するための処理量を削減しつつ、符号量の削減された符号化データを復号することができる。
また、本発明に係る画像復号装置は、入力画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データを復号する画像復号装置において、上記選択情報を参照し、各予測単位における予測画像の生成方法を指定する予測パラメータを、該予測単位の近傍に位置する復号済みの予測単位における予測画像の生成方法を指定する予測パラメータの少なくとも一部を含む縮減セットから選択する選択手段を含んでいる、ことを特徴とする画像復号装置であると表現することもできる。
一般に、各予測単位に対する予測パラメータは、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関がある。したがって、上記縮減セットは、当該予測単位における予測画像の生成において最も予測パラメータを含む可能性が高い。また、上記縮減セットは、当該予測単位の近傍に位置する予測単位に対する予測パラメータの少なくとも一部から構成されるため、上記縮減セットに含まれる予測パラメータの数は、当該予測単位以外の予測単位に対する予測パラメータから構成されるパラメータセットに含まれる予測パラメータの数よりも少ない。
したがって、上記の構成に対応する構成を有する画像符号化装置は、符号化効率を犠牲にすることなく、符号量の少ない符号化データを生成することができる。
上記の構成を有する画像復号装置は、そのような符号量の少ない符号化データを復号することができる。
また、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、2n+1個(nは任意の自然数)の予測パラメータよりなる縮減セットから選択する、ことが好ましい。
一般に、2n+1個(nは任意の自然数)の要素からなる要素群を符号化する場合、2n+1個以外の要素からなる要素群を符号化する場合に比べて、圧縮効率が向上する。
上記の構成によれば、このように圧縮効率の高い符号化データを復号することができる。
また、本発明に係る符号化データのデータ構造は、入力画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データのデータ構造であって、上記符号化データを復号する画像復号装置において、各予測単位における予測画像の生成方法を指定する予測パラメータを、該予測単位の近傍に位置する復号済みの予測単位における予測画像の生成方法を指定する予測パラメータの少なくとも一部を含む縮減セットから選択するために参照される選択情報を含んでいる、ことを特徴としている。
一般に、各予測単位に対する予測パラメータは、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関がある。したがって、上記縮減セットは、当該予測単位における予測画像の生成において最も予測パラメータを含む可能性が高い。また、上記縮減セットは、当該予測単位の近傍に位置する予測単位に対する予測パラメータの少なくとも一部から構成されるため、上記選択情報によって指定される予測パラメータの数は、当該予測単位以外の予測単位に対する予測パラメータから構成されるパラメータセットに含まれる予測パラメータの数よりも少ない。
したがって、上記の構成を有する符号化データは、符号化効率を犠牲にすることなく、符号量の削減された符号化データである。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、画像を符号化し符号化データを生成する画像符号化装置、そのような画像符号化装置を用いて生成された符号化データを復号する画像復号装置に好適に適用することができる。
1 動画像復号装置
14 MB復号部
144 予測パラメータ復号部
41 グループ判定部(分類手段)
42 スイッチ部
43 第1予測パラメータ復号部(第1の選択手段)
44 縮減セット導出部
45 第2予測パラメータ復号部(第2の選択手段)
2 動画像符号化装置
24 MB符号化部
242 予測パラメータ決定部
51 グループ判定部(分類手段)
52 スイッチ部
53 第1予測パラメータ決定部(第1の選択手段)
54 縮減セット導出部
55 第2予測パラメータ決定部(第2の選択手段)
243 予測パラメータ符号化部(予測パラメータ符号化手段)
248 予測画像生成部

Claims (6)

  1. 入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって得られた符号化データを復号する画像復号装置において、
    各予測単位に適用する予測パラメータを復号する予測パラメータ復号手段と、
    予測パラメータの集合である縮減セットを生成する縮減セット構築手段と、
    予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータを特定する第1予測パラメータを復号するか、または、上記縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から復号する第2予測パラメータ復号手段とを備え、
    上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、上記基本セットに含まれる予測パラメータ数未満であり、
    号化データに含まれるフラグの値に応じて上記第2予測パラメータ復号手段により復号される第1予測パラメータか、または、符号化データに含まれるフラグの値に応じて上記第2予測パラメータ復号手段により復号される第2予測パラメータに基づき、上記予測パラメータ復号手段は、上記予測パラメータを復号するものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、
    対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ復号手段は、上記縮減セットに含まれる予測パラメータを復号し、上記予測パラメータ復号手段は、上記縮減セットに含まれる予測パラメータ数が1である場合には、上記第2予測パラメータの復号を省略して上記予測パラメータを復号することを特徴とする画像復号装置。
  2. 入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって得られた符号化データを復号する画像復号方法であって、
    各予測単位に適用する予測パラメータの集合である縮減セットを生成する縮減セット構築ステップと、
    予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータを特定する第1予測パラメータを復号するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から復号する第2予測パラメータ復号ステップと、
    予測パラメータを復号する予測パラメータ復号ステップと、を含み、
    上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、上記基本セットに含まれる予測パラメータ数未満であり、
    号化データに含まれるフラグの値に応じて上記第2予測パラメータ復号ステップで復号される第1予測パラメータか、または、符号化データに含まれるフラグの値に応じて上記第2予測パラメータ復号ステップで復号される第2予測パラメータに基づき、上記予測パラメータ復号ステップでは、上記予測パラメータを復号するものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、
    対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ復号ステップでは、上記縮減セットに含まれる予測パラメータを復号し、上記予測パラメータ復号ステップでは、上記縮減セットに含まれる予測パラメータ数が1である場合には、上記第2予測パラメータの復号を省略して上記予測パラメータを復号することを特徴とする画像復号方法。
  3. 入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって符号化データを生成する画像符号化装置において、
    各予測単位に適用する予測パラメータを符号化する予測パラメータ符号化手段と、
    予測パラメータの集合である縮減セットを生成する縮減セット構築手段と、
    予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータを特定する第1予測パラメータを符号化するか、または、上記縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から符号化する第2予測パラメータ符号化手段とを備え、
    上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、上記基本セットに含まれる予測パラメータ数未満であり、
    号化手段により符号化され符号化データに含まれるフラグの値に応じている、上記第2予測パラメータ符号化手段により符号化される第1予測パラメータか、または、符号化され符号化データに含まれるフラグの値に応じている、上記第2予測パラメータ符号化手段により符号化される第2予測パラメータに基づき、上記予測パラメータ符号化手段は、上記予測パラメータを符号化するものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、
    対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ符号化手段は、上記縮減セットに含まれる予測パラメータを符号化し、上記予測パラメータ符号化手段は、上記縮減セットに含まれる予測パラメータ数が1である場合には、上記第2予測パラメータの符号化を省略して上記予測パラメータを符号化することを特徴とする画像符号化装置。
  4. 入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって符号化データを生成する画像符号化方法において、
    各予測単位に適用する予測パラメータの集合である縮減セットを生成する縮減セット構築ステップと、
    予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータを特定する第1予測パラメータを符号化するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から符号化する第2予測パラメータ符号化ステップと、
    予測パラメータを符号化する予測パラメータ符号化ステップと、を含み、
    上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、上記基本セットに含まれる予測パラメータ数未満であり、
    符号化され符号化データに含まれるフラグの値に応じている、上記第2予測パラメータ符号化ステップで符号化される第1予測パラメータか、または、符号化され符号化データに含まれるフラグの値に応じている、上記第2予測パラメータ符号化ステップで符号化される第2予測パラメータに基づき、上記予測パラメータ符号化ステップで、上記予測パラメータを符号化するものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、
    対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ符号化ステップでは、上記縮減セットに含まれる予測パラメータを符号化し、上記予測パラメータ符号化ステップでは、上記縮減セットに含まれる予測パラメータ数が1である場合には、上記第2予測パラメータの符号化を省略して上記予測パラメータを符号化することを特徴とする画像符号化方法。
  5. 入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって得られた符号化データを復号する画像復号方法をコンピュータに実行させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    各予測単位に適用する予測パラメータの集合である縮減セットを生成する縮減セット構築ステップと、
    予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータを特定する第1予測パラメータを復号するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から復号する第2予測パラメータ復号ステップと、
    予測パラメータを復号する予測パラメータ復号ステップと、を含み、
    上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、上記基本セットに含まれる予測パラメータ数未満であり、
    号化データに含まれるフラグの値に応じて上記第2予測パラメータ復号ステップで復号される第1予測パラメータか、または、符号化データに含まれるフラグの値に応じて上記第2予測パラメータ復号ステップで復号される第2予測パラメータに基づき、上記予測パラメータ復号ステップでは、上記予測パラメータを復号するものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、
    対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ復号ステップでは、上記縮減セットに含まれる予測パラメータを復号し、上記予測パラメータ復号ステップでは、上記縮減セットに含まれる予測パラメータ数が1である場合には、上記第2予測パラメータの復号を省略して上記予測パラメータを復号する、
    ことをコンピュータに実行させるための制御プログラムを記録したコンピュータ読み取り
    可能な記録媒体。
  6. 入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって符号化データを生成する画像符号化方法をコンピュータに実行させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    各予測単位に適用する予測パラメータの集合である縮減セットを生成する縮減セット構築ステップと、
    予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータを特定する第1予測パラメータを符号化するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から符号化する第2予測パラメータ符号化ステップと、
    予測パラメータを符号化する予測パラメータ符号化ステップと、を含み、
    上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、上記基本セットに含まれる予測パラメータ数未満であり、
    符号化され符号化データに含まれるフラグの値に応じている、上記第2予測パラメータ符号化ステップで符号化される第1予測パラメータか、または、符号化され符号化データに含まれるフラグの値に応じている、上記第2予測パラメータ符号化ステップで符号化される第2予測パラメータに基づき、上記予測パラメータ符号化ステップで、上記予測パラメータを符号化するものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、
    対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含め、上記予測パラメータ符号化ステップでは、上記縮減セットに含まれる予測パラメータを符号化し、上記予測パラメータ符号化ステップでは、上記縮減セットに含まれる予測パラメータ数が1である場合には、上記第2予測パラメータの符号化を省略して上記予測パラメータを符号化する
    ことをコンピュータに実行させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2016216384A 2010-02-24 2016-11-04 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、および記録媒体 Active JP6300884B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010039293 2010-02-24
JP2010039293 2010-02-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016007690A Division JP6039833B2 (ja) 2010-02-24 2016-01-19 画像復号装置

Publications (3)

Publication Number Publication Date
JP2017079473A JP2017079473A (ja) 2017-04-27
JP2017079473A5 JP2017079473A5 (ja) 2017-06-15
JP6300884B2 true JP6300884B2 (ja) 2018-03-28

Family

ID=44506428

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2012501657A Pending JPWO2011104993A1 (ja) 2010-02-24 2010-12-27 画像符号化装置、及び画像復号装置
JP2014189556A Active JP5876912B2 (ja) 2010-02-24 2014-09-18 画像復号装置
JP2016007690A Active JP6039833B2 (ja) 2010-02-24 2016-01-19 画像復号装置
JP2016216384A Active JP6300884B2 (ja) 2010-02-24 2016-11-04 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、および記録媒体

Family Applications Before (3)

Application Number Title Priority Date Filing Date
JP2012501657A Pending JPWO2011104993A1 (ja) 2010-02-24 2010-12-27 画像符号化装置、及び画像復号装置
JP2014189556A Active JP5876912B2 (ja) 2010-02-24 2014-09-18 画像復号装置
JP2016007690A Active JP6039833B2 (ja) 2010-02-24 2016-01-19 画像復号装置

Country Status (8)

Country Link
US (2) US9832465B2 (ja)
EP (3) EP3651461A1 (ja)
JP (4) JPWO2011104993A1 (ja)
CN (6) CN102771126A (ja)
BR (1) BR112012021050A8 (ja)
HK (4) HK1217254A1 (ja)
MX (3) MX364986B (ja)
WO (1) WO2011104993A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9351654B2 (en) 2010-06-08 2016-05-31 Alivecor, Inc. Two electrode apparatus and methods for twelve lead ECG
US8509882B2 (en) 2010-06-08 2013-08-13 Alivecor, Inc. Heart monitoring system usable with a smartphone or computer
JP6171627B2 (ja) * 2013-06-28 2017-08-02 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法および画像復号プログラム
US9420956B2 (en) 2013-12-12 2016-08-23 Alivecor, Inc. Methods and systems for arrhythmia tracking and scoring
JP6498325B2 (ja) 2015-05-13 2019-04-10 アライヴコア・インコーポレーテッド 不一致モニタリング
CN110998775B (zh) 2017-08-07 2022-04-05 日本电气株式会社 接地电路、电气设备、接地控制方法和接地控制程序
CN113497936A (zh) * 2020-04-08 2021-10-12 Oppo广东移动通信有限公司 编码方法、解码方法、编码器、解码器以及存储介质

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07177519A (ja) * 1993-12-20 1995-07-14 Kyocera Corp 動きベクトル検出方法
JP3299671B2 (ja) 1996-03-18 2002-07-08 シャープ株式会社 画像の動き検出装置
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化/復号化方法及び装置
GB2328581B (en) * 1997-08-20 2002-07-31 Ericsson Telefon Ab L M Network
JP4004653B2 (ja) * 1998-08-03 2007-11-07 カスタム・テクノロジー株式会社 動きベクトル検出方法および装置、記録媒体
US7466843B2 (en) * 2000-07-07 2008-12-16 Pryor Timothy R Multi-functional control and entertainment systems
WO2002025323A2 (en) * 2000-09-20 2002-03-28 Dataplay, Inc. Etched micro lens and method and apparatus for fabricating
US6765964B1 (en) * 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
US6961055B2 (en) * 2001-05-09 2005-11-01 Free Radical Design Limited Methods and apparatus for constructing virtual environments
CN101409838B (zh) * 2001-09-14 2011-01-12 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置、图象处理系统
EP1347649A1 (en) * 2002-03-18 2003-09-24 Lg Electronics Inc. B picture mode determining method and apparatus in video coding system
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
US7386048B2 (en) * 2002-05-28 2008-06-10 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode organization
US7289674B2 (en) * 2002-06-11 2007-10-30 Nokia Corporation Spatial prediction based intra coding
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化/復号化方法及び装置
KR100750110B1 (ko) * 2003-04-22 2007-08-17 삼성전자주식회사 4×4인트라 휘도 예측 모드 결정방법 및 장치
WO2004104811A2 (en) * 2003-05-20 2004-12-02 Lego A/S Method and system for manipulating a digital representation of a three-dimensional object
JP2005348280A (ja) * 2004-06-07 2005-12-15 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法、画像符号化装置、画像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
BRPI0513242A (pt) * 2004-07-13 2008-04-29 Koninkl Philips Electronics Nv métodos de compressão de imagem escalonável espacial e snr e de decodificar dados de imagem codificados escalonáveis espaciais e snr, uso de dados de imagem codificados, dispositivos de compressão e de descompressão de imagem escalonável espacial e snr, receptor de dados de imagem, dispositivo de exibição de imagem, e, produto de programa de computação
JP4501631B2 (ja) * 2004-10-26 2010-07-14 日本電気株式会社 画像符号化装置及び方法、画像符号化装置のコンピュータ・プログラム、並びに携帯端末
JP2006254347A (ja) * 2005-03-14 2006-09-21 Mitsubishi Electric Corp 画像符号化装置
TWI301723B (en) * 2005-05-17 2008-10-01 Novatek Microelectronics Corp Method and apparatus for selecting prediction mode of intra coding
CA2610276C (en) * 2005-07-22 2013-01-29 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20080130988A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US20070025444A1 (en) * 2005-07-28 2007-02-01 Shigeyuki Okada Coding Method
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP2007189276A (ja) * 2006-01-11 2007-07-26 Victor Co Of Japan Ltd 画像圧縮装置及び画像圧縮プログラム
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
JP2009528751A (ja) * 2006-03-03 2009-08-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 差分符号化
CN101064849A (zh) * 2006-04-29 2007-10-31 鲁海宁 动态图像编码方法、装置和计算机可读记录介质
CN100413344C (zh) * 2006-10-20 2008-08-20 清华大学 高并行度的帧内预测器的实现方法
US8306126B2 (en) * 2006-12-13 2012-11-06 Sharp Kabushiki Kaisha Moving picture encoding apparatus and moving picture decoding apparatus
US20100118943A1 (en) * 2007-01-09 2010-05-13 Kabushiki Kaisha Toshiba Method and apparatus for encoding and decoding image
CN101222641B (zh) * 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
JP5025286B2 (ja) * 2007-02-28 2012-09-12 シャープ株式会社 符号化装置及び復号装置
JP5041844B2 (ja) * 2007-03-28 2012-10-03 株式会社日立国際電気 Pcr補正回路
JP2008263549A (ja) * 2007-04-13 2008-10-30 Toshiba Corp 動画像符号化装置および動画像符号化方法
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US20100195723A1 (en) * 2007-09-25 2010-08-05 Tomohiro Ikai Moving image encoder and moving image decoder
JP4797009B2 (ja) * 2007-10-24 2011-10-19 日本電信電話株式会社 予測モード情報符号化方法,予測モード情報復号方法,これらの装置,およびこれらのプログラム並びにコンピュータ読み取り可能な記録媒体
JP2009111691A (ja) * 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
EP2223527A1 (en) * 2007-12-21 2010-09-01 Telefonaktiebolaget LM Ericsson (publ) Adaptive intra mode selection
US20100290532A1 (en) 2007-12-28 2010-11-18 Tomoyuki Yamamoto Moving image encoder and moving image decoder
WO2009115901A2 (en) * 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
JP4990927B2 (ja) * 2008-03-28 2012-08-01 三星電子株式会社 動きベクトル情報の符号化/復号化方法及び装置
KR101700358B1 (ko) * 2009-12-09 2017-01-26 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치

Also Published As

Publication number Publication date
US9832465B2 (en) 2017-11-28
USRE48074E1 (en) 2020-06-30
CN105141959A (zh) 2015-12-09
US20130003852A1 (en) 2013-01-03
CN105049860A (zh) 2015-11-11
JP6039833B2 (ja) 2016-12-07
CN102771126A (zh) 2012-11-07
HK1217253A1 (zh) 2016-12-30
CN105120262A (zh) 2015-12-02
MX2012009474A (es) 2012-10-09
EP3506637A1 (en) 2019-07-03
JP2017079473A (ja) 2017-04-27
CN105049849B (zh) 2018-04-27
JP2014233094A (ja) 2014-12-11
MX364986B (es) 2019-05-17
EP3651461A1 (en) 2020-05-13
JPWO2011104993A1 (ja) 2013-06-17
HK1217254A1 (zh) 2016-12-30
JP5876912B2 (ja) 2016-03-02
CN108810532A (zh) 2018-11-13
CN105141959B (zh) 2018-06-01
EP2541938A1 (en) 2013-01-02
HK1217255A1 (zh) 2016-12-30
JP2016103851A (ja) 2016-06-02
CN105049849A (zh) 2015-11-11
HK1217252A1 (zh) 2016-12-30
EP2541938A4 (en) 2015-11-04
WO2011104993A1 (ja) 2011-09-01
BR112012021050A2 (pt) 2016-05-03
MX2019005605A (es) 2019-08-12
CN108810532B (zh) 2022-08-19
BR112012021050A8 (pt) 2017-10-10

Similar Documents

Publication Publication Date Title
JP6300884B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法、および記録媒体
JP6084730B2 (ja) 映像復号化装置
JP7043616B2 (ja) ビデオ信号処理方法及び装置
KR101479141B1 (ko) 트리 구조를 이용한 부호화/복호화 방법 및 장치
KR101538837B1 (ko) 변환 유닛 내의 다수 부호 비트 은폐
JP2009272727A (ja) 予測誤差の方向性に基づく変換方法、画像符号化方法及び画像復号化方法
WO2011046008A1 (ja) 動画像符号化装置、および、動画像復号装置
JPWO2008012918A1 (ja) 画像符号化と復号の方法及び装置
JP6212890B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP2009005217A (ja) 画像符号化方法,画像復号方法,画像符号化装置,画像復号装置,画像符号化プログラム,画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
JP7249999B2 (ja) 画像符号化装置、画像復号装置、及びプログラム
KR20130070618A (ko) 트리 구조를 이용한 부호화/복호화 방법 및 장치
JP5469931B2 (ja) 動画像復号化方法、動画像符号化方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170919

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180116

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180227

R150 Certificate of patent or registration of utility model

Ref document number: 6300884

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250