JP6261658B2 - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム - Google Patents

画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム Download PDF

Info

Publication number
JP6261658B2
JP6261658B2 JP2016119844A JP2016119844A JP6261658B2 JP 6261658 B2 JP6261658 B2 JP 6261658B2 JP 2016119844 A JP2016119844 A JP 2016119844A JP 2016119844 A JP2016119844 A JP 2016119844A JP 6261658 B2 JP6261658 B2 JP 6261658B2
Authority
JP
Japan
Prior art keywords
block
quantization parameter
blocks
processing target
target block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016119844A
Other languages
English (en)
Other versions
JP2016181931A (ja
Inventor
小林 正明
正明 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2016181931A publication Critical patent/JP2016181931A/ja
Application granted granted Critical
Publication of JP6261658B2 publication Critical patent/JP6261658B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関し、特に画質制御パラメータの符号化方法、および、画質制御パラメータ復号方法に関する。
動画像の圧縮記録方法として、MPEG−2 Video(以下、MPEG−2と略す。非特許文献1)、H.264(非特許文献2)等の方式が知られている。さらに、近年、ITU−TとISO/IECの共同組織としてJCT−VC(Joint Collaborative Team on Video Coding)が設立された。この組織において新しい動画像標準規格であるHEVC(High Efficiency Video Coding)の標準化活動が進められている。例えば非特許文献3のように、HEVCにはH.264をベースとした改良技術が提案されている。
MPEG−2、H.264、HEVCに代表される直交変換と量子化を使った符号化方式では、符号化側で所定のブロック画像を直交変換・量子化することにより量子化係数データを生成している。このとき、量子化パラメータと呼ばれる画質制御パラメータを使って量子化することにより画質を制御する。具体的には、小さい量子化パラメータ値を使って量子化した場合、画質は向上するが符号量が大きくなり、大きい量子化パラメータ値を使って量子化した場合、画質は低下するが符号量は小さくなる。符号化処理では、このように目標符号量に応じて、最適な量子化パラメータ値を選択しながら符号化を行う。これはレート制御とよばれ、TM5(非特許文献4)など様々な方式が提案されている。また、視覚上重要な画像領域であるかを判定し、その重要度に応じて画質制御パラメータを制御する方法もある(特許文献1)。
量子化された量子化係数データは可変長符号化され、可変長符号化係数データが生成される。また、量子化パラメータも符号化され、量子化パラメータ符号が生成される。量子化パラメータの生成方法として、例えば、量子化対象ブロックの前に量子化を行ったブロックの量子化に用いた量子化パラメータを予測量子化パラメータとし、予測量子化パラメータと対象ブロックの量子化に用いた量子化パラメータとの差分値を計算する。この差分値は(QP_DELTA:Quantization Parameter Delta)と呼ばれる。この差分値が、量子化パラメータ符号としてビットストリームに埋め込まれる。このようにして生成された可変長符号化係数データと量子化パラメータ符号は、ビットストリームとして光ディスク媒体やネットワークを介して復号器に伝送される。復号側は可変長符号化係数データと量子化パラメータ符号を復号して量子化係数データと量子化パラメータを生成し、量子化パラメータを用いて量子化係数データを逆量子化・逆直交変換することによって復号画像を生成する。
MPEG−2やH.264では、マクロブロックとよばれる画像を格子状に区切った16×16の格子ブロックを一つの処理単位としている。直交変換するブロックのサイズを画素単位で表現すると、MPEG−2では8×8、H.264では8×8、または4×4となる。つまり、一つのマクロブロックの中に、複数の直交変換ブロックが存在することになる。MPEG−2やH.264では、マクロブロック単位で量子化パラメータを制御(レート制御)することができるので、同一のマクロブロックに含まれる直交変換ブロックは、同じ量子化パラメータで、量子化される。
一方、HEVCでは、画像を格子状に区切った格子ブロックをLCU(Largest Coding Unit)、とよび、そのサイズは64×64となっている。LCUは、領域四分木構造を使ってCU(Cording Unit)とよばれるより小さいサイズのブロックに分割される。さらに、CUは、TU(Transform Unit)とよばれる直交変換ブロックを含み、このTUも領域四分木構造を使って、より小さいサイズに分割される。量子化パラメータそれぞれのユニットは、分割フラグを持つ。分割フラグがTrueのブロックは、縦横を1/2サイズとする4つの分割ブロックを内包する構造をとり、分割フラグがFalseとなるブロックは、分割ブロックを内包しない代わりにブロックの実データを持つ(非特許文献3)。なお、ブロックを分割するかの判定は様々な方法が実現可能であるが、一つの判定方法として、ラグランジュ乗数を用いてブロックのコストを計算し、よりコストが低いブロックの分割方法を選択するというものがある(特許文献2)。
特開2001−45494号公報 特開2005−191706号公報
ISO/IEC 13818−2:2000 Information technology ―― Generic coding of moving pictures and associated audio information: Video ISO/IEC 14496−10;2004 Information technology ―― Coding of audio−visual objects ―― Part 10: Advanced Video Coding JCT−VC 寄書 JCTVC−A205.doc < http://wftp3.itu.int/av−arch/jctvc−site/2010_04_A_Dresden/> MPEG−2 Test Model 5(TM5),Doc. ISO/IEC JTC1/SC29/WG11/N0400, Test Model Editing Commitee, April 1993
符号化対象ブロックの量子化パラメータと予測量子化パラメータとの差分値を量子化パラメータ符号として符号化する量子化パラメータ符号化方法では、その差分値の絶対値が大きいほど、量子化パラメータ符号の符号量は大きくなる。量子化パラメータをブロック単位で埋め込む場合、従来は予測量子化パラメータの算出方法が単一であり、画像の符号化方法や画像の特性によっては、その差分値の絶対値が大きくなり、不要に量子化パラメータの符号量が増加してしまっていた。
したがって、本発明は上述した課題を解決するためになされたものであり、不要な量子化パラメータの符号量の増加を防ぎ、量子化パラメータの符号量を削減することを目的としている。
上述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段を有し、前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、前記符号化手段は、符号化の対象となる処理対象ブロックを量子化するために用いられる第1の量子化パラメータに係る差分を符号化する場合に、前記処理対象ブロックにおける前記属性情報に基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロック量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータとの差分を符号化する
また、上述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段を有し、前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、前記符号化手段は、符号化の対象となる処理対象ブロックを量子化するために用いられる第1の量子化パラメータに係る差分を符号化する場合に、前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータとの差分を符号化し、前記符号化手段は、前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第1の量子化パラメータに係る差分を導出するための前記ブロックとして決定する。
また、上述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段を有し、前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、前記符号化手段は、符号化の対象となる処理対象ブロックを量子化するために用いられる第1の量子化パラメータに係る差分を符号化する場合に、前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータとの差分を符号化し、前記符号化手段は、前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第1の量子化パラメータに係る差分を導出するための前記ブロックとして決定する。
また、上述の問題点を解決するため、本発明の画像復号装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段を有し、前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、前記復号手段は、復号の対象となる処理対象ブロックを逆量子化するために用いられる第1の量子化パラメータを導出する場合に、前記処理対象ブロックにおける前記属性情報に基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロック逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータに係る差分とに基づいて、前記第1の量子化パラメータを導出する。
また、上述の問題点を解決するため、本発明の画像復号装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段を有し、前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
前記復号手段は、復号の対象となる処理対象ブロックを逆量子化するために用いられる第1の量子化パラメータを導出する場合に、前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータに係る差分とに基づいて、前記第1の量子化パラメータを導出し、前記復号手段は、前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第1の量子化パラメータを導出するための前記ブロックとして決定する。
また、上述の問題点を解決するため、本発明の画像復号装置は以下の構成を有する。すなわち、複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段を有し、前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、 前記復号手段は、復号の対象となる処理対象ブロックを逆量子化するために用いられる第1の量子化パラメータを導出する場合に、前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータに係る差分とに基づいて、前記第1の量子化パラメータを導出し、前記復号手段は、前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第1の量子化パラメータを導出するための前記ブロックとして決定する。
本発明により、量子化パラメータ符号の符号量を削減できる。
実施例1として説明する分割ブロック符号化方法を示すフローチャート 実施例3として説明する分割ブロック符号化方法を示すフローチャート 実施例5として説明する分割ブロック符号化方法を示すフローチャート 実施例7として説明する分割ブロック符号化方法を示すフローチャート 実施例9として説明する分割ブロック符号化方法を示すフローチャート 実施例2として説明する分割ブロック復号方法を示すフローチャート 実施例4として説明する分割ブロック復号方法を示すフローチャート 実施例6として説明する分割ブロック復号方法を示すフローチャート 実施例8として説明する分割ブロック復号方法を示すフローチャート 実施例10として説明する分割ブロック復号方法を示すフローチャート (a)(b)(c)本願発明が実行されるハードウェア構成を示す図 (a)(b)周辺ブロックの参照位置関係を示す図 (a)(b)ブロックの分割例を示す図 ブロックの位置関係と識別値の変換表を示した図 フレームの符号化方法を示すフローチャート フレームの復号方法を示すフローチャート フレームのビットストリームの構成例を示す図 (a)(b)格子ブロックのビットストリームの構成例を示す図 格子ブロックの分割状態と分割フラグの例を示す図 分割ブロックのブロックサイズごとの予測画質制御パラメータの取得方法を説明したフローチャート イントラ予測方法から予測画質制御パラメータを決定するフローチャート 各ブロックにおける画質制御パラメータの参照関係を示す図 実施例5として説明する分割ブロック符号化方法の動作例を示す図 (a)(b)予測画質制御パラメータの取得方法の一例 イントラ予測の予測方向を示すインデックス 複数の属性から予測画質制御パラメータを決定する第1のフローチャート 複数の属性から予測画質制御パラメータを決定する第2のフローチャート 複数の属性から予測画質制御パラメータを決定する第3のフローチャート 複数の属性から予測画質制御パラメータを決定する第4のフローチャート
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
<実施例1>
本実施例での符号化対象ブロックの符号化方法について図1、図11、図15、図20を用いて説明する。
図11(a)は、本願発明における符号化方法を含んだ符号化プログラムを実行するためのハードウェア構成を示している。本符号化プログラムはハードディスク装置(以下、HDDと略す)1104に記録されており、符号化プログラムの起動とともにRAM1102にロードされ、以下で示される各ステップをCPU1101が実行して符号化処理がなされる。なお、本実施例では入力画像データはHDD1104に格納されており、符号化されたビットストリームもHDD1104へ記録されるものとする。以上の構成において、符号化を行う動作について説明する。なお、本実施例では、フレームを縦横64×64画素からなる格子に区切った格子ブロック(以下、縦横n×n画素からなるブロックをn×nと表記する。)に分割し、格子ブロックをさらに領域四分木構造を用いて分割ブロックに分割し、分割ブロックを符号化対象ブロックとして符号化処理を行うものとして説明する。最小の分割ブロックは8×8とする。図13(a)は、フレームを格子ブロックに分割した状態の一例を示しており、図13(b)はその格子ブロックをさらに分割ブロックに分割した状態の一例を表している。なお、格子ブロックが分割されない場合にも、格子ブロック内に一つの64×64の分割ブロックが存在するとみなして処理を行う。
図15は、フレーム全体を符号化するフローを説明したフローチャートである。S15010では、フレームヘッダー情報を符号化する。フレームヘッダー情報には、フレームの同期コードや、フレームがイントラフレームかインターフレームであるかを示すフレームタイプ情報などが含まれる。
S15020では、処理対象となる格子ブロック(以下、対象格子ブロック)を設定する。初回の対象格子ブロックは、フレーム内左上の格子ブロックになる。以降、S15020が実行されるごとに、ラスター順に格子ブロックが設定される。例えば、図13(a)で示される格子ブロック番号(B1、B2、...)の順になる。
S15030では、対象格子ブロックの分割状態と分割ブロックごとに後述の予測モードを決定する。対象格子ブロックの分割は、図13(b)のように、領域四分木構造を使って分割される。また、本実施例においては、予測モードとはイントラ予測モードとインター予測モードのことを示すものとする。イントラ予測モードは、H.264のように処理対象の分割ブロックの周辺の分割ブロックを参照してイントラ予測画像ブロックを生成するモードであり、インター予測モードは、動きベクトルを決定して動き補償予測画像ブロックを生成するモードである。
S15031では、対象格子ブロック内の分割ブロックの予測モード情報と分割ブロック情報を符号化する。予測モード情報とは、予測モードを識別するフラグと予測モードに関する付加情報である。例えば、イントラ予測モードであれば付加情報はイントラ予測方法情報となり、インター予測であれば動きベクトル情報、あるいは、周辺ブロックの中から動きベクトルが同じブロックを識別する動きベクトル導出ブロック識別情報となる。動きベクトル導出ブロック識別情報の一例として、動きベクトル導出ブロック識別情報はそれぞれ1ビットの動きベクトル同一フラグ、動きベクトル予測方向フラグからなる。動きベクトル同一フラグが1の場合には、動きベクトルが埋め込まれず、動きベクトル予測方向フラグが埋め込まれる。動きベクトル同一フラグが1の場合には、動きベクトルが埋め込まれ、動きベクトル予測方向フラグが埋め込まれない。また、動きベクトル予測方向フラグが1の場合には、左方ブロックの動きベクトルを対象ブロックの動きベクトルとし、
0の場合は、上方ブロックの動きベクトルが対象ブロックの動きベクトルとなる。動きベクトル導出ブロック識別情報を埋め込む場合には、動きベクトル情報をビットストリームに埋め込まなくても、復号処理において、動きベクトル導出ブロック識別情報から動きベクトルを導出できる。なお、本実施例では、動きベクトル予測方向フラグを1ビットのフラグとして扱っているがそれに限定されない。動きベクトル予測方向フラグ上方ブロック、左方ブロックに加えて、左上ブロック、右上ブロックなど複数のブロック候補から選択可能とするために多値のデータであってよい。イントラ予測方法情報は、H.264の16×16イントラ予測ブロックとの予測モードと同様に、例えば、水平方向予測、垂直方向予測、DC予測、平面予測を識別する情報である。
ビットストリームには、この予測モード情報を可変長符号化した予測モード情報符号が埋め込まれる。分割ブロック情報とは、領域四分木の各ノード(ブロック)がさらに分割されるかどうかの分割状態を示す情報であり、ある1つのノード(ブロック)に対する分割ブロック情報を分割フラグとする。例えば、格子ブロックが図13(b)のように分割されるとすると、ブロックサイズごとの階層の分割状態は、図19のように表現される。図19の(a),(b),(c),(d)は、それぞれ、64×64、32×32、16×16、8×8ブロックの分割状態を示している。また、ブロックを分割する場合を(1)、分割しない場合を(0)と表現している。N1,N2,..,N21は、領域四分木構造のノード(ブロック)番号を表している。その番号は、階層ごとには領域四分木構造を深さ優先探索で走査する順番、同一ブロック内においては左上、右上、左下、右下の順で走査する順番(以下、領域四分木構造順と表現する)で設定されている。「−」はノード(ブロック)が存在しないことを示している。N1,N2,...,N21の分割フラグを分割ブロック情報として復号器へ伝送することにより、復号器側でも、領域四分木構造を再構築が可能となる。予測モード情報符号と分割フラグは、例えば、図18(a)に示されるような構造で、分割ブロックごとにビットストリームに埋め込まれる。なお、図18(a)のN1,N2,...,N21は、図19のノード(ブロック)番号に対応し、図18(a)のb1,b2,...,b16は、図13(b)の分割ブロック番号に対応する。なお、N1,N2,..,N21において、予測モード情報はこれ以上分割されない最小の分割ブロック、つまり、b1,b2,...,b16に対応する分割ブロックにのみ付加されることになる。
S15040では、処理対象となる対象分割ブロックを設定する。初回では、格子ブロック内の左上ブロックが設定される。以降、S15040が実行されるごとに、その領域四分木構造順に従って分割ブロックが設定される。例えば、図13(b)で示される分割ブロックの番号(b1、b2、...)の順になる。
S15050では、S15040で設定された対象分割ブロックを符号化する。詳細は、後述する。S15060では、対象格子ブロック内の全分割ブロックが全て処理されたかを判定し、全分割ブロックの処理が終了している場合にはS15070に進み、全分割ブロックの処理が終了していない場合にはS15040に戻る。一つの格子ブロックに対する全ての分割ブロックの処理が終了すると、図18(a)に示されるような構造をもつ格子ブロックのビットストリームが生成される。
S15070は、フレーム内の全格子ブロックの処理が終了したかを判定し、全格子ブロックの処理が終了している場合には本フローを終了し、全格子ブロックの処理が終了していない場合には、S15020に戻る。全格子ブロックの処理が終了した時点で、図17(a)に示されるような構造をもつフレームのビットストリームが生成される。
図1は、図15のS15050で実行される分割ブロック符号化方法の詳細なフローチャートである。
S1010では、対象分割ブロックの属性情報を取得する。本実施例ではブロックサイズを属性情報とするが、それに限定されない。例えば、属性情報には、イントラ・インター予測を識別するブロックモード情報、動きベクトル、イントラ予測におけるイントラ予測方法などがある。それらの属性の単体、あるいは、組み合わせを用い、属性が同一であり、かつ、直前に符号化した分割ブロックの画質制御パラメータを予測画質制御パラメータとしてもよい。また、動きベクトルに関しては、全く同一である必要がなく、ベクトルの差の絶対値が一定値以下であれば、同一とみなしてもよい。
S1020では、対象分割ブロックの画質制御パラメータを算出する。画質制御パラメータは、例えばフレームの符号量があらかじめ設定された目標符号量となるように算出される。このとき、人の顔やオブジェクトのエッジなど特定の画像成分をもつ領域の画質を向上させること目的として、領域ごとに異なる画質パラメータとなるように画質制御パラメータを調整してもよい。
S1030では、対象分割ブロックと同じ属性を持ち、かつ、直前に符号化した分割ブロックの画質制御パラメータを予測制御パラメータとして取得する。本実施例では、ブロックサイズを属性情報としているため、ブロックサイズごとに画質制御パラメータを記録、更新しておき、それを参照する形式をとる。詳細は、後述する。
S1040では、対象分割ブロックの画質制御パラメータと予測画質制御パラメータとの差分値を計算して、画質制御パラメータの差分値を算出する。
S1050では、画質制御パラメータの差分値を符号化し、画質制御パラメータ差分値符号を生成する。画質制御パラメータ差分値符号は、図18(a)に示される構造でビットストリームに埋め込まれる。
S1060では、対象分割ブロックの画像データを符号化する。本実施例では、予測モードに従って、対象分割ブロックの残差データを生成し、直交変換、量子化、可変長符号化を実行することによって、残差データを符号化し可変長符号化係数データを生成する。このとき、可変長符号化係数データは、図18(a)に示される構造でビットストリームに埋め込まれる。
図20は、図1のS1030で示された、ブロックサイズごとの予測画質制御パラメータの取得方法を説明したフローチャートである。なお、本フローチャートでは、最終画質制御パラメータ64、最終画質制御パラメータ32、最終画質制御パラメータ16、最終画質制御パラメータ8が用いられる。これらのパラメータは、フレーム内の処理で共通のパラメータであり、復号の開始時、あるいは、フレームやスライスなどの処理単位ごとに初期化しておくものとする。
S20001は、処理対象ブロックのブロックサイズを判定し、それぞれのブロックサイズごとの処理を実行する。具体的には、ブロックサイズが64×64、32×32、16×16、8×8の場合、それぞれ、S20002とS20003,S20004とS20005、S20006とS20007、S20008とS20009を実行する。
S20002は、最終画質制御パラメータ64を予測画質制御パラメータとする。
S20003は、対象分割ブロックの画質制御パラメータを最終画質制御パラメータ64×64に記録する。このように値を記録しておくことにより、次回の64×64ブロックの処理時に、容易に参照することが可能となる。
以下、S20004とS20005、S20006とS20007、S20008とS20009も、それぞれ、32×32、16×16、8×8ごとに同様の処理がなされる。ここで、取得した予測画質制御パラメータがS1040で利用されることになる。
図22に、予測画質制御パラメータとして参照されるブロックの関係を示す。図中の矢印は、例えば、B2が処理対象分割ブロックである場合、同一サイズのブロックで最後に符号化したB1の画質制御パラメータをB2の予測画質制御パラメータとすることを表している。また、C5が処理対象分割ブロックである場合、同一サイズのブロックで最後に符号化したC4の画質制御パラメータをC5の予測画質制御パラメータとする。本実施例では、このように、異なるサイズのブロックの画質制御パラメータは、サイズごとに独立した形で、予測画質制御パラメータとして参照される。
同じ属性を持つブロックは、同じあるいは近い値の画質制御パラメータで符号化されることが多い。例えば、低周波成分の多い画像ブロックは大きなブロックサイズで、エッジなど高周波成分が多い画像ブロックは小さなブロックサイズで、符号化することにより符号化効率が良くなる傾向がある。そのため、ブロック分割時のブロックサイズもその傾向に従って決定されやすい。また、特定の画像成分をもつ領域の画質を向上させるために、画質制御パラメータを制御する場合、ブロックサイズごとに画質制御制御パラメータは似た値を持つ可能性が高い。よって、本実施例で説明した手法をとることにより、単純に、直前に符号化したブロックの画質制御パラメータを予測画質制御パラメータとして差分値を計算する場合に比べ差分値の絶対値が小さくなる。つまり、画質制御パラメータを符号化した際の符号量が小さくなる。
本実施例では、格子ブロックサイズは64×64、最小の分割ブロッサイズを8×8として説明したがそれに限定されない。また、本願発明における符号化方法は、図11(b)ように、直交変換器1003、量子化器1004、可変長符号化器1005といった専用のハードウェアを持った構成で行われてもよい。また、本願発明による画質制御パラメータの算出が符号量制御器(不図示)などの専用のハードウェアで構成されていてもよい。このとき、直交変換、量子化、可変長符号化、制御処理がCPUにより実行されるのでなく、CPUが各処理をそれぞれのハードウェアに実行させること以外は、図15および図1で示されるフローと同様の動作を行う。
<実施例2>
実施例1で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図6、図11、図16、図20を用いて説明する。
図11(a)は、本願発明における復号方法を含んだ復号プログラムを実行するための構成を示している。HDD1104に記録された復号プログラムを、RAM1102にロードし、後述するフローの各ステップをCPU1101が実行することにより復号処理がなされる。なお、入力符号データはHDD1104から読みだされ、復号画像はVRAM1105を介して、ディスプレイに出力されるものとする。なお、復号処理はブロックごとに行われるが、各ブロックを復号することにより得られたブロックの復号画像は、RAM1102内の適正な位置にコピーされ、1フレーム分のブロックの復号処理が終了した時点で、1フレームの復号画像が完成する。生成されたフレームは、その後VRAM1105へ出力されるものとする。
入力されるビットストリームは実施例1で生成されたビットストリームとして説明する。
図16は、入力されたビットストリームを復号処理するフローを示したものである。各格子ブロックは、ラスタースキャン順に復号される。
S16010では、図17(a)で示されるフレームヘッダー情報を復号する。S16020では、処理対象となる対象格子ブロックを設定する。初回の処理対象となる対象格子ブロックは、画面左上の格子ブロックになる。以降に、S16020が実行されるごとに、ラスター順に対象格子ブロックを設定する。例えば、図13(a)で示される格子ブロック番号(B1、B2、...)の順になる。
S16030では、対象格子ブロックの分割状態と分割ブロックごとの予測モードを復号する。ここでは、分割フラグをもとに、分割ブロックの領域四分木構造が復元される。また、分割ブロックごと予測モード情報も復号され、以降、分割ブロックの属性情報が取得可能となる。
S16040では、処理対象となる対象分割ブロックを設定する。S16030で復元された領域四分木構造の順番基づいて分割ブロックを設定していく。例えば、図13(b)で示される分割ブロック番号(b1、b2、...)の順になる。
S16050では、対象分割ブロックの画像データを復号する。詳細は、図6の説明で後述する。
S16060で、格子ブロック内の全分割ブロックが全て処理されたかを判定し、全ての分割ブロック処理が終了している場合にはS16070を実行し、全ての分割ブロックの処理が終了していない場合にはS16040に戻る。
S16070は、フレーム内の全格子ブロックの処理が終了したかを判定し、全ての格子ブロックの処理が終了している場合には本フローを終了し、全ての格子ブロックの処理が終了していない場合にはS16020〜S16070の処理を再度実行する。
図6は、図16のS16050で実行される処理の詳細なフローチャートである。S6010では、対象分割ブロックの属性情報を取得する。本実施例ではブロックサイズを属性情報としているが、それに限定されない。S6020では、画質パラメータ差分値符号を復号して、画質パラメータ差分値を生成する。
S6030では、S6010で取得した対象分割ブロックの属性情報と同一の属性情報を持った分割ブロックであり、直前に復号した分割ブロックの画質制御質パラメータを予測画質制御パラメータとする。本実施例では、ブロックサイズを属性情報としているため、ブロックサイズごとの最終画質制御パラメータを記録しておき、それを参照する形式をとる。
S6040では、予測画質制御パラメータに画質制御パラメータ差分値を加算することにより、処理対象ブロックの画質制御パラメータを算出する。
S6050では、対象分割ブロックの画像データを復号する。本実施例の処理対象ブロックの復号処理では、可変長符号化係数データを、可変長復号、逆量子化、逆直交変換して、残差データを生成する。さらに、予測モードに従って、予測画像を生成し、予測画像に残差データに加算することによって、分割ブロックの復号画像を得る。逆量子化の際には、S6040で算出した画質制御パラメータを量子化パラメータとして用いる。
本実施例で説明した手法をとることにより、実施例1で説明した画像符号化方法で符号化されたストリームを復号することができる。
本願発明における復号方法は、図11(c)のように、逆直交変換器1304、逆量子化器1305、可変長復号器1306、符号量制御器(不図示)といった専用のハードウェアを持った構成で行われてもよい。このとき、逆直交変換、逆量子化、可変長復号処理がCPU1101により実行されるのでなく、CPU1101が各処理をそれぞれのハードウェアに実行させること以外は、図6および図16で示されるフローと同様の処理を行う。
<実施例3>
本実施例での画像符号化方法について図2を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例1と同様とする。
図2は分割ブロック符号化方法の詳細なフローチャートであり、図1に対して、S1020の後に、S2021が追加されている。なお、本実施例では、対象分割ブロックがインターブロックであるとして説明する。
S2021では、周辺ブロックの中から、対象分割ブロックの属性情報と最も近い属性情報を持つブロックを一つ選択する。図12(b)は、対象分割ブロックと周辺ブロックの動きベクトルの関係を示している。本実施例では、周辺ブロックとは、図12(b)のように、左、上、右上のブロックとするが、この組み合わせに限定されない。また、属性情報が最も近いブロックを選択するとは、対象分割ブロックの動きベクトルと周辺ブロックの動きベクトルの差の大きさが最も小さくなる動きベクトルを持つブロックを選択するが、これに限定されない。周辺ブロックの中から動きベクトルが同じブロックを識別する動きベクトル導出ブロック識別情報がある場合には、その情報を利用してブロックを選択してもよい。図12(b)を例に説明すると、対象分割ブロックの動きベクトルはVCurrであり、左、上、右上のブロックの動きベクトルは、それぞれVLeft,VTop,または、VTopRightである。図12(b)を例では、VCurrとVTopは、同じベクトル値であるため、上ブロックが選択される。本実施例では、属性情報が最も近いもしくは同一のブロックが複数存在する場合には、空間的な距離が最も近いブロックを選択することとするが、それに限定されない。
S2030は、S2021で選択されたブロックの画質制御パラメータを予測画質制御パラメータとする。
処理対象ブロック周辺に存在する同じ属性を持つブロックは、同じあるいは近い値の画質制御パラメータで符号化されることが多い。例えば、同じ動きベクトルをもつブロックは同一のオブジェクトに含まれる可能性が高く、特定のオブジェクトの画質を向上させる処理を実施する際には、同じ動きベクトルをもつブロックは、似た値の画質制御パラメータで符号化される可能性が高い。そのため、単純に直前に符号化したブロックの画質制御パラメータを予測画質制御パラメータとして差分値を計算する場合に比べて、本方式では、差分値の絶対値が小さくなり、画質制御パラメータを符号化した際の符号量が小さくなる。そのため、より少ないビットレートで同等の画質の映像を符号化することができる。
<実施例4>
実施例3で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図7を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例2と同様とする。また、入力されるビットストリームは第3実施例で生成されたビットストリームであるとして説明する。
図7は図16のS16050で示された分割ブロック復号処理の詳細なフローチャートである。また、図6に対して、S6020の後に、S7021が追加されている。本実施例では、処理対象ブロックがインターブロックであるとして説明する。
S7021は、周辺ブロックの中から、対象分割ブロックの属性情報と最も近い属性情報を持つブロックを一つ選択する。図12(b)では、実施形態3同様にVCurrとVTopは、同じベクトルであるため、上ブロックが選択されることになる。このとき、動きベクトルを直接比較してブロックを選択してもよいし、周辺ブロックの中から動きベクトルが同じブロックを識別する情報が存在する場合には、その情報を利用してブロックを選択してもよい。また本実施例では、属性情報が最も近いもしくは同一のブロックが複数存在する場合には、空間的な距離が最も近いブロックを選択することとするが、それに限定されない。
S7030は、S6021で選択されたブロックの画質制御パラメータを予測画質制御パラメータとする。ここで決定され予測画質制御パラメータがS6040で利用される。本実施例で説明した手法をとることにより、実施例3で説明した画像符号化方法で符号化したストリームを復号することができる。
<実施例5>
本実施例における画像符号化方法について図3を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例1と同様とする。
図3は図15のS15050で示されている分割ブロック符号化方法の詳細なフローチャートである。また、図1に対して、S1020の後にS3021が追加されている。
S3021は、周辺ブロックの中から、属性情報が同一となるブロックを一つ以上選択する。本実施例では、周辺ブロックとは、図12(a)で示されるように処理対象ブロックに対して、左、上、右上のブロックとするが、この組み合わせに限定されない。また、本実施例ではブロックモード情報を属性情報とする。つまり、対象分割ブロックがイントラブロックであれば周辺のイントラブロック選択し、対象分割ブロックがインターブロックであれば周辺のインターブロックを選択する。
S3030は、選択された一つ以上のブロックの画質制御パラメータの平均値を算出し、それを予測画質制御パラメータとする。本実施例では、平均値を予測画質制御パラメータとしているが、これに限定されず、例えば中央値を用いてもよい。
図23に、本実施例の動作例を示す。図23(a)では、対象分割ブロックの左のブロックがインターブロックなので、左のブロックが選択される。図23(b)では、対象分割ブロックの上のブロックがインターブロックなので、上のブロックが選択される。図23(c)では、対象分割ブロックの左のブロックと上のブロックとがインターブロックなので、左のブロックと上のブロックとの平均値が選択される。図23(d)では、対象分割ブロックの左のブロックも上のブロックもインターブロックではないので、左のブロックが選択される。
対象分割ブロックの周辺に存在する同じ属性を持つブロックは、同じあるいは近い値の画質制御パラメータで符号化されることが多い。例えば、動きのある被写体のエッジ部分のブロックはイントラ符号化、背景や被写体内部のブロックはインター符号化で符号化されやすい。エッジ部分を優先して画質を上げる符号量制御を行う場合、イントラ符号化ブロック対して高画質になるように画質制御パラメータを設定することは有効な手段である。つまり、ブロックモード情報が同じブロックの画質制御パラメータは、似た値になる傾向がある。よって、本実施例で説明した手法をとることにより、単純に直前に符号化したブロックの画質制御パラメータを予測画質制御パラメータとして差分値を計算する場合に比べて、差分値の絶対値が小さくなり、画質制御パラメータを符号化した際の符号量が小さくなる。
<実施例6>
実施例5で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図8を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例2と同様とする。また、入力されるビットストリームは実施例5で生成されたビットストリームであるとして説明する。
図8は図16のS16050で示された分割ブロック復号処理の詳細なフローチャートである。また、図6に対して、S6020の後にS8021が追加されている。
S8021は、周辺ブロックの中から属性情報が同一となるブロックを一つ以上選択する。本実施例では、周辺ブロックとは、図12(a)で示されるように処理対象ブロックに対して、左、上、右上のブロックとするが、この組み合わせに限定されない。また、対象分割ブロックがイントラブロックであれば周辺のイントラブロック選択し、対象分割ブロックがインターブロックであれば周辺のインターブロックを選択する。
S8030は、選択された一つ以上のブロックの画質制御パラメータの平均を算出し、それを予測画質制御パラメータとする。本実施例では、平均値を予測画質制御パラメータとしているが、これに限定されず、例えば中央値を用いてもよい。ここで決定され予測画質制御パラメータがS6040で利用される。
本実施例で説明した手法をとることにより、実施例5で説明した画像符号化方法で符号化したストリームを復号することができる。
<実施例7>
本実施例の画像符号化方法について図4を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例1と同様とする。
図4は、図15のS15050で示された分割ブロック符号化方法を示すフローチャートである。また、図1に対して、S1020の後にS4021が、S4022、S4023が追加されている。
S4021は、予測画質制御パラメータ決定方法を複数の候補の中から選択する。本実施例における予測画質制御パラメータ決定方法としては、(0)対象分割ブロックの空間的に左方に存在する分割ブロックの画質制御パラメータを予測画質制御パラメータとする。(1)周辺分割ブロックの中で対象分割ブロックと同一の属性情報をもつ分割ブロックの画質制御パラメータの平均を予測画質制御パラメータとする。(2)周辺分割ブロックの中で対象分割ブロックと同一の属性情報をもつ分割ブロックの画質制御パラメータの中央値を予測画質制御パラメータとする。(3)対象分割ブロックと同一の属性情報を持ち、直前に符号化された分割ブロックの画質制御パラメータを予測画質制御パラメータとする。の4種類の中から選択する形をとるが、この組み合わせに限定されず、他の決定方法を用いてもよいし、これらの一部のみを用いてもよい。S4021における具体的な処理としては、これらの予測画質制御パラメータ決定方法を試行し、対象分割ブロックの画質制御パラメータと予測画質制御パラメータの差分値が最も小さくなる予測画質制御パラメータ決定方法を選択する。
S4022は、予測画質制御パラメータの決定方法を識別する識別値を決定する。本実施例では、S4021で決定した予測画質制御パラメータ決定方法に対応するインデックス値を識別値とする。
S4023は、前記識別値を符号化して識別値符号を生成する。
S4030は、S4021で選択した予測画質制御パラメータ決定方法によって算出された、予測画質制御パラメータを取得する。
本実施例により、格子ブロックのビットストリーム構造は、図18(b)のようになる。このビットストリームが復号器に伝送されることにより、復号器でも予測画質制御パラメータ決定方法を識別することが可能となる。
本実施例により、最適な予測画質制御パラメータ決定方法を選択することができる。なお、本実施例では、分割ブロックごとに最適な予測画質制御パラメータ決定方法を選択し、識別値を符号化する方法として説明している。しかし、それに限定されず、格子ブロック単位、スライス単位、フレーム単位、シーケンス単位で、最適な予測画質制御パラメータ決定方法し、前記符号化単位のヘッダー部に識別値を埋め込む構成をとってもよい。例えば、図17(a)のフレームヘッダーに識別値を埋め込むなどの構成である。
<実施例8>
実施例7で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図9を参照して説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例2と同様とする。また、入力されるビットストリームは第7実施例で生成されたビットストリームであるとして説明する。
図9は図16のS16050で示された分割ブロック復号処理の詳細なフローチャートである。図9は、図2に対して、S6020の後にS9021が追加されている。本実施例では、実施例7で生成された、図18(b)で示されるビットストリームを復号するものとする。
S6010では、対象分割ブロックの属性情報を取得する。本実施例では、イントラ・インター予測を識別するブロックモード情報を属性情報とするが、それに限定されず、例えば、ブロックサイズ、動きベクトル、イントラ予測におけるイントラ予測方法、それらの単体、あるいは、組み合わせを用いてもよい。
S9021は、予測画質制御パラメータ決定方法を識別する識別値符号を復号し、識別値を生成する。本実施例では、この識別値は、実施例7で説明した(0)、(1)、(2)、(3)に対応するものとするが、これに限定されない。
S9030は、前記識別値で識別される予測画質制御パラメータ決定方法を用いて、予測画質パラメータを決定する。ここで決定され予測画質制御パラメータがS6040で利用される。
本実施例で説明した復号方法により、実施例7で説明した画像符号化方法で符号化したストリームを復号することができる。
<実施例9>
本実施例の画像符号化方法について図5を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例1と同様とする。
図5は図15のS15050で示された分割ブロック符号化処理の詳細なフローチャートである。また、図1に対して、S1020の後にS5021が、S5040の後に、S5041、S5042が追加されている。
S5021では、周辺分割ブロックの中から、対象分割ブロックと属性情報が同一であるブロックを選択する。本実施例では、図12(a)で示されるように処理対象ブロックに対して、左、上、右上のブロックとするが、これに限定されない。また、左、上、右上のブロックが全て異なるモードであった場合には、本実施例では全てを選択するものとするが、これに限定されない。
S5030では、対象分割ブロックの画質制御パラメータと選択されたブロックの画質制御パラメータとの差分値を全て計算し、差分値が最も小さくなるブロックを選択する。
S5040では、S5030で選択されたブロックの画質制御パラメータを使って算出した差分値を取得する。この差分値がS1050で符号化されることになる。
S5041では、複数ブロックから画質制御パラメータ予測ブロックを識別値する識別値を算出する。例えば、この識別値は、図14にある表を使って算出できる。図14の「同一属性ブロックの選択有無」は、左、上、右上に存在する分割ブロックがS5021で選択されたか否かを示している。この「同一属性ブロックの選択有無」に応じて、表中の識別コードが振られ、S5021で選択した左、上、右上の分割ブロックに対応する識別コードが識別値とされる。表中の「−」は、ブロックが選択されていないため識別コードが割り振られていない状態を示している。また、「x」は識別値を符号化せずともに、ブロックが一意に決定できることを表している。
S5042では、前記識別値を符号化して識別値符号を生成する。本実施例では、「同一属性ブロックの選択有無」に応じて、図14の「符号化方法」列に記載した符号化方法で、前記識別値を符号化する。図14のケース1および8では、可変長のGolmb符号を生成し、ビットストリームに埋め込む。図14のケース2、3、5では、値を1ビット固定長データとしてビットストリームに埋め込む。また、ケース4、6、7は、ブロックが一意に特定できるため、識別値符号はビットストリームに埋め込まれない。なお、符号化方法についてはこれに限定されない。
本実施例により、分割ブロックごとに、対象分割ブロックの画質制御パラメータの符号量を最小にできる予測画質制御パラメータをもつ周辺の分割ブロックを選択することができる。
<実施例10>
実施例9で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図10を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例2と同様とする。また、入力されるビットストリームは第9実施例で生成されたビットストリームであるとして説明する。
図10は図16のS16050で示した分割ブロック符号化処理の詳細なフローチャートである。また、図6に対して、S6020の後にS10021、S10022、S10023が追加されている。
S10021では、周辺分割ブロックの中から、処理対象ブロックと属性情報が同一であるブロックを選択する。本実施例では、図12(a)で示されるように処理対象ブロックに対して、左、上、右上のブロックとするが、符号化方法と同一であればよく、これに限定されない。また、左、上、右上のブロックが全て異なるモードであった場合には、本実施例では全てを選択するものとするが、符号化方法と同一であればよく、これに限定されない。
S10022では、識別値符号から識別値を復号する。本実施例では、図14の「同一属性ブロックの選択有無」に応じて、「符号化方法」列に記載した符号化方法に対応する復号方法で、前記識別値を復号するがこれに限定れない。図14のケース2、3、5においては、ブロックが一意に特定でき、識別値符号が埋め込まれていなため、識別値符号の復号処理はなされない。
S10023では、識別値に基づいて予測画質制御パラメータの算出に用いる分割ブロックを選択する。具体的には、本実施例では、「同一属性ブロックの選択有無」と識別値から、図14の表を用いて、左、上、右上のブロックを特定する。S10022で識別値符号を復号しなかったケースでも、図14の表と「同一属性ブロックの選択有無」から、一つの予測ブロックを選択できる。ここで選択されたブロックがS6030で利用される。
本実施例で説明した復号方法により、実施例9で説明した画像符号化方法で符号化したストリームを復号することができる。
<実施例11>
本実施例の画像符号化方法について図21を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例1と同様とする。
本実施例では、対象分割ブロックがイントラブロックであるとして説明する。また、イントラ予測の予測方法は、H.264の16×16イントラ予測ブロックと同様に、DC予測、水平方向予測、垂直方向予測、平面予測であるとして説明するがこれに限定されない。
図21は、図1のS1030においてイントラ予測方法から予測画質制御パラメータを決定するフローチャートである
S21001では、対象分割ブロックのイントラ予測方法が、水平方向予測の場合にはS21002を、DC予測または平面予測の場合にS21003を、垂直方向予測の場合にはS21004を実行する。
S21002では、左方に存在する分割ブロックの画質制御パラメータを予測画質制御パラメータとする。
S21003では、左方に存在する分割ブロックと上方に存在する分割ブロックの画質制御パラメータの平均値を予測画質制御パラメータとする。
S21004では、上方に存在する分割ブロックの画質制御パラメータを予測画質制御パラメータとする。
ただし、イントラ予測方法と予測画質制御パラメータの算出に用いる分割ブロックの組み合わせはこれに限定されない。例えば、イントラ予測の方法が図25に示すように34方向ある場合には、図24(a)に示すように予測画質制御パラメータを算出する。この場合、例えば予測方向を示すインデックスが18、10、19の場合には対象分割ブロックの予測画質制御パラメータとして、左方に存在する分割ブロックと上方に存在する分割ブロックの画質制御パラメータの平均値を算出する(図24(b)に示すtop_leftとtop)。
イントラ予測の予測方向にあるブロックは、同一のオブジェクトに含まれる可能性が高く、特定のオブジェクトの画質を向上させる処理を実施する際には、似た値の画質制御パラメータで符号化される可能性が高い。そのため、単純に直前に符号化したブロックの画質制御パラメータを予測画質制御パラメータとして差分値を計算する場合に比べて、本実施例で説明した方式では、差分値の絶対値が小さくなり、画質制御パラメータを符号化した際の符号量が小さくなる。
<実施例12>
実施例11で説明した画像符号化方法で符号化された符号化データを復号する画像復号方法について図21を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例2と同様とする。また、入力されるビットストリームは第11実施例で生成されたビットストリームであるとして説明する。
本実施例では、対象分割ブロックがイントラブロックであるとして説明する。また、イントラ予測の予測方法は、H.264の16×16イントラ予測ブロックと同様に、DC予測、水平方向予測、垂直方向予測、平面予測であるとするが、これに限定されない。
図6のS6030において、イントラ予測方法から予測画質制御パラメータの決定は図21のフローチャートにそって決定される。
S21001では、対象分割ブロックのイントラ予測方法が、水平方向予測の場合にはS21002を、DC予測または平面予測の場合にS21003を、垂直方向予測の場合にはS21004を実行する。
S21002では、左方に存在する分割ブロックの画質制御パラメータを予測画質制御パラメータとする。
S21003では、左方に存在する分割ブロックと上方に存在する分割ブロックの画質制御パラメータの平均値を予測画質制御パラメータとする。
S21004では、上方に存在する分割ブロックの画質制御パラメータを予測画質制御パラメータとする。
ただし、イントラ予測方法と予測画質制御パラメータの算出に用いる分割ブロックの組み合わせは、符号化方法と同一であればよく、これに限定されない。
本実施例で説明した手法をとることにより、実施例11で説明した画像符号化方法で符号化したストリームを復号することができる。
<実施例13>
本実施例での画像符号化方法について図2を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例1、実施例3と同様とする。
S2021では、周辺ブロックの中から、対象分割ブロックの属性情報が同じブロックを選択する。本実施例では、それは動きベクトルであり、図12(b)の例では、VCurrとVTopは、同じベクトル値であるため、上ブロックが選択される。
S2030は、S2021で選択されたブロックの画質制御パラメータを予測画質制御パラメータとする。
本実施形態では、S2021で算出する対象分割ブロックの動きベクトルと周辺ブロックの動きベクトルの差が同じ場合には、画質制御パラメータ差分値符号を埋め込まない形態がとられる。画質制御パラメータ差分値符号を埋め込まない場合、S1040とS1050をスキップされ、画質制御パラメータ差分値符号を埋め込まない。また、S1060における画像ブロックの符号化において、S1020で算出した画質制御パラメータは利用されず、S2030で決定した予測画質制御パラメータを画質制御のためのパラメータとして利用して画像ブロックを符号化することになる。
処理対象ブロック周辺に存在する同じ属性を持つブロックは、同じ画質制御パラメータで符号化したほうがよい。例えば、同じ動きベクトルをもつブロックは同一のオブジェクトに含まれる可能性が高く、同一の画質制御パラメータで符号化したほうが同一オブジェト内に画質差が生まれない。画質制御パラメータの差分値をストリームに埋め込まないことにより、より少ないビットレートで同等の画質の映像を符号化することができる。
さらに、周辺ブロック中で、動きベクトルが同一であるブロックが存在し、かつ、どの位置にあるブロックと動きベクトルが同一であるかを識別する符号をビットストリームに挿入する形態をとってもよい。動きベクトルが同一であるブロックが存在する場合は、前述の画質制御パラメータ差分値符号を埋め込まない形態の処理が行われる。このとき、対象分割ブロックには動きベクトルが埋め込まれないことになる。この実施形態をとることにより、さらに、画質制御パラメータを符号化した際の符号量を削減することが可能となる。
<実施例14>
実施例13で説明した画像符号化方法で符号化されたストリームを復号する画像復号方法について図7を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例2、実施例4と同様とする。
S7021は、周辺ブロックの中から、対象分割ブロックの属性情報が同じブロックを選択する。本実施例では、それは動きベクトルであり、図12(b)の例では、VCurrとVTopは、同じベクトル値であるため、上ブロックが選択される。
S7030は、S7021で選択されたブロックの画質制御パラメータを予測画質制御パラメータとする。ここで決定され予測画質制御パラメータがS6040で利用される。
本実施形態では、S7021で算出する対象分割ブロックの動きベクトルと周辺ブロックの動きベクトルの差が同じ場合には、画質制御パラメータ差分値符号を復号しない形態がとられる。画質制御パラメータ差分値符号を復号しない場合、S6020とS6040をスキップされ、S7040における画像ブロックの復号は、S7030で決定した予測画質制御パラメータを画質制御のためのパラメータとして利用し画像ブロック復号することになる。
本実施例で説明した手法をとることにより、実施例3で説明した画像符号化方法で符号化したストリームを復号することができる。
さらに、周辺ブロック中で、動きベクトルが同一であるブロックが存在し、かつ、どの位置にあるブロックと動きベクトルが同一であるかを識別する符号がビットストリームに挿入されている場合にも、前述の画質制御パラメータ差分値符号を復号しない形態をとってもよい。この場合、予測画質制御パラメータは、前述の符号により識別される動きベクトルが同一であるブロックの画質制御パラメータとなる。なお、これらの処理は、符号化方法の処理と対応している必要がある。
<実施例15>
本実施例での画像符号化方法について図2を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例1、実施例3と同様とする。
S2021では、周辺分割ブロックの中から、対象分割ブロックの属性情報が同じブロックの画面制御パラメータを選択する。本実施例では、複数の属性、すなわち予測モード、イントラ予測方法、参照する分割ブロックの有無の組み合わせによって選択を行う。なお、複数の属性についてはこれに限定されず、前述の動きベクトルやブロックサイズを用いても構わないし、それ以外の属性でも構わない。
図26にその選択のフローチャートを示す。選択はまず、対象分割ブロックの予測モードがイントラか否かを判別し、イントラ符号化であれば、イントラ予測方法を属性として画面制御パラメータの選択を行う。また、それ以外の予測モードについては、予測モード自体を属性として予測画面制御パラメータの選択を行う。イントラ予測モード以外にインター予測モードやスキップモードなどの予測モードがこれにあたるが、これに限定されない。最後に参照できるブロックの有無を属性として画面制御パラメータの選択を行う。
以下、フローチャートに従って、詳細に説明する。
S26001は、対象分割ブロックの予測モードがイントラ予測モードかそれ以外かを判定し、イントラ予測モードであればS26002に進み、そうでなければS26003に進む。
S26002は、イントラ予測方法が水平方向予測であれば、S26009で左方の画質制御パラメータを予測画質制御パラメータとする。また、垂直方向予測であれば、S26010で上方の画質制御パラメータを予測画質制御パラメータとする。さらに、DC予測または平面予測であれば、S26011で左方の画質制御パラメータと上方の画質制御パラメータの平均値を予測画質制御パラメータとする。その後、予測画質制御パラメータ選択処理を終了する。
S26003は、対象分割ブロックの予測モードが上方の分割ブロックの予測モードと一致するか否かを判定し、一致する場合はS26004に進み、そうでなければS26005に進む。
S26004は、さらに対象分割ブロックの予測モードが左方の分割ブロックの予測モードと一致するか否かを判定し、一致する場合はS26010に進み、そうでなければS26011に進む。
S26005は、さらに対象分割ブロックの予測モードが左方の分割ブロックの予測モードと一致するか否かを判定し、一致する場合はS26009に進み、そうでなければS26006に進む。
S26006は、対象分割ブロック上方に参照できる分割ブロックが存在するか否かを判定し、存在する場合はS26007に進み、そうでなければS26008に進む。S26007は、対象分割ブロック左方に参照できる分割ブロックが存在するか否かを判定し、存在する場合はS26010に進み、そうでなければS26011に進む。
S26008は、対象分割ブロック左方に参照できる分割ブロックが存在するか否かを判定し、存在する場合はS22009に進み、そうでなければS22012に進む。S26012は、参照する分割ブロックがないので、直前に符号化された分割ブロックの画質制御パラメータを予測画質制御パラメータとする。その後、予測画質制御パラメータ選択処理を終了する。
本実施例で示したように、複数の属性を用いて、予測画質制御パラメータを選択することにより、画質を細かく制御することが可能になる。
なお、本実施例において、属性の判定の順番、判定後の処理の方法についてはこれに限定されない。本実施例において、処理分割ブロックがイントラ予測以外の場合に予測モードによる選択を行ったが、図27に示すようにS26003からS26005を省いた構成をとっても構わない。また、S26002でイントラ予測方法を3つに大別したが、これに限定されず、イントラ予測方法をより細かく設定しても構わない。また、S26002ののちに参照する分割ブロックの予測モードがさらに一致するものから選択する方法を用いても構わない。すなわち、S26002で水平方向予測であれば、さらに左方の分割ブロックがイントラ予測モードであればS26009に進むが、そうでなければS26003に進むように条件を論理和になるように選択をおこなっても構わない。
さらに、参照できる分割ブロックに関してもさらに条件を追加しても構わない。たとえば、S26008で参照できる分割ブロックの予測モードを参照したり、分割ブロック内の有意係数の有無、スキップの有無を条件に追加したりしても構わない。
また、本実施例において、S26012にて参照する分割ブロックがなかった場合に直前に符号化された分割ブロックの画質制御パラメータを予測画質制御パラメータとしたが、これに限定されず、図28のS28001、図29のS29001に示すようにスライスに与えられた画質制御パラメータであっても良い。この値はH.264であればPPSで設定されたpic_init_qp_minus26とスライス単位で決められたslice_qp_deltaから求めることができる。さらには、予め決められた所定の値、ピクチャに与えられた画質制御パラメータであっても良い。また、HEVCのようにLCUを分割する際にLCU単位で与えられた画質制御パラメータを用いてももちろん構わない。
また、本実施例において、周囲分割ブロックの情報として上方と左方のブロックを参照したが、これに限定されず、斜め左上、斜め右上の分割ブロックを参照しても構わないし、さらには前のフレームの同じ位置の分割ブロックを参照して予測画質制御パラメータを求めてももちろん構わない。
<実施例16>
実施例15で説明した画像符号化方法で符号化されたストリームを復号する画像復号方法について図7を用いて説明する。なお、特に記述がない場合、その構成および各ステップの動作は、実施例2、実施例4と同様とする。
S7021は、周辺ブロックの中から、対象分割ブロックの属性情報が同じブロックを選択する。本実施例では、複数の属性、すなわち予測モード、イントラ予測方法、参照する分割ブロックの有無の組み合わせによって選択を行う。なお、複数の属性についてはこれに限定されず、前述の動きベクトルやブロックサイズを用いても構わないし、それ以外の属性でも構わない。S7021の詳細については図26、図27、図28、図29に示すフローチャートに従って復号済みの周辺の分割ブロックの予測モード、イントラ予測方法、参照する分割ブロックの有無を属性として判定する。これにより、符号化側と同じ動作を行うことにより正しく予測画質制御パラメータを選択することができる。
なお、本実施例において、周囲分割ブロックの情報として上方と左方のブロックを参照したが、これに限定されず、斜め左上、斜め右上の分割ブロックを参照しても構わないし、さらには前のフレームの同じ位置の分割ブロックを参照して予測画質制御パラメータを求めてももちろん構わない。
<その他の実施例>
本願発明では符号化されたデータはHDD903に記録される例をとって説明した。しかし、これに限定されず、ハードディスク装置以外の記録媒体に記録されても構わない。また、通信インターフェース905を解して通信回路に送信しても、外部記録装置に接続し、可搬メディアに記録してももちろん構わない。
さらに、本願発明ではソフトウェアはハードディスク装置に記録される例をとって説明したが、これに限定されず、ROM等のハードウェアに記録されていても構わないし、メモリカードやディスク等の可搬メディアに記録されていてももちろん構わない。

Claims (32)

  1. 複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段
    を有し、
    前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、
    前記符号化手段は、
    符号化の対象となる処理対象ブロックを量子化するために用いられる第1の量子化パラメータに係る差分を符号化する場合に、
    前記処理対象ブロックにおける前記属性情報に基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロック量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータとの差分を符号化する
    ことを特徴とする画像符号化装置。
  2. 記属性情報は、前記ブロックサイズを特定可能な情報であり、
    前記符号化手段は、前記処理対象ブロックサイズと、前記処理対象ブロック以外のブロックサイズに基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
    ことを特徴とする請求項1記載の画像符号化装置。
  3. 記属性情報は、前記予測処理に係る情報であり、
    前記予測処理に係る情報は、インターブロックであるかイントラブロックであるかを示す予測モード情報であり、
    前記符号化手段は、前記処理対象ブロックにおける前記予測モード情報と、前記処理対象ブロック以外のブロックにおける前記予測モード情報とに基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
    ことを特徴とする請求項1記載の画像符号化装置。
  4. 記属性情報は、前記動きベクトルを示す情報であり、
    前記符号化手段は、前記処理対象ブロックにおける前記動きベクトルを示す情報と、前記処理対象ブロック以外のブロックにおける前記動きベクトルを示す情報とに基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
    ことを特徴とする請求項1記載の画像符号化装置。
  5. 記属性情報は、前記予測処理に係る情報であり、
    前記予測処理に係る情報は、イントラ予測における予測方法を示す情報であり、
    前記符号化手段は、前記処理対象ブロックにおける前記イントラ予測における予測方法を示す情報に基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
    ことを特徴とする請求項1記載の画像符号化装置。
  6. 複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段
    を有し、
    前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
    前記符号化手段は、
    符号化の対象となる処理対象ブロックを量子化するために用いられる第1の量子化パラメータに係る差分を符号化する場合に、
    前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータとの差分を符号化し、
    前記符号化手段は、
    前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第1の量子化パラメータに係る差分を導出するための前記ブロックとして決定する
    ことを特徴とする画像符号化装置。
  7. 前記符号化手段は、
    複数のブロックを、前記第1の量子化パラメータに係る差分を導出するためのブロックとして決定し、
    前記第2の量子化パラメータは、前記複数のブロックそれぞれに対応する複数の量子化パラメータの平均値又は中央値である
    ことを特徴とする請求項1〜6のいずれか1項に記載の画像符号化装置。
  8. 前記符号化手段は、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロックの左のブロック、前記処理対象ブロックの上のブロック、及び、前記処理対象ブロックの右上のブロックの中から決定する
    ことを特徴とする請求項1〜7のいずれか1項に記載の画像符号化装置。
  9. 複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化手段
    を有し、
    前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
    前記符号化手段は、
    符号化の対象となる処理対象ブロックを量子化するために用いられる第1の量子化パラメータに係る差分を符号化する場合に、
    前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータとの差分を符号化し、
    前記符号化手段は、
    前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第1の量子化パラメータに係る差分を導出するための前記ブロックとして決定する
    ことを特徴とする画像符号化装置。
  10. 前記周辺の複数のブロックは、前記処理対象ブロックの左のブロック、前記処理対象ブロックの上のブロック、及び、前記処理対象ブロックの右上のブロックである
    ことを特徴とする請求項9に記載の画像符号化装置。
  11. 前記第1の量子化パラメータは、前記処理対象ブロックを符号化した符号化データの符号量を予め設定された所定値にするためのパラメータである
    ことを特徴とする請求項1〜10のいずれか1項に記載の画像符号化装置。
  12. 前記量子化パラメータは、画質を制御するためのパラメータである
    ことを特徴とする請求項1〜11のいずれか1項に記載の画像符号化装置。
  13. 複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段
    を有し、
    前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、
    前記復号手段は、
    復号の対象となる処理対象ブロックを逆量子化するために用いられる第1の量子化パラメータを導出する場合に、
    前記処理対象ブロックにおける前記属性情報に基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロック逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータに係る差分とに基づいて、前記第1の量子化パラメータを導出する
    ことを特徴とする画像復号装置。
  14. 記属性情報は、前記ブロックサイズを特定可能な情報であり、
    前記復号手段は、前記処理対象ブロックサイズと、前記処理対象ブロック以外のブロックサイズに基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
    ことを特徴とする請求項13記載の画像復号装置。
  15. 記属性情報は、前記予測処理に係る情報であり、
    前記予測処理に係る情報は、インターブロックであるかイントラブロックであるかを示す予測モード情報であり、
    前記復号手段は、前記処理対象ブロックにおける前記予測モード情報と、前記処理対象ブロック以外のブロックにおける前記予測モード情報とに基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
    ことを特徴とする請求項1記載の画像復号装置。
  16. 記属性情報は、前記動きベクトルを示す情報であり、
    前記復号手段は、前記処理対象ブロックにおける前記動きベクトルを示す情報と、前記処理対象ブロック以外のブロックにおける前記動きベクトルを示す情報とに基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
    ことを特徴とする請求項1記載の画像復号装置。
  17. 記属性情報は、前記予測処理に係る情報であり、
    前記予測処理に係る情報は、イントラ予測における予測方法を示す情報であり、
    前記復号手段は、前記処理対象ブロックにおける前記イントラ予測における予測方法を示す情報に基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定する、
    ことを特徴とする請求項1記載の画像復号装置。
  18. 複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段
    を有し、
    前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
    前記復号手段は、
    復号の対象となる処理対象ブロックを逆量子化するために用いられる第1の量子化パラメータを導出する場合に、
    前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータに係る差分とに基づいて、前記第1の量子化パラメータを導出し、
    前記復号手段は、
    前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第1の量子化パラメータを導出するための前記ブロックとして決定する
    ことを特徴とする画像復号装置。
  19. 前記復号手段は、
    複数のブロックを、前記第1の量子化パラメータを導出するためのブロックとして決定し、
    前記第2の量子化パラメータは、前記複数のブロックそれぞれに対応する複数の量子化パラメータの平均値又は中央値である
    ことを特徴とする請求項13〜18のいずれか1項に記載の画像復号装置。
  20. 前記復号手段は、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロックの左のブロック、前記処理対象ブロックの上のブロック、及び、前記処理対象ブロックの右上のブロックの中から決定する
    ことを特徴とする請求項119のいずれか1項に記載の画像復号装置。
  21. 複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号手段
    を有し、
    前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
    前記復号手段は、
    復号の対象となる処理対象ブロックを逆量子化するために用いられる第1の量子化パラメータを導出する場合に、
    前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータに係る差分とに基づいて、前記第1の量子化パラメータを導出し、
    前記復号手段は、
    前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第1の量子化パラメータを導出するための前記ブロックとして決定する
    ことを特徴とする画像復号装置。
  22. 前記周辺の複数のブロックは、前記処理対象ブロックの左のブロック、前記処理対象ブロックの上のブロック、及び、前記処理対象ブロックの右上のブロックである
    ことを特徴とする請求項21に記載の画像復号装置。
  23. 前記第1の量子化パラメータは、前記処理対象ブロックを復号した復号データの符号量を予め設定された所定値にするためのパラメータである
    ことを特徴とする請求項122のいずれか1項に記載の画像復号装置。
  24. 前記量子化パラメータは、画質を制御するためのパラメータである
    ことを特徴とする請求項13〜23のいずれか1項に記載の画像復号装置。
  25. 複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化工程
    を有し、
    前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、
    前記符号化工程において、
    符号化の対象となる処理対象ブロックを量子化するために用いられる第1の量子化パラメータに係る差分を符号化する場合に、
    前記処理対象ブロックにおける前記属性情報に基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロック量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータとの差分を符号化する
    ことを特徴とする画像符号化方法。
  26. 複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化工程
    を有し、
    前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
    前記符号化工程において、
    符号化の対象となる処理対象ブロックを量子化するために用いられる第1の量子化パラメータに係る差分を符号化する場合に、
    前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータとの差分を符号化し、
    前記符号化工程において、
    前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第1の量子化パラメータに係る差分を導出するための前記ブロックとして決定する
    ことを特徴とする画像符号化方法。
  27. 複数のブロックを含む画像をブロック単位で符号化して符号化データを生成する符号化工程
    を有し、
    前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
    前記符号化工程において、
    符号化の対象となる処理対象ブロックを量子化するために用いられる第1の量子化パラータに係る差分を符号化する場合に、
    前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータに係る差分を導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロックを量子化するために用いられる量子化パラメータ、又は、その決定したブロックを量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータとの差分を符号化し、
    前記符号化工程において、
    前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第1の量子化パラメータに係る差分を導出するための前記ブロックとして決定する
    ことを特徴とする画像符号化方法。
  28. 複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号工程
    を有し、
    前記符号化データは、予測処理に係る情報、動きベクトルを示す情報、及び、ブロックのサイズを特定可能な情報の内の少なくともいずれかである属性情報を含み、
    前記復号工程において、
    復号の対象となる処理対象ブロックを逆量子化するために用いられる第1の量子化パラメータを導出する場合に、
    前記処理対象ブロックにおける前記属性情報に基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロック逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータに係る差分とに基づいて、前記第1の量子化パラメータを導出する
    ことを特徴とする画像復号方法。
  29. 複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号工程
    を有し、
    前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
    前記復号工程において、
    復号の対象となる処理対象ブロックを逆量子化するために用いられる第1の量子化パラメータを導出する場合に、
    前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータに係る差分とに基づいて、前記第1の量子化パラメータを導出し、
    前記復号工程において、
    前記処理対象ブロックにおける前記他の属性情報と同一の属性情報を有するブロックを、前記第1の量子化パラメータを導出するための前記ブロックとして決定する
    ことを特徴とする画像復号方法。
  30. 複数のブロックを含む画像をブロック単位で符号化して生成された符号化データを復号する復号工程
    を有し、
    前記符号化データは、前記符号化データを復号する場合に利用される属性情報を含み、
    前記復号工程において、
    復号の対象となる処理対象ブロックを逆量子化するために用いられる第1の量子化パラメータを導出する場合に、
    前記処理対象ブロックにおける、量子化パラメータ以外の他の属性情報に基づいて、前記第1の量子化パラメータを導出するための1又は複数のブロックを、前記処理対象ブロック以外のブロックの中から決定し、
    その決定したブロックを逆量子化するために用いられる量子化パラメータ、又は、その決定したブロックを逆量子化するために用いられる量子化パラメータに基づく量子化パラメータである第2の量子化パラメータと、前記第1の量子化パラメータに係る差分とに基づいて、前記第1の量子化パラメータを導出し、
    前記復号工程において、
    前記処理対象ブロックの周辺の複数のブロックの内、前記他の属性情報が前記処理対象ブロックにおける前記他の属性情報に最も近いブロックを、前記第1の量子化パラメータを導出するための前記ブロックとして決定する
    ことを特徴とする画像復号方法。
  31. コンピュータを、請求項1〜1のいずれか1項に記載の画像符号化装置の各手段として機能させることを特徴とするプログラム。
  32. コンピュータを、請求項1〜2のいずれか1項に記載の画像復号装置の各手段として機能させることを特徴とするプログラム。
JP2016119844A 2011-03-09 2016-06-16 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム Active JP6261658B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011051269 2011-03-09
JP2011051269 2011-03-09
JP2011149357 2011-07-05
JP2011149357 2011-07-05

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011161053A Division JP2013034037A (ja) 2011-03-09 2011-07-22 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2016181931A JP2016181931A (ja) 2016-10-13
JP6261658B2 true JP6261658B2 (ja) 2018-01-17

Family

ID=47789559

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011161053A Pending JP2013034037A (ja) 2011-03-09 2011-07-22 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2016119844A Active JP6261658B2 (ja) 2011-03-09 2016-06-16 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011161053A Pending JP2013034037A (ja) 2011-03-09 2011-07-22 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Country Status (1)

Country Link
JP (2) JP2013034037A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6024654B2 (ja) 2011-03-09 2016-11-16 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法及び映像復号方法
US10468202B2 (en) 2017-02-21 2019-11-05 National Synchrotron Radiation Research Center Conductive paper electrode, electrochemical capacitor and method for manufacturing the same
WO2019131880A1 (ja) * 2017-12-28 2019-07-04 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法、復号方法、情報処理方法、符号化装置、復号装置、及び、情報処理システム
EP3737098A4 (en) 2018-01-02 2021-06-09 Samsung Electronics Co., Ltd. CODING METHOD AND DEVICE FOR IT AND DECODING METHOD AND DEVICE FOR IT
CN117997349A (zh) * 2022-11-02 2024-05-07 华为技术有限公司 一种雷达数据的编码、解码方法、编码装置及解码装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0575987A (ja) * 1991-09-17 1993-03-26 Matsushita Electric Ind Co Ltd 動画像信号の動き領域の検出方法と高能率符号化装置
JPH06188742A (ja) * 1992-12-22 1994-07-08 Mitsubishi Electric Corp 変換符号化/復号化装置
JPH10327410A (ja) * 1997-05-23 1998-12-08 Matsushita Electric Ind Co Ltd 画像伝送用データ構造,符号化方法及び復号化方法
KR100249223B1 (ko) * 1997-09-12 2000-03-15 구자홍 엠팩(mpeg)-4의움직임벡터코딩방법
JP2006014183A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像符号化装置、画像符号化方法及びそのプログラム
JP5413191B2 (ja) * 2007-03-20 2014-02-12 富士通株式会社 動画像符号化方法及び装置並びに動画像復号装置
JP2009182623A (ja) * 2008-01-30 2009-08-13 Panasonic Corp 画像符号化方法
JP4868539B2 (ja) * 2008-03-03 2012-02-01 Kddi株式会社 動画像符号化装置および復号装置
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
EP2437500A4 (en) * 2009-05-29 2013-04-17 Mitsubishi Electric Corp IMAGE ENCRYPTION DEVICE, IMAGE KEYING DEVICE, IMAGE ENCRYPTION METHOD AND IMAGE KEYING PROCESS
US20110274162A1 (en) * 2010-05-04 2011-11-10 Minhua Zhou Coding Unit Quantization Parameters in Video Coding
KR20120016980A (ko) * 2010-08-17 2012-02-27 한국전자통신연구원 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
JP5195875B2 (ja) * 2010-11-10 2013-05-15 ソニー株式会社 復号装置及び方法、記録媒体、並びにプログラム
US20120189052A1 (en) * 2011-01-24 2012-07-26 Qualcomm Incorporated Signaling quantization parameter changes for coded units in high efficiency video coding (hevc)
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム

Also Published As

Publication number Publication date
JP2013034037A (ja) 2013-02-14
JP2016181931A (ja) 2016-10-13

Similar Documents

Publication Publication Date Title
US10750177B2 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
US8837840B2 (en) Method and apparatus for encoding and decoding coding unit of picture boundary
JP6261658B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2012135033A (ja) αチャンネル映像復号化装置、αチャンネル復号化方法及び記録媒体
TW201803347A (zh) 具有內插參考圖像的視訊編解碼
JP2024509611A (ja) 改善されたイントラ・モード符号化のための方法、装置およびプログラム
US9832460B2 (en) Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
CN111543055A (zh) 视频编码设备、视频解码设备、视频编码方法、视频解码方法、程序和视频系统
JP2023552415A (ja) ビデオ復号の方法、機器、及びコンピュータプログラム
CN111903125A (zh) 图像编码装置、图像编码方法、图像解码装置和图像解码方法
JP4383240B2 (ja) 画面内予測符号化装置、その方法及びそのプログラム
US12537950B2 (en) Image coding apparatus, image coding method, and program, and image decoding apparatus, image decoding method, and program
JP2025524755A (ja) クロマ・フロム・ルマイントラ予測モードのための方法、デバイス及び非一時的コンピュータ読取可能媒体
JP4884703B2 (ja) 画像の空間予測符号化方法、符号化装置、復号化方法及び復号化装置
JP5937926B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
KR20200004348A (ko) 타겟 영역 수정을 통해 비디오 신호를 처리하는 방법 및 장치
WO2020262370A1 (ja) 画像処理装置および画像処理方法
CN113132734A (zh) 一种编码、解码方法、装置及其设备
JP2013098735A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2025522659A (ja) ルマからクロマイントラ予測モードのためのダウンサンプリングフィルタのシグナリング
JP2025517842A (ja) ルマからのクロマイントラ予測モードのためのダウンサンプリングフィルタのシグナリング

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171212

R151 Written notification of patent or utility model registration

Ref document number: 6261658

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151