JP7067487B2 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
JP7067487B2
JP7067487B2 JP2018559044A JP2018559044A JP7067487B2 JP 7067487 B2 JP7067487 B2 JP 7067487B2 JP 2018559044 A JP2018559044 A JP 2018559044A JP 2018559044 A JP2018559044 A JP 2018559044A JP 7067487 B2 JP7067487 B2 JP 7067487B2
Authority
JP
Japan
Prior art keywords
conversion
flag
primary
color difference
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018559044A
Other languages
English (en)
Other versions
JPWO2018123644A1 (ja
Inventor
健史 筑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018123644A1 publication Critical patent/JPWO2018123644A1/ja
Application granted granted Critical
Publication of JP7067487B2 publication Critical patent/JP7067487B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Description

本開示は、画像処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした画像処理装置および方法に関する。
従来、輝度について、TU（Transform Unit）単位毎の、水平方向のプライマリ変換PThor（プライマリ水平変換とも称する）および垂直方向のプライマリ変換PTver（プライマリ垂直変換とも称する）毎に、適応的に複数の異なる直交変換から、プライマリ変換を選択する適応プライマリ変換（AMT: Adaptive Multiple Core Transforms）が開示されている（例えば、非特許文献１参照）。
Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-D1001_v3, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15-21 October 2016
しかしながら、非特許文献１においては、輝度(Y)に対してのみ適応プライマリ変換が適用されうるが、色差(Cb, Cr)に対しては適用されない。したがって、色差に関するプライマリ変換の符号化効率が、輝度と比較して低減するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
本技術の第１の側面の画像処理装置は、輝度の逆直交変換に関する情報に基づいて導出された色差の逆直交変換に関する情報を用いて、色差の前記逆直交変換を行う逆直交変換部を備え、前記逆直交変換に関する情報は、複数の異なる逆直交変換の中からいずれかを適応的に選択して逆プライマリ変換として用いる適応逆プライマリ変換を適用するかを示す適応プライマリ変換フラグと、垂直方向および水平方向の逆プライマリ変換にどの逆プライマリ変換を適用するかを示すプライマリ変換識別子とを含み、色差の前記適応プライマリ変換フラグの値には、輝度の前記適応プライマリ変換フラグの値がセットされ、色差の前記適応プライマリ変換フラグが真の場合、色差の前記プライマリ変換識別子の値には、輝度の前記プライマリ変換識別子の値がセットされる画像処理装置である。
色差の前記適応プライマリ変換フラグが偽の場合、色差の前記プライマリ変換識別子の値には、所定値がセットされるようにすることができる。
前記逆直交変換部は、前記逆直交変換として、逆プライマリ変換を行うことができる。
前記逆直交変換部は、前記逆直交変換として、水平方向の前記逆プライマリ変換である逆プライマリ水平変換と、垂直方向の前記逆プライマリ変換である逆プライマリ垂直変換を行うことができる。
色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされるようにすることができる。
色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、予測モードがイントラブロックコピーのイントラ予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされるようにすることができる。
色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、輝度と色差とで予測モードが一致するイントラ予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされるようにすることができる。
色差の前記適応プライマリ変換フラグの値は、色差の前記適応プライマリ変換フラグを輝度の前記適応プライマリ変換フラグに基づいて推定するかを示す色差適応プライマリ変換情報推定フラグが真の場合、輝度の前記適応プライマリ変換フラグの値にセットされるようにすることができる。
色差の前記適応プライマリ変換フラグの値は、色差の処理対象の変換ブロックの短辺のサイズが所定の閾値以上の場合、輝度の前記適応プライマリ変換フラグの値にセットされるようにすることができる。
前記逆直交変換部は、前記逆直交変換として、水平方向の逆プライマリ変換である逆プライマリ水平変換と、垂直方向の逆プライマリ変換である逆プライマリ垂直変換を行うように構成され、前記逆プライマリ水平変換の変換タイプは、色差の処理対象の変換ブロックの横幅のサイズが所定の閾値よりも大きい場合、水平変換セットおよびプライマリ水平変換指定フラグに基づいてセットされ、前記逆プライマリ垂直変換の変換タイプは、色差の処理対象の変換ブロックの縦幅のサイズが所定の閾値よりも大きい場合、垂直変換セットおよびプライマリ垂直変換指定フラグに基づいてセットされるようにすることができる。
前記逆直交変換に関する情報は、逆直交変換処理をスキップするかを示す変換スキップフラグを含むようにすることができる。
色差の前記変換スキップフラグの値は、輝度の前記変換スキップフラグの値にセットされるようにすることができる。
前記逆直交変換に関する情報は、どの逆セカンダリ変換を適用するかを示すセカンダリ変換識別子を含むようにすることができる。
色差の前記セカンダリ変換識別子の値は、輝度の前記セカンダリ変換識別子の値にセットされるようにすることができる。
本技術の第１の側面の画像処理方法は、色差の、複数の異なる逆直交変換の中からいずれかを適応的に選択して逆プライマリ変換として用いる適応逆プライマリ変換を適用するかを示す適応プライマリ変換フラグの値に、輝度の前記適応プライマリ変換フラグの値をセットし、色差の前記適応プライマリ変換フラグが真の場合、色差の、垂直方向および水平方向の逆プライマリ変換にどの逆プライマリ変換を適用するかを示すプライマリ変換識別子の値に、輝度の前記プライマリ変換識別子の値をセットし、色差の前記適応プライマリ変換フラグおよび色差の前記プライマリ変換識別子を含む色差の逆直交変換に関する情報を用いて、色差の前記逆直交変換を行う画像処理方法である。
本技術の第１の側面の画像処理装置および方法においては、色差の、複数の異なる逆直交変換の中からいずれかを適応的に選択して逆プライマリ変換として用いる適応逆プライマリ変換を適用するかを示す適応プライマリ変換フラグの値に、輝度の適応プライマリ変換フラグの値がセットされ、色差の適応プライマリ変換フラグが真の場合、色差の、垂直方向および水平方向の逆プライマリ変換にどの逆プライマリ変換を適用するかを示すプライマリ変換識別子の値に、輝度のプライマリ変換識別子の値がセットされ、その色差の適応プライマリ変換フラグおよび色差のプライマリ変換識別子を含む色差の逆直交変換に関する情報が用いられて、色差の逆直交変換が行われる。
本開示によれば、画像を処理することができる。特に、符号化効率の低減を抑制することができる。
変換セットと選択される直交変換との対応関係を示す図である。 直交変換のタイプと、用いられる関数との対応関係を示す図である。 変換セットと予測モードとの対応関係を示す図である。 変換ユニットのシンタックスやセマンティクスの例を示す図である。 residual_codingのシンタックスの例を示す図である。 輝度の値を利用して導出する色差のパラメータの例を示す図である。 色差の適応プライマリ変換フラグの導出方法の例を説明する図である。 CU,PU、およびTUの形状を説明する図である。 画像復号装置の主な構成例を示すブロック図である。 逆変換部の主な構成例を示すブロック図である。 色差適応プライマリ変換情報導出部の主な構成例を示すブロック図である。 画像復号処理の流れの例を説明するフローチャートである。 プライマリ変換情報復号処理の流れの例を説明するフローチャートである。 逆変換処理の流れの例を説明するフローチャートである。 色差適応プライマリ変換情報導出処理の流れの例を説明するフローチャートである。 逆プライマリ変換選択処理の流れの例を説明するフローチャートである。 色差適応プライマリ変換情報導出処理の流れの例を説明するフローチャートである。 色差適応プライマリ変換情報導出処理の流れの例を説明するフローチャートである。 色差適応プライマリ変換情報導出処理の流れの例を説明するフローチャートである。 変換ユニットのシンタックスやセマンティクスの例を示す図である。 residual_codingのシンタックスの例を示す図である。 色差適応プライマリ変換情報推定フラグ復号処理の流れの例を説明するフローチャートである。 色差適応プライマリ変換情報導出処理の流れの例を説明するフローチャートである。 色差適応プライマリ変換情報導出処理の流れの例を説明するフローチャートである。 プライマリ水平変換タイプ導出処理の流れの例を説明するフローチャートである。 プライマリ垂直変換タイプ導出処理の流れの例を説明するフローチャートである。 色差の変換スキップフラグの導出方法の例を説明する図である。 residual_codingのシンタックスの例を示す図である。 変換スキップフラグ導出処理の流れの例を説明するフローチャートである。 residual_codingのシンタックスの例を示す図である。 変換スキップフラグ導出処理の流れの例を説明するフローチャートである。 residual_codingのシンタックスの例を示す図である。 変換スキップフラグ導出処理の流れの例を説明するフローチャートである。 residual_codingのシンタックスの例を示す図である。 変換スキップフラグ導出処理の流れの例を説明するフローチャートである。 変換ユニットのシンタックスやセマンティクスの例を示す図である。 residual_codingのシンタックスの例を示す図である。 変換スキップフラグ導出処理の流れの例を説明するフローチャートである。 色差のセカンダリ変換識別子の導出方法の例を説明する図である。 変換ユニットのシンタックスの例を示す図である。 変換ユニットのシンタックスの例を示す図である。 色差用セカンダリ変換識別子の導出処理の流れの例を示すフローチャートである。 変換ユニットのシンタックスの例を示す図である。 色差用セカンダリ変換識別子の導出処理の流れの例を示すフローチャートである。 変換ユニットのシンタックスの例を示す図である。 色差用セカンダリ変換識別子の導出処理の流れの例を示すフローチャートである。 変換ユニットのシンタックスの例を示す図である。 色差用セカンダリ変換識別子の導出処理の流れの例を示すフローチャートである。 変換ユニットのシンタックスの例を示す図である。 色差用セカンダリ変換識別子の導出処理の流れの例を示すフローチャートである。 画像符号化装置の主な構成例を示すブロック図である。 変換部の主な構成例を示すブロック図である。 色差適応プライマリ変換情報導出部の主な構成例を示すブロック図である。 画像復号処理の流れの例を説明するフローチャートである。 変換処理の流れの例を説明するフローチャートである。 プライマリ変換選択処理の流れの例を説明するフローチャートである。 プライマリ変換情報符号化処理の流れの例を説明するフローチャートである。 色差適応プライマリ変換情報推定フラグ符号化処理の流れの例を説明するフローチャートである。 変換スキップフラグ符号化処理の流れの例を説明するフローチャートである。 変換スキップフラグ符号化処理の流れの例を説明するフローチャートである。 変換スキップフラグ符号化処理の流れの例を説明するフローチャートである。 変換スキップフラグ符号化処理の流れの例を説明するフローチャートである。 変換スキップフラグ符号化処理の流れの例を説明するフローチャートである。 色差用セカンダリ変換識別子符号化処理の流れの例を説明するフローチャートである。 色差用セカンダリ変換識別子符号化処理の流れの例を説明するフローチャートである。 色差用セカンダリ変換識別子符号化処理の流れの例を説明するフローチャートである。 色差用セカンダリ変換識別子符号化処理の流れの例を説明するフローチャートである。 色差用セカンダリ変換識別子符号化処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。 ビデオセットの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の一例を示すブロック図である。 ビデオプロセッサの概略的な構成の他の例を示すブロック図である。 ネットワークシステムの概略的な構成の一例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．色差の直交変換
２．第１の実施の形態（画像復号装置、apt_flag, pt_idx）
３．第２の実施の形態（画像復号装置、ts_flag）
４．第３の実施の形態（画像復号装置、st_idx）
５．第４の実施の形態（画像符号化装置、apt_flag, pt_idx）
６．第５の実施の形態（画像符号化装置、ts_flag）
７．第６の実施の形態（画像符号化装置、st_idx）
８．その他
＜１．色差の直交変換＞
＜プライマリ変換＞
非特許文献１に記載のテストモデル（JEM4（Joint Exploration Test Model 4））においては、4Kなどの高解像度画像における符号化効率向上のために、CTU（Coding Tree Unit）サイズの最大サイズが128x128から256x256に拡張されている。さらに、ブロック分割の構造として、従来の４分木分割に加えて、水平／垂直方向の２分木が導入され、それに伴い、正方形の変換ブロックに加えて、長方形の変換ブロックも導入されている。
また、JEM4では、輝度について変換ブロック単位毎の、水平方向のプライマリ変換PThor（プライマリ水平変換とも称する）および垂直方向のプライマリ変換PTver（プライマリ垂直変換とも称する）毎に、適応的に複数の異なる直交変換から、プライマリ変換を選択する適応プライマリ変換（AMT（Adaptive Multiple Core Transforms））が開示されている。
より具体的には、輝度の変換ブロック（輝度変換ブロックとも称する）単位で、輝度に関する適応プライマリ変換を実施するか否かを示す適応プライマリ変換フラグapt_flag（amt_flag、cu_pt_flag、またはemt_flagとも称する）が０（偽）の場合、水平プライマリ変換および垂直プライマリ変換に適用する直交変換として、DCT（Discrete Cosine Transform）-IIまたはDST（Discrete Sine Transform）-VIIがモード情報によって（一意に）決定される。
これに対して、例えば、輝度に関する適応プライマリ変換フラグapt_flagが１（真）の場合、図１に示される表（LUT_TrSetToTrTypIdx）のように、水平方向（x方向）と垂直方向（y方向）のそれぞれについてのプライマリ変換の候補となる直交変換を含む変換セットTrSetが、４つの候補（Transform Set Idx = 0乃至3）の中から選択される。図１に示されるDST-VIIやDCT-VIII等は、直交変換のタイプを示しており、それぞれ、図２の表に示されるような関数が用いられる。
なお、図２の表において、各直交変換のタイプ毎に対応する識別子（変換タイプ識別子TrTypeIdx）が定義されている。例えば、直交変換のタイプ（Transform Type）がDCT-IIであれば、変換タイプ識別子TrTypeIdxの値は０が割り当てられている。
変換セットTransformSetの選択（決定）は、処理対象の変換ブロックが属するCU（Coding Unit）（符号化ユニットとも称する）の予測タイプによって異なる。例えば、予測タイプがイントラ予測であれば、図３に示される表（LUT_IntraModeToTrSet）のように、イントラ予測モード（IntraPredMode）に基づいて行われる。例えば、以下の式（１）および式（２）のように、各方向の変換セット（TrSetH, TrSetV）に対して、対応する変換セットTrSetを指定する変換セット識別子TrSetIdxを設定するように実施される。
TrSetH = LUT_IntraModeToTrSet [ IntraPredMode ] [ H(=0) ]
・・・（１）
TrSetV = LUT_IntraModeToTrSet [ IntraPredMode ] [ V(=1) ]
・・・（２）
ここで、TrSetHは、プライマリ水平変換PThorの変換セット（プライマリ水平変換セットとも称する）を示し、TrSetVは、プライマリ垂直変換PTverの変換セット（プライマリすちょく変換セットとも称する）を示す。また、ルックアップテーブルLUT_IntraModeToTrSetは、図３の対応表を示している。ルックアップテーブルLUT_IntraModeToTrSet[][]の１番目の配列は、イントラ予測モードIntraPredModeを引数とし、２番目の配列は、{H=0, V=1}を引数とする。
例えば、イントラ予測モード番号１８（IntraPredMode == 18）の場合、プライマリ水平変換セットTrSetHとして、図１の表（LUT_TrSetToTrTypeIdx）に示される変換セット識別子TrSetIdx = 2の変換セットが選択され、プライマリ垂直変換セットTrSetVとして、図１の表に示される変換セット識別子TrSetIdx = 0の変換セットが選択される。
予測タイプがインター予測であれば、各方向の変換セット（TrSetH、およびTrSetV）に対して、インター予測用の変換セットTrSetを指定する変換セット識別子TrSetIdx（ = InterTrSetIdx）が以下の式（３）や式（４）のように設定される。例えば、図１の表であれば、InterTrSetの値は3である。
TrSetH = InterTrSetIdx
・・・（３）
TrSetV = InterTrSetIdx
・・・（４）
さらに、選択された変換セットTrSetのうちのどの直交変換をプライマリ水平変換に適用するかが、プライマリ水平変換指定フラグpt_hor_flagによって選択される。また、選択された変換セットTrSetのうちのどの直交変換をプライマリ垂直変換に適用するかが、プライマリ垂直変換指定フラグpt_ver_flagによって選択される。例えば、以下の式（５）および式（６）のように、プライマリ{水平, 垂直}変換セットTrSet{H,V}、とプライマリ{水平, 垂直}変換指定フラグpt_{hor,ver}_flagを引数として、図１に示される変換セットの定義表（LUT_TrSetToTrTypeIdx）から導出される。
TrTypeIdxH = LUT_TrSetToTrTypeIdx [ TrSetH ] [ pt_hor_flag ]
・・・（５）
TrTypeIdxV = LUT_TrSetToTrTypeIdx [ TrSetV ] [ pt_ver_flag ]
・・・（６）
例えば、イントラ予測モード番号１８（IntraPredMode == 18）の場合、図３の表から、プライマリ水平変換セットTrSetHの変換セット識別子TrSetIdxの値は２であるため、図１の変換セット定義表LUT_TrSetToTrTypeIdx上で変換セット識別子TrSetIdx == 2である変換セットからプライマリ水平変換に適用する直交変換が選択（指定）される。すなわち、プライマリ水平変換指定フラグpt_hor_flagが０の場合、プライマリ水平変換PThorの直交変換のタイプを指定する水平変換タイプ識別子TrTypeIdxHに、図１の表のように、DST-VIIを示す変換タイプ識別子TrTypeIdxの値「４」が設定され、プライマリ水平変換指定フラグpt_hor_flagが１の場合、水平変換タイプ識別子TrTypeIdxHに、DCT-Vを示す変換タイプ識別子TrTypeIdxの値「１」が設定される。
なお、プライマリ水平変換指定フラグpt_hor_flagおよびプライマリ垂直変換指定フラグpt_ver_flagからプライマリ変換識別子pt_idxが、以下の式（７）に基づいて導出される。
pt_idx = (pt_ver_flag << 1) + pt_hor_flag
・・・（７）
すなわち、プライマリ変換識別子pt_idxの上位1bitは、プライマリ垂直変換指定フラグの値に対応し、下位1bitは、プライマリ水平変換指定フラグの値に対応する。導出されたプライマリ変換識別子pt_idxのbin列に対して、算術符号化を適用して、ビット列を生成することで、符号化が実施される。なお、pt_idxは上位1bitを、プライマリ水平変換指定フラグ、下位1bitをプライマリ垂直変換指定フラグとして設定もよい。
これに対して、色差（Cb, Cr）の変換ブロックについては、適応プライマリ変換は適用されず、プライマリ水平変換およびプライマリ垂直変換の直交変換のタイプとして、DCT-IIが常に選択される。
図４のＡは、変換ユニットTUのシンタックステーブルの一例であって、図４のＢは、それに対応するセマンティクスの例を示している。図４のＡに示されるシンタックスにおいて符号SYN11が付された行に示される残差データ有無フラグcbf[x0][y0][compID]（coded_block_flag）は、図４のＢに示されるように、色信号識別子compIDで指定される色信号の変換ブロックに非ゼロ係数が１個以上存在するか否かを示すフラグである。該フラグが１（真）の場合、対応する変換ブロックに非ゼロ係数が１個以上存在することを示し、該フラグが０（偽）の場合、対応する変換ブロックに非ゼロ係数が存在しないことを示す。なお、便宜上、輝度の残差データ有無フラグcbf[x0][y0][COMPONENT_Y]をcbf_lumaと称する場合もある（cbf_luma = cbf[x0][y0][COMPONENT_Y]）。
また、図４のＡに示される適応プライマリ変換有効フラグapt_enabled_flagは、図４のＢに示されるように、適応プライマリ変換の許可に関する情報である。この値が１（真）の場合、符号化データ上に、適応プライマリ変換に関する情報が存在しうることを示す。また、この値が０（偽）の場合、符号化データ上に、適応プライマリ変換に関する情報が存在しないを示す。
また、図４のＡに示されるシンタックスにおいて符号SYN12が付された行に示す輝度変換ブロックに関する適応プライマリ変換フラグapt_flagは、図４のＢに示されるように、輝度の変換ブロックに対して、適応プライマリ変換を適用するか否かを示すフラグである。この値が１（真）の場合、適応プライマリ変換を適用し、０（偽）の場合、適用プライマリ変換を適用しない。図４のＡのシンタックステーブルに示される通り、輝度の残差データ有無フラグcbf_lumaが「１」（すなわち真）であり、かつ、適応プライマリ変換有効フラグapt_enabled_flagが「１」（すなわち真）の場合、輝度の適応プライマリ変換フラグapt_flagが符号化（復号）される。符号化データ上にapt_flagが存在しない場合は、apt_flagの値は０であると解釈する。
さらに、図４のＡに示されるシンタックスにおいて、符号SYN13が付された行に示す色信号識別子compIDで指定される色信号の変換ブロックの残差データresidual_coding()は、対応する色信号の残差データ有無フラグが１（真）の場合、符号化（復号）される。
図５は、residual_codingのシンタックステーブルの例を示す。図５に示されるシンタックステーブルにおいて、符号SYN22に示す輝度のプライマリ変換識別子pt_idxは、シンタックステーブルに示される通り、輝度の適応プライマリ変換フラグapt_flagが１（真）であって、変換量子化バイパスフラグtransquant_bypass_flagが０（偽）であって、変換スキップフラグts_flagが０（偽）であって、色信号識別子compIDが輝度を示す場合であって（compID == COMPONENT_Y）、変換ブロックに存在する非ゼロ係数の総数numSigが所定の閾値ptNumSigTH以上であって、変換ブロックの長辺（max（log2TBWSize, log2TBHSize））が所定の閾値maxPTSize以下の場合に、符号化（復号）される。符号化データ上に輝度のプライマリ変換識別子pt_idxが存在しない場合は、pt_idxの値は０であると解釈する。
非特許文献１では、輝度（Y）に対してのみ、適応プライマリ変換が適用されうるが、色差（Cb, Cr）に対しては適用されない。したがって、色差に関するプライマリ変換の符号化効率が、輝度と比較して低減するおそれがあった。
これに対して、例えば、輝度（Y）と同様に、色差（Cb, Cr）の変換ブロック毎に、適応プライマリ変換フラグapt_flag、プライマリ変換識別子pt_idxを明示的に符号化することが考えられる。しかしながら、この方法の場合、色差に関する適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxを符号化するため、符号量が増大し、符号化効率が低減するおそれがあった。
なお、付言するに、この場合、符号化側においては、色信号（Y, Cb, Cr）毎に適応プライマリ変換の選択の有無、およびプライマリ変換識別子の決定に関するモード判定をする必要があり、処理量が増大するおそれがあった。また、復号側においても、色信号（Y, Cb, Cr）毎に適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxを復号しなければならず、処理量が増大するおそれがあった。
＜輝度のパラメータの利用＞
そこで、色差の（逆）直交変換に関する情報を輝度の（逆）直交変換に関する情報に基づいて導出するようにする。つまり、輝度の（逆）直交変換に関する情報に基づいて導出された色差の（逆）直交変換に関する情報を用いて、色差の（逆）直交変換を行うようにする。例えば、画像処理装置において、輝度の（逆）直交変換に関する情報に基づいて導出された色差の（逆）直交変換に関する情報を用いて、色差の（逆）直交変換を行う（逆）直交変換部を設けるようにする。
このようにすることにより、色差の（逆）直交変換に関する情報の符号化・復号を省略することができるので、符号量の増大を抑制し、符号化効率の低減を抑制することができる。また、符号化・復号の負荷の増大も抑制することができる。なお、本明細書においては、直交変換と逆直交変換は互いに逆処理であり、例えば直交変換されたデータを逆直交変換することにより、直交変換前のデータを復元することができるものとする。また、直交変換に関する情報は、直交変換に利用される情報であるが、逆直交変換に利用することが可能な場合もある。そして、逆直交変換に関する情報は、逆直交変換に利用される情報であるが、直交変換に利用することが可能な場合もある。つまり、本明細書においては、直交変換に関する情報と逆直交変換に関する情報とが互いに同一の情報を指すこともあり得る（互いに同一の情報が含まれていてもよい）。以上のことは、プライマリ変換と逆プライマリ変換、セカンダリ変換と逆セカンダリ変換との間でも同様である。
この（逆）直交変換に関する情報の内容は任意である。例えば、図６の表に示されるように、処理対象の変換ブロックにおいて、複数の異なる逆直交変換の中からいずれかを適応的に選択して（逆）プライマリ変換として用いる適応（逆）プライマリ変換を適用するかを示す適応プライマリ変換フラグapt_flagを含むようにしてもよい。また、垂直方向および水平方向の（逆）プライマリ変換にどの（逆）プライマリ変換を適用するかを示すプライマリ変換識別子pt_idxを含むようにしてもよい。
例えば、色差（Cb）の適応プライマリ変換フラグapt_flag[Cb]と色差（Cr）の適応プライマリ変換フラグapt_flag[Cr]とをそれぞれ、輝度の適応プライマリ変換フラグapt_flag[Y]に基づいて導出することにより、色差（Cb/Cr）の符号化効率の低減を抑制することができる。また、符号量に関するオーバーヘッドの増大も抑制することができる。また、例えば、色差（Cb）のプライマリ変換識別子pt_idx[Cb]と色差（Cr）のプライマリ変換識別子pt_idx[Cr]とをそれぞれ、輝度のプライマリ変換識別子pt_idx[Y]に基づいて導出することにより、色差（Cb/Cr）の符号化効率の低減を抑制することができる。また、符号量に関するオーバーヘッドの増大も抑制することができる。なお、色差のプライマリ変換識別子は、CbとCrとで共通であってもよい（共用してもよい）。
図７の表を参照してさらに説明する。従来は、No.#0の行のように、色差においては適応（逆）プライマリ変換が採用されず、色差の適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxは、常に省略されていた。この場合、適応（逆）プライマリ変換を用いないことから、上述のように符号化効率が低減するおそれがあった。
これに対して、No.#1の行のように、色差においても適応（逆）プライマリ変換を適用可能とし、さらに、常に、色差の適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxを、輝度の適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxから推定するようにする。例えば、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に、輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットするようにしてもよい。また、例えば、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]が真の場合、色差のプライマリ変換識別子pt_idx[Cb/Cr]の値に輝度のプライマリ変換識別子pt_idx[Y]の値をセットし、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]が偽の場合、色差のプライマリ変換識別子pt_idx[Cb/Cr]の値に所定値をセットするようにしてもよい。このようにすることにより、色差に対しても適応（逆）プライマリ変換を適用することができるだけでなく、色差の適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
また、No.#2の行のように、色差においても適応（逆）プライマリ変換を適用可能とし、さらに、例えば、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測（CuPredMode == MODE_INTER）である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットし、その符号化ブロックの予測タイプがイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に０（偽）をセットするようにしてもよい。このようにすることにより、色差に対しても適応（逆）プライマリ変換を適用することができるだけでなく、残差信号の傾向が類似するインター予測モードの場合のみ、輝度の適応プライマリ変換フラグの値を利用するようにすることができるので、符号化効率の低減をより抑制することができる。
さらに、No.#3の行のように、色差においても適応（逆）プライマリ変換を適用可能とし、さらに、例えば、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、輝度と色差とで予測モードが一致するイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットし、その符号化ブロックの予測タイプが輝度と色差とで予測モードが一致しないイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に０（偽）をセットするようにしてもよい。このようにすることにより、色差に対しても適応（逆）プライマリ変換を適用することができるだけでなく、残差信号の傾向が類似する予測モードの場合のみ、輝度の適応プライマリ変換フラグの値を利用するようにすることができるので、符号化効率の低減をより抑制することができる。
また、No.#4の行のように、色差においても適応（逆）プライマリ変換を適用可能とし、さらに、例えば、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、予測モードがイントラブロックコピーのイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットし、その符号化ブロックの予測タイプが、予測モードがイントラブロックコピー(IntraBC, Intra Block Copy, 画面内動き補償とも称する)でないイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に０（偽）をセットするようにしてもよい。このようにすることにより、色差に対しても適応（逆）プライマリ変換を適用することができるだけでなく、残差信号の傾向が類似する予測モードの場合のみ、輝度の適応プライマリ変換フラグの値を利用するようにすることができるので、符号化効率の低減をより抑制することができる。
また、No.#5の行のように、色差においても適応（逆）プライマリ変換を適用可能とし、さらに、例えば、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]を輝度の適応プライマリ変換フラグapt_flag[Y]に基づいて推定するかを示す色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flagが１（真）の場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットし、色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flagが０（偽）の場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に０（偽）をセットするようにしてもよい。このようにすることにより、輝度の適応プライマリ変換フラグの値を利用するか否かを、色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flagを用いて明示的に制御することができる。したがって、容易に、十分に大きな効果が得られる場合のみ輝度の適応プライマリ変換フラグの値を利用させるようにすることができるので、符号化効率の低減をより抑制することができる。
また、No.#6の行のように、色差においても適応（逆）プライマリ変換を適用可能とし、さらに、例えば、色差の処理対象の変換ブロックの短辺のサイズが所定の閾値以上の場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットし、その変換ブロックの短辺のサイズがその閾値より小さい場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に０（偽）をセットするようにしてもよい。このようにすることにより、十分に大きな効果が得られない小さな変換ブロックに対して適応（逆）プライマリ変換を適用しないようにすることができるので、符号化効率の低減をより抑制することができるとともに、この適応（逆）プライマリ変換を、十分に大きな効果が得られないほど小さい変換ブロックに適用することによる不要な回路規模の増大を抑制することができる。
また、No.#7の行のように、色差においても適応（逆）プライマリ変換を適用可能とし、さらに、例えば、色差の処理対象の変換ブロックの横幅のサイズが所定の閾値以下の場合、（逆）プライマリ水平変換の変換タイプを所定の変換タイプにセットし、その変換ブロックの横幅のサイズがその閾値よりも大きい場合、（逆）プライマリ水平変換の変換タイプを水平変換セットおよびプライマリ水平変換指定フラグに基づいてセットするようにしてもよい。同様に、色差の処理対象の変換ブロックの縦幅のサイズが所定の閾値以下の場合、（逆）プライマリ垂直変換の変換タイプを所定の変換タイプにセットし、その変換ブロックの縦幅のサイズがその閾値よりも大きい場合、（逆）プライマリ垂直変換の変換タイプを垂直変換セットおよびプライマリ垂直変換指定フラグに基づいてセットするようにしてもよい。このようにすることにより、十分に大きな効果が得られない程幅が狭い変換ブロックに対して（その幅方向の（逆）プライマリ変換に対して）、適応（逆）プライマリ変換を適用しないようにすることができるので、符号化効率の低減をより抑制することができるとともに、この適応（逆）プライマリ変換を、十分に大きな効果が得られないほど幅が狭い変換ブロックに適用することによる不要な回路規模の増大を抑制することができる。
なお、以上に説明した各ケースを任意に組み合わせることもできる。例えば、No.#8の行のように、No.#2の行のケースと、No.#7の行のケースとを組み合わせるようにしてもよい。このようにすることにより、各ケースにおいて得られる効果を得ることができる。また、上述した各ケースを、上述していない他のケースと組み合わせることもできる。例えば、No.#2の行のケースにおいて、処理対象の符号化ブロックの予測タイプがイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]を伝送する（シグナリングする）ようにしてもよい。つまり、この場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の符号化・復号が行われる。また、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値が１（真）の場合、さらに、色差の適応プライマリ変換識別子pt_idx[Cb/Cr]を伝送する（シグナリングする）ようにしてもよい。すなわち、この場合、色差の適応プライマリ変換識別子pt_idx[Cb/Cr]の符号化・復号が行われる。
＜CU,PU、およびTUの形状＞
ここでビットストリーム（符号化データ）における動画像の部分領域（処理単位）であるCU（Coding Unit）,PU（Prediction Unit）、およびTUの形状について説明する。図８に示されるCU,PU、およびTU（Transform Unit）は、JVET-C0024, “EE2.1: Quadtree plus binary tree structure integration with JEM tools”に記載されているQTBT(Quad tree plus binary tree)のCU,PU、およびTUである。具体的には、CUのブロック分割では、１つのブロックを４（=2x2）個だけでなく、２（=1x2,2x1）個のサブブロックにも分割することができる。即ち、CUのブロック分割は、１つのブロックを４個または２個のサブブロックへの分割を再帰的に繰り返すことにより行われ、結果として四分木（Quad-Tree）状または水平方向もしくは垂直方向の２分木（Binary-Tree）状のツリー構造が形成される。
その結果、CUの形状は、正方形だけでなく、長方形である可能性がある。例えば、LCU（Largest Coding Unit）サイズが128x128である場合、CUのサイズ（水平方向のサイズｗ×垂直方向のサイズｈ）は、図８に示されるように、128x128,64x64,32x32,16x16,8x8,4x4といった正方形のサイズだけでなく、128x64,128x32,128x16,128x8,128x4,64x128,32x128,16x128,8x128,4x128,64x32,64x16,64x8,64x4,32x64,16x64,8x64,4x64,32x16,32x8,32x4,16x32,8x32,4x32,16x8,16x4,8x16,4x16, 8x4,4x8といった長方形のサイズである可能性がある。なお、PUとTUは、CUと同一である。
さらに、TUには、輝度(Y)の変換ブロック、および色差(Cb/Cr)の変換ブロックが含まれる。色フォーマットが4:2:0（例えば、YUV420）の場合、輝度のピクチャサイズに対する色差のピクチャサイズの比は、縦幅、横幅ともに1/2である。したがって、輝度の変換ブロックサイズが8x4であれば、対応する色差の変換ブロックサイズは4x2となる。また、色フォーマットが4:2:2（例えば、YUV422）の場合、輝度のピクチャサイズに対する色差のピクチャサイズの比は、縦幅が1/2、横幅が１となる。したがって、輝度の変換ブロックサイズが8x4であれば、対応する色差の変換ブロックサイズは8x2となる。また、色フォーマットが4:4:4（例えば、YUV444）の場合、輝度のピクチャサイズに対する色差のピクチャサイズの比は、縦幅が1、横幅が１となる。したがって、輝度の変換ブロックサイズが8x4であれば、対応する色差の変換ブロックサイズは8x4である。
なお、Iスライスに関しては、輝度(Y)と色差(Cb/Cr)とで別々のCUとして符号化してもよい。この場合、輝度と色差とで、異なるＣＵの分割構造をとることができるため、Ｉスライスの符号化効率が向上するという効果を有する。以下では、便宜上、同一ＣＵ内には、輝度、および色差の情報が含まれているものとして説明するが、これに限定されない。
＜２．第１の実施の形態＞
＜画像復号装置＞
図９は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図９に示される画像復号装置１００は、AVCやHEVCのように、画像とその予測画像との予測残差が符号化された符号化データを復号する装置である。例えば、画像復号装置１００は、HEVCに提案された技術や、JVET（Joint Video Exploration Team）にて提案された技術を実装している。
図９において、画像復号装置１００は、復号部１１１、逆量子化部１１２、逆変換部１１３、演算部１１４、フレームメモリ１１５、および予測部１１６を備えている。なお、予測部１１６は、不図示のイントラ予測部、およびインター予測部を備えている。画像復号装置１００は、符号化データ#1（bitstream）を復号することによって、動画像#2を生成するための装置である。
復号部１１１は、符号化データ＃１を入力とし、シンタックステーブルの定義に沿って、符号化データ＃１のビット列から、各シンタックス要素のシンタックス値を可変長復号する。さらに、シンタックス要素には、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfoなどの情報が含まれる。
ＶＰＳ／ＳＰＳ／ＰＰＳ／スライスヘッダＳＨなどのヘッダ情報Hinfoには、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、ＣＵサイズの最大値MaxCUSize／最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepth/最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。
例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、該符号化ツールが使用可能であることを示し、オンオフフラグの値が０（偽）の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。
適応プライマリ変換有効フラグapt_enabled_flag（adaptive_primary_transform_enabled_flag、adaptive_pt_enabled_flag、またはamt_enabled_flagとも称する）は、変換処理およびその逆処理の１つとして、適応的なプライマリ変換の選択が可能な符号化ツール（適応プライマリ変換ともいう）が使用可能か示すフラグである。
セカンダリ変換有効フラグst_enabled_flagは、変換処理およびその逆処理の１つとして、セカンダリ変換/逆セカンダリ変換をする符号化ツールが使用可能か否かを示すフラグである。
変換量子化バイパス有効フラグtransquant_bypass_enabled_flagは、変換・量子化、およびその逆処理の１つとして、変換と量子化/逆量子化と逆変換をスキップする符号化ツールが使用可能か否かを示すフラグである。
変換スキップフラグ有効フラグts_enabled_flagは、変換処理およびその逆処理の１つとして、２次元変換スキップや１次元変換スキップが使用可能か否かを示すフラグである。その２次元変換スキップは、プライマリ変換とセカンダリ変換を含む直交変換およびその逆処理（逆直交変換）をスキップする符号化ツールである。また、１次元変換スキップは、プライマリ変換のうち、水平方向または垂直方向のプライマリ変換、および、それに対応する逆変換（逆プライマリ変換）、並びに、セカンダリ変換とその逆セカンダリ変換をスキップする符号化ツールである。
予測モード情報Pinfoには、さらに、処理対象ＰＵのＰＵサイズ（予測ブロックサイズ）PUSize、イントラ予測モード情報IPinfo（例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、そのシンタックスから導出される輝度イントラ予測モードIntraPredModeY、色差イントラ予測モードIntraPredModeC等）、動き予測情報MVinfo（例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照, merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd）等が含まれる。
また、変換情報Tinfoには、例えば、処理対象変換ブロックの横幅サイズTBWidthおよび縦幅TBHeight、（逆）変換および（逆）量子化の処理をスキップするか否かを示す変換量子化バイパスフラグtransquant_bypass_flag、２次元変換スキップを適用するか否かを示す変換スキップフラグts_flag、対象変換ブロックにおいて適応プライマリ変換を適用するかを示す適応プライマリ変換フラグapt_flag、垂直方向および水平方向の（逆）プライマリ変換にどの（逆）プライマリ変換を適用するかを示すプライマリ変換識別子pt_idx、どの（逆）セカンダリ変換を適用するかを示すセカンダリ変換識別子st_idx（dnsst_idx、nsst_idx、またはrot_idxとも称する）、スキャン識別子scanIdx、量子化パラメータqp、量子化マトリックスscaling_matrix等のシンタックスが含まれる。なお、処理対象変換ブロックの横幅サイズTBWidthおよび縦幅TBHeightの代わりに、２を底とする各TBWidth、TBHeightの対数値log2TBWidth(log2TBWSize, log2TBWとも称する)、log2TBHeight(log2TBHSize, log2TBHとも称する)が含まれるようにしてもよい。
残差情報Rinfoには、例えば、残差データ有無フラグ（cbf（coded_block_flag））、ラスト非ゼロ係数X座標（last_sig_coeff_x_pos）、ラスト非ゼロ係数Y座標（last_sig_coeff_y_pos）、サブブロック非ゼロ係数有無フラグ（coded_sub_block_flag）、非ゼロ係数有無フラグ（sig_coeff_flag）、非ゼロ係数のレベルが１より大きいかを示すフラグ（gr1_flag）（GR1フラグとも称する）、非ゼロ係数のレベルが２より大きいかを示すフラグ（gr2_flag）（GR2フラグとも称する）、非ゼロ係数の正負を示す符号（sign_flag）（サイン符号とも称する）、並びに、非ゼロ係数の残余レベル（coeff_abs_level_remaining）（非ゼロ係数残余レベルとも称する）等が含まれるようにしてもよい。
復号部１１１は、残差情報Rinfoを参照して、各変換ブロック内の各係数位置の量子化変換係数レベルlevelを導出する。復号部１１１は、復号して得た予測モード情報Pinfo、量子化変換係数レベルlevel、変換情報Tinfoを各ブロックへ供給する。例えば、復号部１１１は、予測モード情報Pinfoを逆変換部１１３および予測部１１６に供給し、量子化変換係数レベルlevelを、逆量子化部１１２に供給し、変換情報Tinfoを、逆変換部１１３および逆量子化部１１２に供給する。
逆量子化部１１２は、変換情報Tinfo、および量子化変換係数レベルlevelを入力とし、変換情報Tinfoに基づいて、量子化変換係数レベルlevelの値をスケーリング（逆量子化）し、逆量子化後の変換係数Coeff_IQを逆変換部１１３へ出力する。
逆変換部１１３は、変換係数Coeff_IQ、変換情報Tinfo、予測モード情報Pinfoを入力とし、変換情報Tinfoや予測モード情報Pinfo等に基づいて、変換係数Coeff_IQに対して、逆変換を適用し、予測残差D'を導出し、それを演算部１１４へ出力する。なお、この逆変換は、符号化側等において行われる変換処理の逆処理である。例えば、符号化側等において行われる直交変換の逆処理である逆直交変換等がこの逆変換に含まれる。また、例えば符号化側において直交変換としてプライマリ変換やセカンダリ変換が行われる場合、プライマリ変換の逆処理である逆プライマリ変換や、セカンダリ変換の逆処理である逆セカンダリ変換等がこの逆変換に含まれる。逆変換部１１３の詳細については、後述する。
演算部１１４は、予測残差D'と、予測部１１６より供給される予測画像Pとを入力とし、以下の式（８）に示すように予測残差D'と予測残差D'に対応する予測画像P（予測信号）とを加算し、局所復号画像Recを導出し、それをフレームメモリ１１５または画像復号装置１００の外部に供給する。
Rec = D' + P
・・・（８）
フレームメモリ１１５は、演算部１１４より供給される局所復号画像Recを入力とし、ピクチャ単位毎の復号画像を再構築して、フレームメモリ１１５内のバッファへ格納する。フレームメモリ１１５は、予測部１１６の予測モード情報Pinfoによって指定される復号画像を参照画像としてバッファより読み出し、予測部１１６へ供給する。また、フレームメモリ１１５は、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfoなどをフレームメモリ内のバッファへ格納するようにしても良い。
予測部１１６は、予測モード情報Pinfoを入力とし、予測モード情報Pinfoによって指定される予測方法により、予測モード情報PInfoによって指定される、フレームメモリ１１５に格納された復号画像を参照画像として予測画像Pを生成し、演算部１１４へ出力する。
＜逆変換部＞
図１０は、図９の画像復号装置１００が備える逆変換部１１３の主な構成例を示すブロック図である。図９に示されるように、逆変換部１１３は、スイッチ１２１、逆セカンダリ変換部１２２、および逆プライマリ変換部１２３から構成される。
スイッチ１２１は、変換係数Coeff_IQ、および変換スキップフラグts_flag[compID]を入力とする。変換スキップフラグts_flag[compID]の値がNO_TS(=0)の場合、すなわち、変換スキップを適用しない場合、スイッチ１２１は、逆セカンダリ変換部１２２へ変換係数Coeff_IQを出力する。また、変換スキップフラグts_flag[compID]の値が2D_TS(=1)の場合、すなわち、２次元変換スキップを適用することを示す場合、スイッチ１２１は、逆セカンダリ変換部１２２および逆プライマリ変換部１２３をスキップし、変換係数Coeff_IQを予測残差D'として出力する。
逆セカンダリ変換部１２２は、例えば直交変換等の所定の変換処理であるセカンダリ変換の逆処理である逆セカンダリ変換に関する処理を行う。例えば、逆セカンダリ変換部１２２は、セカンダリ変換識別子st_idx、変換係数のスキャン方法を示すスキャン識別子scanIdx、および変換係数Coeff_IQを入力とし、逆セカンダリ変換後の変換係数Coeff_IS（プライマリ変換係数Coeff_Pともいうともいう）を導出し、逆プライマリ変換部１２３に供給する。より具体的には、セカンダリ変換識別子st_idxが、逆セカンダリ変換を適用することを示す場合(st_idx>0)、逆セカンダリ変換部１２２は、変換係数Coeff_IQに対して、セカンダリ変換識別子st_idxに対応する逆セカンダリ変換の処理を実行し、逆セカンダリ変換後の変換係数Coeff_ISを出力する。セカンダリ変換識別子st_idxが、逆セカンダリ変換を適用しないことを示す場合(st_idx==0)、逆セカンダリ変換部１２２は、逆セカンダリ変換をスキップし、変換係数Coeff_IQを逆セカンダリ変換後の変換係数Coeff_ISとして出力する。
逆プライマリ変換部１２３は、例えば直交変換等の所定の変換処理であるプライマリ変換の逆処理である逆プライマリ変換に関する処理を行う。例えば、逆プライマリ変換部１２３は、色信号識別子compID、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]、輝度のプライマリ変換識別子pt_idx[COMPONENT_Y]、予測モード情報PInfo、変換ブロックのサイズ（横幅の対数値log2TBWSize, 縦幅の対数値log2TBHSize）および逆セカンダリ変換後の変換係数Coeff_ISを入力とする。逆プライマリ変換部１２３は、予測モード情報PInfo、色信号識別子compID、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]、輝度のプライマリ変換識別子pt_idx[COMPONENT_Y]、および輝度のプライマリ変換識別子pt_idx[COMPONENT_Y]を参照して、色信号識別子compIDで指定される色信号の逆プライマリ水平変換の変換タイプTrTypeIdxH、および逆プライマリ垂直変換の変換タイプTrTypeIdxVを選択し、逆セカンダリ後の変換係数Coeff_ISに対して、逆プライマリ垂直変換タイプTrTypeIdxVと変換ブロックの縦幅log2TBHSizeで定まる逆プライマリ垂直変換、および逆プライマリ水平変換タイプTrTypeIdxHと変換ブロックの横幅log2TBWSizeで定まる逆プライマリ水平変換をして、逆プライマリ変換後の予測残差D'を導出し、出力する。
＜逆プライマリ変換部＞
図１１に示されるように、逆プライマリ変換部１２３は、色差適応プライマリ変換情報導出部１３１、逆プライマリ変換選択部１３２、逆プライマリ垂直変換部１３３、および逆プライマリ水平変換部１３４を有する。
色差適応プライマリ変換情報導出部１３１は、色信号識別子compIDが色差を示す場合(compID==COMPONENT_Cb, COMPONENT_Cr)、色差変換ブロックに対応する輝度変換ブロックの適応プライマリ変換情報(apt_flag[COMPONENT_Y], pt_idx[COMPONENT_Y])を用いて、色差の適応プライマリ変換情報（apt_flag[compID], pt_idx[compID] (compID=COMPONENT_Cb, COMPONENT_Cr)）を導出し、その結果を逆プライマリ変換選択部１３２に供給する。
＜色差適応プライマリ変換情報導出部＞
図１１は、色差適応プライマリ変換情報導出部１３１が有する機能の主な構成例を示す機能ブロック図である。図１１に示されるように、色差適応プライマリ変換情報導出部１３１は、apt_flag導出部１５１およびpt_idx導出部１５２を有する。apt_flag導出部１５１は、色差の適応プライマリ変換フラグapt_flagの導出に関する処理を行う。
例えば、apt_flag導出部１５１は、処理対象の色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID] (compID=COMPONET_Cb or COMPONENT_Cr)を、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]に基づいて、以下の式(９)のように導出する。
apt_flag[compID] = apt_flag[COMPONENT_Y]
（ただし、compID=COMPONENT_Cb, COMPONENT_Cr）
・・・（９）
すなわち、apt_flag導出部１５１は、色差の適応プライマリ変換フラグapt_flag[compID](compID=COMPONENT_Cb, COMPONENT_Cr)へ輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]の値を設定する。
なお、式（９）の変形例として、apt_flag導出部１５１が、輝度の残差データ有無フラグcbf_lumaを参照して、以下の式（１０）のように色差の適応プライマリ変換フラグapt_flag[compID]を導出するようにしてもよい。
apt_flag[compID] = cbf_luma ? apt_flag[COMPONENT_Y] : 0
・・・（１０）
すなわち、apt_flag導出部１５１は、輝度の残差データ有無フラグcbf_lumaが１（真）の場合、色差の適応プライマリ変換フラグapt_flag[compID](compID=COMPONENT_Cb, COMPONENT_Cr)へ輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]の値を設定し、それ以外の場合（輝度の残差データ有無フラグcbf_lumaが０（偽）の場合）、０を設定する。
なお、apt_flag[COMPONENT_Y]が符号化データ上に存在しない場合、該フラグの値を０と設定する場合は、輝度の残差データ有無フラグを参照する必要はない。しかしながら、apt_flag[COMPONENT_Y]を０へ初期化する動作がない場合は、apt_flag[COMPONENT_Y]の値が不定となるため、輝度の残差データ有無フラグcbf_lumaを参照して、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]の値を参照するか否かを制御することが望ましい。
また、pt_idx導出部１５２は、色差のプライマリ変換識別子 pt_idxの導出に関する処理を行う。例えば、pt_idx導出部１５２は、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID] (compID=COMPONET_Cb or COMPONENT_Cr)、および該色差変換ブロックに対応する輝度変換ブロックに関するプライマリ変換識別子pt_idx[COMPONENT_Y]に基づいて、該色差の変換ブロックに関するプライマリ変換識別子pt_idx[compID]を、以下の式（１１）のように導出する。
pt_idx[compID] = apt_flag[compID] ? pt_idx[COMPONENT_Y] : 所定値
・・・（１１）
すなわち、pt_idx導出部１５２は、該色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]が１（真）の場合、さらに、該色差変換ブロックに関するプライマリ変換識別子pt_idx[compID]を、該色差変換ブロックに対応する輝度変換ブロックに関するプライマリ変換識別子pt_idx[COMPONENT_Y]の値に設定する。それ以外の場合は、所定値を設定する。
以上のように、色差適応プライマリ変換情報導出部１３１は、色差変換ブロックに関する適応プライマリ変換情報を、色差変換ブロックに対応する輝度に関する適応プライマリ変換情報に基づいて導出することができる。したがって、色差変換ブロックに関する適応プライマリ変換情報を、符号化データより復号する必要がなく、復号の処理量を削減することができる。
＜逆プライマリ変換部＞
図１０に戻り、逆プライマリ変換選択部１３２は、予測モード情報PInfo、色信号識別子compID、色信号識別子compIDに対応する色信号の適応プライマリ変換フラグapt_flag[compID]、色信号識別子compIDに対応する色信号のプライマリ変換識別子pt_idx[compID]を入力とする。逆プライマリ変換選択部１３２は、予測モード情報PInfo、色信号識別子compID、色信号識別子compIDに対応する色信号の適応プライマリ変換フラグapt_flag[compID]、色信号識別子compIDに対応する色信号のプライマリ変換識別子pt_idx[compID]を参照して、色信号識別子compIDで指定される色信号の逆プライマリ水平変換の変換タイプTrTypeIdxH、および逆プライマリ垂直変換の変換タイプTrTypeIdxVを導出し、それぞれ、逆プライマリ水平変換部１３４、逆プライマリ垂直変換部１３３に供給する。
逆プライマリ垂直変換部１３３は、各色信号の変換ブロック毎に、逆セカンダリ変換後の変換係数Coeff_IS、逆プライマリ垂直変換の変換タイプTrTypeIdxV、変換ブロックの縦幅を示すlog2TBHSize (縦幅の対数値)を入力とする。逆プライマリ垂直変換部１３３は、逆セカンダリ変換後の変換係数Coeff_ISに対して、変換タイプTrTypeIdxVと変換ブロックの縦幅で定まる逆プライマリ垂直変換IPverを実行し、その結果を逆プライマリ垂直変換後の変換係数Coeff_IPverとして逆プライマリ水平変換部１３４に供給する。なお、逆プライマリ垂直変換IPverは、プライマリ垂直変換Pverの逆変換である。
逆プライマリ水平変換部１３４は、各色信号の変換ブロック毎に、逆プライマリ垂直変換後の変換係数Coeff_IPver、逆プライマリ水平変換の変換タイプTrTypeIdxH、変換ブロックの横幅を示すlog2TBWSize(横幅の対数値)を入力とする。逆プライマリ水平変換部１３４は、逆プライマリ垂直変換後の変換係数Coeff_IPverに対して、変換タイプTrTypeIdxHと変換ブロックの横幅で定まる逆プライマリ水平変換IPhorを実行し、その結果を予測残差D'として逆変換部１１３の外部に出力する（演算部１１４に供給する）。なお、逆プライマリ水平変換IPhorは、プライマリ水平変換Phorの逆変換である。
＜逆プライマリ変換選択部の処理＞
次に、逆プライマリ変換選択部１３２における色信号識別子compIDで指定される色信号の逆プライマリ水平変換の変換タイプTrTypeIdxH、および逆プライマリ垂直変換のタイプTrTypeIdxVの導出の詳細について説明する。
具体的には、色信号識別子compIDで指定される色信号の適応プライマリ変換フラグapt_flag[compID]が１（真）の場合、逆プライマリ変換選択部１３２は、予測モード情報PInfoを参照して、図１の表に示される変換セット識別子TrSetSetIdx=0...3の４つの変換セットTrSetから、水平方向および垂直方向毎に、プライマリ変換の候補となる直交変換を含む変換セットTrSetを選択する。なお、直交変換のタイプと対応する識別子TrTypeIdxの値の対応付けは、図2に限定されず実施可能な範囲で変更してよい。
なお、適応プライマリ変換フラグapt_flag[compID]が０（偽）の場合、逆プライマリ変換選択部１３２は、適応プライマリ変換を実行しないことを示すため、逆プライマリ水平変換の変換タイプTrTypeIdxH、および逆プライマリ垂直変換の変換タイプTrTypeIdxVに、所定（例えば、DCT-II）の直交変換のタイプを示す変換タイプの識別子の値を設定する(TrIdxTypeH = TrIdxTypeV = 所定値)。
＜変換セットの選択＞
処理対象の変換ブロックが属するCUの予測タイプCuPredModeがイントラ予測を示す場合（CuPredMode==MODE_INTRA）、図３に示される表(LUT_IntraModeToTrSet)のように、イントラ予測モード（IntraPredMode）に基づいて行われる。例えば、以下の式（１２）および式（１３）のように、各方向の変換セット（TrSetH、およびTrSetV）に対して、対応する変換セットTrSetを指定する変換セット識別子TrSetIdxを設定するように実施される。また、処理対象の変換ブロックが属するCUの予測タイプCuPredModeがインター予測の場合、以下の式（１４）のように、インター予測用の変換セットTrSetを指定する変換セット識別子TrSetIdx(=InterTrSetIdx)が設定される。なお、イントラ予測モードIntraPredModeは、輝度であれば、輝度イントラ予測モードIntraPredModeYの値が設定されており、色差であれば、色差イントラ予測モードIntraPredModeCの値が設定されているものとする。
if (CuPredMode == MODE_INTRA ){
TrSetH = LUT_IntraModeToTrSet [ IntraPredMode ] [ H(=0) ] ・・・（１２）
TrSetV = LUT_IntraModeToTrSet [ IntraPredMode ] [ V(=1) ] ・・・（１３）
} else { // CuPredMode==MODE_INTER
TrSetH = InterTrSetIdx
TrSetV = InterTrSetIdx ・・・（１４）
}
ここで、TrSetHは、プライマリ水平変換PThorの変換セット（プライマリ水平変換セットと呼ぶ）を示し、TrSetVは、プライマリ垂直変換PTverの変換セット（プライマリ垂直変換セットとも呼ぶ）を示す。また、ルックアップテーブルLUT_IntraModeToTrSetは、図３の対応表である。ルックアップテーブルLUT_IntraModeToTrSet[][]の１番目の配列は、イントラ予測モードIntraPredModeを引数とし、２番目の配列は、{H=0, V=1}を引数とする。
例えば、イントラ予測モード番号18（IntraPredMode==18）の場合、プライマリ水平変換セットTrSetHとして、図１の表(LUT_TrSetToTrTypeIdx)に示される変換セット識別子TrSetIdx=2の変換セットが選択され、プライマリ垂直変換セットTrSetVとして、図１の表に示される変換セット識別子TrSetIdx=0の変換セットが選択される。
なお、図３において、イントラ予測モードIntraPredModeが、イントラブロックコピー（IBC; Intra Block Copy, IntraBC, 画面内動き補償とも呼ぶ）を示す場合（図３の表上では、IntraPredMode==67がIntraBCに該当）、インター予測専用の変換セット識別子が割り当てられるようにしてもよい。一般的に、インター予測とイントラブロックコピーでは、残差の傾向が類似するため、同一の変換セットを割り当てるのは妥当である。また、イントラブロックコピー専用の変換セット識別子が割り当てられるようにしてもよい。
＜プライマリ（水平・垂直）変換指定フラグの導出＞
さらに、逆プライマリ変換選択部１３２は、色信号識別子compIDで指定される色信号のプライマリ変換識別子pt_idx[compID](compID=COMPONENT_Y, COMPONENT_Cb, COMPONENT_Cr)から、例えば以下の式（１５）に従って、プライマリ水平変換指定フラグpt_hor_flagとプライマリ垂直変換指定フラグpt_ver_flagとを導出する。
pt_hor_flag = pt_dx[compID] & 0x01
pt_ver_flag = pt_idx[compID] >> 1 (= (pt_idx[compID] & 0x10)>>1)
・・・（１５）
すなわち、プライマリ変換識別子pt_idx[compID]は、２ビットの値をとり、上位１ビットがプライマリ垂直変換指定フラグpt_ver_flagに相当し、下位１ビットがプライマリ水平変換指定フラグpt_hor_flagに相当する。
＜逆プライマリ（水平・垂直）変換の変換タイプの選択＞
さらに、逆プライマリ変換選択部１３２は、各水平／垂直方向毎に選択された変換セットTrSetH、TrSetVから、逆プライマリ変換に用いる直交変換の変換タイプを、おのおの、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flagによって選択する。
具体的には、逆プライマリ変換選択部１３２は、逆プライマリ水平変換に適用する直交変換の変換タイプTrTypeIdxHを、以下の式（１６）のように、図１に示す変換セットと変換タイプの対応表(LUT_TrSetToTrTypeIdx)、プライマリ水平変換セットTrSetH、およびプライマリ水平変換指定フラグpt_hor_flagに基づいて決定する。
TrTypeIdxH = LUT_TrSetToTrTypeIdx [ TrSetH ] [ pt_hor_flag ]
・・・（１６）
同様に、逆プライマリ変換選択部１３２は、逆プライマリ垂直変換に適用する直交変換の変換タイプTrTypeIdxVを、以下の式（１７）のように、図１に示す変換セットと変換タイプの対応表(LUT_TrSetToTrTypeIdx)、プライマリ垂直変換セットTrSetVx、およびプライマリ垂直変換指定フラグpt_ver_flagに基づいて決定する。
TrTypeIdxV = LUT_TrSetToTrTypeIdx [ TrSetV ] [ pt_ver_flag ]
・・・（１７）
例えば、プライマリ水平変換セットTrSetHの示す変換セット識別子TrSetIdxの値が2であれば、図１の変換セット定義表LUT_TrSetToTrTypeIdx上で変換セット識別子TrSetIdx==2である変換セットからプライマリ水平変換に適用する直交変換が選択される。すなわち、プライマリ水平変換指定フラグpt_hor_flagが０の場合、プライマリ水平変換PThorの直交変換のタイプを指定する水平変換タイプ識別子TrTypeIdxHに、図１の表のように、DST-VIIを示す変換タイプ識別子TrTypeIdxの値「４」が設定され、プライマリ水平変換指定フラグpt_hor_flagが１の場合、水平変換タイプ識別子TrTypeIdxHに、DCT-Vを示す変換タイプ識別子TrTypeIdxの値「１」が設定される。
なお、図１に示す表の変換セット識別子TrSetIdx、プライマリ水平変換指定フラグ、およびプライマリ垂直変換指定フラグの値とで定まる変換タイプは、実施可能な範囲で自由に変更することができるようにしてもよい。
その後、逆プライマリ変換選択部１３２は、色信号識別子compIDで指定される色信号の逆プライマリ水平変換IPThorの変換タイプTrTypeIdxH、および逆プライマリ垂直変換IPTverの変換タイプTrTypeIdxVを、それぞれ、逆プライマリ垂直変換部１３３と逆プライマリ水平変換部１３４に供給する。
以上のように、逆プライマリ変換部１２３は、色差の残差信号が輝度の残差信号と傾向が類似する場合において、輝度において選択された逆適応プライマリ変換を、色差の変換ブロックに適用することが可能となる。したがって、従来技術と比較して、色差の残差信号に対して、符号化効率の向上した逆プライマリ変換処理を行うことができる。
また、輝度/色差毎に適応プライマリ変換フラグapt_flag、およびプライマリ変換識別子pt_idxを明示的に復号する場合と比較して、色差に関する符号化効率の低下を抑えつつ、エンコーダの処理量を削減することができる。
＜画像復号処理の流れ＞
次に、以上のような画像復号装置１００により実行される各処理の流れについて説明する。最初に、図１２のフローチャートを参照して、画像復号処理の流れの例を説明する。
画像復号処理が開始されると、ステップＳ１０１において、復号部１１１は、画像復号装置１００に供給されるビットストリーム（符号化データ）を復号し、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、量子化変換係数レベルlevel等の情報を得る。
ステップＳ１０２において、逆量子化部１１２は、ステップＳ１０１の処理により得られた量子化変換係数レベルlevelを逆量子化して変換係数Coeff_IQを導出する。この逆量子化は、後述する画像符号化処理において行われる量子化の逆処理であり、その画像符号化処理において行われる逆量子化と同様の処理である。
ステップＳ１０３において、逆変換部１１３は、ステップＳ１０２の処理により得られた変換係数Coeff_IQを逆変換し、予測残差Ｄ'を導出する。この逆変換は、後述する画像符号化処理において行われる変換処理の逆処理であり、その画像符号化処理において行われる逆変換と同様の処理である。
ステップＳ１０４において、予測部１１６は、予測モード情報PInfoに基づいて、符号化の際の予測と同一の予測モードで予測を行い、予測画像生成する。
ステップＳ１０５において、演算部１１４は、ステップＳ１０３の処理により得られた予測残差Ｄ'に、ステップＳ１０４の処理により得られた予測画像を加算し、復号画像を得る。
ステップＳ１０６において、演算部１１４は、ステップＳ１０５の処理により得られた復号画像を画像復号装置１００の外部に出力する。
ステップＳ１０７において、フレームメモリ１１５は、ステップＳ１０５の処理により得られた復号画像を記憶する。
ステップＳ１０７の処理が終了すると、画像復号処理が終了される。
＜プライマリ変換情報復号処理＞
上述したように図１２のステップＳ１０１においては、符号化データ#1に含まれる様々な情報が復号される。その際、復号部１１１は、適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idx等の情報の復号も適宜行う。例えば、復号部１１１は、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]や輝度のプライマリ変換識別子pt_idx[COMPONENT_Y]を復号する。ただし、上述したように、この符号化データ#1には、色差の適応プライマリ変換フラグapt_flag [compID] (compID=COMPONET_Cb or COMPONENT_Cr)や色差のプライマリ変換識別子pt_idx [compID] (compID=COMPONET_Cb or COMPONENT_Cr)は、含まれていない。したがって、復号部１１１は、それらの情報の復号は省略する。
このような復号を行うために、復号部１１１は、ステップＳ１０１において、プライマリ変換情報復号処理を実行する。図１３のフローチャートを参照して、そのプライマリ変換情報復号処理の流れの例を説明する。
プライマリ変換情報復号処理が開始されると、復号部１１１は、ステップＳ１１１において、処理対象コンポーネントが輝度である（compID == COMPONENT_Y）か否かを判定する。輝度であると判定された場合、処理はステップＳ１１２に進む。
ステップＳ１１２において、復号部１１１は、符号化データ#1に含まれる輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]を復号して得る。ステップＳ１１３において、復号部１１１は、符号化データ#1に含まれる輝度のプライマリ変換識別子pt_idx[COMPONENT_Y]を復号して得る。ステップＳ１１３の処理が終了すると、プライマリ変換情報復号処理が終了する。
また、ステップＳ１１１において、処理対象コンポーネントが色差である（compID != COMPONENT_Y）と判定された場合、ステップＳ１１２およびステップＳ１１３の処理が省略され、プライマリ変換情報復号処理が終了する。つまり、色差の場合、適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxの復号が省略される。したがって、復号の負荷の増大を抑制することができる。
＜逆変換の処理の流れ＞
次に、図１２のステップＳ１０３において実行される逆変換処理の流れの例を、図１４のフローチャートを参照して説明する。逆変換処理が開始されると、スイッチ１２１は、ステップＳ１２１において、変換スキップフラグts_flagが2D_TS（２次元変換スキップのモード）であるか、または、変換量子化バイパスフラグtransquant_bypass_flagが１（真）であるかを判定する。変換スキップ識別子ts_idxが2D_TSである、または、変換量子化バイパスフラグが１（真）であると判定された場合、スイッチ１２１により変換係数Coeff_IQが予測残差D'として外部へ出力（演算部１１４に供給）され、逆変換処理が終了し、処理は図１２に戻る。
また、ステップＳ１２１において、変換スキップ識別子ts_idxが2D_TSでない（２次元変換スキップ以外のモード）、かつ、変換量子化バイパスフラグが０（偽）であると判定された場合、スイッチ１２１により変換係数Coeff_IQが逆セカンダリ変換部１２２に供給され、処理はステップＳ１２２に進む。
ステップＳ１２２において、逆セカンダリ変換部１２２は、入力された変換係数Coeff_IQに対して、セカンダリ変換識別子st_idxに基づいて、逆セカンダリ変換を行い、逆セカンダリ変換後の変換係数Coeff_ISを導出し、出力する。
ステップＳ１２３において、逆プライマリ変換選択部１３２は、色信号識別子compIDが輝度であるか、色差であるか判別する。色信号識別子compIDが色差を示す場合(compID!=COMPONENT_Y)、処理はステップＳ１２４に進む。ステップＳ１２４において、色差適応プライマリ変換情報導出部１３１は、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID] (compID=COMPONET_Cb or COMPONENT_Cr)、および該色差変換ブロックに対応する輝度変換ブロックに関するプライマリ変換識別子pt_idx[COMPONENT_Y]に基づいて、該色差の変換ブロックに関するプライマリ変換識別子pt_idx[compID]を導出する。ステップＳ１２４の処理が終了すると処理はステップＳ１２５に進む。
また、ステップＳ１２３において、色信号識別子compIDが輝度を示す場合(compID==COMPONENT_Y)処理はステップＳ１２５に進む。
ステップＳ１２５において、逆プライマリ変換選択部１３２は、予測モード情報PInfo、色信号識別子compID、色信号識別子compIDに対応する色信号の適応プライマリ変換フラグapt_flag[compID]、色信号識別子compIDに対応する色信号のプライマリ変換識別子pt_idx[compID]を参照して、色信号識別子compIDで指定される色信号の逆プライマリ水平変換の変換タイプTrTypeIdxH、および逆プライマリ垂直変換の変換タイプTrTypeIdxVを導出する。
ステップＳ１２６において、逆プライマリ垂直変換部１３３は、色信号識別子compIDで指定される変換ブロック毎に、該変換ブロックの逆セカンダリ変換後の変換係数Coeff_ISに対して、逆プライマリ垂直変換の変換タイプTrTypeIdxVと該変換ブロックの縦幅で定まる逆プライマリ垂直変換IPverを実行し、その結果を逆プライマリ垂直変換後の変換係数Coeff_IPverとして出力する。
ステップＳ１２７において、逆プライマリ水平変換部１３４は、色信号識別子compIDで指定される変換ブロック毎に、該変換ブロックの逆プライマリ垂直変換後の変換係数Coeff_IPverに対して、逆プライマリ水平変換の変換タイプTrTypeIdxHと該変換ブロックの縦幅で定まる逆プライマリ水平変換IPhorを実行し、その結果を予測残差D'として出力する。ステップＳ１２７の処理が終了すると、逆変換処理が終了し、処理は図１２に戻る。
＜色差適応プライマリ変換情報導出処理の流れ＞
次に、図１４のステップＳ１２４において実行される色差適応プライマリ変換情報導出処理の流れの例を、図１５のフローチャートを参照して説明する。色差適応プライマリ変換情報導出処理が開始されると、色差適応プライマリ変換情報導出部１３１のapt_flag導出部１５１は、ステップＳ１３１において、色差の適応プライマリ変換フラグapt_flag[compID]の値に、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]の値をセットする。
ステップＳ１３２において、色差適応プライマリ変換情報導出部１３１のpt_idx導出部１５２は、その色差の適応プライマリ変換フラグapt_flag[compID]が真であるか否かを判定する。真であると判定されると処理はステップＳ１３３に進む。ステップＳ１３３において、pt_idx導出部１５２は、色差のプライマリ変換識別子pt_idx[compID]に、輝度のプライマリ変換識別子pt_idx[COMPONENT_Y]の値をセットする。ステップＳ１３３の処理が終了すると、色差適応プライマリ変換情報導出処理が終了し、処理は図１４に戻る。
また、図１５のステップＳ１３２において、色差の適応プライマリ変換フラグapt_flag[compID]が偽であると判定された場合、処理はステップＳ１３４に進む。ステップＳ１３４において、pt_idx導出部１５２は、色差のプライマリ変換識別子pt_idx[compID]に、所定の値をセットする。ステップＳ１３４の処理が終了すると、色差適応プライマリ変換情報導出処理が終了し、処理は図１４に戻る。
＜逆プライマリ変換選択処理の流れ＞
次に、図１４のステップＳ１２５において実行される逆プライマリ変換選択処理の流れの例を、図１６のフローチャートを参照して説明する。
逆プライマリ変換選択処理が開始されると、逆プライマリ変換選択部１３２は、ステップＳ１４１において、色信号識別子compIDに対応する色信号の適応プライマリ変換フラグapt_flag[compID]が１（真）であるか否かを判定する。該適応プライマリ変換フラグapt_flag[compID]が１（真）であると判定された場合、処理はステップＳ１４２に進む。
ステップＳ１４２において、逆プライマリ変換選択部１３２は、予測モード情報PInfoに基づいて、逆プライマリ垂直変換の変換セットTrSetV（プライマリ水平変換セット）、および逆プライマリ水平変換の変換セットTrSetH(プライマリ垂直変換セット)を選択する。
ステップＳ１４３において、逆プライマリ変換選択部１３２は、色信号識別子compIDに対応する色信号のプライマリ変換識別子pt_idx[compID]から、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flagを導出する。
ステップＳ１４４において、逆プライマリ変換選択部１３２は、プライマリ水平変換セットTrSetHおよびプライマリ水平変換指定フラグpt_hor_flagを参照して、逆プライマリ水平変換IPThorとして適用する直交変換の変換タイプTrTypeIdxHを選択する。
ステップＳ１４５において、逆プライマリ変換選択部１３２は、プライマリ垂直変換セットTrSetV、およびプライマリ垂直変換指定フラグpt_ver_flagを参照して、逆プライマリ垂直変換IPTverとして適用する直交変換の変換タイプTrTypeIdxVを選択する。ステップＳ１４５の処理が終了すると、逆プライマリ変換選択処理が終了し、処理は図１４に戻る。
また、ステップＳ１４１において、適応プライマリ変換フラグapt_flag[compID]が０（偽）であると判定された場合、処理はステップＳ１４６に進む。ステップＳ１４６において、逆プライマリ変換選択部１３２は、逆プライマリ水平変換IPThorの変換タイプTrTypeIdxHとして、所定の直交変換を選択する（TrTypeIdxH = 所定値）。
ステップＳ１４７において、逆プライマリ変換選択部１３２は、逆プライマリ垂直変換IPTverの変換タイプTrTypeIdxVとして、所定の直交変換を選択する（TrTypeIdxV = 所定値）。ステップＳ１４７の処理が終了すると、逆プライマリ変換選択処理が終了し、処理は図１４に戻る。
つまり、逆プライマリ変換選択部１３２は、色差の適応プライマリ変換フラグapt_flag[compID]の値に応じた方法で、逆プライマリ水平変換IPThorの変換タイプTrTypeIdxHと、逆プライマリ垂直変換IPTverの変換タイプTrTypeIdxVとを導出する。
以上のように、画像復号装置１００が備える逆変換部１１３は、色差の残差信号が輝度の残差信号と傾向が類似する場合において、輝度において選択された逆適応プライマリ変換を、色差の変換ブロックに適用することが可能となる。したがって、従来技術と比較して、色差の残差信号に対して、符号化効率の向上した逆プライマリ変換処理を行うことができる。また、輝度/色差毎に適応プライマリ変換フラグapt_flag、およびプライマリ変換識別子pt_idxを明示的に復号する場合と比較して、色差に関する符号化効率の低下を抑えつつ、符号化や復号の処理量を削減することができる。
＜変形例#１＞
なお、色差の適応プライマリ変換フラグの導出を予測タイプがインターＣＵの場合に限定するようにしてもよい。例えば、以下の式（１８）のように、処理対象の色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID] (compID=COMPONET_Cb or COMPONENT_Cr)を、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]、および該色差変換ブロックが属するCU（符号化単位）の予測タイプCuPredModeに基づいて導出するようにしてもよい。
if ( CuPredMode == MODE_INTER ) {
apt_flag[compID] = apt_flag[COMPONENT_Y]
} else {
apt_flag[compID] = 0
}
・・・（１８）
例えば、該色差変換ブロックの属するCUの予測タイプCuPredModeがインター予測である場合、（CuPredMode==MODE_INTER）、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]が、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]に基づいて設定される。これに対して、該色差変換ブロックの属するCUの予測タイプCuPredModeがインター予測でない場合（イントラ予測である）、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]の値が０（偽）に設定される。
このような場合の色差適応プライマリ変換情報導出処理の流れの例を、図１７のフローチャートを参照して説明する。このフローチャートは、図１５のフローチャートに対応する。この場合、色差適応プライマリ変換情報導出処理が開始されると、apt_flag導出部１５１は、ステップＳ１５１において、処理対象の変換ブロックが属するCUの予測タイプCUPredModeがインター予測（MODE_INTER）であるか否かを判定する。インター予測であると判定された場合、処理はステップＳ１５２に進む。
ステップＳ１５２において、apt_flag導出部１５１は、図１５のステップＳ１３１の場合と同様に、色差の適応プライマリ変換フラグapt_flag[compID]の値に、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]の値をセットする。ステップＳ１５２の処理が終了すると処理はステップＳ１５４に進む。
また、ステップＳ１５１において、処理対象の変換ブロックが属するCUの予測タイプCUPredModeがイントラ予測であると判定された場合、処理はステップＳ１５３に進む。ステップＳ１５３において、apt_flag導出部１５１は、色差の適応プライマリ変換フラグapt_flag[compID]の値を０（偽）にする。ステップＳ１５３の処理が終了すると処理はステップＳ１５４に進む。
ステップＳ１５４乃至ステップＳ１５６の各処理は、図１５のステップＳ１３２乃至ステップＳ１３４の各処理と同様に実行される。そして、ステップＳ１５５またはステップＳ１５６の処理が終了すると、色差適応プライマリ変換情報導出処理が終了し、処理は図１４に戻る。
予測タイプがイントラ予測の場合、輝度と色差では、イントラ予測モードが異なる場合がある。このとき、輝度と色差の残差信号の傾向は異なるため、輝度の適応プライマリ変換情報を色差へ適用すると符号化効率が低下する可能性がある。したがって、図１７のように色差適応プライマリ変換情報導出処理を実行し、予測タイプがインター予測の場合のみ、輝度の適応プライマリ変換情報を色差へ適用するようにすることで、図１５の場合と比べて符号化効率の低減をより抑制することができる。
＜変形例#2＞
また、色差の適応プライマリ変換フラグの導出を、インターCU、または、イントラCUかつ輝度イントラ予測モードがイントラブロックコピー（画面内動き補償）のときに限定するようにしてもよい。例えば、以下の式（１９）のように、処理対象の色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID] (compID=COMPONET_Cb or COMPONENT_Cr)を、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]、および該色差変換ブロックが属するＣＵ（符号化単位）の予測タイプCuPredMode、および予測モード情報PInfo基づいて設定するようにしてもよい。
if ( CuPredMode == MODE_INTER ) {
apt_flag[compID] = apt_flag[COMPONENT_Y]
} else if (IntraPredModeC == "IntraBC") { // CuPredMODE == MODE_INTRA
apt_flag[compID] = apt_flag[COMPONENT_Y]
} else {
apt_flag[compID] = 0
}
・・・（１９）
つまり、該色差変換ブロックの属するCUの予測タイプCuPredModeがインター予測である場合、または、CUの予測タイプがイントラ予測であり、かつ、色差のイントラ予測モードIntraPredModeCがイントラブロックコピー(IntraBC)である場合、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]が、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]に基づいて設定される。これに対して、それ以外の場合（CUの予測タイプCuPredModeがイントラ予測であり、かつ、色差のイントラ予測モードIntraPredModeCがイントラブロックコピーでない場合）、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]の値が０（偽）に設定される。なお、同一CUに輝度と色差の情報が含まれる場合は、上述の式（１９）において、色差のイントラ予測モードIntraPredModeCの代わりに、輝度のイントラ予測モードIntraPredModeYを用いて条件判定をしてもよい。
このような場合の色差適応プライマリ変換情報導出処理の流れの例を、図１８のフローチャートを参照して説明する。このフローチャートは、図１５のフローチャートに対応する。この場合、色差適応プライマリ変換情報導出処理が開始されると、apt_flag導出部１５１は、ステップＳ１７１において、処理対象の変換ブロックが属するCUの予測タイプCUPredModeがインター予測（MODE_INTER）であるか否かを判定する。イントラ予測であると判定された場合、処理はステップＳ１７２に進む。
ステップＳ１７２において、apt_flag導出部１５１は、色差のイントラ予測モードIntraPredModeCがイントラブロックコピー（IntraBC）であるか否かを判定する。イントラブロックコピー（IntraBC）であると判定された場合、処理はステップＳ１７３に進む。また、ステップＳ１７１において、処理対象の変換ブロックが属するCUの予測タイプCUPredModeがインター予測（MODE_INTER）であると判定された場合、処理はステップＳ１７３に進む。
ステップＳ１７３において、apt_flag導出部１５１は、図１５のステップＳ１３１の場合と同様に、色差の適応プライマリ変換フラグapt_flag[compID]の値に、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]の値をセットする。ステップＳ１７３の処理が終了すると処理はステップＳ１７５に進む。
また、ステップＳ１７２において、色差のイントラ予測モードIntraPredModeCがイントラブロックコピー（IntraBC）でないと判定された場合、処理はステップＳ１７４に進む。ステップＳ１７４において、apt_flag導出部１５１は、色差の適応プライマリ変換フラグapt_flag[compID]の値を０（偽）にする。ステップＳ１７４の処理が終了すると処理はステップＳ１７５に進む。
ステップＳ１７５乃至ステップＳ１７７の各処理は、図１５のステップＳ１３２乃至ステップＳ１３４の各処理と同様に実行される。そして、ステップＳ１７６またはステップＳ１７７の処理が終了すると、色差適応プライマリ変換情報導出処理が終了し、処理は図１４に戻る。
予測タイプがイントラ予測であって、イントラ予測モードIntraPredModeがイントラブロックコピーである場合、インター予測と同様に、輝度の残差と色差の残差の傾向が類似する。したがって、＜変形例#1＞と比較して、予測タイプがイントラ予測であって、イントラ予測モードIntraPredModeがIntraBCの場合に、輝度の適応プライマリ変換を、色差に対して適用することができるため、さらに符号化効率を改善することできる。
＜変形例#3＞
また、色差の適応プライマリ変換フラグの導出を、インターCU、または、イントラCUかつ輝度イントラ予測モードが色差イントラ予測モードと等しいときに限定するようにしてもよい。例えば、以下の式（２０）のように、処理対象の色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID] (compID=COMPONET_Cb or COMPONENT_Cr)を、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]、該色差変換ブロックが属するCU（符号化単位）の予測タイプCuPredMode、および該CUの輝度イントラ予測モードIntraPredModeYが該CUの色差イントラモードIntraPredModeCに基づいて設定するようにしてもよい。
if ( CuPredMode == MODE_INTER ) {
apt_flag[compID] = apt_flag[COMPONENT_Y]
} else if (IntraPredModeY == IntraPredModeC) { // CuPredMode==MODE_INTRA
apt_flag[compID] = apt_flag[COMPONENT_Y]
} else {
apt_flag[compID] = 0
}
・・・（２０）
つまり、該色差変換ブロックの属するCUの予測タイプCuPredModeがインター予測、あるいは、CUの予測タイプがイントラ予測、かつ、色差のイントラ予測モードIntraPredModeCが輝度のイントラ予測モードIntraPredModeYと等しい場合、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]が、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]に基づいて設定される。これに対して、それ以外の場合（CUの予測タイプCuPredModeがイントラ予測、かつ、色差のイントラ予測モードが輝度のイントラ予測モードと異なる場合）、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]の値が０（偽）に設定される。
このような場合の色差適応プライマリ変換情報導出処理の流れの例を、図１９のフローチャートを参照して説明する。このフローチャートは、図１５のフローチャートに対応する。この場合、色差適応プライマリ変換情報導出処理が開始されると、apt_flag導出部１５１は、ステップＳ１８１において、処理対象の変換ブロックが属するCUの予測タイプCUPredModeがインター予測（MODE_INTER）であるか否かを判定する。イントラ予測であると判定された場合、処理はステップＳ１８２に進む。
ステップＳ１８２において、apt_flag導出部１５１は、色差のイントラ予測モードIntraPredModeCが輝度のイントラ予測モードIntraPredModeYと等しいか否かを判定する。等しいと判定された場合、処理はステップＳ１８３に進む。また、ステップＳ１８２において、色差のイントラ予測モードIntraPredModeCが輝度のイントラ予測モードIntraPredModeYと等しくないと判定された場合、処理はステップＳ１８４に進む。
ステップＳ１８３乃至ステップＳ１８７の各処理は、図１８のステップＳ１７３乃至ステップＳ１７７の各処理と同様に実行される。そして、ステップＳ１８６またはステップＳ１８７の処理が終了すると、色差適応プライマリ変換情報導出処理が終了し、処理は図１４に戻る。
CUの予測タイプがイントラ予測の場合、輝度と色差では、イントラ予測モードが等しい場合には、輝度と色差の残差信号の傾向が類似する。したがって、輝度のイントラ予測モードと色差のイントラ予測モードが同値である場合のみ、輝度の適応プライマリ変換情報を、色差へ適用することで、＜変形例#1＞の場合と比較して、予測タイプがイントラ予測であって、輝度のイントラ予測モードと色差のイントラ予測モードが同値である場合に、輝度の適応プライマリ変換を、色差に対して適用することができるため、さらに符号化効率を改善することができる。
＜変形例#4＞
また、色差の適応プライマリ変換に関する情報を、輝度の適応プライマリ変換に基づいて設定するか否かを示すフラグを追加し、そのフラグにより色差の適応プライマリ変換に関する情報の設定を制御するようにしてもよい。例えば、以下の式（２１）のように、処理対象の色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID] (compID=COMPONET_Cb or COMPONENT_Cr)を、該色差変換ブロックに対応する輝度変換ブロックの適応プライマリ変換情報から設定（推定）するか否かを示す色差適応プライマリ変換情報推定フラグchroma_apt_infer_flagと、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]とに基づいて設定するようにしてもよい。
if ( chroma_apt_info_infer_flag [compID] ) {
apt_flag[compID] = apt_flag[COMPONENT_Y] : 0
} else {
apt_flag[compID] = 0
}
・・・（２１）
つまり、色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flag[compID]が１（真）の場合、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]が、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]に基づいて設定される。これに対して、それ以外の場合（色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flag[compID]が０（偽）の場合）、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]の値が０（偽）に設定される。
この場合のTUのシンタックスの例を図２０のＡに示す。各パラメータのセマンティクスは、図２０のＢのようになる。また、図２０のＡのシンタックスに含まれるresidual codingのシンタックスの例を図２１に示す。色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flagは、図２１に示すシンタックステーブルの定義に沿って、復号部１１１により復号される。
すなわち、色信号識別子compIDが色差を示す場合であって、かつ、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]が１(真)であって、かつ、色信号識別子compIDに対応する色信号の変換スキップフラグts_flag[compID]が０（偽）であって、かつ、変換量子化バイパスフラグフラグが０（偽）である場合、該色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flagが復号される。それ以外の条件の場合は、該色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flagの値は０と推定される。
復号部１１１は、図１２のステップＳ１０１において、色差適応プライマリ変換情報推定フラグ復号処理を実行することにより、このような復号を行う。図２２のフローチャートを参照してこの色差適応プライマリ変換情報推定フラグ復号処理の流れの例を説明する。
色差適応プライマリ変換情報推定フラグ復号処理が開始されると、復号部１１１は、ステップＳ１９１において、色信号識別子compIDが輝度である否かを判定する。色信号識別子compIDが色差であると判定された場合（compID != COMPONENT_Y）、処理はステップＳ１９２に進む。ステップＳ１９２において、復号部１１１は、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]が、１（真）であるか否かを判定する。輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]が１（真）であると判定された場合、処理はステップＳ１９３に進む。
ステップＳ１９３において、復号部１１１は、変換量子化バイパスフラグtransquant_bypass_flagが、１（真）であるか否かを判定する。変換量子化バイパスフラグが０（偽）であると判定された場合（! transquant_bypass_flag）、処理はステップＳ１９４に進む。ステップＳ１９４において、復号部１１１は、色信号識別子compIDに対応する色信号の変換スキップフラグts_flag[compID]が１（真）であるか否かを判定する。変換スキップフラグts_flag[compID]が０（偽）であると判定された場合（! ts_flag[compID]）、処理はステップＳ１９５に進む。
ステップＳ１９５において、復号部１１１は、符号化データ#1のビット列から、色信号識別子compIDに対応する色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flag[compID]を復号し、変換情報Tinfoの一部として出力する。ステップＳ１９５の処理が終了すると、色差適応プライマリ変換情報推定フラグ復号処理が終了し、処理は図１２に戻る。
また、ステップＳ１９１において、色信号識別子compIDが輝度であると判定された場合（compID==COMPONENT_Y）、処理はステップＳ１９６に進む。また、ステップＳ１９２において（! apt_flag[COMPONENT_Y]）、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]が０（偽）であると判定された場合、処理はステップＳ１９６に進む。また、ステップＳ１９３において、変換量子化バイパスフラグが１（真）であると判定された場合（transquant_bypass_flag）、処理はステップＳ１９６に進む。また、ステップＳ１９４において、変換スキップフラグts_flag[compID]が１（真）であると判定された場合（ts_flag[compID]）、処理はステップＳ１９６に進む。
ステップＳ１９６において、復号部１１１は、色信号識別子compIDに対応する色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flag[compID]の復号を省略し、該フラグの値を０（偽）にセットする（chroma_apt_info_infer_flag[compID] = 0）。ステップＳ１９６の処理が終了すると、色差適応プライマリ変換情報推定フラグ復号処理が終了し、処理は図１２に戻る。
色差適応プライマリ変換情報導出部１３１は、このように復号またはセットされた色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flag[compID]を用いて、色差適応プライマリ変換情報導出処理を行う。このような場合の色差適応プライマリ変換情報導出処理の流れの例を、図２３のフローチャートを参照して説明する。このフローチャートは、図１５のフローチャートに対応する。この場合、色差適応プライマリ変換情報導出処理が開始されると、apt_flag導出部１５１は、ステップＳ２０１において、色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flag[compID]の値が真であるか否かを判定する。真であると判定された場合、処理はステップＳ２０２に進む。また、ステップＳ２０１において、色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flag[compID]の値が偽であると判定された場合、処理はステップＳ２０３に進む。
ステップＳ２０２乃至ステップＳ２０６の各処理は、図１９のステップＳ１８３乃至ステップＳ１８７の各処理と同様に実行される。そして、ステップＳ２０５またはステップＳ２０６の処理が終了すると、色差適応プライマリ変換情報導出処理が終了し、処理は図１４に戻る。
輝度の残差と色差の残差の傾向が異なる信号に対して、輝度の適応プライマリ変換情報を色差に対して適用するか否かを、色差適応プライマリ変換情報推定フラグに基づいて、明示的に制御することが可能となる。したがって、図１５の場合と比較して、より効率的に色差に対して、適応プライマリ変換を適用することが可能となり、符号化効率を改善することができる。
＜変形例#5＞
また、色差の適応プライマリ変換フラグの導出を、色差の変換ブロックの短辺のサイズが所定の閾値以上である場合に限定するようにしてもよい。例えば、以下の式（２２）のように、処理対象の色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID] (compID=COMPONET_Cb or COMPONENT_Cr)を、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]、および該色差変換ブロックの短辺のサイズに基づいて設定するようにしてもよい。
if ( min(log2TBWSize, log2TBHSize) >= TH ) {
apt_flag[compID] = apt_flag[COMPONENT_Y]
} else {
apt_flag[compID] = 0
}
・・・（２２）
つまり、色差変換ブロックの短辺のサイズが閾値以上の場合（min(log2TBWSize, log2TBHSize)>=TH）、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]が、該色差の変換ブロックに対応する輝度変換ブロックに関する適応プライマリ変換フラグapt_flag[COMPONENT_Y]に基づいて設定される。これに対して、それ以外の場合（色差変換ブロックの短辺のサイズが閾値未満の場合）、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]の値が０（偽）に設定される。
このような場合の色差適応プライマリ変換情報導出処理の流れの例を、図２４のフローチャートを参照して説明する。このフローチャートは、図１５のフローチャートに対応する。この場合、色差適応プライマリ変換情報導出処理が開始されると、apt_flag導出部１５１は、ステップＳ２１１において、処理対象の変換ブロックの短辺のサイズ（min（log2TBWSize, log2TBHSize））が所定の閾値TH以上であるか否かを判定する。処理対象の変換ブロックの短辺のサイズが所定の閾値以上である（min（log2TBWSize, log2TBHSize） >= TH）と判定された場合、処理はステップＳ２１２に進む。また、ステップＳ２１１において、処理対象の変換ブロックの短辺のサイズが所定の閾値未満である（min（log2TBWSize, log2TBHSize） < TH）と判定された場合、処理はステップＳ２１３に進む。
ステップＳ２１２乃至ステップＳ２１６の各処理は、図２３のステップＳ２０２乃至ステップＳ２０６の各処理と同様に実行される。そして、ステップＳ２１５またはステップＳ２１６の処理が終了すると、色差適応プライマリ変換情報導出処理が終了し、処理は図１４に戻る。
色差の変換ブロックの短辺のサイズが所定値未満（例えば４）の場合、短辺のサイズに等しいサイズのDST-7/DST-1/DCT-5/DCT-8などの適応プライマリ変換を、短辺側へ適用しても符号化効率の改善幅は小さい。そのため、色差の変換ブロックの短辺のサイズが所定値未満の場合には、適応プライマリ変換を適用しないようすることで、符号化効率の低減を抑えたまま、所定値未満のサイズの適応プライマリ変換に利用される変換に関する回路規模を削減することができる。
＜変形例#6＞
また、色差の変換ブロックの縦幅、横幅のサイズにより逆プライマリ水平変換IPhorおよび逆プライマリ垂直変換IPverの変換タイプを選択することができるようにしてもよい。例えば、以上においては、逆プライマリ変換選択部１３２が、図１に示す変換セットと変換タイプの対応表(LUT_TrSetToTrTypeIdx)、プライマリ｛水平, 垂直｝変換セットTrSet{H,V}、およびプライマリ{水平,垂直}変換指定フラグpt_{hor,ver}_flagに基づいて、各方向の逆変換に適用する直交変換のタイプを決定するように説明したが、これに限定されない。例えば、色差の変換ブロックの場合は、色差変換ブロックのサイズをさらに参照して、各方向の変換タイプを決定するようにしてもよい。
例えば、図１６のステップＳ１４４において、以下の式（２３）のように、色差変換ブロックの横幅（ここでは、横幅の対数値log2TBWSize）が閾値TH以下の場合、（逆）プライマリ水平変換の変換タイプTrTypeIdxHを所定の変換タイプ（DCT-2）に設定し、それ以外の場合、水平変換セットTrSetH、プライマリ水平変換指定フラグpt_hor_flagに基づいて、（逆）プライマリ水平変換の変換タイプTrTypeIdxHを設定するようにしてもよい。なお、式(２３)において、閾値THの具体例は、例えば１や２と設定する。なお、式（２３）において、変換ブロックの横幅の対数値log2TBWSizeの代わりに、横幅TBWに置き換えてもよい。その場合、閾値TH'は、1<<THと設定される。
if (compID==COMPONENT_Y ){
TrTypeIdxH = LUT_TrSetToTrTypeIdx[ TrSetH ][ pt_hor_flag ]
} else if (log2TBWSize<=TH){
TrTypeIdxH = 所定値 (DCT-IIを示す変換タイプの値を設定)
} else {
TrTypeIdxH = LUT_TrSetToTrTypeIdx[ TrSetH ][ pt_hor_flag ]
}
・・・（２３）
このような、図１６のステップＳ１４４において実行されるプライマリ水平変換タイプ導出処理の流れの例を、図２５のフローチャートを参照して説明する。プライマリ水平変換タイプ導出処理が開始されると、逆プライマリ変換選択部１３２は、ステップＳ２２１において、処理対象が輝度の変換ブロックであるか否かを判定する。色差の変換ブロックであると判定された場合、処理はステップＳ２２２に進む。ステップＳ２２２において、逆プライマリ変換選択部１３２は、色差変換ブロックの横幅（横幅の対数値log2TBWSize）が閾値TH以下であるか否かを判定する。色差変換ブロックの横幅が閾値より大きいと判定された場合（log2TBWSize > TH）、処理はステップＳ２２３に進む。また、ステップＳ２２１において、処理対象が輝度の変換ブロックであると判定された場合、処理はステップＳ２２３に進む。
ステップＳ２２３において、逆プライマリ変換選択部１３２は、（逆）プライマリ水平変換の変換タイプTrTypeIdxHを、図１に示す変換セットと変換タイプの対応表(LUT_TrSetToTrTypeIdx)、プライマリ水平変換セットTrSetH、およびプライマリ水平変換指定フラグpt_hor_flagに基づいて設定する。ステップＳ２２３の処理が終了すると、プライマリ水平変換タイプ導出処理が終了し、処理は図１６に戻る。
また、ステップＳ２２２において、色差変換ブロックの横幅が閾値以下であると判定された場合（log2TBWSize <= TH）、処理はステップＳ２２４に進む。ステップＳ２２４において、逆プライマリ変換選択部１３２は、（逆）プライマリ水平変換の変換タイプTrTypeIdxHを、所定値に設定する。ステップＳ２２４の処理が終了すると、プライマリ水平変換タイプ導出処理が終了し、処理は図１６に戻る。
垂直方向についても同様である。例えば、図１６のステップＳ１４５において、以下の式（２４）のように、色差変換ブロックの縦幅(ここでは、縦幅の対数値log2TBHSize)が閾値TH以下の場合、（逆）プライマリ垂直変換の変換タイプTrTypeIdxVとして所定の変換タイプ（DCT-2）を設定し、それ以外の場合、垂直変換セット識別子TrSetV、プライマリ垂直変換指定フラグpt_ver_flagに基づいて、（逆）プライマリ垂直変換の変換タイプTrTypeIdxVを設定するようにしてもよい。なお、式(２４)において、閾値THの具体例は、例えば１や２と設定する。また、式（２４）において、変換ブロックの縦幅の対数値log2TBHSizeの代わりに、縦幅TBHに置き換えてもよい。その場合、閾値TH'は、1<<THと設定される。
if (compID==COMPONENT_Y ){
TrTypeIdxV = LUT_TrSetToTrTypeIdx[ TrSetV ][ pt_ver_flag ]
} else if (log2TBHSize<=TH){
TrTypeIdxV = 所定値 (DCT-IIを示す変換タイプの値を設定)
} else {
TrTypeIdxV = LUT_TrSetToTrTypeIdx[ TrSetV ][ pt_ver_flag ]
}
・・・（２４）
このような、図１６のステップＳ１４５において実行されるプライマリ垂直変換タイプ導出処理の流れの例を、図２６のフローチャートを参照して説明する。プライマリ垂直変換タイプ導出処理が開始されると、逆プライマリ変換選択部１３２は、ステップＳ２３１において、処理対象が輝度の変換ブロックであるか否かを判定する。色差の変換ブロックであると判定された場合、処理はステップＳ２３２に進む。ステップＳ２３２において、逆プライマリ変換選択部１３２は、色差変換ブロックの縦幅（縦幅の対数値log2TBHSize）が閾値TH以下であるか否かを判定する。色差変換ブロックの縦幅が閾値より大きいと判定された場合（log2TBHSize > TH）、処理はステップＳ２３３に進む。また、ステップＳ２３１において、処理対象が輝度の変換ブロックであると判定された場合、処理はステップＳ２３３に進む。
ステップＳ２３３において、逆プライマリ変換選択部１３２は、（逆）プライマリ垂直変換の変換タイプTrTypeIdxVを、図１に示す変換セットと変換タイプの対応表(LUT_TrSetToTrTypeIdx)、プライマリ垂直変換セットTrSetV、およびプライマリ垂直変換指定フラグpt_ver_flagに基づいて設定する。ステップＳ２３３の処理が終了すると、プライマリ垂直変換タイプ導出処理が終了し、処理は図１６に戻る。
また、ステップＳ２３２において、色差変換ブロックの横幅が閾値以下であると判定された場合（log2TBHSize <= TH）、処理はステップＳ２３４に進む。ステップＳ２３４において、逆プライマリ変換選択部１３２は、（逆）プライマリ垂直変換の変換タイプTrTypeIdxVを、所定値に設定する。ステップＳ２３４の処理が終了すると、プライマリ垂直変換タイプ導出処理が終了し、処理は図１６に戻る。
色差の変換ブロックの横幅（縦幅）が所定値未満（例えば４）の場合、（逆）プライマリ水平（垂直）変換として、DST-7/DST-1/DCT-5/DCT-8とDCT-2とでは、符号化効率の差が小さい。したがって、色差の変換ブロックの横幅（縦幅）が所定値未満（例えば４）の場合、（逆）プライマリ水平（垂直）変換として、所定の直交変換（DCT-2）を選択することにより、所定値未満のサイズの適応プライマリ変換に利用される直交変換に関する回路規模を削減することができる。
＜３．第２の実施の形態＞
＜ts_flag＞
なお、第１の実施の形態においては、（逆）直交変換に関する情報として、適応プライマリ変換フラグapt_flagとプライマリ変換識別子pt_idxを例に説明したが、（逆）直交変換に関する情報の内容は任意であり、これらのパラメータに限定されない。例えば、図６の表に示されるように、（逆）直交変換処理をスキップするかを示す変換スキップフラグts_flagを含むようにしてもよい。例えば、色差（Cb）の変換スキップフラグts_flag[Cb]と色差（Cr）の変換スキップフラグts_flag[Cr]とをそれぞれ、輝度の変換スキップフラグts_flag[Y]に基づいて導出することにより、色差（Cb/Cr）でシグナルされる該シンタックスの符号量に関するオーバーヘッドの増大も抑制することができる。
図２７の表を参照してさらに説明する。従来は、No.#0の行のように、色差においても、変換スキップフラグts_flagは符号化側から復号側に伝送されていた（シグナリングされていた）。このように、輝度だけでなく色差においても変換スキップフラグts_flagを明示的に符号化すると、符号量が増大し、符号化効率が低減するおそれがあった。また、この場合、符号化側においては各信号（Y, Cb, Cr）毎に変換スキップフラグts_flagの設定や符号化を行わなければならず、処理量が増大するおそれがあった。また復号側においては、各信号（Y, Cb, Cr）毎に変換スキップフラグts_flagの復号を行わなければならず、処理量が増大するおそれがあった。
そこで、例えばNo.#1の行のように、常に、色差の変換スキップフラグts_flagを、輝度の変換スキップフラグts_flagから推定するようにする。例えば、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットするようにしてもよい。このようにすることにより、色差の変換スキップフラグts_flagの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
また、例えばNo.#2の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、色差の変換スキップフラグts_flag[compID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、その符号化ブロックの予測タイプがイントラ予測である場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。このようにすることにより、残差信号の傾向が類似するインター予測モードの場合のみ、輝度の変換スキップフラグts_flagの値を利用するようにすることができるので、符号化効率の低減をより抑制することができる。
さらに、例えばNo.#3の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、輝度と色差とで予測モードが一致するイントラ予測である場合、色差の変換スキップフラグts_flag[compID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、その符号化ブロックの予測タイプが輝度と色差とで予測モードが一致しないイントラ予測である場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。このようにすることにより、残差信号の傾向が類似する予測モードの場合のみ、輝度の変換スキップフラグts_flagの値を利用するようにすることができるので、符号化効率の低減をより抑制することができる。
また、例えばNo.#4の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、予測モードがイントラブロックコピーのイントラ予測である場合、色差の変換スキップフラグts_flag[compID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、その符号化ブロックの予測タイプが、予測モードがイントラブロックコピーでないイントラ予測である場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。このようにすることにより、残差信号の傾向が類似する予測モードの場合のみ、輝度の変換スキップフラグts_flagの値を利用するようにすることができるので、符号化効率の低減をより抑制することができる。
また、例えばNo.#5の行のように、色差の変換スキップフラグts_flag[compID]を輝度の変換スキップフラグts_flag[COMPONENT_Y]に基づいて推定するかを示す色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが１（真）の場合、色差の変換スキップフラグts_flag[copmID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが０（偽）の場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。このようにすることにより、輝度の変換スキップフラグの値を利用するか否かを、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagを用いて明示的に制御することができる。したがって、容易に、十分に大きな効果が得られる場合のみ輝度の変換スキップフラグの値を利用させるようにすることができるので、符号化効率の低減をより抑制することができる。
なお、図７の場合と同様に、以上に説明した各ケースを任意に組み合わせることもできる。このようにすることにより、各ケースにおいて得られる効果を得ることができる。また、上述した各ケースを、上述していない他のケースと組み合わせることもできる。
＜基本例１＞
図２７のNo.#1の行を参照して説明したように、常に、色差の変換スキップフラグts_flagを、輝度の変換スキップフラグts_flagから推定するようにしてもよい。この場合の、residual_codingのシンタックスの例を図２８に示す。図２８に示されるように、この場合、変換スキップフラグts_flagをシグナリングする条件に、「compID == COMPONENT_Y」が含まれている。換言するに、色差の場合（compID != COMPONENT_Y）、変換スキップフラグts_flagはシグナリングされずに、輝度の変換スキップフラグを用いて設定される。
このような場合、復号部１１１は、変換スキップフラグ導出処理を実行することにより、色差の変換スキップフラグts_flag[compID]をセットする。その変換スキップフラグ導出処理の流れの例を、図２９のフローチャートを参照して説明する。
変換スキップフラグ導出処理が開始されると、復号部１１１は、ステップＳ２４１において、変換スキップフラグ有効フラグts_enabled_flagが真であるか否かを判定する。変換スキップフラグ有効フラグts_enabled_flagが真であると判定された場合、処理はステップＳ２４２に進む。ステップＳ２４２において、復号部１１１は、変換量子化バイパス有効フラグtransquant_bypass_enabled_flagが偽であるか否かを判定する。変換量子化バイパス有効フラグtransquant_bypass_enabled_flagが偽であると判定された場合、処理はステップＳ２４３に進む。ステップＳ２４３において、復号部１１１は、処理対象の変換ブロックのブロックサイズが最大変換スキップブロックサイズ以下であるか否かを判定する。最大変換スキップブロックサイズ以下であると判定された場合、処理はステップＳ２４４に進む。
ステップＳ２４４において、復号部１１１は、処理対象が色差である（compID != COMPONENT_Y）か否かを判定する。処理対象が色差である（compID != COMPONENT_Y）と判定した場合、処理はステップＳ２４５に進む。ステップＳ２４５において、復号部１１１は、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットする。ステップＳ２４５の処理が終了すると変換スキップフラグ導出処理が終了する。
また、ステップＳ２４４において、処理対象が輝度である（compID == COMPONENT_Y）と判定された場合、処理はステップＳ２４６に進む。輝度の変換スキップフラグts_flag[compID]はシグナリングされるので、ステップＳ２４６において、復号部１１１は、符号化データを復号してその輝度の変換スキップフラグts_flag[compID]を得る。ステップＳ２４６の処理が終了すると変換スキップフラグ導出処理が終了する。
なお、ステップＳ２４１において、変換スキップフラグ有効フラグts_enabled_flagが偽であると判定された場合、ステップＳ２４２において、変換量子化バイパス有効フラグtransquant_bypass_enabled_flagが真であると判定された場合、または、ステップＳ２４３において、処理対象の変換ブロックのブロックサイズが最大変換スキップブロックサイズより大きいと判定された場合、変換スキップフラグ導出処理が終了する。
このようにすることにより、色差の変換スキップフラグts_flagの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例１＞
図２７のNo.#2の行を参照して説明したように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、色差の変換スキップフラグts_flag[compID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、その符号化ブロックの予測タイプがイントラ予測である場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。
この場合の、residual_codingのシンタックスの例を図３０に示す。図３０に示されるように、この場合、変換スキップフラグts_flagのシグナリングの条件に「&& (CuPreMode == MODE_INTRA || CuPreMode == MODE_INTER && compID == COMPONENT_Y)」が含まれている。つまり、予測モードがイントラ予測であるか、予測モードがインター予測であっても輝度である場合に変換スキップフラグts_flagがシグナリングされる。換言するに、色差でインター予測の場合のみ、変換スキップフラグts_flagはシグナリングされない。つまり、この場合、変換スキップフラグts_flagは、輝度の変換スキップフラグts_flagを用いて設定される。
この場合の、変換スキップフラグ導出処理の流れの例を、図３１のフローチャートを参照して説明する。ステップＳ２５１乃至ステップＳ２５４の各処理は、図２９のステップＳ２４１乃至ステップＳ２４４の各処理と同様に実行される。
ステップＳ２５５において、復号部１１１は、さらに、予測モードがインター予測であるか否かを判定する。インター予測であると判定された場合（CuPredMode == MODE_INTER）、処理はステップＳ２５６に進む。また、予測モードがイントラ予測であると判定された場合（CuPredMode == MODE_INTRA）、処理はステップＳ２５７に進む。
ステップＳ２５６の処理は、図２９のステップＳ２４５の処理と同様に実行される。つまり、復号部１１１は、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットする。ステップＳ２５６の処理が終了すると変換スキップフラグ導出処理が終了する。
また、ステップＳ２５７の処理は、図２９のステップＳ２４６の処理と同様に実行される。つまり、復号部１１１は、符号化データを復号して、シグナリングされた変換スキップフラグts_flag[compID]を得る。ステップＳ２５７の処理が終了すると変換スキップフラグ導出処理が終了する。
このようにすることにより、残差信号の傾向が類似するインター予測モードの場合のみ、輝度の変換スキップフラグts_flagの値を利用して、色差の変換スキップフラグts_flagの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例２＞
図２７のNo.#3の行を参照して説明したように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、輝度と色差とで予測モードが一致するイントラ予測である場合、色差の変換スキップフラグts_flag[compID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、その符号化ブロックの予測タイプが輝度と色差とで予測モードが一致しないイントラ予測である場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。
この場合の、residual_codingのシンタックスの例を図３２に示す。図３２に示されるように、この場合、変換スキップフラグts_flagのシグナリングの条件に「&& (CuPreMode == MODE_INTRA && compID == COMPONENT_Y || CuPreMode == MODE_INTRA && compID != COMPONENT_Y && IntraPredModeY != IntraPredModeC CuPredMode == MODE_INTER && compID == COMPONENT_Y)」が含まれている。つまり、輝度であるか、または、色差であっても輝度と色差とで予測モードが一致しないイントラ予測である場合に変換スキップフラグts_flagがシグナリングされる。換言するに、色差でインター予測であるか、または、色差であり、かつ、輝度と色差とで予測モードが一致するイントラ予測である場合のみ、変換スキップフラグts_flagはシグナリングされない。つまり、この場合、変換スキップフラグts_flagは、輝度の変換スキップフラグts_flagを用いて設定される。
この場合の、変換スキップフラグ導出処理の流れの例を、図３３のフローチャートを参照して説明する。ステップＳ２６１乃至ステップＳ２６５の各処理は、図３１のステップＳ２５１乃至ステップＳ２５５の各処理と同様に実行される。
ステップＳ２６５においてイントラ予測であると判定された場合、処理はステップＳ２６６に進む。ステップＳ２６６において、復号部１１１は、輝度と色差とで予測モードが一致するか否かを判定する。予測モードが一致する（IntraPredModeY == IntraPredModeC）と判定された場合、処理はステップＳ２６７に進む。また、予測モードが一致しないと判定された場合、処理はステップＳ２６８に進む。
ステップＳ２６７の処理は、図３１のステップＳ２５６の処理と同様に実行される。つまり、復号部１１１は、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットする。ステップＳ２６７の処理が終了すると変換スキップフラグ導出処理が終了する。
また、ステップＳ２６８の処理は、図３１のステップＳ２５７の処理と同様に実行される。つまり、復号部１１１は、符号化データを復号して、シグナリングされた変換スキップフラグts_flag[compID]を得る。ステップＳ２６８の処理が終了すると変換スキップフラグ導出処理が終了する。
このようにすることにより、残差信号の傾向が類似する予測モードの場合のみ、輝度の変換スキップフラグts_flagの値を利用して、色差の変換スキップフラグts_flagの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例３＞
図２７のNo.#4の行を参照して説明したように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、予測モードがイントラブロックコピーのイントラ予測である場合、色差の変換スキップフラグts_flag[compID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、その符号化ブロックの予測タイプが、予測モードがイントラブロックコピーでないイントラ予測である場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。
この場合の、residual_codingのシンタックスの例を図３４に示す。図３４に示されるように、この場合、変換スキップフラグts_flagのシグナリングの条件に「&& (CuPreMode == MODE_INTRA && compID == COMPONENT_Y || CuPreMode == MODE_INTRA && compID != COMPONENT_Y && IntraPredModeY != IntraBC CuPredMode == MODE_INTER && compID == COMPONENT_Y)」が含まれている。つまり、輝度であるか、または、色差であっても予測モードがイントラブロックコピーでないイントラ予測である場合に変換スキップフラグts_flagがシグナリングされる。換言するに、色差でインター予測であるか、または、色差であり、かつ、予測モードがイントラブロックコピーのイントラ予測である場合のみ、変換スキップフラグts_flagはシグナリングされない。つまり、この場合、変換スキップフラグts_flagは、輝度の変換スキップフラグts_flagを用いて設定される。
この場合の、変換スキップフラグ導出処理の流れの例を、図３５のフローチャートを参照して説明する。ステップＳ２７１乃至ステップＳ２７５の各処理は、図３３のステップＳ２６１乃至ステップＳ２６５の各処理と同様に実行される。
ステップＳ２７５においてイントラ予測であると判定された場合、処理はステップＳ２７６に進む。ステップＳ２７６において、復号部１１１は、予測モードがイントラブロックコピーであるか否かを判定する。予測モードがイントラブロックコピーである（IntraPredModeY == IntraBC）と判定された場合、処理はステップＳ２７７に進む。また、予測モードがイントラブロックコピーであると判定された場合、処理はステップＳ２７８に進む。
ステップＳ２７７の処理は、図３３のステップＳ２６７の処理と同様に実行される。つまり、復号部１１１は、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットする。ステップＳ２７７の処理が終了すると変換スキップフラグ導出処理が終了する。
また、ステップＳ２７８の処理は、図３３のステップＳ２６８の処理と同様に実行される。つまり、復号部１１１は、符号化データを復号して、シグナリングされた変換スキップフラグts_flag[compID]を得る。ステップＳ２７８の処理が終了すると変換スキップフラグ導出処理が終了する。
このようにすることにより、残差信号の傾向が類似する予測モードの場合のみ、輝度の変換スキップフラグts_flagの値を利用して、色差の変換スキップフラグts_flagの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例４＞
図２７のNo.#5の行を参照して説明したように、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが１（真）の場合、色差の変換スキップフラグts_flag[copmID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが０（偽）の場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。
この場合の、transform unitのシンタックスの例を図３６に示す。図３６に示されるように、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagがセットされる。また、residual_codingのシンタックスの例を図３７に示す。図３７に示されるように、この場合、変換スキップフラグts_flagのシグナリングの条件に「&& compID != COMPONENT_Y && !chroma_ts_info_infer_flag」が含まれている。つまり、輝度であるか、または、色差であっても色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが偽である場合に変換スキップフラグts_flagがシグナリングされる。換言するに、色差であり、かつ、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが真である場合のみ、変換スキップフラグts_flagはシグナリングされない。つまり、この場合、変換スキップフラグts_flagは、輝度の変換スキップフラグts_flagを用いて設定される。
この場合の、変換スキップフラグ導出処理の流れの例を、図３８のフローチャートを参照して説明する。ステップＳ２８１乃至ステップＳ２８３の各処理は、図２９のステップＳ２４１乃至ステップＳ２４５の各処理と同様に実行される。
ステップＳ２８４において復号部１１１は、処理対象が色差であり、かつ、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが真であるかを判定する。色差であり、かつ、真であると判定される場合、処理はステップＳ２８５に進む。また、ステップＳ２８４において、処理対象が輝度である、または、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが偽であると判定された場合、処理はステップＳ２８６に進む。
ステップＳ２８５の処理は、図２９のステップＳ２４５の処理と同様に実行される。つまり、復号部１１１は、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットする。ステップＳ２８５の処理が終了すると変換スキップフラグ導出処理が終了する。
また、ステップＳ２８６の処理は、図２９のステップＳ２４６の処理と同様に実行される。つまり、復号部１１１は、符号化データを復号して、シグナリングされた変換スキップフラグts_flag[compID]を得る。ステップＳ２８６の処理が終了すると変換スキップフラグ導出処理が終了する。
このようにすることにより、輝度の変換スキップフラグの値を利用するか否かを、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagを用いて明示的に制御することができる。したがって、容易に、十分に大きな効果が得られる場合のみ輝度の変換スキップフラグの値を利用させるようにすることができるので、符号化効率の低減をより抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜４．第３の実施の形態＞
＜st_idx＞
また、（逆）直交変換に関する情報として、例えば、図６の表に示されるように、どの（逆）セカンダリ変換を適用するかを示すセカンダリ変換識別子st_idxを含むようにしてもよい。例えば、色差（CbおよびCr共通）のセカンダリ変換識別子chroma_st_idxを、輝度のセカンダリ変換識別子st_idx[Y]に基づいて導出することにより、色差（Cb/Cr）でシグナルされる該シンタックスの符号量に関するオーバーヘッドの増大も抑制することができる。
図３９の表を参照してさらに説明する。従来は、No.#0の行のように、色差においても、セカンダリ変換識別子st_idxは符号化側から復号側に伝送されていた（シグナリングされていた）。図４０は、従来のTUのシンタックスの例である。図４０のシンタックスにも示されるように、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる。このように、輝度だけでなく色差においてもセカンダリ変換識別子st_idxを明示的に符号化すると、符号量が増大し、符号化効率が低減するおそれがあった。また、この場合、符号化側においては各信号（Y, Cb, Cr）毎にセカンダリ変換識別子st_idxの設定や符号化を行わなければならず、処理量が増大するおそれがあった。また復号側においては、各信号（Y, Cb, Cr）毎にセカンダリ変換識別子st_idxの復号を行わなければならず、処理量が増大するおそれがあった。
そこで、例えばNo.#1の行のように、常に、色差のセカンダリ変換識別子chroma_st_idxを、輝度のセカンダリ変換識別子st_idxから推定するようにする。例えば、色差のセカンダリ変換識別子chroma_st_idxの値に、輝度のセカンダリ変換識別子st_idxの値をセットするようにしてもよい。このようにすることにより、色差のセカンダリ変換識別子chroma_st_idxの伝送（符号化・復号）を省略することができるので、符号量に関するオーバーヘッドを削減し、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
また、例えばNo.#2の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットし、その符号化ブロックの予測タイプがイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。このようにすることにより、残差信号の傾向が類似するインター予測モードの場合のみ、輝度のセカンダリ変換識別子st_idxの値を利用するようにすることができるので、符号化効率の低減をより抑制することができる。
さらに、例えばNo.#3の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、輝度と色差とで予測モードが一致するイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットし、その符号化ブロックの予測タイプが輝度と色差とで予測モードが一致しないイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。このようにすることにより、残差信号の傾向が類似する予測モードの場合のみ、輝度のセカンダリ変換識別子st_idxの値を利用するようにすることができるので、符号化効率の低減をより抑制することができる。
また、例えばNo.#4の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、予測モードがイントラブロックコピーのイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットし、その符号化ブロックの予測タイプが、予測モードがイントラブロックコピーでないイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。このようにすることにより、残差信号の傾向が類似する予測モードの場合のみ、輝度のセカンダリ変換識別子st_idxの値を利用するようにすることができるので、符号化効率の低減をより抑制することができる。
また、例えばNo.#5の行のように、色差のセカンダリ変換識別子chroma_st_idxを輝度のセカンダリ変換識別子st_idxに基づいて推定するかを示す色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagが１（真）の場合、色差のセカンダリ変換識別子st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットし、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagが０（偽）の場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。このようにすることにより、輝度のセカンダリ変換識別子st_idxの値を利用するか否かを、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagを用いて明示的に制御することができる。したがって、容易に、十分に大きな効果が得られる場合のみ輝度の色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagの値を利用させるようにすることができるので、符号化効率の低減をより抑制することができる。
なお、図７の場合と同様に、以上に説明した各ケースを任意に組み合わせることもできる。このようにすることにより、各ケースにおいて得られる効果を得ることができる。また、上述した各ケースを、上述していない他のケースと組み合わせることもできる。
＜基本例１＞
図３９のNo.#1の行を参照して説明したように、常に、色差のセカンダリ変換識別子chroma_st_idxを、輝度のセカンダリ変換識別子st_idxから推定するようにしてもよい。この場合の、TUのシンタックスの例を図４１に示す。図４１に示されるように、この場合、色差のセカンダリ変換識別子chroma_st_idxはシグナリングされずに、輝度のセカンダリ変換識別子st_idxを用いて設定される。
このような場合、復号部１１１は、色差用セカンダリ変換識別子導出処理を実行することにより、色差のセカンダリ変換識別子chroma_st_idxをセットする。その色差用セカンダリ変換識別子導出処理の流れの例を、図４２のフローチャートを参照して説明する。
色差用セカンダリ変換識別子導出処理が開始されると、復号部１１１は、ステップＳ２９１において、セカンダリ変換有効フラグst_enabled_flagが真であるか否かを判定する。セカンダリ変換有効フラグst_enabled_flagが真であると判定された場合、処理はステップＳ２９２に進む。ステップＳ２９２において、復号部１１１は、変換量子化バイパス有効フラグtransquant_bypass_enabled_flagが偽であるか否かを判定する。変換量子化バイパス有効フラグtransquant_bypass_enabled_flagが偽であると判定された場合、処理はステップＳ２９３に進む。ステップＳ２９３において、復号部１１１は、色差の非ゼロ係数の数（numNonZeroCoeffTH）が所定の閾値（stNumZeroCoeffTH）以上か否かを判定する。色差の非ゼロ係数の数が所定の閾値以上であると判定された場合、処理はステップＳ２９４に進む。
ステップＳ２９４において、復号部１１１は、色差のセカンダリ変換識別子chroma_st_idxの値に、輝度のセカンダリ変換識別子st_idxの値をセットする。ステップＳ２９４の処理が終了すると色差用セカンダリ変換識別子導出処理が終了する。
なお、ステップＳ２９１において、セカンダリ変換有効フラグst_enabled_flagが偽であると判定された場合、色差用セカンダリ変換識別子導出処理が終了する。また、ステップＳ２９２において、変換量子化バイパス有効フラグtransquant_bypass_enabled_flagが真であると判定された場合、色差用セカンダリ変換識別子導出処理が終了する。さらに、ステップＳ２９３において、色差の非ゼロ係数の数が所定の閾値よりも少ないと判定された場合、色差用セカンダリ変換識別子導出処理が終了する。
このようにすることにより、色差のセカンダリ変換識別子chroma_st_idxの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例１＞
図３９のNo.#2の行を参照して説明したように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットし、その符号化ブロックの予測タイプがイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。
この場合の、TUのシンタックスの例を図４３に示す。図４３に示されるように、この場合、予測モードがイントラ予測の場合（CuPreMode == MODE_INTRA）、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる。また、予測モードがイントラ予測の場合（CuPreMode == MODE_INTER）、色差のセカンダリ変換識別子chroma_st_idxは、輝度のセカンダリ変換識別子st_idxの値を使って設定される。
この場合の、色差用セカンダリ変換識別子導出処理の流れの例を、図４４のフローチャートを参照して説明する。ステップＳ３０１乃至ステップＳ３０３の各処理は、図４２のステップＳ２９１乃至ステップＳ２９３の各処理と同様に実行される。
ステップＳ３０４において、復号部１１１は、さらに、予測モードがイントラ予測であるか否かを判定する。インター予測であると判定された場合（CuPredMode == MODE_INTER）、処理はステップＳ３０５に進む。
ステップＳ３０５の処理は、図４２のステップＳ２９４の処理と同様に実行される。つまり、復号部１１１は、色差のセカンダリ変換識別子chroma_st_idxの値に、輝度のセカンダリ変換識別子st_idxの値をセットする。ステップＳ３０５の処理が終了すると色差用セカンダリ変換識別子導出処理が終了する。
また、予測モードがイントラ予測であると判定された場合（CuPredMode == MODE_INTRA）、処理はステップＳ３０６に進む。ステップＳ３０６において、復号部１１１は、符号化データを復号して、シグナリングされたセカンダリ変換識別子st_idxを得る。ステップＳ３０６の処理が終了すると色差用セカンダリ変換識別子導出処理が終了する。
このようにすることにより、残差信号の傾向が類似するインター予測モードの場合のみ、輝度のセカンダリ変換識別子st_idxの値を利用して、色差のセカンダリ変換識別子chroma_st_idxの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例２＞
図３９のNo.#3の行を参照して説明したように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、輝度と色差とで予測モードが一致するイントラ予測である場合、復号部１１１は、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットする。また、その符号化ブロックの予測タイプが輝度と色差とで予測モードが一致しないイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。
この場合の、TUのシンタックスの例を図４５に示す。図４５に示されるように、この場合、イントラ予測モードであり（CuPredMode==MODE_INTRA）、かつ、輝度と色差とで予測モードが一致しない場合、セカンダリ変換識別子chroma_st_idxがシグナリングされる。それ以外の場合、色差のセカンダリ変換識別子chroma_st_idxに、輝度のセカンダリ変換識別子st_idxがセットされる。
この場合の、色差用セカンダリ変換識別子導出処理の流れの例を、図４６のフローチャートを参照して説明する。ステップＳ３１１乃至ステップＳ３１４の各処理は、図４４のステップＳ３０１乃至ステップＳ３０４の各処理と同様に実行される。
ステップＳ３１４において、イントラ予測であると判定された場合、処理はステップＳ３１５に進む。また、インター予測であると判定された場合、処理はステップＳ３１６に進む。ステップＳ３１５において、復号部１１１は、輝度と色差とで予測モードが一致するか否かを判定する。一致すると判定された場合（IntraPredModeY == IntraPredModeC）、処理はステップＳ３１６に進む。また、一致しないと判定された場合（IntraPredModeY != IntraPredModeC）、処理はステップＳ３１７に進む。
ステップＳ３１６の処理は、図４４のステップＳ３０５の処理と同様に実行される。また、ステップＳ３１７の処理は、図４４のステップＳ３０６の処理と同様に実行される。
このようにすることにより、残差信号の傾向が類似する予測モードの場合のみ、輝度のセカンダリ変換識別子st_idxの値を利用して、色差のセカンダリ変換識別子chroma_st_idxの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例３＞
図３９のNo.#4の行を参照して説明したように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、予測モードがイントラブロックコピーのイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットし、その符号化ブロックの予測タイプが、予測モードがイントラブロックコピーでないイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。
この場合の、TUのシンタックスの例を図４７に示す。図４７に示されるように、輝度であるか、または、色差であっても予測モードがイントラブロックコピーでないイントラ予測である場合（CuPredMode == MODE_INTRA && IntraPredModeY != IntraBC）に、セカンダリ変換識別子st_idxがシグナリングされる。換言するに、色差でインター予測であるか、または、色差であり、かつ、予測モードがイントラブロックコピーのイントラ予測である場合のみ、セカンダリ変換識別子st_idxはシグナリングされない。つまり、この場合、セカンダリ変換識別子chroma_st_idxは、輝度のセカンダリ変換識別子st_idxを用いて設定される。
この場合の、色差用セカンダリ変換識別子導出処理の流れの例を、図４８のフローチャートを参照して説明する。ステップＳ３２１乃至ステップＳ３２４の各処理は、図４６のステップＳ３１１乃至ステップＳ３１４の各処理と同様に実行される。
ステップＳ３２４においてイントラ予測であると判定された場合、処理はステップＳ３２５に進む。また、インター予測であると判定された場合、処理はステップＳ３２６に進む。
ステップＳ３２５において、復号部１１１は、予測モードがイントラブロックコピーであるか否かを判定する。予測モードがイントラブロックコピーである（IntraPredModeY == IntraBC）と判定された場合、処理はステップＳ３２６に進む。また、予測モードがイントラブロックコピーであると判定された場合、処理はステップＳ３２７に進む。
ステップＳ３２６の処理は、図４６のステップＳ３１６の処理と同様に実行される。つまり、復号部１１１は、色差のセカンダリ変換識別子chroma_st_idxの値に、輝度のセカンダリ変換識別子st_idxをセットする。ステップＳ３２６の処理が終了すると色差用セカンダリ変換識別子導出処理が終了する。
また、ステップＳ３２７の処理は、図４６のステップＳ３１７の処理と同様に実行される。つまり、復号部１１１は、符号化データを復号して、シグナリングされたセカンダリ変換識別子st_idxを得る。ステップＳ３２７の処理が終了すると色差用セカンダリ変換識別子導出処理が終了する。
このようにすることにより、残差信号の傾向が類似する予測モードの場合のみ、輝度のセカンダリ変換識別子st_idxの値を利用して、色差のセカンダリ変換識別st_Idxの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例４＞
図３９のNo.#5の行を参照して説明したように、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagが１（真）の場合、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットし、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagが０（偽）の場合、色差のセカンダリ変換識別子st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。
この場合の、TUのシンタックスの例を図４９に示す。図４９に示されるように、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagがセットされ、その値に応じて、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされるか、輝度のセカンダリ変換識別子st_idxから求められるかが制御される。
この場合の、色差用セカンダリ変換識別子導出処理の流れの例を、図５０のフローチャートを参照して説明する。ステップＳ３３１乃至ステップＳ３３３の各処理は、図４８のステップＳ３２１乃至ステップＳ３２３の各処理と同様に実行される。
ステップＳ３３４において、復号部１１１は、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagを復号し、取得する。ステップＳ３３５において、復号部１１１は、取得した色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagが真であるか否かを判定する。色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagが真であると判定された場合、処理はステップＳ３３６に進む。また、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagが偽であると判定された場合、処理はステップＳ３３７に進む。
ステップＳ３３６の処理は、図４８のステップＳ３２６の処理と同様に実行される。つまり、復号部１１１は、色差のセカンダリ変換識別子chroma_st_idxの値に、輝度のセカンダリ変換識別子st_idxの値をセットする。ステップＳ３３６の処理が終了すると色差用セカンダリ変換識別子導出処理が終了する。
また、ステップＳ３３７の処理は、図４８のステップＳ３２７の処理と同様に実行される。つまり、復号部１１１は、符号化データを復号して、シグナリングされた色差のセカンダリ変換識別子chroma_st_idxを得る。ステップＳ３３７の処理が終了すると色差用セカンダリ変換識別子導出処理が終了する。
このようにすることにより、輝度のセカンダリ変換識別子st_idxの値を利用するか否かを、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagを用いて明示的に制御することができる。したがって、容易に、十分に大きな効果が得られる場合のみ輝度のセカンダリ変換識別子の値を利用させるようにすることができるので、符号化効率の低減をより抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜５．第４の実施の形態＞
＜画像符号化装置＞
次に、以上のように復号される符号化データを生成する符号化について説明する。図５１は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図５１に示される画像符号化装置４００は、図９の画像復号装置１００に対応する画像符号化装置であり、画像復号装置１００により復号される符号化データ（ビットストリーム）を、画像復号装置１００による復号方法に対応する符号化方法で画像を符号化することにより生成する。例えば、画像符号化装置４００は、HEVCに提案された技術や、JVETにて提案された技術を実装している。
なお、図５１においては、処理部やデータの流れ等の主なものを示しており、図５１に示されるものが全てとは限らない。つまり、画像符号化装置４００において、図５１においてブロックとして示されていない処理部が存在したり、図５１において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図５１に示されるように画像符号化装置４００は、制御部４１１、演算部４１２、変換部４１３、量子化部４１４、符号化部４１５、逆量子化部４１６、逆変換部４１７、演算部４１８、フレームメモリ４１９、および予測部４２０を有する。
制御部４１１は、外部、または予め指定された処理単位のブロックサイズに基づいて、動画像#2を処理単位のブロック（CU, PU, 変換ブロックなど）へ分割し、分割されたブロックに対応する画像Iを演算部４１２へ入力する。また、制御部４１１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo, 変換情報Tinfoなど）を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。決定された符号化パラメータは、各ブロックへ供給される。具体的には、以下の通りである。
ヘッダ情報Hinfoは、各ブロックに供給される。予測モード情報Pinfoは、変換部４１３、符号化部４１５、予測部４２０に供給される。変換情報Tinfoは、符号化部４１５、変換部４１３、量子化部４１４、逆量子化部４１６、および逆変換部４１７に供給される。
演算部４１２は、処理単位のブロックに対応する画像Iと、予測部４２０より供給される予測画像Pを入力とし、画像Iから予測画像Pを式（２５）に示すように減算して、予測残差Dを導出し、変換部４１３に供給する。
D = I - P
・・・（２５）
変換部４１３は、逆変換部４１７が行う変換処理の逆処理である逆変換を行う処理部であり、予測残差D、予測モード情報Pinfo、変換情報Tinfoを入力とし、予測モード情報Pinfoや変換情報Tinfoに基づいて、予測残差Dに対して、変換を適用し、変換係数Coeffを導出し、それを量子化部４１４に供給する。
量子化部４１４は、逆量子化部４１６の逆処理であり、変換情報Tinfoおよび変換係数Coeffを入力とし、変換情報Tinfoに基づいて、変換係数Coeffをスケーリング（量子化）し、量子化後の変換係数、すなわち量子化変換係数レベルlevelを符号化部４１５に供給する。
符号化部４１５は、復号部１１１（図９）の逆処理であり、シンタックステーブルの定義に沿って、制御部４１１から供給される符号化パラメータ（ヘッダ情報、予測モード情報Pinfo、変換情報Tinfo）、および量子化部４１４より供給される量子化変換係数レベルlevelを、各シンタックス要素のシンタックス値へ変換し、各シンタックス値を可変長符号化（例えば、算術符号）し、ビット列を生成する。
なお、符号化部４１５は、量子化変換係数レベルlevelから残差情報RInfoを導出し、残差情報RInfoを可変長符号化し、ビット列を生成する。また、符号化部４１５は、可変長符号化された各シンタックス要素のビット列を多重化し、符号化データ#1を生成して出力する。
逆量子化部４１６は、逆量子化部１１２（図９）と同様の処理部であり、画像符号化装置４００において、逆量子化部１１２と同様の処理を行う。逆変換部４１７は、逆変換部１１３（図９）と同様の処理部であり、画像符号化装置４００において、逆変換部１１３ｄと同様の処理を行う。フレームメモリ４１９は、フレームメモリ１１５（図９）と同様の処理部であり、画像符号化装置４００において、フレームメモリ１１５と同様の処理を行う。予測部４２０は、予測部１１６（図９）と同様の処理部であり、画像符号化装置４００において、予測部１１６と同様の処理を行う。
＜変換部＞
図５２は、変換部４１３の主な構成例を示すブロック図である。図５２に示されるように、変換部４１３は、スイッチ４３１、プライマリ変換部４３２、およびセカンダリ変換部４３３を有する。
スイッチ４３１は、予測残差Ｄおよび色信号識別子compIDに対応する色信号の変換スキップフラグts_flag[compID]を入力とし、変換スキップフラグts_flag[compID]の値がNO_TS(=0)の場合（変換スキップを適用しない場合）、プライマリ変換部４３２へ予測残差Ｄを出力する。また、変換スキップフラグts_flag[compID]の値が2D_TS(=1)の場合（２次元変換スキップを適用することを示す場合）、プライマリ変換部４３２およびセカンダリ変換部４３３をスキップし、予測残差Ｄを変換係数Coeffとして出力する。
プライマリ変換部４３２は、例えば直交変換等の所定の変換処理であるプライマリ変換に関する処理を行う。このプライマリ変換は、画像復号装置１００の逆プライマリ変換部１２３等により実行される逆プライマリ変換の逆処理である。例えば、プライマリ変換部４３２は、色信号識別子compID、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]、輝度のプライマリ変換識別子pt_idx[COMPONENT_Y]、予測モード情報PInfo、変換ブロックのサイズ（横幅の対数値log2TBWSize, 縦幅の対数値log2TBHSize）、および予測残差Dを入力とする。プライマリ変換部４３２は、予測モード情報PInfo、色信号識別子compID、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]、輝度のプライマリ変換識別子pt_idx[COMPONENT_Y]、および輝度のプライマリ変換識別子pt_idx[COMPONENT_Y]を参照して、色信号識別子compIDで指定される色信号のプライマリ水平変換の変換タイプTrTypeIdxH、およびプライマリ垂直変換の変換タイプTrTypeIdxVを選択し、予測残差Ｄに対して、プライマリ水平変換タイプTrTypeIdxHと変換ブロックの横幅log2TBWSizeで定まるプライマリ水平変換、およびプライマリ垂直変換タイプTrTypeIdxVと変換ブロックの縦幅log2TBHSizeで定まるプライマリ垂直変換をして、プライマリ変換後の変換係数Coeff_P(プライマリ変換係数とも呼ぶ)を導出し、出力する。
以下では、より具体的に、プライマリ変換部４３２について説明する。図５２に示すように、プライマリ変換部４３２は、色差適応プライマリ変換情報導出部４４１、プライマリ変換選択部４４２、プライマリ水平変換部４４３、およびプライマリ垂直変換部４４４を有する。
色差適応プライマリ変換情報導出部４４１は、色信号識別子compIDが色差を示す場合(compID==COMPONENT_Cb, COMPONENT_Cr)、色差変換ブロックに対応する輝度変換ブロックの適応プライマリ変換情報(apt_flag[COMPONENT_Y], pt_idx[COMPONENT_Y])を用いて、色差の適応プライマリ変換情報（apt_flag[compID], pt_idx[compID] (compID=COMPONENT_Cb, COMPONENT_Cr)）を導出し、その結果をプライマリ変換選択部４４２に供給する。
＜色差適応プライマリ変換情報導出部＞
図５３は、色差適応プライマリ変換情報導出部４４１が有する機能の主な構成例を示す機能ブロック図である。図５３に示されるように、色差適応プライマリ変換情報導出部４４１は、apt_flag導出部４５１およびpt_idx導出部４５２を有する。apt_flag導出部４５１は、色差の適応プライマリ変換フラグapt_flagの導出に関する処理を行う。また、pt_idx導出部４５２は、色差のプライマリ変換識別子pt_idxの導出に関する処理を行う。つまり、apt_flag導出部４５１およびpt_idx導出部４５２は、それぞれ、apt_flag導出部１５１およびpt_idx導出部１５２（図１１）と同様の構成を有し、同様の処理を行う。つまり、色差適応プライマリ変換情報導出部４４１は、色差適応プライマリ変換情報導出部１３１と同様の構成を有し、同様の処理を行う。したがって、色差適応プライマリ変換情報導出部４４１（apt_flag導出部１５１およびpt_idx導出部１５２）の動作についての詳細な説明は、第１の実施の形態においてした色差適応プライマリ変換情報導出部１３１に対する説明と同様であるので、省略する。
色差適応プライマリ変換情報導出部４４１は、色差変換ブロックに関する適応プライマリ変換情報を、色差変換ブロックに対応する輝度に関する適応プライマリ変換情報に基づいて導出することができる。したがって、色差変換ブロックに関する適応プライマリ変換情報を、符号化する必要がなく、符号化の処理量を削減することができる。
プライマリ変換選択部４４２は、予測モード情報PInfo、色信号識別子compID、色信号識別子compIDに対応する色信号の適応プライマリ変換フラグapt_flag[compID]、色信号識別子compIDに対応する色信号のプライマリ変換識別子pt_idx[compID]を入力とする。プライマリ変換選択部４４２は、予測モード情報PInfo、色信号識別子compID、色信号識別子compIDに対応する色信号の適応プライマリ変換フラグapt_flag[compID]、色信号識別子compIDに対応する色信号のプライマリ変換識別子pt_idx[compID]を参照して、色信号識別子compIDで指定される色信号のプライマリ水平変換の変換タイプTrTypeIdxH、およびプライマリ垂直変換の変換タイプTrTypeIdxVを導出する。プライマリ変換選択部４４２は、導出したプライマリ水平変換の変換タイプTrTypeIdxHをプライマリ水平変換部４４３に供給する。また、プライマリ変換選択部４４２は、導出したプライマリ垂直変換の変換タイプTrTypeIdxVをプライマリ垂直変換部４４４に供給する。
なお、プライマリ変換選択部４４２の動作は、画像復号装置１００の逆プライマリ変換選択部１３２と基本的に同様である。つまり、第１の実施の形態においてした逆プライマリ変換選択部１３２に対する説明は、逆プライマリ水平変換IPThorをプライマリ水平変換PThorに置き換え、逆プライマリ垂直変換IPTverをプライマリ垂直変換PTverに置き換え、逆プライマリ変換をプライマリ変換に置き換えることにより、プライマリ変換選択部４４２に対する説明とすることができる。
プライマリ水平変換部４４３は、各色信号の変換ブロック毎に、予測残差D、プライマリ水平変換の変換タイプTrTypeIdxH、変換ブロックの横幅を示すlog2TBWSize(横幅の対数値)を入力とする。プライマリ水平変換部４４３は、予測残差Ｄに対して、変換タイプTrTypeIdxHと変換ブロックの横幅で定まるプライマリ水平変換Phorを実行し、その結果をプライマリ水平変換後の変換係数Coeff_Phorとして出力する。
プライマリ垂直変換部４４４は、各色信号の変換ブロック毎に、プライマリ水平変換後の変換係数Coeff_Phor、プライマリ垂直変換の変換タイプTrTypeIdxV、変換ブロックの縦幅を示すlog2TBHSize(縦幅の対数値)を入力とする。プライマリ水平変換後の変換係数Coeff_Phorに対して、変換タイプTrTypeIdxVと変換ブロックの縦幅で定まるプライマリ垂直変換Pverを実行し、その結果をプライマリ変換後の変換係数Coeff_Pとして出力する。
以上のように、プライマリ変換部４３２は、色差の残差信号が輝度の残差信号と傾向が類似する場合において、輝度において選択された適応プライマリ変換を、色差の変換ブロックに適用することが可能となる。したがって、従来技術と比較して、色差の残差信号に対して、符号化効率の向上したプライマリ変換処理を行うことができる。
また、輝度/色差毎に適応プライマリ変換フラグapt_flag、およびプライマリ変換識別子pt_idxを明示的に復号する場合と比較して、色差に関する符号化効率の低下を抑えつつ、エンコーダの処理量を削減することができる。
セカンダリ変換部４３３は、例えば直交変換等の所定の変換処理であるセカンダリ変換に関する処理を行う。このセカンダリ変換は、画像復号装置１００の逆セカンダリ変換部１２２等により実行される逆セカンダリ変換の逆処理である。例えばセカンダリ変換部４３３は、セカンダリ変換識別子st_idx、変換係数のスキャン方法を示すスキャン識別子scanIdx、およびプライマリ変換係数Coeff_Pを入力とし、セカンダリ変換後の変換係数Coeff (セカンダリ変換係数とも呼ぶ)を導出し、出力する。より具体的には、セカンダリ変換識別子st_idxが、セカンダリ変換を適用することを示す場合(st_idx>0)、セカンダリ変換部４３３は、プライマリ変換係数Coeff_Pに対して、セカンダリ変換識別子st_idxに対応するセカンダリ変換の処理を実行し、セカンダリ変換後の変換係数Coeff_Sを出力する。
セカンダリ変換識別子st_idxが、セカンダリ変換を適用しないことを示す場合(st_idx==0)、セカンダリ変換部４３３は、セカンダリ変換をスキップし、プライマリ変換後の変換係数Coeff_Pをセカンダリ変換後の変換係数Coeff_Sとして出力する。
＜画像符号化処理の流れ＞
次に、以上のような画像符号化装置４００により実行される各処理の流れについて説明する。最初に、図５４のフローチャートを参照して、画像符号化処理の流れの例を説明する。
画像符号化処理が開始されると、ステップＳ４０１において、制御部４１１は、符号化制御処理を行い、ブロック分割や符号化パラメータの設定等を行う。
ステップＳ４０２において、予測部４２０は、予測処理を行い、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部４２０は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。
ステップＳ４０３において、演算部４１２は、入力画像と、ステップＳ４０２の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部４１２は、入力画像と予測画像との予測残差Ｄを生成する。このようにして求められた予測残差Ｄは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
ステップＳ４０４において、変換部４１３は、ステップＳ４０３の処理により生成された予測残差Ｄに対して変換処理を行い、変換係数Coeffを導出する。なお、この変換処理は、ステップＳ４０７の逆変換処理の逆処理であり、上述した画像復号処理において実行される逆変換処理の逆処理である。ステップＳ４０４の処理の詳細については後述する。
ステップＳ４０５において、量子化部４１４は、制御部４１１により算出された量子化パラメータを用いる等して、ステップＳ４０４の処理により得られた変換係数Coeffを量子化し、量子化変換係数レベルlevelを導出する。
ステップＳ４０６において、逆量子化部４１６は、ステップＳ４０５の処理により生成された量子化変換係数レベルlevelを、そのステップＳ４０５の量子化の特性に対応する特性で逆量子化し、変換係数Coeff_IQを導出する。
ステップＳ４０７において、逆変換部４１７は、ステップＳ４０６の処理により得られた変換係数Coeff_IQを、ステップＳ４０４の変換処理に対応する方法で逆変換し、予測残差Ｄ'を導出する。なお、この逆変換処理は、上述した画像復号処理において実行される逆変換処理と同様に実行される。
ステップＳ４０８において、演算部４１８は、ステップＳ４０７の処理により導出された予測残差Ｄ'に、ステップＳ４０２の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。
ステップＳ４０９において、フレームメモリ４１９は、ステップＳ４０８の処理により得られた、局所的に復号された復号画像を記憶する。
ステップＳ４１０において、符号化部４１５は、ステップＳ４０５の処理により得られた量子化変換係数レベルlevelを符号化する。例えば、符号化部４１５は、画像に関する情報である量子化変換係数レベルlevelを、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部４１５は、各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo）を符号化する。さらに、符号化部４１５は、量子化変換係数レベルlevelから残差情報RInfoを導出し、その残差情報RInfoを符号化する。
ステップＳ４１１において、符号化部４１５は、このように生成した各種情報の符号化データをまとめて、ビットストリームとして画像符号化装置４００の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。ステップＳ４１１の処理が終了すると、画像符号化処理が終了する。
＜変換処理の流れ＞
次に、図５４のステップＳ４０４において実行される変換処理の流れの例を、図５５のフローチャートを参照して説明する。変換処理が開始されると、スイッチ４３１は、ステップＳ４２１において、変換スキップフラグts_flagが2D_TS(２次元変換スキップを示す場合)であるか、あるいは変換量子化バイパスフラグtransquant_bypass_flagが１（真）であるか否かを判定する。変換スキップフラグts_flagが2D_TS、または、変換量子化バイパスフラグが１（真）であると判定された場合、変換処理が終了し、処理は図５４に戻る。この場合、スイッチ４３１は、直交変換処理（プライマリ変換やセカンダリ変換）を省略し、入力された予測残差Dを、変換係数Coeffとして変換部４１３の外部へ出力する（量子化部４１４に供給する）。
また、図５５のステップＳ４２１において、変換スキップフラグts_flagが2D_TSでない（２次元変換スキップでない）、かつ変換量子化バイパスフラグが０（偽）であると判定された場合、処理はステップＳ４２２に進む。この場合、スイッチ４３１は、入力された予測残差Dをプライマリ変換部４３２に供給する。
プライマリ変換部４３２は、入力された予測残差Dに対して、色信号識別子compIDで指定される色信号の適応プライマリ変換情報に基づいて、プライマリ変換を行い、プライマリ変換後の変換係数Coeff_Pを出力する。より具体的には、ステップＳ４２２において、プライマリ変換部４３２は、色信号識別子compIDが輝度であるか、色差であるかを判別する。色信号識別子compIDが色差を示すと判定された場合（compID != COMPONENT_Y）、処理はステップＳ４２３に進む。
ステップＳ４２３において、色差適応プライマリ変換情報導出部４４１は、色差適応プライマリ変換情報導出処理を実行し、色差変換ブロックに関する適応プライマリ変換フラグapt_flag[compID]（compID=COMPONET_Cb or COMPONENT_Cr）と、該色差変換ブロックに対応する輝度変換ブロックに関するプライマリ変換識別子pt_idx[COMPONENT_Y]とに基づいて、該色差の変換ブロックに関するプライマリ変換識別子pt_idx[compID]を導出する。なお、この処理は、第１の実施の形態において説明した画像復号装置１００（色差適応プライマリ変換情報導出部１３１）により実行される色差適応プライマリ変換情報導出処理（図１５）と同様であるので、その説明を省略する。換言するに、図１５のフローチャートを参照してした説明は、色差適応プライマリ変換情報導出部４４１が実行する色差適応プライマリ変換情報導出処理の説明に適用することもできる。
ステップＳ４２３の処理が終了すると、処理はステップＳ４２４に進む。また、ステップＳ４２２において、色信号識別子compIDが輝度を示すと判定された場合(compID==COMPONENT_Y)、処理はステップＳ４２４に進む。
ステップＳ４２４において、プライマリ変換選択部４４２は、プライマリ変換選択処理を実行して、予測モード情報PInfo、色信号識別子compID、色信号識別子compIDに対応する色信号の適応プライマリ変換フラグapt_flag[compID]、色信号識別子compIDに対応する色信号のプライマリ変換識別子pt_idx[compID]を参照して、色信号識別子compIDで指定される色信号のプライマリ水平変換の変換タイプTrTypeIdxH、およびプライマリ垂直変換の変換タイプTrTypeIdxVを導出し、それぞれ、プライマリ水平変換部４４３、プライマリ垂直変換部４４４へ出力する。
ステップＳ４２５において、プライマリ水平変換部４４３は、色信号識別子compIDで指定される変換ブロック毎に、該変換ブロックの予測残差Dに対して、プライマリ水平変換の変換タイプTrTypeIdxHと該変換ブロックの縦幅で定まるプライマリ水平変換Phorを実行し、その結果をプライマリ水平変換後の変換係数Coeff_Phorとして出力する。
ステップＳ４２６において、プライマリ垂直変換部４４４は、色信号識別子compIDで指定される変換ブロック毎に、該変換ブロックのプライマリ水平変換後の変換係数Coeff_Phorに対して、プライマリ垂直変換の変換タイプTrTypeIdxVと該変換ブロックの縦幅で定まるプライマリ垂直変換Pverを実行し、その結果をプライマリ変換後の変換係数Coeff_Pとして出力する。
ステップＳ４２７において、セカンダリ変換部４３３は、入力されたプライマリ変換係数Coeff_Pに対して、セカンダリ変換識別子st_idxに基づいて、セカンダリ変換を行い、変換係数Coeffを導出し出力する。ステップＳ４２７の処理が終了すると、変換処理が終了し、処理は図５４に戻る。
＜プライマリ変換選択処理の流れ＞
次に、図５５のステップＳ４２４において実行されるプライマリ変換選択処理の流れの例を、図５６のフローチャートを参照して説明する。
プライマリ変換選択処理が開始されると、プライマリ変換選択部４４２は、ステップＳ４３１において、色信号識別子compIDに対応する色信号の適応プライマリ変換フラグapt_flag[compID]が１（真）であるか否かを判定する。該適応プライマリ変換フラグapt_flag[compID]が１（真）であると判定された場合、処理はステップＳ４３２に進む。
ステップＳ４３２において、プライマリ変換選択部４４２は、予測モード情報PInfoに基づいて、プライマリ垂直変換の変換セットTrSetV（プライマリ水平変換セット）、およびプライマリ水平変換の変換セットTrSetH(プライマリ垂直変換セット)を選択する。
ステップＳ４３３において、プライマリ変換選択部４４２は、色信号識別子compIDに対応する色信号のプライマリ変換識別子pt_idx[compID]から、プライマリ水平変換指定フラグpt_hor_flag、およびプライマリ垂直変換指定フラグpt_ver_flagを導出する。
ステップＳ４３４において、プライマリ変換選択部４４２は、プライマリ水平変換セットTrSetHおよびプライマリ水平変換指定フラグpt_hor_flagを参照して、プライマリ水平変換IPThorとして適用する直交変換の変換タイプTrTypeIdxHを選択する。
ステップＳ４３５において、プライマリ変換選択部４４２は、プライマリ垂直変換セットTrSetV、およびプライマリ垂直変換指定フラグpt_ver_flagを参照して、逆プライマリ垂直変換IPTverとして適用する直交変換の変換タイプTrTypeIdxVを選択する。ステップＳ４３５の処理が終了すると、プライマリ変換選択処理が終了し、処理は図５５に戻る。
また、ステップＳ４３１において、適応プライマリ変換フラグapt_flag[compID]が０（偽）であると判定された場合、処理はステップＳ４３６に進む。ステップＳ４３６において、プライマリ変換選択部４４２は、プライマリ水平変換IPThorの変換タイプTrTypeIdxHとして、所定の直交変換を選択する（TrTypeIdxH = 所定値）。
また、ステップＳ４３７において、プライマリ変換選択部４４２は、プライマリ垂直変換IPTverの変換タイプTrTypeIdxVとして、所定の直交変換を選択する（TrTypeIdxV = 所定値）。ステップＳ４３７の処理が終了すると、プライマリ変換選択処理が終了し、処理は図５６に戻る。
つまり、プライマリ変換部４３２は、色差の適応プライマリ変換フラグapt_flag[compID]の値に応じた方法で、逆プライマリ水平変換IPThorの変換タイプTrTypeIdxHと、逆プライマリ垂直変換IPTverの変換タイプTrTypeIdxVとを導出する。
＜プライマリ変換情報符号化処理の流れ＞
符号化部４１５は、変換部４１３により生成された適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxの符号化を行う。ただし、符号化部４１５は、輝度の適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxは、符号化してシグナリングさせ、色差の適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxは、符号化しない。
このような符号化を行うために符号化部４１５が実行するプライマリ変換情報符号化処理の流れの例を、図５７のフローチャートを参照して説明する。プライマリ変換情報符号化処理が開始されると、符号化部４１５は、ステップＳ４４１において、処理対象が輝度であるか否かを判定する。輝度である（compID == COMPONENT_Y）と判定された場合、処理はステップＳ４４２に進む。ステップＳ４４２において、符号化部４１５は、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]を符号化する（シグナリングさせる）。また、ステップＳ４４３において、符号化部４１５は、輝度のプライマリ変換識別子pt_idx[COMPONENT_Y]を符号化する（シグナリングさせる）。ステップＳ４４３の処理が終了すると、プライマリ変換情報符号化処理が終了する。
なお、符号化部４１５は、ステップＳ４４１において、処理対象が色差であるか否かを判定する。色差である（compID != COMPONENT_Y）と判定された場合、ステップＳ４４２およびステップＳ４４３の処理は省略され、つまり、適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxをシグナリングせずに、プライマリ変換情報符号化処理を終了する。
以上のように各処理を実行することにより、色差の残差信号が輝度の残差信号と傾向が類似する場合において、輝度において選択された適応プライマリ変換を、色差の変換ブロックに適用することが可能となる。したがって、従来技術と比較して、色差の残差信号に対して、符号化効率の向上したプライマリ変換処理を行うことができる。また、輝度/色差毎に適応プライマリ変換フラグapt_flag、およびプライマリ変換識別子pt_idxを明示的に符号化する場合と比較して、色差に関する適応プライマリ変換情報の符号化をする必要がないため、エンコーダの処理量を削減することができる。
＜色差適応プライマリ変換情報導出処理＞
なお、色差適応プライマリ変換情報導出部４４１は、色差適応プライマリ変換情報導出部１３１と同様の構成を有し、同様の処理を行う。つまり、色差適応プライマリ変換情報導出部４４１は、色差適応プライマリ変換情報導出部１３１と同様に、色差適応プライマリ変換情報導出処理を実行することができる。したがって、画像符号化装置４００は、図７の表のNo.#1の行のように、色差においても適応プライマリ変換を適用可能とし、さらに、常に、色差の適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxを、輝度の適応プライマリ変換フラグapt_flagやプライマリ変換識別子pt_idxから推定するようにすることができ、画像復号装置１００の場合と同様の効果を得ることができる。
同様に、画像符号化装置４００は、図７の表のNo.#2の行のように、色差においても適応プライマリ変換を適用可能とし、さらに、例えば、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測（CuPredMode == MODE_INTER）である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットし、その符号化ブロックの予測タイプがイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に０（偽）をセットすることができる。つまり、この場合も、画像復号装置１００の場合と同様の効果を得ることができる。
同様に、画像符号化装置４００は、図７の表のNo.#3の行のように、色差においても適応プライマリ変換を適用可能とし、さらに、例えば、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、輝度と色差とで予測モードが一致するイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットし、その符号化ブロックの予測タイプが輝度と色差とで予測モードが一致しないイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に０（偽）をセットすることができる。つまり、この場合も、画像復号装置１００の場合と同様の効果を得ることができる。
同様に、画像符号化装置４００は、図７の表のNo.#4の行のように、色差においても適応プライマリ変換を適用可能とし、さらに、例えば、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、予測モードがイントラブロックコピーのイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットし、その符号化ブロックの予測タイプが、予測モードがイントラブロックコピー(IntraBC, Intra Block Copy, 画面内動き補償とも称する)でないイントラ予測である場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に０（偽）をセットすることができる。つまり、この場合も、画像復号装置１００の場合と同様の効果を得ることができる。
同様に、画像符号化装置４００は、図７の表のNo.#5の行のように、色差においても適応プライマリ変換を適用可能とし、さらに、例えば、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]を輝度の適応プライマリ変換フラグapt_flag[Y]に基づいて推定するかを示す色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flagが１（真）の場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットし、色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flagが０（偽）の場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に０（偽）をセットすることができる。つまり、この場合も、画像復号装置１００の場合と同様の効果を得ることができる。
この色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flagを符号化する色差適応プライマリ変換情報推定フラグ符号化処理の流れの例を、図５８のフローチャートを参照して説明する。
色差適応プライマリ変換情報推定フラグ符号化処理が開始されると、ステップＳ４５１において、符号化部４１５は、処理対象が色差であるか否かを判定する。色差であると判定された場合、処理はステップＳ４５２に進む。ステップＳ４５２において、符号化部４１５は、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]が真であるか否かを判定する。真であると判定された場合、処理はステップＳ４５３に進む。ステップＳ４５３において、符号化部４１５は、変換量子化バイパス有効フラグtransquant_bypass_enabled_flagが偽であるか否かを判定する。偽であると判定された場合、処理はステップＳ４５４に進む。ステップＳ４５４において、符号化部４１５は、色差の変換スキップフラグts_flagが偽であるか否かを判定する。色差の変換スキップフラグts_flagが偽であると判定された場合、処理はステップＳ４５５に進む。ステップＳ４５５において、符号化部４１５は、色差適応プライマリ変換情報推定フラグchroma_apt_info_infer_flagを符号化する。ステップＳ４５５の処理が終了すると、色差適応プライマリ変換情報推定フラグ符号化処理が終了し、処理は図５４に戻る。
なお、図５８の、ステップＳ４５１において、処理対象が輝度であると判定された場合、色差適応プライマリ変換情報推定フラグ符号化処理が終了し、処理は図５４に戻る。また、ステップＳ４５２において、輝度の適応プライマリ変換フラグapt_flag[COMPONENT_Y]が偽であると判定された場合、色差適応プライマリ変換情報推定フラグ符号化処理が終了し、処理は図５４に戻る。また、ステップＳ４５３において、変換量子化バイパス有効フラグtransquant_bypass_enabled_flagが真であると判定された場合、色差適応プライマリ変換情報推定フラグ符号化処理が終了し、処理は図５４に戻る。また、ステップＳ４５４において、色差の変換スキップフラグts_flagが真であると判定された場合に、色差適応プライマリ変換情報推定フラグ符号化処理が終了し、処理は図５４に戻る。
また、画像符号化装置４００は、図７の表のNo.#6の行のように、色差においても適応プライマリ変換を適用可能とし、さらに、例えば、色差の処理対象の変換ブロックの短辺のサイズが所定の閾値以上の場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に輝度の適応プライマリ変換フラグapt_flag[Y]の値をセットし、その変換ブロックの短辺のサイズがその閾値より小さい場合、色差の適応プライマリ変換フラグapt_flag[Cb/Cr]の値に０（偽）をセットすることができる。つまり、この場合も、画像復号装置１００の場合と同様の効果を得ることができる。
同様に、画像符号化装置４００は、図７の表のNo.#7の行のように、色差においても適応（逆）プライマリ変換を適用可能とし、さらに、例えば、色差の処理対象の変換ブロックの横幅のサイズが所定の閾値以下の場合、（逆）プライマリ水平変換の変換タイプを所定の変換タイプにセットし、その変換ブロックの横幅のサイズがその閾値よりも大きい場合、（逆）プライマリ水平変換の変換タイプを水平変換セットおよびプライマリ水平変換指定フラグに基づいてセットすることができる。さらに同様に、色差の処理対象の変換ブロックの縦幅のサイズが所定の閾値以下の場合、（逆）プライマリ垂直変換の変換タイプを所定の変換タイプにセットし、その変換ブロックの縦幅のサイズがその閾値よりも大きい場合、（逆）プライマリ垂直変換の変換タイプを垂直変換セットおよびプライマリ垂直変換指定フラグに基づいてセットすることもできる。つまり、この場合も、画像復号装置１００の場合と同様の効果を得ることができる。
もちろん、画像符号化装置４００の場合も、以上に説明した複数のケースを任意に組み合わせることもできる。また、上述した各ケースを、上述していない他のケースと組み合わせることもできる。つまり、この場合も、画像復号装置１００の場合と同様の効果を得ることができる。
＜６．第５の実施の形態＞
＜ts_flag＞
復号の場合と同様に、（逆）直交変換に関する情報に、（逆）直交変換処理をスキップするかを示す変換スキップフラグts_flagが含まれるようにしてもよい。例えば、色差（Cb）の変換スキップフラグts_flag[Cb]と色差（Cr）の変換スキップフラグts_flag[Cr]とをそれぞれ、輝度の変換スキップフラグts_flag[Y]に基づいて導出することにより、色差（Cb/Cr）でシグナルされる該シンタックスの符号量に関するオーバーヘッドの増大も抑制することができる。
＜基本例１＞
例えば図２７のNo.#1の行のように、常に、色差の変換スキップフラグts_flagを、輝度の変換スキップフラグts_flagから推定するようにする。例えば、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットするようにしてもよい。
この場合、制御部４１１が変換スキップフラグ符号化処理を実行し、この変換スキップフラグts_flagの符号化を制御する。図５９のフローチャートを参照して、この変換スキップフラグ符号化処理の流れの例を説明する。
変換スキップフラグ符号化処理が開始されると、図５９のステップＳ４６１乃至ステップＳ４６４の各処理は、図２９の変換スキップフラグ導出処理のステップＳ２４１乃至ステップＳ２４４の各処理と同様に実行される。
ステップＳ４６４において、処理対象が色差であると判定された場合（compID != COMPONENT_Y）、処理はステップＳ４６５に進む。ステップＳ４６５において、制御部４１１は、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットする（ts_flag[compID] == ts_flag[COMPONENT_Y]）。ステップＳ４６５の処理が終了すると、変換スキップフラグ符号化処理が終了する。つまり、この場合、色差の変換スキップフラグts_flag[compID]は、復号側においても同様に輝度の変換スキップフラグts_flag[COMPONENT_Y]から導出することができるので、シグナリングされない。
また、ステップＳ４６４において、処理対象が輝度であると判定された場合（compID == COMPONENT_Y）、処理はステップＳ４６６に進む。ステップＳ４６６において、制御部４１１は、輝度の変換スキップフラグts_flag[compID]に任意の値をセットする。そして、ステップＳ４６７において、制御部４１１は、その輝度の変換スキップフラグts_flag[compID]を符号化部４１５に供給し、符号化させる。ステップＳ４６７の処理が終了すると、変換スキップフラグ符号化処理が終了する。つまり、この場合、輝度の変換スキップフラグts_flag[compID]は、シグナリングされる（伝送される）。復号側においては、ビットストリームから抽出して復号することにより、この輝度の変換スキップフラグts_flag[compID]が得られる。
つまり、＜基本例１＞の場合、輝度の変換スキップフラグts_flagは全てシグナリングされ、色差の変換スキップフラグts_flagは全てシグナリングされない。このようにすることにより、色差の変換スキップフラグts_flagの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例１＞
また、例えば図２７のNo.#2の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、色差の変換スキップフラグts_flag[compID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、その符号化ブロックの予測タイプがイントラ予測である場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。
この場合の、変換スキップフラグ符号化処理の流れの例を、図６０のフローチャートを参照して説明する。ステップＳ４７１乃至ステップＳ４７５の各処理は、図３１のステップＳ２５１乃至ステップＳ２５５の各処理と同様に実行される。
つまり、ステップＳ４７４において処理対象が色差であると判定され、かつ、ステップＳ４７５において、インター予測であると判定された場合、処理はステップＳ４７６に進む。ステップＳ４７６において、制御部４１１は、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットする（ts_flag[compID] == ts_flag[COMPONENT_Y]）。ステップＳ４７６の処理が終了すると、変換スキップフラグ符号化処理が終了する。つまり、この場合、色差であり、かつ、インター予測の変換ブロックの変換スキップフラグts_flag[compID]は、復号側においても同様に輝度の変換スキップフラグts_flag[COMPONENT_Y]から導出することができるので、シグナリングされない。
これに対して、ステップＳ４７４において処理対象が輝度であると判定された場合（compID == COMPONENT_Y）、または、ステップＳ４７５においてイントラ予測であると判定された場合、処理はステップＳ４７７に進む。ステップＳ４７７において、制御部４１１は、その変換スキップフラグts_flag[compID]に任意の値をセットする。そして、ステップＳ４７８において、制御部４１１は、その変換スキップフラグts_flag[compID]を符号化部４１５に供給し、符号化させる。ステップＳ４７８の処理が終了すると、変換スキップフラグ符号化処理が終了する。つまり、この場合、輝度またはイントラ予測の変換ブロックの変換スキップフラグts_flag[compID]は、シグナリングされる（伝送される）。復号側においては、ビットストリームから抽出して復号することにより、これらの変換スキップフラグts_flag[compID]を得ることができる。
つまり、＜変形例１＞の場合、輝度の変換スキップフラグts_flagと、予測モードがイントラ予測の変換ブロックの変換スキップフラグts_flagとがシグナリングされ、色差であり、かつ、予測モードがインター予測の変換スキップフラグts_flagがシグナリングされない。このようにすることにより、残差信号の傾向が類似するインター予測モードの場合のみ、色差の変換スキップフラグts_flagの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例２＞
また、例えば図２７のNo.#3の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、輝度と色差とで予測モードが一致するイントラ予測である場合、色差の変換スキップフラグts_flag[compID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、その符号化ブロックの予測タイプが輝度と色差とで予測モードが一致しないイントラ予測である場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。
この場合の、変換スキップフラグ符号化処理の流れの例を、図６１のフローチャートを参照して説明する。ステップＳ４８１乃至ステップＳ４８６の各処理は、図３３のステップＳ２６１乃至ステップＳ２６６の各処理と同様に実行される。
つまり、ステップＳ４８４において処理対象が色差であると判定され、かつ、ステップＳ４８５においてインター予測であると判定されるか、若しくは、ステップＳ４８５においてイントラ予測であると判定され、かつ、ステップＳ４８６において輝度と色差とで予測モードが一致すると判定された場合、処理はステップＳ４８７に進む。ステップＳ４８７において、制御部４１１は、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットする（ts_flag[compID] == ts_flag[COMPONENT_Y]）。ステップＳ４８７の処理が終了すると、変換スキップフラグ符号化処理が終了する。つまり、この場合、＜変形例１＞の条件に加え、輝度と色差とで予測モードが一致するイントラ予測の場合も、残差信号の傾向が類似するので、変換スキップフラグts_flag[compID]をシグナリングしないようにする。
これに対して、ステップＳ４８４において処理対象が輝度であると判定された場合（compID == COMPONENT_Y）、または、ステップＳ４８６において、輝度と色差とで予測モードが一致しないイントラ予測であると判定された場合、処理はステップＳ４８８に進む。ステップＳ４８８において、制御部４１１は、その変換スキップフラグts_flag[compID]に任意の値をセットする。そして、ステップＳ４８９において、制御部４１１は、その変換スキップフラグts_flag[compID]を符号化部４１５に供給し、符号化させる。ステップＳ４８９の処理が終了すると、変換スキップフラグ符号化処理が終了する。つまり、この場合、輝度の変換スキップフラグts_flag[compID]と、輝度と色差とで予測モードが一致しないイントラ予測の変換ブロックの変換スキップフラグts_flag[compID]とがシグナリングされる（伝送される）。復号側においては、ビットストリームから抽出して復号することにより、これらの変換スキップフラグts_flag[compID]を得ることができる。
つまり、＜変形例２＞の場合、輝度の変換スキップフラグts_flagと、輝度と色差とで予測モードが一致しないイントラ予測の変換ブロックの変換スキップフラグts_flagとがシグナリングされ、それ以外の変換スキップフラグts_flagがシグナリングされない。このようにすることにより、残差信号の傾向が類似するインター予測モードの場合のみ、色差の変換スキップフラグts_flagの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例３＞
また、例えば図２７のNo.#4の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、予測モードがイントラブロックコピーのイントラ予測である場合、色差の変換スキップフラグts_flag[compID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、その符号化ブロックの予測タイプが輝度と色差とで予測モードが一致しないイントラ予測である場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。
この場合の、変換スキップフラグ符号化処理の流れの例を、図６２のフローチャートを参照して説明する。ステップＳ４９１乃至ステップＳ４９６の各処理は、図３５のステップＳ２７１乃至ステップＳ２７６の各処理と同様に実行される。
つまり、ステップＳ４９４において処理対象が色差であると判定され、かつ、ステップＳ４９５においてインター予測であると判定されるか、若しくは、ステップＳ４９５およびステップＳ４９６により、イントラブロックコピーのイントラ予測と判定された場合、処理はステップＳ４９７に進む。ステップＳ４９７において、制御部４１１は、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットする（ts_flag[compID] == ts_flag[COMPONENT_Y]）。ステップＳ４９７の処理が終了すると、変換スキップフラグ符号化処理が終了する。つまり、この場合、＜変形例１＞の条件に加え、イントラブロックコピーのイントラ予測の場合も、残差信号の傾向が類似するので、変換スキップフラグts_flag[compID]をシグナリングしないようにする。
これに対して、ステップＳ４９４において処理対象が輝度であると判定された場合（compID == COMPONENT_Y）、または、ステップＳ４９５およびステップＳ４９６により、イントラブロックコピーでないイントラ予測であると判定された場合、処理はステップＳ４９８に進む。ステップＳ４９８において、制御部４１１は、その変換スキップフラグts_flag[compID]に任意の値をセットする。そして、ステップＳ４９９において、制御部４１１は、その変換スキップフラグts_flag[compID]を符号化部４１５に供給し、符号化させる。ステップＳ４８９の処理が終了すると、変換スキップフラグ符号化処理が終了する。つまり、この場合、輝度の変換スキップフラグts_flag[compID]と、イントラブロックコピーでないイントラ予測の変換ブロックの変換スキップフラグts_flag[compID]とがシグナリングされる（伝送される）。復号側においては、ビットストリームから抽出して復号することにより、これらの変換スキップフラグts_flag[compID]を得ることができる。
つまり、＜変形例３＞の場合、輝度の変換スキップフラグts_flagと、イントラブロックコピーでないイントラ予測の変換ブロックの変換スキップフラグts_flagとがシグナリングされ、それ以外の変換スキップフラグts_flagがシグナリングされない。このようにすることにより、残差信号の傾向が類似するインター予測モードの場合のみ、色差の変換スキップフラグts_flagの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例４＞
また、例えば図２７のNo.#5の行のように、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが１（真）の場合、色差の変換スキップフラグts_flag[copmID]の値に輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットし、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが０（偽）の場合、色差の変換スキップフラグts_flag[compID]がシグナリングされる（すなわち、色差の変換スキップフラグts_flag[compID]は、符号化データから復号して得る）ようにしてもよい。
この場合の、変換スキップフラグ符号化処理の流れの例を、図６３のフローチャートを参照して説明する。ステップＳ５０１乃至ステップＳ５０４の各処理は、図３８のステップＳ２８１乃至ステップＳ２８４の各処理と同様に実行される。
つまり、ステップＳ５０４において、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが真であると判定された場合、処理はステップＳ５０５に進む。ステップＳ５０５において、制御部４１１は、色差の変換スキップフラグts_flag[compID]の値に、輝度の変換スキップフラグts_flag[COMPONENT_Y]の値をセットする（ts_flag[compID] == ts_flag[COMPONENT_Y]）。ステップＳ４５０５の処理が終了すると、変換スキップフラグ符号化処理が終了する。
これに対して、ステップＳ５０４において色差変換スキップ情報推定フラグchroma_ts_info_infer_flagが偽であると判定された場合、処理はステップＳ５０６に進む。ステップＳ５０６において、制御部４１１は、その変換スキップフラグts_flag[compID]に任意の値をセットする。そして、ステップＳ５０７において、制御部４１１は、その変換スキップフラグts_flag[compID]を符号化部４１５に供給し、符号化させる。ステップＳ５０７の処理が終了すると、変換スキップフラグ符号化処理が終了する。
つまり、＜変形例４＞の場合、色差変換スキップ情報推定フラグchroma_ts_info_infer_flagによって、変換スキップフラグts_flag[compID]をシグナリングするか否かが明示的に制御される。したがって、容易に、十分に大きな効果が得られる場合のみ輝度の変換スキップフラグの値を利用させるようにすることができるので、符号化効率の低減をより抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜７．第６の実施の形態＞
＜st_idx＞
復号の場合と同様に、（逆）直交変換に関する情報に、どの（逆）セカンダリ変換を適用するかを示すセカンダリ変換識別子st_idxが含まれるようにしてもよい。例えば、色差（CbおよびCr共通）のセカンダリ変換識別子chroma_st_idxを、輝度のセカンダリ変換識別子st_idx[Y]に基づいて導出することにより、色差（Cb/Cr）でシグナルされる該シンタックスの符号量に関するオーバーヘッドの増大も抑制することができる。
＜基本例１＞
例えば図３９のNo.#1の行のように、常に、色差のセカンダリ変換識別子st_idxを、輝度のセカンダリ変換識別子st_idxから推定するようにする。例えば、色差のセカンダリ変換識別子chroma_st_idxの値に、輝度のセカンダリ変換識別子st_idxの値をセットするようにしてもよい。
この場合、制御部４１１が色差用セカンダリ変換識別子符号化処理を実行し、この色差用のセカンダリ変換識別子chroma_st_idxの符号化を制御する。図６４のフローチャートを参照して、この色差用セカンダリ変換識別子符号化処理の流れの例を説明する。
色差用セカンダリ変換識別子符号化処理が開始されると、図６４のステップＳ５１１乃至ステップＳ５１４の各処理は、図４２の色差用セカンダリ変換識別子符号化処理のステップＳ２９１乃至ステップＳ２９４の各処理と同様に実行される。
このようにすることにより、色差のセカンダリ変換識別子chroma_ts_flagの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例１＞
図３９のNo.#2の行を参照して説明したように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットし、その符号化ブロックの予測タイプがイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。
この場合、制御部４１１が色差用セカンダリ変換識別子符号化処理を実行し、この色差のセカンダリ変換識別子chroma_st_idxの符号化を制御する。図６５のフローチャートを参照して、この色差用セカンダリ変換識別子符号化処理の流れの例を説明する。
色差用セカンダリ変換識別子符号化処理が開始されると、図６５のステップＳ５２１乃至ステップＳ５２４の各処理は、図４４の色差用セカンダリ変換識別子符号化処理のステップＳ３０１乃至ステップＳ３０４の各処理と同様に実行される。
つまり、ステップＳ５２４においてインター予測であると判定された場合、処理はステップＳ５２５に進む。ステップＳ５２５において、制御部４１１は、色差のセカンダリ変換識別子chroma_st_idxの値に、輝度のセカンダリ変換識別子st_idxの値をセットする（chroma_st_idx == st_idx）。ステップＳ５２５の処理が終了すると、色差用セカンダリ変換識別子符号化処理が終了する。つまり、この場合、色差であり、かつ、インター予測の変換ブロックのセカンダリ変換識別子chroma_st_idxは、復号側においても同様に輝度のセカンダリ変換識別子st_idxから導出することができるので、シグナリングされない。
これに対して、ステップＳ５２４においてイントラ予測であると判定された場合、処理はステップＳ５２６に進む。ステップＳ５２６において、制御部４１１は、その色差のセカンダリ変換識別子chroma_st_idxに任意の値をセットする。そして、ステップＳ５２７において、制御部４１１は、その色差のセカンダリ変換識別子chroma_st_idxを符号化部４１５に供給し、符号化させる。ステップＳ５２７の処理が終了すると、色差用セカンダリ変換識別子符号化処理が終了する。つまり、この場合、イントラ予測の変換ブロックの色差のセカンダリ変換識別子chroma_st_idxは、シグナリングされる（伝送される）。復号側においては、ビットストリームから抽出して復号することにより、これらの色差のセカンダリ変換識別子chroma_st_idxを得ることができる。
このようにすることにより、残差信号の傾向が類似するインター予測モードの場合のみ、色差のセカンダリ変換識別子chroma_st_idxの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例２＞
また、例えば図３９のNo.#3の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、輝度と色差とで予測モードが一致するイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットする。また、その符号化ブロックの予測タイプが輝度と色差とで予測モードが一致しないイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。
この場合の、色差用セカンダリ変換識別子符号化処理の流れの例を、図６６のフローチャートを参照して説明する。ステップＳ５３１乃至ステップＳ５３５の各処理は、図４６のステップＳ３１１乃至ステップＳ３１５の各処理と同様に実行される。
つまり、ステップＳ５３４においてインター予測であると判定されるか、または、ステップＳ５３４およびＳ５３５により輝度と色差とで予測モードが一致するイントラ予測であると判定された場合、処理はステップＳ５３６に進む。ステップＳ５３６において、制御部４１１は、色差のセカンダリ変換識別子chroma_st_idxの値に、輝度のセカンダリ変換識別子st_idxの値をセットする（chroma_st_idx == st_idx）。ステップＳ５３６の処理が終了すると、色差用セカンダリ変換識別子符号化処理が終了する。つまり、この場合、＜変形例１＞の条件に加え、輝度と色差とで予測モードが一致するイントラ予測の場合も、残差信号の傾向が類似するので、色差のセカンダリ変換識別子chroma_st_idxをシグナリングしないようにする。
これに対して、ステップＳ５３５において輝度と色差とで予測モードが一致しないイントラ予測であると判定された場合（compID != COMPONENT_Y）、処理はステップＳ５３７に進む。ステップＳ５３７において、制御部４１１は、その色差のセカンダリ変換識別子chroma_st_idxに任意の値をセットする。そして、ステップＳ５３８において、制御部４１１は、その色差のセカンダリ変換識別子chroma_st_idxを符号化部４１５に供給し、符号化させる。ステップＳ５３８の処理が終了すると、色差用セカンダリ変換識別子符号化処理が終了する。
このようにすることにより、残差信号の傾向が類似する予測モードの場合のみ、色差のセカンダリ変換識別子chroma_st_idxの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例３＞
また、例えば図３９のNo.#4の行のように、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、または、予測モードがイントラブロックコピーのイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットする。また、その予測モードがイントラブロックコピーでないイントラ予測である場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。
この場合の、色差用セカンダリ変換識別子符号化処理の流れの例を、図６７のフローチャートを参照して説明する。ステップＳ５４１乃至ステップＳ５４５の各処理は、図４８のステップＳ３２１乃至ステップＳ３２５の各処理と同様に実行される。
つまり、ステップＳ５４４においてインター予測であると判定されるか、または、ステップＳ５４４およびＳ５４５により予測モードがイントラブロックコピーのイントラ予測であると判定された場合、処理はステップＳ５４６に進む。ステップＳ５４６において、制御部４１１は、色差のセカンダリ変換識別子chroma_st_idxの値に、輝度のセカンダリ変換識別子st_idxの値をセットする（chroma_st_idx == st_idx）。ステップＳ５４６の処理が終了すると、色差用セカンダリ変換識別子符号化処理が終了する。つまり、この場合、＜変形例１＞の条件に加え、予測モードがイントラブロックコピーのイントラ予測の場合も、残差信号の傾向が類似するので、色差のセカンダリ変換識別子chroma_st_idxをシグナリングしないようにする。
これに対して、ステップＳ５４５において予測モードがイントラブロックコピーでないイントラ予測であると判定された場合、処理はステップＳ５４７に進む。ステップＳ５４７において、制御部４１１は、その色差のセカンダリ変換識別子chroma_st_idxに任意の値をセットする。そして、ステップＳ５４８において、制御部４１１は、その色差のセカンダリ変換識別子chroma_st_idxを符号化部４１５に供給し、符号化させる。ステップＳ５４８の処理が終了すると、色差用セカンダリ変換識別子符号化処理が終了する。
このようにすることにより、残差信号の傾向が類似する予測モードの場合のみ、色差のセカンダリ変換識別子chroma_st_idxの伝送（符号化・復号）を省略することができるので、符号化効率の低減を抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜変形例５＞
また、例えば図３９のNo.#5の行のように、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagが１（真）の場合、色差のセカンダリ変換識別子chroma_st_idxの値に輝度のセカンダリ変換識別子st_idxの値をセットし、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagが０（偽）の場合、色差のセカンダリ変換識別子chroma_st_idxがシグナリングされる（すなわち、色差のセカンダリ変換識別子chroma_st_idxは、符号化データから復号して得る）ようにしてもよい。
この場合の、色差セカンダリ変換識別子推定フラグ符号化処理の流れの例を、図６８のフローチャートを参照して説明する。ステップＳ５５１乃至ステップＳ５５３の各処理は、図５０のステップＳ３３１乃至ステップＳ３３３の各処理と同様に実行される。
つまり、ステップＳ５５４において、制御部４１１は、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagをセットし、ステップＳ５５５において、その色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagが符号化部４１５に供給され、符号化される。
ステップＳ５５６において、制御部４１１は、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagの値が真であるか否かを判定する。色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagの値が真であると判定された場合、処理はステップＳ５５７に進む。ステップＳ５５７において、制御部４１１は、色差のセカンダリ変換識別子chroma_st_idxに、輝度用のセカンダリ変換識別子st_idxを印加する。
また、ステップＳ５５６において、色差セカンダリ変換識別子推定フラグchroma_st_idx_infer_flagの値が偽であると判定された場合、処理はステップＳ５５８に進む。ステップＳ５５８において、制御部４１１は、色差のセカンダリ変換識別子chroma_st_idxをセットする。また、ステップＳ５５９において、制御部４１１は、それを符号化部４１５に供給し、符号化させる。ステップＳ５５９の処理が終了すると、変換スキップフラグ符号化処理が終了する。
つまり、＜変形例５＞の場合、色差セカンダリ変換識別子推定フラグによって、色差のセカンダリ変換識別子chroma_st_idxをシグナリングするか否かが明示的に制御される。したがって、より効果的な方法をより容易かつ確実に選択することができる。したがって、符号化効率の低減をより抑制することができる。また、符号化や復号の負荷の増大も抑制することができる。
＜８．その他＞
＜情報のデータ単位＞
以上において説明した画像に関する情報や画像の符号化・復号に関する情報が設定される（または対象とするデータの）データ単位は、それぞれ任意であり、上述した例に限定されない。例えば、これらの情報が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報毎に設定される。つまり、全ての情報が同一のデータ単位毎に設定される（または対象とする）ようにしなくてもよい。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用することを許可（または禁止）するブロックサイズの上限若しくは下限、またはその両方を指定する制御情報を伝送するようにしてもよい。
＜符号化・復号＞
本技術は、プライマリ変換およびセカンダリ変換（逆セカンダリ変および逆プライマリ変換）を行う任意の画像符号化・復号に適用することができる。つまり、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等の仕様は任意であり、上述した例に限定されない。例えば、変換（逆変換）において、（逆）プライマリ変換および（逆）セカンダリ変換以外の（逆）変換（すなわち３以上の（逆）変換）が行われるようにしてもよい。また、符号化（復号）は、可逆な方式であってもよいし、非可逆な方式であってもよい。さらに、量子化（逆量子化）や予測等は省略するようにしてもよい。また、フィルタ処理等の上述していない処理が行われるようにしてもよい。
＜本技術の適用分野＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。
例えば、本技術は、鑑賞の用に供される画像を伝送するシステムやデバイスにも適用することができる。また、例えば、本技術は、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
＜多視点画像符号化・復号システムへの適用＞
上述した一連の処理は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。
＜階層画像符号化・復号システムへの適用＞
また、上述した一連の処理は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図６９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図６９に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
＜本技術の応用＞
上述した実施形態に係る画像符号化装置４００や画像復号装置１００は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録する記録装置や、これら記憶媒体から画像を再生する再生装置などの、様々な電子機器に応用され得る。
＜第１の応用例：テレビジョン受像機＞
図７０は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース（I/F）部９０９、制御部９１０、ユーザインタフェース（I/F）部９１１、およびバス９１２を備える。
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリームおよび音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリームおよび音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタンまたはカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイまたはOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像または画像を表示する。
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換および増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
外部インタフェース部９０９は、テレビジョン装置９００と外部機器またはネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリームまたは音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送部としての役割を有する。
制御部９１０は、CPUなどのプロセッサ、並びにRAMおよびROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、およびネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９および制御部９１０を相互に接続する。
このように構成されたテレビジョン装置９００において、デコーダ９０４が、上述した画像復号装置１００の機能を有するようにしてもよい。つまり、デコーダ９０４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、テレビジョン装置９００は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
また、このように構成されたテレビジョン装置９００において、映像信号処理部９０５が、例えば、デコーダ９０４から供給される画像データを符号化し、得られた符号化データを、外部インタフェース部９０９を介してテレビジョン装置９００の外部に出力させることができるようにしてもよい。そして、その映像信号処理部９０５が、上述した画像符号化装置４００の機能を有するようにしてもよい。つまり、映像信号処理部９０５が、デコーダ９０４から供給される画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、テレビジョン装置９００は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
＜第２の応用例：携帯電話機＞
図７１は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、およびバス９３３を備える。
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４およびマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、および制御部９３１を相互に接続する。
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モードおよびテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メールまたは画像データの送受信、画像の撮像、およびデータの記録などの動作を行う。
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調および復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し、およびD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調および復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAMまたはフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USB（Universal Serial Bus）メモリ、またはメモリカードなどの外部装着型の記憶媒体であってもよい。
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９に供給し、その記憶媒体に書き込ませる。
さらに、画像表示モードにおいて、記録再生部９２９は、記憶媒体に記録されている符号化ストリームを読み出して画像処理部９２７へ出力する。画像処理部９２７は、記録再生部９２９から入力される符号化ストリームを復号し、画像データを表示部９３０に供給し、その画像を表示させる。
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号を、アンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。これら送信信号および受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調および復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリームおよび音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張しおよびD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像符号化装置４００の機能を有するようにしてもよい。つまり、画像処理部９２７が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、携帯電話機９２０は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
また、このように構成された携帯電話機９２０において、例えば画像処理部９２７が、上述した画像復号装置１００の機能を有するようにしてもよい。つまり、画像処理部９２７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、携帯電話機９２０は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
＜第３の応用例：記録再生装置＞
図７２は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データおよび映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データおよび映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタおよびスピーカ上で再生する。このとき、記録再生装置９４０は、音声データおよび映像データを復号する。
記録再生装置９４０は、チューナ９４１、外部インタフェース（I/F）部９４２、エンコーダ９４３、HDD（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）部９４８、制御部９４９、およびユーザインタフェース（I/F）部９５０を備える。
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送部としての役割を有する。
外部インタフェース部９４２は、記録再生装置９４０と外部機器またはネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、IEEE（Institute of Electrical and Electronic Engineers）1394インタフェース、ネットワークインタフェース、USBインタフェース、またはフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データおよび音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース部９４２は、記録再生装置９４０における伝送部としての役割を有する。
エンコーダ９４３は、外部インタフェース部９４２から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
HDD部９４４は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、HDD部９４４は、映像および音声の再生時に、これらデータをハードディスクから読み出す。
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVD（Digital Versatile Disc）ディスク（DVD-Video、DVD-RAM（DVD - Random Access Memory）、DVD-R（DVD - Recordable）、DVD-RW（DVD - Rewritable）、DVD+R（DVD + Recordable）、DVD+RW（DVD + Rewritable）等）またはBlu-ray（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像および音声の記録時には、チューナ９４１またはエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをHDD部９４４またはディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像および音声の再生時には、HDD部９４４またはディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
デコーダ９４７は、符号化ビットストリームを復号し、映像データおよび音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD部９４８へ出力する。また、デコーダ９４７は、生成した音声データを外部のスピーカへ出力する。
OSD部９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD部９４８は、表示する映像に、例えばメニュー、ボタンまたはカーソルなどのGUIの画像を重畳してもよい。
制御部９４９は、CPUなどのプロセッサ、並びにRAMおよびROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
このように構成された記録再生装置９４０において、例えばエンコーダ９４３が、上述した画像符号化装置４００の機能を有するようにしてもよい。つまり、エンコーダ９４３が、画像データを、以上の各実施の形態において説明方法で符号化するようにしてもよい。このようにすることにより、記録再生装置９４０は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
また、このように構成された記録再生装置９４０において、例えばデコーダ９４７が、上述した画像復号装置１００の機能を有するようにしてもよい。つまり、デコーダ９４７が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、記録再生装置９４０は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
＜第４の応用例：撮像装置＞
図７３は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース（I/F）部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、制御部９７０、ユーザインタフェース（I/F）部９７１、およびバス９７２を備える。
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース部９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、OSD部９６９、および制御部９７０を相互に接続する。
光学ブロック９６１は、フォーカスレンズおよび絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD（Charge Coupled Device）またはCMOS（Complementary Metal Oxide Semiconductor）などのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、OSD部９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
OSD部９６９は、例えばメニュー、ボタンまたはカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
外部インタフェース部９６６は、例えばUSB入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスクまたは光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、LANまたはインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース部９６６は、撮像装置９６０における伝送部としての役割を有する。
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブまたはSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
制御部９７０は、CPUなどのプロセッサ、並びにRAMおよびROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタンおよびスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した画像符号化装置４００の機能を有するようにしてもよい。つまり、画像処理部９６４が、画像データを、以上の各実施の形態において説明した方法で符号化するようにしてもよい。このようにすることにより、撮像装置９６０は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
また、このように構成された撮像装置９６０において、例えば画像処理部９６４が、上述した画像復号装置１００の機能を有するようにしてもよい。つまり、画像処理部９６４が、符号化データを、以上の各実施の形態において説明した方法で復号するようにしてもよい。このようにすることにより、撮像装置９６０は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
＜第５の応用例：ビデオセット＞
また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。図７４は、本技術を適用したビデオセットの概略的な構成の一例を示している。
近年、電子機器の多機能化が進んでおり、その開発や製造において、その一部の構成を販売や提供等として実施する場合、１機能を有する構成として実施を行う場合だけでなく、関連する機能を有する複数の構成を組み合わせ、複数の機能を有する１セットとして実施を行う場合も多く見られるようになってきた。
図７４に示されるビデオセット１３００は、このような多機能化された構成であり、画像の符号化や復号（いずれか一方でもよいし、両方でも良い）に関する機能を有するデバイスに、その機能に関連するその他の機能を有するデバイスを組み合わせたものである。
図７４に示されるように、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４等のモジュール群と、コネクティビティ１３２１、カメラ１３２２、およびセンサ１３２３等の関連する機能を有するデバイスとを有する。
モジュールは、互いに関連するいくつかの部品的機能をまとめ、まとまりのある機能を持った部品としたものである。具体的な物理的構成は任意であるが、例えば、それぞれ機能を有する複数のプロセッサ、抵抗やコンデンサ等の電子回路素子、その他のデバイス等を配線基板等に配置して一体化したものが考えられる。また、モジュールに他のモジュールやプロセッサ等を組み合わせて新たなモジュールとすることも考えられる。
図７４の例の場合、ビデオモジュール１３１１は、画像処理に関する機能を有する構成を組み合わせたものであり、アプリケーションプロセッサ、ビデオプロセッサ、ブロードバンドモデム１３３３、およびRFモジュール１３３４を有する。
プロセッサは、所定の機能を有する構成をSoC（System On a Chip）により半導体チップに集積したものであり、例えばシステムLSI（Large Scale Integration）等と称されるものもある。この所定の機能を有する構成は、論理回路（ハードウエア構成）であってもよいし、CPU、ROM、RAM等と、それらを用いて実行されるプログラム（ソフトウエア構成）であってもよいし、その両方を組み合わせたものであってもよい。例えば、プロセッサが、論理回路とCPU、ROM、RAM等とを有し、機能の一部を論理回路（ハードウエア構成）により実現し、その他の機能をCPUにおいて実行されるプログラム（ソフトウエア構成）により実現するようにしてもよい。
図７４のアプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。このアプリケーションプロセッサ１３３１において実行されるアプリケーションは、所定の機能を実現するために、演算処理を行うだけでなく、例えばビデオプロセッサ１３３２等、ビデオモジュール１３１１内外の構成を必要に応じて制御することもできる。
ビデオプロセッサ１３３２は、画像の符号化・復号（その一方または両方）に関する機能を有するプロセッサである。
ブロードバンドモデム１３３３は、インターネットや公衆電話回線網等の広帯域の回線を介して行われる有線若しくは無線（またはその両方）の広帯域通信により送信するデータ（デジタル信号）をデジタル変調する等してアナログ信号に変換したり、その広帯域通信により受信したアナログ信号を復調してデータ（デジタル信号）に変換したりする。ブロードバンドモデム１３３３は、例えば、ビデオプロセッサ１３３２が処理する画像データ、画像データが符号化されたストリーム、アプリケーションプログラム、設定データ等、任意の情報を処理する。
RFモジュール１３３４は、アンテナを介して送受信されるRF（Radio Frequency）信号に対して、周波数変換、変復調、増幅、フィルタ処理等を行うモジュールである。例えば、RFモジュール１３３４は、ブロードバンドモデム１３３３により生成されたベースバンド信号に対して周波数変換等を行ってRF信号を生成する。また、例えば、RFモジュール１３３４は、フロントエンドモジュール１３１４を介して受信されたRF信号に対して周波数変換等を行ってベースバンド信号を生成する。
なお、図７４において点線１３４１に示されるように、アプリケーションプロセッサ１３３１とビデオプロセッサ１３３２を、一体化し、１つのプロセッサとして構成されるようにしてもよい。
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられた、ビデオモジュール１３１１により利用される記憶デバイスを有するモジュールである。この外部メモリ１３１２の記憶デバイスは、どのような物理構成により実現するようにしてもよいが、一般的にフレーム単位の画像データのような大容量のデータの格納に利用されることが多いので、例えばDRAM（Dynamic Random Access Memory）のような比較的安価で大容量の半導体メモリにより実現するのが望ましい。
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１（ビデオモジュール１３１１内の各構成）への電力供給を管理し、制御する。
フロントエンドモジュール１３１４は、RFモジュール１３３４に対してフロントエンド機能（アンテナ側の送受信端の回路）を提供するモジュールである。図７４に示されるように、フロントエンドモジュール１３１４は、例えば、アンテナ部１３５１、フィルタ１３５２、および増幅部１３５３を有する。
アンテナ部１３５１は、無線信号を送受信するアンテナおよびその周辺の構成を有する。アンテナ部１３５１は、増幅部１３５３から供給される信号を無線信号として送信し、受信した無線信号を電気信号（RF信号）としてフィルタ１３５２に供給する。フィルタ１３５２は、アンテナ部１３５１を介して受信されたRF信号に対してフィルタ処理等を行い、処理後のRF信号をRFモジュール１３３４に供給する。増幅部１３５３は、RFモジュール１３３４から供給されるRF信号を増幅し、アンテナ部１３５１に供給する。
コネクティビティ１３２１は、外部との接続に関する機能を有するモジュールである。コネクティビティ１３２１の物理構成は、任意である。例えば、コネクティビティ１３２１は、ブロードバンドモデム１３３３が対応する通信規格以外の通信機能を有する構成や、外部入出力端子等を有する。
例えば、コネクティビティ１３２１が、Bluetooth（登録商標）、IEEE 802.11（例えばWi-Fi（Wireless Fidelity、登録商標））、NFC（Near Field Communication）、IrDA（InfraRed Data Association）等の無線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した信号を送受信するアンテナ等を有するようにしてもよい。また、例えば、コネクティビティ１３２１が、USB（Universal Serial Bus）、HDMI（登録商標）（High-Definition Multimedia Interface）等の有線通信規格に準拠する通信機能を有するモジュールや、その規格に準拠した端子を有するようにしてもよい。さらに、例えば、コネクティビティ１３２１が、アナログ入出力端子等のその他のデータ（信号）伝送機能等を有するようにしてもよい。
なお、コネクティビティ１３２１が、データ（信号）の伝送先のデバイスを含むようにしてもよい。例えば、コネクティビティ１３２１が、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の記録媒体に対してデータの読み出しや書き込みを行うドライブ（リムーバブルメディアのドライブだけでなく、ハードディスク、SSD（Solid State Drive）、NAS（Network Attached Storage）等も含む）を有するようにしてもよい。また、コネクティビティ１３２１が、画像や音声の出力デバイス（モニタやスピーカ等）を有するようにしてもよい。
カメラ１３２２は、被写体を撮像し、被写体の画像データを得る機能を有するモジュールである。カメラ１３２２の撮像により得られた画像データは、例えば、ビデオプロセッサ１３３２に供給されて符号化される。
センサ１３２３は、例えば、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、イメージセンサ、回転センサ、角度センサ、角速度センサ、速度センサ、加速度センサ、傾斜センサ、磁気識別センサ、衝撃センサ、温度センサ等、任意のセンサ機能を有するモジュールである。センサ１３２３により検出されたデータは、例えば、アプリケーションプロセッサ１３３１に供給されてアプリケーション等により利用される。
以上においてモジュールとして説明した構成をプロセッサとして実現するようにしてもよいし、逆にプロセッサとして説明した構成をモジュールとして実現するようにしてもよい。
以上のような構成のビデオセット１３００において、後述するようにビデオプロセッサ１３３２に本技術を適用することができる。したがって、ビデオセット１３００は、本技術を適用したセットとして実施することができる。
＜ビデオプロセッサの構成例＞
図７５は、本技術を適用したビデオプロセッサ１３３２（図７４）の概略的な構成の一例を示している。
図７５の例の場合、ビデオプロセッサ１３３２は、ビデオ信号およびオーディオ信号の入力を受けてこれらを所定の方式で符号化する機能と、符号化されたビデオデータおよびオーディオデータを復号し、ビデオ信号およびオーディオ信号を再生出力する機能とを有する。
図７５に示されるように、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、およびメモリ制御部１４０６を有する。また、ビデオプロセッサ１３３２は、エンコード・デコードエンジン１４０７、ビデオES（Elementary Stream）バッファ１４０８Ａおよび１４０８Ｂ、並びに、オーディオESバッファ１４０９Ａおよび１４０９Ｂを有する。さらに、ビデオプロセッサ１３３２は、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（MUX（Multiplexer））１４１２、逆多重化部（DMUX（Demultiplexer））１４１３、およびストリームバッファ１４１４を有する。
ビデオ入力処理部１４０１は、例えばコネクティビティ１３２１（図７４）等から入力されたビデオ信号を取得し、デジタル画像データに変換する。第１画像拡大縮小部１４０２は、画像データに対してフォーマット変換や画像の拡大縮小処理等を行う。第２画像拡大縮小部１４０３は、画像データに対して、ビデオ出力処理部１４０４を介して出力する先でのフォーマットに応じて画像の拡大縮小処理を行ったり、第１画像拡大縮小部１４０２と同様のフォーマット変換や画像の拡大縮小処理等を行ったりする。ビデオ出力処理部１４０４は、画像データに対して、フォーマット変換やアナログ信号への変換等を行って、再生されたビデオ信号として例えばコネクティビティ１３２１等に出力する。
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３、ビデオ出力処理部１４０４、およびエンコード・デコードエンジン１４０７によって共用される画像データ用のメモリである。フレームメモリ１４０５は、例えばDRAM等の半導体メモリとして実現される。
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７からの同期信号を受けて、アクセス管理テーブル１４０６Ａに書き込まれたフレームメモリ１４０５へのアクセススケジュールに従ってフレームメモリ１４０５に対する書き込み・読み出しのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１画像拡大縮小部１４０２、第２画像拡大縮小部１４０３等で実行される処理に応じて、メモリ制御部１４０６により更新される。
エンコード・デコードエンジン１４０７は、画像データのエンコード処理、並びに、画像データが符号化されたデータであるビデオストリームのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、ビデオストリームとしてビデオESバッファ１４０８Ａに順次書き込む。また、例えば、ビデオESバッファ１４０８Ｂからビデオストリームを順次読み出して復号し、画像データとしてフレームメモリ１４０５に順次書き込む。エンコード・デコードエンジン１４０７は、これらの符号化や復号において、フレームメモリ１４０５を作業領域として使用する。また、エンコード・デコードエンジン１４０７は、例えばマクロブロック毎の処理を開始するタイミングで、メモリ制御部１４０６に対して同期信号を出力する。
ビデオESバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成されたビデオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。ビデオESバッファ１４０８Ｂは、逆多重化部（DMUX）１４１３から供給されたビデオストリームをバッファリングして、エンコード・デコードエンジン１４０７に供給する。
オーディオESバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成されたオーディオストリームをバッファリングして、多重化部（MUX）１４１２に供給する。オーディオESバッファ１４０９Ｂは、逆多重化部（DMUX）１４１３から供給されたオーディオストリームをバッファリングして、オーディオデコーダ１４１１に供給する。
オーディオエンコーダ１４１０は、例えばコネクティビティ１３２１等から入力されたオーディオ信号を例えばデジタル変換し、例えばMPEGオーディオ方式やAC3（AudioCode number 3）方式等の所定の方式で符号化する。オーディオエンコーダ１４１０は、オーディオ信号が符号化されたデータであるオーディオストリームをオーディオESバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオESバッファ１４０９Ｂから供給されたオーディオストリームを復号し、例えばアナログ信号への変換等を行って、再生されたオーディオ信号として例えばコネクティビティ１３２１等に供給する。
多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化する。この多重化の方法（すなわち、多重化により生成されるビットストリームのフォーマット）は任意である。また、この多重化の際に、多重化部（MUX）１４１２は、所定のヘッダ情報等をビットストリームに付加することもできる。つまり、多重化部（MUX）１４１２は、多重化によりストリームのフォーマットを変換することができる。例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームに変換する。また、例えば、多重化部（MUX）１４１２は、ビデオストリームとオーディオストリームとを多重化することにより、記録用のファイルフォーマットのデータ（ファイルデータ）に変換する。
逆多重化部（DMUX）１４１３は、多重化部（MUX）１４１２による多重化に対応する方法で、ビデオストリームとオーディオストリームとが多重化されたビットストリームを逆多重化する。つまり、逆多重化部（DMUX）１４１３は、ストリームバッファ１４１４から読み出されたビットストリームからビデオストリームとオーディオストリームとを抽出する（ビデオストリームとオーディオストリームとを分離する）。つまり、逆多重化部（DMUX）１４１３は、逆多重化によりストリームのフォーマットを変換（多重化部（MUX）１４１２による変換の逆変換）することができる。例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等から供給されたトランスポートストリームを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。また、例えば、逆多重化部（DMUX）１４１３は、例えばコネクティビティ１３２１により各種記録媒体から読み出されたファイルデータを、ストリームバッファ１４１４を介して取得し、逆多重化することにより、ビデオストリームとオーディオストリームとに変換することができる。
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給する。
また、例えば、ストリームバッファ１４１４は、多重化部（MUX）１４１２から供給されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、例えばコネクティビティ１３２１等に供給し、各種記録媒体に記録させる。
さらに、ストリームバッファ１４１４は、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して取得したトランスポートストリームをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
また、ストリームバッファ１４１４は、例えばコネクティビティ１３２１等において各種記録媒体から読み出されたファイルデータをバッファリングし、所定のタイミングにおいて、または外部からの要求等に基づいて、逆多重化部（DMUX）１４１３に供給する。
次に、このような構成のビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたビデオ信号は、ビデオ入力処理部１４０１において４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式のデジタル画像データに変換され、フレームメモリ１４０５に順次書き込まれる。このデジタル画像データは、第１画像拡大縮小部１４０２または第２画像拡大縮小部１４０３に読み出されて、４：２：０Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式へのフォーマット変換および拡大縮小処理が行われ、再びフレームメモリ１４０５に書き込まれる。この画像データは、エンコード・デコードエンジン１４０７によって符号化され、ビデオストリームとしてビデオESバッファ１４０８Ａに書き込まれる。
また、コネクティビティ１３２１等からビデオプロセッサ１３３２に入力されたオーディオ信号は、オーディオエンコーダ１４１０によって符号化され、オーディオストリームとして、オーディオESバッファ１４０９Ａに書き込まれる。
ビデオESバッファ１４０８Ａのビデオストリームと、オーディオESバッファ１４０９Ａのオーディオストリームは、多重化部（MUX）１４１２に読み出されて多重化され、トランスポートストリームまたはファイルデータ等に変換される。多重化部（MUX）１４１２により生成されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークに出力される。また、多重化部（MUX）１４１２により生成されたファイルデータは、ストリームバッファ１４１４にバッファされた後、例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
また、例えばコネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからビデオプロセッサ１３３２に入力されたトランスポートストリームは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。また、例えばコネクティビティ１３２１等において各種記録媒体から読み出され、ビデオプロセッサ１３３２に入力されたファイルデータは、ストリームバッファ１４１４にバッファされた後、逆多重化部（DMUX）１４１３により逆多重化される。つまり、ビデオプロセッサ１３３２に入力されたトランスポートストリームまたはファイルデータは、逆多重化部（DMUX）１４１３によりビデオストリームとオーディオストリームとに分離される。
オーディオストリームは、オーディオESバッファ１４０９Ｂを介してオーディオデコーダ１４１１に供給され、復号されてオーディオ信号が再生される。また、ビデオストリームは、ビデオESバッファ１４０８Ｂに書き込まれた後、エンコード・デコードエンジン１４０７により順次読み出されて復号されてフレームメモリ１４０５に書き込まれる。復号された画像データは、第２画像拡大縮小部１４０３によって拡大縮小処理されて、フレームメモリ１４０５に書き込まれる。そして、復号された画像データは、ビデオ出力処理部１４０４に読み出されて、４：２：２Ｙ／Ｃｂ／Ｃｒ方式等の所定の方式にフォーマット変換され、さらにアナログ信号に変換されて、ビデオ信号が再生出力される。
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、エンコード・デコードエンジン１４０７に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、エンコード・デコードエンジン１４０７が、上述した画像符号化装置４００の機能若しくは画像復号装置１００の機能またはその両方を有するようにしてもよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
なお、エンコード・デコードエンジン１４０７において、本技術（すなわち、画像符号化装置４００の機能若しくは画像復号装置１００の機能またはその両方）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
＜ビデオプロセッサの他の構成例＞
図７６は、本技術を適用したビデオプロセッサ１３３２の概略的な構成の他の例を示している。図７６の例の場合、ビデオプロセッサ１３３２は、ビデオデータを所定の方式で符号化・復号する機能を有する。
より具体的には、図７６に示されるように、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、および内部メモリ１５１５を有する。また、ビデオプロセッサ１３３２は、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化・逆多重化部（MUX DMUX）１５１８、ネットワークインタフェース１５１９、およびビデオインタフェース１５２０を有する。
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６等、ビデオプロセッサ１３３２内の各処理部の動作を制御する。
図７６に示されるように、制御部１５１１は、例えば、メインCPU１５３１、サブCPU１５３２、およびシステムコントローラ１５３３を有する。メインCPU１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラム等を実行する。メインCPU１５３１は、そのプログラム等に従って制御信号を生成し、各処理部に供給する（つまり、各処理部の動作を制御する）。サブCPU１５３２は、メインCPU１５３１の補助的な役割を果たす。例えば、サブCPU１５３２は、メインCPU１５３１が実行するプログラム等の子プロセスやサブルーチン等を実行する。システムコントローラ１５３３は、メインCPU１５３１およびサブCPU１５３２が実行するプログラムを指定する等、メインCPU１５３１およびサブCPU１５３２の動作を制御する。
ディスプレイインタフェース１５１２は、制御部１５１１の制御の下、画像データを例えばコネクティビティ１３２１等に出力する。例えば、ディスプレイインタフェース１５１２は、デジタルデータの画像データをアナログ信号に変換し、再生されたビデオ信号として、またはデジタルデータの画像データのまま、コネクティビティ１３２１のモニタ装置等に出力する。
ディスプレイエンジン１５１３は、制御部１５１１の制御の下、画像データに対して、その画像を表示させるモニタ装置等のハードウエアスペックに合わせるように、フォーマット変換、サイズ変換、色域変換等の各種変換処理を行う。
画像処理エンジン１５１４は、制御部１５１１の制御の下、画像データに対して、例えば画質改善のためのフィルタ処理等、所定の画像処理を施す。
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられたメモリである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、およびコーデックエンジン１５１６の間で行われるデータの授受に利用される。例えば、内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６から供給されるデータを格納し、必要に応じて（例えば、要求に応じて）、そのデータを、ディスプレイエンジン１５１３、画像処理エンジン１５１４、またはコーデックエンジン１５１６に供給する。この内部メモリ１５１５は、どのような記憶デバイスにより実現するようにしてもよいが、一般的にブロック単位の画像データやパラメータ等といった小容量のデータの格納に利用することが多いので、例えばSRAM（Static Random Access Memory）のような比較的（例えば外部メモリ１３１２と比較して）小容量だが応答速度が高速な半導体メモリにより実現するのが望ましい。
コーデックエンジン１５１６は、画像データの符号化や復号に関する処理を行う。このコーデックエンジン１５１６が対応する符号化・復号の方式は任意であり、その数は１つであってもよいし、複数であってもよい。例えば、コーデックエンジン１５１６は、複数の符号化・復号方式のコーデック機能を備え、その中から選択されたもので画像データの符号化または符号化データの復号を行うようにしてもよい。
図７６に示される例において、コーデックエンジン１５１６は、コーデックに関する処理の機能ブロックとして、例えば、MPEG-2 Video１５４１、AVC/H.264１５４２、HEVC/H.265１５４３、HEVC/H.265(Scalable)１５４４、HEVC/H.265(Multi-view)１５４５、およびMPEG-DASH１５５１を有する。
MPEG-2 Video１５４１は、画像データをMPEG-2方式で符号化したり復号したりする機能ブロックである。AVC/H.264１５４２は、画像データをAVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265１５４３は、画像データをHEVC方式で符号化したり復号したりする機能ブロックである。HEVC/H.265(Scalable)１５４４は、画像データをHEVC方式でスケーラブル符号化したりスケーラブル復号したりする機能ブロックである。HEVC/H.265(Multi-view)１５４５は、画像データをHEVC方式で多視点符号化したり多視点復号したりする機能ブロックである。
MPEG-DASH１５５１は、画像データをMPEG-DASH（MPEG-Dynamic Adaptive Streaming over HTTP）方式で送受信する機能ブロックである。MPEG-DASHは、HTTP（HyperText Transfer Protocol）を使ってビデオのストリーミングを行う技術であり、予め用意された解像度等が互いに異なる複数の符号化データの中から適切なものをセグメント単位で選択し伝送することを特徴の１つとする。MPEG-DASH１５５１は、規格に準拠するストリームの生成やそのストリームの伝送制御等を行い、画像データの符号化・復号については、上述したMPEG-2 Video１５４１乃至HEVC/H.265(Multi-view)１５４５を利用する。
メモリインタフェース１５１７は、外部メモリ１３１２用のインタフェースである。画像処理エンジン１５１４やコーデックエンジン１５１６から供給されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２に供給される。また、外部メモリ１３１２から読み出されたデータは、メモリインタフェース１５１７を介してビデオプロセッサ１３３２（画像処理エンジン１５１４またはコーデックエンジン１５１６）に供給される。
多重化・逆多重化部（MUX DMUX）１５１８は、符号化データのビットストリーム、画像データ、ビデオ信号等、画像に関する各種データの多重化や逆多重化を行う。この多重化・逆多重化の方法は任意である。例えば、多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、複数のデータを１つにまとめるだけでなく、所定のヘッダ情報等をそのデータに付加することもできる。また、逆多重化の際に、多重化・逆多重化部（MUX DMUX）１５１８は、１つのデータを複数に分割するだけでなく、分割した各データに所定のヘッダ情報等を付加することもできる。つまり、多重化・逆多重化部（MUX DMUX）１５１８は、多重化・逆多重化によりデータのフォーマットを変換することができる。例えば、多重化・逆多重化部（MUX DMUX）１５１８は、ビットストリームを多重化することにより、転送用のフォーマットのビットストリームであるトランスポートストリームや、記録用のファイルフォーマットのデータ（ファイルデータ）に変換することができる。もちろん、逆多重化によりその逆変換も可能である。
ネットワークインタフェース１５１９は、例えばブロードバンドモデム１３３３やコネクティビティ１３２１等向けのインタフェースである。ビデオインタフェース１５２０は、例えばコネクティビティ１３２１やカメラ１３２２等向けのインタフェースである。
次に、このようなビデオプロセッサ１３３２の動作の例について説明する。例えば、コネクティビティ１３２１やブロードバンドモデム１３３３等を介して外部ネットワークからトランスポートストリームを受信すると、そのトランスポートストリームは、ネットワークインタフェース１５１９を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、例えば、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてファイルデータに変換され、ビデオインタフェース１５２０を介して例えばコネクティビティ１３２１等に出力され、各種記録媒体に記録される。
さらに、例えば、コネクティビティ１３２１等により図示せぬ記録媒体から読み出された、画像データが符号化された符号化データのファイルデータは、ビデオインタフェース１５２０を介して多重化・逆多重化部（MUX DMUX）１５１８に供給されて逆多重化され、コーデックエンジン１５１６により復号される。コーデックエンジン１５１６の復号により得られた画像データは、画像処理エンジン１５１４により所定の画像処理が施され、ディスプレイエンジン１５１３により所定の変換が行われ、ディスプレイインタフェース１５１２を介して例えばコネクティビティ１３２１等に供給され、その画像がモニタに表示される。また、例えば、コーデックエンジン１５１６の復号により得られた画像データは、コーデックエンジン１５１６により再符号化され、多重化・逆多重化部（MUX DMUX）１５１８により多重化されてトランスポートストリームに変換され、ネットワークインタフェース１５１９を介して例えばコネクティビティ１３２１やブロードバンドモデム１３３３等に供給され図示せぬ他の装置に伝送される。
なお、ビデオプロセッサ１３３２内の各処理部の間での画像データやその他のデータの授受は、例えば、内部メモリ１５１５や外部メモリ１３１２を利用して行われる。また、パワーマネージメントモジュール１３１３は、例えば制御部１５１１への電力供給を制御する。
このように構成されるビデオプロセッサ１３３２に本技術を適用する場合、コーデックエンジン１５１６に、上述した各実施形態に係る本技術を適用すればよい。つまり、例えば、コーデックエンジン１５１６が、上述した画像符号化装置４００の機能若しくは画像復号装置１００の機能またはその両方を有するようにすればよい。このようにすることにより、ビデオプロセッサ１３３２は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
なお、コーデックエンジン１５１６において、本技術（すなわち、画像符号化装置４００の機能）は、論理回路等のハードウエアにより実現するようにしてもよいし、組み込みプログラム等のソフトウエアにより実現するようにしてもよいし、それらの両方により実現するようにしてもよい。
以上にビデオプロセッサ１３３２の構成を２例示したが、ビデオプロセッサ１３３２の構成は任意であり、上述した２例以外のものであってもよい。また、このビデオプロセッサ１３３２は、１つの半導体チップとして構成されるようにしてもよいが、複数の半導体チップとして構成されるようにしてもよい。例えば、複数の半導体を積層する３次元積層LSIとしてもよい。また、複数のLSIにより実現されるようにしてもよい。
＜装置への適用例＞
ビデオセット１３００は、画像データを処理する各種装置に組み込むことができる。例えば、ビデオセット１３００は、テレビジョン装置９００（図７０）、携帯電話機９２０（図７１）、記録再生装置９４０（図７２）、撮像装置９６０（図７３）等に組み込むことができる。ビデオセット１３００を組み込むことにより、その装置は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
なお、上述したビデオセット１３００の各構成の一部であっても、ビデオプロセッサ１３３２を含むものであれば、本技術を適用した構成として実施することができる。例えば、ビデオプロセッサ１３３２のみを本技術を適用したビデオプロセッサとして実施することができる。また、例えば、上述したように点線１３４１により示されるプロセッサやビデオモジュール１３１１等を、本技術を適用したプロセッサやモジュール等として実施することができる。さらに、例えば、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、およびフロントエンドモジュール１３１４を組み合わせ、本技術を適用したビデオユニット１３６１として実施することもできる。いずれの構成の場合であっても、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
つまり、ビデオプロセッサ１３３２を含むものであればどのような構成であっても、ビデオセット１３００の場合と同様に、画像データを処理する各種装置に組み込むことができる。例えば、ビデオプロセッサ１３３２、点線１３４１により示されるプロセッサ、ビデオモジュール１３１１、または、ビデオユニット１３６１を、テレビジョン装置９００（図７０）、携帯電話機９２０（図７１）、記録再生装置９４０（図７２）、撮像装置９６０（図７３）等に組み込むことができる。そして、本技術を適用したいずれかの構成を組み込むことにより、その装置は、ビデオセット１３００の場合と同様に、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
＜第６の応用例：ネットワークシステム＞
また、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。図７７は、本技術を適用したネットワークシステムの概略的な構成の一例を示している。
図７７に示されるネットワークシステム１６００は、機器同士が、ネットワークを介して画像（動画像）に関する情報を授受するシステムである。このネットワークシステム１６００のクラウドサービス１６０１は、自身に通信可能に接続されるコンピュータ１６１１、AV（Audio Visual）機器１６１２、携帯型情報処理端末１６１３、IoT（Internet of Things）デバイス１６１４等の端末に対して、画像（動画像）に関するサービスを提供するシステムである。例えば、クラウドサービス１６０１は、所謂動画配信（オンデマンドやライブ配信）のような、画像（動画像）のコンテンツの供給サービスを端末に提供する。また、例えば、クラウドサービス１６０１は、端末から画像（動画像）のコンテンツを受け取って保管するバックアップサービスを提供する。また、例えば、クラウドサービス１６０１は、端末同士の画像（動画像）のコンテンツの授受を仲介するサービスを提供する。
クラウドサービス１６０１の物理構成は任意である。例えば、クラウドサービス１６０１は、動画像を保存し、管理するサーバ、動画像を端末に配信するサーバ、動画像を端末から取得するサーバ、ユーザ（端末）や課金を管理するサーバ等の各種サーバや、インターネットやLAN等の任意のネットワークを有するようにしてもよい。
コンピュータ１６１１は、例えば、パーソナルコンピュータ、サーバ、ワークステーション等のような情報処理装置により構成される。AV機器１６１２は、例えば、テレビジョン受像機、ハードディスクレコーダ、ゲーム機器、カメラ等のような画像処理装置により構成される。携帯型情報処理端末１６１３は、例えば、ノート型パーソナルコンピュータ、タブレット端末、携帯電話機、スマートフォン等のような携帯型の情報処理装置により構成される。IoTデバイス１６１４は、例えば、機械、家電、家具、その他の物、ICタグ、カード型デバイス等、画像に関する処理を行う任意の物体により構成される。これらの端末は、いずれも通信機能を有し、クラウドサービス１６０１に接続し（セッションを確立し）、クラウドサービス１６０１と情報の授受を行う（すなわち通信を行う）ことができる。また、各端末は、他の端末と通信を行うこともできる。端末間の通信は、クラウドサービス１６０１を介して行うようにしてもよいし、クラウドサービス１６０１を介さずに行うようにしてもよい。
以上のようなネットワークシステム１６００に本技術を適用し、端末間や、端末とクラウドサービス１６０１との間で画像（動画像）のデータが授受される際に、その画像データを各実施の形態において上述したように符号化・復号するようにしてもよい。つまり、端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１が、それぞれ、上述した画像符号化装置４００や画像復号装置１００の機能を有するようにしてもよい。このようにすることにより、画像データを授受する端末（コンピュータ１６１１乃至IoTデバイス１６１４）やクラウドサービス１６０１は、図１乃至図６８を参照して上述した各実施の形態と同様の効果を得ることができる。
＜補足＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる差分情報も包含する。
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
また、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） 輝度の逆直交変換に関する情報に基づいて導出された色差の逆直交変換に関する情報を用いて、色差の前記逆直交変換を行う逆直交変換部
を備える画像処理装置。
（２） 前記逆直交変換に関する情報は、処理対象の変換ブロックにおいて、複数の異なる逆直交変換の中からいずれかを適応的に選択して逆プライマリ変換として用いる適応逆プライマリ変換を適用するかを示す適応プライマリ変換フラグを含む
（１）に記載の画像処理装置。
（３） 色差の前記適応プライマリ変換フラグの値は、輝度の前記適応プライマリ変換フラグの値にセットされる
（２）に記載の画像処理装置。
（４） 前記逆直交変換に関する情報は、垂直方向および水平方向の逆プライマリ変換にどの逆プライマリ変換を適用するかを示すプライマリ変換識別子を含む
（３）に記載の画像処理装置。
（５） 色差の前記プライマリ変換識別子の値は、色差の前記適応プライマリ変換フラグが真の場合、輝度の前記プライマリ変換識別子の値にセットされ、色差の前記適応プライマリ変換フラグが偽の場合、所定値にセットされる
（４）に記載の画像処理装置。
（６） 前記逆直交変換部は、前記逆直交変換として、逆プライマリ変換を行う
（５）に記載の画像処理装置。
（７） 前記逆直交変換部は、前記逆直交変換として、水平方向の前記逆プライマリ変換である逆プライマリ水平変換と、垂直方向の前記逆プライマリ変換である逆プライマリ垂直変換を行う
（６）に記載の画像処理装置。
（８） 色差の前記逆プライマリ水平変換の変換タイプ、および、色差の前記逆プライマリ垂直変換の変換タイプは、それぞれ、色差の前記適応プライマリ変換フラグの値に応じた方法で導出される
（７）に記載の画像処理装置。
（９） 前記色差の前記適応プライマリ変換フラグが真の場合、
予測モード情報に基づいて、逆プライマリ水平変換の変換セットと逆プライマリ垂直変換の変換セットとが選択され、
前記色差のプライマリ変換識別子からプライマリ水平変換指定フラグとプライマリ垂直変換フラグとが導出され、
前記プライマリ水平変換セットと前記プライマリ水平変換指定フラグとに基づいて、色差の前記逆プライマリ水平変換の変換タイプが選択され、
前記プライマリ垂直変換セットと前記プライマリ垂直変換指定フラグとに基づいて、色差の前記逆プライマリ垂直変換の変換タイプが選択される
（８）に記載の画像処理装置。
（１０） 前記色差の前記適応プライマリ変換フラグが偽の場合、
色差の前記逆プライマリ水平変換の変換タイプとして所定の変換タイプが選択され、
色差の前記逆プライマリ垂直変換の変換タイプとして所定の変換タイプが選択される
（８）または（９）に記載の画像処理装置。
（１１） 色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされ、前記符号化ブロックの予測タイプがイントラ予測である場合、偽にセットされる
（２）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、予測モードがイントラブロックコピーのイントラ予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされ、前記符号化ブロックの予測タイプが、予測モードがイントラブロックコピーでないイントラ予測である場合、偽にセットされる
（２）乃至（１１）のいずれかに記載の画像処理装置。
（１３） 色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、輝度と色差とで予測モードが一致するイントラ予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされ、前記符号化ブロックの予測タイプが、輝度と色差とで予測モードが一致しないイントラ予測である場合、偽にセットされる
（２）乃至（１２）のいずれかに記載の画像処理装置。
（１４） 色差の前記適応プライマリ変換フラグの値は、色差の前記適応プライマリ変換フラグを輝度の前記適応プライマリ変換フラグに基づいて推定するかを示す色差適応プライマリ変換情報推定フラグが真の場合、輝度の前記適応プライマリ変換フラグの値にセットされ、前記色差適応プライマリ変換情報推定フラグが偽の場合、偽にセットされる
（２）乃至（１３）のいずれかに記載の画像処理装置。
（１５） 前記色差適応プライマリ変換情報推定フラグは、処理対象コンポーネントが色差であり、輝度の前記適応プライマリ変換フラグが真であり、変換量子化バイパスフラグが偽であり、かつ、変換スキップフラグが偽の場合、ビットストリームから復号され、その他の場合、値が偽にセットされる
（１４）に記載の画像処理装置。
（１６） 色差の前記適応プライマリ変換フラグの値は、色差の処理対象の変換ブロックの短辺のサイズが所定の閾値以上の場合、輝度の前記適応プライマリ変換フラグの値にセットされ、前記変換ブロックの短辺のサイズが前記閾値未満の場合、偽にセットされる
（２）乃至（１５）のいずれかに記載の画像処理装置。
（１７） 前記逆直交変換部は、前記逆直交変換として、水平方向の逆プライマリ変換である逆プライマリ水平変換と、垂直方向の逆プライマリ変換である逆プライマリ垂直変換を行うように構成され、
前記逆プライマリ水平変換の変換タイプは、色差の処理対象の変換ブロックの横幅のサイズが所定の閾値以下の場合、所定の変換タイプにセットされ、前記変換ブロックの横幅のサイズが前記閾値よりも大きい場合、水平変換セットおよびプライマリ水平変換指定フラグに基づいてセットされ、
前記逆プライマリ垂直変換の変換タイプは、色差の処理対象の変換ブロックの縦幅のサイズが所定の閾値以下の場合、所定の変換タイプにセットされ、前記変換ブロックの縦幅のサイズが前記閾値よりも大きい場合、垂直変換セットおよびプライマリ垂直変換指定フラグに基づいてセットされる
（１）乃至（１６）のいずれかに記載の画像処理装置。
（１８） 前記逆直交変換に関する情報は、逆直交変換処理をスキップするかを示す変換スキップフラグを含む
（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９） 色差の前記変換スキップフラグの値は、輝度の前記変換スキップフラグの値にセットされる
（１８）に記載の画像処理装置。
（２０） 色差の前記変換スキップフラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、輝度の前記変換スキップフラグの値にセットされ、前記符号化ブロックの予測タイプがイントラ予測である場合、ビットストリームが復号されて得られる色差の前記変換スキップフラグの値にセットされる
（１８）または（１９）に記載の画像処理装置。
（２１） 色差の前記変換スキップフラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、輝度と色差とで予測モードが一致するイントラ予測である場合、輝度の前記変換スキップフラグの値にセットされ、前記符号化ブロックの予測タイプが、輝度と色差とで予測モードが一致しないイントラ予測である場合、ビットストリームが復号されて得られる色差の前記変換スキップフラグの値にセットされる
（１８）乃至（２０）のいずれかに記載の画像処理装置。
（２２） 色差の前記変換スキップフラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、予測モードがイントラブロックコピーのイントラ予測である場合、輝度の前記変換スキップフラグの値にセットされ、前記符号化ブロックの予測タイプが、予測モードがイントラブロックコピーでないイントラ予測である場合、ビットストリームが復号されて得られる色差の前記変換スキップフラグの値にセットされる
（１８）乃至（２１）のいずれかに記載の画像処理装置。
（２３） 色差の前記変換スキップフラグの値は、色差の前記変換スキップフラグを輝度の前記変換スキップフラグに基づいて推定するかを示す色差変換スキップ情報推定フラグが真の場合、輝度の前記変換スキップフラグの値にセットされ、前記色差変換スキップ情報推定フラグが偽の場合、ビットストリームが復号されて得られる色差の前記変換スキップフラグの値にセットされる
（１８）乃至（２２）のいずれかに記載の画像処理装置。
（２４） 前記逆直交変換に関する情報は、どの逆セカンダリ変換を適用するかを示すセカンダリ変換識別子を含む
（１）乃至（２３）のいずれかに記載の画像処理装置。
（２５） 色差の前記セカンダリ変換識別子の値は、輝度の前記セカンダリ変換識別子の値にセットされる
（２４）に記載の画像処理装置。
（２６） 色差の前記セカンダリ変換識別子の値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、輝度の前記セカンダリ変換識別子の値にセットされ、前記符号化ブロックの予測タイプがイントラ予測である場合、ビットストリームが復号されて得られる色差の前記セカンダリ変換識別子の値にセットされる
（２４）または（２５）に記載の画像処理装置。
（２７） 色差の前記セカンダリ変換識別子の値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、輝度と色差とで予測モードが一致するイントラ予測である場合、輝度の前記セカンダリ変換識別子の値にセットされ、前記符号化ブロックの予測タイプが、輝度と色差とで予測モードが一致しないイントラ予測である場合、ビットストリームが復号されて得られる色差の前記セカンダリ変換識別子の値にセットされる
（２４）乃至（２６）のいずれかに記載の画像処理装置。
（２８） 色差の前記セカンダリ変換識別子の値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、予測モードがイントラブロックコピーのイントラ予測である場合、輝度の前記セカンダリ変換識別子の値にセットされ、前記符号化ブロックの予測タイプが、予測モードがイントラブロックコピーでないイントラ予測である場合、ビットストリームが復号されて得られる色差の前記セカンダリ変換識別子の値にセットされる
（２４）乃至（２７）のいずれかに記載の画像処理装置。
（２９） 色差の前記セカンダリ変換識別子の値は、色差の前記セカンダリ変換識別子を輝度の前記セカンダリ変換識別子に基づいて推定するかを示す色差セカンダリ変換識別情報推定フラグが真の場合、輝度の前記セカンダリ変換識別子の値にセットされ、前記色差セカンダリ変換識別情報推定フラグが偽の場合、ビットストリームが復号されて得られる色差の前記セカンダリ変換識別子の値にセットされる
（２４）乃至（２８）のいずれかに記載の画像処理装置。
（３０） 輝度の逆直交変換に関する情報に基づいて導出された色差の逆直交変換に関する情報を用いて、色差の前記逆直交変換を行う
画像処理方法。
（３１） 輝度の直交変換に関する情報に基づいて導出された色差の直交変換に関する情報を用いて、色差の前記直交変換を行う直交変換部
を備える画像処理装置。
（３２） 前記直交変換に関する情報は、処理対象の変換ブロックにおいて、複数の異なる直交変換の中からいずれかを適応的に選択してプライマリ変換として用いる適応プライマリ変換を適用するかを示す適応プライマリ変換フラグを含む
（３１）に記載の画像処理装置。
（３３） 色差の前記適応プライマリ変換フラグの値は、輝度の前記適応プライマリ変換フラグの値にセットされる
（３２）に記載の画像処理装置。
（３４） 前記直交変換に関する情報は、垂直方向および水平方向のプライマリ変換にどのプライマリ変換を適用するかを示すプライマリ変換識別子を含む
（３３）に記載の画像処理装置。
（３５） 色差の前記プライマリ変換識別子の値は、色差の前記適応プライマリ変換フラグが真の場合、輝度の前記プライマリ変換識別子の値にセットされ、色差の前記適応プライマリ変換フラグが偽の場合、所定値にセットされる
（３４）に記載の画像処理装置。
（３６） 前記直交変換部は、前記直交変換として、プライマリ変換を行う
（３５）に記載の画像処理装置。
（３７） 前記直交変換部は、前記直交変換として、水平方向の前記プライマリ変換であるプライマリ水平変換と、垂直方向の前記プライマリ変換であるプライマリ垂直変換を行う
（３６）に記載の画像処理装置。
（３８） 色差の前記プライマリ水平変換の変換タイプ、および、色差の前記プライマリ垂直変換の変換タイプは、それぞれ、色差の前記適応プライマリ変換フラグの値に応じた方法で導出される
（３７）に記載の画像処理装置。
（３９） 前記色差の前記適応プライマリ変換フラグが真の場合、
予測モード情報に基づいて、プライマリ水平変換の変換セットとプライマリ垂直変換の変換セットとが選択され、
前記色差のプライマリ変換識別子からプライマリ水平変換指定フラグとプライマリ垂直変換フラグとが導出され、
前記プライマリ水平変換セットと前記プライマリ水平変換指定フラグとに基づいて、色差の前記プライマリ水平変換の変換タイプが選択され、
前記プライマリ垂直変換セットと前記プライマリ垂直変換指定フラグとに基づいて、色差の前記プライマリ垂直変換の変換タイプが選択される
（３８）に記載の画像処理装置。
（４０） 前記色差の前記適応プライマリ変換フラグが偽の場合、
色差の前記プライマリ水平変換の変換タイプとして所定の変換タイプが選択され、
色差の前記プライマリ垂直変換の変換タイプとして所定の変換タイプが選択される
（３８）または（３９）に記載の画像処理装置。
（４１） 色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされ、前記符号化ブロックの予測タイプがイントラ予測である場合、偽にセットされる
（３２）乃至（４０）のいずれかに記載の画像処理装置。
（４２） 色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、予測モードがイントラブロックコピーのイントラ予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされ、前記符号化ブロックの予測タイプが、予測モードがイントラブロックコピーでないイントラ予測である場合、偽にセットされる
（３２）乃至（４１）のいずれかに記載の画像処理装置。
（４３） 色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、輝度と色差とで予測モードが一致するイントラ予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされ、前記符号化ブロックの予測タイプが、輝度と色差とで予測モードが一致しないイントラ予測である場合、偽にセットされる
（３２）乃至（４２）のいずれかに記載の画像処理装置。
（４４） 色差の前記適応プライマリ変換フラグの値は、色差の前記適応プライマリ変換フラグを輝度の前記適応プライマリ変換フラグに基づいて推定するかを示す色差適応プライマリ変換情報推定フラグが真の場合、輝度の前記適応プライマリ変換フラグの値にセットされ、前記色差適応プライマリ変換情報推定フラグが偽の場合、偽にセットされる
（３２）乃至（４３）のいずれかに記載の画像処理装置。
（４５） 処理対象コンポーネントが色差であり、輝度の前記適応プライマリ変換フラグが真であり、変換量子化バイパスフラグが偽であり、かつ、変換スキップフラグが偽の場合、前記色差適応プライマリ変換情報推定フラグは符号化される
（４４）に記載の画像処理装置。
（４６） 色差の前記適応プライマリ変換フラグの値は、色差の処理対象の変換ブロックの短辺のサイズが所定の閾値以上の場合、輝度の前記適応プライマリ変換フラグの値にセットされ、前記変換ブロックの短辺のサイズが前記閾値未満の場合、偽にセットされる
（３２）乃至（４５）のいずれかに記載の画像処理装置。
（４７） 前記直交変換部は、前記直交変換として、水平方向のプライマリ変換であるプライマリ水平変換と、垂直方向のプライマリ変換であるプライマリ垂直変換を行うように構成され、
前記プライマリ水平変換の変換タイプは、色差の処理対象の変換ブロックの横幅のサイズが所定の閾値以下の場合、所定の変換タイプにセットされ、前記変換ブロックの横幅のサイズが前記閾値よりも大きい場合、水平変換セットおよびプライマリ水平変換指定フラグに基づいてセットされ、
前記プライマリ垂直変換の変換タイプは、色差の処理対象の変換ブロックの縦幅のサイズが所定の閾値以下の場合、所定の変換タイプにセットされ、前記変換ブロックの縦幅のサイズが前記閾値よりも大きい場合、垂直変換セットおよびプライマリ垂直変換指定フラグに基づいてセットされる
（３１）乃至（４６）のいずれかに記載の画像処理装置。
（４８） 前記直交変換に関する情報は、直交変換処理をスキップするかを示す変換スキップフラグを含む
（３１）乃至（４７）のいずれかに記載の画像処理装置。
（４９） 色差の前記変換スキップフラグの値は、輝度の前記変換スキップフラグの値にセットされる
（４８）に記載の画像処理装置。
（５０） 色差の前記変換スキップフラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、輝度の前記変換スキップフラグの値にセットされ、前記符号化ブロックの予測タイプがイントラ予測である場合、任意の値にセットされ、かつ、符号化される
（４８）または（４９）に記載の画像処理装置。
（５１） 色差の前記変換スキップフラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、輝度と色差とで予測モードが一致するイントラ予測である場合、輝度の前記変換スキップフラグの値にセットされ、前記符号化ブロックの予測タイプが、輝度と色差とで予測モードが一致しないイントラ予測である場合、任意の値にセットされ、かつ、符号化される
（４８）乃至（５０）のいずれかに記載の画像処理装置。
（５２） 色差の前記変換スキップフラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、予測モードがイントラブロックコピーのイントラ予測である場合、輝度の前記変換スキップフラグの値にセットされ、前記符号化ブロックの予測タイプが、予測モードがイントラブロックコピーでないイントラ予測である場合、任意の値にセットされ、かつ、符号化される
（４８）乃至（５１）のいずれかに記載の画像処理装置。
（５３） 色差の前記変換スキップフラグの値は、色差の前記変換スキップフラグを輝度の前記変換スキップフラグに基づいて推定するかを示す色差変換スキップ情報推定フラグが真の場合、輝度の前記変換スキップフラグの値にセットされ、前記色差変換スキップ情報推定フラグが偽の場合、任意の値にセットされ、かつ、符号化される
（４８）乃至（５２）のいずれかに記載の画像処理装置。
（５４） 前記直交変換に関する情報は、どのセカンダリ変換を適用するかを示すセカンダリ変換識別子を含む
（３１）乃至（５３）のいずれかに記載の画像処理装置。
（５５） 色差の前記セカンダリ変換識別子の値は、輝度の前記セカンダリ変換識別子の値にセットされる
（５４）に記載の画像処理装置。
（５６） 色差の前記セカンダリ変換識別子の値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、輝度の前記セカンダリ変換識別子の値にセットされ、前記符号化ブロックの予測タイプがイントラ予測である場合、任意の値にセットされ、かつ、符号化される
（５４）または（５５）に記載の画像処理装置。
（５７） 色差の前記セカンダリ変換識別子の値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、輝度と色差とで予測モードが一致するイントラ予測である場合、輝度の前記セカンダリ変換識別子の値にセットされ、前記符号化ブロックの予測タイプが、輝度と色差とで予測モードが一致しないイントラ予測である場合、任意の値にセットされ、かつ、符号化される
（５４）乃至（５６）のいずれかに記載の画像処理装置。
（５８） 色差の前記セカンダリ変換識別子の値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、予測モードがイントラブロックコピーのイントラ予測である場合、輝度の前記セカンダリ変換識別子の値にセットされ、前記符号化ブロックの予測タイプが、予測モードがイントラブロックコピーでないイントラ予測である場合、任意の値にセットされ、かつ、符号化される
（５４）乃至（５７）のいずれかに記載の画像処理装置。
（５９） 色差の前記セカンダリ変換識別子の値は、色差の前記セカンダリ変換識別子を輝度の前記セカンダリ変換識別子に基づいて推定するかを示す色差セカンダリ変換識別情報推定フラグが真の場合、輝度の前記セカンダリ変換識別子の値にセットされ、前記色差セカンダリ変換識別情報推定フラグが偽の場合、任意の値にセットされ、かつ、符号化される
（５４）乃至（５８）のいずれかに記載の画像処理装置。
（６０） 輝度の直交変換に関する情報に基づいて導出された色差の直交変換に関する情報を用いて、色差の前記直交変換を行う
画像処理方法。
１００ 画像復号装置， １１１ 復号部， １１２ 逆量子化部， １１３ 逆変換部， １１４ 演算部， １１５ フレームメモリ， １１６ 予測部， １２１ スイッチ， １２２ 逆セカンダリ変換部， １２３ 逆プライマリ変換部， １３１ 色差適応プライマリ変換情報導出部， １３２ 逆プライマリ変換選択部， １３３ 逆プライマリ垂直変換部， １３４ 逆プライマリ水平変換部， １５１ apt_flag導出部， １５２ pt_idx導出部， ４００ 画像符号化装置， ４１１ 制御部， ４１２ 演算部， ４１３ 変換部， ４１４ 量子化部， ４１５ 符号化部， ４１６ 逆量子化部， ４１７ 逆変換部， ４１８ 演算部， ４１９ フレームメモリ， ４２０ 予測部， ４３１ スイッチ， ４３２ プライマリ変換部， ４３３ セカンダリ変換部， ４４１ 色差適応プライマリ変換情報導出部， ４４２ プライマリ変換選択部， ４４３ プライマリ水平変換部， ４４４ プライマリ垂直変換部， ４５１ apt_flag導出部， ４５２ pt_idx導出部

Claims (15)

  1. 輝度の逆直交変換に関する情報に基づいて導出された色差の逆直交変換に関する情報を用いて、色差の前記逆直交変換を行う逆直交変換部を備え、
    前記逆直交変換に関する情報は、
    複数の異なる逆直交変換の中からいずれかを適応的に選択して逆プライマリ変換として用いる適応逆プライマリ変換を適用するかを示す適応プライマリ変換フラグと、
    垂直方向および水平方向の逆プライマリ変換にどの逆プライマリ変換を適用するかを示すプライマリ変換識別子と
    を含み、
    色差の前記適応プライマリ変換フラグの値には、輝度の前記適応プライマリ変換フラグの値がセットされ、
    色差の前記適応プライマリ変換フラグが真の場合、色差の前記プライマリ変換識別子の値には、輝度の前記プライマリ変換識別子の値がセットされる
    画像処理装置。
  2. 色差の前記適応プライマリ変換フラグが偽の場合、色差の前記プライマリ変換識別子の値には、所定値がセットされる
    請求項１に記載の画像処理装置。
  3. 前記逆直交変換部は、前記逆直交変換として、逆プライマリ変換を行う
    請求項１に記載の画像処理装置。
  4. 前記逆直交変換部は、前記逆直交変換として、水平方向の前記逆プライマリ変換である逆プライマリ水平変換と、垂直方向の前記逆プライマリ変換である逆プライマリ垂直変換を行う
    請求項３に記載の画像処理装置。
  5. 色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされる
    請求項１に記載の画像処理装置。
  6. 色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、予測モードがイントラブロックコピーのイントラ予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされる
    請求項１に記載の画像処理装置。
  7. 色差の前記適応プライマリ変換フラグの値は、処理対象の変換ブロックが属する符号化ブロックの予測タイプがインター予測であるか、または、輝度と色差とで予測モードが一致するイントラ予測である場合、輝度の前記適応プライマリ変換フラグの値にセットされる
    請求項１に記載の画像処理装置。
  8. 色差の前記適応プライマリ変換フラグの値は、色差の前記適応プライマリ変換フラグを輝度の前記適応プライマリ変換フラグに基づいて推定するかを示す色差適応プライマリ変換情報推定フラグが真の場合、輝度の前記適応プライマリ変換フラグの値にセットされる
    請求項１に記載の画像処理装置。
  9. 色差の前記適応プライマリ変換フラグの値は、色差の処理対象の変換ブロックの短辺のサイズが所定の閾値以上の場合、輝度の前記適応プライマリ変換フラグの値にセットされる
    請求項１に記載の画像処理装置。
  10. 前記逆直交変換部は、前記逆直交変換として、水平方向の逆プライマリ変換である逆プライマリ水平変換と、垂直方向の逆プライマリ変換である逆プライマリ垂直変換を行うように構成され、
    前記逆プライマリ水平変換の変換タイプは、色差の処理対象の変換ブロックの横幅のサイズが所定の閾値よりも大きい場合、水平変換セットおよびプライマリ水平変換指定フラグに基づいてセットされ、
    前記逆プライマリ垂直変換の変換タイプは、色差の処理対象の変換ブロックの縦幅のサイズが所定の閾値よりも大きい場合、垂直変換セットおよびプライマリ垂直変換指定フラグに基づいてセットされる
    請求項１に記載の画像処理装置。
  11. 前記逆直交変換に関する情報は、逆直交変換処理をスキップするかを示す変換スキップフラグを含む
    請求項１に記載の画像処理装置。
  12. 色差の前記変換スキップフラグの値は、輝度の前記変換スキップフラグの値にセットされる
    請求項１１に記載の画像処理装置。
  13. 前記逆直交変換に関する情報は、どの逆セカンダリ変換を適用するかを示すセカンダリ変換識別子を含む
    請求項１に記載の画像処理装置。
  14. 色差の前記セカンダリ変換識別子の値は、輝度の前記セカンダリ変換識別子の値にセットされる
    請求項１３に記載の画像処理装置。
  15. 色差の、複数の異なる逆直交変換の中からいずれかを適応的に選択して逆プライマリ変換として用いる適応逆プライマリ変換を適用するかを示す適応プライマリ変換フラグの値に、輝度の前記適応プライマリ変換フラグの値をセットし、
    色差の前記適応プライマリ変換フラグが真の場合、色差の、垂直方向および水平方向の逆プライマリ変換にどの逆プライマリ変換を適用するかを示すプライマリ変換識別子の値に、輝度の前記プライマリ変換識別子の値をセットし、
    色差の前記適応プライマリ変換フラグおよび色差の前記プライマリ変換識別子を含む色差の逆直交変換に関する情報を用いて、色差の前記逆直交変換を行う
    画像処理方法。
JP2018559044A 2016-12-28 2017-12-15 画像処理装置および方法 Active JP7067487B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016256732 2016-12-28
JP2016256732 2016-12-28
PCT/JP2017/045042 WO2018123644A1 (ja) 2016-12-28 2017-12-15 画像処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2018123644A1 JPWO2018123644A1 (ja) 2019-11-21
JP7067487B2 true JP7067487B2 (ja) 2022-05-16

Family

ID=62708047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018559044A Active JP7067487B2 (ja) 2016-12-28 2017-12-15 画像処理装置および方法

Country Status (10)

Country Link
US (2) US20210243475A1 (ja)
EP (1) EP3565249A4 (ja)
JP (1) JP7067487B2 (ja)
KR (1) KR102476148B1 (ja)
CN (1) CN110100438B (ja)
AU (1) AU2017387752B2 (ja)
BR (1) BR112019012707A2 (ja)
CA (1) CA3041856A1 (ja)
RU (1) RU2759052C2 (ja)
WO (1) WO2018123644A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019017066A (ja) * 2017-07-03 2019-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
CN115278239A (zh) * 2017-12-28 2022-11-01 松下电器（美国）知识产权公司 编码装置、解码装置和存储介质
CN110839158B (zh) * 2018-08-16 2023-03-10 北京字节跳动网络技术有限公司 变换矩阵选择的系数相关的编解码
KR102534160B1 (ko) * 2018-09-02 2023-05-26 엘지전자 주식회사 다중 변환 선택에 기반한 영상 코딩 방법 및 그 장치
CN112806018A (zh) 2018-10-05 2021-05-14 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
KR102472944B1 (ko) * 2018-10-05 2022-12-01 엘지전자 주식회사 변환 계수 코딩 방법 및 그 장치
CN113170147B (zh) * 2018-12-04 2023-04-18 华为技术有限公司 视频编码器、视频解码器、及对应方法
WO2020130569A1 (ko) 2018-12-20 2020-06-25 주식회사 엘지화학 디엔계 고무 라텍스, 이의 제조방법 및 이를 포함하는 코어-쉘 구조의 그라프트 공중합체
WO2020216176A1 (en) * 2019-04-20 2020-10-29 Beijing Bytedance Network Technology Co., Ltd. Signaling of chroma syntax elements in video coding
CN113711597B (zh) * 2019-04-23 2022-11-25 北京字节跳动网络技术有限公司 上下文建模和多重变换矩阵的选择
CN115567707A (zh) 2019-05-30 2023-01-03 抖音视界有限公司 色度分量的自适应环路滤波
AU2019232801A1 (en) * 2019-09-17 2021-04-01 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a block of video samples
CN114982232A (zh) * 2019-12-26 2022-08-30 日本放送协会 编码装置、解码装置和程序
EP4082194A1 (en) * 2019-12-27 2022-11-02 Interdigital VC Holdings France Transform coding for inter-predicted video data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014523175A (ja) 2011-06-27 2014-09-08 ブリティッシュ・ブロードキャスティング・コーポレーション 変換を用いたビデオの符号化および復号
WO2017165391A1 (en) 2016-03-21 2017-09-28 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6295376B1 (en) * 1997-06-09 2001-09-25 Hitachi, Ltd. Image sequence coding method and decoding method
JP3887178B2 (ja) * 2001-04-09 2007-02-28 株式会社エヌ・ティ・ティ・ドコモ 信号符号化方法及び装置並びに復号方法及び装置
EP2508000A1 (en) * 2009-12-04 2012-10-10 Thomson Licensing Methods and apparatus for improved chroma transforms for inter frames in video encoding and decoding
JP2011259205A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号化装置およびその方法とプログラム
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5707261B2 (ja) * 2011-07-12 2015-04-22 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
CN106899847B (zh) * 2011-10-17 2019-12-27 株式会社东芝 电子装置和解码方法
WO2013058583A1 (ko) * 2011-10-18 2013-04-25 주식회사 케이티 영상 부호화 방법, 영상 복호화 방법, 영상 부호화기 및 영상 복호화기
EP2793468A4 (en) * 2011-12-15 2015-09-02 Tagivan Ii Llc PICTURE CODING METHOD, PICTURE DECODING METHOD, PICTURE CODING DEVICE, IMAGE DECODING DEVICE, AND PICTURE CODING / DECODING DEVICE
AU2012232992A1 (en) * 2012-09-28 2014-04-17 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding the transform units of a coding unit
US20150016516A1 (en) * 2013-07-15 2015-01-15 Samsung Electronics Co., Ltd. Method for intra prediction improvements for oblique modes in video coding
AU2014202921B2 (en) * 2014-05-29 2017-02-02 Canon Kabushiki Kaisha Method, apparatus and system for de-blocking a block of video samples
CN107211146A (zh) * 2014-11-21 2017-09-26 Vid拓展公司 一维变换模式和系数扫描顺序
CN107005692B (zh) * 2014-11-27 2020-11-17 株式会社Kt 对视频信号进行解码或编码的方法及设备
US10306229B2 (en) * 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
WO2016209125A1 (en) * 2015-06-23 2016-12-29 Telefonaktiebolaget Lm Ericsson (Publ) Methods and arrangements for transcoding
WO2017051072A1 (en) * 2015-09-23 2017-03-30 Nokia Technologies Oy A method, an apparatus and a computer program product for coding a 360-degree panoramic video

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014523175A (ja) 2011-06-27 2014-09-08 ブリティッシュ・ブロードキャスティング・コーポレーション 変換を用いたビデオの符号化および復号
WO2017165391A1 (en) 2016-03-21 2017-09-28 Qualcomm Incorporated Using luma information for chroma prediction with separate luma-chroma framework in video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHEN, Jianle et al.，Algorithm Description of Joint Exploration Test Model 4，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15-21 October 2016, [JVET-D1001_v3]，JVET-D1001 (version 3)，ITU-T，2016年11月19日，JVET-D1001-v3.zip: JVET-D1001_V3.docx: pp. 22-26
CHOI, Kiho et al.，Adaptive Multiple Transform for Chroma，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: San Diego, USA, 20-26 February 2016, [JVET-B0033]，JVET-B0033 (version 4)，ITU-T，2016年02月21日，JVET-B0033-v4.zip: JVET-B0033_v2.doc: pp. 1-3
SEREGIN, Vadim et al.，EE2: Grouped signalling for transform，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Chengdu, CN, 15-21 October 2016, [JVET-D0112r1]，JVET-D0112 (version 2)，ITU-T，2016年10月12日，JVET-D0112-v2.zip: JVET-D0112_r1.doc: pp. 1-4

Also Published As

Publication number Publication date
RU2019119077A (ru) 2020-12-21
AU2017387752B2 (en) 2022-08-25
CN110100438B (zh) 2022-04-15
US20210243475A1 (en) 2021-08-05
CN110100438A (zh) 2019-08-06
EP3565249A1 (en) 2019-11-06
CA3041856A1 (en) 2018-07-05
BR112019012707A2 (pt) 2019-11-19
KR102476148B1 (ko) 2022-12-12
JPWO2018123644A1 (ja) 2019-11-21
EP3565249A4 (en) 2019-12-18
US20220394299A1 (en) 2022-12-08
AU2017387752A1 (en) 2019-07-11
KR20190099410A (ko) 2019-08-27
WO2018123644A1 (ja) 2018-07-05
RU2019119077A3 (ja) 2021-04-05
RU2759052C2 (ru) 2021-11-09

Similar Documents

Publication Publication Date Title
JP7067487B2 (ja) 画像処理装置および方法
JP7384247B2 (ja) 画像処理装置および方法
JP6822470B2 (ja) 画像処理装置および方法
JP6911856B2 (ja) 画像処理装置および方法
WO2018061837A1 (ja) 画像処理装置および方法
WO2018173798A1 (ja) 画像処理装置および方法
KR20200051596A (ko) 화상 처리 장치 및 방법
JP7001968B2 (ja) 画像処理装置および方法
WO2018037949A1 (ja) 画像処理装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201027

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R151 Written notification of patent or utility model registration

Ref document number: 7067487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151