WO2020100833A1 - 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 - Google Patents

動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 Download PDF

Info

Publication number
WO2020100833A1
WO2020100833A1 PCT/JP2019/044195 JP2019044195W WO2020100833A1 WO 2020100833 A1 WO2020100833 A1 WO 2020100833A1 JP 2019044195 W JP2019044195 W JP 2019044195W WO 2020100833 A1 WO2020100833 A1 WO 2020100833A1
Authority
WO
WIPO (PCT)
Prior art keywords
tile
group
decoding
unit
ctu
Prior art date
Application number
PCT/JP2019/044195
Other languages
English (en)
French (fr)
Inventor
瑛一 佐々木
中條　健
将伸 八杉
知宏 猪飼
友子 青野
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2020100833A1 publication Critical patent/WO2020100833A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Definitions

  • An aspect of the present invention relates to a moving image decoding device and a moving image encoding device.
  • a moving image encoding device that generates encoded data by encoding the moving image, and a moving image that generates a decoded image by decoding the encoded data
  • An image decoding device is used.
  • moving image encoding methods include H.264 / AVC and HEVC (High-Efficiency Video Coding).
  • images (pictures) that make up a moving image are slices obtained by dividing the image, and coding tree units (CTU: Coding Tree Unit) obtained by dividing the slices. ), A coding unit obtained by dividing the coding tree unit (also referred to as a coding unit (Coding Unit: CU)), and a transform unit (TU: obtained by dividing the coding unit). It is managed by a hierarchical structure consisting of Transform Units) and is encoded / decoded for each CU.
  • CTU Coding Tree Unit
  • a predicted image is usually generated based on a locally decoded image obtained by notifying the input image, and the predicted image is subtracted from the input image (original image).
  • the resulting prediction error (sometimes called a "difference image” or "residual image”) is encoded.
  • inter prediction inter prediction
  • intra-screen prediction intra prediction
  • Non-Patent Document 1 is cited as a technique for moving image encoding and decoding in recent years, and in the future, it is planned to support tile groups that are substreams that combine multiple tiles into one.
  • Non-Patent Document 2 discloses a tile group technique, and a specific syntax example of a tile group is disclosed in Non-Patent Document 3.
  • HEVC supports tiles that divide the picture into rectangles, wavefront parallel processing (WavefrontParallelProcessing, WPP) that divides the picture into CTU rows, and slices that divide into a set of consecutive CTUs.
  • WPP wavefrontParallelProcessing
  • the processing becomes complicated because the use of tiles, wavefronts, and slices is not exclusive.
  • the entry point indicating the start position of encoded data is encoded in picture units.
  • the screen cannot be encoded in units of divided groups.
  • Non-Patent Document 2 and Non-Patent Document 3 it is possible to notify tiles in group units, but wavefront parallel processing that achieves high parallelism with high efficiency and arbitrary positions other than rectangles
  • wavefront parallel processing that achieves high parallelism with high efficiency and arbitrary positions other than rectangles
  • the type of segment cannot be switched in tile group units.
  • Non-Patent Document 2 and Non-Patent Document 3 define the tile division method in picture units, the width and height of tiles cannot be changed in picture group units.
  • the present invention has been made in view of the above problems, and its object is to simplify the encoding process and the decoding process by exclusively using tiles, wavefronts, and slices in a tile group. , To improve efficiency. In addition, the width and height of tiles are changed for each picture group.
  • a moving picture decoding apparatus is a moving picture that decodes coded data of a tile group formed by dividing a picture into one or more rectangular areas and including one or more segments.
  • the number of tiles in the target tile group indicating whether the segment in the target tile group is a rectangular tile, a CTU row with a CTU height, or a slice in CTU units, a WPP valid flag, and a slice valid flag
  • the header decoding unit decodes only one of the number of tiles of 2 or more, the WPP valid flag is 1, and the slice valid flag is 1 in one tile group. It is characterized by doing.
  • FIG. 1 It is a schematic diagram showing the composition of the image transmission system concerning this embodiment. It is the figure which showed the structure of the transmission apparatus which mounts the moving image encoding apparatus which concerns on this embodiment, and the receiving apparatus which mounts the moving image decoding apparatus.
  • (a) shows a transmitter equipped with a moving picture coding device
  • (b) shows a receiver equipped with a moving picture decoding device.
  • (a) shows a recording device equipped with a moving image encoding device
  • (b) shows a reproducing device equipped with a moving image decoding device.
  • FIG. 1 is a schematic diagram showing the configuration of the image transmission system 1 according to the present embodiment.
  • the image transmission system 1 is a system that transmits an encoded stream obtained by encoding an encoding target image, decodes the transmitted encoded stream, and displays an image.
  • the image transmission system 1 is configured to include a moving image encoding device (image encoding device) 11, a network 21, a moving image decoding device (image decoding device) 31, and a moving image display device (image display device) 41. ..
  • the image T is input to the moving image encoding device 11.
  • the network 21 transmits the encoded stream Te generated by the moving image encoding device 11 to the moving image decoding device 31.
  • the network 21 is the Internet, a wide area network (WAN: Wide Area Network), a small network (LAN: Local Area Network), or a combination thereof.
  • the network 21 is not necessarily a bidirectional communication network, but may be a unidirectional communication network that transmits broadcast waves such as terrestrial digital broadcasting and satellite broadcasting. Further, the network 21 may be replaced with a storage medium such as a DVD (Digital Versatile Disc: registered trademark) or a BD (Blue-ray Disc: registered trademark) that records an encoded stream Te.
  • the moving image decoding device 31 decodes each of the encoded streams Te transmitted by the network 21 and generates one or a plurality of decoded images Td.
  • the moving image display device 41 displays all or part of one or a plurality of decoded images Td generated by the moving image decoding device 31.
  • the moving image display device 41 includes a display device such as a liquid crystal display or an organic EL (Electro-luminescence) display.
  • the form of the display includes stationary, mobile, HMD and the like.
  • the video decoding device 31 has high processing capability, it displays an image with high image quality, and when it has only lower processing capability, it displays an image that does not require high processing capability or display capability. ..
  • X? Y: z is a ternary operator that takes y when x is true (other than 0) and z when x is false (0).
  • Abs (a) is a function that returns the absolute value of a.
  • Int (a) is a function that returns the integer value of a.
  • Floor (a) is a function that returns the largest integer less than or equal to a.
  • Ceil (a) is a function that returns the smallest integer greater than or equal to a.
  • a / d represents division of a by d (rounding down after the decimal point).
  • FIG. 4 is a diagram showing a hierarchical structure of data in the encoded stream Te.
  • the coded stream Te illustratively includes a sequence and a plurality of pictures forming the sequence.
  • 4 (a) to 4 (f) respectively show a coded video sequence that defines the sequence SEQ, a coded picture that defines the picture PICT, a coded tile group that defines a tile group, and a segment that defines a tile (for example, code
  • FIG. 5 is a diagram showing a coding tile, a CTU row, a slice), a coding tree unit included in a segment, and a coding unit included in the coding tree unit.
  • the encoded video sequence In the encoded video sequence, a set of data referred to by the moving picture decoding apparatus 31 in order to decode the sequence SEQ to be processed is defined. As shown in FIG. 4A, the sequence SEQ includes a sequence parameter set SPS (Sequence Parameter Set), a picture parameter set PPS (Picture Parameter Set), a picture PICT, and supplemental enhancement information SEI (Supplemental Enhancement Information). I'm out.
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • SEI Supplemental Enhancement Information
  • the sequence parameter set SPS defines a set of coding parameters that the moving image decoding apparatus 31 refers to in order to decode the target sequence. For example, information about the width, height, and shape of the picture and information about on / off of the decoding tool are specified. There may be a plurality of SPSs. In that case, one of the plurality of SPSs is selected from the PPS.
  • the picture parameter set PPS defines a set of coding parameters that the video decoding device 31 refers to in order to decode each picture in the target sequence.
  • the information includes the number of tiles forming a picture, the width, and the height.
  • the picture PICT includes tile group 0 to tile group NTG-1 (NTG is the total number of tiles included in the picture PICT).
  • a segment is a unit for dividing and transmitting a picture, and is encoded and decoded as a byte-aligned bit string on encoded data.
  • -Tiles, CTU rows, and slices are segments for dividing a picture and transmitting it.
  • a segment group is a group of segments that is a set of CTUs and may be called a segment group.
  • Each segment is a unit having the following characteristics and can be decoded in parallel.
  • -Corresponds to a set of CTUs on the screen-Aligned in byte units on encoded data-CABAC initialization is performed at the beginning of a segment-Prediction can be restricted between segments within the same picture (other segments Reference can be restricted)
  • the restriction of prediction is a restriction that intra prediction is not performed using an image of a tile different from the target tile.
  • intra prediction using an image of a slice different from the target slice is restricted.
  • the segment is WPP
  • some intra prediction using the image of the CTU line different from the target CTU line is permitted.
  • the CTU line above the target CTU line can be referenced.
  • the reference may be turned on / off by a flag.
  • the tile group (segment group) has the effect of improving the encoding efficiency by encoding the header common to the segment only once in the segment.
  • Figure 5 is a diagram that divides a picture into four tile groups TileGr0 to TileGr3.
  • the tile group can be further divided into one or more segments.
  • the numbers after TileGr (0 to 3 in the figure) are tile group identifiers and are set in raster scan order from the upper left to the lower right of the picture.
  • the tile group identifier is a value that differs for each tile group, and is a value that monotonically increases in the scan order.
  • FIG. 6A is a diagram for explaining tile addresses when the segment is a tile.
  • the number after the tile Tile in the figure is the address of the tile in the picture (TileAddrInPic).
  • TileAddrInPic is set in the raster scan order from the upper left of the picture to the lower right.
  • the tile group TileGr0 in the figure includes tiles Tile0, Tile1, Tile4, and Tile5.
  • TileGr1 includes Tile2, Tile3, Tile6, Tile7.
  • TileGr2 includes Tile8 and Tile9.
  • TileGr3 includes Tile10 and Tile11.
  • FIG. 6 (b) is another diagram for explaining the tile address when the segment is a tile.
  • the number after the tile Tile in the figure is the address (TileAddrInTG) of the tile in the tile group.
  • TileAddrInTG is set in raster scan order from the upper left to the lower right of the tile group.
  • the tile group TileGr0 in the figure includes tiles Tile0, Tile1, Tile2, and Tile3.
  • TileGr1 includes Tile4, Tile5, Tile6, Tile7.
  • TileGr2 includes Tile8 and Tile9.
  • TileGr3 includes Tile10 and Tile11.
  • tile addresses are continuous within the tile group.
  • the coded tile group defines a set of data that the moving image decoding apparatus 31 refers to in order to decode the tile group to be processed.
  • the tile group includes a tile group header and tile group data, as shown in FIG. 4 (c). Further, trailing data for byte alignment (rbsp_tile_group_trailing_bits) may be included after the tile group data.
  • FIG. 7 is a flowchart for explaining the encoding or decoding of the tile group according to this embodiment. The components that execute each step are described in FIGS. 9 and 24, and will be described later.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode the tile group header.
  • S2002 The CT information encoding unit 1111 and the CT information decoding unit 3021 encode or decode tile group data.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode the trailing data.
  • the trailing data may include a bit string for byte alignment.
  • a bit string indicating a delimiter may be included after the byte alignment.
  • the tile group header contains a group of encoding parameters for determining the decoding method of the target tile group and parameters common to the tiles of the tile group.
  • the tile group data is composed of encoded data of one or more segments included in the tile group.
  • the segment consists of CTUs. If the segment is a tile, the tile group data consists of one or more coded tiles.
  • the tile group header may include tile group type designation information (tile_group_type).
  • Tile group types that can be designated by the tile group type designation information include (1) an I tile group that uses only intra prediction during encoding, (2) unidirectional prediction, or intra prediction during encoding. P tile group, (3) B tile group that uses unidirectional prediction, bidirectional prediction, or intra prediction at the time of encoding, and the like.
  • inter prediction is not limited to uni-prediction and bi-prediction, and a larger number of reference pictures may be used to generate a prediction image.
  • the P and B tile groups are referred to as tile groups including blocks that can use inter prediction.
  • tile group header may include a reference (pic_parameter_set_id) to the picture parameter set PPS.
  • the coded tile defines a set of data that the moving image decoding apparatus 31 refers to in order to decode the tile to be processed.
  • the tile contains a CTU as shown in Figure 4 (d).
  • the CTU is a block of a fixed size (for example, 128x128) that configures a tile, and is sometimes referred to as a maximum coding unit (LCU).
  • FIG. 8A is an example in which the tile group TileGr0 is divided into a plurality of tiles Tile0 to Tile3 (thick solid rectangles).
  • a tile is a rectangular segment composed of one or more CTUs.
  • the address of each CTU (CTU address ctbAddrTs in tile scan order) is set in the raster scan order from the upper left to the lower right of each tile.
  • Figure 8 (b) is an example of dividing a tile group into multiple CTU lines.
  • a CTU line is a segment composed of a set of one CTU (height is CTU height, width is segment width). As described below, the CTU line segment is used in WPP.
  • Figure 8 (c) is an example of dividing a tile group into a set of continuous CTUs.
  • a slice is a segment composed of a set of CTUs in encoding and decoding order.
  • CTU is the basic coding process by recursive quadtree partitioning (QT (Quad Tree) partitioning), binary tree partitioning (BT (Binary Tree) partitioning), or ternary tree partitioning (TT (Ternary Tree) partitioning) It is divided into coding units CU, which are the basic units.
  • the BT partition and the TT partition are collectively called a multi-tree partition (MT (Multi Tree) partition).
  • MT Multi Tree
  • a tree-structured node obtained by recursive quadtree partitioning is called a coding node.
  • Intermediate nodes of the quadtree, the binary tree, and the ternary tree are coding nodes, and the CTU itself is also defined as the uppermost coding node.
  • a set of data referred to by the video decoding device 31 for decoding the encoding unit to be processed is defined.
  • the CU is composed of a CU header, a prediction parameter, a transform parameter, a quantized transform coefficient, and the like.
  • the prediction mode etc. are specified in the CU header.
  • the moving image decoding device 31 includes a parameter decoding unit (prediction image decoding device) 302, a loop filter 305, a reference picture memory 306, a prediction parameter memory 307, a prediction image generation unit (prediction image generation device) 308, inverse quantization / inverse transformation. It is configured to include a unit 311 and an addition unit 312. It should be noted that there is a configuration in which the moving image decoding device 31 does not include the loop filter 305 in accordance with the moving image encoding device 11 described later.
  • the parameter decoding unit 302 further includes an entropy decoding unit 301, a header decoding unit 3020, a CT information decoding unit 3021, and a CU decoding unit 3022, and the CU decoding unit 3022 further includes a TU decoding unit 3024.
  • the parameter decoding unit 302 decodes parameters such as header information, division information, prediction information, and quantized transform coefficients.
  • the entropy decoding unit 301 decodes syntax elements from binary data. More specifically, the entropy decoding unit 301 decodes a syntax element from coded data by an entropy coding method such as CABAC based on the syntax element supplied from the supplier and returns the decoded syntax element to the supplier.
  • the sources of syntax elements are the CT information decoding unit 3021 and the CU decoding unit 3022.
  • FIG. 10 is a flowchart illustrating a schematic operation of the moving picture decoding apparatus 31.
  • the header decoding unit 3020 decodes parameter set information such as SPS and PPS and tile information from encoded data.
  • tile information Information related to the number of tile divisions and size is called tile information.
  • the tile width ColWidth and height RowHeight are derived using the picture width PicWidthInCtbsY and height PicHeightInCtbsY, and the number of tiles NumTileColumns and NumTileRows in the horizontal and vertical directions in the picture.
  • the units for ColWidth, RowHeight, PicWidthInCtbsY, and PicHeightInCtbsY are CTUs.
  • the header decoding unit 3020 derives the width pic_width_in_luma_samples, the height pic_height_in_luma_samples in pixel units of the picture, and the log2_ctu_size_minus2 value obtained by subtracting 2 from the logarithmic value of the CTU size by the following formula. pic_width_in_luma_samples, pic_height_in_luma_samples, and log2_ctu_size_minus2 are notified (signaled) by sequence_parameter_set_rbsp () (referred to as SPS) in Fig. 11 (a).
  • SPS sequence_parameter_set_rbsp
  • notifying certain information means including certain information in encoded data (bitstream), the moving image encoding device encodes the information, and the moving image decoding device decodes the information. ..
  • PicWidthInCtbsY Ceil (pic_width_in_luma_samples / ctuWidth)
  • PicHeightInCtbsY Ceil (pic_height_in_luma_samples / ctuHeight)
  • the division (/) here is decimal precision.
  • the tile information may be single_tile_in_pic_flag, num_tile_columns_minus1, num_tile_rows_minus1, uniform_tile_spacing_flag, tile_column_width_minus1 [i], tile_row_height_minus1 [i].
  • single_tile_in_pic_flag is a flag indicating whether or not a picture has a plurality of tiles, and if it is 1, there is one tile in the picture, and the picture corresponds to a tile.
  • num_tile_columns_minus1 and num_tile_rows_minus1 are values obtained by subtracting 1 from the number of tiles in the picture in the horizontal and vertical directions, NumTileColumns and NumTileRows, respectively.
  • uniform_spacing_flag is a flag indicating whether or not the picture is tiled as evenly as possible.
  • the header decoding unit 3020 derives the number of tiles NumTileColumns and NumTileRows in the horizontal and vertical directions in the picture, and the total number NumTilesInPic of tiles in the picture as follows.
  • the header decoding unit 3020 may derive the tile size using the following formula.
  • RowHeight [n] (n + 1) * PicHeightInCtbsY / NumTileRows-n * PicHeightInCtbsY / NumTileRows When the value of uniform_spacing_flag is 0, the width and height of each tile of the picture are set individually.
  • the width ColWidth [m] and the height RowHeight [n] of each tile are coded for each tile.
  • the header decoding unit 3020 of the video decoding device decodes ColWidth [m] and RowHeight [n] for each tile as follows.
  • the header decoding unit 3020 decodes the tile group header (tile group information) from the encoded data.
  • FIG. 12A is a syntax showing the tile group header of the encoded tile group.
  • tile_group_pic_parameter_set_id indicates the picture parameter set identifier pps_pic_parameter_set_id of the picture including the tile group.
  • tile_group_address indicates the tile address of the first tile in the tile group, and has a value in the range of 0 to NumTilesInPic-1. The tile_group_address of tile groups included in the same picture have different values.
  • num_tiles_in_tile_group_minus1 + 1 indicates the number of tiles in the tile group.
  • tile_group_type indicates the coding type of the tile group (I tile group, P tile group, B tile group).
  • entry_point () is the syntax of the entry point, and an example is shown in FIG. 12 (b).
  • the entry point is the start address of the segment in the encoded data (for example, the offset position in byte units with the start point on the encoded data of the tile group header to which the target segment belongs or the starting point of the preceding segment as a zero point).
  • entry_point_offset_minus1 [i] +1 may be a difference value between the i + 1th entry point and the ith entry point in the encoded data.
  • the 0th entry point is the start address of the tile group header (the position of the tile group header start point, that is, the zero point) and is not notified.
  • offset_len_minus1 + 1 is the number of bits representing entry_point_offset_minus1 [i].
  • entry_point_offset_minus1 [ i] can be derived as follows.
  • the video decoding device 31 derives a decoded image of each CTU by repeating the processes of S1300 to S5000 for each CTU included in the target picture.
  • CT information decoding unit 3021 decodes the CTU from the encoded data.
  • CT (Coding Tree) information includes division information of a coding tree.
  • Fig. 12 (c) is an example of the syntax of tile group data of an encoded tile group.
  • the CTU data coding_tree_unit () of the tile group is encoded or decoded, and the segment end bit end_of_tile_one_bit having a fixed value at the end of the segment is encoded or decoded.
  • the CT information decoding unit 3021 decodes a fixed value end_of_tile_one_bit with the CTU at the tile end (lower right of the tile), and decodes the bit string byte_alignment () for byte alignment.
  • the CT information decoding unit 3021 sets tile_group_address in tileIdx.
  • tileIdx is the tile identifier
  • tile_group_address is the tile address of the first tile in the tile group. Since each tile of the tile group is identified using tileIdx, the CT information decoding unit 3021 increments tileIdx by 1 each time the tile is processed.
  • the CT information decoding unit 3021 uses tileIdx and FirstCtbAddrTs [] to derive the CTU address ctbAddrTs in the tile scan order within the tile by the following formula.
  • Tile scanning is a scanning method in which processing is sequentially performed from the upper left to the lower right of the tile within the tile.
  • ctbAddrTs FirstCtbAddrTs [tileIdx]
  • FirstCtbAddrTs [] is a table that converts tileIdx to the first CTU address of a tile, and is derived as follows.
  • TileId [ctbAddrTs]) if (tileEndFlag) ⁇ tileIdx ++ tileStartFlag 1 ⁇ ⁇
  • TileId [] is a table for converting a CTU address in the tile scan order into a tile identifier. An example is shown below.
  • RowBD [] and ColBD [] are tables that store the maximum vertical coordinates of each tile row and the maximum horizontal coordinates of each tile column, and are expressed in CTU units. An example is shown below.
  • CtbAddrRsToTs [] is a table for converting the CTU address in the raster scan order in the picture into the CTU address in the tile scan order. An example is shown below.
  • ctbAddrRs CtbAddrTsToRs [ctbAddrTs] CtbAddrTsToRs [] is a table for converting a CTU address in the tile scan order into a CTU address in the raster scan order, and is derived as follows.
  • CT information decoding unit 3021 decodes each CTU in the tile in the tile scan order, and after decoding all CTUs, decodes end_of_tile_one_bit.
  • the CT information decoding unit 3021 decodes the CT from the encoded data.
  • the CU decoding unit 3022 executes S1510 and S1520 to decode the CU from the encoded data.
  • the CU decoding unit 3022 decodes CU information, prediction information, TU division flag split_transform_flag, CU residual flags cbf_cb, cbf_cr, cbf_luma, etc. from encoded data.
  • the TU decoding unit 3024 decodes QP update information (quantization correction value) and quantization prediction error (residual_coding) from encoded data when the TU includes a prediction error.
  • the QP update information is a difference value from the quantization parameter prediction value qPpred that is the prediction value of the quantization parameter QP.
  • the prediction image generation unit 308 generates a prediction image for each block included in the target CU based on the prediction information.
  • the inverse quantization / inverse transform unit 311 executes an inverse quantization / inverse transform process for each TU included in the target CU.
  • the adder 312 adds the prediction image supplied from the prediction image generation unit 308 and the prediction error supplied from the inverse quantization / inverse conversion unit 311 to decode the target CU. Generate an image.
  • the loop filter 305 applies a loop filter such as a deblocking filter, SAO, and ALF to the decoded image to generate a decoded image.
  • a loop filter such as a deblocking filter, SAO, and ALF
  • Modification 1 Example in which the tile size is changed for each tile group
  • the width and height of the tile are defined in picture units (PPS), but in Modification 1, the tile size is flexible for each tile group into which the picture is divided. An example of setting the tile size will be described.
  • Fig. 13 shows an example of dividing a picture into four tile groups TileGr0 to TileGr3, and further dividing the tile group into tiles. Unlike the tile division in FIG. 6, the feature is that different tile widths and heights are set for each tile group.
  • the number after Tile in the figure is the address (TileAddrInTG) of the tile in the tile group.
  • the tile group TileGr0 in the figure includes tiles Tile0, Tile1, Tile2, and Tile3.
  • TileGr1 includes Tile4 and Tile5.
  • TileGr2 includes Tile6, Tile7, and Tile8.
  • TileGr3 contains Tile9.
  • Fig. 14 shows an example of the syntax of Modification 1.
  • the syntax may be, for example, single_tile_group_in_pic_flag, num_tile_group_columns_minus1, num_tile_rows_group_minus1, tile_group_column_width_minus1 [i], tile_group_row_height_minus1 [i].
  • single_tile_group_in_pic_flag is a flag indicating whether or not the picture has a plurality of tile groups, and if it is 1, there is one tile group in the picture, and the picture corresponds to the tile group. If 0, the picture includes a plurality of tile groups.
  • num_tile_group_columns_minus1 and num_tile_group_rows_minus1 are values obtained by subtracting 1 from the number of horizontal and vertical tile groups in a picture, NumTileGrColumns and NumTileGrRows, respectively.
  • the tile syntax is notified for each tile group. For example, single_tile_in_pic_flag [j], num_tile_columns_minus1 [j], num_tile_rows_minus1 [j], uniform_tile_spacing_flag [j], tile_column_width_minus1 [j] [i], tile_row_height_minus1 [j] for each tile in the jth tile group. Be notified.
  • the meaning of each syntax is the same as the syntax of FIG. 11 (b).
  • the header decoding unit 3020 derives the width and height (CTU unit) of the jth tile group as follows.
  • TileGrWidthInCtbsY [j] Ceil ((tile_group_column_width_minus1 [j] +1) / ctuWidth)
  • TileGrHeightInCtbsY [j] Ceil ((tile_group_height_in_luma_samples [j] +1) / ctuHeight)
  • the header decoding unit 3020 derives the numbers NumTileGrColumns and NumTileGrRows of horizontal and vertical tile groups in the picture and the total number NumTileGrsInPic of tile groups in the picture as follows.
  • the header decoding unit 3020 derives the number of tiles NumTileColumns [j] and NumTileRows [j] in the horizontal and vertical directions in the j-th tile group and the total number NumTilesInPic [j] of tiles in the tile group as follows.
  • NumTileColumns [j] num_tile_columns_minus1 [j] +1
  • NumTileRows [j] num_tile_rows_minus1 [j] +1
  • NumTilesInPic [j] NumTileColumns [j] * NumTileRows [j]
  • the header decoding unit 3020 decodes the width ColWidth [j] [m] and the height RowHeight [j] [n] of each tile of the jth tile group as follows.
  • ColWidth [j] [NumTileColumns [j] -1] TileGrWidthInCtbsY [j] -sum_m (ColWidth [j] [m])
  • RowHeight [j] [NumTileRows [j] -1] TileGrHeightInCtbsY [j] -sum_n (RowHeight [j] [n])
  • the tile group header and the syntax of the tile group data are the same as those in FIGS. 12A and 12C, but the table TileId [] for converting the CTU address in the tile scan order into the tile identifier is used.
  • the derivation method is different. A method of deriving this table in Modification 1 will be described below.
  • Wavefront parallel processing can realize parallel encoding or parallel decoding of a large number of segments while suppressing a decrease in encoding efficiency by using CTU rows as segments.
  • WPP Wavefront parallel processing
  • FIG. 15 shows an example in which different types of segments are used for each tile group (segment group).
  • TileGr0 and TileGr1 use tiles as segments
  • TileGr2 uses CTU rows as segments
  • TileGr3 uses slices as segments.
  • the following embodiments are characterized in that within one segment group (within a tile group), the segment type is limited to one, and tiles, CTU rows, and slices are exclusively processed. That is, within one tile group (segment group), only one of the tile segment (plural tile segments), the CTU row segment, and the slice segment can be enabled. For example, within one tile group, only one of the tile and the CTU row can be enabled.
  • enabling tiles means that the tile group is composed of two or more tiles (the tile group is divided into two tiles above).
  • Modification 2 Processing when a segment can have a tile and a CTU row
  • the segment is either a tile or a CTU row (CTU row), and either one of the tile and the CTU is used for each tile group. A case will be described.
  • Figure 16 is a diagram for explaining the exclusive configuration of tile segments and CTU row segments.
  • ⁇ entropy_coding_sync_enabled_flag is a flag (WPP enabled flag) indicating whether the CTU line is used as a segment (WPP is implemented).
  • WPP is implemented
  • CABAC synchronization processing is performed. That is, in CABAC, CABAC initialization of the first CTU of the CTU line is performed using the CABAC state at the time when the second CTU of the next higher CTU line is completed.
  • num_tiles_in_tile_group_minus1 is larger than 0, that is, when there are a plurality of tiles, entropy_coding_sync_enabled_flag takes only 0. In this case, only multiple tiles are valid.
  • entropy_coding_sync_enabled_flag can take 1. In this case, only multiple CTU lines (wavefront) are valid. Finally, when num_tiles_in_tile_group_minus1 is 0 and entropy_coding_sync_enabled_flag is 0, there is one tile in the tile group. As will be described later, in this case, the slice may be made more effective.
  • one tile group (within a segment group) has an effect that entry points of tiles and wavefronts can be made common.
  • entropy_coding_sync_enabled_flag is set when the number of tiles in the tile group is 1 (the same tile group and tiles, that is, multiple tiles are not enabled in the target tile group).
  • the CTU line is made available as a segment, and if not (the tile group includes multiple tiles), the tile is used as a segment. Therefore, when a picture is divided into four tile groups as shown in FIG. 5, each tile group is divided into a plurality of tiles as shown in FIG. 8 (a) and as shown in FIG. 8 (b). There are cases where the tile group is divided into a plurality of CTU rows and cases where the tile group is composed of one tile (when there is one tile in the tile group and when the tile group is not divided into CTU rows).
  • the start address (entry point) of the tile or CTU row is encoded or decoded using the tile group header.
  • FIG. 17 is a diagram for explaining the operation of a header encoding unit 1110 and a header decoding unit 3020 having a configuration including an exclusive configuration of tiles and wavefront, using FIG. FIG. 18A shows the syntax structure of the tile group header to be encoded and decoded according to this embodiment.
  • the header encoding unit 1110 and the header decoding unit 3020 encode the entropy_coding_sync_enabled_flag when num_tiles_in_tile_group_minus1 is 0 (YES in S3001), that is, when there is one tile in the tile group. Alternatively, it is decrypted (S3002). Otherwise, set entropy_coding_sync_enabled_flag to 0 (WPP off).
  • FIG. 18 (b) is a diagram showing the syntax structure of the entry points.
  • TileGrHeightInCtbsY is the height of the tile group in CTU units
  • num_tiles_in_tile_group_minus1 is the value obtained by subtracting 1 from the number of tiles in the tile group.
  • the header encoding unit 1110 and the header decoding unit 3020 derive the number of entry points NumEntryPoint.
  • NumEntryPoint TileGrHeightInCtbsY-1 Otherwise, the number of tiles included in the tile group-1 (here, num_tiles_in_tile_group_minus1) is set in NumEntryPoint.
  • NumEntryPoint num_tiles_in_tile_group_minus1
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode the entry point information (offset_len_minus1 and NumEntryPoint entry_point_offset_minus1) when NumEntryPoint is greater than zero.
  • FIG. 18 (c) is a diagram showing the syntax structure of tile group data.
  • coding_tree_unit () is the coded data of the CTU included in the CTU line.
  • end_of_subset_one_bit is a flag indicating the end of the segment.
  • the CT information encoding unit 1111 and the CT information decoding unit 3021 each target CTU coding_tree_unit (in a loop process (loop variable i) for processing tiles in a tile group, and in a loop process (loop variable j) regarding a CTU in a tile. ) Is encoded or decoded.
  • the CT information encoding unit 1111 and the CT information decoding unit 3021 derive ctbAddrInTile by using the following formula using ctbAddrTs and FirstCtbAddrTs [].
  • ctbAddrInTile is the address of the current CTU in the tile
  • ctbAddrTs is the address of the current CTU in tile scan order
  • FirstCtbAddrTs [] is the address of the first CTU in the tile group.
  • ctbAddrInTile ctbAddrTs-FirstCtbAddrTs [tile_group_address]
  • end_of_subset_one_bit is a bit inserted at the end of the CTU line. The following formula is used to determine whether it is the end of the CTU line.
  • the same process can be performed by decoding the bit string indicating the end of the segment (here, the CTU line).
  • the CT information encoding unit 1111 and the CT information decoding unit 3021 decode the byte string of byte alignment after end_of_subset_one_bit except for the last segment of the tile group (except when trailing data is encoded immediately after).
  • j ⁇ NumCtusInTile [tileIdx] -1 is other than the last CTU in the segment
  • i ⁇ num_tiles_in_tile_group_minus1 is other than the last segment
  • the CTU other than the last segment of the tile group is determined by the union of both. it can.
  • the entry point can be commonly used for the tile and the CTU row, and it is known for each tile group whether the entry point points to the start address of the tile or the start address of the CTU row. It's easy.
  • FIG. 19 is another example of the syntax configuration of the tile group header to be encoded and decoded according to this embodiment.
  • entropy_coding_sync_enabled_flag may be encoded and decoded first, and num_tiles_in_tile_group_minus1 may be notified when entropy_coding_sync_enabled_flag is 0, that is, WPP is off.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode entropy_coding_sync_enabled_flag, and when NumTilesInPic is greater than 1 and entropy_coding_sync_enabled_flag is 0, encodes or decodes num_tiles_in_tile_group_minus1. If not (NumTilesInPic is 1 or less, or entropy_coding_sync_enabled_flag is 1), the header encoding unit 1110 and the header decoding unit 3020 set num_tiles_in_tile_group_minus1 to 0.
  • Modification 3 Processing when segment can take tile and slice Modification 3 describes a case where either one of a tile and a slice is exclusively used as a segment in a tile group.
  • FIG. 20 is a diagram illustrating an exclusive configuration of tile segments and slice segments.
  • Slice_enabled_flag is a flag that indicates whether to use slices as segments (use slices). Note that CABAC is initialized at the beginning of the slice. As shown in the figure, when num_tiles_in_tile_group_minus1 is greater than 0, that is, when there are a plurality of tiles, slice_enabled_flag takes only 0. In this case, only multiple tiles are valid. When num_tiles_in_tile_group_minus1 is 0, that is, when there is one tile, slice_enabled_flag can take 1. In this case, only slices are valid. Finally, when num_tiles_in_tile_group_minus1 is 0 and entropy_coding_sync_enabled_flag is 0, there is one tile in the tile group. In this case, WPP may be effective.
  • the slice can be used as a segment, and if not (the tile group includes a plurality of tiles), the tile is included in the segment.
  • the tile group includes a plurality of tiles
  • the tile is included in the segment.
  • each tile group is divided into a plurality of tiles as shown in FIG. 8 (a)
  • each tile group is divided into a plurality of tile groups as shown in FIG. 8 (c).
  • the tile is divided into one tile. That is, when there is one tile in the tile group and the tile is not divided by the CTU row, the tile group includes one tile.
  • the segment can be terminated at an arbitrary position in CTU units by notifying the end of the CTU coded data with a slice end flag end_of_slice_segment_flag indicating whether it is the end of the segment.
  • a segment whose size can be changed in CTU units is called a slice segment.
  • slices are used when segment breaks are to be provided within a specified bit amount.
  • a marker (unique code, start code) may be inserted at the beginning of the slice for the purpose of parallel decoding of the slice. By using the marker, the video decoding device can search the head position of each slice on the bit stream and identify the position.
  • the tile group may be terminated every time the slice is inserted (that is, when end_of_slice_segment_flag is 1).
  • the tile group header is always added to the beginning of the slice and serves as a marker.
  • the tile start address (entry point) may be notified in the tile group header.
  • FIG. 21 (a) shows an example of the tile group header.
  • slice_enabled_flag is notified.
  • slice_enabled_flag is a flag indicating whether or not to perform slice division.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode slice_enabled_flag and num_slices_in_tile_minus1 when num_tiles_in_tile_group_minus1 is 0, that is, when there is one tile in the tile group. Otherwise, set slice_enabled_flag to 0 (slice off).
  • num_slices_in_tile_minus1 may not be notified in the tile group header.
  • the number of tiles num_tiles_in_tile_group_minus1 and the encoding and decoding order of slice valid flag slice_enabled_flag are not limited to the above. You may process as follows.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode slice_enabled_flag with the tile group header. If slice_enabled_flag is 0, num_tiles_in_tile_group_minus1 is encoded or decoded. num_tiles_in_tile_group_minus1 and slice_enabled_flag are set to 0 when not decoding.
  • the header encoding unit 1110 and the header decoding unit 3020 derive NumEntryPoint.
  • NumEntryPoint is the number of entry points, and num_tiles_in_tile_group_minus1 is set when using tiles.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode the entry point information (offset_len_minus1 and NumEntryPoint entry_point_offset_minus1) when NumEntryPoint is greater than zero.
  • the CT information decoding unit 3021 decodes end_of_slice_segment_flag after the completion of decoding one CTU.
  • end_of_slice_segment_flag is a bit inserted at the end of the CTU line.
  • Fig. 21 (c) is an example of the syntax of tile group data of an encoded tile group.
  • the figure shows a configuration in which the end_of_slice_segment_flag is encoded or decoded after the completion of decoding one CTU.
  • end_of_slice_segment_flag is a flag indicating whether it is the end of the slice, and if it is 1, it is the end of the slice, otherwise it is not the end of the slice.
  • Modification 4 Processing when an entry point is used in a slice
  • the following example shows a configuration in which the start position of a slice on a bitstream is specified by encoding or decoding the start address of the slice as an entry point.
  • tile and slice start addresses are reported in the tile group header.
  • num_slices_in_tile_minus1 may be notified after slice_enabled_flag.
  • num_slices_in_tile_minus1 is a value obtained by subtracting 1 from the number of slices in the tile.
  • FIG. 21 (b) shows a configuration in which slice_enabled_flag and num_slices_in_tile_minus1 are used to derive NumEntryPoint.
  • the header decoding unit 3020 decodes slice_enabled_flag and num_slices_in_tile_minus1 when num_tiles_in_tile_group_minus1 is 0, that is, when there is one tile in the tile group. Otherwise, set slice_enabled_flag to 0 (slice off).
  • the header decoding unit 3020 derives NumEntryPoint.
  • NumEntryPoint is the number of entry points, and num_slices_in_tile_minus1 is set when a slice is used and num_tiles_in_tile_group_minus1 is set when a tile is used.
  • the header decoding unit 3020 decodes entry point information (offset_len_minus1 and NumEntryPoint number of entry_point_offset_minus1) when NumEntryPoint is larger than 0.
  • the processes other than the above are the same as those in the second modification.
  • FIG. 21 (c) is an example of the syntax of tile group data of an encoded tile group.
  • FIG. 21 (c) shows a configuration for encoding or decoding end_of_slice_segment_flag after the completion of decoding one CTU.
  • end_of_slice_segment_flag is a flag (bit) indicating whether it is the end of the slice, and if it is 1, it is the end of the slice, otherwise it is not the end of the slice.
  • the CT information decoding unit 3021 decodes end_of_slice_segment_flag after the completion of decoding 1 CTU.
  • the entry points can be commonly used for tiles and slices, and it is known for each tile group which entry point the tile start address or the slice start address is known. is there. Alternatively, the beginning of the slice may be notified by a unique marker without using the entry point.
  • FIG. 22 is a diagram illustrating an exclusive configuration of tile segments, CTU row segments, and slice segments.
  • a tile group has a plurality of tile segments, a CTU row segment, a slice segment, and a single segment (here, a tile segment). Call it one of the tiles).
  • a tile may be used when multiple tiles are included in the tile group, and a CTU row or slice may be used when the tile group consists of one tile. If the tile group consists of one tile and neither CTU row nor slice is used, the tile group is set as one tile.
  • FIG. 23 (a) is an example of a tile group header.
  • entropy_coding_sync_enabled_flag is notified when the number of tiles is 1, and slice_enabled_flag is encoded or decoded when entropy_coding_sync_enabled_flag is 0 (WPP off).
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode entropy_coding_sync_enabled_flag when num_tiles_in_tile_group_minus1 is 0.
  • entropy_coding_sync_enabled_flag is 0, slice_enabled_flag is encoded or decoded.
  • num_tiles_in_tile_group_minus1 is not 0, entropy_coding_sync_enabled_flag and slice_enabled_flag are set to 0.
  • slice_enabled_flag is set to 0.
  • Fig. 23 (b) is an example of the syntax of tile group data of an encoded tile group.
  • end_of_subset_one_bit which is always 1 is encoded or decoded at the end of the segment
  • End_of_slice_segment_flag which can be 0 or 1 indicating whether the CTU is the end of the segment, is encoded or decoded.
  • the method of encoding or decoding end_of_subset_one_bit is as already described in FIG. 18 (c), and thus its description is omitted. Further, the method of encoding or decoding end_of_slice_segment_flag is as already described in FIG. 21 (c), and therefore its explanation is omitted.
  • the number of tiles num_tiles_in_tile_group_minus1, WPP enable flag entropy_coding_sync_enabled_flag, and slice enable flag slice_enabled_flag are not limited to the above encoding and decoding order. You may process as follows.
  • num_tiles_in_tile_group_minus1 When notifying in the order of num_tiles_in_tile_group_minus1, slice_enabled_flag, entropy_coding_sync_enabled_flag, the following process is performed.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode num_tiles_in_tile_group_minus1. When num_tiles_in_tile_group_minus1 is 0, slice_enabled_flag is encoded or decoded. Next, when slice_enabled_flag is 0, entropy_coding_sync_enabled_flag is encoded or decoded. num_tiles_in_tile_group_minus1, entropy_coding_sync_enabled_flag, and slice_enabled_flag are set to 0 when not decoding.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode entropy_coding_sync_enabled_flag with the tile group header.
  • entropy_coding_sync_enabled_flag is 0, num_tiles_in_tile_group_minus1 is encoded or decoded.
  • slice_enabled_flag is encoded or decoded.
  • num_tiles_in_tile_group_minus1, entropy_coding_sync_enabled_flag, and slice_enabled_flag are set to 0 when not decoding.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode entropy_coding_sync_enabled_flag with the tile group header.
  • entropy_coding_sync_enabled_flag is 0, slice_enabled_flag is encoded or decoded.
  • num_tiles_in_tile_group_minus1 is encoded or decoded. num_tiles_in_tile_group_minus1, entropy_coding_sync_enabled_flag, and slice_enabled_flag are set to 0 when not decoding.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode slice_enabled_flag with the tile group header. If slice_enabled_flag is 0, num_tiles_in_tile_group_minus1 is encoded or decoded. Next, when num_tiles_in_tile_group_minus1 is 0, the entropy_coding_sync_enabled_flag is encoded or decoded. num_tiles_in_tile_group_minus1, entropy_coding_sync_enabled_flag, and slice_enabled_flag are set to 0 when not decoding.
  • the header encoding unit 1110 and the header decoding unit 3020 encode or decode slice_enabled_flag with the tile group header.
  • slice_enabled_flag is 0, entropy_coding_sync_enabled_flag is encoded or decoded.
  • num_tiles_in_tile_group_minus1 is encoded or decoded. num_tiles_in_tile_group_minus1, entropy_coding_sync_enabled_flag, and slice_enabled_flag are set to 0 when not decoding.
  • the entropy decoding unit 301 outputs the inter prediction parameter to the inter prediction parameter decoding unit 303. Also, the intra prediction parameter is output to the intra prediction parameter decoding unit 304. Also, the quantized transform coefficient is output to the inverse quantization / inverse transform unit 311.
  • the entropy decoding unit 301 includes a CABAC initialization unit 3011, a CABAC decoding unit 3012, an initialization table 3013, and a spatial prediction storage unit 3015 (including a spatial prediction table 3016).
  • the spatial prediction storage unit 3015 stores the CABAC state in the internal spatial prediction table 3016.
  • the stored CABAC state is referenced when decoding a segment other than the target segment, such as a subsequent segment of the target picture, and is used for initializing the CABAC state.
  • the CABAC decoding unit 3012 decodes the syntax from the encoded data (bit stream) according to the CABAC state provided inside.
  • the entropy decoding unit 301 initializes the CABAC state using the CABAC initialization unit 3011 at the beginning of the segment.
  • the CABAC state is, for example, StateIdx indicating a state of probability in a context unit, MpsVal indicating which of 0 and 1 has a high probability, and a coefficient StatCoeff.
  • the context is defined for each element of the binary string (string consisting of 0 and 1) that constitutes the syntax.
  • TableStateIdx, TableMpsVal, and TableStatCoeff are tables composed of StateIdx, MpsVal, and StatCoeff.
  • the CABAC initialization unit 3011 uses the initialization table to initialize the CABAC state with the upper left CTU of the rectangular tile as the decoding start time (tile boundary time).
  • the CABAC state stored in the spatial prediction storage unit 3015 is initialized at the left end of the CTU line.
  • WPP the CABAC state of the second CTU in each CTU row is stored in the spatial prediction storage unit 3015 and used in the subsequent segment.
  • the CABAC state may be initialized using the initialization table.
  • the loop filter 305 is a filter provided in the coding loop and removes block distortion and ringing distortion to improve image quality.
  • the loop filter 305 applies filters such as a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the CU decoded image generated by the addition unit 312.
  • filters such as a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the CU decoded image generated by the addition unit 312.
  • the reference picture memory 306 stores the decoded image of the CU generated by the addition unit 312 in a predetermined position for each target picture and each target CU.
  • Prediction parameter memory 307 stores prediction parameters in predetermined positions for each CTU or CU to be decoded. Specifically, the prediction parameter memory 307 stores the parameters decoded by the parameter decoding unit 302, the prediction mode predMode separated by the entropy decoding unit 301, and the like.
  • the prediction mode predMode, prediction parameters, etc. are input to the prediction image generation unit 308. Further, the predicted image generation unit 308 reads the reference picture from the reference picture memory 306. The prediction image generation unit 308 generates a prediction image of a block or sub-block using the prediction parameter and the read reference picture (reference picture block) in the prediction mode indicated by the prediction mode predMode.
  • the reference picture block is a set of pixels on the reference picture (which is usually called a block because it is a rectangle), and is an area referred to for generating a predicted image.
  • the inverse quantization / inverse transformation unit 311 dequantizes the quantized transformation coefficient input from the entropy decoding unit 301 to obtain a transformation coefficient.
  • the quantized transform coefficient is a coefficient obtained by performing frequency transformation such as DCT (Discrete Cosine Transform) on the prediction error in the coding process and quantizing the prediction error.
  • the inverse quantization / inverse transform unit 311 performs inverse frequency transform such as inverse DCT on the obtained transform coefficient to calculate a prediction error.
  • the inverse quantization / inverse transformation unit 311 outputs the prediction error to the addition unit 312.
  • the addition unit 312 adds the prediction image of the block input from the prediction image generation unit 308 and the prediction error input from the inverse quantization / inverse conversion unit 311 for each pixel to generate a decoded image of the block.
  • the addition unit 312 stores the decoded image of the block in the reference picture memory 306, and also outputs it to the loop filter 305.
  • FIG. 24 is a block diagram showing the configuration of the moving picture coding device 11 according to the present embodiment.
  • the moving image coding device 11 includes a predicted image generation unit 101, a subtraction unit 102, a conversion / quantization unit 103, an inverse quantization / inverse conversion unit 105, an addition unit 106, a loop filter 107, a prediction parameter memory 109, and an encoding parameter.
  • the configuration includes a determination unit 110, a parameter coding unit 111, and an entropy coding unit 104.
  • the predicted image generation unit 101 generates a predicted image for each CU that is an area obtained by dividing each picture of the image T.
  • the predicted image generation unit 101 has the same operation as the predicted image generation unit 308 described above.
  • the subtraction unit 102 subtracts the pixel value of the predicted image of the block input from the predicted image generation unit 101 from the pixel value of the image T to generate a prediction error.
  • the subtraction unit 102 outputs the prediction error to the conversion / quantization unit 103.
  • the transform / quantization unit 103 calculates a transform coefficient by frequency conversion for the prediction error input from the subtraction unit 102, and derives a quantized transform coefficient by quantization.
  • the transform / quantization unit 103 outputs the quantized transform coefficient to the entropy coding unit 104 and the inverse quantization / inverse transform unit 105.
  • the inverse quantization / inverse transformation unit 105 is the same as the inverse quantization / inverse transformation unit 311 (FIG. 9) in the video decoding device 31.
  • the calculated prediction error is output to the addition unit 106.
  • the parameter coding unit 111 includes a header coding unit 1110, a CT information coding unit 1111, a CU coding unit 1112 (prediction mode coding unit), an entropy coding unit 104, and an inter prediction parameter coding unit 112 (not shown).
  • the intra prediction parameter coding unit 113 is provided.
  • the CU coding unit 1112 further includes a TU coding unit 1114.
  • the parameter coding unit 111 performs coding processing of parameters such as header information, division information, prediction information, and quantized transform coefficients.
  • the CT information encoding unit 1111 encodes QT, MT (BT, TT) division information and the like.
  • CU encoding section 1112 encodes CU information, prediction information, TU division flag, CU residual flag, and the like.
  • the TU encoding unit 1114 encodes QP update information (quantization correction value) and quantization prediction error (residual_coding) when the TU includes a prediction error.
  • the entropy coding unit 104 converts the syntax element supplied from the supply source into binary data, generates coded data by an entropy coding method such as CABAC, and outputs the coded data.
  • the sources of the syntax elements are the CT information coding unit 1111 and the CU coding unit 1112.
  • the addition unit 106 adds the pixel value of the prediction image of the block input from the prediction image generation unit 101 and the prediction error input from the inverse quantization / inverse conversion unit 105 for each pixel to generate a decoded image.
  • the addition unit 106 stores the generated decoded image in the reference picture memory 109.
  • the loop filter 107 applies a deblocking filter, SAO, and ALF to the decoded image generated by the addition unit 106.
  • the loop filter 107 does not necessarily have to include the above three types of filters.
  • the prediction parameter memory 108 stores the prediction parameter generated by the coding parameter determination unit 110 in a predetermined position for each target picture and CU.
  • the reference picture memory 109 stores the decoded image generated by the loop filter 107 at a predetermined position for each target picture and CU.
  • the coding parameter determination unit 110 selects one set from a plurality of sets of coding parameters.
  • the coding parameter is the above-mentioned QT, BT or TT partition information, a prediction parameter, or a parameter to be coded generated in association with these.
  • the predicted image generation unit 101 generates a predicted image using these coding parameters.
  • the coding parameter determination unit 110 calculates the RD cost value indicating the size of the information amount and the coding error for each of the plurality of sets, and selects the set of coding parameters that minimizes the cost value. As a result, the entropy coding unit 104 outputs the selected set of coding parameters as the coded stream Te. The coding parameter determination unit 110 stores the determined coding parameter in the prediction parameter memory 108.
  • the moving picture coding device 11 and part of the moving picture decoding device 31 in the above-described embodiment for example, the entropy decoding unit 301, the parameter decoding unit 302, the loop filter 305, the predicted image generation unit 308, the inverse quantization / inverse.
  • the parameter encoding unit 111 may be realized by a computer.
  • the program for realizing the control function may be recorded in a computer-readable recording medium, and the program recorded in the recording medium may be read by a computer system and executed.
  • the “computer system” referred to here is a computer system built in either the moving image encoding device 11 or the moving image decoding device 31, and includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, a CD-ROM, or a storage device such as a hard disk built in a computer system.
  • “computer-readable recording medium” means a program that dynamically holds a program for a short time, such as a communication line when transmitting the program through a network such as the Internet or a communication line such as a telephone line.
  • a volatile memory that holds a program for a certain period of time such as a volatile memory inside a computer system that serves as a server or a client, may be included.
  • the program may be for realizing a part of the above-described functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system.
  • the moving picture coding device 11 and the moving picture decoding device 31 in the above-described embodiments may be realized as an integrated circuit such as an LSI (Large Scale Integration).
  • LSI Large Scale Integration
  • Each functional block of the moving image encoding device 11 and the moving image decoding device 31 may be individually implemented as a processor, or a part or all of the functional blocks may be integrated and implemented as a processor.
  • the method of circuit integration is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • an integrated circuit according to the technique may be used.
  • a moving picture decoding apparatus is a moving picture that decodes coded data of a tile group formed by dividing a picture into one or more rectangular areas and including one or more segments.
  • the number of tiles in the target tile group indicating whether the segment in the target tile group is a rectangular tile, a CTU row with a CTU height, or a slice in CTU units, a WPP valid flag, and a slice valid flag
  • the header decoding unit decodes only one of the number of tiles of 2 or more, the WPP valid flag is 1, and the slice valid flag is 1 in one tile group. It is characterized by doing.
  • the header decoding unit decodes the WPP valid flag when the number of tiles in the target tile group is 1, and when the number of tiles in the target tile group is 2 or more. , 0 is set without decoding the WPP valid flag, and when the WPP valid flag is 1, the CT information decoding unit decodes the CTU at the right end of the CTU line and then decodes the fixed segment end bit. To do.
  • the header decoding unit decodes the number of tiles when the WPP valid flag of the target tile group is 0, and when the WPP valid flag of the target tile group is 1.
  • the number of tiles is set to 1 without decoding, and when the WPP valid flag is 1, the CT information decoding unit decodes the CTU at the right end of the CTU line and then decodes the fixed segment end bit.
  • the header decoding unit decodes the slice valid flag when the number of tiles in the target tile group is 1, and when the number of tiles in the target tile group is 2 or more. , 0 is set without decoding the slice valid flag, and when the slice valid flag is 1, the CT information decoding unit decodes the slice end flag after CTU decoding.
  • the header decoding unit decodes the number of tiles when the slice valid flag of the target tile group is 0, and when the slice end flag of the target tile group is 1. The number of tiles is set to 1 without decoding, and the CT information decoding unit decodes the slice end flag after CTU decoding when the slice valid flag is 1.
  • the header decoding unit decodes the WPP valid flag when the number of tiles in the target tile group is 1, and when the number of tiles in the target tile group is 2 or more. , 0 is set without decoding the WPP valid flag, the slice valid flag is decoded when the WPP valid flag is 0, and the slice end flag is 0 without decoding when the WPP valid flag is 1.
  • the CT information decoding unit decodes the slice end flag after CTU decoding.
  • the header decoding unit decodes the number of tiles when the WPP valid flag of the target tile group is 0, and when the WPP valid flag of the target tile group is 1. 1 is set without decoding the number of tiles, the slice valid flag is decoded when the number of tiles is 1, and 0 is set without decoding the slice valid flag when the number of tiles is 2 or more,
  • the CT information decoding unit is characterized by decoding the slice end flag after CTU decoding when the slice valid flag is 1.
  • the moving image encoding device 11 and the moving image decoding device 31 described above can be used by being mounted in various devices that perform transmission, reception, recording, and reproduction of moving images.
  • the moving image may be a natural moving image captured by a camera or the like, or an artificial moving image (including CG and GUI) generated by a computer or the like.
  • the moving image encoding device 11 and the moving image decoding device 31 described above can be used for transmitting and receiving a moving image.
  • FIG. 2A is a block diagram showing the configuration of the transmission device PROD_A equipped with the moving image encoding device 11.
  • the transmission device PROD_A As shown in FIG. 2 (a), the transmission device PROD_A, the encoding unit PROD_A1 to obtain the encoded data by encoding the moving image, and to modulate the carrier wave with the encoded data obtained by the encoding unit PROD_A1
  • the modulation unit PROD_A2 that obtains the modulation signal by and the transmission unit PROD_A3 that transmits the modulation signal obtained by the modulation unit PROD_A2 are provided.
  • the moving picture coding device 11 described above is used as this coding unit PROD_A1.
  • the transmission device PROD_A as a supply source of a moving image input to the encoding unit PROD_A1, a camera PROD_A4 for capturing a moving image, a recording medium PROD_A5 recording the moving image, an input terminal PROD_A6 for inputting the moving image from the outside, and An image processing unit A7 for generating or processing an image may be further provided.
  • FIG. 2 (a) a configuration in which all of these are included in the transmission device PROD_A is illustrated, but some of them may be omitted.
  • the recording medium PROD_A5 may be a non-encoded moving image recorded, or a moving image encoded by a recording encoding method different from the transmission encoding method may be recorded. It may be one. In the latter case, a decoding unit (not shown) that decodes the coded data read from the recording medium PROD_A5 according to the recording coding method may be interposed between the recording medium PROD_A5 and the coding unit PROD_A1.
  • FIG. 2B is a block diagram showing the configuration of the receiving device PROD_B equipped with the moving image decoding device 31.
  • the receiving device PROD_B is a receiving unit PROD_B1 that receives a modulated signal, a demodulating unit PROD_B2 that obtains encoded data by demodulating the modulated signal received by the receiving unit PROD_B1, and a demodulating unit.
  • a decoding unit PROD_B3 that obtains a moving image by decoding the encoded data obtained by PROD_B2.
  • the moving picture decoding device 31 described above is used as this decoding unit PROD_B3.
  • the receiving device PROD_B has a display PROD_B4 for displaying a moving image, a recording medium PROD_B5 for recording the moving image, and an output terminal for outputting the moving image to the outside as a supply destination of the moving image output by the decoding unit PROD_B3.
  • PROD_B6 may be further provided.
  • FIG. 2 (b) the configuration in which all of them are included in the receiving device PROD_B is illustrated, but some of them may be omitted.
  • the recording medium PROD_B5 may be one for recording a non-encoded moving image, or may be one encoded by a recording encoding method different from the transmission encoding method. May be. In the latter case, an encoding unit (not shown) that encodes the moving image acquired from the decoding unit PROD_B3 according to the recording encoding method may be interposed between the decoding unit PROD_B3 and the recording medium PROD_B5.
  • the transmission medium for transmitting the modulated signal may be wireless or wired.
  • the transmission mode of transmitting the modulated signal may be broadcast (here, it means a transmission mode in which the transmission destination is not specified in advance) or communication (transmission in which the transmission destination is specified in advance here).
  • Embodiment That is, the transmission of the modulated signal may be realized by any of wireless broadcasting, wired broadcasting, wireless communication, and wired communication.
  • a terrestrial digital broadcasting broadcasting station (broadcasting equipment, etc.) / Receiving station (television receiver, etc.) is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives modulated signals by wireless broadcasting.
  • a broadcasting station (broadcasting equipment, etc.) / Receiving station (television receiver, etc.) of cable television broadcasting is an example of a transmitting device PROD_A / receiving device PROD_B that transmits and receives modulated signals by wired broadcasting.
  • a server workstation, etc.
  • Client TV receiver, personal computer, smartphone, etc.
  • VOD Video On Demand
  • video sharing services using the Internet is a transmission device that transmits and receives modulated signals by communication.
  • PROD_A / reception device PROD_B generally, either wireless or wired is used as a transmission medium in LAN, and wired is used as a transmission medium in WAN.
  • the personal computer includes a desktop PC, a laptop PC, and a tablet PC.
  • the smartphone also includes a multifunctional mobile phone terminal.
  • the client of the video sharing service has the function of decoding the encoded data downloaded from the server and displaying it on the display, as well as the function of encoding the moving image captured by the camera and uploading it to the server. That is, the client of the video sharing service functions as both the transmission device PROD_A and the reception device PROD_B.
  • the moving image encoding device 11 and the moving image decoding device 31 described above can be used for recording and reproducing a moving image.
  • FIG. 3A is a block diagram showing the configuration of the recording device PROD_C equipped with the above-described moving image encoding device 11.
  • the recording device PROD_C writes an encoded portion PROD_C1 that obtains encoded data by encoding a moving image and the encoded data obtained by the encoding portion PROD_C1 to a recording medium PROD_M.
  • the moving picture coding device 11 described above is used as the coding unit PROD_C1.
  • the recording medium PROD_M may be (1) a type built into the recording device PROD_C, such as a HDD (Hard Disk Drive) or SSD (Solid State Drive), or (2) SD memory. It may be of a type that can be connected to the recording device PROD_C, such as a card or USB (Universal Serial Bus) flash memory, or (3) DVD (Digital Versatile Disc: registered trademark) or BD (Blu-ray). For example, a disc (registered trademark) or the like may be loaded in a drive device (not shown) incorporated in the recording device PROD_C.
  • a disc registered trademark
  • BD Blu-ray
  • the recording device PROD_C has a camera PROD_C3 for capturing a moving image, an input terminal PROD_C4 for inputting the moving image from the outside, and a receiving unit for receiving the moving image as a supply source of the moving image input to the encoding unit PROD_C1.
  • the unit PROD_C5 and the image processing unit PROD_C6 for generating or processing an image may be further provided.
  • FIG. 3A the configuration in which the recording device PROD_C is provided with all of them is illustrated, but a part thereof may be omitted.
  • the receiving unit PROD_C5 may be one that receives an unencoded moving image, or receives encoded data that has been encoded by a transmission encoding method different from the recording encoding method. It may be one that does. In the latter case, a transmission decoding unit (not shown) that decodes the encoded data encoded by the transmission encoding method may be interposed between the reception unit PROD_C5 and the encoding unit PROD_C1.
  • Examples of such a recording device PROD_C include a DVD recorder, a BD recorder, an HDD (Hard Disk Drive) recorder, and the like (in this case, the input terminal PROD_C4 or the receiving unit PROD_C5 is the main supply source of the moving image). ..
  • a camcorder in this case, the camera PROD_C3 is the main source of moving images
  • a personal computer in this case, the receiving unit PROD_C5 or the image processing unit C6 is the main source of moving images
  • a smartphone this In this case, the camera PROD_C3 or the receiving unit PROD_C5 is the main supply source of the moving image
  • the like is also an example of such a recording device PROD_C.
  • FIG. 3 (B) is a block showing the configuration of the playback device PROD_D equipped with the moving image decoding device 31 described above.
  • the playback device PROD_D obtains a moving image by decoding the read data PROD_D1 that reads the encoded data written in the recording medium PROD_M and the coded data that the read device PROD_D1 has read.
  • the moving picture decoding device 31 described above is used as this decoding unit PROD_D2.
  • the recording medium PROD_M may be (1) of a type built into the playback device PROD_D, such as a HDD or SSD, or (2) such as an SD memory card or a USB flash memory. It may be of a type that is connected to the playback device PROD_D, or (3) loaded into a drive device (not shown) built in the playback device PROD_D, such as a DVD or BD. Good.
  • the playback device PROD_D is a display PROD_D3 that displays a moving image, an output terminal PROD_D4 for outputting the moving image to the outside as a supply destination of the moving image output by the decoding unit PROD_D2, and a transmitting unit that transmits the moving image.
  • PROD_D5 may be further provided.
  • FIG. 3B the configuration in which the playback device PROD_D is provided with all of them is illustrated, but a part thereof may be omitted.
  • the transmission unit PROD_D5 may be one that transmits an unencoded moving image, or transmits encoded data that has been encoded by a transmission encoding method different from the recording encoding method. It may be one that does. In the latter case, an encoding unit (not shown) that encodes a moving image with an encoding method for transmission may be interposed between the decoding unit PROD_D2 and the transmission unit PROD_D5.
  • Examples of such a playback device PROD_D include a DVD player, a BD player, an HDD player, etc. (in this case, the output terminal PROD_D4 to which a television receiver or the like is connected is a main supply destination of the moving image). .. Also, a television receiver (in this case, the display PROD_D3 is the main destination of the moving image), digital signage (also called an electronic signboard or electronic bulletin board, etc.), the display PROD_D3 or the transmitter PROD_D5 is the main source of the moving image.
  • Desktop PC in this case, the output terminal PROD_D4 or transmitter PROD_D5 is the main destination of the moving image
  • laptop or tablet PC in this case, the display PROD_D3 or transmitter PROD_D5 is a moving image
  • An example of such a playback device PROD_D is also a smartphone (in which case, the display PROD_D3 or the transmission unit PROD_D5 is the main destination of a moving image), and the like.
  • each block of the moving image decoding device 31 and the moving image encoding device 11 described above may be realized by hardware by a logic circuit formed on an integrated circuit (IC chip), or by a CPU (Central Processing Unit), and may be realized by software.
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • each device has a CPU that executes the instructions of the program that realizes each function, a ROM (Read Only Memory) that stores the program, a RAM (Random Access Memory) that expands the program, the program, and various A storage device (recording medium) such as a memory for storing data is provided.
  • the object of the embodiment of the present invention is to record the program code (execution format program, intermediate code program, source program) of the control program of each device, which is software for realizing the above-described functions, in a computer-readable manner. It can also be achieved by supplying a medium to each of the above devices and causing the computer (or CPU or MPU) to read and execute the program code recorded in the recording medium.
  • Examples of the recording medium include tapes such as magnetic tapes and cassette tapes, magnetic disks such as floppy (registered trademark) disks / hard disks, and CD-ROMs (Compact Disc Read-Only Memory) / MO disks (Magneto-Optical disc).
  • tapes such as magnetic tapes and cassette tapes
  • magnetic disks such as floppy (registered trademark) disks / hard disks
  • CD-ROMs Compact Disc Read-Only Memory
  • MO disks Magnetic-Optical disc
  • IC cards including memory cards
  • Cards such as optical cards
  • Semiconductor memory such as flash ROM, or PLD (Programmable logic device)
  • FPGA Field Programmable Gate Array
  • each of the above devices may be configured to be connectable to a communication network, and the program code may be supplied via the communication network.
  • the communication network is not particularly limited as long as it can transmit the program code.
  • Internet Intranet, Extranet, LAN (Local Area Network), ISDN (Integrated Services Digital Network), VAN (Value-Added Network), CATV (Community Antenna television / Cable Television) communication network, Virtual Private Network Network), telephone network, mobile communication network, satellite communication network, etc.
  • the transmission medium that constitutes this communication network may be any medium that can transmit the program code, and is not limited to a specific configuration or type.
  • the embodiment of the present invention can also be realized in the form of a computer data signal embedded in a carrier wave, in which the program code is embodied by electronic transmission.
  • the embodiments of the present invention are preferably applied to a moving image decoding device that decodes encoded data in which image data is encoded, and a moving image encoding device that generates encoded data in which image data is encoded. be able to. Further, it can be suitably applied to the data structure of encoded data generated by the moving image encoding device and referred to by the moving image decoding device. (Cross-reference of related applications) This application claims the benefit of priority to Japanese patent application: Japanese Patent Application No. 2018-215873 filed on Nov. 16, 2018, and by referring to it, all the contents are Included in this book.
  • Moving Image Encoding Device 31 Moving Image Decoding Devices 101, 308 Predicted Image Generating Unit 104 Entropy Encoding Unit (Encoding Unit) 107, 305 Loop filter 111 Parameter coding unit 301 Entropy decoding unit 302 Parameter decoding unit (division unit) 3020 header decoding unit 3021 CT information decoding unit 3022 CU decoding unit 104 entropy coding unit 1110 header coding unit 1111 CT information coding unit 1112 CU coding unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

ピクチャを１つ以上の矩形領域に分割したタイルグループであって、１つ以上のセグメントから構成されるタイルグループの符号化データを復号する動画像復号装置であって、対象タイルグループ内のセグメントが矩形のタイル、CTU行、スライスの何れであるかを示す対象タイルグループ内のタイル数、WPP有効フラグ、スライス有効フラグをタイルグループヘッダから復号するヘッダ復号部を備え、上記ヘッダ復号部は、１つのタイルグループ内で、タイル数が２つ以上、WPP有効フラグが１、スライス有効フラグが１のいずれかのみを復号することを特徴とする。

Description

動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
　本発明の一様態は、動画像復号装置、および動画像符号化装置に関する。
　動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。
　具体的な動画像符号化方式としては、例えば、H.264/AVCやHEVC（High-Efficiency Video Coding）などが挙げられる。
　このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化ツリーユニット（CTU：Coding Tree Unit）、符号化ツリーユニットを分割することで得られる符号化単位（符号化ユニット（Coding Unit：CU）と呼ばれることもある）、及び、符号化単位を分割することより得られる変換ユニット（TU：Transform Unit）からなる階層構造により管理され、CU毎に符号化／復号される。
　また、このような動画像符号化方式においては、通常、入力画像を通知することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測誤差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
　また、画面を複数の単位に分割して伝送する方法としては、スライス、CTU行（ウェーブフロント並列、以下セグメント）、タイルに分割する方法が知られている。
　また、近年の動画像符号化及び復号の技術として非特許文献１が挙げられ、今後、複数のタイルを一つにまとめたサブストリームであるタイルグループに対応予定である。非特許文献２には、タイルグループの技術が開示されており、タイルグループの具体的なシンタックス例は非特許文献３に開示されている。
" Versatile Video Coding (Draft 3)", JVET-L1001, Joint VideoExploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2018-11-08 "Tile groups for VVC", JVET-L0415, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2018-09-25 "Spec text for the agreed starting point on slicing and tiling", JVET-L0686, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, 2018-10-12
　HEVCでは、ピクチャを矩形に分割するタイルと、CTU行に分割するウェーブフロント並列処理（Wavefront Parallel Processing, WPP）と、連続するCTUの集合に分割するスライスに対応しているが、一つの領域に対して、タイルやウェーブフロント、スライスの利用が排他的ではないために、処理が複雑になる、という課題がある。また、非特許文献２や３のような、タイルグループに対応していないので、タイルやウェーブフロント並列化を用いる場合には、符号化データの開始位置を示すエントリポイントをピクチャ単位で符号化することしかできず、画面を分割したグループ単位で符号化することができないという課題がある。
　非特許文献２、非特許文献３に記載のタイルでは、タイルをグループ単位で通知することが可能であるが、高効率で高い並列度を実現するウェーブフロント並列処理や、矩形以外の任意の位置でセグメントの区切り位置を実現するスライスに対応していないという課題がある。また、タイルグループ単位でセグメントの種別を切り替えることができない。
　また、非特許文献２、非特許文献３に記載のタイルはピクチャ単位でタイルを分割方法を規定するため、ピクチャグループ単位でタイルの幅や高さを変更することができない。
　そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的は、タイルやウェーブフロント、スライスをタイルグループ内で排他的に利用することによって、符号化処理や復号処理を簡略化、効率化することである。また、ピクチャグループ単位でタイルの幅や高さを変更することである。
　本発明の一態様に係る動画像復号装置は、ピクチャを１つ以上の矩形領域に分割したタイルグループであって、１つ以上のセグメントから構成されるタイルグループの符号化データを復号する動画像復号装置であって、対象タイルグループ内のセグメントが矩形のタイル、１CTU高さのCTU行、CTU単位のスライスの何れであるかを示す対象タイルグループ内のタイル数、WPP有効フラグ、スライス有効フラグをタイルグループヘッダから復号するヘッダ復号部を備え、上記ヘッダ復号部は、１つのタイルグループ内で、タイル数が２つ以上、WPP有効フラグが１、スライス有効フラグが１のいずれかのみを復号することを特徴とする。
本実施形態に係る画像伝送システムの構成を示す概略図である。 本実施形態に係る動画像符号化装置を搭載した送信装置、および、動画像復号装置を搭載した受信装置の構成について示した図である。(a)は動画像符号化装置を搭載した送信装置を示しており、(b)は動画像復号装置を搭載した受信装置を示している。 本実施形態に係る動画像符号化装置を搭載した記録装置、および、動画像復号装置を搭載した再生装置の構成について示した図である。(a)は動画像符号化装置を搭載した記録装置を示しており、(b)は動画像復号装置を搭載した再生装置を示している。 符号化ストリームのデータの階層構造を示す図である。 ピクチャの分割例を示す図である。 タイルグループを説明する図である。 本実施形態のタイルグループの符号化又は復号を説明するフローチャートである。 本実施形態のタイルグループを説明する図である。 動画像復号装置の構成を示す概略図である。 動画像復号装置の概略的動作を説明するフローチャートである。 タイル情報等に関するシンタックス表である。 本実施形態のタイルグループのシンタックス構成を示す図である。 本実施形態のタイルグループを説明する図である。 本実施形態のピクチャパラメータセットのシンタックス構成を示す図である。 タイルグループ（セグメントグループ）単位で、異なる種類のセグメントを利用する例である。 タイルセグメントとCTU行セグメントの排他構成を説明する図である。 タイルとウェーブフロントの排他構成におけるヘッダ復号部の動作を説明する図である。 本実施形態のタイルグループのシンタックス構成を示す図である。 本実施形態のタイルグループのシンタックス構成を示す図である。 タイルセグメントとスライスセグメントの排他構成を説明する図である。 本実施形態のタイルグループのシンタックス構成を示す図である。 タイルセグメントとCTU行セグメントとスライスセグメントの排他構成を説明する図である。 本実施形態のタイルグループのシンタックス構成を示す図である。 動画像符号化装置の構成を示すブロック図である。
　　（第１の実施形態）
　以下、図面を参照しながら本発明の実施形態について説明する。
　図1は、本実施形態に係る画像伝送システム１の構成を示す概略図である。
　画像伝送システム１は、符号化対象画像を符号化した符号化ストリームを伝送し、伝送された符号化ストリームを復号し画像を表示するシステムである。画像伝送システム１は、動画像符号化装置（画像符号化装置）11、ネットワーク21、動画像復号装置（画像復号装置）31、及び動画像表示装置（画像表示装置）41を含んで構成される。
　動画像符号化装置11には画像Tが入力される。
　ネットワーク21は、動画像符号化装置11が生成した符号化ストリームTeを動画像復号装置31に伝送する。ネットワーク21は、インターネット（Internet）、広域ネットワーク（WAN:Wide Area Network）、小規模ネットワーク（LAN:Local Area Network）またはこれらの組み合わせである。ネットワーク21は、必ずしも双方向の通信網に限らず、地上デジタル放送、衛星放送等の放送波を伝送する一方向の通信網であっても良い。また、ネットワーク21は、DVD（Digital Versatile Disc:登録商標）、BD（Blue-ray Disc:登録商標）等の符号化ストリームTeを記録した記憶媒体で代替されても良い。
　動画像復号装置31は、ネットワーク21が伝送した符号化ストリームTeのそれぞれを復号し、復号した１または複数の復号画像Tdを生成する。
　動画像表示装置41は、動画像復号装置31が生成した１または複数の復号画像Tdの全部または一部を表示する。動画像表示装置41は、例えば、液晶ディスプレイ、有機ＥＬ（Electro-luminescence）ディスプレイ等の表示デバイスを備える。ディスプレイの形態としては、据え置き、モバイル、HMD等が挙げられる。また、動画像復号装置31が高い処理能力
を有する場合には、画質の高い画像を表示し、より低い処理能力しか有しない場合には、高い処理能力、表示能力を必要としない画像を表示する。
　＜演算子＞
　本明細書で用いる演算子を以下に記載する。
　>>は右ビットシフト、<<は左ビットシフト、&はビットワイズAND、|はビットワイズOR、|=はOR代入演算子であり、||は論理和を示す。
　x?y:zは、xが真（0以外）の場合にy、xが偽（0）の場合にzをとる３項演算子である。
　Clip3(a,b,c)は、cをa以上b以下の値にクリップする関数であり、c<aの場合にはaを返し、c>bの場合にはbを返し、その他の場合にはcを返す関数である（ただし、a<=b）。
　abs(a)はaの絶対値を返す関数である。
　Int(a)はaの整数値を返す関数である。
　floor(a)はa以下の最大の整数を返す関数である。
　ceil(a)はa以上の最小の整数を返す関数である。
　a/dはdによるaの除算（小数点以下切り捨て）を表す。
　　＜符号化ストリームTeの構造＞
　本実施形態に係る動画像符号化装置11および動画像復号装置31の詳細な説明に先立って、動画像符号化装置11によって生成され、動画像復号装置31によって復号される符号化ストリームTeのデータ構造について説明する。
　図4は、符号化ストリームTeにおけるデータの階層構造を示す図である。符号化ストリームTeは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。図4(a)～(f)は、それぞれ、シーケンスSEQを既定する符号化ビデオシーケンス、ピクチャPICTを規定する符号化ピクチャ、タイルグループを規定する符号化タイルグループ、タイルを規定するセグメント（例えば符号化タイル、CTU行、スライス）、セグメントに含まれる符号化ツリーユニット、符号化ツリーユニットに含まれる符号化ユニットを示す図である。
　　（符号化ビデオシーケンス）
　符号化ビデオシーケンスでは、処理対象のシーケンスSEQを復号するために動画像復号装置31が参照するデータの集合が規定されている。シーケンスSEQは、図4(a)に示すように、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。
　シーケンスパラメータセットSPSでは、対象シーケンスを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの幅、高さ、形状に関する情報や、復号ツールのオンオフに関する情報が規定される。なお、SPSは複数存在してもよい。その場合、PPSから複数のSPSの何れかを選択する。
　ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために動画像復号装置31が参照する符号化パラメータの集合が規定されている。例えば、ピクチャを構成するタイルの個数、幅、高さに関する情報が含まれる。なお、PPSは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。
　　（符号化ピクチャ）
　符号化ピクチャでは、処理対象のピクチャPICTを復号するために動画像復号装置31が参照するデータの集合が規定されている。ピクチャPICTは、図4(b)に示すように、タイルグループ0～タイルグループNTG-1を含む（NTGはピクチャPICTに含まれるタイルの総数）。
　　（セグメント、タイルグループ）
　セグメントとは、ピクチャを分割して送信するための単位であり、符号化データ上では、バイトアラインされたビット列として符号化、復号される。
　タイル、CTU行、スライスは、各々、ピクチャを分割して送信するためのセグメントである。
　セグメントグループ（タイルグループ）とは、CTUの集合であるセグメントのグループであり、セグメントグループと呼んでも良い。なお、各セグメントは、以下の特性を備える単位であり、並列に復号することができる。
・画面上ではCTUの集合に対応する
・符号化データ上ではバイト単位でアラインされる
・セグメント先頭でCABAC初期化を行う
・同じピクチャ内のセグメント間では予測を制限することができる（他のセグメントの参照が制限可能である）
　予測の制限とは、例えば、セグメントがタイルの場合、対象タイルと異なるタイルの画像を用いたイントラ予測を行わない制限を行う。セグメントがスライスの場合も同様に、対象スライスと異なるスライスの画像を用いたイントラ予測を行わない制限を行う。セグメントがWPPの場合には、対象CTU行と異なるCTU行の画像を用いたイントラ予測を一部許可する。具体的には、WPPでは、対象CTU行の上側のCTU行については参照可能とする。但し、対象CTU行の上側のCTU行においても、対象CTUの水平座標を超えるCTUについては参照することができない。また、フラグにより参照をオンオフしてもよい。
　タイルグループ（セグメントグループ）では、セグメントに共通なヘッダを、セグメントで１回のみ符号化することによって、符号化効率的を向上させる効果を奏する。
　図5はピクチャを４つのタイルグループTileGr0～TileGr3に分割した図である。タイルグループはさらに１つ以上のセグメントに分割することができる。TileGrの後の番号（図では0～3）は、タイルグループの識別子であり、ピクチャの左上から右下にラスタスキャン順に設定される。タイルグループ識別子はタイルグループ毎に異なる値であり、スキャン順に単調増加する値である。
　図6(a)はセグメントがタイルである場合において、タイルアドレスを説明する図である。図のタイルTileの後の番号はピクチャ内のタイルのアドレス（TileAddrInPic）である。TileAddrInPicはピクチャの左上から右下にラスタスキャン順に設定される。図のタイルグル―プTileGr0はタイルTile0、Tile1、Tile4、Tile5を含む。TileGr1はTile2、Tile3、Tile6、Tile7を含む。TileGr2はTile8、Tile9を含む。TileGr3はTile10、Tile11を含む。タイルアドレスとしてTileAddrInPicを使う場合は、タイルグループ内でタイルアドレ
スは連続しない。
　図6(b)はセグメントがタイルである場合において、タイルアドレスを説明する別の図である。図のタイルTileの後の番号はタイルグループ内のタイルのアドレス（TileAddrInTG）である。TileAddrInTGはタイルグループの左上から右下にラスタスキャン順に設定される。図のタイルグル―プTileGr0はタイルTile0、Tile1、Tile2、Tile3を含む。TileGr1はTile4、Tile5、Tile6、Tile7を含む。TileGr2はTile8、Tile9を含む。TileGr3はTile10、Tile11を含む。タイルアドレスとしてTileAddrInTGを使う場合は、タイルグループ内でタイルアドレスは連続する。
　　（符号化タイルグループ）
　符号化タイルグループでは、処理対象のタイルグループを復号するために動画像復号装置31が参照するデータの集合が規定されている。タイルグループは、図4(c)に示すように、タイルグループヘッダ、および、タイルグループデータを含んでいる。さらに、タイルグループデータの後にバイトアライン用のトレイリングデータ（rbsp_tile_group_trailing_bits）を含んでもよい。
　図7は、本実施形態のタイルグループの符号化又は復号を説明するフローチャートである。各ステップを実行する構成部材は図9、図24に記載されており、後述する。
　S2001：ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダを符号化又は復号する。
　S2002：CT情報符号化部1111及びCT情報復号部3021は、タイルグループデータを符号化又は復号する。
　S2003：ヘッダ符号化部1110及びヘッダ復号部3020は、トレイリングデータを符号化又は復号する。トレイリングデータは、バイトアライン用のビット列を含んでいてもよい。またバイトアライメントの後にさらに区切りを示すビット列を含んでいてもよい。
　タイルグループヘッダには、対象タイルグループの復号方法を決定するための符号化パラメータ群や、タイルグループのタイルに共通するパラメータが含まれる。タイルグループデータは、タイルグループに含まれる１つ以上のセグメントの符号化データから構成される。セグメントはCTUから構成される。セグメントがタイルである場合、タイルグループデータは１つ以上の符号化タイルから構成される。
　（タイルグループヘッダ）
　タイルグループヘッダは、タイルグループタイプ指定情報（tile_group_type）を含んでもよい。
　タイルグループタイプ指定情報により指定可能なタイルグループタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩタイルグループ、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰタイルグループ、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢタイルグループなどが挙げられる。なお、インター予測は、単予測、双予測に限定されず、より多くの参照ピクチャを用いて予測画像を生成してもよい。以下、P、Bタイルグループと呼ぶ場合には、インター予測を用いることができるブロックを含むタイルグループを指す。
　なお、タイルグループヘッダは、ピクチャパラメータセットPPSへの参照（pic_parameter_set_id）を含んでいても良い。
　　（符号化タイル）
　符号化タイルでは、処理対象のタイルを復号するために動画像復号装置31が参照するデータの集合が規定されている。タイルは図4(d)に示すようにCTUを含む。CTUはタイルを構成する固定サイズ（例えば128x128）のブロックであり、最大符号化単位（LCU:Largest Coding Unit）と呼ぶこともある。
　　（タイル、ＷＰＰ、スライス）
　図8(a)は、タイルグループTileGr0を複数のタイルTile0～Tile3（太い実線の矩形）に分割する例である。タイルは１つ以上のCTUから構成される矩形のセグメントである。各CTUのアドレス（タイルスキャン順のCTUアドレスctbAddrTs）は各タイルの左上から右下にラスタスキャン順に設定される。
　図8(b)はタイルグループを複数のCTU行に分割する例である。図に示すように、CTU行は１行（高さがCTU高さ、幅がセグメント幅）のCTUの集合から構成されるセグメントである。後述するように、CTU行のセグメントはWPPで用いられる。
　図8(c)はタイルグループを連続するCTUの集合に分割する例である。図に示すように、スライスは、符号化、復号順のCTUの集合から構成されるセグメントである。
　　（符号化ツリーユニット）
　図4(e)には、処理対象のCTUを復号するために動画像復号装置31が参照するデータの集合が規定されている。CTUは、再帰的な４分木分割（QT（Quad Tree）分割）、２分木分割（BT（Binary Tree）分割）あるいは３分木分割（TT（Ternary Tree）分割）により符号化処理の基本的な単位である符号化ユニットCUに分割される。BT分割とTT分割を合わせてマルチツリー分割（MT（Multi Tree）分割）と呼ぶ。再帰的な４分木分割により得られる木構造のノードのことを符号化ノード（Coding Node）と称する。４分木、２分木、及び３分木の中間ノードは、符号化ノードであり、CTU自身も最上位の符号化ノードとして規定される。
　　（符号化ユニット）
　図4(f)に示すように、処理対象の符号化ユニットを復号するために動画像復号装置31が参照するデータの集合が規定されている。具体的には、CUはCUヘッダ、予測パラメータ、変換パラメータ、量子化変換係数等から構成される。CUヘッダでは予測モード等が規定される。
　　（動画像復号装置の構成）
　本実施形態に係る動画像復号装置31（図9）の構成について説明する。
　動画像復号装置31は、パラメータ復号部（予測画像復号装置）302、ループフィルタ305、参照ピクチャメモリ306、予測パラメータメモリ307、予測画像生成部（予測画像生成装置）308、逆量子化・逆変換部311、及び加算部312を含んで構成される。なお、後述の動画像符号化装置11に合わせ、動画像復号装置31にループフィルタ305が含まれない構成もある。パラメータ復号部302は、さらに、エントロピー復号部301、ヘッダ復号部3020、CT情報復号部3021、及びCU復号部3022を備えており、CU復号部3022はさらにTU復号部3024を備えている。
　　（復号モジュール）
　以下、各モジュールの概略動作を説明する。パラメータ復号部302はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの復号処理を行う。
　エントロピー復号部301は、バイナリデータからシンタックス要素を復号する。エントロピー復号部301は、より具体的には、供給元から供給されるシンタックス要素に基づいて、CABAC等のエントロピー符号化方式による符号化データから、シンタックス要素を復号して供給元に返す。以下に示す例では、シンタックス要素の供給元は、CT情報復号部3021、CU復号部3022である。
　　（基本フロー）
　図10は、動画像復号装置31の概略的動作を説明するフローチャートである。
　（S1100：パラメータセット情報復号）ヘッダ復号部3020は、符号化データからSPS、PPSなどのパラメータセット情報とタイル情報を復号する。
　タイルの分割数やサイズに関する情報をタイル情報と呼ぶ。タイルの幅ColWidth、高さRowHeightは、ピクチャの幅PicWidthInCtbsYと高さPicHeightInCtbsY、ピクチャ内の水平、垂直方向のタイル数NumTileColumns、NumTileRowsを用いて導出する。ColWidth、RowHeight、PicWidthInCtbsY、PicHeightInCtbsYの単位はCTUである。ヘッダ復号部3020はピクチャの画素単位の幅pic_width_in_luma_samples、高さpic_height_in_luma_samples、CTUサイズの対数値から2を引いた値log2_ctu_size_minus2を用いて下式で導出する。pic_width_in_luma_samples、pic_height_in_luma_samples、log2_ctu_size_minus2は図11(a)のsequence_parameter_set_rbsp()（SPSと称す）で通知（シグナル）される。以下、ある情報を「通知」するとは、ある情報を符号化データ（ビットストリーム）に含めることを意味し、動画像符号化装置では当該情報を符号化し、動画像復号装置では当該情報を復号する。
　　ctuWidth = ctuHeight = 1<<(log2_ctu_size_minus2+2)
　　PicWidthInCtbsY = Ceil(pic_width_in_luma_samples/ctuWidth)
　　PicHeightInCtbsY = Ceil(pic_height_in_luma_samples/ctuHeight)
ここでの除算(/)は小数精度とする。
　ピクチャ内の水平、垂直方向のタイル数NumTileColumns、NumTileRowsは図11(b)のPPS（pic_parameter_set_rbsp()）で通知される。例えば、タイル情報はsingle_tile_in_pic_flag、num_tile_columns_minus1、num_tile_rows_minus1、uniform_tile_spacing_flag、tile_column_width_minus1[i]、tile_row_height_minus1[i]であってもよい。ここで、single_tile_in_pic_flagはピクチャに複数のタイルがあるか否かを示すフラグで、１であればピクチャ内のタイルは１つであり、ピクチャはタイルに相当する。０であればピクチャに複数のタイルが含まれる。num_tile_columns_minus1、num_tile_rows_minus1は各々ピクチャ内の水平、垂直方向のタイル数NumTileColumns、NumTileRowsから各々1を引いた値である。uniform_spacing_flagはピクチャが可能な限り均等にタイル分割されるか否かを示すフラグである。
　ヘッダ復号部3020は、ピクチャ内の水平、垂直方向のタイル数NumTileColumns、NumTileRows、および、ピクチャ内のタイルの総数NumTilesInPicを以下で導出する。
　　NumTileColumns = num_tile_columns_minus1+1
　　NumTileRows = num_tile_rows_minus1+1
　　NumTilesInPic = NumTileColumns*NumTileRows
　ヘッダ復号部3020は、下式でタイルサイズを導出してもよい。
　　for(m=0;m<NumTileColumns;m++)
　　　ColWidth[m] = (m+1)*PicWidthInCtbsY/NumTileColumns-m*PicWidthInCtbsY/NumTileColumns
　　for(n=0;n<NumTileRows;n++)
　　　RowHeight[n] = (n+1)*PicHeightInCtbsY/NumTileRows-n*PicHeightInCtbsY/NumTileRows
　uniform_spacing_flagの値が0の場合、ピクチャの各タイルの幅、高さは個別に設定される。動画像符号化装置では各タイルの幅ColWidth[m]、高さRowHeight[n]をタイル毎に符号化する。動画像復号装置のヘッダ復号部3020はタイル毎にColWidth[m]、 RowHeight[n]を下記のように復号する。
　　ColWidth[m] = tile_column_width_minus1[m]+1　(0<=m<NumTileColumns-1)
　　RowHeight[n] = tile_row_height_minus1[m]+1　　(0<=n<NumTileRows-1)
　　ColWidth[NumTileColumns-1] = PicWidthInCtbsY-sum_m(ColWidth[m])
　　RowHeight[NumTileRows-1] = PicHeightInCtbsY-sum_n(RowHeight[n])
ここで、sum_m(ColWidth[m])は、ColWidth[m](0<=m<NumTileColumns-1)の総和、sum_n(RowHeight[n])はRowHeight[m](0<=NumTileRows<N-1)の総和を表す。
　（S1200：タイルグループ情報復号）ヘッダ復号部3020は、符号化データからタイルグループヘッダ（タイルグループ情報）を復号する。
　図12(a)は符号化タイルグループのタイルグループヘッダを示すシンタックスである。
タイルグループヘッダでは、tile_group_pic_parameter_set_id、tile_group_address、num_tiles_in_tile_group_minus1、tile_group_type、および、entry_point()が通知される。tile_group_pic_parameter_set_idは当該タイルグループが含まれるピクチャのピクチャパラメータセット識別子pps_pic_parameter_set_idを示す。tile_group_addressはタイルグループ内の最初のタイルのタイルアドレスを示し、0～NumTilesInPic-1の範囲の値である。同じピクチャに含まれるタイルグループのtile_group_addressは互いに異なる値である。num_tiles_in_tile_group_minus1+1はタイルグループ内のタイルの個数を示す。tile_group_typeはタイルグループの符号化タイプ（Iタイルグループ、Pタイルグループ、Bタイルグループ）を示す。entry_point()はエントリポイントのシンタックスであり、図12(b)に一例を示す。
　パラメータ復号部302は、まずtile_group_pic_parameter_set_idを復号する。次に、タイルグループ内のタイルの個数NumTilesInPic が１より大きい場合に、tile_group_addressとnum_tiles_in_tile_group_minus1を復号する。そうでない（NumTilesInPic==1）場合は、tile_group_addressとnum_tiles_in_tile_group_minus1に各々０をセットする。次にtile_group_typeを復号する。
　パラメータ復号部302は、タイルグループに複数のタイルが含まれる場合（num_tiles_in_tile_group_minus1>0）、offset_len_minus1とNumEntryPoint個のエントリポイントentry_point_offset_minus1[i]を復号する。セグメントがタイルの場合、NumEntryPointはnum_tiles_in_tile_group_minus1に設定される。タイルグループ内のタイルが１個の場合（num_tiles_in_tile_group_minus1=0）、パラメータ復号部302はエントリポイントを復号
しない。
　エントリポイントは符号化データ中のセグメントの先頭アドレス（例えば、対象セグメントが属するタイルグループヘッダの符号化データ上の開始点又は先行するセグメントの開始点をゼロ点とした、バイト単位のオフセット位置）であり、セグメントがタイルの場合は各タイルの先頭アドレスである。entry_point_offset_minus1[i]+1は、符号化データ中のi+1番目のエントリポイントとi番目のエントリポイントとの差分値であってもよい。0番目のエントリポイントはタイルグループヘッダの先頭アドレス（タイルグループヘッダ開始点の位置、すなわちゼロ点）であり、通知されない。offset_len_minus1+1はentry_point_offset_minus1[i]を表すビット数である。
　対象セグメントが属するタイルグループヘッダの符号化データ上の開始点をゼロ点としたバイト単位のオフセット位置をfirstByte[k]、セグメント終端のバイト単位のオフセット位置をlastByte[k]と表現すると、entry_point_offset_minus1[i]から以下のように導出できる。
　firstByte[k] = Σ(entry_point_offset_minus1[n-1]+1)
Σはn=1からkまでの和を表す。
　lastByte[k] = firstByte[k]+entry_point_offset_minus1[k]
　以下、動画像復号装置31は、対象ピクチャに含まれる各CTUについて、S1300からS5000の処理を繰り返すことにより各CTUの復号画像を導出する。
　（S1300：CTU情報復号）CT情報復号部3021は、符号化データからCTUを復号する。CT（Coding Tree）情報は符号化ツリーの分割情報を含む。
　図12(c)は符号化タイルグループのタイルグループデータのシンタックスの一例である。タイルグループデータでは、タイルグループのCTUデータcoding_tree_unit()が符号化又は復号され、セグメント最後で固定値のセグメント終端ビットend_of_tile_one_bitが符号化又は復号される。
　CT情報復号部3021は、セグメントがタイルの場合に、タイル終端（タイル右下）のCTUで、固定値のend_of_tile_one_bitを復号し、バイトアラインのためのビット列byte_alignment()を復号する。なお、byte_alignment()の復号は、iがnum_tiles_in_tile_group_minus1より小さい場合に限定しても良い。つまり、タイルグループ中の最後のセグメント（i==num_tiles_in_tile_group_minus1）では、その後にバイトアライメント用のトレイリングデータを復号するため、byte_alignment()の復号を省略できる。
　CT情報復号部3021は、tileIdxにtile_group_addressをセットする。tileIdxはタイルの識別子、tile_group_addressはタイルグループ内の最初のタイルのタイルアドレスである。tileIdxを用いてタイルグループの各タイルを識別するため、CT情報復号部3021はタイルを処理する毎にtileIdxを１インクリメントする。
　CT情報復号部3021は、tileIdxとFirstCtbAddrTs[]を用いて、タイル内のタイルスキャン順のCTUアドレスctbAddrTsを下式で導出する。タイルスキャンとは、タイル内で、タイルの左上から右下に順に処理を進めるスキャン方法である。
　　ctbAddrTs = FirstCtbAddrTs[tileIdx]
FirstCtbAddrTs[]はtileIdxをタイルの最初のCTUアドレスに変換するテーブルであり、下記のように導出される。
　　for (ctbAddrTs=0,tileIdx=0,tileStartFlag=1; ctbAddrTs<PicSizeInCtbsY; ctbAddrTs++) {
　　　if (tileStartFlag) {
　　　　FirstCtbAddrTs[tileIdx] = ctbAddrTs
　　　　tileStartFlag = 0
　　　}
　　　　　　　tileEndFlag = (ctbAddrTs==PicSizeInCtbsY-1) || (TileId[ctbAddrTs+1]!=TileId[ctbAddrTs])
　　　if(tileEndFlag) {
　　　　tileIdx++
　　　　tileStartFlag = 1
　　　}
　　}
　ここでTileId[]はタイルスキャン順のCTUアドレスをタイル識別子に変換するテーブルである。一例を以下に示す。
　　for (j=0,tileIdx=0; j<=num_tile_rows_minus1; j++)
　　　for (i=0; i<=num_tile_columns_minus1; i++,tileIdx++)
　　　　for (y=RowBd[j]; y<RowBd[j+1]; y++)
　　　　　for (x=ColBd[i]; x<ColBd[i+1]; x++)
　　　　　　TileId[CtbAddrRsToTs[y*PicWidthInCtbsY+x]] = TileIdx
　ここでRowBD[]とColBD[]は各タイル行の垂直方向の最大座標と各タイル列の水平方向の最大座標を格納するテーブルであり、CTU単位で表現される。一例を以下に示す。
　　For (RowBd[0]=0,j=0; j<=num_tile_rows_minus1; j++)
　　　RowBd[j+1] = RowBd[j]+RowHeight[j]
　　For (ColBd[0]=0,i=0; i<=num_tile_columns_minus1; i++)
　　　ColBd[i+1] = ColBd[i]+ColWidth[i]
　また、CtbAddrRsToTs[]はピクチャ内のラスタスキャン順のCTUアドレスをタイルスキャン順のCTUアドレスに変換するテーブルである。一例を以下に示す。
　　for (ctbAddrRs=0; ctbAddrRs<PicSizeInCtbsY; ctbAddrRs++) {
　　　tbX = ctbAddrRs%PicWidthInCtbsY
　　　tbY = ctbAddrRs/PicWidthInCtbsY
　　　for(i=0; i<=num_tile_columns_minus1; i++)
　　　　if(tbX>=ColBd[i]) tileX = i
　　　for(j=0; j<=num_tile_rows_minus1; j++)
　　　　if(tbY>=RowBd[j]) tileY = j
　　　CtbAddrRsToTs[ctbAddrRs] = 0
　　　for(i=0; i<tileX; i++)
　　　　CtbAddrRsToTs[ctbAddrRs] += RowHeight[tileY]*ColWidth[i]
　　　for(j=0; j<tileY; j++)
　　　　CtbAddrRsToTs[ctbAddrRs] += PicWidthInCtbsY*RowHeight[j]
　　　CtbAddrRsToTs[ctbAddrRs] += (tbY-RowBd[tileY])*ColWidth[tileX]+tbX-ColBd[tileX]
　　}
　CT情報復号部3021は、ctbAddrTsとCtbAddrTsToRs[]を用いて、ラスタスキャン順のCTUアドレスctbAddrRsを下式で導出する。
　　ctbAddrRs = CtbAddrTsToRs[ctbAddrTs]
CtbAddrTsToRs[]はタイルスキャン順のCTUアドレスをラスタスキャン順のCTUアドレスに変換するテーブルであり、下記のように導出される。
　　for (ctbAddrRs=0; ctbAddrRs<PicSizeInCtbsY; ctbAddrRs++)
　　　CtbAddrTsToRs[CtbAddrRsToTs[ctbAddrRs]] = ctbAddrRs
　CT情報復号部3021はタイル内の各CTUをタイルスキャン順に復号し、全てのCTUの復号終了後、end_of_tile_one_bitを復号する。
　（S1400：CT情報復号）CT情報復号部3021は、符号化データからCTを復号する。
　（S1500：CU復号）CU復号部3022はS1510、S1520を実施して、符号化データからCUを復号する。
　（S1510：CU情報復号）CU復号部3022は、符号化データからCU情報、予測情報、TU分割フラグsplit_transform_flag、CU残差フラグcbf_cb、cbf_cr、cbf_luma等を復号する。
　（S1520：TU情報復号）TU復号部3024は、TUに予測誤差が含まれている場合に、符号化データからQP更新情報（量子化補正値）と量子化予測誤差（residual_coding）を復号する。なお、QP更新情報は、量子化パラメータQPの予測値である量子化パラメータ予測値qPpredからの差分値である。
　（S2000：予測画像生成）予測画像生成部308は、対象CUに含まれる各ブロックについて、予測情報に基づいて予測画像を生成する。
　（S3000：逆量子化・逆変換）逆量子化・逆変換部311は、対象CUに含まれる各TUについて、逆量子化・逆変換処理を実行する。
　（S4000：復号画像生成）加算器312は、予測画像生成部308より供給される予測画像と、逆量子化・逆変換部311より供給される予測誤差とを加算することによって、対象CUの復号画像を生成する。
　（S5000：ループフィルタ）ループフィルタ305は、復号画像にデブロッキングフィルタ、SAO、ALFなどのループフィルタをかけ、復号画像を生成する。
　（変形例１）タイルグループ毎にタイルサイズを変更する例
　上述の例では、ピクチャ単位（PPS）でタイルの幅と高さを規定したが、変形例１ではピクチャを分割するタイルグループ毎にフレキシブルにタイルサイズを設定する例を説明する。
　図13はピクチャを４つのタイルグループTileGr0～TileGr3に分割し、さらにタイルグループをタイルに分割する例である。図6のタイル分割とは異なり、タイルグループ毎に異なるタイルの幅と高さを設定することが特徴である。図のTileの後の番号はタイルグループ内のタイルのアドレス（TileAddrInTG）である。図のタイルグル―プTileGr0はタイルTile0、Tile1、Tile2、Tile3を含む。TileGr1はTile4、Tile5を含む。TileGr2はTile6、Tile7、Tile8を含む。TileGr3はTile9を含む。
　図14に変形例１のシンタックスの一例を示す。図に示すように、シンタックスは例えば、single_tile_group_in_pic_flag、num_tile_group_columns_minus1、num_tile_rows_group_minus1、tile_group_column_width_minus1[i]、tile_group_row_height_minus1[i]であってもよい。
　ここで、single_tile_group_in_pic_flagはピクチャに複数のタイルグループがあるか否かを示すフラグで、１であればピクチャ内のタイルグループは１つであり、ピクチャはタイルグループに相当する。０であればピクチャに複数のタイルグループが含まれる。num_tile_group_columns_minus1、num_tile_group_rows_minus1は各々ピクチャ内の水平、垂直方向のタイルグループ数NumTileGrColumns、NumTileGrRowsから各々1を引いた値である。
　次にタイルグループ毎にタイルのシンタックスが通知される。例えば、j番目のタイルグループ内の各タイルに対し、single_tile_in_pic_flag[j]、num_tile_columns_minus1[j]、num_tile_rows_minus1[j]、uniform_tile_spacing_flag[j]、tile_column_width_minus1[j][i]、tile_row_height_minus1[j][i]が通知される。各シンタックスの意味は図11(b)のシンタックスと同じである。
　ヘッダ復号部3020はj番目のタイルグループの幅と高さ（CTU単位）を以下で導出する。
　　TileGrWidthInCtbsY[j] = Ceil((tile_group_column_width_minus1[j]+1)/ctuWidth)
　　TileGrHeightInCtbsY[j] = Ceil((tile_group_height_in_luma_samples[j]+1)/ctuHeight)
　ヘッダ復号部3020は、ピクチャ内の水平、垂直方向のタイルグループ数NumTileGrColumns、NumTileGrRows、および、ピクチャ内のタイルグループの総数NumTileGrsInPicを以下で導出する。
　　NumTileGrColumns = num_tile_group_columns_minus1+1
　　NumTileGrRows = num_tile_group_rows_minus1+1
　　NumTilesGrsInPic = NumTileGrColumns*NumTileGrRows
　ヘッダ復号部3020は、j番目のタイルグループ内の水平、垂直方向のタイル数NumTileColumns[j]、NumTileRows[j]、および、タイルグループ内のタイルの総数NumTilesInPic[j]を以下で導出する。
　　NumTileColumns[j] = num_tile_columns_minus1[j]+1
　　NumTileRows[j] = num_tile_rows_minus1[j]+1
　　NumTilesInPic[j] = NumTileColumns[j]*NumTileRows[j]
　ヘッダ復号部3020はj番目のタイルグループの各タイルの幅ColWidth[j][m]、 高さRowHeight[j][n]を下記のように復号する。
　　ColWidth[j][m] = tile_column_width_minus1[j][m]+1　(0<=m<NumTileColumns[j]-1)
　　RowHeight[j][n] = tile_row_height_minus1[j][m]+1　　(0<=n<NumTileRows[j]-1)
　　ColWidth[j][NumTileColumns[j]-1] = TileGrWidthInCtbsY[j]-sum_m(ColWidth[j][m])
　　RowHeight[j][NumTileRows[j]-1] = TileGrHeightInCtbsY[j]-sum_n(RowHeight[j][n])
ここで、sum_m(ColWidth[j][m])は、ColWidth[j][m] (0<=m<NumTileColumns[j]-1)の総和、sum_n(RowHeight[j][n])はRowHeight[j][m] (0<=NumTileRows[j]<N-1)の総和を表す。
　変形例１では、タイルグループヘッダ、タイルグループデータのシンタックスは図12(a)および図12(c)と同じであるが、タイルスキャン順のCTUアドレスをタイル識別子に変換するテーブルTileId[]の導出方法が異なる。変形例１におけるこのテーブルの導出方法を以下に示す。
　　for (k=0; k<NumTileGrRows; k++)
　　　for (l=0; l<NumTileGrColumns; l++)
　　　　for (j=0,tileIdx=0; j<=num_tile_rows_minus1[k]; j++)
　　　　　for(i=0; i<=num_tile_columns_minus1[l]; i++,tileIdx++)
　　　　　　for(y=RowBd[k][j]; y<RowBd[k][j+1]; y++)
　　　　　　　for(x=ColBd[l][i]; x<ColBd[l][i+1]; x++)
　　　　　　　　TileId[CtbAddrRsToTs[y*PicWidthInCtbsY+x]] = TileIdx
それ以外のヘッダ復号部3020の処理は、上述のPPSでタイルの幅と高さを規定する例と同じである。
　以上のように、タイルグループ毎にタイルの幅と高さを示すシンタックスを符号化又は復号することで、タイルグループ毎に異なるサイズのタイルを用いることができ、よりフレキシブルなタイル分割が可能になる。
　（ウェーブフロント並列処理）
　ウェーブフロント並列処理（WPP：Wavefront Pararrel Processing）は、CTU行をセグメントとして用いることにより、符号化効率の低下を抑えながら多数のセグメントの並列符号化又は並列復号を実現できる。以下、CTU行をセグメントとして用いる場合には、WPPを用いることとする。
　（セグメントグループ内の排他構成）
　図15は、タイルグループ（セグメントグループ）単位で、異なる種類のセグメントを利用する例を示す。この例では、TileGr0、TileGr1では、セグメントとしてタイルを用い、TileGr2ではセグメントとしてCTU行を用い、TileGr3ではセグメントとしてスライスを用いる例を示す。
　以降の実施形態では、１つのセグメントグループ内（タイルグループ内）では、セグメントの種別を１つに制限し、タイル、CTU行、スライスを排他的に処理することを特徴とする。すなわち、１つのタイルグループ内（セグメントグループ）では、タイルセグメント（複数のタイルセグメント）、CTU行セグメント、スライスセグメントのいずれか１つのみを有効にすることができる。例えば、１つのタイルグループ内では、タイルとCTU行の何れか一方のみを有効にすることができる。上記でタイルを有効にするとは、タイルグループが2つ以上のタイルから構成されている場合（タイルグループを2つ上のタイルに分割する）を意味する。
　（変形例２）セグメントがタイルとCTU行をとりうる場合の処理
　変形例２ではセグメントはタイル、CTU行（CTU row）のいずれかであり、タイルグループ単位でタイルとCTUのいずれか一方を使用する場合を説明する。
　図16は、タイルセグメントとCTU行セグメントの排他構成を説明する図である。
　entropy_coding_sync_enabled_flagは、CTU行をセグメントとするか（WPPを実施するか）否かを示すフラグ（WPP有効フラグ）である。なお、CTU行をセグメントとする場合には、CABACの同期処理を行う。すなわち、CABACにおいて、1つ上のCTU行の2番目のCTUが終了した時点のCABAC状態を用いて、CTU行の先頭CTUのCABAC初期化を行う。図に示すように、num_tiles_in_tile_group_minus1が０より大きい場合に、つまりタイルが複数の場合にはentropy_coding_sync_enabled_flagは０のみをとる。この場合、複数タイルのみが有効になる。num_tiles_in_tile_group_minus1が０の場合、つまりタイルが１つの場合には、entropy_coding_sync_enabled_flagは１をとりうる。この場合、複数CTU行（ウェーブフロント）のみが有効になる。最後にnum_tiles_in_tile_group_minus1が０、かつ、entropy_coding_sync_enabled_flagは０の場合は、タイルグループ内のタイルが１個の場合である。後述するように、この場合はスライスをさらに有効としても良い。
　上記、構成によって、１つのタイルグループ（セグメントグループ内）で、タイルとウェーブフロントのエントリポイントを共通化できるという効果を奏する。
　また、あるタイルグループではタイル（複数タイル）を有効にし、別のタイルグループではウェーブフロントを有効にすることができる効果を奏する。
　変形例２では、タイルとウェーブフロントの排他構成を実現するため、タイルグループ内のタイルの個数が１（タイルグループとタイルが同じ、つまり対象タイルグループでは複数タイルを有効にしない）の場合はentropy_coding_sync_enabled_flagフラグを通知することによって、セグメントとしてCTU行を利用可能とし、そうでない（タイルグループが複数のタイルを含む）場合はセグメントとしてタイルを利用する。従って、図5のようにピクチャを４つのタイルグループに分割する場合、各タイルグループは図8(a)に示すように複数のタイルに分割される場合と、図8(b)に示すように複数のCTU行に分割される場合と、タイルグループが１つのタイルで構成される場合（タイルグループ内のタイルが１つの場合、かつ、CTU行で分割されない場合）がある。
　タイルグループに含まれる、複数のタイル又は複数のCTU行を並列で符号化又は復号するために、タイル又はCTU行の先頭アドレス（エントリポイント）はタイルグループヘッダで符号化又は復号する。
　図17を用いて、タイルとウェーブフロントの排他構成を備える構成のヘッダ符号化部1110及びヘッダ復号部3020の動作を説明する図である。図18(a)に本実施形態の符号化および復号するタイルグループヘッダのシンタックス構成を示す。
　図のフローチャート及びシンタックス構成に示すように、ヘッダ符号化部1110及びヘッダ復号部3020は、num_tiles_in_tile_group_minus1が０（S3001でYES）の場合、すなわちタイルグループ内にタイルが１つの場合、entropy_coding_sync_enabled_flagを符号化又は復号する（S3002）。そうでない場合、entropy_coding_sync_enabled_flagを０（WPPオフ）にセットする。
　　if (num_tiles_in_tile_group_minus1 == 0)
　　　entropy_coding_sync_enabled_flag
　図18(b)は、エントリポイントのシンタックス構成を示す図である。図中TileGrHeightInCtbsYはタイルグループのCTU単位の高さであり、num_tiles_in_tile_group_minus1はタイルグループのタイル数から１を引いた値である。
　ヘッダ符号化部1110及びヘッダ復号部3020は、エントリポイントの数NumEntryPointを導出する。タイルグループに含まれるセグメントがWPPを使用する場合（entropy_coding_sync_enabled_flag=1の場合）、タイルグループに含まれるCTU行の数-1（ここではTileGrHeightInCtbsY-1）をNumEntryPointにセットする。
　　NumEntryPoint = TileGrHeightInCtbsY-1
　それ以外、タイルグループに含まれるタイル数-1（ここではnum_tiles_in_tile_group_minus1）をNumEntryPointにセットする。
　　NumEntryPoint＝num_tiles_in_tile_group_minus1
　ヘッダ符号化部1110及びヘッダ復号部3020は、NumEntryPointが０より大きい場合にエントリポイントの情報（offset_len_minus1とNumEntryPoint個のentry_point_offset_minus1）を符号化又は復号する。
　図18(c)は、タイルグループデータのシンタックス構成を示す図である。coding_tree_unit()はCTU行に含まれるCTUの符号化データである。end_of_subset_one_bitはセグメントの終端を示すフラグである。
　CT情報符号化部1111及びCT情報復号部3021は、タイルグループ内のタイルを処理するループ処理（ループ変数i）において、さらにタイル内のCTUに関するループ処理（ループ変数j）において、対象CTU coding_tree_unit()を符号化又は復号する。
　CT情報符号化部1111及びCT情報復号部3021は、ctbAddrTsとFirstCtbAddrTs[]を用いてctbAddrInTileを下式で導出する。ctbAddrInTileはタイル内での現CTUのアドレス、ctbAddrTsは現CTUのタイルスキャン順のアドレス、FirstCtbAddrTs[]はタイルグループの最初のCTUのアドレスである。
　　ctbAddrInTile = ctbAddrTs-FirstCtbAddrTs[tile_group_address]
　CT情報符号化部1111及びCT情報復号部3021は、WPPがオンの場合、CTU行の復号終了後にend_of_subset_one_bitを符号化又は復号する。end_of_subset_one_bitはCTU行の最後に挿入するビットである。CTU行の最後か否かは下式で判定する。
　　entropy_coding_sync_enabled_flag && (CtbAddrInTile+1)%TileWidthInCtbsY==0
　つまり、CT情報復号部3021は、(entropy_coding_sync_enabled_flag && (CtbAddrInTile+1)%TileWidthInCtbsY==0)の場合、すなわち、entropy_coding_sync_enabled_flagが１
の場合にCTU行右端で、CTU復号後に固定値のend_of_subset_one_bitを復号する。また、対象CTU coding_tree_unit()を符号化又は復号する前に、対象CTUがCTU行の先頭（左端）である場合に、セグメント（ここではCTU行）の最後を示すビット列を復号することでも同じ処理ができる。
　CT情報符号化部1111及びCT情報復号部3021は、j==NumCtusInTile[tileIdx]-1の場合、すなわち、タイルグループ内の最後のCTUで、固定値のend_of_subset_one_bitを符号化又は復号する。
　さらに、CT情報符号化部1111及びCT情報復号部3021は、タイルグループの最後のセグメント以外（直後にトレイリングデータを符号化する場合以外）では、end_of_subset_one_bitの後にバイトアライメントのビット列を復号する。なお、j<NumCtusInTile[tileIdx]-1は、セグメント内の最後のCTU以外であり、i<num_tiles_in_tile_group_minus1は最後のセグメント以外であり、両者の和集合によって、タイルグループの最後のセグメント以外のCTUを判定できる。
　以上のように、タイルグループ単位でタイルとCTU行のいずれか一方を使用することで、１つのタイルグループの中で並列処理機能をもつ複数の処理を排他的に実行することができるので、符号化効率がよい。また、タイルとCTU行に関しエントリポイントを共通に用いることができ、タイルグループ毎にエントリポイントがタイルの先頭アドレスとCTU行の先頭アドレスとのいずれを指しているのかが既知であるので、処理が簡単である。
　図19は、本実施形態の符号化および復号するタイルグループヘッダのシンタックス構成の別の例である。図に示すように、entropy_coding_sync_enabled_flagを先に符号化、復号し、entropy_coding_sync_enabled_flagが０、すなわちWPPがオフの場合に、num_tiles_in_tile_group_minus1を通知してもよい。この場合、ヘッダ符号化部1110及びヘッダ復号部3020はentropy_coding_sync_enabled_flagを符号化又は復号し、NumTilesInPicが１より大きく、かつ、entropy_coding_sync_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化又は復号する。そうでない（NumTilesInPicが１以下、あるいは、entropy_coding_sync_enabled_flagが１）場合、ヘッダ符号化部1110及びヘッダ復号部3020はnum_tiles_in_tile_group_minus1に０をセットする。
　（変形例３）セグメントがタイルとスライスをとりうる場合の処理
　変形例３ではタイルグループ内のセグメントとして、タイル、スライスのいずれか一方を排他的に使用する場合を説明する。
　図20は、タイルセグメントとスライスセグメントの排他構成を説明する図である。
　slice_enabled_flagは、スライスをセグメントとするか（スライスを使用するか）否かを示すフラグである。なお、スライス先頭でCABACを初期化する。図に示すように、num_tiles_in_tile_group_minus1が０より大きい場合に、つまりタイルが複数の場合にはslice_enabled_flagは０のみをとる。この場合、複数タイルのみが有効になる。num_tiles_in_tile_group_minus1が０の場合、つまりタイルが１つの場合には、slice_enabled_flagは１をとりうる。この場合、スライスのみが有効になる。最後にnum_tiles_in_tile_group_minus1が０、かつ、entropy_coding_sync_enabled_flagは０の場合には、タイルグループ内のタイルが１個の場合である。この場合は、WPPを有効としても良い。
　変形例３では、タイルグループ内のタイルの個数が１（タイルグループとタイルが同じ）の場合はセグメントとしてスライスを利用可能とし、そうでない（タイルグループが複数のタイルを含む）場合はセグメントにタイルを利用する。例えば、図5のようにピクチャを４つのタイルグループに分割した場合、各タイルグループは図8(a)に示すように複数のタイルに分割する場合と、図8(c)に示すように複数のスライスに分割する場合がある。また、１つのタイルに分割する場合があってもよい。つまり、タイルグループ内のタイルが１つの場合、かつ、CTU行で分割されない場合は、タイルグループは１つのタイルを含む。
　スライスでは、CTUの符号化データの最後に、セグメントの最後であるか否かを示すスライス終端フラグend_of_slice_segment_flagを通知することにより、CTU単位の任意の位置でセグメントを終了することができる。このようなCTU単位で大きさを可変にできるセグメントをスライスセグメントと呼ぶ。例えば指定したビット量以内でセグメントの区切りを設けたい場合にスライスが利用される。さらに、スライスの並列復号を目的として、スライスの先頭にマーカ（ユニークコード、start code）を挿入する構成としてもよい。マーカを用いることで、動画像復号装置は各スライスのビットストリーム上での先頭位置を検索し位置を同定することができる。なお、スライスの先頭にマーカを挿入する構成においては、スライスを挿入する度（つまり、end_of_slice_segment_flagが1である場合に）、タイルグループを終了する構成にしてもよい。この構成では、タイルグループに１つのスライスを含むため、タイルグループヘッダがスライスの先頭に常に付加されマーカの役割を果たす。
　マーカによってスライス先頭を符号化又は復号する場合、スライスの前にユニークなコード、例えば"0x00000100"（32bit）を挿入し、動画像復号装置はあらかじめ符号化データを復号することによって、符号化データ中のスライス先頭を探索してもよい。
　タイル、スライスを並列処理するために、タイルの先頭アドレス（エントリポイント）はタイルグループヘッダで通知してもよい。図21(a)にタイルグループヘッダの一例を示す。図21ではslice_enabled_flagを通知する。slice_enabled_flagはスライス分割するか否かを示すフラグである。
　ヘッダ符号化部1110及びヘッダ復号部3020は、num_tiles_in_tile_group_minus1が０の場合、すなわちタイルグループ内にタイルが１つの場合、slice_enabled_flagとnum_slices_in_tile_minus1を符号化又は復号する。そうでない場合、slice_enabled_flagを０（スライスオフ）にセットする。
　なお、num_slices_in_tile_minus1をタイルグループヘッダで通知しない構成であってもよい。
　タイル数num_tiles_in_tile_group_minus1、スライス有効フラグslice_enabled_flagの符号化、復号順は上記に限定されない。以下のように処理してもよい。
　（スライス、タイル）
　スライス有効フラグslice_enabled_flag、タイル数num_tiles_in_tile_group_minus1、の順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダでslice_enabled_flagを符号化又は復号する。slice_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化又は復号する。num_tiles_in_tile_group_minus1、slice_enabled_flagを復号しない場合には各々０に設定する。
　ヘッダ符号化部1110及びヘッダ復号部3020は、NumEntryPointを導出する。NumEntryPointはエントリポイントの数であり、タイルを使用する場合はnum_tiles_in_tile_group_minus1をセットする。ヘッダ符号化部1110及びヘッダ復号部3020は、NumEntryPointが０より大きい場合にエントリポイントの情報（offset_len_minus1とNumEntryPoint個のentry_point_offset_minus1）を符号化又は復号する。
　CT情報復号部3021はスライスがオンの場合、１CTUの復号終了後にend_of_slice_segment_flagを復号する。end_of_slice_segment_flagはCTU行の最後に挿入するビットである。
　図21(c)は符号化タイルグループのタイルグループデータのシンタックスの一例である。図は１CTUの復号終了後にend_of_slice_segment_flagを符号化又は復号する構成を示す。end_of_slice_segment_flagはスライスの最後か否かを示すフラグであり、１であればスライスの最後、そうでなければスライスの最後ではない。
　以上のように、タイルグループ単位でタイルとスライスのいずれか一方を使用することで、１つのタイルグループの中で並列処理機能をもつ複数の処理を排他的に実行することができ、効率がよい。
　（変形例４）スライスでエントリポイントを用いる場合の処理
　以下の例では、スライスの先頭アドレスをエントリポイントとして符号化又は復号することによりビットストリーム上でのスライスの先頭位置を指定する構成を示す。
　タイル、スライスを並列処理するために、タイルとスライスの先頭アドレス（エントリポイント）はタイルグループヘッダで通知する。図21(a)に示すタイルグループヘッダの一例において、slice_enabled_flagの後にnum_slices_in_tile_minus1を通知してもよい。num_slices_in_tile_minus1はタイル内のスライスの個数から１を引いた値である。
　また、エントリポイントのシンタックスを図21(b)に示す。図21(c)は、NumEntryPointの導出にslice_enabled_flagとnum_slices_in_tile_minus1を用いる構成を示す。
　ヘッダ復号部3020は、num_tiles_in_tile_group_minus1が０の場合、すなわちタイルグループ内にタイルが１つの場合、slice_enabled_flagとnum_slices_in_tile_minus1を復号する。そうでない場合、slice_enabled_flagを０（スライスオフ）にセットする。
　ヘッダ復号部3020は、NumEntryPointを導出する。NumEntryPointはエントリポイントの数であり、スライスを使用する場合はnum_slices_in_tile_minus1をセットし、タイルを使用する場合はnum_tiles_in_tile_group_minus1をセットする。ヘッダ復号部3020は、NumEntryPointが０より大きい場合にエントリポイントの情報（offset_len_minus1とNumEntryPoint個のentry_point_offset_minus1）を復号する
　上記以外の処理は変形例２と同じである。
　次に、タイルグループデータについて説明する。
　図21(c)は符号化タイルグループのタイルグループデータのシンタックスの一例である。図21(c)は１CTUの復号終了後にend_of_slice_segment_flagを符号化又は復号する構成を示す。end_of_slice_segment_flagはスライスの最後か否かを示すフラグ（ビット）であり、１であればスライスの最後、そうでなければスライスの最後ではない。
　CT情報復号部3021はスライスがオンの場合、１CTUの復号終了後にend_of_slice_segment_flagを復号する。
　以上のように、タイルグループ単位でタイルとスライスのいずれか一方を使用することで、１つのタイルグループの中で並列処理機能をもつ複数の処理を排他的に実行することができ、効率がよい。また、タイルとスライスに関しエントリポイントを共通に用いることができ、タイルグループ毎にエントリポイントがタイルの先頭アドレスとスライスの先頭アドレスとのいずれを指しているのかが既知であるので、処理が簡単である。あるいはエントリポイントを使わずスライスの先頭を一意なマーカで通知してもよい。
　（変形例５）タイル、CTU行、スライスを用いたセグメント
　変形例５では、タイル、CTU行、スライスを排他的に設定する例を説明する。図22は、タイルセグメントとCTU行セグメントとスライスセグメントの排他構成を説明する図である。図に示すように、変形例５では、タイルグループ内に、複数のタイルセグメントがある場合、CTU行セグメントがある場合、スライスセグメントがある場合、および、タイルグループ内に単一のセグメント（ここではタイルと呼ぶ）がある場合のいずれかをとる。
　より具体的にはタイルグループ内に複数のタイルが含まれる時はタイルを用い、タイルグループが１つのタイルからなる時はCTU行あるいはスライスを用いる構成でもよい。タイルグループが１つのタイルからなり、CTU行もスライスも用いられない場合、タイルグループは１つのタイルとして設定する。
　（タイル数、WPP有効フラグ、スライス有効フラグの順に通知する構成）
　図23(a)はタイルグループヘッダの一例である。図では、タイルの個数が１の場合にentropy_coding_sync_enabled_flagを通知し、entropy_coding_sync_enabled_flagが０（WPPオフ）の場合はslice_enabled_flagを符号化又は復号する。
　ヘッダ符号化部1110及びヘッダ復号部3020は、num_tiles_in_tile_group_minus1が０の場合にentropy_coding_sync_enabled_flagを符号化又は復号する。次にentropy_coding_sync_enabled_flagが０の場合にslice_enabled_flagを符号化又は復号する。num_tiles_in_tile_group_minus1が０でない場合はentropy_coding_sync_enabled_flagとslice_enabled_flagを０に設定する。num_tiles_in_tile_group_minus1が０、かつ、entropy_coding_sync_enabled_flagが０以外の場合、slice_enabled_flagを０に設定する。
　これら以外の処理はセグメントがタイルのみの例と同じである。
　図23(b)は符号化タイルグループのタイルグループデータのシンタックスの一例である。図に示すように本実施形態では、セグメントがタイルの場合及びCTU行（ウェーブフロント）の場合には、セグメントの最後に必ず１であるend_of_subset_one_bitを符号化又は復号し、セグメントがスライスの場合には、CTUがセグメントの終端であるか否かを示す０と１をとりうるend_of_slice_segment_flagを符号化又は復号する。end_of_subset_one_bitを符号化又は復号する方法は図18(c)で既に説明したとおりであるので説明を省略する。また、end_of_slice_segment_flagを符号化又は復号する方法は、図21(c)で既に説明したとおりであるので説明を省略する。
　以上のように、タイルグループ単位でタイル、CTU行、スライスを排他的に使用することでセグメントの符号化復号処理を簡略化することができる。またセグメントの開始点および終端が明確になる効果を奏する。例えば、スライス先頭かつタイルの先頭かつCTU行の先頭でもある、というような混乱がなくなる。
　タイル数num_tiles_in_tile_group_minus1、WPP有効フラグentropy_coding_sync_enabled_flag、スライス有効フラグslice_enabled_flagの符号化、復号順は上記に限定されない。以下のように処理してもよい。
　（タイル、スライス、WPP）
　num_tiles_in_tile_group_minus1、slice_enabled_flag、entropy_coding_sync_enabled_flagの順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、num_tiles_in_tile_group_minus1を符号化又は復号する。num_tiles_in_tile_group_minus1が０の場合にslice_enabled_flagを符号化又は復号する。次にslice_enabled_flagが０の場合にentropy_coding_sync_enabled_flagを符号化又は復号する。num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flag、slice_enabled_flagを復号しない場合には各々０に設定する。
　（WPP、タイル、スライス）
　entropy_coding_sync_enabled_flag、num_tiles_in_tile_group_minus1、slice_enabled_flagの順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダでentropy_coding_sync_enabled_flagを符号化又は復号する。entropy_coding_sync_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化又は復号する。次にnum_tiles_in_tile_group_minus1が０の場合にslice_enabled_flagを符号化又は復号する。num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flag、slice_enabled_flagを復号しない場合には各々０に設定する。
　（WPP、スライス、タイル）
　entropy_coding_sync_enabled_flag、slice_enabled_flag、num_tiles_in_tile_group_minus1の順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダでentropy_coding_sync_enabled_flagを符号化又は復号する。entropy_coding_sync_enabled_flagが０の場合にslice_enabled_flagを符号化又は復号する。次にslice_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化又は復号する。num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flag、slice_enabled_flagを復号しない場合には各々０に設定する。
　（スライス、タイル、WPP）
　slice_enabled_flag、num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flagの順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダでslice_enabled_flagを符号化又は復号する。slice_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化又は復号する。次にnum_tiles_in_tile_group_minus1が０の場合にentropy_coding_sync_enabled_flagを符号化又は復号する。num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flag、slice_enabled_flagを復号しない場合には各々０に設定する。
　（スライス、WPP、タイル）
　slice_enabled_flag、entropy_coding_sync_enabled_flag、num_tiles_in_tile_group_minus1の順に通知する場合、以下の処理を行う。ヘッダ符号化部1110及びヘッダ復号部3020は、タイルグループヘッダでslice_enabled_flagを符号化又は復号する。slice_enabled_flagが０の場合にentropy_coding_sync_enabled_flagを符号化又は復号する。次にentropy_coding_sync_enabled_flagが０の場合にnum_tiles_in_tile_group_minus1を符号化又は復号する。num_tiles_in_tile_group_minus1、entropy_coding_sync_enabled_flag、slice_enabled_flagを復号しない場合には各々０に設定する。
　エントロピー復号部301は、インター予測パラメータをインター予測パラメータ復号部303に出力する。また、イントラ予測パラメータをイントラ予測パラメータ復号部304に出力する。また、量子化変換係数を逆量子化・逆変換部311に出力する。
　エントロピー復号部301は、CABAC初期化部3011、CABAC復号部3012、初期化テーブル3013、空間予測格納部3015（空間予測テーブル3016を含む）を備える。空間予測格納部3015は、内部の空間予測テーブル3016にCABAC状態を格納する。格納されたCABAC状態は、対象ピクチャの後続のセグメントなど、対象セグメント以外のセグメントの復号時に参照されCABAC状態の初期化に利用される。CABAC復号部3012は、内部に備えたCABAC状態に応じて、符号化データ（ビットストリーム）からシンタックスを復号する。
　エントロピー復号部301は、セグメント先頭でCABAC初期化部3011を用いてCABAC状態を初期化する。CABAC状態とは、例えば、コンテキスト単位の確率の状態を示すStateIdx、０と１のどちらが高確率かを示すMpsVal、係数StatCoeffなどである。コンテキストはシンタックスを構成するバイナリ列（０と１からなる列）の要素ごとに定められている。CABAC(Context-adaptive binary arithmetic coding)とは、コンテキストごとに０か１に符号化される確率を推定し、その確率に基づいてバイナリを符号化することで効率的に符号化できる。このとき、確率StateIdxの初期値（及び高い確率のバイナリMps）を設定する必要があり、これをCABAC初期化と呼ぶ。TableStateIdx、TableMpsVal、TableStatCoeffは、StateIdx、MpsVal、StatCoeffから構成されるテーブルである。
　上記CABAC初期化部3011は、セグメントがタイルの場合には、矩形のタイルの左上CTUを復号開始時点（タイルの境界時点）として、初期化テーブルを用いてCABAC状態の初期化を行う。セグメントがCTU行の場合（entropy_coding_sync_enabled_flagが１、WPPの場合）には、CTU行の左端で、空間予測格納部3015に格納されたCABAC状態を用いて初期化する。WPPの場合には、各CTU行の2つ目のCTUのCABAC状態を空間予測格納部3015に格納し、後続のセグメントで利用する。セグメントがスライスの場合（slice_enabled_flagが１）には、初期化テーブルを用いてCABAC状態の初期化を行ってもよい。ここでタイル境界の判定は、隣接するCTUのタイルの識別子が異なるかどうか（TileId[CtbAddrTs]!=TileId[CtbAddrTs-1]）を用いてもよい。ここで、CTU行の左端の判定は、（CtbAddrInTile%TileWidthInCtbsY==0）でもよい。また、スライス先頭の判定は、CTUアドレスCtbAddrRsが、スライス先頭のCTUアドレスと一致するか(CtbAddrRs==slice_segment_address)でもよい。
　ループフィルタ305は、符号化ループ内に設けたフィルタで、ブロック歪やリンギング歪を除去し、画質を改善するフィルタである。ループフィルタ305は、加算部312が生成したCUの復号画像に対し、デブロッキングフィルタ、サンプル適応オフセット（SAO）、適応ループフィルタ（ALF）等のフィルタを施す。
　参照ピクチャメモリ306は、加算部312が生成したCUの復号画像を、対象ピクチャ及び対象CU毎に予め定めた位置に記憶する。
　予測パラメータメモリ307は、復号対象のCTUあるいはCU毎に予め定めた位置に予測パラメータを記憶する。具体的には、予測パラメータメモリ307は、パラメータ復号部302が復号したパラメータ及びエントロピー復号部301が分離した予測モードpredMode等を記憶する。
　予測画像生成部308には、予測モードpredMode、予測パラメータ等が入力される。また、予測画像生成部308は、参照ピクチャメモリ306から参照ピクチャを読み出す。予測画像生成部308は、予測モードpredModeが示す予測モードで、予測パラメータと読み出した参照ピクチャ（参照ピクチャブロック）を用いてブロック又はサブブロックの予測画像を生成する。ここで、参照ピクチャブロックとは、参照ピクチャ上の画素の集合（通常矩形であるのでブロックと呼ぶ）であり、予測画像を生成するために参照する領域である。
　逆量子化・逆変換部311は、エントロピー復号部301から入力された量子化変換係数を逆量子化して変換係数を求める。この量子化変換係数は、符号化処理において、予測誤差に対してDCT（Discrete Cosine Transform、離散コサイン変換）等の周波数変換を行い量子化して得られる係数である。逆量子化・逆変換部311は、求めた変換係数について逆DCT等の逆周波数変換を行い、予測誤差を算出する。逆量子化・逆変換部311は予測誤差を加算部312に出力する。
　加算部312は、予測画像生成部308から入力されたブロックの予測画像と逆量子化・逆変換部311から入力された予測誤差を画素毎に加算して、ブロックの復号画像を生成する。加算部312はブロックの復号画像を参照ピクチャメモリ306に記憶し、また、ループフィルタ305に出力する。
　　（動画像符号化装置の構成）
　次に、本実施形態に係る動画像符号化装置11の構成について説明する。図24は、本実施形態に係る動画像符号化装置11の構成を示すブロック図である。動画像符号化装置11は、予測画像生成部101、減算部102、変換・量子化部103、逆量子化・逆変換部105、加算部106、ループフィルタ107、予測パラメータメモリ109、符号化パラメータ決定部110、パラメータ符号化部111、エントロピー符号化部104を含んで構成される。
　予測画像生成部101は画像Ｔの各ピクチャを分割した領域であるCU毎に予測画像を生成する。予測画像生成部101は既に説明した予測画像生成部308と同じ動作である。
　減算部102は、予測画像生成部101から入力されたブロックの予測画像の画素値を、画像Ｔの画素値から減算して予測誤差を生成する。減算部102は予測誤差を変換・量子化部103に出力する。
　変換・量子化部103は、減算部102から入力された予測誤差に対し、周波数変換によって変換係数を算出し、量子化によって量子化変換係数を導出する。変換・量子化部103は、量子化変換係数をエントロピー符号化部104及び逆量子化・逆変換部105に出力する。
　逆量子化・逆変換部105は、動画像復号装置31における逆量子化・逆変換部311（図9）と同じである。算出した予測誤差は加算部106に出力される。
　パラメータ符号化部111は、ヘッダ符号化部1110、CT情報符号化部1111、CU符号化部1112（予測モード符号化部）、エントロピー符号化部104、および図示しないインター予測パラメータ符号化部112とイントラ予測パラメータ符号化部113を備えている。CU符号化部1112はさらにTU符号化部1114を備えている。
　以下、各モジュールの概略動作を説明する。パラメータ符号化部111はヘッダ情報、分割情報、予測情報、量子化変換係数等のパラメータの符号化処理を行う。
　CT情報符号化部1111は、QT、MT（BT、TT）分割情報等を符号化する。
　CU符号化部1112はCU情報、予測情報、TU分割フラグ、CU残差フラグ等を符号化する。
　TU符号化部1114は、TUに予測誤差が含まれている場合に、QP更新情報（量子化補正値）と量子化予測誤差（residual_coding）を符号化する。
　エントロピー符号化部104は、供給元から供給されるシンタックス要素をバイナリデータに変換し、CABAC等のエントロピー符号化方式により符号化データを生成し、出力する。図24に示す例では、シンタックス要素の供給元は、CT情報符号化部1111、CU符号化部1112である。
　加算部106は、予測画像生成部101から入力されたブロックの予測画像の画素値と逆量子化・逆変換部105から入力された予測誤差を画素毎に加算して復号画像を生成する。加算部106は生成した復号画像を参照ピクチャメモリ109に記憶する。
　ループフィルタ107は加算部106が生成した復号画像に対し、デブロッキングフィルタ、SAO、ALFを施す。なお、ループフィルタ107は、必ずしも上記３種類のフィルタを含まなくてもよい。
　予測パラメータメモリ108は、符号化パラメータ決定部110が生成した予測パラメータを、対象ピクチャ及びCU毎に予め定めた位置に記憶する。
　参照ピクチャメモリ109は、ループフィルタ107が生成した復号画像を対象ピクチャ及びCU毎に予め定めた位置に記憶する。
　符号化パラメータ決定部110は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述したQT、BTあるいはTT分割情報、予測パラメータ、あるいはこれらに関連して生成される符号化の対象となるパラメータである。予測画像生成部101は、これらの符号化パラメータを用いて予測画像を生成する。
　符号化パラメータ決定部110は、複数のセットの各々について情報量の大きさと符号化誤差を示すRDコスト値を算出し、コスト値が最小となる符号化パラメータのセットを選択する。これにより、エントロピー符号化部104は、選択した符号化パラメータのセットを符号化ストリームTeとして出力する。符号化パラメータ決定部110は決定した符号化パラメータを予測パラメータメモリ108に記憶する。
　なお、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、例えば、エントロピー復号部301、パラメータ復号部302、ループフィルタ305、予測画像生成部308、逆量子化・逆変換部311、加算部312、予測画像生成部101、減算部102、変換・量子化部103、エントロピー符号化部104、逆量子化・逆変換部105、ループフィルタ107、符号化パラメータ決定部110、パラメータ符号化部111をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、動画像符号化装置11、動画像復号装置31のいずれかに内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
　また、上述した実施形態における動画像符号化装置11、動画像復号装置31の一部、または全部を、LSI（Large Scale Integration）等の集積回路として実現しても良い。動画像符号化装置11、動画像復号装置31の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
　以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　本発明の一態様に係る動画像復号装置は、ピクチャを１つ以上の矩形領域に分割したタイルグループであって、１つ以上のセグメントから構成されるタイルグループの符号化データを復号する動画像復号装置であって、対象タイルグループ内のセグメントが矩形のタイル、１CTU高さのCTU行、CTU単位のスライスの何れであるかを示す対象タイルグループ内のタイル数、WPP有効フラグ、スライス有効フラグをタイルグループヘッダから復号するヘッダ復号部を備え、上記ヘッダ復号部は、１つのタイルグループ内で、タイル数が２つ以上、WPP有効フラグが１、スライス有効フラグが１のいずれかのみを復号することを特徴とする。
　本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのタイル数が１の場合にWPP有効フラグを復号し、上記対象タイルグループのタイル数が２以上の場合に、WPP有効フラグを復号せずに０を設定し、CT情報復号部は、WPP有効フラグが１の場合に、CTU行右端のCTUを復号後に固定値のセグメント終端ビットを復号することを特徴とする。
　本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのWPP有効フラグが０の場合にタイル数を復号し、上記対象タイルグループのWPP有効フラグが１の場合にタイル数を復号せずにタイル数を１に設定し、CT情報復号部は、WPP有効フラグが１の場合に、CTU行右端のCTUを復号後に固定値のセグメント終端ビットを復号することを特徴とする。
　本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのタイル数が１の場合にスライス有効フラグを復号し、上記対象タイルグループのタイル数が２以上の場合に、スライス有効フラグを復号せずに０を設定し、CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終端フラグを復号することを特徴とする。
　本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのスライス有効フラグが０の場合にタイル数を復号し、上記対象タイルグループのスライス終端フラグが１の場合にタイル数を復号せずに１を設定し、CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終端フラグを復号することを特徴とする。
　本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのタイル数が１の場合にWPP有効フラグを復号し、上記対象タイルグループのタイル数が２以上の場合に、WPP有効フラグを復号せずに０を設定し、さらに上記WPP有効フラグが０の場合に、スライス有効フラグを復号し、WPP有効フラグが１の場合に、スライス終端フラグを復号せずに０を設定し、CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終端フラグを復号することを特徴とする。
　本発明の一態様に係る動画像復号装置において、上記ヘッダ復号部は、対象タイルグループのWPP有効フラグが０の場合にタイル数を復号し、上記対象タイルグループのWPP有効フラグが１の場合にタイル数を復号せずに１を設定し、さらに上記タイル数が１の場合にスライス有効フラグを復号し、タイル数が２以上の場合に、スライス有効フラグを復号せずに０を設定し、CT情報復号部は、スライス有効フラグが１の場合に、CTU復号後にスライス終了フラグを復号することを特徴とする。
　〔応用例〕
　上述した動画像符号化装置11及び動画像復号装置31は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（CGおよびGUIを含む）であってもよい。
　まず、上述した動画像符号化装置11及び動画像復号装置31を、動画像の送信及び受信に利用できることを、図2を参照して説明する。
　図2(a)は、動画像符号化装置11を搭載した送信装置PROD_Aの構成を示したブロック図である。図2(a)に示すように、送信装置PROD_Aは、動画像を符号化することによって符号化データを得る符号化部PROD_A1と、符号化部PROD_A1が得た符号化データで搬送波を変調することによって変調信号を得る変調部PROD_A2と、変調部PROD_A2が得た変調信号を送信する送信部PROD_A3と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_A1として利用される。
　送信装置PROD_Aは、符号化部PROD_A1に入力する動画像の供給源として、動画像を撮像するカメラPROD_A4、動画像を記録した記録媒体PROD_A5、動画像を外部から入力するための入力端子PROD_A6、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図2(a)においては、これら全てを送信装置PROD_Aが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体PROD_A5は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体PROD_A5と符号化部PROD_A1との間に、記録媒体PROD_A5から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
　図2(b)は、動画像復号装置31を搭載した受信装置PROD_Bの構成を示したブロック図である。図2(b)に示すように、受信装置PROD_Bは、変調信号を受信する受信部PROD_B1と、受信部PROD_B1が受信した変調信号を復調することによって符号化データを得る復調部PROD_B2と、復調部PROD_B2が得た符号化データを復号することによって動画像を得る復号部PROD_B3と、を備えている。上述した動画像復号装置31は、この復号部PROD_B3として利用される。
　受信装置PROD_Bは、復号部PROD_B3が出力する動画像の供給先として、動画像を表示するディスプレイPROD_B4、動画像を記録するための記録媒体PROD_B5、及び、動画像を外部に出力するための出力端子PROD_B6を更に備えていてもよい。図2(b)においては、これら全てを受信装置PROD_Bが備えた構成を例示しているが、一部を省略しても構わない。
　なお、記録媒体PROD_B5は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部PROD_B3と記録媒体PROD_B5との間に、復号部PROD_B3から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
　なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
　例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置PROD_A／受信装置PROD_Bの一例である。
　また、インターネットを用いたVOD（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置PROD_A／受信装置PROD_Bの一例である（通常、ＬＡＮにおいては伝送媒体として無線または有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型PC、ラップトップ型PC、及びタブレット型PCが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
　なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置PROD_A及び受信装置PROD_Bの双方として機能する。
　次に、上述した動画像符号化装置11及び動画像復号装置31を、動画像の記録及び再生に利用できることを、図3を参照して説明する。
　図3(a)は、上述した動画像符号化装置11を搭載した記録装置PROD_Cの構成を示したブロック図である。図3(a)に示すように、記録装置PROD_Cは、動画像を符号化することによって符号化データを得る符号化部PROD_C1と、符号化部PROD_C1が得た符号化データを記録媒体PROD_Mに書き込む書込部PROD_C2と、を備えている。上述した動画像符号化装置11は、この符号化部PROD_C1として利用される。
　なお、記録媒体PROD_Mは、（１）HDD（Hard Disk Drive）やSSD(Solid State Drive)などのように、記録装置PROD_Cに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSB（Universal Serial Bus）フラッシュメモリなどのように、記録装置PROD_Cに接続されるタイプのものであってもよいし、（３）DVD（Digital Versatile Disc:登録商標）やBD（Blu-ray Disc:登録商標）などのように、記録装置PROD_Cに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、記録装置PROD_Cは、符号化部PROD_C1に入力する動画像の供給源として、動画像を撮像するカメラPROD_C3、動画像を外部から入力するための入力端子PROD_C4、動画像を受信するための受信部PROD_C5、及び、画像を生成または加工する画像処理部PROD_C6を更に備えていてもよい。図3(a)においては、これら全てを記録装置PROD_Cが備えた構成を例示しているが、一部を省略しても構わない。
　なお、受信部PROD_C5は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部PROD_C5と符号化部PROD_C1との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
　このような記録装置PROD_Cとしては、例えば、DVDレコーダ、BDレコーダ、HDD（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子PROD_C4または受信部PROD_C5が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラPROD_C3が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部PROD_C5または画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラPROD_C3または受信部PROD_C5が動画像の主な供給源となる）なども、このような記録装置PROD_Cの一例である。
　図3(B)は、上述した動画像復号装置31を搭載した再生装置PROD_Dの構成を示したブロックである。図3(b)に示すように、再生装置PROD_Dは、記録媒体PROD_Mに書き込まれた符号化データを読み出す読出部PROD_D1と、読出部PROD_D1が読み出した符号化データを復号することによって動画像を得る復号部PROD_D2と、を備えている。上述した動画像復号装置31は、この復号部PROD_D2として利用される。
　なお、記録媒体PROD_Mは、（１）HDDやSSDなどのように、再生装置PROD_Dに内蔵されるタイプのものであってもよいし、（２）SDメモリカードやUSBフラッシュメモリなどのように、再生装置PROD_Dに接続されるタイプのものであってもよいし、（３）DVDやBDなどのように、再生装置PROD_Dに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
　また、再生装置PROD_Dは、復号部PROD_D2が出力する動画像の供給先として、動画像を表示するディスプレイPROD_D3、動画像を外部に出力するための出力端子PROD_D4、及び、動画像を送信する送信部PROD_D5を更に備えていてもよい。図3(b)においては、これら全てを再生装置PROD_Dが備えた構成を例示しているが、一部を省略しても構わない。
　なお、送信部PROD_D5は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部PROD_D2と送信部PROD_D5との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
　このような再生装置PROD_Dとしては、例えば、DVDプレイヤ、BDプレイヤ、HDDプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子PROD_D4が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイPROD_D3が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、デスクトップ型PC（この場合、出力端子PROD_D4または送信部PROD_D5が動画像の主な供給先となる）、ラップトップ型またはタブレット型PC（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイPROD_D3または送信部PROD_D5が動画像の主な供給先となる）なども、このような再生装置PROD_Dの一例である。
　　（ハードウェア的実現およびソフトウェア的実現）
　また、上述した動画像復号装置31および動画像符号化装置11の各ブロックは、集積回路（ICチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、CPU（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
　後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM（Read Only Memory）、上記プログラムを展開するRAM（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の実施形態の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはCPUやMPU）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやCD-ROM（Compact Disc Read-Only Memory）／MOディスク（Magneto-Optical disc）／MD（Mini Disc）／DVD（Digital Versatile Disc）／CD-R（CD Recordable）／ブルーレイディスク（Blu-ray Disc：登録商標）等の光ディスクを含むディスク類、ICカード（メモリカードを含む）／光カード等のカード類、マスクROM／EPROM（Erasable Programmable Read-Only Memory）／EEPROM（Electrically Erasable and Programmable Read-Only Memory：登録商標）／フラッシュROM等の半導体メモリ類、あるいはPLD（Programmable logic device）やFPGA（Field Programmable Gate Array）等の論理回路類などを用いることができる。
　また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN（Local Area Network）、ISDN（Integrated Services Digital Network）、VAN（Value-Added Network）、CATV（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE（Institute of Electrical and Electronic Engineers）1394、USB、電力線搬送、ケーブルＴＶ回線、電話線、ADSL（Asymmetric Digital Subscriber Line）回線等の有線でも、IrDA（Infrared Data Association）やリモコンのような赤外線、BlueTooth（登録商標）、IEEE802.11無線、HDR（High Data Rate）、NFC（Near Field Communication）、DLNA（Digital Living Network Alliance：登録商標）、携帯電話網、衛星回線、地上デジタル放送網等の無線でも利用可能である。なお、本発明の実施形態は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
　本発明の実施形態は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
　本発明の実施形態は、画像データが符号化された符号化データを復号する動画像復号装置、および、画像データが符号化された符号化データを生成する動画像符号化装置に好適に適用することができる。また、動画像符号化装置によって生成され、動画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。
（関連出願の相互参照）
　本出願は、２０１８年１１月１６日に出願された日本国特許出願：特願２０１８－２１５８７３に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
　１１　動画像符号化装置
　３１　動画像復号装置
１０１、３０８　予測画像生成部
１０４　エントロビー符号化部（符号化部）
１０７、３０５　ループフィルタ
１１１　パラメータ符号化部
３０１　エントロピー復号部
３０２　パラメータ復号部（分割部）
３０２０　ヘッダ復号部
３０２１　CT情報復号部
３０２２　CU復号部
１０４　エントロピー符号化部
１１１０　ヘッダ符号化部
１１１１　CT情報符号化部
１１１２　CU符号化部

Claims (6)

  1. 　１つ以上のセグメントから構成される符号化データを復号する動画像復号装置において、
    　ＣＴＵ行の最初のＣＴＵにおいて、ＣＡＢＡＣの同期処理を行うか否かを示す有効フラグを復号するヘッダ復号部と、
    　上記有効フラグの値が１であり、ＣＴＵ行の右端である場合、サブセットの終端ビットとバイトアライメントのビット列とを復号する情報復号部と、を備えていることを特徴とする動画像復号装置。
  2. 　上記ヘッダ復号部は、上記有効フラグの値が１の場合、ＣＴＵ行の数－１からエントリポイントの個数を導出することを特徴とする請求項１に記載の動画像復号装置。
  3. 　上記ヘッダ復号部は、上記エントリポイントの個数が０より大きい場合、エントリポイント間のオフセットのビット数と、上記エントリポイントの個数の該エントリポイント間のオフセットとを復号することを特徴とする請求項２に記載の動画像復号装置。
  4. 　１つ以上のセグメントから構成されるデータを符号化する動画像符号化装置において、
    　ＣＴＵ行の最初のＣＴＵにおいて、ＣＡＢＡＣの同期処理を行うか否かを示す有効フラグを符号化するヘッダ符号化部と、
    　上記有効フラグの値が１であり、ＣＴＵ行の右端である場合、サブセットの終端ビットとバイトアライメントのビット列とを符号化することを特徴とする動画像符号化装置。
  5. 　１つ以上のセグメントから構成される符号化データを復号する動画像復号方法において、
    　ＣＴＵ行の最初のＣＴＵにおいて、ＣＡＢＡＣの同期処理を行うか否かを示す有効フラグを復号するステップと、
    　上記有効フラグの値が１であり、ＣＴＵ行の右端である場合、サブセットの終端ビットとバイトアライメントのビット列とを復号するステップと、を少なくとも含むことを特徴とする動画像復号方法。
  6. 　１つ以上のセグメントから構成されるデータを符号化する動画像符号化方法において、
    　ＣＴＵ行の最初のＣＴＵにおいて、ＣＡＢＡＣ同期処理を行うか否かを示す有効フラグを符号化するステップと、
    　上記有効フラグの値が１であり、ＣＴＵ行の右端である場合、サブセットの終端ビットとバイトアライメントのビット列とを符号化するステップと、を少なくとも含むことを特徴とする動画像符号化方法。
PCT/JP2019/044195 2018-11-16 2019-11-11 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法 WO2020100833A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018215873A JP2022013969A (ja) 2018-11-16 2018-11-16 動画像符号化装置および動画像復号装置
JP2018-215873 2018-11-16

Publications (1)

Publication Number Publication Date
WO2020100833A1 true WO2020100833A1 (ja) 2020-05-22

Family

ID=70731105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/044195 WO2020100833A1 (ja) 2018-11-16 2019-11-11 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法

Country Status (2)

Country Link
JP (1) JP2022013969A (ja)
WO (1) WO2020100833A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015062324A (ja) * 2012-08-09 2015-04-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法および画像符号化装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015062324A (ja) * 2012-08-09 2015-04-02 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法および画像符号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOSHI, R. ET AL.: "High efficiency video coding (HEVC) screen content coding: Draft 6", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 23RD MEETING, 19 February 2016 (2016-02-19), San Diego, USA, pages 0099 - 0100 *

Also Published As

Publication number Publication date
JP2022013969A (ja) 2022-01-19

Similar Documents

Publication Publication Date Title
WO2016203981A1 (ja) 画像復号装置及び画像符号化装置
WO2016203881A1 (ja) 算術復号装置及び算術符号化装置
US10136161B2 (en) DMM prediction section, image decoding device, and image coding device
US20240007635A1 (en) Video coding apparatus and video decoding apparatus
CN113597762A (zh) 视频译码中具有非线性自适应环路滤波器的固定滤波器
CN114902669A (zh) 使用颜色空间转换对图像编码/解码的方法和装置及发送比特流的方法
CN113196776A (zh) 预测图像生成装置、运动图像解码装置、运动图像编码装置以及预测图像生成方法
JP2020061701A (ja) 動画像符号化装置および動画像復号装置
US20230247213A1 (en) Moving image encoding and decoding
US11652991B2 (en) Video decoding apparatus with picture tile structure
WO2020184366A1 (ja) 画像復号装置
WO2020067440A1 (ja) 動画像符号化装置および動画像復号装置
WO2020100833A1 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
JP2020107961A (ja) 動画像符号化装置および動画像復号装置
JP2021034966A (ja) 動画像符号化装置、動画像復号装置
JP2021150703A (ja) 画像復号装置及び画像符号化装置
JP2021034849A (ja) 動画像復号装置および動画像符号化装置
JP2021153213A (ja) 動画像符号化装置および動画像復号装置
JP7444570B2 (ja) 動画像復号装置、動画像符号化装置、動画像復号方法および動画像符号化方法
WO2020045275A1 (ja) 画像復号装置および画像符号化装置
JP2021153214A (ja) 動画像符号化装置および動画像復号装置
JP2020005199A (ja) 画素サンプリングインターリーブ画像符号化／復号装置
JP2023142460A (ja) ３ｄデータ符号化装置および３ｄデータ復号装置
JP2021153215A (ja) 動画像符号化装置および動画像復号装置
JP2021013110A (ja) 画像復号装置および画像符号化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19885993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19885993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP