WO2018160034A1 - 영상 부호화 또는 복호화하기 위한 장치 및 방법 - Google Patents

영상 부호화 또는 복호화하기 위한 장치 및 방법 Download PDF

Info

Publication number
WO2018160034A1
WO2018160034A1 PCT/KR2018/002537 KR2018002537W WO2018160034A1 WO 2018160034 A1 WO2018160034 A1 WO 2018160034A1 KR 2018002537 W KR2018002537 W KR 2018002537W WO 2018160034 A1 WO2018160034 A1 WO 2018160034A1
Authority
WO
WIPO (PCT)
Prior art keywords
tile
tiles
merge
information
merged
Prior art date
Application number
PCT/KR2018/002537
Other languages
English (en)
French (fr)
Inventor
임정연
손세훈
이선영
신재섭
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170041140A external-priority patent/KR102390413B1/ko
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to CN201880028688.0A priority Critical patent/CN110603809B/zh
Publication of WO2018160034A1 publication Critical patent/WO2018160034A1/ko
Priority to US16/558,914 priority patent/US10951916B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to image encoding or decoding for dividing a picture into a plurality of tiles in order to encode an image efficiently.
  • 360 video is a video taken from multiple directions with multiple cameras. Stitching the video output from multiple cameras into a single 2D video to compress and transmit video from multiple scenes. The stitched video is compressed and decoded. Is sent to the device. After decoding the compressed image, the decoding apparatus is reproduced by mapping in 3D.
  • the 360 image may be converted into various projection formats according to a coding format and encoded. Examples of projection formats include Square Projection, Cube Map Projection, Trunked Square Pyramid Projection, and the like.
  • ROI Region Of Interest
  • the image displayed on the screen must change according to a change in the viewpoint of the user, and according to the existing compression technology based on the 2D image, there is a limit in improving the coding efficiency.
  • ROI Region Of Interest
  • the image is encoded and decoded by giving a difference in the image quality between the ROI and other regions.
  • a structure for example, a tile structure
  • the picture splitting structure in the existing compression technique is not flexible enough for such ROI setting.
  • An object of the present invention is to provide a method and apparatus for image encoding and decoding capable of solving a separation problem at a tile boundary and improving coding efficiency by defining an irregular tile structure.
  • an image encoding method for encoding a picture divided into a plurality of tiles comprising: encoding first information indicating whether to merge some tiles of the plurality of tiles; step; When the first information is encoded to indicate a tile merging, merging a plurality of tiles of the plurality of tiles to generate one or more merge tiles, wherein each merge tile is defined as one tile being; Encoding second information for indicating tiles merged into each merge tile among the plurality of tiles; And encoding each merge tile into one tile without restriction on encoding dependency between tiles merged into the merge tiles.
  • first information indicating whether to merge some tiles of the plurality of tiles from a bitstream Decrypting; If the decoded first information indicates tile merging, decoding second information for indicating tiles to be merged among the plurality of tiles from the bitstream; And generating one or more merge tiles by merging the tiles indicated by the second information, wherein each merge tile is defined as one tile. And decoding each merge tile into one tile without limiting decoding dependencies between the tiles merged into the merge tiles.
  • 1 is an exemplary diagram of a picture divided into a plurality of tiles and encoded.
  • FIG. 2 is another exemplary diagram of a picture divided into a plurality of tiles and encoded.
  • FIG. 3 is a block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of operating an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram in which identification information of each tile is displayed on a picture in which some tiles of a plurality of tiles are merged.
  • FIG. 6 is an exemplary diagram in which position information of each tile is displayed on a picture in which some tiles of a plurality of tiles are merged.
  • FIG. 7 is an exemplary diagram showing information indicating whether each tile is merged in a picture in which some tiles of a plurality of tiles are merged.
  • FIG. 8 is an exemplary diagram in which identification information of each tile is displayed on a picture including a plurality of merged tiles.
  • 9 is an exemplary diagram in which location information of each tile is displayed on a picture including a plurality of merged tiles.
  • FIG. 10 is an exemplary diagram showing whether or not each tile is merged and index information of the merge tile in a picture including a plurality of merge tiles.
  • FIG. 11 is another exemplary diagram showing whether or not each tile is merged and index information of the merge tile in a picture including a plurality of merge tiles.
  • 12A, 12B and 12C are exemplary diagrams of merge tile scenarios for projection formats of a 360 image.
  • FIG. 13 is a block diagram of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating a method of operating an image decoding apparatus according to an embodiment of the present invention.
  • 1 is an exemplary diagram of a picture divided into a plurality of tiles and encoded.
  • FIG. 2 is another exemplary diagram of a picture divided into a plurality of tiles and encoded.
  • a picture may be divided into a plurality of tiles that are rectangular regions.
  • the picture may be divided into tiles that are divided into one or more columns, tiles that are divided into one or more columns, or tiles that are divided into one or more columns and one or more columns.
  • the picture may be divided into tiles of equal size evenly based on the length of the columns and columns in the picture, or may be divided into tiles of different sizes. However, the number of columns tiles and the number of columns tiles should be the same.
  • a plurality of tiles for dividing a picture are encoded and decoded independently of other tiles for each tile.
  • independence means that encoding and decoding processes including intra prediction, inter prediction, transform, quantization, entropy, and filter may be performed independently of other divided tiles.
  • this does not mean that all encoding and decoding processes are performed independently for each tile, and may be encoded and decoded using information of another tile selectively during inter prediction or in-loop filter.
  • a flag is tiles_ enalbed _flag and the flag indicating the on / off of the tile function is on (on) in the plurality of syntax that allows you to specify the size of the tile are additionally exist.
  • a value obtained by subtracting 1 from the number of the divided tiles to the horizontal axis based on the picture num _tile_columns_ minus1 a value obtained by subtracting 1 from the number of the divided tiles to the picture and the vertical axis based on num _tile_rows_ minus1
  • FIG. 1 shows an example of a picture divided into tiles of the same size when uniform_spacing_flag is on.
  • Shows. 2 shows an example of a picture divided into tiles of different sizes as the case where uniform_spacing_flag is off.
  • the ROI region should be encoded in higher quality than the region other than the ROI.
  • the ROI region is preferably set to a single tile rather than divided into a plurality of tiles.
  • a tile structure having an irregular shape may be defined, and thus, tiles may be freely configured unlike the existing tile structure (the same number of tiles should be present based on the horizontal and vertical columns of the picture). Accordingly, the method and apparatus for image encoding and decoding proposed in the present invention can solve the separation problem at the tile boundary in the ROI region and improve the coding efficiency.
  • the 'tile' referred to in the description of the present invention is a region divided from one picture, and is used to encode and decode each region independently (but may optionally have dependence in inter prediction or loop filter). Means tool. 'Tile' is limited in dependence on other tiles in the encoding process such as intra prediction except inter prediction and loop filter.
  • the term 'tile' may be replaced with various terms having the same meaning as described above (eg, area, region, etc.).
  • FIG. 3 is a block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • the encoding apparatus includes a block divider 310, a predictor 320, a subtractor 330, a transformer 340, a quantizer 345, an encoder 350, an inverse quantizer 360, and an inverse transform unit 365. ), An adder 370, a filter unit 380, and a memory 390.
  • Each component of the encoding apparatus may be implemented by a hardware chip, or may be implemented by software and by a microprocessor to execute a function of software corresponding to each component.
  • the block dividing unit 310 divides each picture constituting the image into a plurality of tiles. After dividing each tile into a plurality of Coding Tree Units (CTUs), the CTU is recursively divided using a tree structure. A leaf node in the tree structure becomes a coding unit (CU) which is a basic unit of coding.
  • CU coding unit
  • QT QuadTree
  • QTBT QuadTree
  • BT binaryTree
  • the block dividing unit 310 not only divides the picture into a plurality of tiles, but also merges some of the plurality of tiles to generate one or more merge tiles. Define a free form tile structure. Each merge tile is defined as one tile. Detailed description thereof will be described later with reference to other drawings.
  • the prediction unit 320 generates a prediction block by predicting the current block.
  • the predictor 320 includes an intra predictor 322 and an inter predictor 324.
  • the current block is a basic unit of encoding corresponding to a leaf node in the tree structure, and means a CU to be currently encoded.
  • the current block may be one subblock of the plurality of subblocks divided from the CU.
  • the intra predictor 322 predicts pixels in the current block by using pixels (reference pixels) positioned around the current block in the current picture including the current block. There are a plurality of intra prediction modes according to the prediction direction, and the peripheral pixels to be used and the equations are defined differently according to each prediction mode.
  • the inter prediction unit 324 searches a block most similar to the current block in the reference picture encoded and decoded before the current picture, and generates a prediction block for the current block using the searched block. A motion vector corresponding to a displacement between the current block in the current picture and the prediction block in the reference picture is generated.
  • the motion information including the information on the reference picture and the motion vector used to predict the current block is encoded by the encoder 350 and transmitted to the image decoding apparatus.
  • the subtractor 330 subtracts the prediction block generated by the intra predictor 322 or the inter predictor 324 from the current block to generate a residual block.
  • the transformer 340 converts the residual signal in the residual block having pixel values of the spatial domain into a transform coefficient of the frequency domain.
  • the transform unit 340 may convert the residual signals in the residual block using the size of the current block as a conversion unit, or divide the residual block into a plurality of smaller subblocks and convert the residual signals in a subblock-sized transform unit. You can also convert. There may be various ways of dividing the residual block into smaller subblocks. For example, the subblock may be divided into sub-blocks having the same size, or may be divided by a quadtree (QT) method using the residual block as a root node.
  • QT quadtree
  • the quantization unit 345 quantizes the transform coefficients output from the transform unit 340, and outputs the quantized transform coefficients to the encoder 350.
  • the encoder 350 generates a bitstream by encoding the quantized transform coefficients by using an encoding method such as CABAC. Meanwhile, the encoder 350 encodes merge information for defining an irregular or free tile structure by merging some tiles among a plurality of tiles for dividing a picture, so that the image decoding apparatus encodes the image. Define the same tile structure as the device.
  • the merge information includes first information indicating whether to merge some tiles of the plurality of tiles and second information for indicating tiles merged into each merge tile among the plurality of tiles. Third information indicating the number of merged tiles may be further included in the merged information. Syntax elements related to the merge information may be set at one or more predetermined positions of one of a sequence parameter set (SPS), a picture parameter set (PPS), a supplementary enhancement information (SEI), and a slice header. have.
  • SPS sequence parameter set
  • PPS picture parameter set
  • SEI supplementary enhancement information
  • the encoder 350 encodes information about the size of the CTU located in the highest layer of the tree structure and split information for dividing the block into the tree structure from the CTU, so that the image decoding apparatus splits the block in the same manner as the image encoding apparatus. Do it. For example, in the case of QT splitting, QT splitting information indicating whether a block of an upper layer is divided into four blocks of a lower layer is encoded. In the case of BT partitioning, BT partitioning information indicating whether each block is divided into two blocks and the type of partitioning is encoded, starting from the block corresponding to the leaf node of the QT.
  • the encoder 350 encodes information on a prediction type indicating whether the current block is encoded by intra prediction or inter prediction, and encodes intra prediction information or inter prediction information according to the prediction type.
  • the inverse quantizer 360 inverse quantizes the quantized transform coefficients output from the quantizer 345 to generate transform coefficients.
  • the inverse transformer 365 restores the residual block by converting the transform coefficients output from the inverse quantizer 360 from the frequency domain to the spatial domain.
  • the adder 370 reconstructs the current block by adding the reconstructed residual block and the prediction block generated by the prediction unit 320.
  • the pixels in the reconstructed current block are used as reference pixels when intra prediction of the next order of blocks.
  • the filter unit 380 deblocks and filters the boundary between the reconstructed blocks in order to remove blocking artifacts that occur due to encoding / decoding of blocks. When all the blocks in a picture are reconstructed, the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be encoded later.
  • FIG. 4 is a flowchart illustrating an operation method for encoding a picture divided into a plurality of tiles by the image encoding apparatus according to the embodiment of the present invention.
  • the image encoding apparatus encodes first information indicating whether to merge some of the tiles among the plurality of tiles (S410). For example, a flag ( merge_tile_enabled_flag ) indicating whether to merge tiles may be used as the first information. If some tiles are merged, the flag merge_tile_enabled_flag may be encoded on, and when some tiles are not merged, the flag merge_tile_enabled_flag may be encoded off.
  • merge_tile_enabled_flag indicating whether to merge tiles may be used as the first information. If some tiles are merged, the flag merge_tile_enabled_flag may be encoded on, and when some tiles are not merged, the flag merge_tile_enabled_flag may be encoded off.
  • the image encoding apparatus merges some tiles of the plurality of tiles to generate one or more merge tiles (S420).
  • Each merge tile generated is defined as one tile.
  • tiles merged into each merge tile are not simply grouped with the tile characteristics before being merged, but are merged into one tile. For example, they may be merged in a manner that removes a restriction on encoding dependencies between tiles merged into each merge tile.
  • the image encoding apparatus generating one or more merge tiles encodes second information for indicating tiles merged into each merge tile among the plurality of tiles (S430).
  • the second information includes i) identification information of the first tile and the last tile among the tiles merged into each merge tile for each merge tile, or ii) location information of the first tile and the last tile among the tiles merged into each merge tile. May be included for each merged tile, or iii) may include information indicating whether to be merged with respect to each of the plurality of tiles.
  • the second information may further include iv) index information of a merge tile to which each tile among one or more merge tiles belongs, for the tiles merged among the plurality of tiles. Specific examples of the second information will be described later with reference to other drawings.
  • the image encoding apparatus may further encode third information indicating the number of generated one or more merge tiles.
  • the image encoding apparatus encodes each merge tile into one tile without restriction on encoding dependency between tiles merged into each merge tile (S440).
  • the encoding dependency may include an intra prediction dependency between tiles merged into each merge tile. That is, the constraint on intra prediction dependency is removed between tiles merged into the same merge tile.
  • FIG. 5 is an exemplary diagram in which identification information of each tile is displayed on a picture in which some tiles of a plurality of tiles are merged.
  • FIG. 5 shows a case where a picture is divided into 16 equally sized tiles, and tile numbers 0 to 15 are assigned to each tile as identification information. In this case, one merge tile was generated by merging tiles 5, 6, 9, and 10.
  • the image encoding apparatus encodes merge_tile_enabled_flag on as first information indicating to merge some of the plurality of tiles.
  • the identification information of the first tile and the identification information of the last tile are encoded.
  • identification information of the first tile and identification information of the last tile are encoded for each merge tile.
  • Identification information ( topleft_tile_id ) of the upper left tile may be encoded as identification information of the first tile among the tiles merged into the merge tile, and identification information ( bottomright _tile_id ) of the lower right tile may be encoded as identification information of the last tile.
  • this is merely an example, and various syntax elements for defining the first tile and the last tile may be used.
  • the identification information of the upper right tile among the tiles to be merged may be used as identification information of the first tile
  • the identification information of the lower left tile may be used as identification information of the last tile.
  • pic_parameter_set_rbsp () ⁇ ... tiles_enabled_flag ... if (tiles_enabled_flag) ⁇ num_tile_columns_minus1 num_tile_rows_minus1 uniform_spacing_flag if (!
  • FIG. 6 is an exemplary diagram in which position information of each tile is displayed on a picture in which some tiles of a plurality of tiles are merged.
  • FIG. 6 illustrates a case in which tiles located at the center of the picture divided into 16 equally sized tiles are merged to generate one merge tile.
  • location information is shown instead of identification information of each tile.
  • the location information of the tile may be represented by coordinates u and v based on the horizontal and vertical columns of the tile.
  • the coordinates of the tiles may be sequentially displayed as shown in FIG. 5.
  • the image encoding apparatus encodes merge_tile_enabled_flag on as first information indicating to merge some of the plurality of tiles.
  • the identification information of the first tile and the position information of the last tile are encoded.
  • identification information of the first tile and location information of the last tile are encoded for each merge tile.
  • position information (u_start_pos and v_start_ pos) of the upper left tile as the location information of the first tile the location information of the lower right side as the position information of the tile the last tile (pos u_end_ And the v_end_ pos) can be encoded.
  • this is merely an example, and various syntax elements for defining the first tile and the last tile may be used.
  • the position information of the upper right tile among the tiles to be merged may be used as the position information of the first tile
  • the position information of the lower left tile may be used as the position information of the last tile.
  • pic_parameter_set_rbsp () ⁇ ... tiles_enabled_flag ... if (tiles_enabled_flag) ⁇ num_tile_columns_minus1 num_tile_rows_minus1 uniform_spacing_flag if (!
  • u_start_ pos , v_start_ pos , u_end_ pos , and v_end_ pos syntax elements is not necessarily set as shown in Table 3, and may be variously changed as necessary.
  • FIG. 7 is an exemplary diagram showing information indicating whether each tile is merged in a picture in which some tiles of a plurality of tiles are merged.
  • FIG. 7 illustrates a case where tiles located at the center of the picture divided into 16 equally sized tiles are merged to generate one merge tile as illustrated in FIGS. 5 and 6. However, information indicating whether or not merged into a merge tile is shown for each tile for dividing a picture.
  • the image encoding apparatus encodes merge_tile_enabled_flag on as first information indicating to merge some of the plurality of tiles.
  • merge_tile_enabled_flag As the second information for indicating tiles merged into the merge tile, information indicating whether each tile is merged is encoded with respect to each of the plurality of tiles. That is, in the present embodiment, the second information is encoded by the number of whole tiles for dividing the picture.
  • Merge_flag may be used as information indicating whether each tile is merged.
  • merge_flag is encoded as 1 when instructing the merge of tiles and 0 when not instructing the merge of tiles.
  • merge_flag is encoded with a value of 0000 0110 0110 0000.
  • pic_parameter_set_rbsp () ⁇ ... tiles_enabled_flag ... if (tiles_enabled_flag) ⁇ num_tile_columns_minus1 num_tile_rows_minus1 uniform_spacing_flag if (!
  • FIG. 8 is an exemplary diagram in which identification information of each tile is displayed on a picture including a plurality of merged tiles.
  • the present embodiment unlike the embodiment # 1 (see FIG. 5), a case of generating a plurality of merge tiles will be described.
  • FIG. 8 shows a case where a picture is divided into 16 equally sized tiles, and tile numbers 0 to 15 are assigned to each tile as identification information.
  • the first merge tile is created by merging tiles 0, 1, 4 and 5, and the second merge by merging tiles 10, 11, 14 and 15. A tile was created.
  • the image encoding apparatus encodes merge_tile_enabled_flag on as first information indicating to merge some of the plurality of tiles.
  • the second information for indicating the tiles to be merged into the merged tile identification information of the first tile and identification information of the last tile are encoded for each merged tile. That is, the identification information of the first tile and the identification information of the last tile are encoded by the number of merge tiles in the picture.
  • the image encoding apparatus of the present embodiment additionally encodes third information num_merge_tile_minus1 indicating the number of generated one or more merge tiles.
  • the upper left tile identification information of (topleft _tile_id) coding as the identification information of the first tile of the tiles are merged into each merge tile, it may be a bottom-right-side identification information (bottomright _tile_id) of the tiles encoded as identification information of the last tile .
  • the identification information of the upper right tile among the tiles to be merged may be used as identification information of the first tile, and the identification information of the lower left tile may be used as identification information of the last tile.
  • pic_parameter_set_rbsp () ⁇ ... tiles_enabled_flag ... if (tiles_enabled_flag) ⁇ num_tile_columns_minus1 num_tile_rows_minus1 uniform_spacing_flag if (!
  • 9 is an exemplary diagram in which location information of each tile is displayed on a picture including a plurality of merged tiles.
  • the location information of the tile may be represented by coordinates u and v based on the horizontal and vertical columns of the tile.
  • the coordinates of the tiles may be sequentially displayed as shown in FIG. 9.
  • the first merge tile is generated by merging the tile at position (1,0) and the tile at position (2,0), the tile at position (2,2), the tile at position (2,3), ( A second merged tile was created by merging the tiles at position 3,2 and the tiles at position (3,3).
  • the image encoding apparatus encodes merge_tile_enabled_flag on as first information indicating to merge some of the plurality of tiles.
  • the second information for indicating the tiles merged into each merge tile the identification information of the first tile and the position information of the last tile among the merged tiles are encoded for each merge tile. That is, the position information of the first tile and the position information of the last tile are encoded by the number of merge tiles in the picture.
  • the image encoding apparatus of the present embodiment additionally encodes third information num _merge_tile_ minus1 indicating the number of generated one or more merge tiles.
  • u_start_ pos Location information of the upper left tile as location information of the first tile among the tiles merged into each merge tile ( u_start_ pos And v_start_ pos are encoded, and the position information u_end_ pos of the lower right tile as the position information of the last tile. And the v_end_ pos) can be encoded.
  • the position information of the upper right tile among the tiles to be merged may be used as the position information of the first tile
  • the position information of the lower left tile may be used as the position information of the last tile.
  • pic_parameter_set_rbsp () ⁇ ... tiles_enabled_flag ... if (tiles_enabled_flag) ⁇ num_tile_columns_minus1 num_tile_rows_minus1 uniform_spacing_flag if (!
  • u_start_ pos , v_start_ pos , u_end_ pos , and v_end_ pos syntax elements is not necessarily set as shown in Table 6, and may be variously changed as necessary.
  • FIG. 10 is an exemplary diagram showing whether or not each tile is merged and index information of the merge tile in a picture including a plurality of merge tiles.
  • FIG. 10 illustrates a case where two merge tiles are generated from a picture divided into 16 equally sized tiles. Further, i) information indicating whether or not to merge into a merge tile for each tile for dividing a picture, and ii) index information of a merge tile to which each tile among one or more merge tiles belongs, for the merged tiles.
  • the image encoding apparatus encodes merge_tile_enabled_flag on as first information indicating to merge some of the plurality of tiles.
  • merge_tile_enabled_flag As the second information for indicating tiles merged into each merge tile, information indicating whether each tile is merged is encoded with respect to each of the plurality of tiles. That is, in the present embodiment, the second information is encoded as many as the total number of tiles for dividing the picture.
  • the image encoding apparatus of the present embodiment additionally encodes third information num_merge_tile_minus1 indicating the number of generated one or more merge tiles.
  • Merge_flag may be used as information indicating whether each tile is merged.
  • merge_flag is encoded as 1 when instructing the merge of tiles and 0 when not instructing the merge of tiles.
  • the index information of the combined tile (merge_ idx) may be coded in the TU (Truncated Unary) method of the number of tiles within the merged picture to the maximum value.
  • merge_idx when the number of merge tiles is two uses values of "0" and "1”
  • merge_ idx when the number of merge tiles is three is "0", "10". ",” 11 will be used.
  • merge_flag merge_ idx
  • pic_parameter_set_rbsp () ⁇ ... tiles_enabled_flag ... if (tiles_enabled_flag) ⁇ num_tile_columns_minus1 num_tile_rows_minus1 uniform_spacing_flag if (!
  • FIG. 11 is another exemplary diagram showing whether or not each tile is merged and index information of the merge tile in a picture including a plurality of merge tiles.
  • Example # 6-1 in Table 7 without coding the number (num_merge_tile_minus1) of tiles combined (that is, without signaling to the image decoding apparatus) it may be the merge_ idx encoded in unary fashion. For example, if the number of merge tiles is 2, merge_ idx uses values of "0" and “10”, and if the number of merge tiles is 3, merge_idx is "0", "10", "110". "Will be used.
  • merge_flag ( merge_idx ) is 01 (0) 1 (0) 0 01 (10) 1 (10) 0 01 (10) 1 (10) 0 Encoded to a value of 0000.
  • Embodiments of the present invention described so far may be applied to 360 images.
  • the region corresponding to the user's viewpoint is processed in high quality, and the other region is encoded in low quality.
  • using the merge tile proposed in the present invention has an advantageous effect of removing the heterogeneity between the tiles in the region viewed by the user.
  • FIG. 12A, 12B and 12C are exemplary diagrams of merge tile scenarios for projection formats of a 360 image.
  • FIG. 12A illustrates an example of applying merge tiles to a square projection (Equirectangular Projection) format
  • FIG. 12B illustrates an example of applying merge tiles to a cube map projection format
  • FIG. 12C illustrates a truncated square projection.
  • An example of applying a merge tile to the Pyramid Projection) format is shown.
  • the rightmost figure of each figure shows an example of converting a 360 image into a 2D image according to projection formats such as the leftmost figure and the center figure.
  • the hatched portion is an area where the user's viewpoint stays and is defined as a merge tile (that is, one tile) and encoded in high quality, and the other area is divided into several tiles and encoded in low quality.
  • FIG. 13 is a block diagram of an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus includes a decoder 1310, an inverse quantizer 1320, an inverse transformer 1330, a predictor 1340, an adder 1350, a filter 1360, and a memory 1370.
  • the components shown in FIG. 13 may be implemented as a hardware chip, or may be implemented in software and such that the microprocessor executes a function of software corresponding to each component.
  • the decoder 1310 splits the picture into a plurality of tiles by decoding the bitstream and extracting information related to the tile structure.
  • the decoder 1310 defines an irregular or free tile structure by encoding merge information for merging some tiles of a plurality of tiles for dividing a picture from a bitstream.
  • Syntax elements related to the merge information may be encoded from a predetermined position of one or more of Sequence Parameter Set (SPS), Picture Parameter Set (PPS), Supplementary Enhancement Information (SEI), and slice header. .
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • SEI Supplementary Enhancement Information
  • slice header slice header
  • the decoder 1310 extracts prediction information and residual signal information necessary for reconstructing each tile including the merged tile.
  • the decoder 1310 extracts information about a coding tree unit (CTU) size from a high level syntax such as an SPS or a PPS to determine the size of the CTU, and divides each tile into CTUs having the determined size.
  • the CTU is determined as the highest layer of the tree structure, that is, the root node, and the CTU is partitioned using the tree structure by extracting split information about the CTU.
  • the decoder 1310 determines the current block to be decoded by splitting the tree structure, the decoder 1310 extracts information about a prediction type indicating whether the current block is intra predicted or inter predicted.
  • the decoder 1310 extracts a syntax element for intra prediction information (intra prediction mode) of the current block when the prediction type information indicates intra prediction, and inter prediction information when the prediction type information indicates inter prediction. Extract the syntax element for.
  • the decoder 1310 extracts information on the quantized transform coefficients of the current block as information on the residual signal.
  • the inverse quantizer 1320 inverse quantizes the quantized transform coefficients, and the inverse transform unit 1330 inversely transforms the inverse quantized transform coefficients from the frequency domain to the spatial domain to generate a residual block for the current block. .
  • the predictor 1340 includes an intra predictor 1342 and an inter predictor 1344.
  • the intra predictor 1342 is activated when the intra prediction is the prediction type of the current block
  • the inter predictor 1344 is activated when the intra prediction is the prediction type of the current block.
  • the intra predictor 1342 determines the intra prediction mode of the current block among the plurality of intra prediction modes from the syntax elements for the intra prediction mode extracted from the decoder 1310, and references pixels around the current block according to the intra prediction mode. Predict the current block using
  • the inter prediction unit 1344 determines motion information of the current block by using a syntax element of the inter prediction mode extracted from the decoder 1310, and predicts the current block by using the determined motion information.
  • the adder 1350 reconstructs the current block by adding the residual block output from the inverse transformer 1330 and the prediction block output from the inter predictor 1344 or the intra predictor 1342.
  • the pixels in the reconstructed current block are utilized as reference pixels in intra prediction of the block to be subsequently decoded.
  • the filter unit 1360 deblocks and filters the boundary between the reconstructed blocks in order to remove blocking artifacts caused by block-by-block decoding, and stores them in the memory 1370. When all the blocks in a picture are reconstructed, the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be decoded later.
  • FIG. 14 is a flowchart illustrating an operation method for decoding a picture divided into a plurality of tiles by the image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus decodes first information indicating whether to merge some of the tiles among the plurality of tiles from the bitstream (S1410). For example, a flag ( merge_tile_enabled_flag ) indicating whether to merge tiles may be used as the first information.
  • merge_tile_enabled_flag is decoded on when some tiles are merged, and the flag merge_tile_enabled_flag is decoded off when some tiles are not merged.
  • the image decoding apparatus decodes second information for indicating the merged tiles among the plurality of tiles from the bitstream (S1420).
  • the second information includes i) identification information of the first tile and the last tile among the tiles merged into each merge tile for each merge tile, or ii) location information of the first tile and the last tile among the tiles merged into each merge tile. May be included for each merged tile, or iii) may include information indicating whether to be merged with respect to each of the plurality of tiles.
  • the second information may further include iv) index information of a merge tile to which each tile among one or more merge tiles belongs, for the tiles merged among the plurality of tiles. Specific examples of the second information will be described later with reference to other drawings.
  • the image decoding apparatus merges the tiles indicated by the second information to generate one or more merged tiles (S1430).
  • Each merge tile generated is defined as one tile.
  • tiles merged into each merge tile are not simply grouped with the tile characteristics before being merged, but are merged into one tile. For example, they may be merged in a manner that removes a restriction on the decoding dependency between tiles merged into each merge tile.
  • the image decoding apparatus generating one or more merged tiles decodes each merged tile into one tile without restriction on decoding dependencies between tiles merged into each merged tile (S1440).
  • the decoding dependency may include intra prediction dependencies between tiles merged into each merge tile. That is, the constraint on intra prediction dependency is removed between tiles merged into the same merge tile.
  • the image decoding apparatus may additionally decode third information indicating the number of generated one or more merge tiles.
  • Exemplary syntax elements for the merge tile described above with reference to FIGS. 5 to 12 also apply to an image decoding apparatus and method.
  • the video decoding apparatus and method will be described in detail on the assumption that merge_tile_enabled_flag is decoded to on as first information indicating whether to merge some of the plurality of tiles for dividing the picture. do.
  • FIG. 5 is an exemplary diagram in which identification information of each tile is displayed on a picture in which some tiles of a plurality of tiles are merged.
  • FIG. 5 shows a case where a picture is divided into 16 equally sized tiles, and tile numbers 0 to 15 are assigned to each tile as identification information. In this case, one merge tile was generated by merging tiles 5, 6, 9, and 10.
  • the image decoding apparatus as the merge_tile_enabled_flag is decoded on, is the second information for indicating the tiles to be merged into the merge tile, and the identification information of the first tile and the last tile among the merged tiles are identified. Decode the information. When there are a plurality of merge tiles, the identification information of the first tile and the identification information of the last tile are decoded for each merge tile.
  • Identification information ( topleft_tile_id ) of the upper left tile may be decoded as identification information of the first tile among the tiles merged into the merge tile, and identification information ( bottomright _tile_id ) of the lower right tile may be decoded as identification information of the last tile.
  • topleft_tile_id 5
  • bottomright _tile_id 10
  • this is merely an example, and various syntax elements for defining the first tile and the last tile may be used.
  • the identification information of the upper right tile among the tiles to be merged may be used as identification information of the first tile
  • the identification information of the lower left tile may be used as identification information of the last tile.
  • FIG. 6 is an exemplary diagram in which position information of each tile is displayed on a picture in which some tiles of a plurality of tiles are merged.
  • FIG. 6 illustrates a case in which tiles located at the center of the picture divided into 16 equally sized tiles are merged to generate one merge tile.
  • location information is shown instead of identification information of each tile.
  • the location information of the tile may be represented by coordinates u and v based on the horizontal and vertical columns of the tile.
  • the coordinates of the tiles may be sequentially displayed as shown in FIG. 5.
  • the image decoding apparatus decodes the identification information of the first tile and the position information of the last tile among the merged tiles as the second information.
  • the identification information of the first tile and the position information of the last tile are decoded for each merge tile.
  • Position information of the upper-left-side tile as the location information of the first tile of the tiles are merged into a combined tile (u_start_pos and v_start_ pos) is decoded, position information of the lower right side as the position information of the tile the last tile (pos u_end_ And v_end_ pos) that can be decrypted.
  • this is merely an example, and various syntax elements for defining the first tile and the last tile may be used.
  • the position information of the upper right tile among the tiles to be merged may be used as the position information of the first tile
  • the position information of the lower left tile may be used as the position information of the last tile.
  • syntax elements according to the present embodiment is shown in Table 3 described above.
  • the order of the u_start_pos , v_start_ pos , u_end_ pos , and v_end_ pos syntax elements is not necessarily set as shown in Table 3, and may be variously changed as necessary.
  • FIG. 7 is an exemplary diagram showing information indicating whether each tile is merged in a picture in which some tiles of a plurality of tiles are merged.
  • FIG. 7 illustrates a case where tiles located at the center of the picture divided into 16 equally sized tiles are merged to generate one merge tile as illustrated in FIGS. 5 and 6. However, information indicating whether or not merged into a merge tile is shown for each tile for dividing a picture.
  • the image decoding apparatus decodes, as second information, information indicating whether or not each tile is merged with respect to each of the plurality of tiles. That is, in the present embodiment, the second information is decoded as many as the total number of tiles for dividing the picture.
  • Merge_flag may be used as information indicating whether each tile is merged. merge_flag is decoded to 1 when instructing to merge tiles and to 0 when not instructing merge of tiles. In the example of FIG. 6, merge_flag is decoded to a value of 0000 0110 0110 0000.
  • FIG. 8 is an exemplary diagram in which identification information of each tile is displayed on a picture including a plurality of merged tiles.
  • the present embodiment unlike the embodiment # 1 (see FIG. 5), a case of generating a plurality of merge tiles will be described.
  • FIG. 8 shows a case where a picture is divided into 16 equally sized tiles, and tile numbers 0 to 15 are assigned to each tile as identification information.
  • the first merge tile is created by merging tiles 0, 1, 4 and 5, and the second merge by merging tiles 10, 11, 14 and 15. A tile was created.
  • the image decoding apparatus decodes the identification information of the first tile and the identification information of the last tile for each merge tile as the second information. That is, the identification information of the first tile and the identification information of the last tile are decoded by the number of merged tiles in the picture.
  • the image decoding apparatus of this embodiment additionally decodes the third information num_merge_tile_minus1 indicating the number of generated one or more merge tiles.
  • the identification information (topleft _tile_id) of the upper left tile as identification information of the first tile decoding of the tiles are merged into each merge tile and can be decoded right lower side tile identification information (bottomright _tile_id) as identification information of the last tile .
  • this is merely an example, and various syntax elements for defining the first tile and the last tile may be used.
  • the identification information of the upper right tile among the tiles to be merged may be used as identification information of the first tile
  • the identification information of the lower left tile may be used as identification information of the last tile.
  • 9 is an exemplary diagram in which location information of each tile is displayed on a picture including a plurality of merged tiles.
  • the location information of the tile may be represented by coordinates u and v based on the horizontal and vertical columns of the tile.
  • the coordinates of the tiles may be sequentially displayed as shown in FIG. 9.
  • the first merge tile is generated by merging the tile at position (1,0) and the tile at position (2,0), the tile at position (2,2), the tile at position (2,3), ( A second merged tile was created by merging the tiles at position 3,2 and the tiles at position (3,3).
  • the image decoding apparatus decodes the identification information of the first tile and the position information of the last tile among the merged tiles as the second information for each merge tile. That is, the position information of the first tile and the position information of the last tile are decoded as many as the number of merged tiles in the picture.
  • the image decoding apparatus of this embodiment additionally decodes the third information num_merge_tile_minus1 indicating the number of generated one or more merge tiles.
  • this is merely an example, and various syntax elements for defining the first tile and the last tile may be used.
  • the position information of the upper right tile among the tiles to be merged may be used as the position information of the first tile
  • the position information of the lower left tile may be used as the position information of the last tile.
  • syntax elements according to the present embodiment is shown in Table 6 described above.
  • the order of the u_start_pos , v_start_ pos , u_end_ pos , and v_end_ pos syntax elements is not necessarily set as shown in Table 6, and may be variously changed as necessary.
  • FIG. 10 is an exemplary diagram showing whether or not each tile is merged and index information of the merge tile in a picture including a plurality of merge tiles.
  • FIG. 10 illustrates a case where two merge tiles are generated from a picture divided into 16 equally sized tiles. Further, i) information indicating whether or not to merge into a merge tile for each tile for dividing a picture, and ii) index information of a merge tile to which each tile among one or more merge tiles belongs, for the merged tiles.
  • the image decoding apparatus decodes, as second information, information indicating whether or not each tile is merged with respect to each of the plurality of tiles. That is, in this embodiment, the second information is decoded as many as the total number of tiles for dividing the picture.
  • the image decoding apparatus of this embodiment additionally decodes the third information num _merge_tile_ minus1 indicating the number of generated one or more merge tiles.
  • Merge_flag may be used as information indicating whether each tile is merged. merge_flag is decoded to 1 when instructing to merge tiles and to 0 when not instructing merge of tiles.
  • the index information of the combined tile may be the number of tiles within the merged picture by the video encoding apparatus encoding a TU (Truncated Unary) way that the maximum value.
  • merge_ idx when the number of merge tiles is two is decoded to a value of "0" or "1”
  • merge_ idx when the number of merge tiles is three is "0"
  • num _merge_tile_ minus1 1, merge_flag ( merge_ idx ) is decoded to a value of 01 (0) 1 (0) 0 01 (1) 1 (1) 0 01 (1) 1 (1) 0 0000 do.
  • FIG. 11 is another exemplary diagram showing whether or not each tile is merged and index information of the merge tile in a picture including a plurality of merge tiles.
  • Example # 6-1 in Table 7 of the video encoder does not encode the numbers (num_merge_tile_minus1) of the tile merging, it is also possible if the merge_ idx encoded in unary fashion.
  • the image decoding apparatus is the merge_ idx "0" or "10” for the number of the decoded value, and merge tile of merge_idx to 3 if individuals "0", "10" when the number of merging tile 2 Personal Or "110".
  • merge_flag ( merge_idx ) is 01 (0) 1 (0) 0 01 (10) 1 (10) 0 01 (10) 1 (10) 0 Decoded to a value of 0000.
  • a tile may be freely formed based on horizontal and vertical columns in a picture to solve a problem of separation at a tile boundary and a reduction in encoding efficiency.
  • VR Virtual Reality
  • an area corresponding to an important view such as a user's viewpoint is defined as a merge tile, resulting in a plurality of tiles.
  • Image quality can be reduced.
  • the audio direction of the position corresponding to the high definition region and the high definition region of the video may be synchronized according to position information (eg, yaw, roll, pitch) defined according to a specific gaze.
  • FIGS. 4 and 14 the processes are sequentially executed, but are not necessarily limited thereto. In other words, since the process described in FIG. 4 and FIG. 14 may be applied by changing or executing one or more processes in parallel, FIGS. 4 and 14 are not limited to the time series order.
  • the image encoding or decoding method according to the present embodiment of FIGS. 4 and 14 may be implemented in a computer program and recorded on a computer readable recording medium.
  • a computer program for recording an image encoding or decoding method according to the present embodiment and a computer readable recording medium include all kinds of recording devices that store data that can be read by a computing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상을 효율적으로 부호화하기 위하여 복수의 타일로 픽처를 분할하는 영상 부호화 또는 복호화에 관한 것이다. 본 발명의 일 측면에 따르면, 복수의 타일(tile)들로 분할된 픽처를 부호화하는 영상 부호화 방법에 있어서, 상기 복수의 타일들 중 일부의 타일들을 병합할지 여부를 지시하는 제1 정보를 부호화하는 단계; 상기 제1 정보가 타일 병합을 지시하는 것으로 부호화된 경우, 상기 복수의 타일들 중 일부의 타일들을 병합하여 하나 이상의 병합 타일(merge tile)을 생성하는 단계, 상기 각 병합 타일은 하나의 타일로 정의됨; 상기 복수의 타일들 중 상기 각 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보를 부호화하는 단계; 및 상기 각 병합 타일로 병합된 타일들 간의 부호화 의존성에 대한 제약 없이 상기 각 병합 타일을 하나의 타일로 부호화하는 단계를 포함한다. 대표도: 도4

Description

영상 부호화 또는 복호화하기 위한 장치 및 방법
본 발명은 영상을 효율적으로 부호화하기 위하여 복수의 타일로 픽처를 분할하는 영상 부호화 또는 복호화에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.
최근 영상의 크기 및 해상도, 프레임율이 점차 증가하고 있고, 카메라에 의해 생성된 기존의 2D 자연 영상 이외에 게임이나 360도 영상(이하, '360 영상'이라 함) 등의 비디오 콘텐츠에 대한 수요도 갈수록 증가하고 있다.
360 영상은 여러 대의 카메라로 여러 방향에서 촬영한 영상으로, 여러 장면의 영상을 압축, 전송할 수 있도록 여러 카메라에서 출력된 영상을 하나의 2D 영상으로 스티칭(stitching)하며, 스티칭된 영상은 압축되어 복호화 장치로 전송된다. 복호화 장치는 압축된 영상을 복호화한 이후에 3D로 매핑하여 재생된다. 360 영상은 코딩 포맷(Coding Format)에 따라 다양한 투영 포맷(Projection Format)으로 변환되어 부호화될 수 있다. 투영 포맷의 예로는, 정방형 투영(Equirectangular Projection), 큐브 맵 투영(Cube Map Projection), 사각뿔대 투영(Truncated Square Pyramid Projection) 등이 있다.
360 영상의 경우, 사용자의 시점 변화 등에 따라 화면에 디스플레이되는 영상이 변해야 하므로, 2D 영상을 기반으로 하는 기존의 압축 기술에 따르면 부호화 효율을 향상시키는 데에 한계가 있다. 360 영상의 부호화 및 복호화 효율을 높이기 위해서는, 사용자의 시점에 대응하여 360 영상의 투영 영상에서 ROI(Region Of Interest)를 설정하고, ROI와 그 밖의 영역 간의 화질에 차등을 두어 영상을 부호화 및 복호화할 필요가 있다. 이를 위해서는, 픽처를 여러 영역으로 분할하여 각 영역을 독립적으로 부호화 및 복호화할 수 있는 구조(예: 타일 구조)를 이용해야 한다. 그러나, 기존의 압축 기술에서의 픽처 분할 구조는 이러한 ROI 설정을 위해 충분히 유연하지 못한 점이 있다.
본 발명은 불규칙적인 형태의 타일 구조를 정의함으로써, 타일 경계에서의 이격 문제를 해결하고 부호화 효율을 향상시킬 수 있는 영상 부호화 및 복호화를 위한 방법 및 장치를 제공하는 데 일 목적이 있다.
본 발명의 일 측면에 따르면, 복수의 타일(tile)들로 분할된 픽처를 부호화하는 영상 부호화 방법에 있어서, 상기 복수의 타일들 중 일부의 타일들을 병합할지 여부를 지시하는 제1 정보를 부호화하는 단계; 상기 제1 정보가 타일 병합을 지시하는 것으로 부호화된 경우, 상기 복수의 타일들 중 일부의 타일들을 병합하여 하나 이상의 병합 타일(merge tile)을 생성하는 단계, 상기 각 병합 타일은 하나의 타일로 정의됨; 상기 복수의 타일들 중 상기 각 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보를 부호화하는 단계; 및 상기 각 병합 타일로 병합된 타일들 간의 부호화 의존성에 대한 제약 없이 상기 각 병합 타일을 하나의 타일로 부호화하는 단계를 포함하는, 영상 부호화 방법을 제공한다.
본 발명의 다른 측면에 따르면, 복수의 타일(tile)들로 분할된 픽처를 복호화하는 영상 복호화 방법에 있어서, 비트스트림으로부터 상기 복수의 타일들 중 일부의 타일들을 병합할지 여부를 지시하는 제1 정보를 복호화하는 단계; 상기 복호화된 제1 정보가 타일 병합을 지시하면, 상기 비트스트림으로부터 상기 복수의 타일들 중 병합되는 타일들을 지시하기 위한 제2 정보를 복호화하는 단계; 및 상기 제2 정보가 지시하는 타일들을 병합하여 하나 이상의 병합 타일(merge tile)을 생성하는 단계, 상기 각 병합 타일은 하나의 타일로 정의됨; 상기 각 병합 타일로 병합된 타일들 간의 복호화 의존성에 대한 제약 없이 상기 각 병합 타일을 하나의 타일로 복호화하는 단계를 포함하는, 영상 복호화 방법을 제공한다.
도 1은 복수의 타일로 분할되어 부호화된 픽처에 대한 예시도이다.
도 2는 복수의 타일로 분할되어 부호화된 픽처에 대한 다른 예시도이다.
도 3은 본 발명의 실시예에 따른 영상 부호화 장치에 대한 블록도이다.
도 4는 본 발명의 실시예에 따른 영상 부호화 장치의 동작방법을 나타내는 흐름도이다.
도 5는 복수의 타일 중 일부의 타일이 병합된 픽처에 각 타일의 식별정보를 표시한 예시도이다.
도 6은 복수의 타일 중 일부의 타일이 병합된 픽처에 각 타일의 위치정보를 표시한 예시도이다.
도 7은 복수의 타일 중 일부의 타일이 병합된 픽처에 각 타일의 병합 여부를 나타내는 정보를 표시한 예시도이다.
도 8은 복수의 병합 타일을 포함하는 픽처에 각 타일의 식별정보를 표시한 예시도이다.
도 9는 복수의 병합 타일을 포함하는 픽처에 각 타일의 위치정보를 표시한 예시도이다.
도 10은 복수의 병합 타일을 포함하는 픽처에 각 타일의 병합 여부 및 병합 타일의 인덱스 정보를 표시한 예시도이다.
도 11은 복수의 병합 타일을 포함하는 픽처에 각 타일의 병합 여부 및 병합 타일의 인덱스 정보를 표시한 다른 예시도이다.
도 12a, 도 12b 및 도 12c는 360 영상의 투영 포맷들에 대한 병합 타일 시나리오들의 예시도이다.
도 13은 본 발명의 실시예에 따른 영상 복호화 장치에 대한 블록도이다.
도 14는 본 발명의 실시예에 따른 영상 복호화 장치의 동작방법을 나타내는 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 복수의 타일로 분할되어 부호화된 픽처에 대한 예시도이다.
도 2는 복수의 타일로 분할되어 부호화된 픽처에 대한 다른 예시도이다.
HEVC(High Efficiency Video Coding) 표준에서, 픽처는 직사각형 영역들인 복수의 타일들로 분할될 수 있다. 픽처는 하나 이상의 세로열로 분할하는 타일로 분할되거나, 하나 이상의 가로열로 분할하는 타일로 분할되거나, 또는 하나 이상의 세로열 및 하나 이상의 가로열로 분할하는 타일들로 분할될 수도 있다. 픽처는 픽처 내 가로열 및 세로열의 길이를 기준으로 균등하게 동일한 크기의 타일들로 분할될 수도 있고, 상이한 크기들의 타일들로 분할될 수도 있다. 다만, 각각의 가로열 타일 개수 및 각각의 세로열 타일 개수는 동일해야 한다.
픽처를 분할하는 복수의 타일들은 각 타일 별로 다른 타일들과는 독립적으로 부호화 및 복호화된다. 여기서, 독립이란 인트라 예측, 인터 예측, 변환, 양자화, 엔트로피, 및 필터를 포함한 부호화 및 복호화 과정들이 분할된 다른 타일들과는 무관하게 수행될 수 있는 것을 의미한다. 다만, 각 타일에 대하여 모든 부호화 및 복호화 과정들이 완전히 독립적으로 수행되는 것을 의미하는 것은 아니고, 인터 예측 또는 인루프 필터 시에 선택적으로 다른 타일의 정보를 이용하여 부호화 및 복호화될 수도 있다.
타일을 위한 하이 레벨 신택스(high level syntax)의 일례는 표 1과 같다.
pic_parameter_set_rbsp(　) {
...
tiles_enabled_flag
...
if( tiles_enabled_flag ) {
num_tile_columns_minus1
num_tile_rows_minus1
uniform_spacing_flag
if( !uniform_spacing_flag) {
for( i = 0; i < num_tile_columns_minus1;i++ )
column_width_minus1[　i　]
for( i = 0; i < num_tile_rows_minus1;i++ )
row_height_minus1[　i　]
}
loop_filter_across_tiles_enabled_flag
}
표 1을 참조하면, PPS(Picture Parameter Set) 내의 타일 기능의 온/오프를 지시하는 플래그인 tiles_ enalbed _flag와 해당 플래그가 온(on)되었을 때, 타일의 크기를 지정할 수 있는 다수의 신택스들이 추가적으로 존재한다. 픽처의 가로축 기준으로 분할된 타일의 개수에서 1을 뺀 값인 num _tile_columns_ minus1, 픽처의 세로축 기준으로 분할된 타일의 개수에서 1을 뺀 값인 num _tile_rows_ minus1, 및 가로축과 세로축이 균등하게 분할되었음을 나타내는 플래그 uniform_ sapacing _flag 등이 있다. 타일이 가로축 및 세로축으로 균등하게 분할되지 않았을 경우(uniform_spacing_flag=off), 가로축 기준으로 각 타일에 대한 폭(width) 정보(column_width_minus1)와 세로축 기준으로 각 타일에 대한 높이(height) 정보(row_height_minus1)를 추가적으로 전송한다. 마지막으로, 타일 간 경계 영역에서 루프 필터(loop filter)의 실행 여부를 나타내는 플래그(loop_filter_across_tiles_enabled_flag)를 전송한다.도 1은 uniform_spacing_flag가 온(on)인 경우로서 동일한 크기의 타일들로 분할된 픽처의 일례를 도시한다. 도 2는 uniform_spacing_flag가 오프(off)인 경우로서 상이한 크기들의 타일들로 분할된 픽처의 일례를 도시한다.
이러한 기존의 타일 구조에서는 ROI를 설정하는 경우, ROI 영역과 ROI 이외의 영역을 각 영역의 특성에 맞게 처리하는 데에 한계가 있다. ROI 영역은 ROI 이외의 영역에 비하여 고화질로 부호화되어야 하는데, ROI 영역이 복수의 타일로 분할되면 타일 경계에서의 이격 등으로 인하여 화질이 저하되는 문제가 발생한다. 이에 따라, ROI 영역은 복수의 타일로 분할되기 보다는 단일 타일로 설정되는 것이 바람직하다. 한편, ROI 이외의 영역의 경우에는 화질이 다소 낮더라도 시점 변화에 따라 유연하게 처리되도록 작은 크기의 복수의 타일들로 설정되는 것이 바람직하다.
본 발명은 불규칙적인 형태의 타일 구조를 정의함으로써, 기존의 타일 구조(픽처의 가로열 및 세로열을 기준으로 각각 동일한 개수의 타일들이 존재해야 함)와 달리 자유롭게 타일을 구성할 수 있다. 이에 따라 본 발명에서 제안하는 영상 부호화 및 복호화를 위한 방법 및 장치는 ROI 영역 내 타일 경계에서의 이격 문제를 해결하고 부호화 효율을 향상시킬 수 있다.
이하, 본 발명의 설명에서 언급하는 '타일'은 하나의 픽처로부터 분할된 영역으로서, 각 영역을 독립적으로(다만, 인터 예측 또는 루프 필터 시에는 선택적으로 의존성을 가질 수 있음) 부호화 및 복호화하기 위한 수단(tool)을 의미한다. '타일'은 인터 예측 및 루프 필터를 제외한 인트라 예측 등의 부호화 과정에서는 다른 타일들과의 의존성들이 제약된다. 또한, 본 발명의 설명에서'타일'이란 용어는 전술한 의미와 동일한 다양한 용어(예: area, region 등)로 대체될 수 있다.
도 3은 본 발명의 실시예에 따른 영상 부호화 장치에 대한 블록도이다.
부호화 장치는 블록 분할부(310), 예측부(320), 감산기(330), 변환부(340), 양자화부(345), 부호화부(350), 역양자화부(360), 역변환부(365), 가산기(370), 필터부(380) 및 메모리(390)를 포함한다. 부호화 장치의 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
블록 분할부(310)는 영상을 구성하는 각 픽처(picture)를 복수의 타일들로 분할한다. 그리고 각 타일을 복수의 CTU(Coding Tree Unit)로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(Coding Unit)가 된다. 트리 구조로는 상위 노드가 네 개의 하위 노드로 분할하는 쿼드트리(QuadTree, QT), 또는 QT 구조 및 상위 노드가 두 개의 하위 노드로 분할하는 바이너리트리(BinaryTree, BT) 구조를 혼용한 QTBT (QuadTree plus BinaryTree) 구조가 사용될 수 있다.
본 발명에서는 블록 분할부(310)가 픽처를 복수의 타일들로 분할할 뿐만 아니라, 복수의 타일들 중 일부의 타일들을 병합(merge)하여 하나 이상의 병합 타일(merge tile)을 생성함으로써 불규칙적인 또는 자유로운 형태의 타일 구조를 정의한다. 각 병합 타일은 하나의 타일로 정의된다. 이에 대한 구체적인 설명은 다른 도면을 참조하여 후술한다.
예측부(320)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(320)는 인트라 예측부(322)와 인터 예측부(324)를 포함한다. 여기서, 현재블록은 상기의 트리 구조에서 리프 노드에 해당하는 부호화의 기본 단위로서, 현재 부호화하고자 하는 CU를 의미한다. 대안적으로, 현재블록은 CU로부터 분할된 복수의 서브블록 중 하나의 서브블록일 수도 있다.
인트라 예측부(322)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재하며, 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다.
인터 예측부(324)는 현재 픽처보다 먼저 부호화 및 복호화된 참조 픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조 픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 현재블록을 예측하기 위해 사용된 참조 픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(350)에 의해 부호화되어 영상 복호화 장치로 전달된다.
감산기(330)는 현재블록으로부터 인트라 예측부(322) 또는 인터 예측부(324)에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성한다.
변환부(340)는 공간 영역의 픽셀 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(340)는 잔차 블록 내의 잔차 신호들을 현재블록의 크기를 변환 단위로 사용하여 변환할 수 있으며, 또는 잔차 블록을 더 작은 복수의 서브블록을 분할하고 서브블록 크기의 변환 단위로 잔차 신호들을 변환할 수도 있다. 잔차 블록을 더 작은 서브블록으로 분할하는 방법은 다양하게 존재할 수 있다. 예컨대, 기 정의된 동일한 크기의 서브블록으로 분할할 수도 있으며, 또는 잔차 블록을 루트 노드로 하는 QT(quadtree) 방식의 분할을 사용할 수도 있다.
양자화부(345)는 변환부(340)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(350)로 출력한다.
부호화부(350)는 양자화된 변환 계수들을 CABAC 등의 부호화 방식을 사용하여 부호화하여 비트스트림을 생성한다. 한편, 부호화부(350)는 픽처를 분할하는 복수의 타일들 중 일부의 타일들을 병합(merge)함으로써 불규칙적인 또는 자유로운 형태의 타일 구조를 정의하기 위한 병합정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일한 타일 구조를 정의하도록 한다. 병합정보에는 복수의 타일들 중 일부의 타일들을 병합할지 여부를 지시하는 제1 정보 및 복수의 타일들 중 각 병합타일(merge tile)로 병합되는 타일들을 지시하기 위한 제2 정보가 포함된다. 병합 타일의 개수를 지시하는 제3 정보가 병합정보에 더 포함될 수 있다. 이러한 병합정보와 관련된 신택스 요소(syntax element)들은 SPS(Sequence Parameter Set), PPS(Picture Parameter Set), SEI(Supplementary Enhancement Information) 및 슬라이스 헤더(slice header) 중 하나의 이상의 기 지정된 위치에 설정될 수도 있다.
부호화부(350)는 트리 구조의 최상위 레이어에 위치하는 CTU의 크기에 대한 정보 및 CTU로부터 트리 구조로 블록을 분할하기 위한 분할 정보를 부호화하여, 영상 복호화 장치가 영상 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다. 예컨대, QT 분할의 경우에는 상위 레이어의 블록이 하위 레이어의 네 개의 블록으로 분할되는지 여부를 지시하는 QT 분할 정보를 부호화한다. BT 분할의 경우에는 QT의 리프 노드에 해당하는 블록으로부터 시작하여 각 블록이 두 개의 블록으로 분할되는지 여부 및 분할되는 타입을 지시하는 BT 분할 정보를 부호화한다.
부호화부(350)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보 또는 인터 예측정보를 부호화한다.
역양자화부(360)는 양자화부(345)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(365)는 역양자화부(360)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산기(370)는 복원된 잔차블록과 예측부(320)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.
필터부(380)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(390)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
이하, 복수의 타일들 중 일부의 타일들을 병합(merge)하여 하나 이상의 병합 타일(merge tile)을 생성함으로써 불규칙적인 또는 자유로운 형태의 타일 구조를 정의하는 영상 부호화 방법에 대하여 구체적으로 설명한다.
도 4는 본 발명의 실시예에 따른 영상 부호화 장치가 복수의 타일들로 분할된 픽처를 부호화하기 위한 동작방법을 나타내는 흐름도이다.
영상 부호화 장치는 복수의 타일들 중 일부의 타일들을 병합할지 여부를 지시하는 제1 정보를 부호화한다(S410). 예를 들어, 제1 정보로서 타일의 병합 여부를 지시하는 플래그(merge_tile_enabled_flag)를 이용할 수 있다. 일부의 타일들을 병합하는 경우에는 플래그(merge_tile_enabled_flag)를 온(on)으로 부호화하고, 일부 타일들을 병합하지 않는 경우에는 플래그(merge_tile_enabled_flag)를 오프(off)로 부호화할 수 있다.
영상 부호화 장치는 타일 병합 여부를 지시하는 제1 정보가 타일 병합을 지시하는 것으로 부호화된 경우, 복수의 타일들 중 일부의 타일들을 병합하여 하나 이상의 병합 타일(merge tile)을 생성한다(S420). 생성된 각 병합 타일은 하나의 타일로 정의된다. 다시 말해, 각 병합 타일로 병합된 타일들은 병합되기 전의 타일 특성을 그대로 유지한 채 단순히 그룹화되는 것이 아니고, 하나의 타일로 병합되는 것이다. 예컨대, 각 병합 타일로 병합된 타일들 간의 부호화 의존성에 대한 제약을 없애는 방식으로 병합될 수 있다.
하나 이상의 병합 타일을 생성한 영상 부호화 장치는, 복수의 타일들 중 각 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보를 부호화한다(S430). 제2 정보는 i) 각 병합 타일로 병합되는 타일들 중 최초 타일 및 최후 타일의 식별정보를 각 병합 타일 별로 포함하거나, ii) 각 병합 타일로 병합되는 타일들 중 최초 타일 및 최후 타일의 위치정보를 각 병합 타일 별로 포함하거나, iii) 복수의 타일들 각각에 대하여 병합되는지 여부를 나타내는 정보를 포함할 수 있다. 또한, 제2 정보는 iv) 복수의 타일들 중 병합되는 타일들에 대하여, 하나 이상의 병합 타일 중 각 타일이 속하는 병합 타일의 인덱스 정보를 더 포함할 수도 있다. 제2 정보에 대한 구체적인 예시는 다른 도면들을 참조하여 후술한다.
영상 부호화 장치는 생성한 하나 이상의 병합 타일의 개수를 지시하는 제3 정보를 추가적으로 부호화할 수 있다.
영상 부호화 장치는 각 병합 타일로 병합된 타일들 간의 부호화 의존성에 대한 제약 없이 각 병합 타일을 하나의 타일로 부호화한다(S440). 여기서, 부호화 의존성은 각 병합 타일로 병합된 타일들 간의 인트라 예측 의존성을 포함할 수 있다. 즉, 동일한 병합 타일로 병합된 타일들 간에는 인트라 예측 의존성에 대한 제약이 제거된다.
이하, 도 5 내지 도 12를 참조하여 병합 타일에 대한 예시적인 신택스 요소들에 대하여 설명한다.
실시예 #1
도 5는 복수의 타일 중 일부의 타일이 병합된 픽처에 각 타일의 식별정보를 표시한 예시도이다.
도 5는 픽처가 16개의 동일한 크기의 타일들로 분할되고, 각 타일에 0번부터 15번까지의 타일 번호가 식별정보로서 부여된 경우를 도시한다. 이 경우, 5번 타일, 6번 타일, 9번 타일 및 10번 타일을 병합하여 하나의 병합 타일을 생성하였다.
본 실시예에서 영상 부호화 장치는 복수의 타일들 중 일부의 타일들을 병합하도록 지시하는 제1 정보로서, merge_tile_enabled_flag를 온(on)으로 부호화한다. 그리고 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보로서, 병합되는 타일들 중 최초 타일의 식별정보 및 최후 타일의 식별정보를 부호화한다. 병합 타일이 복수 개인 경우에는 각 병합 타일 별로 최초 타일의 식별정보 및 최후 타일의 식별정보를 부호화한다.
병합 타일로 병합되는 타일들 중 최초 타일의 식별정보로서 좌상측 타일의 식별정보(topleft_tile_id)가 부호화되고, 최후 타일의 식별정보로서 우하측 타일의 식별정보(bottomright _tile_id)가 부호화될 수 있다. 도 5의 예시에서는, topleft_tile_id=5, bottomright _tile_id=10의 값으로 부호화된다. 다만, 이는 예시에 불과하며, 최초 타일과 최후 타일을 정의할 수 있는 다양한 신택스 요소들이 사용될 수 있다. 예컨대, 병합될 타일들 중 우상측 타일의 식별정보를 최초 타일의 식별정보로 사용하고, 좌하측 타일의 식별정보를 최후 타일의 식별정보로 사용할 수도 있다.
본 실시예에 따른 신택스 요소들의 일례는 표 2와 같다.
pic_parameter_set_rbsp(　) {
...
tiles_enabled_flag
...
if( tiles_enabled_flag ) {
num_tile_columns_minus1
num_tile_rows_minus1
uniform_spacing_flag
if( !uniform_spacing_flag) {
for( i = 0; i < num_tile_columns_minus1;i++ )
column_width_minus1[　i　]
for( i = 0; i < num_tile_rows_minus1;i++ )
row_height_minus1[　i　]
}
merge_tile_enabled_flag
if(merge_tile_enabled_flag) {
topleft_tile_id
bottomright_tile_id
}
loop_filter_across_tiles_enabled_flag
}
실시예 #2
도 6은 복수의 타일 중 일부의 타일이 병합된 픽처에 각 타일의 위치정보를 표시한 예시도이다.
도 6에서는 도 5와 같이 16개의 동일한 크기의 타일들로 분할된 픽처에서 중심부에 위치한 타일들이 병합되어 하나의 병합 타일을 생성한 경우를 도시한다. 다만, 각 타일의 식별정보 대신 위치정보를 도시한다. 예를 들어, 타일의 위치정보는 타일의 가로열 및 세로열을 기준으로 한 좌표(u, v )로 나타낼 수 있다. 맨 위쪽의 가로열의 위치를 0(u=0 )으로 설정하고 맨 왼쪽의 세로열의 위치를 0(v=0 )으로 설정하면, 각 타일들의 좌표는 도 5와 같이 순차적으로 나타낼 수 있다.
본 실시예에서 영상 부호화 장치는 복수의 타일들 중 일부의 타일들을 병합하도록 지시하는 제1 정보로서, merge_tile_enabled_flag를 온(on)으로 부호화한다. 그리고 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보로서, 병합되는 타일들 중 최초 타일의 식별정보 및 최후 타일의 위치정보를 부호화한다. 병합 타일이 복수 개인 경우에는 각 병합 타일 별로 최초 타일의 식별정보 및 최후 타일의 위치정보를 부호화한다.
병합 타일로 병합되는 타일들 중 최초 타일의 위치정보로서 좌상측 타일의 위치정보(u_start_pos 및 v_start_ pos)가 부호화되고, 최후 타일의 위치정보로서 우하측 타일의 위치정보(u_end_ pos 및 v_end_ pos)가 부호화될 수 있다. 도 6의 예시에서는, u_start_ pos=1, v_start_ pos=1, u_end_ pos=2, v_end_ pos=2의 값으로 부호화된다. 다만, 이는 예시에 불과하며, 최초 타일과 최후 타일을 정의할 수 있는 다양한 신택스 요소들이 사용될 수 있다. 예컨대, 병합될 타일들 중 우상측 타일의 위치정보를 최초 타일의 위치정보로 사용하고, 좌하측 타일의 위치정보를 최후 타일의 위치정보로 사용할 수도 있다.
본 실시예에 따른 신택스 요소들의 일례는 표 3과 같다.
pic_parameter_set_rbsp(　) {
...
tiles_enabled_flag
...
if( tiles_enabled_flag ) {
num_tile_columns_minus1
num_tile_rows_minus1
uniform_spacing_flag
if( !uniform_spacing_flag) {
for( i = 0; i < num_tile_columns_minus1;i++ )
column_width_minus1[　i　]
for( i = 0; i < num_tile_rows_minus1;i++ )
row_height_minus1[　i　]
}
merge_tile_enabled_flag
if(merge_tile_enabled_flag) {
u_start_pos
v_start_pos
u_end_pos
v_end_pos
}
loop_filter_across_tiles_enabled_flag
}
u_start_ pos, v_start_ pos, u_end_ pos, v_end_ pos 신택스 요소들의 순서는 반드시 표 3에서와 같이 설정되는 것은 아니고, 필요에 따라 다양하게 변경될 수 있다.
실시예 #3
도 7은 복수의 타일 중 일부의 타일이 병합된 픽처에 각 타일의 병합 여부를 나타내는 정보를 표시한 예시도이다.
도 7에서는 도 5 및 도 6과 같이 16개의 동일한 크기의 타일들로 분할된 픽처에서 중심부에 위치한 타일들이 병합되어 하나의 병합 타일을 생성한 경우를 도시한다. 다만, 픽처를 분할하는 각각의 타일에 대하여 병합 타일로 병합되는지 여부를 나타내는 정보를 도시한다.
본 실시예에서 영상 부호화 장치는 복수의 타일들 중 일부의 타일들을 병합하도록 지시하는 제1 정보로서, merge_tile_enabled_flag를 온(on)으로 부호화한다. 그리고 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보로서, 각 타일들이 병합되는지 여부를 나타내는 정보를 복수의 타일들 각각에 대하여 부호화한다. 즉, 본 실시예에서는 제2 정보가 픽처를 분할하는 타일 전체의 개수만큼 부호화된다.
각 타일들이 병합되는지 여부를 나타내는 정보로는 merge_flag를 이용할 수 있다. merge_flag는 타일의 병합을 지시하는 경우에 1로 부호화되고 타일의 병합을 지시하지 않는 경우에는 0으로 부호화된다. 도 6의 예시에서, merge_flag는 0000 0110 0110 0000의 값으로 부호화된다.
본 실시예에 따른 신택스 요소들의 일례는 표 4와 같다.
pic_parameter_set_rbsp(　) {
...
tiles_enabled_flag
...
if( tiles_enabled_flag ) {
num_tile_columns_minus1
num_tile_rows_minus1
uniform_spacing_flag
if( !uniform_spacing_flag) {
for( i = 0; i < num_tile_columns_minus1;i++ )
column_width_minus1[　i　]
for( i = 0; i < num_tile_rows_minus1;i++ )
row_height_minus1[　i　]
}
merge_tile_enabled_flag
if(merge_tile_enabled_flag) {
for( i = 0; i < (num_tile_columns_minus1+1) x (num_tile_rows_minus1+1); i++ )
merge_flag[ i ]
}
loop_filter_across_tiles_enabled_flag
}
실시예 #4
도 8은 복수의 병합 타일을 포함하는 픽처에 각 타일의 식별정보를 표시한 예시도이다. 본 실시예에서는 실시예 #1(도 5 참고)과 달리 복수의 병합 타일을 생성하는 경우에 대하여 설명한다.
도 8은 픽처가 16개의 동일한 크기의 타일들로 분할되고, 각 타일에 0번부터 15번까지의 타일 번호가 식별정보로서 부여된 경우를 도시한다. 이 경우, 0번 타일, 1번 타일, 4번 타일 및 5번 타일을 병합하여 제1 병합 타일을 생성하고, 10번 타일, 11번 타일, 14번 타일 및 15번 타일을 병합하여 제2 병합 타일을 생성하였다.
본 실시예에서 영상 부호화 장치는 복수의 타일들 중 일부의 타일들을 병합하도록 지시하는 제1 정보로서, merge_tile_enabled_flag를 온(on)으로 부호화한다. 그리고 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보로서, 각 병합 타일 별로 최초 타일의 식별정보 및 최후 타일의 식별정보를 부호화한다. 즉, 최초 타일의 식별정보 및 최후 타일의 식별정보를 픽처 내 병합 타일의 개수만큼 부호화한다. 본 실시예의 영상 부호화 장치는 생성된 하나 이상의 병합 타일의 개수를 지시하는 제3 정보(num_merge_tile_minus1)를 추가적으로 부호화한다.
각 병합 타일로 병합되는 타일들 중 최초 타일의 식별정보로서 좌상측 타일의 식별정보(topleft _tile_id)가 부호화되고, 최후 타일의 식별정보로서 우하측 타일의 식별정보(bottomright _tile_id)가 부호화될 수 있다. 도 8의 예시에서는, num_merge_tile_minus1=1, {제1 병합타일: topleft _tile_id=0, bottomright_tile_id=5}, {제2 병합타일: topleft _tile_id=10, bottomright_tile_id=15}의 값으로 부호화된다. 다만, 이는 예시에 불과하며, 최초 타일과 최후 타일을 정의할 수 있는 다양한 신택스 요소들이 사용될 수 있다. 예컨대, 병합될 타일들 중 우상측 타일의 식별정보를 최초 타일의 식별정보로 사용하고, 좌하측 타일의 식별정보를 최후 타일의 식별정보로 사용할 수도 있다.
본 실시예에 따른 신택스 요소들의 일례는 표 5와 같다.
pic_parameter_set_rbsp(　) {
...
tiles_enabled_flag
...
if( tiles_enabled_flag ) {
num_tile_columns_minus1
num_tile_rows_minus1
uniform_spacing_flag
if( !uniform_spacing_flag) {
for( i = 0; i < num_tile_columns_minus1;i++ )
column_width_minus1[　i　]
for( i = 0; i < num_tile_rows_minus1;i++ )
row_height_minus1[　i　]
}
merge_tile_enabled_flag
if(merge_tile_enabled_flag) {
num_merge_tile_minus1
for( i = 0; i < (num_merge_tile_minus1 + 1); i++ ) {
topleft_tile_id[ i ]
bottomright_tile_id[ i ]
}
}
loop_filter_across_tiles_enabled_flag
}
실시예 #5
도 9는 복수의 병합 타일을 포함하는 픽처에 각 타일의 위치정보를 표시한 예시도이다.
도 9에서는 16개의 동일한 크기의 타일들로 분할된 픽처에서 2개의 병합 타일을 생성한 경우로서, 각 타일의 위치정보를 도시한다. 예를 들어, 타일의 위치정보는 타일의 가로열 및 세로열을 기준으로 한 좌표(u, v )로 나타낼 수 있다. 맨 위쪽의 가로열의 위치를 0(u=0 )으로 설정하고 맨 왼쪽의 세로열의 위치를 0(v=0 )으로 설정하면, 각 타일들의 좌표는 도 9와 같이 순차적으로 나타낼 수 있다. 이 경우, (1,0) 위치의 타일 및 (2,0) 위치의 타일을 병합하여 제1 병합 타일을 생성하고, (2,2) 위치의 타일, (2,3) 위치의 타일, (3,2) 위치의 타일 및 (3,3) 위치의 타일을 병합하여 제2 병합 타일을 생성하였다.
본 실시예에서 영상 부호화 장치는 복수의 타일들 중 일부의 타일들을 병합하도록 지시하는 제1 정보로서, merge_tile_enabled_flag를 온(on)으로 부호화한다. 그리고 각 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보로서, 병합되는 타일들 중 최초 타일의 식별정보 및 최후 타일의 위치정보를 각 병합 타일 별로 부호화한다. 즉, 최초 타일의 위치정보 및 최후 타일의 위치정보를 픽처 내 병합 타일의 개수만큼 부호화한다. 본 실시예의 영상 부호화 장치는 생성된 하나 이상의 병합 타일의 개수를 지시하는 제3 정보(num _merge_tile_ minus1)를 추가적으로 부호화한다.
각 병합 타일로 병합되는 타일들 중 최초 타일의 위치정보로서 좌상측 타일의 위치정보(u_start_ pos 및 v_start_ pos)가 부호화되고, 최후 타일의 위치정보로서 우하측 타일의 위치정보(u_end_ pos 및 v_end_ pos)가 부호화될 수 있다. 도 9의 예시에서는, num _merge_tile_ minus1=1, {제1 병합타일: u_start_ pos=0, v_start_pos=1, u_end_ pos=0, v_end_ pos=2}, {제2 병합타일: u_start_ pos=2, v_start_pos=2, u_end_ pos=3, v_end_ pos=3}의 값으로 부호화된다. 다만, 이는 예시에 불과하며, 최초 타일과 최후 타일을 정의할 수 있는 다양한 신택스 요소들이 사용될 수 있다. 예컨대, 병합될 타일들 중 우상측 타일의 위치정보를 최초 타일의 위치정보로 사용하고, 좌하측 타일의 위치정보를 최후 타일의 위치정보로 사용할 수도 있다.
본 실시예에 따른 신택스 요소들의 일례는 표 6과 같다.
pic_parameter_set_rbsp(　) {
...
tiles_enabled_flag
...
if( tiles_enabled_flag ) {
num_tile_columns_minus1
num_tile_rows_minus1
uniform_spacing_flag
if( !uniform_spacing_flag) {
for( i = 0; i < num_tile_columns_minus1;i++ )
column_width_minus1[　i　]
for( i = 0; i < num_tile_rows_minus1;i++ )
row_height_minus1[　i　]
}
merge_tile_enabled_flag
if(merge_tile_enabled_flag) {
num_merge_tile_minus1
for( i = 0; i < (num_merge_tile_minus1 + 1); i++ ) {
u_start_pos[ i ]
v_start_pos[ i ]
u_end_pos[ i ]
v_end_pos[ i ]
}
}
loop_filter_across_tiles_enabled_flag
}
u_start_ pos, v_start_ pos, u_end_ pos, v_end_ pos 신택스 요소들의 순서는 반드시 표 6에서와 같이 설정되는 것은 아니고, 필요에 따라 다양하게 변경될 수 있다.
실시예 #6-1
도 10은 복수의 병합 타일을 포함하는 픽처에 각 타일의 병합 여부 및 병합 타일의 인덱스 정보를 표시한 예시도이다.
도 10에서는 16개의 동일한 크기의 타일들로 분할된 픽처에서 2개의 병합 타일을 생성한 경우를 도시한다. 또한, i) 픽처를 분할하는 각각의 타일에 대하여 병합 타일로 병합되는지 여부를 나타내는 정보 및 ii) 병합되는 타일들에 대하여, 하나 이상의 병합 타일 중 각 타일이 속하는 병합 타일의 인덱스 정보를 도시한다.
본 실시예에서 영상 부호화 장치는 복수의 타일들 중 일부의 타일들을 병합하도록 지시하는 제1 정보로서, merge_tile_enabled_flag를 온(on)으로 부호화한다. 그리고 각 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보로서, 각 타일들이 병합되는지 여부를 나타내는 정보를 복수의 타일들 각각에 대하여 부호화한다. 즉, 본 실시예에서는 픽처를 분할하는 타일 전체의 개수만큼 제2 정보가 부호화된다. 본 실시예의 영상 부호화 장치는 생성된 하나 이상의 병합 타일의 개수를 지시하는 제3 정보(num_merge_tile_minus1)를 추가적으로 부호화한다.
각 타일들이 병합되는지 여부를 나타내는 정보로는 merge_flag를 이용할 수 있다. merge_flag는 타일의 병합을 지시하는 경우에 1로 부호화되고 타일의 병합을 지시하지 않는 경우에는 0으로 부호화된다.
또한, 영상 부호화 장치는 복수의 타일들 중 병합되는 타일들(merge_flag=1)에 대하여, 하나 이상의 병합 타일 중 각 타일이 속하는 병합 타일의 인덱스 정보(merge_idx)를 부호화한다. 예를 들어, 병합 타일의 인덱스 정보(merge_ idx)는 픽처 내 병합 타일의 개수를 최대값으로 하는 TU(Truncated Unary) 방식으로 부호화할 수 있다. TU 방식으로 부호화하는 경우에, 병합 타일의 개수가 2개일 때의 merge_idx는 "0", "1"의 값을 사용하고, 병합 타일의 개수가 3개일 때의 merge_ idx는 "0", "10", "11"의 값을 사용하게 된다.
도 10의 예시에서, num _merge_tile_ minus1=1, merge_flag(merge_ idx)는 01(0)1(0)0 01(1)1(1)0 01(1)1(1)0 0000의 값으로 부호화된다.
본 실시예에 따른 신택스 요소들의 일례는 표 7과 같다.
pic_parameter_set_rbsp(　) {
...
tiles_enabled_flag
...
if( tiles_enabled_flag ) {
num_tile_columns_minus1
num_tile_rows_minus1
uniform_spacing_flag
if( !uniform_spacing_flag) {
for( i = 0; i < num_tile_columns_minus1;i++ )
column_width_minus1[　i　]
for( i = 0; i < num_tile_rows_minus1;i++ )
row_height_minus1[　i　]
}
merge_tile_enabled_flag
if(merge_tile_enabled_flag) {
num_merge_tile_minus1
for( i = 0; i < (num_tile_columns_minus1+1) x (num_tile_rows_minus1+1); i++ ) {
merge_flag[ i ]
if(merge_flag[ i ])
merge_idx[ i ]
}
}
loop_filter_across_tiles_enabled_flag
}
실시예 #6-2
도 11은 복수의 병합 타일을 포함하는 픽처에 각 타일의 병합 여부 및 병합 타일의 인덱스 정보를 표시한 다른 예시도이다.
한편, 실시예 #6-1의 표 7과 달리, 병합 타일의 개수(num_merge_tile_minus1)를 부호화하지 않고(즉, 영상 복호화 장치로 시그널링하지 않고) merge_ idx를 unary 방식으로 부호화할 수도 있다. 예를 들어, 병합 타일의 개수가 2개인 경우에 merge_ idx는 "0", "10"의 값을 사용하고, 병합 타일의 개수가 3개인 경우에 merge_idx는 "0", "10", "110"의 값을 사용하게 된다.
본 실시예에 따라서 도 10과 같은 형태의 타일 구조를 정의하는 경우, merge_flag(merge_idx)는 01(0)1(0)0 01(10)1(10)0 01(10)1(10)0 0000의 값으로 부호화된다.
지금까지 설명한 본 발명의 실시예들은 360 영상에도 적용될 수 있다. 360 영상에서는 부호화 효율을 위하여 사용자의 시점에 대응되는 영역에 대해서는 고화질로 처리하고, 그 밖의 영역에 대해서는 저화질로 부호화하는 것이 바람직하다. 이와 같이 부호화하는 경우, 본 발명에서 제안하는 병합 타일을 이용하면 사용자가 시청하는 영역에서의 타일 간의 이질감을 제거할 수 있는 유리한 효과가 있다.
도 12a, 도 12b 및 도 12c는 360 영상의 투영 포맷들에 대한 병합 타일 시나리오들의 예시도이다. 구체적으로, 도 12a는 정방형 투영(Equirectangular Projection) 포맷에 대하여 병합 타일을 적용한 일례, 도 12b는 큐브 맵 투영(Cube Map Projection) 포맷에 대하여 병합 타일을 적용한 일례, 도 12c는 사각뿔대 투영(Truncated Square Pyramid Projection) 포맷에 대하여 병합 타일을 적용한 일례를 나타낸다.
각 도면의 맨 오른쪽 그림은 맨 왼쪽 그림 및 가운데 그림과 같은 투영 포맷에 따라 360 영상을 2D 영상으로 변환한 일례를 도시한다. 맨 오른쪽 그림에서 빗금 처리된 부분은 사용자의 시점이 머무르는 영역으로서 병합 타일(즉, 하나의 타일)로 정의되여 고화질로 부호화되고, 그 외의 영역은 여러 개의 타일로 분할되어 저화질로 부호화될 수 있다.
이하, 도 13 및 도 14를 참조하여 본 발명의 실시예에 따른 영상 복호화 장치 및 방법에 대하여 설명한다.
도 13은 본 발명의 실시예와 관련된 영상 복호화 장치에 대한 블록도이다.
영상 복호화 장치는 복호화부(1310), 역양자화부(1320), 역변환부(1330), 예측부(1340), 가산기(1350), 필터부(1360) 및 메모리(1370)를 포함한다. 도 13에 도시된 구성요소들은 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화부(1310)는 비트스트림을 복호화하여 타일 구조와 관련된 정보를 추출함으로써, 픽처를 복수의 타일들로 분할한다. 특히, 복호화부(1310)는 비트스트림으로부터 픽처를 분할하는 복수의 타일들 중 일부의 타일들을 병합(merge)하기 위한 병합정보를 부호화함으로써 불규칙적인 또는 자유로운 형태의 타일 구조를 정의한다. 병합정보와 관련된 신택스 요소(syntax element)들은 SPS(Sequence Parameter Set), PPS(Picture Parameter Set), SEI(Supplementary Enhancement Information) 및 슬라이스 헤더(slice header) 중 하나의 이상의 기 지정된 위치로부터 부호화될 수 있다. 이에 대한 구체적인 설명은 다른 도면을 참조하여 후술한다.
복호화부(1310)는 병합 타일을 포함한 각 타일을 복원하기 위해 필요한 예측 정보와 잔차신호에 대한 정보 등을 추출한다. 복호화부(1310)는 SPS 또는 PPS와 같은 하이 레벨 신택스로부터 CTU(Coding Tree Unit) 사이즈에 대한 정보를 추출하여 CTU의 크기를 결정하고, 각 타일을 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 트리 구조를 이용하여 CTU를 분할한다.
복호화부(1310)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 복호화부(1310)는 예측 타입 정보가 인트라 예측을 지시하는 경우, 현재블록의 인트라 예측정보(인트라 예측 모드)에 대한 신택스 요소를 추출하고, 예측 타입 정보가 인터 예측을 지시하는 경우, 인터 예측정보에 대한 신택스 요소를 추출한다.
한편, 복호화부(1310)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.
역양자화부(1320)는 양자화된 변환계수들을 역양자화하고, 역변환부(1330)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 잔차블록을 생성한다.
예측부(1340)는 인트라 예측부(1342) 및 인터 예측부(1344)를 포함한다. 인트라 예측부(1342)는 현재블록의 예측 타입인 인트라 예측일 때 활성화되고, 인터 예측부(1344)는 현재블록의 예측 타입인 인트라 예측일 때 활성화된다.
인트라 예측부(1342)는 복호화부(1310)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재블록 주변의 참조 픽셀들을 이용하여 현재블록을 예측한다.
인터 예측부(1344)는 복호화부(1310)로부터 추출된 인터 예측 모드에 대한 신택스 요소를 이용하여 현재블록의 움직임정보를 결정하고, 결정된 움직임정보를 이용하여 현재블록을 예측한다.
가산기(1350)는 역변환부(1330)로부터 출력되는 잔차블록과 인터 예측부(1344) 또는 인트라 예측부(1342)로부터 출력되는 예측블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
필터부(1360)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(1370)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 복호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
이하, 복수의 타일들 중 일부의 타일들을 병합(merge)하여 하나 이상의 병합 타일(merge tile)을 생성함으로써 불규칙적인 또는 자유로운 형태의 타일 구조를 정의하는 영상 복호화 방법에 대하여 구체적으로 설명한다.
도 14는 본 발명의 실시예에 따른 영상 복호화 장치가 복수의 타일들로 분할된 픽처를 복호화하기 위한 동작방법을 나타내는 흐름도이다.
영상 복호화 장치는 비트스트림으로부터 복수의 타일들 중 일부의 타일들을 병합할지 여부를 지시하는 제1 정보를 복호화한다(S1410). 예를 들어, 제1 정보로서 타일의 병합 여부를 지시하는 플래그(merge_tile_enabled_flag)를 이용할 수 있다. 일부의 타일들을 병합하는 경우에는 플래그(merge_tile_enabled_flag)가 온(on)으로 복호화되고, 일부 타일들을 병합하지 않는 경우에는 플래그(merge_tile_enabled_flag)를 오프(off)로 복호화된다.
영상 복호화 장치는 복호화된 제1 정보가 타일 병합을 지시하면, 비트스트림으로부터 복수의 타일들 중 병합되는 타일들을 지시하기 위한 제2 정보를 복호화한다(S1420). 제2 정보는 i) 각 병합 타일로 병합되는 타일들 중 최초 타일 및 최후 타일의 식별정보를 각 병합 타일 별로 포함하거나, ii) 각 병합 타일로 병합되는 타일들 중 최초 타일 및 최후 타일의 위치정보를 각 병합 타일 별로 포함하거나, iii) 복수의 타일들 각각에 대하여 병합되는지 여부를 나타내는 정보를 포함할 수 있다. 또한, 제2 정보는 iv) 복수의 타일들 중 병합되는 타일들에 대하여, 하나 이상의 병합 타일 중 각 타일이 속하는 병합 타일의 인덱스 정보를 더 포함할 수도 있다. 제2 정보에 대한 구체적인 예시는 다른 도면들을 참조하여 후술한다.
영상 복호화 장치는 제2 정보가 지시하는 타일들을 병합하여 하나 이상의 병합 타일을 생성한다(S1430). 생성된 각 병합 타일은 하나의 타일로 정의된다. 다시 말해, 각 병합 타일로 병합된 타일들은 병합되기 전의 타일 특성을 그대로 유지한 채 단순히 그룹화되는 것이 아니고, 하나의 타일로 병합되는 것이다. 예컨대, 각 병합 타일로 병합된 타일들 간의 복호화 의존성에 대한 제약을 없애는 방식으로 병합될 수 있다.
하나 이상의 병합 타일을 생성한 영상 복호화 장치는, 각 병합 타일로 병합된 타일들 간의 복호화 의존성에 대한 제약 없이 상기 각 병합 타일을 하나의 타일로 복호화한다(S1440). 여기서, 복호화 의존성은 각 병합 타일로 병합된 타일들 간의 인트라 예측 의존성을 포함할 수 있다. 즉, 동일한 병합 타일로 병합된 타일들 간에는 인트라 예측 의존성에 대한 제약이 제거된다.
영상 복호화 장치는 생성한 하나 이상의 병합 타일의 개수를 지시하는 제3 정보를 추가적으로 복호화할 수 있다.
도 5 내지 도 12를 참조하여 전술한 병합 타일에 대한 예시적인 신택스 요소들은 영상 복호화 장치 및 방법에 대해서도 적용된다. 다만, 픽처를 분할하는 복수의 타일들 중 일부의 타일들을 병합할지 여부를 지시하는 제1 정보로서 merge_tile_enabled_flag이 온(on)으로 복호화된 경우를 전제로 하여, 영상 복호화 장치 및 방법에 대하여 구체적으로 설명한다.
실시예 #1
도 5는 복수의 타일 중 일부의 타일이 병합된 픽처에 각 타일의 식별정보를 표시한 예시도이다.
도 5는 픽처가 16개의 동일한 크기의 타일들로 분할되고, 각 타일에 0번부터 15번까지의 타일 번호가 식별정보로서 부여된 경우를 도시한다. 이 경우, 5번 타일, 6번 타일, 9번 타일 및 10번 타일을 병합하여 하나의 병합 타일을 생성하였다.
본 실시예에서 영상 복호화 장치는, merge_tile_enabled_flag가 온(on)으로 복호화됨에 따라, 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보로서, 병합되는 타일들 중 최초 타일의 식별정보 및 최후 타일의 식별정보를 복호화한다. 병합 타일이 복수 개인 경우에는 각 병합 타일 별로 최초 타일의 식별정보 및 최후 타일의 식별정보를 복호화한다.
병합 타일로 병합되는 타일들 중 최초 타일의 식별정보로서 좌상측 타일의 식별정보(topleft_tile_id)가 복호화되고, 최후 타일의 식별정보로서 우하측 타일의 식별정보(bottomright _tile_id)가 복호화될 수 있다. 도 5의 예시에서는, topleft_tile_id=5, bottomright _tile_id=10의 값으로 복호화된다. 다만, 이는 예시에 불과하며, 최초 타일과 최후 타일을 정의할 수 있는 다양한 신택스 요소들이 사용될 수 있다. 예컨대, 병합될 타일들 중 우상측 타일의 식별정보를 최초 타일의 식별정보로 사용하고, 좌하측 타일의 식별정보를 최후 타일의 식별정보로 사용할 수도 있다.
본 실시예에 따른 신택스 요소들의 일례는 앞서 기재한 표 2와 같다.
실시예 #2
도 6은 복수의 타일 중 일부의 타일이 병합된 픽처에 각 타일의 위치정보를 표시한 예시도이다.
도 6에서는 도 5와 같이 16개의 동일한 크기의 타일들로 분할된 픽처에서 중심부에 위치한 타일들이 병합되어 하나의 병합 타일을 생성한 경우를 도시한다. 다만, 각 타일의 식별정보 대신 위치정보를 도시한다. 예를 들어, 타일의 위치정보는 타일의 가로열 및 세로열을 기준으로 한 좌표(u, v )로 나타낼 수 있다. 맨 위쪽의 가로열의 위치를 0(u=0 )으로 설정하고 맨 왼쪽의 세로열의 위치를 0(v=0 )으로 설정하면, 각 타일들의 좌표는 도 5와 같이 순차적으로 나타낼 수 있다.
본 실시예에서 영상 복호화 장치는, merge_tile_enabled_flag가 온(on)으로 복호화됨에 따라 제2 정보로서, 병합되는 타일들 중 최초 타일의 식별정보 및 최후 타일의 위치정보를 복호화한다. 병합 타일이 복수 개인 경우에는 각 병합 타일 별로 최초 타일의 식별정보 및 최후 타일의 위치정보를 복호화한다.
병합 타일로 병합되는 타일들 중 최초 타일의 위치정보로서 좌상측 타일의 위치정보(u_start_pos 및 v_start_ pos)가 복호화되고, 최후 타일의 위치정보로서 우하측 타일의 위치정보(u_end_ pos 및 v_end_ pos)가 복호화될 수 있다. 도 6의 예시에서는, u_start_ pos=1, v_start_ pos=1, u_end_ pos=2, v_end_ pos=2의 값으로 복호화된다. 다만, 이는 예시에 불과하며, 최초 타일과 최후 타일을 정의할 수 있는 다양한 신택스 요소들이 사용될 수 있다. 예컨대, 병합될 타일들 중 우상측 타일의 위치정보를 최초 타일의 위치정보로 사용하고, 좌하측 타일의 위치정보를 최후 타일의 위치정보로 사용할 수도 있다.
본 실시예에 따른 신택스 요소들의 일례는 앞서 기재한 표 3과 같다. u_start_pos, v_start_ pos, u_end_ pos, v_end_ pos 신택스 요소들의 순서는 반드시 표 3에서와 같이 설정되는 것은 아니고, 필요에 따라 다양하게 변경될 수 있다.
실시예 #3
도 7은 복수의 타일 중 일부의 타일이 병합된 픽처에 각 타일의 병합 여부를 나타내는 정보를 표시한 예시도이다.
도 7에서는 도 5 및 도 6과 같이 16개의 동일한 크기의 타일들로 분할된 픽처에서 중심부에 위치한 타일들이 병합되어 하나의 병합 타일을 생성한 경우를 도시한다. 다만, 픽처를 분할하는 각각의 타일에 대하여 병합 타일로 병합되는지 여부를 나타내는 정보를 도시한다.
본 실시예에서 영상 복호화 장치는, merge_tile_enabled_flag가 온(on)으로 복호화됨에 따라 제2 정보로서, 각 타일들이 병합되는지 여부를 나타내는 정보를 복수의 타일들 각각에 대하여 복호화한다. 즉, 본 실시예에서는 제2 정보가 픽처를 분할하는 타일 전체의 개수만큼 복호화된다.
각 타일들이 병합되는지 여부를 나타내는 정보로는 merge_flag를 이용할 수 있다. merge_flag는 타일의 병합을 지시하는 경우에 1로 복호화되고 타일의 병합을 지시하지 않는 경우에는 0으로 복호화된다. 도 6의 예시에서, merge_flag는 0000 0110 0110 0000의 값으로 복호화된다.
본 실시예에 따른 신택스 요소들의 일례는 앞서 기재한 표 4와 같다.
실시예 #4
도 8은 복수의 병합 타일을 포함하는 픽처에 각 타일의 식별정보를 표시한 예시도이다. 본 실시예에서는 실시예 #1(도 5 참고)과 달리 복수의 병합 타일을 생성하는 경우에 대하여 설명한다.
도 8은 픽처가 16개의 동일한 크기의 타일들로 분할되고, 각 타일에 0번부터 15번까지의 타일 번호가 식별정보로서 부여된 경우를 도시한다. 이 경우, 0번 타일, 1번 타일, 4번 타일 및 5번 타일을 병합하여 제1 병합 타일을 생성하고, 10번 타일, 11번 타일, 14번 타일 및 15번 타일을 병합하여 제2 병합 타일을 생성하였다.
본 실시예에서 영상 복호화 장치는, merge_tile_enabled_flag가 온(on)으로 복호화됨에 따라 제2 정보로서, 각 병합 타일 별로 최초 타일의 식별정보 및 최후 타일의 식별정보를 복호화한다. 즉, 최초 타일의 식별정보 및 최후 타일의 식별정보를 픽처 내 병합 타일의 개수만큼 복호화한다. 본 실시예의 영상 복호화 장치는 생성된 하나 이상의 병합 타일의 개수를 지시하는 제3 정보(num_merge_tile_minus1)를 추가적으로 복호화한다.
각 병합 타일로 병합되는 타일들 중 최초 타일의 식별정보로서 좌상측 타일의 식별정보(topleft _tile_id)가 복호화되고, 최후 타일의 식별정보로서 우하측 타일의 식별정보(bottomright _tile_id)가 복호화될 수 있다. 도 8의 예시에서는, num_merge_tile_minus1=1, {제1 병합타일: topleft _tile_id=0, bottomright_tile_id=5}, {제2 병합타일: topleft _tile_id=10, bottomright_tile_id=15}의 값으로 복호화된다. 다만, 이는 예시에 불과하며, 최초 타일과 최후 타일을 정의할 수 있는 다양한 신택스 요소들이 사용될 수 있다. 예컨대, 병합될 타일들 중 우상측 타일의 식별정보를 최초 타일의 식별정보로 사용하고, 좌하측 타일의 식별정보를 최후 타일의 식별정보로 사용할 수도 있다.
본 실시예에 따른 신택스 요소들의 일례는 앞서 기재한 표 5와 같다.
실시예 #5
도 9는 복수의 병합 타일을 포함하는 픽처에 각 타일의 위치정보를 표시한 예시도이다.
도 9에서는 16개의 동일한 크기의 타일들로 분할된 픽처에서 2개의 병합 타일을 생성한 경우로서, 각 타일의 위치정보를 도시한다. 예를 들어, 타일의 위치정보는 타일의 가로열 및 세로열을 기준으로 한 좌표(u, v )로 나타낼 수 있다. 맨 위쪽의 가로열의 위치를 0(u=0 )으로 설정하고 맨 왼쪽의 세로열의 위치를 0(v=0 )으로 설정하면, 각 타일들의 좌표는 도 9와 같이 순차적으로 나타낼 수 있다. 이 경우, (1,0) 위치의 타일 및 (2,0) 위치의 타일을 병합하여 제1 병합 타일을 생성하고, (2,2) 위치의 타일, (2,3) 위치의 타일, (3,2) 위치의 타일 및 (3,3) 위치의 타일을 병합하여 제2 병합 타일을 생성하였다.
본 실시예에서 영상 복호화 장치는, merge_tile_enabled_flag가 온(on)으로 복호화됨에 따라 제2 정보로서, 병합되는 타일들 중 최초 타일의 식별정보 및 최후 타일의 위치정보를 각 병합 타일 별로 복호화한다. 즉, 최초 타일의 위치정보 및 최후 타일의 위치정보를 픽처 내 병합 타일의 개수만큼 복호화한다. 본 실시예의 영상 복호화 장치는 생성된 하나 이상의 병합 타일의 개수를 지시하는 제3 정보(num_merge_tile_minus1)를 추가적으로 복호화한다.
각 병합 타일로 병합되는 타일들 중 최초 타일의 위치정보로서 좌상측 타일의 위치정보(u_start_ pos 및 v_start_ pos)가 복호화되고, 최후 타일의 위치정보로서 우하측 타일의 위치정보(u_end_ pos 및 v_end_ pos)가 복호화될 수 있다. 도 9의 예시에서는, num _merge_tile_ minus1=1, {제1 병합타일: u_start_ pos=0, v_start_pos=1, u_end_ pos=0, v_end_ pos=2}, {제2 병합타일: u_start_ pos=2, v_start_pos=2, u_end_ pos=3, v_end_ pos=3}의 값으로 복호화된다. 다만, 이는 예시에 불과하며, 최초 타일과 최후 타일을 정의할 수 있는 다양한 신택스 요소들이 사용될 수 있다. 예컨대, 병합될 타일들 중 우상측 타일의 위치정보를 최초 타일의 위치정보로 사용하고, 좌하측 타일의 위치정보를 최후 타일의 위치정보로 사용할 수도 있다.
본 실시예에 따른 신택스 요소들의 일례는 앞서 기재한 표 6과 같다. u_start_pos, v_start_ pos, u_end_ pos, v_end_ pos 신택스 요소들의 순서는 반드시 표 6에서와 같이 설정되는 것은 아니고, 필요에 따라 다양하게 변경될 수 있다.
실시예 #6-1
도 10은 복수의 병합 타일을 포함하는 픽처에 각 타일의 병합 여부 및 병합 타일의 인덱스 정보를 표시한 예시도이다.
도 10에서는 16개의 동일한 크기의 타일들로 분할된 픽처에서 2개의 병합 타일을 생성한 경우를 도시한다. 또한, i) 픽처를 분할하는 각각의 타일에 대하여 병합 타일로 병합되는지 여부를 나타내는 정보 및 ii) 병합되는 타일들에 대하여, 하나 이상의 병합 타일 중 각 타일이 속하는 병합 타일의 인덱스 정보를 도시한다.
본 실시예에서 영상 복호화 장치는, merge_tile_enabled_flag가 온(on)으로 복호화됨에 따라 제2 정보로서, 각 타일들이 병합되는지 여부를 나타내는 정보를 복수의 타일들 각각에 대하여 복호화한다. 즉, 본 실시예에서는 픽처를 분할하는 타일 전체의 개수만큼 제2 정보가 복호화된다. 본 실시예의 영상 복호화 장치는 생성된 하나 이상의 병합 타일의 개수를 지시하는 제3 정보(num _merge_tile_ minus1)를 추가적으로 복호화한다.
각 타일들이 병합되는지 여부를 나타내는 정보로는 merge_flag를 이용할 수 있다. merge_flag는 타일의 병합을 지시하는 경우에 1로 복호화되고 타일의 병합을 지시하지 않는 경우에는 0으로 복호화된다.
또한, 영상 복호화 장치는 복수의 타일들 중 병합되는 타일들(merge_flag=1)에 대하여, 하나 이상의 병합 타일 중 각 타일이 속하는 병합 타일의 인덱스 정보(merge_idx)를 복호화한다. 예를 들어, 병합 타일의 인덱스 정보(merge_ idx)는 영상 부호화 장치에 의하여 픽처 내 병합 타일의 개수를 최대값으로 하는 TU(Truncated Unary) 방식으로 부호화될 수 있다. TU 방식으로 부호화되는 경우에, 병합 타일의 개수가 2개일 때의 merge_ idx는 "0" 또는"1"의 값으로 복호화되고, 병합 타일의 개수가 3개일 때의 merge_ idx는 "0", "10"또는 "11"의 값으로 복호화된다.
도 10의 예시에서, num _merge_tile_ minus1=1, merge_flag(merge_ idx)는 01(0)1(0)0 01(1)1(1)0 01(1)1(1)0 0000의 값으로 복호화된다.
본 실시예에 따른 신택스 요소들의 일례는 앞서 기재한 표 7과 같다.
실시예 #6-2
도 11은 복수의 병합 타일을 포함하는 픽처에 각 타일의 병합 여부 및 병합 타일의 인덱스 정보를 표시한 다른 예시도이다.
한편, 실시예 #6-1의 표 7과 달리 영상 부호화 장치가 병합 타일의 개수(num_merge_tile_minus1)를 부호화하지 않고, merge_ idx를 unary 방식으로 부호화하는 경우도 가능하다. 이 경우, 영상 복호화 장치는 병합 타일의 개수가 2개인 경우에 merge_ idx를 "0"또는"10"의 값으로 복호화하고, 병합 타일의 개수가 3개인 경우에 merge_idx를 "0", "10"또는"110"의 값으로 복호화하게 된다.
본 실시예에 따라서 도 10과 같은 형태의 타일 구조를 정의하는 경우, merge_flag(merge_idx)는 01(0)1(0)0 01(10)1(10)0 01(10)1(10)0 0000의 값으로 복호화된다.
본 발명의 실시예들에 따른 영상 부호화 또는 복호화하기 위한 장치 및 방법에 의하면, 픽처 내 가로열 및 세로열을 기준으로 자유롭게 타일을 구성하여 타일 경계에서의 이격 문제와 부호화 효율 감소의 문제를 해결할 수 있다. 또한, 뷰-포트(view-port) 기반의 레이아웃을 지원하는 VR(Virtual Reality) 콘텐츠의 경우, 사용자 시점과 같은 중요 뷰(view)에 해당하는 영역을 병합 타일로 정의하여 복수의 타일들로 인한 화질 저하를 줄일 수 있다. 한편, 일반 화질로 처리될 영역들을 작은 크기의 타일들로 정의하여 중요 뷰가 변경되더라도 영상을 유연하게 처리할 수 있다. 그리고 특정 시선에 따라 정의된 위치 정보(예: yaw, roll, pitch)에 따라 비디오의 고화질 영역과 고화질 영역에 해당하는 위치의 오디오 방향을 동기화시킬 수 있다.
도 4 및 도 14에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4 및 도 14에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4 및 도 14는 시계열적인 순서로 한정되는 것은 아니다.
도 4 및 도 14에 기재된 본 실시예에 따른 영상 부호화 또는 복호화 방법은 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 부호화 또는 복호화 방법을 구현하기 위한 컴퓨터 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2017년 03월 03일 한국에 출원한 특허출원번호 제10-2017-0027941호, 및 2017년 03월 30일 한국에 출원한 특허출원번호 제10-2017-0041140호에 대해 우선권을 주장한다.

Claims (14)

  1. 복수의 타일(tile)들로 분할된 픽처를 부호화하는 영상 부호화 방법에 있어서,
    상기 복수의 타일들 중 일부의 타일들을 병합할지 여부를 지시하는 제1 정보를 부호화하는 단계;
    상기 제1 정보가 타일 병합을 지시하는 것으로 부호화된 경우, 상기 복수의 타일들 중 일부의 타일들을 병합하여 하나 이상의 병합 타일(merge tile)을 생성하는 단계, 상기 각 병합 타일은 하나의 타일로 정의됨;
    상기 복수의 타일들 중 상기 각 병합 타일로 병합되는 타일들을 지시하기 위한 제2 정보를 부호화하는 단계; 및
    상기 각 병합 타일로 병합된 타일들 간의 부호화 의존성에 대한 제약 없이 상기 각 병합 타일을 하나의 타일로 부호화하는 단계를 포함하는, 영상 부호화 방법.
  2. 제1항에 있어서,
    상기 부호화 의존성은 상기 각 병합 타일로 병합된 타일들 간의 인트라 예측 의존성을 포함하는 것을 특징으로 하는, 영상 부호화 방법.
  3. 제1항에 있어서,
    상기 제2 정보는,
    상기 각 병합 타일로 병합되는 타일들 중 최초 타일 및 최후 타일의 식별정보를 상기 각 병합 타일 별로 포함하는 것을 특징으로 하는, 영상 부호화 방법.
  4. 제1항에 있어서,
    상기 제2 정보는,
    상기 각 병합 타일로 병합되는 타일들 중 최초 타일 및 최후 타일의 위치정보를 상기 각 병합 타일 별로 포함하는 것을 특징으로 하는, 영상 부호화 방법.
  5. 제1항에 있어서,
    상기 제2 정보는,
    상기 복수의 타일들 각각에 대하여 병합되는지 여부를 나타내는 정보를 포함하는 것을 특징으로 하는, 영상 부호화 방법.
  6. 제5항에 있어서,
    상기 제2 정보는,
    상기 복수의 타일들 중 병합되는 타일들에 대하여, 상기 하나 이상의 병합 타일 중 각 타일이 속하는 병합 타일의 인덱스 정보를 더 포함하는 것을 특징으로 하는, 영상 부호화 방법.
  7. 제1항에 있어서,
    상기 생성된 하나 이상의 병합 타일의 개수를 지시하는 제3 정보를 부호화하는 단계를 더 포함하는 것을 특징으로 하는, 영상 부호화 방법.
  8. 복수의 타일(tile)들로 분할된 픽처를 복호화하는 영상 복호화 방법에 있어서,
    비트스트림으로부터 상기 복수의 타일들 중 일부의 타일들을 병합할지 여부를 지시하는 제1 정보를 복호화하는 단계;
    상기 복호화된 제1 정보가 타일 병합을 지시하면, 상기 비트스트림으로부터 상기 복수의 타일들 중 병합되는 타일들을 지시하기 위한 제2 정보를 복호화하는 단계; 및
    상기 제2 정보가 지시하는 타일들을 병합하여 하나 이상의 병합 타일(merge tile)을 생성하는 단계, 상기 각 병합 타일은 하나의 타일로 정의됨;
    상기 각 병합 타일로 병합된 타일들 간의 복호화 의존성에 대한 제약 없이 상기 각 병합 타일을 하나의 타일로 복호화하는 단계를 포함하는, 영상 복호화 방법.
  9. 제8항에 있어서,
    상기 복호화 의존성은 상기 각 병합 타일로 병합된 타일들 간의 인트라 예측 의존성을 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  10. 제8항에 있어서,
    상기 제2 정보는,
    상기 각 병합 타일로 병합되는 타일들 중 최초 타일 및 최후 타일의 식별정보를 상기 각 병합 타일 별로 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  11. 제8항에 있어서,
    상기 제2 정보는,
    상기 각 병합 타일로 병합되는 타일들 중 최초 타일 및 최후 타일의 위치정보를 상기 각 병합 타일 별로 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  12. 제8항에 있어서,
    상기 제2 정보는,
    상기 복수의 타일들 각각에 대하여 병합되는지 여부를 나타내는 정보를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  13. 제12항에 있어서,
    상기 제2 정보는,
    상기 복수의 타일들 중 병합되는 타일들에 대하여, 상기 하나 이상의 병합 타일 중 각 타일이 속하는 병합 타일의 인덱스 정보를 더 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  14. 제8항에 있어서,
    상기 생성된 하나 이상의 병합 타일의 개수를 지시하는 제3 정보를 부호화하는 단계를 더 포함하는 것을 특징으로 하는, 영상 복호화 방법.
PCT/KR2018/002537 2017-03-03 2018-03-02 영상 부호화 또는 복호화하기 위한 장치 및 방법 WO2018160034A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880028688.0A CN110603809B (zh) 2017-03-03 2018-03-02 用于视频编码或解码的设备和方法
US16/558,914 US10951916B2 (en) 2017-03-03 2019-09-03 Apparatus and method for video encoding or decoding

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170027941 2017-03-03
KR10-2017-0027941 2017-03-03
KR1020170041140A KR102390413B1 (ko) 2017-03-03 2017-03-30 영상 부호화 또는 복호화하기 위한 장치 및 방법
KR10-2017-0041140 2017-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/558,914 Continuation US10951916B2 (en) 2017-03-03 2019-09-03 Apparatus and method for video encoding or decoding

Publications (1)

Publication Number Publication Date
WO2018160034A1 true WO2018160034A1 (ko) 2018-09-07

Family

ID=63370727

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/002537 WO2018160034A1 (ko) 2017-03-03 2018-03-02 영상 부호화 또는 복호화하기 위한 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2018160034A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196757A (zh) * 2018-12-20 2021-07-30 瑞典爱立信有限公司 用于使用图片中的均匀片段分割进行视频编码的方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101354086B1 (ko) * 2011-11-23 2014-01-28 (주)휴맥스 공통 병합 후보 블록 집합을 이용한 영상 부호화 방법 및 복호화 방법
KR20140085539A (ko) * 2011-10-24 2014-07-07 퀄컴 인코포레이티드 비디오 코딩을 위한 타일들의 그룹화
US20140355677A1 (en) * 2012-01-19 2014-12-04 Sony Corporation Image processing apparatus and method thereof
KR101599879B1 (ko) * 2008-06-13 2016-03-07 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR101641716B1 (ko) * 2009-09-02 2016-07-21 에스케이텔레콤 주식회사 통합 영상 부호화 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101599879B1 (ko) * 2008-06-13 2016-03-07 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
KR101641716B1 (ko) * 2009-09-02 2016-07-21 에스케이텔레콤 주식회사 통합 영상 부호화 방법 및 장치
KR20140085539A (ko) * 2011-10-24 2014-07-07 퀄컴 인코포레이티드 비디오 코딩을 위한 타일들의 그룹화
KR101354086B1 (ko) * 2011-11-23 2014-01-28 (주)휴맥스 공통 병합 후보 블록 집합을 이용한 영상 부호화 방법 및 복호화 방법
US20140355677A1 (en) * 2012-01-19 2014-12-04 Sony Corporation Image processing apparatus and method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113196757A (zh) * 2018-12-20 2021-07-30 瑞典爱立信有限公司 用于使用图片中的均匀片段分割进行视频编码的方法和装置
CN113196757B (zh) * 2018-12-20 2024-04-26 瑞典爱立信有限公司 用于使用图片中的均匀片段分割进行视频编码的方法和装置

Similar Documents

Publication Publication Date Title
WO2020071830A1 (ko) 히스토리 기반 움직임 정보를 이용한 영상 코딩 방법 및 그 장치
WO2017057953A1 (ko) 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치
WO2014163247A1 (ko) 동영상 처리 방법 및 장치
WO2017014412A1 (ko) 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2014098456A2 (ko) 영상 인코딩/디코딩 방법 및 이를 이용하는 장치
WO2017188565A1 (ko) 영상 코딩 시스템에서 영상 디코딩 방법 및 장치
WO2020101321A1 (ko) 고주파 제로잉을 기반으로 변환 계수를 코딩하는 방법 및 그 장치
WO2020076066A1 (ko) 신택스 디자인 방법 및 신택스를 이용하여 코딩을 수행하는 장치
WO2021096057A1 (ko) 비디오 또는 영상 코딩 시스템에서의 엔트리 포인트 관련 정보에 기반한 영상 코딩 방법
WO2018074813A1 (ko) 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2018160034A1 (ko) 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2020209478A1 (ko) 픽처를 복수의 타일들로 분할하는 방법 및 장치
WO2022030980A1 (ko) 비디오 데이터의 패치북 기반 부호화 및 복호화를 위한 방법 및 장치
WO2021118076A1 (ko) 비디오 또는 영상 코딩 시스템에서의 일부 엔트리 포인트 관련 정보에 기반한 영상 코딩 방법
WO2021107634A1 (ko) 픽처 분할 정보를 시그널링 하는 방법 및 장치
WO2021118262A1 (ko) 픽처 레벨 또는 슬라이스 레벨에서 적용되는 영상 정보를 시그널링하는 방법 및 장치
WO2021040488A1 (ko) 팔레트 모드에서의 이스케이프 이진화 기반 영상 또는 비디오 코딩
WO2020180044A1 (ko) Lmcs에 기반한 영상 코딩 방법 및 그 장치
WO2018155939A1 (ko) 영상 복호화 방법 및 장치
WO2020009460A1 (ko) 잔차신호 재배열 방법 및 영상 복호화 장치
WO2019203487A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2023172017A1 (ko) 피쳐 부호화/복호화 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법
WO2021107638A1 (ko) 슬라이스 관련 정보를 시그널링하는 방법 및 장치
WO2024196160A1 (ko) 피쳐 부호화/복호화 방법, 장치, 비트스트림을 저장한 기록 매체 및 비트스트림 전송 방법
WO2021107637A1 (ko) 영상 정보를 시그널링하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18761051

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18761051

Country of ref document: EP

Kind code of ref document: A1