WO2018155939A1 - 영상 복호화 방법 및 장치 - Google Patents

영상 복호화 방법 및 장치 Download PDF

Info

Publication number
WO2018155939A1
WO2018155939A1 PCT/KR2018/002219 KR2018002219W WO2018155939A1 WO 2018155939 A1 WO2018155939 A1 WO 2018155939A1 KR 2018002219 W KR2018002219 W KR 2018002219W WO 2018155939 A1 WO2018155939 A1 WO 2018155939A1
Authority
WO
WIPO (PCT)
Prior art keywords
decoding
information
tile
partial
tiles
Prior art date
Application number
PCT/KR2018/002219
Other languages
English (en)
French (fr)
Inventor
임정연
이선영
손세훈
신재섭
김형덕
이경택
김정한
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170035579A external-priority patent/KR102424829B1/ko
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Publication of WO2018155939A1 publication Critical patent/WO2018155939A1/ko
Priority to US16/547,013 priority Critical patent/US11509913B2/en
Priority to US17/964,527 priority patent/US11985335B2/en
Priority to US17/964,593 priority patent/US11991372B2/en
Priority to US17/964,568 priority patent/US11985336B2/en
Priority to US17/964,512 priority patent/US11985334B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to image decoding for efficiently decoding an image.
  • moving picture data has a larger amount of data than audio data, still image data, and the like, a large amount of hardware resources including a memory are required to store or transmit itself without processing for compression. Accordingly, when storing or transmitting video data, the video data is compressed and stored or transmitted using an encoder, and the decoder receives the compressed video data, decompresses, and plays the video data.
  • video compression techniques include H.264 / AVC and High Efficiency Video Coding (HEVC), which was established in early 2013, which improved coding efficiency by about 40%.
  • the image displayed on the screen should change according to a change in the viewpoint of the user. Therefore, in the next generation video codec, there is a demand for a technology capable of efficiently extracting data on a viewpoint of a requested region from a compressed bitstream without degrading coding efficiency.
  • An object of the present invention is to provide an image decoding method and apparatus capable of performing partial decoding by determining a partial decoding target region in real time by generating information for partial decoding at a receiving end.
  • a method for decoding a picture divided into a plurality of tiles and encoded in a decoding apparatus comprising: determining one or more decoding target tiles by decoding partial decoding information included in an input bitstream; And decoding image data corresponding to the decoding target tile among the plurality of tiles, wherein the partial decoding information indicates first information indicating whether to perform partial decoding and an area to perform partial decoding. It provides a video decoding method comprising at least one of the second information for.
  • a null value or a default value is assigned to a predetermined field of a bitstream received from an encoding device.
  • a partial decoding information generator generating an input bitstream by resetting the set partial decoding information according to an external control signal for determining partial decoding;
  • a decoding apparatus that determines one or more decoding target tiles by decoding the partial decoding information included in the input bitstream, and decodes image data corresponding to the decoding target tile among the plurality of tiles.
  • the decoding information includes at least one of first information indicating whether to perform partial decoding and second information for indicating a region to perform partial decoding.
  • 1 is an exemplary diagram of a picture divided into a plurality of tiles and encoded.
  • FIG. 2 is a block diagram of an encoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of an image decoding system according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating a method of operating an image decoding system according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram illustrating a display area and a decoding target tile in an encoded picture.
  • FIG. 6 is a flowchart illustrating a method of determining a decoding target tile according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a method of determining a decoding target tile according to another embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of determining a decoding target tile according to another embodiment of the present invention.
  • FIG. 9 is another exemplary diagram illustrating a display area and an object to be decoded in an encoded picture.
  • FIG. 10 is an exemplary diagram illustrating a display area of a 360 image.
  • FIG. 11 is a diagram illustrating a coordinate axis for representing a position of a display area in a 360 image.
  • FIG. 12 is an exemplary diagram illustrating a display area and a decoding target tile in a 360 image projected on a 2D plane.
  • FIG. 13 is another exemplary diagram illustrating a display area and a decoding target tile in a 360 image projected on a 2D plane.
  • FIG. 14 is an exemplary diagram illustrating a display area, an additional area outside the display area, and a decoding target tile in an encoded picture.
  • FIG. 15 is a block diagram of detailed components of an image decoder of FIG. 3, according to an exemplary embodiment.
  • 16 is a block diagram of an image decoding system according to another embodiment of the present invention.
  • 1 is an exemplary diagram of a picture divided into a plurality of tiles and encoded.
  • the picture may be divided into one or more tiles, and may be independently encoded and decoded for each tile.
  • the picture may be divided into tiles that are divided into one or more columns, tiles that are divided into one or more columns, or tiles that are divided into one or more columns and one or more columns.
  • the tiles may divide the region evenly based on the length of the horizontal column or the vertical column in the picture, or may divide the region in any size. However, the number of columns tiles and the number of columns tiles should be the same.
  • pic_parameter_set_rbsp () ⁇ Descriptor ... ... tiles_enabled_flag u (1) ... ... if (tiles_enabled_flag) ⁇ num_tile_columns_minus1 ue (v) num_tile_rows_minus1 ue (v) uniform_spacing_flag u (1) if (!
  • a flag is tiles_ enalbed _flag and the flag indicating the on / off of the tile function is on (on) in the plurality of syntax that allows you to specify the size of the tile are additionally exist.
  • a value obtained by subtracting 1 from the number of the divided tiles to the horizontal axis based on the picture num _tile_columns_ minus1 a value obtained by subtracting 1 from the number of the divided tiles to the picture and the vertical axis based on num _tile_rows_ minus1
  • the width information ( column_width_minus1 ) for each tile on the horizontal axis and the height information ( row_height_minus1 ) on each tile on the vertical axis Send additionally.
  • a flag ( loop_filter_across_tiles_enabled_flag ) indicating whether a loop filter is executed in the boundary region between tiles is transmitted.
  • one picture is divided into a plurality of tiles, and each divided tile must be independently encoded and decoded.
  • independence means that all encoding / decoding processes including intra prediction, inter prediction, transform, quantization, entropy, and filter are performed independently of the other divided tiles.
  • an independently encoded tile is referred to as an 'independent tile'.
  • the image decoding method and apparatus of the present invention are assumed to be applied to a picture divided into a plurality of independent tiles and encoded.
  • a tile is a plurality of regions divided from one picture, and means only a tool for encoding and decoding each region independently, and the present invention is not necessarily limited to the term tile.
  • the term tile may be replaced with various terms having the same meaning as described above.
  • the present invention will be described in detail with reference to a picture divided into 12 independent tiles as shown in FIG. 1.
  • FIG. 2 is a block diagram of an encoding apparatus according to an embodiment of the present invention.
  • the encoding apparatus includes a block divider 210, a predictor 220, a subtractor 230, a transformer 240, a quantizer 245, an encoder 250, an inverse quantizer 260, and an inverse transform unit 265. ), An adder 270, a filter unit 280, and a memory 290.
  • Each component of the encoding apparatus may be implemented by a hardware chip, or may be implemented by software and by a microprocessor to execute a function of software corresponding to each component.
  • the block dividing unit 210 divides each picture constituting the image into a plurality of tiles. After dividing each tile into a plurality of Coding Tree Units (CTUs), the CTU is recursively divided using a tree structure. A leaf node in the tree structure becomes a coding unit (CU) which is a basic unit of coding.
  • CU coding unit
  • QT QuadTree
  • QTBT QuadTree
  • BT binaryTree
  • the prediction unit 220 generates a prediction block by predicting the current block.
  • the predictor 220 includes an intra predictor 222 and an inter predictor 224.
  • the current block is a basic unit of encoding corresponding to a leaf node in the tree structure, and means a CU to be currently encoded.
  • the current block may be one subblock of the plurality of subblocks divided from the CU.
  • the intra predictor 222 predicts pixels in the current block by using pixels (reference pixels) positioned around the current block in the current picture including the current block. There are a plurality of intra prediction modes according to the prediction direction, and the peripheral pixels to be used and the equations are defined differently according to each prediction mode.
  • the inter prediction unit 224 searches for the block most similar to the current block in the coded and decoded reference picture before the current picture, and generates a prediction block for the current block using the searched block. A motion vector corresponding to a displacement between the current block in the current picture and the prediction block in the reference picture is generated.
  • the motion information including the information about the reference picture and the motion vector used to predict the current block is encoded by the encoder 250 and transmitted to the decoding apparatus.
  • the subtractor 230 subtracts the prediction block generated by the intra predictor 222 or the inter predictor 224 from the current block to generate a residual block.
  • the converter 240 converts the residual signal in the residual block having pixel values of the spatial domain into a transform coefficient of the frequency domain.
  • the transform unit 240 may convert the residual signals in the residual block using the size of the current block as a conversion unit, or divide the residual block into a plurality of smaller subblocks and convert the residual signals in a subblock-sized transform unit. You can also convert. There may be various ways of dividing the residual block into smaller subblocks. For example, the subblock may be divided into sub-blocks having the same size, or may be divided by a quadtree (QT) method using the residual block as a root node.
  • QT quadtree
  • the quantization unit 245 quantizes the transform coefficients output from the transform unit 240, and outputs the quantized transform coefficients to the encoder 250.
  • the encoder 250 generates a bitstream by encoding the quantized transform coefficients by using an encoding method such as CABAC. Meanwhile, the encoder 250 encodes information about the size of the CTU located in the highest layer of the tree structure and split information for dividing the block into the tree structure from the CTU, so that the decoding apparatus divides the block in the same way as the encoding apparatus. Do it. For example, in the case of QT splitting, QT splitting information indicating whether a block of an upper layer is divided into four blocks of a lower layer is encoded. In the case of BT partitioning, BT partitioning information indicating whether each block is divided into two blocks and the type of partitioning is encoded, starting from the block corresponding to the leaf node of the QT.
  • QT splitting QT splitting information indicating whether a block of an upper layer is divided into four blocks of a lower layer is encoded.
  • BT partitioning BT partitioning information indicating whether each block is divided into two blocks and the type of partitioning is encoded, starting from the
  • the encoder 250 encodes information about a prediction type indicating whether the current block is encoded by intra prediction or inter prediction, and encodes intra prediction information or inter prediction information according to the prediction type.
  • the encoder 250 encodes a predetermined field for syntax elements related to the partial decoding information.
  • the predetermined field refers to a data area used for syntax elements related to partial decoding information.
  • the encoder 250 secures a space for syntax elements related to the partial decoding information in the bitstream by setting a null value or a default value to a predetermined field rather than information indicating actual partial decoding. do.
  • a syntax element related to such partial decoding information may be set at a predetermined position in a network abstraction layer (NAL) unit header of a bitstream. Or, it may be set at a predetermined position in any one of a header of a sequence parameter set (SPS), a picture parameter set (PPS), and supplementary enhancement information (SEI).
  • NAL network abstraction layer
  • the partial decoding information generator is reset to a meaningful value indicating partial decoding.
  • the inverse quantizer 260 inversely quantizes the quantized transform coefficients output from the quantizer 245 to generate transform coefficients.
  • the inverse transformer 265 restores the residual block by converting the transform coefficients output from the inverse quantizer 260 from the frequency domain to the spatial domain.
  • the adder 270 reconstructs the current block by adding the reconstructed residual block and the prediction block generated by the prediction unit 220.
  • the pixels in the reconstructed current block are used as reference pixels when intra prediction of the next order of blocks.
  • the filter unit 280 deblocks and filters the boundary between the reconstructed blocks in order to remove blocking artifacts that occur due to encoding / decoding of blocks. When all the blocks in a picture are reconstructed, the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be encoded later.
  • the image decoding system may include a partial decoding information generator 310 and a decoding device 320.
  • the decoding device 320 may include an image decoding unit 322 and a partial decoding unit 324.
  • Each component of the image decoding system may be implemented as a hardware chip, or may be implemented as software and the microprocessor It may be implemented to realize the function of the software corresponding to the component.
  • the partial decoding information generator 310 resets the partial decoding information set to a null value or a default value in a predetermined field of the bitstream received from the encoding apparatus according to an external control signal for determining partial decoding.
  • the external control signal for determining partial decoding may mean a signal generated according to an external user's input, a region of interest extraction technique, or a predetermined value by a service scenario.
  • the input bitstream generated by the partial decoding information generator 310 is a bitstream input to the decoding apparatus 320, and is different from the bitstream received by the partial decoding information generator 310 from the encoding apparatus. That is, the input bitstream refers to a bitstream generated by resetting partial decoding information set to a null value or a default value in a predetermined field of a bitstream received from an encoding device.
  • the partial decoding information includes at least one of first information indicating whether to perform partial decoding and second information for indicating a region to perform partial decoding.
  • the partial decoding information may have different values depending on whether or not to perform partial decoding determined by the image decoding system after image encoding.
  • the partial decoding information is reset by the partial decoding information generator 310, which is not a null or default value set in a predetermined field of the bitstream received from the encoding apparatus. Has a value.
  • the value reset by the partial decryption information generator 310 is a meaningful value indicating to perform partial decoding.
  • the partial decoding information has a value set to null or default in a predetermined field of the bitstream received from the encoding apparatus. This is because the partial decoded information is not reset by the partial decoded information generator 310 in this case.
  • the image decoding system may include at least one of partial decoding information, that is, information indicating partial decoding performance (first information) and information indicating a region to perform partial decoding (second information).
  • the information is reset to the predetermined field of the aforementioned bitstream.
  • the partial decoding information generator 310 may transmit a partial decoding execution command to the decoding apparatus 320 by resetting partial decoding information in a corresponding field.
  • the encoding apparatus when a flag is used to indicate whether to perform partial decoding, the encoding apparatus encodes such a flag to indicate an off or null value, and provides information for indicating a tile to perform partial decoding. It can be encoded as null, "0", or data meaning don't care.
  • the partial decoding information generator 310 changes a flag indicating whether to perform partial decoding to on and performs partial decoding. Meaningful information can be reset in a predetermined field for indicating an area.
  • the decoding device 320 decodes the partial decoding information from the input bitstream in which the partial decoding information generator 310 is reset, and decodes the image data corresponding to the partial region indicated by the partial decoding information.
  • the partial decoder 324 determines one or more decoding target tiles by decoding the partial decoding information included in the input bitstream.
  • the image decoder 322 decodes image data corresponding to a decoding target tile among a plurality of tiles constituting the picture.
  • FIG. 4 is a flowchart illustrating a method of operating an image decoding system according to an embodiment of the present invention.
  • the partial decoding information generator 310 receives an external control signal for determining to perform partial decoding (S410).
  • the partial decoding information generator 310 resets the partial decoding information set to a null value or a default value in a predetermined field of the bitstream received from the encoding apparatus according to an external control signal (S420).
  • the partial decoding information generator 310 generates an input bitstream by resetting partial decoding information, and the input bitstream is transmitted to the decoding device 320.
  • the partial decoder 324 of the decoding apparatus 320 determines one or more decoding target tiles by decoding the partial decoding information included in the input bitstream (S430).
  • the determined information about the decoding target tile is transmitted to the image decoding unit 322, and accordingly, the image decoding unit 322 decodes image data corresponding to the decoding target tile among the plurality of tiles (S440).
  • FIG. 5 is an exemplary diagram illustrating a display area and a decoding target tile in an encoded picture.
  • the decoding complexity may be greatly reduced by decoding only the partial region to be displayed without decoding all the pictures.
  • the display area 510 is determined as shown in FIG. 5 in a picture divided into 12 tiles, 6 tiles including the display area 510 without decoding all 12 tiles (hereinafter, 'decoding target tile')
  • the display area 510 may be displayed by decoding only “.
  • partial decoding information is required.
  • the partial decoding information includes at least one of first information indicating whether to perform partial decoding and second information for indicating a region to perform partial decoding.
  • the partial decoding information may be included in a header of the input bitstream, and the header of the input bitstream is one of a network abstraction layer (NAL) unit header, a sequence parameter set (SPS), a picture parameter set (PPS), and supplementary enhancement information (SEI). It can be either.
  • NAL network abstraction layer
  • SPS sequence parameter set
  • PPS picture parameter set
  • SEI supplementary enhancement information
  • first information indicating whether to perform partial decoding among the partial decoding information may be included in any one of a header of the NAL unit header, SPS, PPS, and SEI, and second information indicating a region to perform partial decoding. May be any one of internal parameters of the SEI and the decoding apparatus.
  • the parameter means a parameter capable of controlling the decoding operation.
  • the first information may be represented in the following three forms.
  • NAL unit type information ( nal_unit_type ) included in the NAL unit header.
  • the fact that the first information is not signaled separately means that the encoding apparatus does not provide a separate space (field) for the syntax element related to the first information.
  • the second information may include different information as follows.
  • the method of determining one or more decoding target tiles may vary according to the method of representing the first information as described above and the information included in the second information. Detailed description thereof will be described later.
  • the second information will be described only when a) includes location information and size information of the display area.
  • the case where the second information includes b) identification information of the first tile and the last tile constituting at least one decoding target tile will be described later.
  • NAL unit type information nal_unit_type included in the NAL unit header will be described.
  • An example of the NAL unit header according to the present embodiment is shown in Table 2.
  • nal_unit_header () ⁇ Descriptor forbidden_zero_bit f (1) nal_unit_type u (6) ... ... u_pos v_pos u_width v_height ... ⁇
  • the position ( u, v ) information of the display area is u_ pos And v_ pos
  • the size information of the display area may be represented by u_width and v_height .
  • it may always be included in the header of the bitstream, regardless of whether it is non-VCL or only when certain conditions are satisfied.
  • the second information may be included in the header of the bitstream when the NAL unit type information corresponds to a video coding layer (VCL) or when the NAL unit type information corresponds to an I (Intra) slice.
  • a NAL unit type including slice data requiring partial decoding corresponds to a VCL
  • a NAL unit type including header information such as SPS, PPS, SEI, etc. which does not require partial decoding
  • partial decoding information may be included only in a NAL unit type corresponding to a VCL requiring partial decoding.
  • partial decoding information may be included only in the NAL unit type corresponding to the I slice among the VCL NAL unit types including the slice data. That is, the partial decoding information can be set and changed in the I slice in the video encoding (reference for prediction) structure.
  • NAL unit header for the case where there is a condition that the second information is included in the header of the bitstream are shown in Tables 3 and 4.
  • Table 3 is conditioned on the case where the NAL unit type information corresponds to the VCL
  • Table 4 is conditioned on the case where the NAL unit type information corresponds to the I slice.
  • NAL unit type information representing an I slice.
  • NAL unit type information for a total of 12 I slices including information indicating whether partial decoding (PD) may be defined may be defined. This is shown in Table 5.
  • nal_unit_type Name of nal_unit_type Content of NAL unit and RBSP syntax structure NAL unit type class ...
  • NAL unit type information corresponding to any one of BLA_W_LP, BLA_W_RADL, BLA_N_LP, IDR_W_RADL, IDR_N_LP, and CRA_NUT during encoding is determined by BLA_W_LP_PD, BLA_W_RADL_PD by partial decoding information generator 310 after partial decoding is determined to be performed. It may be changed to any one of IDR_W_RADL_PD, IDR_N_LP_PD, and CRA_NUT_PD.
  • the present invention defines a NAL unit type indicating whether to partially decode based on the HEVC standard, but is not limited thereto. That is, it may be defined as a specific NAL unit type indicating whether to partially decode the NAL unit type, and Table 5 is merely an example.
  • FIG. 6 is a flowchart illustrating a method of determining a decoding target tile according to an embodiment of the present invention.
  • the partial decoder 324 first decodes the NAL unit type information included in the NAL unit header as first information (S610).
  • the NAL unit type information indicates a NAL unit that does not allow partial decoding (for example, when the NAL unit type information is BLA_W_LP)
  • all of the plurality of tiles are determined as the decoding target tile (S620).
  • the second information is not reset to a meaningful value by the partial decoding information generator 310.
  • the second information is held at a value such as null set by the encoding device. Therefore, the partial decoder 324 determines that the second information is null, and determines the entirety of the plurality of tiles constituting the picture as the decoding target tile.
  • the second information included in the NAL unit header is also meaningful information related to partial decoding. The value is reset to. Therefore, the second information is decoded, and a tile including the area indicated by the second information is determined as the decoding target tile (S630).
  • nal_unit_header () ⁇ Descriptor forbidden_zero_bit f (1) nal_unit_type u (6) ... ... pd_enbled_flag u_pos v_pos u_width v_height ... ⁇
  • the first information (ie, pd_enabled_flag ) and the second information are always included in the header of the bitstream without any condition as shown in Table 6 (ie, regardless of whether the NAL unit type information is VCL or non-VCL). It may be included, but may be included only when certain conditions are satisfied.
  • the first information and the second information may be included in the header of the bitstream when the NAL unit type information corresponds to the VCL, and the header of the bitstream when the NAL unit type information includes the I slice. It may also be included.
  • An example of the NAL unit header for the case where the NAL unit type information corresponds to the VCL is shown in Table 7, and an example of the NAL unit header for the case where the NAL unit type information corresponds to the I slice is shown in Table 8.
  • FIG. 7 is a flowchart illustrating a method of determining a decoding target tile according to another embodiment of the present invention.
  • the partial decoder 324 first decodes, as first information, a flag indicating whether to perform partial decoding from a header of the input bitstream (S710).
  • a flag indicating whether to perform partial decoding from a header of the input bitstream (S710).
  • the flag does not indicate partial decoding (eg, pd_enabled_flag is off)
  • the entire plurality of tiles are determined as the decoding target tile (S720).
  • the flag indicates partial decoding (eg, pd_enabled_flag is on)
  • the second information included in the header of the input bitstream includes meaningful information with respect to partial decoding, the second information is decoded,
  • the tile including the area indicated by the information is determined as the decoding target tile (S730).
  • the encoding apparatus allocates a value (or a null value) of 0 to all syntaxes ( u_ pos , v_ pos , u_width, v_height ) with respect to the second information, and subsequently performs partial decoding, so that the decoding apparatus 320 is not determined. If the value of the corresponding syntax decoded at all is also maintained at a value of 0 (or a null value), the decoding device 320 may infer that partial decoding is not performed.
  • the partial decoding information generator ( 310 may command partial decoding by changing values of syntaxes for the second information, all encoded with a value of zero (or a null value).
  • the second information may always be included in the header of the bitstream without any condition as shown in Table 2 (ie, regardless of whether the NAL unit type information is VCL or non-VCL), but it may satisfy certain conditions. May only be included.
  • An example of the NAL unit header for the case where the NAL unit type information corresponds to the VCL is shown in Table 3, and an example of the NAL unit header for the case where the NAL unit type information corresponds to the I slice exists in Table 4 Same as
  • NAL unit type information indicating an I slice exist as in the HEVC standard.
  • FIG. 8 is a flowchart illustrating a method of determining a decoding target tile according to another embodiment of the present invention.
  • the partial decoder 324 first decodes the second information from the header of the input bitstream, and determines whether a region to perform the partial decoding is indicated by the second information (S810). When the region to perform partial decoding is not indicated by the second information, the entirety of the plurality of tiles is determined as the decoding target tile (S820). On the contrary, when the region to perform the partial decoding is indicated by the second information, the region indicated by the second information is determined as the decoding target tile (S830).
  • the second information may include a) location information and size information of the display area.
  • the position information includes a position of a reference point in a picture that is a two-dimensional plane or in a three-dimensional space
  • the size information includes a width and a height from the reference point.
  • the display area may be defined as an area that is formed to extend by the width and height according to the size information at the position of the reference point according to the location information.
  • the one or more decoding target tiles may be determined as one or more tiles having an area overlapping the display area defined by the location information and the size information.
  • the present invention is not limited thereto, and various syntaxes for defining the size of the display area may be used.
  • the positions of the vertices positioned diagonally with the reference point may be used as information representing the size of the display area. If the reference point is the upper left corner of the display area, the information for indicating the size of the display area may be expressed as the position of the lower right corner.
  • the partial decoding information generator 310 identifies identification information of the first tile (upper left tile) and the last tile (lower right tile) constituting one or more decoding target tiles based on the position and size information of the area to perform partial decoding.
  • the information can be used to update the corresponding syntax in the header of the bitstream.
  • the decoding device 320 may decode the identification information of the first tile and the identification information of the last tile included in the header of the input bitstream and determine the decoding target tile based on the decoding information.
  • FIG. 9 is another exemplary diagram illustrating a display area and an object to be decoded in an encoded picture.
  • the decoding target tile 920 determined according to the display area 910 includes tiles 0, 1, 2, 4, 5, and 6.
  • the partial decoding information generator 310 updates the corresponding syntax in the bitstream header by using the identification information of the first tile (No. 0) and the identification information of the last tile (No. 6) and delivers the syntax to the decoding device 320. Done. Accordingly, the decoding device 320 determines the tile area including the upper left tile and the lower right tile as the decoding target tile 920, respectively, so that 0, 1, 2, 4, Decode tiles 5 and 6.
  • the decoding apparatus 320 may perform partial decoding after continuously changing with reference to the spatial configuration.
  • first information indicating whether to perform partial decoding may be represented in the following three forms.
  • NAL unit type information ( nal_unit_type ) included in the NAL unit header.
  • the indicated tile when the tile to perform partial decoding is indicated by the identification information of the first tile and the identification information of the last tile, the indicated tile may be determined as the decoding target tile. For example, if one of the first tile number and the last tile number matches any one of tile numbers of a plurality of tiles for dividing a picture, it may be determined that partial decoding is performed. On the contrary, when both the first tile number and the last tile number do not match any of the tile numbers of the plurality of tiles for dividing the picture (for example, all have a null value), it may be determined that partial decoding is not performed. have.
  • NAL unit header An example of the NAL unit header according to the present embodiment is shown in Table 9.
  • nal_unit_header () ⁇ Descriptor forbidden_zero_bit f (1) nal_unit_type u (6) ... ... topleft_tile_id bottomright_tile_id ... ⁇
  • the identification information of the first tile may be represented by topleft _tile_id
  • the identification information of the last tile may be represented by bottomright _tile_id
  • the second information has no condition as shown in Table 9. It may always be included in the header of the bitstream (regardless of whether the NAL unit type information is VCL or non-VCL), but only when a specific condition is satisfied.
  • An example of the NAL unit header for the case where the NAL unit type information corresponds to the VCL is shown in Table 10
  • an example of the NAL unit header for the case where the NAL unit type information corresponds to the I slice exists in Table 11 Same as
  • FIG. 10 is an exemplary diagram illustrating a display area 1010 of a 360 image.
  • FIG. 11 is a diagram illustrating a coordinate axis for representing a position of a display area in a 360 image.
  • the display area 1010 of FIG. The direction can be expressed by the degree of rotation with the rotation axis.
  • pitch represents the degree of rotation about the horizontal axis (y axis)
  • yaw represents the degree of rotation about the vertical axis (z axis)
  • roll refers to the axis in the direction perpendicular to the pitch-yaw plane from the center point of the sphere.
  • the degree of rotation is the degree of rotation.
  • the decoding apparatus 320 In order to perform partial decoding of a 360 image, the decoding apparatus 320 needs first information indicating whether to perform partial decoding and second information for indicating a region to perform partial decoding.
  • first information indicating whether to perform partial decoding
  • second information for indicating a region to perform partial decoding.
  • the first information may be represented in three forms, a detailed description thereof will be omitted.
  • NAL unit header An example of the NAL unit header according to the present embodiment is shown in Table 12.
  • nal_unit_header () Descriptor forbidden_zero_bit f (1) nal_unit_type u (6) ... ... yaw roll pitch delta_yaw delta_pitch ... ⁇
  • first information indicating whether to perform partial decoding is represented by nal_unit_type
  • position information of the display area is represented by yaw, roll, and pitch
  • size information of the display area is delta_pitch (display area).
  • the size of the horizontal axis in the And delta_yaw (the size in the vertical axis direction of the display area).
  • yaw And the reference point in 3D space can be specified by pitch
  • the width and height from the reference point are determined by delta_pitch and delta_yaw .
  • the display area in 3D space is determined by rotating the area by the value indicated by roll around the line connecting the center point of the area defined by yaw, pitch, delta_pitch and delta_yaw with the origin of the sphere.
  • the decoding target tile may be defined as one or more tiles overlapping the display area projected in 2D when the display area defined in 3D space is projected in 2D.
  • the second information may always be included in the header of the bitstream without any condition as shown in Table 12 (ie, irrespective of whether the NAL unit type information is VCL or non-VCL), but it may satisfy certain conditions. May only be included.
  • An example of the NAL unit header for the case where the NAL unit type information corresponds to the VCL is shown in Table 13.
  • An example of the NAL unit header for the case where the NAL unit type information corresponds to the I slice is shown in Table 14. Same as
  • NAL unit type information for a total of 12 I slices including information indicating whether partial decoding (PD) can be defined may be defined. .
  • the present invention defines a NAL unit type indicating whether to partially decode based on the HEVC standard, but is not limited thereto. That is, the NAL unit type may be defined as a specific NAL unit type indicating whether or not to partially decode, and Table 5 is merely an example.
  • FIG. 12 illustrates a display area 1210 and a decoding target tile in a 360 image projected on a two-dimensional plane. It is an exemplary figure which shows 1220.
  • the decoding device 320 or the partial decoding information generator 310 may determine the pixel position of the display area 1210 projected on the 2D plane from the position information and the size information of the display area 1010 in the 3D space.
  • the location information and the size information of the display area of the 360 image may be represented by the location information and the size information on the 3D space as shown in Tables 12 to 14, but may also be represented by the location information and the size information on the 2D plane. It demonstrates with reference to FIG.
  • FIG. 13 is another exemplary diagram illustrating a display area 1310 and a decoding target tile 1330 in a 360 image projected on a 2D plane.
  • the partial decoding information generator 310 extends the display area 1310 to the dotted rectangle 1320 of FIG. 13, and displays a position information and the size information of the dotted rectangle 1320 to indicate the decoding target area (tile). Can be used as information At this time, the syntaxes u_ pos , v_ pos , u_width, and v_height described in Tables 2 to 4 and 6 to 8 are replaced with those for the dotted rectangle 1320.
  • the partial decoding information generator 310 when the partial decoding information generator 310 determines to perform the partial decoding, the partial decoding information generator 310 replaces the position information and the size information of the display area 1310, and thus the position information and size of the dotted rectangle 1320 extended from the display area 1310.
  • the information can change the corresponding syntax value in the header of the bitstream.
  • the position information indicates the position of the reference point of the dotted rectangle 1320
  • the size information indicates the width and height from the reference point.
  • the partial decoder 324 defines a dotted rectangle 1320 as an area formed by extending the width and height according to the size information from the position of the reference point according to the location information, and overlaps the dotted rectangle 1320.
  • a tile having a may be determined as a decoding target tile.
  • the partial decoding information generator 310 replaces the positional information and the size information of the display area 1310, and corresponds to information on the upper left and lower right vertices of the dotted rectangle 1320 to correspond to the corresponding information in the header of the bitstream. You can also change the syntax value.
  • the partial decoder 324 defines a region extending from the upper left vertex and the lower right vertex as a dotted rectangle 1320 and converts a tile having an area overlapping with the dotted rectangle 1320 as a decoding target tile. You can decide.
  • the display area 1310 is extended to the dotted rectangle 1320 of FIG. 13, and the identification information ( topleft_tile_id ) and the last tile of the first tile defined in Tables 9 to 11 using the dotted rectangle 1320.
  • the identification information ( bottomright _tile_id ) of may be set.
  • the partial decoding information generator 310 identifies identification information of the tile including the upper left vertex of the dotted rectangle 1320 as identification information of the first tile, and the lower right vertex of the dotted rectangle 1320 as the identification information of the last tile.
  • the identification information of the included tile may change the corresponding syntax value in the bitstream.
  • the partial decoder 324 may determine the decoding target tile by setting the tile identified by the identification information of the first tile as the upper left tile and the tile identified by the identification information of the last tile as the lower right tile.
  • the display area 1310 may also be represented by location information (pixel location information) of four vertices of the display area 1310.
  • the partial decoding information generator 310 changes the corresponding syntax value in the bitstream with the position information (pixel position information) of the four vertices of the display area 1310, and the partial decoding unit 24 positions the positions of the four vertices.
  • the display area 1310 may be defined to determine a tile having an area overlapping with the display area 1310 as a decoding target tile.
  • the display area 1310 may be represented by identification information of an upper left tile, an upper right tile, a lower left tile, and a lower right tile including four vertices of the display area 1310.
  • the partial decoding information generator 310 may change the corresponding syntax value in the bitstream with identification information of the upper left tile, the upper right tile, the lower left tile, and the lower right tile including four vertices of the display area 1310. have.
  • the partial decoder 324 defines the display area 1310 using identification information of the upper left tile, the upper right tile, the lower left tile, and the lower right tile, and defines a tile having an area overlapping the display area 1310.
  • the decoding target tile may be determined.
  • FIG. 14 is an exemplary diagram illustrating a display area 1410 in an encoded picture, an additional area 1420 outside the display area, and a decoding target tile 1430.
  • additional regions regions other than one or more decoding target tiles to be partially decoded according to a sudden movement of a user. If there is no additional area 1420, only the decoding target tile needs to be decoded as described above, but if the additional area 1420 exists, tiles including both the display area 1410 and the additional area 1420 should be decoded. do.
  • the second information for indicating a tile to perform partial decoding may further include information for indicating an additional area 1420 other than the display area 1410.
  • the information for indicating the additional area 1420 may be defined as a ratio (eg, 1.5, 2.0) or an absolute size (eg, 100, 150) with respect to the size of the display area.
  • the information for indicating the additional area 1420 may be encoded at one or more positions among the SPS, the PPS, the SEI, the slice header, and the NAL unit header.
  • the decoding target tile may be determined as one or more tiles including the display area 1410 and the additional area 1420.
  • FIG. 15 is a block diagram of detailed components of an image decoder 322 according to an embodiment of the present invention.
  • the image decoder 322 includes a decoder 1510, an inverse quantizer 1520, an inverse transformer 1530, a predictor 1540, an adder 1550, a filter 1560, and a memory 1570.
  • the components shown in FIG. 15 may be implemented in a hardware chip or may be implemented in software and implemented so that the microprocessor executes a function of software corresponding to each component.
  • the decoder 1510 may be implemented as one integrated component that can also perform the function of the partial decoder 324 of FIG. 3.
  • the decoder 1510 decodes the bitstream to extract information related to the partial decoding so that only the tile to be decoded, not the entire picture, is decoded, or only the reconstructed bitstream is decoded for partial decoding, not the entire bitstream. can do.
  • the decoder 1510 extracts prediction information and residual signal information necessary for reconstructing the decoding target tile or the reconstructed bitstream.
  • the decoder 1510 extracts information on a coding tree unit (CTU) size from a high level syntax such as an SPS or a PPS to determine the size of a CTU, and divides a decoding target tile into a CTU having a determined size.
  • the CTU is determined as the highest layer of the tree structure, that is, the root node, and the CTU is partitioned using the tree structure by extracting split information about the CTU.
  • the decoder 1510 determines the current block to be decoded by splitting the tree structure, the decoder 1510 extracts information about a prediction type indicating whether the current block is intra predicted or inter predicted.
  • the decoder 1510 extracts a syntax element for intra prediction information (intra prediction mode) of the current block when the prediction type information indicates intra prediction, and inter prediction information when the prediction type information indicates inter prediction. Extract the syntax element for.
  • the decoder 1510 extracts information on the quantized transform coefficients of the current block as information on the residual signal.
  • the inverse quantization unit 1520 inverse quantizes the quantized transform coefficients, and the inverse transform unit 1530 inversely transforms the inverse quantized transform coefficients from the frequency domain to the spatial domain to generate a residual block for the current block. .
  • the predictor 1540 includes an intra predictor 1542 and an inter predictor 1544.
  • the intra predictor 1542 is activated when the intra prediction is the prediction type of the current block
  • the inter predictor 1544 is activated when the intra prediction is the prediction type of the current block.
  • the intra predictor 1542 determines the intra prediction mode of the current block among the plurality of intra prediction modes from the syntax elements for the intra prediction mode extracted from the decoder 1510, and references pixels around the current block according to the intra prediction mode. Predict the current block using
  • the inter predictor 1544 determines motion information of the current block by using a syntax element of the inter prediction mode extracted from the decoder 1510, and predicts the current block by using the determined motion information.
  • the adder 1550 reconstructs the current block by adding the residual block output from the inverse transform unit 1530 and the prediction block output from the inter prediction unit 1544 or the intra prediction unit 1542.
  • the pixels in the reconstructed current block are utilized as reference pixels in intra prediction of the block to be subsequently decoded.
  • the filter unit 1560 deblocks and filters the boundary between the reconstructed blocks in order to remove blocking artifacts caused by block-by-block decoding, and stores them in the memory 1570. When all the blocks in a picture are reconstructed, the reconstructed picture is used as a reference picture for inter prediction of a block in a picture to be decoded later.
  • the decoding apparatus 320 determines one or more decoding target tiles by decoding the partial decoding information included in the input bitstream, and decodes image data corresponding to the decoding target tile.
  • the decoding method has been described.
  • a case in which a decoding target tile is determined at the front of the decoding apparatus and the decoding apparatus performs decoding on the previously determined decoding target tile will be described with reference to FIG. 16.
  • the image decoding system may include a partial decoding information generator 1610 and a decoding apparatus 1620.
  • Each component of the image decoding system may be implemented as a hardware chip, or may be implemented in software and implemented so that the microprocessor realizes the function of software corresponding to each component.
  • the partial decoding information generator 1610 extracts and reconstructs a portion to be decoded from the bitstream received from the encoding apparatus according to an external control signal for determining partial decoding, and then transmits the portion to the decoding apparatus 1620.
  • the bitstream reconstructed by the partial decoding information generator 1610 is referred to as an input bitstream.
  • the external control signal for determining partial decoding may mean a signal generated according to an external user's input, a region of interest extraction technique, or a predetermined value by a service scenario.
  • the decoding apparatus 1620 receives an input bitstream from the partial decoding information generator 1610 and decodes it.
  • the partial decoding information generator 1610 generates an input bitstream by setting information for reconstructing the bitstream in a predetermined field of the bitstream received from the encoding apparatus.
  • the input bitstream is delivered to the decoding device 1620.
  • the predetermined field means a data area used for syntax elements related to the partial decoding information, and is encoded with a meaningless value (null or default value) by the encoding apparatus. Thereafter, when it is determined to perform partial decoding, the partial decoding information generator 1610 is reset to a meaningful value.
  • NAL unit header An example of the NAL unit header according to the present embodiment is shown in Table 15.
  • nal_unit_header () ⁇ Descriptor forbidden_zero_bit f (1) nal_unit_type u (6) ... ... pd_enbled_flag ... ⁇
  • pd_ enalbed _flag indicates whether the bit stream reconstruction part for decoding.
  • Table 15 shows the case where pd_enabled_flag is always included in the header of the bitstream without any condition (ie, regardless of whether the NAL unit type information is VCL or non-VCL). May be included only when the condition is met. That is, it may be included when the NAL unit type information corresponds to a VCL or when the NAL unit type information corresponds to an I slice. In this embodiment, six types of NAL unit type information indicating an I slice exist as in the HEVC standard. do.
  • specific NAL unit type information for partial decoding may be defined instead of a separate flag pd_enabled_flag .
  • the decoding apparatus 1620 may perform partial decoding by considering that partial decoding has occurred, not transmission error.
  • the decoding apparatus 1620 of FIG. 16 decodes tile-related syntax elements (see Table 1) from the reconstructed bitstream to divide a picture into a plurality of tiles, and to perform decoding on each tile, see FIG. 15. Since the description is similar to that described, a detailed description thereof is omitted.
  • partial decoding information generator is shown to be included in the image decoding system according to the present invention, the present invention is not limited thereto and may be separately implemented.
  • the decoding on the audio may be performed as follows.
  • audio mapped to a corresponding position may be selected using information such as a position corresponding to a partial decoding region of a video, and the selected audio may be decoded and output.
  • information such as a position corresponding to a partial decoding region of a video
  • the selected audio may be decoded and output.
  • 360 images, panoramic views, or other images having spatial characteristics have recently been serviced with audio in various formats such as 3D audio, multichannel audio, and multitrack audio.
  • various types of audio may be provided according to a location, an angle, and a distance corresponding to a specific viewpoint in 360 space.
  • the partial decoding region may be previously determined by the partial decoding information generator, and the positional information may be transmitted to the video and audio encoder. Partial decoding of the video is performed based on the transmitted location information, and audio decoding corresponding to the corresponding position, angle, and distance is performed.
  • the partial decoding information generation unit may directly transmit the corresponding location information to the audio encoding unit, or may select and transmit a separate stream such as an audio track or a commentary of the corresponding location to the audio encoding unit.
  • FIGS. 4 and 6 to 8 illustrate that each process is executed sequentially, but is not necessarily limited thereto.
  • FIGS. 4 and 6 to 8 may be applied by changing or executing one or more processes in parallel, FIGS. 4 and 6 to 8 are not limited to time-series order. .
  • the image decoding method according to the embodiment of FIGS. 4 and 6 to 8 may be implemented in a computer program and recorded on a computer-readable recording medium.
  • the computer-readable recording medium for recording a computer program for implementing the image decoding method according to the present embodiment includes all kinds of recording devices for storing data that can be read by a computing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 복수의 타일로 분할되어 부호화된 픽처를 복호화하는 영상 복호화 방법에 관한 것으로, 입력 비트스트림에 포함된 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정하는 단계; 및 상기 복수의 타일 중 상기 복호화 대상 타일에 해당하는 영상 데이터를 복호화하는 단계를 포함하며, 상기 부분 복호화 정보는, 부분 복호화를 수행할지 여부를 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보 중 적어도 하나를 포함한다.

Description

영상 복호화 방법 및 장치
본 발명은 영상을 효율적으로 복호화하기 위한 영상 복호화에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래 기술을 구성하는 것은 아니다.
동영상 데이터는 음성 데이터나 정지 영상 데이터 등에 비하여 데이터량이 많기 때문에, 압축을 위한 처리 없이 그 자체를 저장하거나 전송하기 위해서는 메모리를 포함하여 많은 하드웨어 자원을 필요로 한다. 따라서, 통상적으로 동영상 데이터를 저장하거나 전송할 때에는 부호화기를 사용하여 동영상 데이터를 압축하여 저장하거나 전송하며, 복호화기에서는 압축된 동영상 데이터를 수신하여 압축을 해제하고 재생한다. 이러한 동영상 압축 기술로는 H.264/AVC를 비롯하여, H.264/AVC 약 40% 정도의 부호화 효율을 향상시킨 2013년 초에 제정된 HEVC(High Efficiency Video Coding)가 존재한다.
최근 영상의 크기 및 해상도, 프레임율이 점차 증가하고 있고, 카메라에 의해 생성된 기존의 2D 자연 영상 이외에 게임이나 360도 영상(이하, '360 영상'이라 함) 등의 비디오 콘텐츠에 대한 수요도 갈수록 증가하고 있다. 이에 따라 복호화해야 하는 데이터량도 증가하여 복호화기의 복잡도가 점차 높아지게 되는 문제가 발생하게 된다.
특히, 360 영상의 경우, 사용자의 시점 변화 등에 따라 화면에 디스플레이되는 영상이 변해야 한다. 따라서, 차세대 비디오 코덱에서는 코딩 효율의 저하 없이, 압축된 비트스트림으로부터 요청한 영역의 시점에 대한 데이터를 효율적으로 추출할 수 있는 기술이 요구되고 있다.
본 발명은 수신단에서 부분 복호화를 위한 정보를 생성함으로써 실시간으로 부분 복호화 대상 영역을 결정하여 부분 복호화를 수행할 수 있는 영상 복호화 방법 및 장치를 제공하는 데 일 목적이 있다.
본 발명의 일 측면에 따르면, 복수의 타일로 분할되어 부호화된 픽처를 복호화 장치에서 복호화하는 방법에 있어서, 입력 비트스트림에 포함된 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정하는 단계; 및 상기 복수의 타일 중 상기 복호화 대상 타일에 해당하는 영상 데이터를 복호화하는 단계를 포함하되, 상기 부분 복호화 정보는, 부분 복호화를 수행할지 여부를 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 영상 복호화 방법을 제공한다.
본 발명의 다른 측면에 따르면, 복수의 타일로 분할되어 부호화된 픽처를 복호화하는 영상 복호화 시스템에 있어서, 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 값 또는 디폴트(default) 값으로 설정된 부분 복호화 정보를 부분 복호화 수행을 결정하는 외부 제어신호에 따라 재설정함으로써 입력 비트스트림을 생성하는 부분 복호화 정보 생성기; 및 상기 입력 비트스트림에 포함된 상기 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정하고, 상기 복수의 타일 중 상기 복호화 대상 타일에 해당하는 영상 데이터를 복호화하는 복호화 장치를 포함하되, 상기 부분 복호화 정보는, 부분 복호화를 수행할지 여부를 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 영상 복호화 시스템을 제공한다.
도 1은 복수의 타일로 분할되어 부호화된 픽처에 대한 예시도이다.
도 2는 본 발명의 실시예와 관련된 부호화 장치에 대한 블록도이다.
도 3은 본 발명의 실시예에 따른 영상 복호화 시스템에 대한 블록도이다.
도 4는 본 발명의 실시예에 따른 영상 복호화 시스템의 동작방법을 나타내는 흐름도이다.
도 5는 부호화된 픽처 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 예시도이다.
도 6은 본 발명의 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.
도 8은 본 발명의 또 다른 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.
도 9는 부호화된 픽처 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 다른 예시도이다.
도 10은 360 영상의 디스플레이 영역을 나타내는 예시도이다.
도 11은 360 영상 내 디스플레이 영역의 위치를 표현하기 위한 좌표축을 나타내는 도면이다.
도 12는 2차원 평면에 투영된 360 영상 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 예시도이다.
도 13은 2차원 평면에 투영된 360 영상 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 다른 예시도이다.
도 14는 부호화된 픽처 내 디스플레이 영역, 디스플레이 영역 외 추가 영역 및 복호화 대상 타일을 나타내는 예시도이다.
도 15는 본 발명의 실시예에 따른 도 3의 영상 복호화부의 세부 구성요소에 대한 블록도이다.
도 16은 본 발명의 다른 실시예에 따른 영상 복호화 시스템에 대한 블록도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 식별 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 복수의 타일로 분할되어 부호화된 픽처에 대한 예시도이다.
픽처는 하나 이상의 타일로 분할되어 타일 별로 독립적으로 부호화 및 복호화될 수 있다. 픽처는 하나 이상의 세로열로 분할하는 타일로 분할되거나, 하나 이상의 가로열로 분할하는 타일로 분할되거나, 또는 하나 이상의 세로열 및 하나 이상의 가로열로 분할되는 타일들로 분할될 수도 있다. 타일은 픽처 내 가로열 또는 세로열의 길이 기준으로 균등하게 영역을 분할할 수도 있고, 임의의 크기로 영역을 분할할 수도 있다. 다만, 각각의 가로열 타일 개수 및 각각의 세로열 타일 개수는 동일해야 한다.
타일을 위한 하이 레벨 신택스(high level syntax)의 일례는 표 1과 같다.
pic_parameter_set_rbsp(　) { Descriptor
... ...
tiles_enabled_flag u(1)
... ...
if( tiles_enabled_flag ) {
num_tile_columns_minus1 ue(v)
num_tile_rows_minus1 ue(v)
uniform_spacing_flag u(1)
if( !uniform_spacing_flag) {
for( i = 0; i < num_tile_columns_minus1;i++ )
column_width_minus1[　i　] ue(v)
for( i = 0; i < num_tile_rows_minus1;i++ )
row_height_minus1[　i　] ue(v)
}
loop_filter_across_tiles_enabled_flag u(1)
}
표 1을 참조하면, PPS(Picture Parameter Set) 내의 타일 기능의 온/오프를 지시하는 플래그인 tiles_ enalbed _flag와 해당 플래그가 온(on)되었을 때, 타일의 크기를 지정할 수 있는 다수의 신택스들이 추가적으로 존재한다. 픽처의 가로축 기준으로 분할된 타일의 개수에서 1을 뺀 값인 num _tile_columns_ minus1, 픽처의 세로축 기준으로 분할된 타일의 개수에서 1을 뺀 값인 num _tile_rows_ minus1, 및 가로축과 세로축이 균등하게 분할되었음을 나타내는 플래그 uniform_ sapacing _flag 등이 있다. 타일이 가로축 및 세로축으로 균등하게 분할되지 않았을 경우(uniform_spacing_flag = off), 가로축 기준으로 각 타일에 대한 폭(width) 정보(column_width_minus1)와 세로축 기준으로 각 타일에 대한 높이(height) 정보(row_height_minus1)를 추가적으로 전송한다. 마지막으로, 타일 간 경계 영역에서 루프 필터(loop filter)의 실행 여부를 나타내는 플래그(loop_filter_across_tiles_enabled_flag)를 전송한다.본 발명은 복수의 타일로 분할되어 부호화된 픽처에 있어서 픽처 전체를 복호화하지 않고 일부 영역만을 복호화(이하, '부분 복호화'라 지칭함)함으로써 복호화의 복잡도를 크게 낮출 수 있는 영상 복호화 방법 및 장치를 제안한다.
부분 복호화가 가능하도록 하기 위해서는 하나의 픽처가 복수의 타일로 분할되고 분할된 각 타일이 독립적으로 부호화 및 복호화가 되어야 한다. 여기서, 독립이란 인트라 예측, 인터 예측, 변환, 양자화, 엔트로피, 및 필터를 포함한 모든 부호화/복호화 과정들이 분할된 다른 타일과는 무관하게 수행되는 것을 의미한다. 이하, 독립적으로 부호화된 타일을 '독립 타일'이라 지칭한다.
본 발명의 영상 복호화 방법 및 장치는 복수의 독립 타일로 분할되어 부호화된 픽처에 적용되는 것을 전제로 한다. 여기서, 타일이란 하나의 픽처로부터 분할된 복수의 영역으로서고, 각 영역을 독립적으로 부호화 및 복호화하기 위한 수단(tool)을 의미할 뿐이고, 본 발명이 반드시 타일이란 용어에 한정되는 것은 아니다. 즉, 타일이란 용어는 전술한 의미와 동일한 다양한 용어로 대체될 수 있다. 이하, 도 1과 같이 12개의 독립 타일로 분할된 픽처를 예로 들어 본 발명에 대하여 상세히 설명한다.
도 2는 본 발명의 실시예와 관련된 부호화 장치에 대한 블록도이다.
부호화 장치는 블록 분할부(210), 예측부(220), 감산기(230), 변환부(240), 양자화부(245), 부호화부(250), 역양자화부(260), 역변환부(265), 가산기(270), 필터부(280) 및 메모리(290)를 포함한다. 부호화 장치의 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
블록 분할부(210)는 영상을 구성하는 각 픽처(picture)를 복수의 타일로 분할한다. 그리고 각 타일을 복수의 CTU(Coding Tree Unit)로 분할한 이후에, 트리 구조(tree structure)를 이용하여 CTU를 반복적으로(recursively) 분할한다. 트리 구조에서의 리프 노드(leaf node)가 부호화의 기본 단위인 CU(Coding Unit)가 된다. 트리 구조로는 상위 노드가 네 개의 하위 노드로 분할하는 쿼드트리(QuadTree, QT), 또는 QT 구조 및 상위 노드가 두 개의 하위 노드로 분할하는 바이너리트리(BinaryTree, BT) 구조를 혼용한 QTBT (QuadTree plus BinaryTree) 구조가 사용될 수 있다.
예측부(220)는 현재블록을 예측하여 예측블록을 생성한다. 예측부(220)는 인트라 예측부(222)와 인터 예측부(224)를 포함한다. 여기서, 현재블록은 상기의 트리 구조에서 리프 노드에 해당하는 부호화의 기본 단위로서, 현재 부호화하고자 하는 CU를 의미한다. 대안적으로, 현재블록은 CU로부터 분할된 복수의 서브블록 중 하나의 서브블록일 수도 있다.
인트라 예측부(222)는 현재블록이 포함된 현재 픽처 내에서 현재블록의 주변에 위치한 픽셀(참조 픽셀)들을 이용하여 현재블록 내의 픽셀들을 예측한다. 예측 방향에 따라 복수의 인트라 예측모드가 존재하며, 각 예측모드에 따라 사용할 주변 픽셀과 연산식이 다르게 정의된다.
인터 예측부(224)는 현재 픽처보다 먼저 부호화 및 복호화된 참조 픽처 내에서 현재블록과 가장 유사한 블록을 탐색하고, 그 탐색된 블록을 이용하여 현재블록에 대한 예측블록을 생성한다. 그리고, 현재 픽처 내의 현재블록과 참조 픽처 내의 예측블록 간의 변위(displacement)에 해당하는 움직임벡터(motion vector)를 생성한다. 현재블록을 예측하기 위해 사용된 참조 픽처에 대한 정보 및 움직임벡터에 대한 정보를 포함하는 움직임 정보는 부호화부(250)에 의해 부호화되어 복호화 장치로 전달된다.
감산기(230)는 현재블록으로부터 인트라 예측부(222) 또는 인터 예측부(224)에 의해 생성된 예측블록을 감산하여 잔차 블록을 생성한다.
변환부(240)는 공간 영역의 픽셀 값들을 가지는 잔차 블록 내의 잔차 신호를 주파수 도메인의 변환 계수로 변환한다. 변환부(240)는 잔차 블록 내의 잔차 신호들을 현재블록의 크기를 변환 단위로 사용하여 변환할 수 있으며, 또는 잔차 블록을 더 작은 복수의 서브블록을 분할하고 서브블록 크기의 변환 단위로 잔차 신호들을 변환할 수도 있다. 잔차 블록을 더 작은 서브블록으로 분할하는 방법은 다양하게 존재할 수 있다. 예컨대, 기 정의된 동일한 크기의 서브블록으로 분할할 수도 있으며, 또는 잔차 블록을 루트 노드로 하는 QT(quadtree) 방식의 분할을 사용할 수도 있다.
양자화부(245)는 변환부(240)로부터 출력되는 변환 계수들을 양자화하고, 양자화된 변환 계수들을 부호화부(250)로 출력한다.
부호화부(250)는 양자화된 변환 계수들을 CABAC 등의 부호화 방식을 사용하여 부호화하여 비트스트림을 생성한다. 한편, 부호화부(250)는 트리 구조의 최상위 레이어에 위치하는 CTU의 크기에 대한 정보 및 CTU로부터 트리 구조로 블록을 분할하기 위한 분할 정보를 부호화하여, 복호화 장치가 부호화 장치와 동일하게 블록을 분할할 수 있도록 한다. 예컨대, QT 분할의 경우에는 상위 레이어의 블록이 하위 레이어의 네 개의 블록으로 분할되는지 여부를 지시하는 QT 분할 정보를 부호화한다. BT 분할의 경우에는 QT의 리프 노드에 해당하는 블록으로부터 시작하여 각 블록이 두 개의 블록으로 분할되는지 여부 및 분할되는 타입을 지시하는 BT 분할 정보를 부호화한다.
부호화부(250)는 현재블록이 인트라 예측에 의해 부호화되었는지 아니면 인터 예측에 의해 부호화되었는지 여부를 지시하는 예측 타입에 대한 정보를 부호화하고, 예측 타입에 따라 인트라 예측정보 또는 인터 예측정보를 부호화한다.
부호화부(250)는 부분 복호화 정보와 관련된 신택스 요소를 위한 기 지정된 필드를 부호화한다. 여기서, 기 지정된 필드는 부분 복호화 정보와 관련된 신택스 요소들을 위해서 사용되는 데이터 영역을 의미한다. 다만, 부호화부(250)는 실제 부분 복호화를 지시하는 정보가 아닌 널(null) 값 또는 디폴트(default) 값을 기 지정된 필드에 설정함으로써 비트스트림 내에 부분 복호화 정보와 관련된 신택스 요소를 위한 공간을 확보한다. 여기서, 디폴트(default) 값이란 부분 복호화를 수행하지 않는다는 정보(예: 부분 복호화 수행을 지시하는 플래그=off)를 의미할 수 있다. 이러한 부분 복호화 정보와 관련된 신택스 요소는 비트스트림의 NAL(Network Abstraction Layer) 유닛 헤더 내의 기 지정된 위치에 설정될 수 있다. 또는, SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 및 SEI(Supplementary Enhancement Information) 중 어느 하나의 헤더 내의 기 지정된 위치에 설정될 수도 있다.
부호화부(250)에서 생성된 비트스트림이 영상 복호화 시스템으로 전송된 후, 외부로부터 부분 복호화 수행이 결정되면, 비트스트림의 기 지정된 필드에 설정된 널(null) 값 또는 디폴트(default) 값은 후술할 부분 복호화 정보 생성기에 의해 부분 복호화를 지시하는 의미있는 값으로 재설정된다.
역양자화부(260)는 양자화부(245)로부터 출력되는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 생성한다. 역변환부(265)는 역양자화부(260)로부터 출력되는 변환 계수들을 주파수 도메인으로부터 공간 도메인으로 변환하여 잔차블록을 복원한다.
가산기(270)는 복원된 잔차블록과 예측부(220)에 의해 생성된 예측블록을 가산하여 현재블록을 복원한다. 복원된 현재블록 내의 픽셀들은 다음 순서의 블록을 인트라 예측할 때 참조 픽셀로서 사용된다.
필터부(280)는 블록 단위의 부호화/복호화로 인해 발생하는 블록킹 현상(blocking artifact)을 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(290)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 부호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
도 3은 본 발명의 실시예에 따른 영상 복호화 시스템에 대한 블록도이다. 영상 복호화 시스템은 부분 복호화 정보 생성기(310) 및 복호화 장치(320)를 포함할 수 있다. 복호화 장치(320)는 영상 복호화부(322) 및 부분 복호화부(324)를 포함할 수 있다.영상 복호화 시스템의 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실현하도록 구현될 수도 있다.
부분 복호화 정보 생성기(310)는 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 값 또는 디폴트(default) 값으로 설정된 부분 복호화 정보를 부분 복호화 수행을 결정하는 외부 제어 신호에 따라 재설정함으로써, 입력 비트스트림을 생성한다. 부분 복호화를 결정하는 외부 제어 신호는 외부 사용자의 입력, 관심영역 추출 기법 또는 서비스 시나리오에 의한 사전 지정 값 등에 따라 발생하는 신호를 의미할 수 있다. 부분 복호화 정보 생성기(310)가 생성한 입력 비트스트림은 복호화 장치(320)로 입력되는 비트스트림으로서, 부분 복호화 정보 생성기(310)가 부호화 장치로부터 수신한 비트스트림과는 구별된다. 즉, 입력 비트스트림은 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 값 또는 디폴트(default) 값으로 설정된 부분 복호화 정보를 재설정하여 생성한 비트스트림으로 의미한다.
부분 복호화 정보는 부분 복호화를 수행할지 여부를 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보 중 적어도 하나를 포함한다. 다만, 부분 복호화 정보는 영상 부호화 이후에 영상 복호화 시스템에서 결정되는 부분 복호화 수행 여부에 따라 서로 다른 값을 가질 수 있다. 부분 복호화 수행이 결정되는 경우에 부분 복호화 정보는, 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 설정된 널(null) 또는 디폴트(default) 값이 아닌, 부분 복호화 정보 생성기(310)에 의해 재설정된 값을 갖는다. 부분 복호화 정보 생성기(310)에 의해 재설정된 값은 부분 복호화 수행을 지시하는 의미있는 값이다. 반면, 부분 복호화 수행이 결정되지 않는 경우에 부분 복호화 정보는, 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 또는 디폴트(default)로 설정된 값을 갖는다. 이 경우에는 부분 복호화 정보 생성기(310)에 의해 부분 복호화 정보가 재설정되지 않기 때문이다.
영상 복호화 시스템은 부분 복호화 수행이 결정됨에 따라 부분 복호화 정보 즉, 부분 복호화 수행을 나타내는 정보(제1 정보) 및 부분 복호화를 수행할 영역을 지시하는 정보(제2 정보) 중 적어도 하나를 포함한 의미있는 정보를 전술한 비트스트림의 기 지정된 필드에 재설정한다. 보다 구체적으로, 부분 복호화 정보 생성기(310)는 해당 필드에 부분 복호화 정보를 재설정함으로써, 복호화 장치(320)에 부분 복호화 수행 명령을 전달할 수 있다.
예를 들어, 부분 복호화를 수행할지 여부를 나타내기 위해 플래그를 이용하는 경우, 부호화 장치는 해당 플래그가 오프(off)나 null 값을 나타내도록 부호화하고, 부분 복호화를 수행할 타일을 지시하기 위한 정보를 null,"0", 또는 don't care를 의미하는 데이터로 부호화할 수 있다. 부호화된 영상의 비트스트림이 영상 복호화 시스템으로 수신된 이후, 부분 복호화 수행이 결정되면 부분 복호화 정보 생성기(310)는 부분 복호화 수행 여부를 나타내는 플래그를 온(on)으로 변경하고, 부분 복호화를 수행할 영역을 지시하기 위한 기 지정된 필드에 의미있는 정보를 재설정할 수 있다.
복호화 장치(320)는 부분 복호화 정보 생성기(310)에 의해 부분 복호화 정보가 재설정된 입력 비트스트림으로부터 부분 복호화 정보를 복호화하여, 부분 복호화 정보가 지시하는 일부 영역에 해당하는 영상 데이터를 복호화한다. 구체적으로, 부분 복호화부(324)는 입력 비트스트림에 포함된 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정한다. 영상 복호화부(322)는 픽처를 구성하는 복수의 타일 중 복호화 대상 타일에 해당하는 영상 데이터를 복호화한다.
도 4는 본 발명의 실시예에 따른 영상 복호화 시스템의 동작방법을 나타내는 흐름도이다.
우선, 부분 복호화 정보 생성기(310)가 부분 복호화 수행을 결정하는 외부 제어신호를 수신한다(S410). 부분 복호화 정보 생성기(310)는 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 값 또는 디폴트(default) 값으로 설정된 부분 복호화 정보를 외부 제어신호에 따라 재설정한다(S420). 부분 복호화 정보 생성기(310)는 부분 복호화 정보를 재설정함으로써 입력 비트스트림을 생성하고, 입력 비트스트림은 복호화 장치(320)로 전달된다. 복호화 장치(320)의 부분 복호화부(324)는 입력 비트스트림에 포함된 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정한다(S430). 결정된 복호화 대상 타일에 대한 정보는 영상 복호화부(322)로 전달되고, 이에 따라 영상 복호화부(322)는 복수의 타일 중 복호화 대상 타일에 해당하는 영상 데이터를 복호화한다(S440).
도 5를 참조하여 예를 들어 설명한다. 도 5는 부호화된 픽처 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 예시도이다.
복수의 타일로 분할되어 부호화된 전체 픽처 중 일부 영역만을 디스플레이 하는 경우, 전체 픽처를 모두 복호화하지 않고 디스플레이되는 일부 영역만을 복호화하면 복호화의 복잡도를 크게 낮출 수 있다. 예컨대, 12개의 타일로 분할된 픽처에서 도 5와 같이 디스플레이 영역(510)이 결정되는 경우, 12개의 타일 전부를 복호화하지 않고 디스플레이 영역(510)을 포함하는 6개의 타일(이하, '복호화 대상 타일'이라 지칭함)만을 복호화함으로써, 디스플레이 영역(510)을 디스플레이 할 수 있다.
복호화 장치(320)가 픽처 내 복수의 타일 중 하나 이상의 복호화 대상 타일을 결정하여 부분 복호화를 수행하기 위해서는 부분 복호화 정보가 필요하다. 부분 복호화 정보에는 전술한 바와 같이 부분 복호화를 수행할지 여부를 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보 중 적어도 하나를 포함된다.
부분 복호화 정보는 입력 비트스트림의 헤더에 포함될 수 있고, 입력 비트스트림의 헤더는 NAL(Network Abstraction Layer) 유닛 헤더, SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 및 SEI(Supplementary Enhancement Information) 중 어느 하나일 수 있다.
또한, 부분 복호화 정보 중 부분 복호화를 수행할지 여부를 나타내는 제1 정보는 NAL 유닛 헤더, SPS, PPS, 및 SEI 중 어느 하나의 헤더에 포함될 수 있고, 부분 복호화를 수행할 영역을 지시하는 제2 정보는 SEI 및 복호화 장치의 내부 파라미터 중 어느 하나일 수 있다. 여기서, 파라미터란 복호화 동작을 제어할 수 있는 매개변수를 의미한다.
제1 정보는 아래 3가지 형태로 나타낼 수 있다.
i) NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보(nal_unit_type)로 표시
ii) 별도의 플래그(pd_enabled_flag)로 표시
iii) 별도로 시그널링하지 않고 제2 정보를 이용하여 부분 복호화 수행 여부를 판단
여기서, 제1 정보가 별도로 시그널링되지 않는다는 것은 부호화 장치가 제1 정보와 관련된 신택스 요소를 위한 별도의 공간(필드)을 마련하고 있지 않음을 의미한다.
제2 정보는 실시예에 따라 아래와 같이 서로 다른 정보를 포함할 수 있다.
a) 디스플레이 영역의 위치정보 및 크기정보
b) 하나 이상의 복호화 대상 타일을 구성하는 최초 타일 및 최후 타일의 식별정보
위와 같은 제1 정보를 나타내는 방법 및 제2 정보가 포함하는 정보에 따라 하나 이상의 복호화 대상 타일을 결정하는 방법이 달라질 수 있다. 이에 대한 구체적인 설명은 후술한다.
이하, 제1 정보를 나타내는 3가지 방법 별로 NAL 유닛 헤더의 예시 및 복호화 대상 타일을 결정하는 방법에 대하여 설명한다. 다만, 명확한 설명을 위하여 제2 정보는 a) 디스플레이 영역의 위치정보 및 크기정보를 포함하는 경우에 한정하여 설명한다. 제2 정보가 b) 하나 이상의 복호화 대상 타일을 구성하는 최초 타일 및 최후 타일의 식별정보를 포함하는 경우 대해서는 별도로 후술한다.
우선, 제1 정보가 i) NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보(nal_unit_type)로 표시되는 경우에 대하여 설명한다. 본 실시예에 따른 NAL 유닛 헤더의 일례는 표 2와 같다.
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
u_pos
v_pos
u_width
v_height
...
}
표 2를 참조하면, 디스플레이 영역의 위치(u, v) 정보는 u_ pos 및 v_ pos로 표시되고, 디스플레이 영역의 크기 정보(가로축 및 세로축의 크기)는 u_width 및 v_height로 표시될 수 있다.제2 정보는 표 2와 같이 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함될 수도 있으나, 특정 조건을 만족할 때에만 포함될 수도 있다. 예컨대, 제2 정보는 NAL 유닛 타입 정보가 VCL(Video Coding Layer)에 해당하는 경우 또는 NAL 유닛 타입 정보가 I(Intra) 슬라이스에 해당하는 경우에 비트스트림의 헤더에 포함될 수 있다.
NAL 유닛 타입 중 부분 복호화가 필요한 슬라이스 데이터를 포함한 NAL 유닛 타입은 VCL에 해당하며, 부분 복호화가 필요하지 않은 SPS, PPS, SEI, 등과 같은 헤더 정보를 포함한 NAL 유닛 타입은 non-VCL에 해당한다. 그러므로, 부분 복호화가 필요한 VCL에 해당하는 NAL 유닛 타입에만 부분 복호화 정보를 포함시킬 수 있다. 또한, 슬라이스 데이터를 포함한 VCL NAL 유닛 타입 중 I 슬라이스에 해당하는 NAL 유닛 타입에만 부분 복호화 정보를 포함시킬 수도 있다. 즉, 비디오의 부호화 (예측을 위한 참조) 구조 상 부분 복호화 정보는 I 슬라이스에서 설정 및 변경이 가능하기 때문이다.
제2 정보가 비트스트림의 헤더에 포함되는 조건이 존재하는 경우에 대한 NAL 유닛 헤더의 일례는 표 3 및 표 4와 같다. 표 3은 NAL 유닛 타입 정보가 VCL에 해당하는 경우를 조건으로 하고, 표 4는 NAL 유닛 타입 정보가 I 슬라이스에 해당하는 경우를 조건으로 한다.
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
if (nal_unit_type == VCL) {
u_pos
v_pos
u_width
v_height
}
}
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
if (nal_unit_type == I slice) {
u_pos
v_pos
u_width
v_height
}
}
HEVC 표준에는 I 슬라이스를 나타내는 6가지의 NAL 유닛 타입 정보가 존재한다. 본 실시예에서는 HEVC 표준에 정의된 6가지의 NAL 유닛 타입 정보에 더하여 부분 복호화(PD: Partial Decoding) 여부를 나타내는 정보를 포함하는 총 12가지의 I 슬라이스에 대한 NAL 유닛 타입 정보를 정의할 수 있다. 이는 표 5와 같다.
nal_unit_type Name of nal_unit_type Content of NAL unit and RBSP syntax structure NAL unit type class
...
BLA_W_LPBLA_W_RADLBLA_N_LPBLA_W_LP_PDBLA_W_RADL_PDBLA_N_LP_PD Coded slice segment of a BLA pictureslice_segment_layer_rbsp(　) VCL
IDR_W_RADLIDR_N_LPIDR_W_RADL_PDIDR_N_LP_PD Coded slice segment of an IDR pictureslice_segment_layer_rbsp(　) VCL
CRA_NUTCRA_NUT_PD Coded slice segment of a CRA pictureslice_segment_layer_rbsp(　) VCL
예를 들어, 부호화 시 BLA_W_LP, BLA_W_RADL, BLA_N_LP, IDR_W_RADL, IDR_N_LP 및 CRA_NUT 중 어느 하나에 해당하던 NAL 유닛 타입 정보는, 부분 복호화 수행이 결정된 후에 부분 복호화 정보 생성기(310)에 의하여 BLA_W_LP_PD, BLA_W_RADL_PD, BLA_N_LP_PD, IDR_W_RADL_PD, IDR_N_LP_PD 및 CRA_NUT_PD 중 어느 하나로 변경될 수 있다.편의상, 본 발명에서는 HEVC 표준을 기준으로 부분 복호화 여부를 나타내는 NAL 유닛 타입을 정의하였으나, 이에 한정되는 것은 아니다. 즉, NAL 유닛 타입 중 부분 복호화 여부를 나타내는 특정 NAL 유닛 타입으로 정의도 가능하며, 표 5는 예시에 불과하다.
도 6을 참조하여 본 실시예에 따른 부분 복호화부(324)가 복호화 대상 타일을 결정하는 방법에 대하여 설명한다. 도 6은 본 발명의 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.
부분 복호화부(324)는 우선, NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보를 제1 정보로서 복호화한다(S610). NAL 유닛 타입 정보가 부분 복호화를 허용하지 않는 NAL 유닛을 지시할 때(예: NAL 유닛 타입 정보가 BLA_W_LP인 경우)에는, 복수의 타일 전체를 복호화 대상 타일로 결정한다(S620). 예를 들어, NAL 유닛 타입 정보가 부분 복호화를 허용하지 않음을 나타내는 경우, 제2 정보는 부분 복호화 정보 생성기(310)에 의해 의미 있는 값으로 재설정되지 않는다. 제2 정보는 부호화 장치에 의해 설정된 널(null) 등의 값으로 유지된다. 따라서, 부분 복호화부(324)는 제2 정보가 널(null)임을 확인하고 픽처를 구성하는 복수의 타일 전체를 복호화 대상 타일로 결정하게 된다. 한편, NAL 유닛 타입 정보가 부분 복호화를 허용하는 NAL 유닛을 지시할 때(예: NAL 유닛 타입 정보가 BLA_W_LP_PD인 경우)에는, NAL 유닛 헤더에 포함된 제2 정보 역시 부분 복호화와 관련하여 의미 있는 정보로 재설정된 값이다. 따라서, 제2 정보를 복호화하고, 제2 정보에 의해 지시되는 영역을 포함하는 타일을 복호화 대상 타일로 결정한다(S630).
이하, 다른 실시예로서 제1 정보가 ii) 별도의 플래그(pd_enabled_flag)로 표시되는 경우에 대하여 설명한다. 본 실시예에 따른 NAL 유닛 헤더의 일례는 표 6과 같다.
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
pd_enbled_flag
u_pos
v_pos
u_width
v_height
...
}
본 실시예에서는 제1 정보(즉, pd_enabled_flag) 및 제2 정보는 표 6과 같이 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함될 수도 있으나, 특정 조건을 만족할 때에만 포함될 수도 있다. 제1 정보 및 제2 정보는 NAL 유닛 타입 정보가 VCL에 해당하는 조건이 있는 경우에 비트스트림의 헤더에 포함될 수도 있고, NAL 유닛 타입 정보가 I 슬라이스에 해당하는 조건이 있는 경우에 비트스트림의 헤더에 포함될 수도 있다. NAL 유닛 타입 정보가 VCL에 해당하는 경우에 대한 NAL 유닛 헤더의 일례는 표 7과 같고, NAL 유닛 타입 정보가 I 슬라이스에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 8과 같다.
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
if (nal_unit_type == VCL) {
pd_enbled_flag
u_pos
v_pos
u_width
v_height
}
}
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
if (nal_unit_type == I slice) {
pd_enbled_flag
u_pos
v_pos
u_width
v_height
}
}
본 실시예에서는 I 슬라이스를 나타내는 NAL 유닛 타입 정보가 HEVC 표준과 동일하게 6가지 존재한다.도 7을 참조하여 본 실시예에 따른 부분 복호화부(324)가 복호화 대상 타일을 결정하는 방법에 대하여 설명한다. 도 7은 본 발명의 다른 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.
부분 복호화부(324)는 우선, 입력 비트스트림의 헤더로부터 부분 복호화를 수행할지 여부를 지시하는 플래그를 제1 정보로서 복호화한다(S710). 플래그가 부분 복호화를 지시하지 않을 때(예: pd_enabled_flag가 off)에는, 복수의 타일 전체를 복호화 대상 타일로 결정한다(S720). 플래그가 부분 복호화를 지시할 때(예: pd_enabled_flag가 on)에는, 입력 비트스트림의 헤더에 포함된 제2 정보는 부분 복호화와 관련하여 의미 있는 정보를 포함하므로, 제2 정보를 복호화하고, 제2 정보에 의해 지시되는 영역을 포함하는 타일을 복호화 대상 타일로 결정한다(S730).
마지막으로, 또 다른 실시예로서 제1 정보가 iii) 별도로 시그널링되지 않고 제2 정보를 이용하여 부분 복호화 수행 여부를 판단하는 경우에 대하여 설명한다. 본 실시예에 따른 NAL 유닛 헤더의 일례는 표 2와 같다.
본 실시예에서는 제1 정보가 별도로 시그널링되지 않지만, 제2 정보로부터 부분 복호화 수행 여부에 대하여 유추할 수 있다. 예컨대, 부호화 장치가 제2 정보에 대한 모든 신택스(u_ pos , v_ pos , u_width, v_height)에 0의 값(또는 null값)을 할당하고, 이후 부분 복호화 수행이 결정되지 않음으로써 복호화 장치(320)에서 복호화되는 해당 신택스의 값도 모두 0의 값(또는 null값)으로 유지되면, 복호화 장치(320)는 부분 복호화가 수행되지 않음을 유추할 수 있다. 반대로, 부호화 장치가 제2 정보에 대한 모든 신택스(u_ pos , v_ pos , u_width, v_height)에 0의 값(또는 null 값)을 할당하고, 이후 부분 복호화 수행이 결정되는 경우, 부분 복호화 정보 생성기(310)는 모두 0의 값(또는 null값)으로 부호화된 제2 정보에 대한 신택스들의 값을 변경함으로써 부분 복호화 수행을 명령할 수 있다.
마찬가지로, 본 실시예에서도 제2 정보는 표 2과 같이 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함될 수도 있으나, 특정 조건을 만족할 때에만 포함될 수도 있다. NAL 유닛 타입 정보가 VCL에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 3과 같고, NAL 유닛 타입 정보가 I 슬라이스에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 4와 같다.
본 실시예에서는 I 슬라이스를 나타내는 NAL 유닛 타입 정보가 HEVC 표준과 동일하게 6가지 존재한다.
도 8을 참조하여 본 실시예에 따른 부분 복호화부(324)가 복호화 대상 타일을 결정하는 방법에 대하여 설명한다. 도 8은 본 발명의 또 다른 실시예에 따른 복호화 대상 타일을 결정하는 방법을 나타내는 흐름도이다.
부분 복호화부(324)는 우선, 입력 비트스트림의 헤더로부터 제2 정보를 복호화하고, 부분 복호화를 수행할 영역이 제2 정보에 의해 지시되는지 여부를 판단한다(S810). 부분 복호화를 수행할 영역이 제2 정보에 의해 지시되지 않을 때에는, 복수의 타일 전체를 복호화 대상 타일로 결정한다(S820). 이와 달리, 부분 복호화를 수행할 영역이 제2 정보에 의해 지시될 때에는, 제2 정보에 의해 지시되는 영역을 복호화 대상 타일로 결정한다(S830).
제2 정보는 전술한 바와 같이 a) 디스플레이 영역의 위치정보 및 크기정보를 포함할 수 있다. 여기서, 위치정보는 2차원 평면인 픽처 내의 또는 3차원 공간 내의 기준점의 위치를 포함하고, 크기정보는 기준점으로부터의 폭과 높이를 포함한다. 디스플레이 영역은 위치정보에 따른 기준점의 위치에서 크기정보에 따른 폭과 높이만큼 연장되어 형성되는 영역으로 정의될 수 있다. 이 경우, 하나 이상의 복호화 대상 타일은 위치정보 및 크기정보에 의해 정의되는 디스플레이 영역과 오버랩되는 영역을 갖는 하나 이상의 타일로 결정될 수 있다.
이상에서는 디스플레이 영역의 크기를 표시하기 위해, 가로 크기(u_width) 및 세로 크기(v_height)를 사용하는 것으로 설명하였다. 그러나 본 발명이 이에 한정되는 것은 아니며, 디스플레이 영역의 크기를 정의할 수 있는 다양한 신택스들이 사용될 수 있다. 예컨대, 기준점과 대각선에 위치한 꼭지점의 위치를 디스플레이 영역의 크기를 나타내는 정보로 사용할 수도 있다. 기준점이 디스플레이 영역의 좌상측 꼭지점이라면 디스플레이 영역의 크기를 나타내기 위한 정보는 우하측 꼭지점의 위치로 표현할 수 있다.
이하, 제2 정보가 b) 하나 이상의 복호화 대상 타일을 구성하는 최초 타일 및 최후 타일의 식별정보를 포함하는 경우 대해서 구체적으로 설명한다. 부분 복호화 정보 생성기(310)는 부분 복호화를 수행할 영역의 위치와 크기 정보를 기반으로 하나 이상의 복호화 대상 타일을 구성하는 최초 타일(좌상측 타일)의 식별정보와 최후 타일(우하측 타일)의 식별정보를 이용하여 비트스트림의 헤더 내 상응하는 신택스를 갱신할 수 있다. 이에 따라, 복호화 장치(320)는 입력 비트스트림의 헤더에 포함된 최초 타일의 식별정보와 최후 타일의 식별정보를 복호화하여 이를 기반으로 복호화 대상 타일을 결정할 수 있다.
도 9를 참조하여 예를 들어 설명한다. 도 9는 부호화된 픽처 내 디스플레이 영역 및 복호화 대상 타일을 나타내는 다른 예시도이다.
도 9에는 0번부터 11번까지의 식별정보를 갖는 복수의 타일로 분할되어 부호화된 픽처가 도시되어 있다. 디스플레이 영역(910)에 따라 결정되는 복호화 대상 타일(920)은 0번, 1번, 2번, 4번, 5번 및 6번 타일로 구성된다. 이 경우, 부분 복호화 정보 생성기(310)가 최초 타일의 식별정보(0번) 및 최후 타일의 식별정보(6번)를 이용하여 비트스트림 헤더 내 상응하는 신택스를 갱신시켜 복호화 장치(320)로 전달하게 된다. 이에 따라, 복호화 장치(320)는 최초 타일 및 최후 타일이 각각 좌상측 타일 및 우하측 타일로 구성되는 타일 영역을 복호화 대상 타일(920)로 결정하여 0번, 1번, 2번, 4번, 5번 및 6번 타일을 복호화하게 된다.
본 실시예에 따른 복호화 장치(320)는 독립타일의 식별정보가 불연속적으로 되어 있더라도, 공간적 구성을 참조하여 연속적으로 변경한 뒤 부분 복호화를 수행할 수 있다.
본 실시예에서도 부분 복호화를 수행할지 여부를 나타내는 제1 정보를 아래 3가지 형태로 나타낼 수 있다.
i) NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보(nal_unit_type)로 표시
ii) 별도의 플래그(pd_enabled_flag)로 표시
iii) 별도로 시그널링하지 않고 제2 정보를 이용하여 부분 복호화 수행 여부를 판단
iii)의 경우, 본 실시예에서는 최초 타일의 식별정보 및 최후 타일의 식별정보에 의해 부분 복호화를 수행할 타일이 지시될 때, 지시되는 타일을 복호화 대상 타일로 결정할 수 있다. 예컨대, 최초 타일 번호 및 최후 타일 번호 중 어느 하나가 픽처를 분할하는 복수의 타일들의 타일 번호 중 어느 하나와 일치하면, 부분 복호화를 수행하는 것으로 판단할 수 있다. 반대로, 최초 타일 번호 및 최후 타일 번호 모두가 픽처를 분할하는 복수의 타일들의 타일 번호 중 어느 것과도 일치하지 않는 경우(예: 모두 null값을 갖는 경우)에는 부분 복호화를 수행하지 않는 것으로 판단할 수 있다.
본 실시예에 따른 NAL 유닛 헤더의 일례는 표 9와 같다.
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
topleft_tile_id
bottomright_tile_id
...
}
표 9를 참조하면, 최초 타일의 식별정보는 topleft _tile_id로 표시될 수 있고, 최후 타일의 식별정보는 bottomright _tile_id로 표시될 수 있다.마찬가지로, 본 실시예에서도 제2 정보는 표 9와 같이 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함될 수도 있으나, 특정 조건을 만족할 때에만 포함될 수도 있다. NAL 유닛 타입 정보가 VCL에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 10과 같고, NAL 유닛 타입 정보가 I 슬라이스에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 11과 같다.
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
if (nal_unit_type == VCL) {
topleft_tile_id
bottomrigh_tile_id
}
}
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
if (nal_unit_type == I slice) {
topleft_tile_id
bottomrigh_tile_id
}
}
도 10은 360 영상의 디스플레이 영역(1010)을 나타내는 예시도이다. 도 11은 360 영상 내 디스플레이 영역의 위치를 표현하기 위한 좌표축을 나타내는 도면이다.도 10의 디스플레이 영역(1010)은 도 11과 같이 3차원 공간 상의 원점을 기준으로 x축, y축, 및 z 축 방향을 회전축으로 한 회전 정도로 표현할 수 있다. pitch는 가로축(y축)을 기준으로 한 회전 정도를 나타내고, yaw는 세로축(z축)을 기준으로 한 회전 정도를 나타내며, roll은 구의 중심점으로부터 pitch-yaw 평면에 대한 수직 방향의 축을 기준으로 한 회전 정도를 표현한다.
360 영상의 부분 복호화를 수행하기 위해서도 복호화 장치(320)는 부분 복호화를 수행할지 여부는 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보를 필요로 한다. 360 영상의 경우에도 전술한 다른 실시예들과 마찬가지로, 제1 정보를 3가지 형태로 나타낼 수 있으므로 이에 대한 구체적인 설명은 생략한다.
본 실시예에 따른 NAL 유닛 헤더의 일례는 표 12와 같다.
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
yaw
roll
pitch
delta_yaw
delta_pitch
...
}
표 12를 참조하면, 부분 복호화를 수행할 지 여부를 나타내는 제1 정보는 nal_unit_type으로 표시되고, 디스플레이 영역의 위치정보는 yaw, roll, 및 pitch로 표시되며, 디스플레이 영역의 크기정보는 delta_pitch(디스플레이 영역의 가로축 방향의 크기) 및 delta_yaw(디스플레이 영역의 세로축 방향의 크기)로 표시될 수 있다.yaw 및 pitch에 의해 3D 공간 상의 기준점이 특정될 수 있고, delta_pitch 및 delta_yaw에 의해 기준점으로부터의 폭과 높이가 정해진다. 그리고 yaw, pitch, delta_pitch 및 delta_yaw에 의해 정의되는 영역의 중심점과 구의 원점을 잇는 선분을 축으로 해당 영역을 roll에 의해 지시되는 값만큼 회전시킴으로써, 3D 공간 상에서의 디스플레이 영역이 정해진다. 복호화 대상 타일은 3D 공간 상에서 정의된 디스플레이 영역을 2D로 투영하였을 때, 2D로 투영된 디스플레이 영역과 오버랩되는 하나 이상의 타일로 정의될 수 있다.
마찬가지로, 본 실시예에서도 제2 정보는 표 12와 같이 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함될 수도 있으나, 특정 조건을 만족할 때에만 포함될 수도 있다. NAL 유닛 타입 정보가 VCL에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 13과 같고, NAL 유닛 타입 정보가 I 슬라이스에 해당하는 조건이 있는 경우에 대한 NAL 유닛 헤더의 일례는 표 14와 같다.
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
if (nal_unit_type == VCL) {
yaw
roll
pitch
delta_yaw
delta_pitch
}
}
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
if (nal_unit_type == I slice) {
yaw
roll
pitch
delta_yaw
delta_pitch
}
}
본 실시예에서도 HEVC 표준에 정의된 6가지의 NAL 유닛 타입 정보에 더하여 부분 복호화(PD: Partial Decoding) 여부를 나타내는 정보를 포함하는 총 12가지의 I 슬라이스에 대한 NAL 유닛 타입 정보를 정의할 수 있다. 이는 표 5와 같다. 편의상, 본 발명에서는 HEVC 표준을 기준으로 부분 복호화 여부를 나타내는 NAL 유닛 타입을 정의하였으나, 이에 한정되는 것은 아니다. 즉, NAL 유닛 타입 중 부분 복호화 여부를 나타내는 특정 NAL 유닛 타입으로 정의도 가능하며, 표 5는 예시에 불과하다.도 12는 2차원 평면에 투영된 360 영상 내 디스플레이 영역(1210) 및 복호화 대상 타일(1220)을 나타내는 예시도이다. 복호화 장치(320) 또는 부분 복호화 정보 생성기(310)는 3차원 공간 상의 디스플레이 영역(1010)에 대한 위치정보 및 크기정보로부터 2차원 평면에 투영된 디스플레이 영역(1210)의 픽셀 위치를 결정할 수 있다.
360 영상의 디스플레이 영역에 대한 위치정보 및 크기정보는 표 12 내지 표 14와 같이 3차원 공간 상의 위치정보 및 크기정보로 나타낼 수 있지만, 2차원 평면 상의 위치정보 및 크기정보로도 나타낼 수 있다. 도 13을 참조하여 설명한다.
도 13은 2차원 평면에 투영된 360 영상 내 디스플레이 영역(1310) 및 복호화 대상 타일(1330)을 나타내는 다른 예시도이다.
부분 복호화 정보 생성기(310)는 디스플레이 영역(1310)을 도 13의 점선 사각형(1320)으로 확장하고, 점선 사각형(1320)의 위치정보 및 크기정보를 복호화 대상 영역(타일)을 지시하기 위한 제2 정보로 사용할 수 있다. 이 때, 표 2 내지 표4 및 표 6 내지 표 8에 기재된 신택스 u_ pos , v_ pos , u_width, v_height은 점선 사각형(1320)에 대한 것으로 대체된다.
예컨대, 부분 복호화 정보 생성기(310)는 부분 복호화 수행이 결정되면, 디스플레이 영역(1310)의 위치정보 및 크기정보를 대체하여, 디스플레이 영역(1310)으로부터 확장된 점선 사각형(1320)의 위치정보 및 크기정보로 비트스트림의 헤더 내 상응하는 신택스 값을 변경할 수 있다. 여기서, 위치정보는 점선 사각형(1320)의 기준점의 위치를 나타내고, 크기정보는 기준점으로부터의 폭과 높이를 나타낸다. 이 경우, 부분 복호화부(324)는 위치정보에 따른 기준점의 위치로부터 크기정보에 따른 폭과 높이만큼 연장되어 형성되는 영역으로 점선 사각형(1320)을 정의하고, 점선 사각형(1320)과 오버랩되는 영역을 갖는 타일을 복호화 대상 타일로 결정할 수 있다.
이와 달리, 부분 복호화 정보 생성기(310)는 디스플레이 영역(1310)의 위치정보 및 크기정보를 대체하여, 점선 사각형(1320)의 좌상측 꼭지점 및 우하측 꼭지점에 대한 정보로 비트스트림의 헤더 내 상응하는 신택스 값을 변경할 수도 있다. 이 경우, 부분 복호화부(324)는 좌상측 꼭지점 및 우하측 꼭지점으로부터 연장되어 형성되는 영역을 점선 사각형(1320)으로 정의하고, 점선 사각형(1320)과 오버랩되는 영역을 갖는 타일을 복호화 대상 타일로 결정할 수 있다.
다른 실시예로, 디스플레이 영역(1310)을 도 13의 점선 사각형(1320)으로 확장하고, 점선 사각형(1320)을 이용하여 표 9 내지 표 11에 정의된 최초 타일의 식별정보(topleft_tile_id)와 최후 타일의 식별정보(bottomright _tile_id)를 설정할 수도 있다. 이 경우, 부분 복호화 정보 생성기(310)는 최초 타일의 식별정보로서 점선 사각형(1320)의 좌상측 꼭지점을 포함한 타일의 식별정보와, 최후 타일의 식별정보로서 점선 사각형(1320)의 우하측 꼭지점을 포함한 타일의 식별정보로 비트스트림 내 상응하는 신택스 값을 변경할 수 있다. 부분 복호화부(324)는 최초 타일의 식별정보에 의해 식별되는 타일을 좌상측 타일로, 최후 타일의 식별정보에 의해 식별되는 타일을 우하측 타일로 설정함으로써, 복호화 대상 타일로 결정할 수 있다.
또 다른 실시예로, 디스플레이 영역(1310)은 디스플레이 영역(1310)의 네 꼭지점의 위치정보(픽셀 위치정보)로도 표현될 수도 있다. 이 경우, 부분 복호화 정보 생성기(310)는 디스플레이 영역(1310)의 네 꼭지점의 위치정보(픽셀 위치정보)로 비트스트림 내 상응하는 신택스 값을 변경하고, 부분 복호화부(24)는 네 꼭지점의 위치정보를 이용하여 디스플레이 영역(1310)을 정의하여 디스플레이 영역(1310)과 오버랩되는 영역을 갖는 타일을 복호화 대상 타일로 결정할 수 있다.
또 다른 실시예로, 디스플레이 영역(1310)은 디스플레이 영역(1310)의 네 꼭지점을 포함한 좌상측 타일, 우상측 타일, 좌하측 타일 및 우하측 타일의 식별정보로 표현될 수 있다. 이 경우, 부분 복호화 정보 생성기(310)는 디스플레이 영역(1310)의 네 꼭지점을 포함한 좌상측 타일, 우상측 타일, 좌하측 타일 및 우하측 타일의 식별정보로 비트스트림 내 상응하는 신택스 값을 변경할 수 있다. 부분 복호화부(324)는 좌상측 타일, 우상측 타일, 좌하측 타일 및 우하측 타일의 식별정보를 이용하여 디스플레이 영역(1310)을 정의하고, 디스플레이 영역(1310)과 오버랩되는 영역을 갖는 타일을 복호화 대상 타일로 결정할 수 있다.
도 14는 부호화된 픽처 내 디스플레이 영역(1410), 디스플레이 영역 외 추가 영역(1420) 및 복호화 대상 타일(1430)을 나타내는 예시도이다.
부분 복호화 시, 사용자의 급격한 시점 이동에 따라 부분 복호화가 수행될 하나 이상의 복호화 대상 타일 이외의 나머지 영역(이하, '추가 영역'이라 지칭함)에 대한 복호화도 필요한 경우가 있다. 추가 영역(1420)이 없는 경우, 전술한 바와 같이 복호화 대상 타일만을 복호화하면 되지만, 추가 영역(1420)이 존재하는 경우에는 디스플레이 영역(1410) 및 추가 영역(1420)을 모두 포함하는 타일들이 복호화되어야 한다.
이에 따라, 부분 복호화를 수행할 타일을 지시하기 위한 제2 정보에는 디스플레이 영역(1410) 이외의 추가 영역(1420)을 지시하기 위한 정보가 더 포함될 수 있다. 추가 영역(1420)을 지시하기 위한 정보는 디스플레이 영역의 크기에 대한 비율(예: 1.5, 2.0) 또는 절대적 크기(예: 100, 150)로 정의될 수 있다. 추가 영역(1420)을 지시하기 위한 정보는 SPS, PPS, SEI, 슬라이스 헤더, 및 NAL 유닛 헤더 중 하나 이상의 위치에 부호화될 수 있다. 본 실시예에서 복호화 대상 타일은 디스플레이 영역(1410) 및 추가 영역(1420)을 포함하는 하나 이상의 타일로 결정될 수 있다.
이하, 도 15를 참조하여 도 3의 영상 복호화부(322)가 결정된 각각의 복호화 대상 타일을 복호화하여 영상을 복원하는 과정에 대하여 설명한다. 도 15는 본 발명의 실시예에 따른 영상 복호화부(322)의 세부 구성요소에 대한 블록도이다.
영상 복호화부(322)는 복호화부(1510), 역양자화부(1520), 역변환부(1530), 예측부(1540), 가산기(1550), 필터부(1560) 및 메모리(1570)를 포함한다. 도 15에 도시된 구성요소들은 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실행하도록 구현될 수도 있다.
복호화부(1510)는 도 3의 부분 복호화부(324)의 기능도 수행할 수 있는 하나의 통합적인 구성요소로 구현될 수도 있다. 복호화부(1510)는 비트스트림을 복호화하여 부분 복호화와 관련된 정보를 추출함으로써, 픽처 전체가 아닌 복호화 대상 타일만이 복호화되도록 하거나, 비트스트림 전체가 아닌 부분 복호화를 위해 재구성된 비트스트림만이 복호화되도록 할 수 있다.
복호화부(1510)는 복호화 대상 타일이나 재구성된 비트스트림을 복원하기 위해 필요한 예측 정보와 잔차신호에 대한 정보 등을 추출한다. 복호화부(1510)는 SPS 또는 PPS와 같은 하이 레벨 신택스로부터 CTU(Coding Tree Unit) 사이즈에 대한 정보를 추출하여 CTU의 크기를 결정하고, 복호화 대상 타일을 결정된 크기의 CTU로 분할한다. 그리고 CTU를 트리 구조의 최상위 레이어, 즉, 루트 노드로 결정하고, CTU에 대한 분할 정보를 추출함으로써 트리 구조를 이용하여 CTU를 분할한다.
복호화부(1510)는 트리 구조의 분할을 통해 복호화하고자 하는 현재블록을 결정하게 되면, 현재블록이 인트라 예측되었는지 아니면 인터 예측되었는지를 지시하는 예측 타입에 대한 정보를 추출한다. 복호화부(1510)는 예측 타입 정보가 인트라 예측을 지시하는 경우, 현재블록의 인트라 예측정보(인트라 예측 모드)에 대한 신택스 요소를 추출하고, 예측 타입 정보가 인터 예측을 지시하는 경우, 인터 예측정보에 대한 신택스 요소를 추출한다.
한편, 복호화부(1510)는 잔차신호에 대한 정보로서 현재블록의 양자화된 변환계수들에 대한 정보를 추출한다.
역양자화부(1520)는 양자화된 변환계수들을 역양자화하고, 역변환부(1530)는 역양자화된 변환계수들을 주파수 도메인으로부터 공간 도메인으로 역변환하여 잔차신호들을 복원함으로써 현재블록에 대한 잔차블록을 생성한다.
예측부(1540)는 인트라 예측부(1542) 및 인터 예측부(1544)를 포함한다. 인트라 예측부(1542)는 현재블록의 예측 타입인 인트라 예측일 때 활성화되고, 인터 예측부(1544)는 현재블록의 예측 타입인 인트라 예측일 때 활성화된다.
인트라 예측부(1542)는 복호화부(1510)로부터 추출된 인트라 예측 모드에 대한 신택스 요소로부터 복수의 인트라 예측 모드 중 현재블록의 인트라 예측 모드를 결정하고, 인트라 예측 모드에 따라 현재블록 주변의 참조 픽셀들을 이용하여 현재블록을 예측한다.
인터 예측부(1544)는 복호화부(1510)로부터 추출된 인터 예측 모드에 대한 신택스 요소를 이용하여 현재블록의 움직임정보를 결정하고, 결정된 움직임정보를 이용하여 현재블록을 예측한다.
가산기(1550)는 역변환부(1530)로부터 출력되는 잔차블록과 인터 예측부(1544) 또는 인트라 예측부(1542)로부터 출력되는 예측블록을 가산하여 현재 블록을 복원한다. 복원된 현재 블록 내의 픽셀들은 이후에 복호화할 블록을 인트라 예측할 때의 참조픽셀로서 활용된다.
필터부(1560)는 블록 단위의 복호화로 인해 발생하는 블록킹 현상(blocking artifact)를 제거하기 위해 복원된 블록 간의 경계를 디블록킹 필터링하고 메모리(1570)에 저장한다. 한 픽처 내의 모든 블록들이 복원되면, 복원된 픽처는 이후에 복호화하고자 하는 픽처 내의 블록을 인터 예측하기 위한 참조 픽처로 사용된다.
지금까지는 도 3에서 도시하는 바와 같이, 복호화 장치(320)가 입력 비트스트림에 포함된 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정하고, 복호화 대상 타일에 해당하는 영상 데이터를 복호화하는 영상 복호화 방법에 대하여 설명하였다. 이하, 도 16을 참조하여 복호화 장치 전단에서 복호화 대상 타일을 결정하고, 복호화 장치는 이미 결정된 복호화 대상 타일에 대하여 복호화를 수행하는 경우에 대하여 설명한다.
도 16은 본 발명의 다른 실시예에 따른 영상 복호화 시스템에 대한 블록도이다. 영상 복호화 시스템은 부분 복호화 정보 생성기(1610) 및 복호화 장치(1620)를 포함할 수 있다. 영상 복호화 시스템의 각 구성요소는 하드웨어 칩으로 구현될 수 있으며, 또는 소프트웨어로 구현되고 마이크로프로세서가 각 구성요소에 대응하는 소프트웨어의 기능을 실현하도록 구현될 수도 있다.
부분 복호화 정보 생성기(1610)는 부분 복호화 수행을 결정하는 외부 제어 신호에 따라서, 부호화 장치로부터 수신한 비트스트림에서 복호화되어야 하는 일부분을 추출하여 재구성한 후, 복호화 장치(1620)에 전달한다. 이하, 부분 복호화 정보 생성기(1610)에 의해 재구성된 비트스트림을 입력 비트스트림이라 지칭한다. 부분 복호화를 결정하는 외부 제어 신호는 외부 사용자의 입력, 관심영역 추출 기법 또는 서비스 시나리오에 의한 사전 지정 값 등에 따라 발생하는 신호를 의미할 수 있다.
복호화 장치(1620)는 부분 복호화 정보 생성기(1610)로부터 입력 비트스트림을 수신하여 이를 복호화한다.
본 실시예에서는 부분 복호화를 위해 비트스트림이 재구성되었음을 나타내는 정보를 복호화 장치(1620)로 전달하기만 하면 된다. 부분 복호화 정보 생성기(1610)는 부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 비트스트림의 재구성을 알리는 정보를 설정함으로써, 입력 비트스트림을 생성한다. 입력 비트스트림은 복호화 장치(1620)로 전달된다. 여기서, 기 지정된 필드는 부분 복호화 정보와 관련된 신택스 요소들을 위해서 사용되는 데이터 영역을 의미하며, 부호화 장치에 의해 의미없는 값(null 또는 default 값)으로 부호화된다. 이후, 부분 복호화 수행이 결정되면, 부분 복호화 정보 생성기(1610)에 의해 의미있는 값으로 재설정된다.
본 실시예에 따른 NAL 유닛 헤더의 일례는 표 15와 같다.
nal_unit_header(　) { Descriptor
forbidden_zero_bit f(1)
nal_unit_type u(6)
... ...
pd_enbled_flag
...
}
표 15를 참조하면, pd_ enalbed _flag는 부분 복호화를 위하여 비트스트림이 재구성되었는지 여부를 나타낸다. 표 15에서는 pd_enabled_flag가 아무 조건 없이(즉, NAL 유닛 타입 정보가 VCL인지 또는 non-VCL인지와 무관하게) 항상 비트스트림의 헤더에 포함되는 경우를 나타내고 있으나, 본 실시예도 다른 실시예들과 마찬가지로 특정 조건을 만족할 때에만 포함될 수도 있다. 즉, NAL 유닛 타입 정보가 VCL에 해당하는 경우 또는 NAL 유닛 타입 정보가 I 슬라이스에 해당하는 경우에 포함될 수도 있다.본 실시예에서는 I 슬라이스를 나타내는 NAL 유닛 타입 정보가 HEVC 표준과 동일하게 6가지 존재한다.
다른 실시예로, 별도의 플래그(pd_enabled_flag)가 아닌 부분 복호화를 위한 특정 NAL 유닛 타입 정보를 정의할 수도 있다. 이 경우, 복호화 장치(1620)는 독립 타일의 식별정보가 불연속적으로 되어 있더라도, 전송 오류가 아닌 부분 복호화가 발생한 것으로 간주하여 부분 복호화를 수행할 수 있다.
도 16의 복호화 장치(1620)가 재구성된 비트스트림으로부터 타일 관련 신택스 요소들(표 1 참조)을 복호화하여 픽처를 복수의 타일로 분할하고, 각 타일에 대하여 복호화를 수행하는 과정은 도 15를 참조하여 설명한 내용과 유사하므로 이에 대한 구체적인 설명은 생략한다.
전술한 부분 복호화 정보 생성기가 본 발명에 따른 영상 복호화 시스템에 포함되는 것으로 도시되어 있으나, 반드시 이에 한정되는 것은 아니고 외부에 별도로 구현될 수도 있다.
한편, 전술한 실시예들과 같이 비디오에 대한 부분 복호화가 수행될 경우, 오디오에 대한 복호화는 다음과 같이 수행될 수 있다.
우선, 비디오의 부분 복호화 영역에 해당하는 위치 등의 정보를 이용하여, 해당 위치에 맵핑되는 오디오가 선택하고, 선택된 오디오를 복호화하여 출력할 수 있다. 특히, 360 영상, 파노라믹뷰 영상 또는 기타 공간적 특징을 갖는 영상들은 최근 3D 오디오, 멀티채널 오디오, 멀티 트랙 오디오 등 다양한 포맷의 오디오와 함께 서비스 되고 있다. 예를 들어, 360 공간에서 특정 시점에 해당하는 위치와 각도, 거리에 따른 다양한 방식의 오디오가 제공 가능하다.
따라서, 이러한 영상에 대하여 부분 복호화가 시행될 경우, 부분 복호화 영역은 부분 복호화 정보 생성부에 의해 사전에 결정되어 그 위치정보가 비디오 및 오디오 부호화부로 전달될 수 있다. 전달된 위치정보를 기반으로 비디오의 부분 복호화가 수행되고, 해당 위치, 각도, 거리에 맞는 오디오 복호화가 실시된다. 이때 부분 복호화 정보 생성부는 해당 위치 정보를 오디오 부호화부에 직접 전달할 수 도 있고, 해당 위치의 오디오 트랙, 코멘트리 등의 별도 스트림을 선택하여 오디오 부호화부에 전달할 수 도 있다.
이러한 방법으로 시점에 따른 부분 복호화와 위치에 따른 오디오 스트림 혹은 트랙 혹은 코멘트리 복호화를 결합함으로써, 사용자로 하여금 완전히 몰입하도록 할 수 있는 초실감 미디어 서비스가 가능하다.
도 4 및 도 6 내지 도 8에서는 각 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4 및 도 6 내지 도 8에 기재된 과정을 변경하여 실행하거나 하나 이상의 과정을 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4 및 도 6 내지 도 8는 시계열적인 순서로 한정되는 것은 아니다.
도 4 및 도 6 내지 도 8에 기재된 본 실시예에 따른 영상 복호화 방법은 컴퓨터 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 복호화 방법을 구현하기 위한 컴퓨터 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨팅 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은, 본 명세서에 그 전체가 참고로서 포함되는, 2017년 02월 22일 한국에 출원한 특허출원번호 제10-2017-0023802호, 및 2017년 03월 21일 한국에 출원한 특허출원번호 제10-2017-0035579호에 대해 우선권을 주장한다.

Claims (13)

  1. 복수의 타일로 분할되어 부호화된 픽처를 복호화 장치에서 복호화하는 방법에 있어서,
    입력 비트스트림에 포함된 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정하는 단계; 및
    상기 복수의 타일 중 상기 복호화 대상 타일에 해당하는 영상 데이터를 복호화하는 단계를 포함하되,
    상기 부분 복호화 정보는, 부분 복호화를 수행할지 여부를 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  2. 제1항에 있어서,
    상기 부분 복호화 정보는,
    부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 또는 디폴트(default)로 설정된 값이거나, 또는
    상기 비트스트림의 기 지정된 필드에 널(null) 또는 디폴트(default)로 설정된 값을 상기 복호화 장치와 통신 가능한 부분 복호화 정보 생성기가 재설정한 값인 것을 특징으로 하는, 영상 복호화 방법.
  3. 제1항에 있어서,
    상기 부분 복호화 정보는 상기 입력 비트스트림의 헤더에 포함되고,
    상기 입력 비트스트림의 헤더는 NAL 유닛 헤더, SPS, PPS 및 SEI 중 어느 하나인 것을 특징으로 하는, 영상 복호화 방법.
  4. 제3항에 있어서,
    상기 복호화 대상 타일을 결정하는 단계는,
    상기 NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보를 상기 제1 정보로서 복호화하는 단계;
    상기 NAL 유닛 타입 정보가 부분 복호화를 허용하지 않는 NAL 유닛을 지시할 때, 상기 복수의 타일 전체를 상기 복호화 대상 타일로 결정하는 단계; 및
    상기 NAL 유닛 타입 정보가 부분 복호화를 허용하는 NAL 유닛을 지시할 때, 상기 NAL 유닛 헤더로부터 상기 제2 정보를 복호화하고, 상기 제2 정보에 의해 지시되는 영역을 포함하는 타일을 상기 복호화 대상 타일로 결정하는 단계를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  5. 제3항에 있어서,
    상기 복호화 대상 타일을 결정하는 단계는,
    상기 입력 비트스트림의 헤더로부터 부분 복호화를 수행할지 여부를 지시하는 플래그를 상기 제1 정보로서 복호화하는 단계;
    상기 플래그가 부분 복호화를 지시하지 않을 때, 상기 복수의 타일 전체를 상기 복호화 대상 타일로 결정하는 단계; 및
    상기 플래그가 부분 복호화를 지시할 때, 상기 입력 비트스트림의 헤더로부터 상기 제2 정보를 복호화하고, 상기 제2 정보에 의해 지시되는 영역을 포함하는 타일을 상기 복호화 대상 타일로 결정하는 단계를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  6. 제3항에 있어서,
    상기 복호화 대상 타일을 결정하는 단계는,
    상기 입력 비트스트림의 헤더로부터 상기 제2 정보를 복호화하고, 부분 복호화를 수행할 영역이 상기 제2 정보에 의해 지시되는지 여부를 판단하는 단계;
    상기 부분 복호화를 수행할 영역이 상기 제2 정보에 의해 지시되지 않을 때, 상기 복수의 타일 전체를 상기 복호화 대상 타일로 결정하는 단계; 및
    상기 부분 복호화를 수행할 영역이 상기 제2 정보에 의해 지시될 때, 상기 제2 정보에 의해 지시되는 영역을 포함하는 타일을 상기 복호화 대상 타일로 결정하는 단계를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  7. 제1항에 있어서,
    상기 제2 정보는,
    디스플레이 영역의 위치정보 및 크기정보를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  8. 제7항에 있어서,
    상기 위치정보는 2차원 평면인 상기 픽처 내의 또는 3차원 공간 내의 기준점의 위치를 포함하고, 상기 크기정보는 상기 기준점으로부터의 폭과 높이를 포함하며,
    상기 복호화 대상 타일은, 상기 위치정보 및 상기 크기정보에 의해 정의되는 상기 디스플레이 영역과 오버랩되는 영역을 갖는 하나 이상의 타일로 결정되는 것을 특징으로 하는, 영상 복호화 방법.
  9. 제7항에 있어서,
    상기 제2 정보는 상기 디스플레이 영역 이외의 추가 영역을 지시하기 위한 정보를 더 포함하고,
    상기 추가 영역은 상기 디스플레이 영역의 크기에 대한 비율 또는 절대적 크기로 정의되며,
    상기 복호화 대상 타일은 상기 디스플레이 영역 및 상기 추가 영역 중 적어도 하나와 오버랩되는 영역을 갖는 하나 이상의 타일로 결정되는 것을 특징으로 하는, 영상 복호화 방법.
  10. 제1항에 있어서,
    상기 제2 정보는,
    상기 하나 이상의 복호화 대상 타일을 구성하는 최초 타일 및 최후 타일의 식별정보를 포함하는 것을 특징으로 하는, 영상 복호화 방법.
  11. 제10항에 있어서,
    상기 복호화 대상 타일은,
    상기 최초 타일 및 최후 타일이 각각 좌상측 타일 및 우하측 타일로 구성되는 타일 영역에 속하는 하나 이상의 타일로 결정되는 것을 특징으로 하는, 영상 복호화 방법.
  12. 제3항에 있어서,
    상기 제1 정보 및 상기 제2 정보는, 상기 NAL 유닛 헤더에 포함된 NAL 유닛 타입 정보가 VCL 또는 I 슬라이스에 해당하는 경우에 상기 입력 비트스트림의 헤더에 포함되는 것을 특징으로 하는, 영상 복호화 방법.
  13. 복수의 타일로 분할되어 부호화된 픽처를 복호화하는 영상 복호화 시스템에 있어서,
    부호화 장치로부터 수신한 비트스트림의 기 지정된 필드에 널(null) 값 또는 디폴트(default) 값으로 설정된 부분 복호화 정보를, 부분 복호화 수행을 결정하는 외부 제어신호에 따라 재설정함으로써 입력 비트스트림을 생성하는 부분 복호화 정보 생성기; 및
    상기 입력 비트스트림에 포함된 상기 부분 복호화 정보를 복호화함으로써, 하나 이상의 복호화 대상 타일을 결정하고, 상기 복수의 타일 중 상기 복호화 대상 타일에 해당하는 영상 데이터를 복호화하는 복호화 장치를 포함하되,
    상기 부분 복호화 정보는, 부분 복호화를 수행할지 여부를 나타내는 제1 정보 및 부분 복호화를 수행할 영역을 지시하기 위한 제2 정보 중 적어도 하나를 포함하는 것을 특징으로 하는, 영상 복호화 시스템.
PCT/KR2018/002219 2017-02-22 2018-02-22 영상 복호화 방법 및 장치 WO2018155939A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/547,013 US11509913B2 (en) 2017-02-22 2019-08-21 Method and apparatus for video decoding of area of interest in a bitstream
US17/964,527 US11985335B2 (en) 2017-02-22 2022-10-12 Method and apparatus for video decoding of area of interest in a bitstream
US17/964,593 US11991372B2 (en) 2017-02-22 2022-10-12 Method and apparatus for video decoding of area of interest in a bitstream
US17/964,568 US11985336B2 (en) 2017-02-22 2022-10-12 Method and apparatus for video decoding of area of interest in a bitstream
US17/964,512 US11985334B2 (en) 2017-02-22 2022-10-12 Method and apparatus for video decoding of area of interest in a bitstream

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170023802 2017-02-22
KR10-2017-0023802 2017-02-22
KR10-2017-0035579 2017-03-21
KR1020170035579A KR102424829B1 (ko) 2017-02-22 2017-03-21 비디오 데이터가 부호화된 비트스트림을 처리하는 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/547,013 Continuation US11509913B2 (en) 2017-02-22 2019-08-21 Method and apparatus for video decoding of area of interest in a bitstream

Publications (1)

Publication Number Publication Date
WO2018155939A1 true WO2018155939A1 (ko) 2018-08-30

Family

ID=63252828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/002219 WO2018155939A1 (ko) 2017-02-22 2018-02-22 영상 복호화 방법 및 장치

Country Status (3)

Country Link
US (4) US11985334B2 (ko)
KR (4) KR102490112B1 (ko)
WO (1) WO2018155939A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470479A (zh) * 2019-02-26 2021-03-09 株式会社 Xris 图像信号编码/解码方法及其装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013132048A (ja) * 2011-11-21 2013-07-04 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR20140057238A (ko) * 2011-08-25 2014-05-12 파나소닉 주식회사 타일 부호화 스킴을 이용한 영상 부호화, 추출 및 복호화 방법 및 장치
JP2014197795A (ja) * 2013-03-29 2014-10-16 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR20150058428A (ko) * 2012-09-18 2015-05-28 브이아이디 스케일, 인크. 타일 및 타일 그룹을 이용한 관심 영역 비디오 코딩
KR20150140360A (ko) * 2013-04-08 2015-12-15 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 관심 영역 코딩을 위한 움직임 제약된 타일 세트

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2516826B (en) 2013-07-23 2016-06-22 Canon Kk Method, device and computer program for encapsulating partitioned timed media data by creating tracks to be independently encapsulated in at least one media f
CN106233745B (zh) * 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
WO2015163456A1 (ja) 2014-04-25 2015-10-29 シャープ株式会社 画像復号装置、画像符号化装置、および、符号化データ変換装置
US10397666B2 (en) 2014-06-27 2019-08-27 Koninklijke Kpn N.V. Determining a region of interest on the basis of a HEVC-tiled video stream
KR102106103B1 (ko) * 2015-07-03 2020-05-04 에스케이 텔레콤주식회사 고 해상도 영상에서의 영상 추출 장치 및 방법
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
EP3293981A1 (en) * 2016-09-08 2018-03-14 Koninklijke KPN N.V. Partial video decoding method, device and system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140057238A (ko) * 2011-08-25 2014-05-12 파나소닉 주식회사 타일 부호화 스킴을 이용한 영상 부호화, 추출 및 복호화 방법 및 장치
JP2013132048A (ja) * 2011-11-21 2013-07-04 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR20150058428A (ko) * 2012-09-18 2015-05-28 브이아이디 스케일, 인크. 타일 및 타일 그룹을 이용한 관심 영역 비디오 코딩
JP2014197795A (ja) * 2013-03-29 2014-10-16 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR20150140360A (ko) * 2013-04-08 2015-12-15 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 관심 영역 코딩을 위한 움직임 제약된 타일 세트

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112470479A (zh) * 2019-02-26 2021-03-09 株式会社 Xris 图像信号编码/解码方法及其装置
US11716471B2 (en) 2019-02-26 2023-08-01 Apple Inc. Image signal encoding/decoding method and device for same

Also Published As

Publication number Publication date
KR20220106101A (ko) 2022-07-28
KR102489899B1 (ko) 2023-01-18
KR102453850B1 (ko) 2022-10-12
KR20220106732A (ko) 2022-07-29
KR20220106099A (ko) 2022-07-28
KR102489102B1 (ko) 2023-01-18
US11985336B2 (en) 2024-05-14
US20230047755A1 (en) 2023-02-16
US20230045606A1 (en) 2023-02-09
US11985335B2 (en) 2024-05-14
US11991372B2 (en) 2024-05-21
US20230039998A1 (en) 2023-02-09
KR20220107128A (ko) 2022-08-02
KR102490112B1 (ko) 2023-01-18
US20230040835A1 (en) 2023-02-09
US11985334B2 (en) 2024-05-14

Similar Documents

Publication Publication Date Title
WO2014163240A1 (ko) 동영상 처리 방법 및 장치
WO2020197236A1 (ko) 서브 픽처 핸들링 구조 기반 영상 또는 비디오 코딩
WO2020017840A1 (ko) Dmvr에 기반하여 인터 예측을 수행하는 방법 및 장치
WO2020189960A1 (ko) 크로마 포맷에 대한 정보를 시그널링 하는 방법 및 장치
WO2018128247A1 (ko) 360도 비디오에 대한 영상 코딩 시스템에서 인트라 예측 방법 및 장치
WO2020076066A1 (ko) 신택스 디자인 방법 및 신택스를 이용하여 코딩을 수행하는 장치
WO2020071793A1 (ko) Hmvp를 기반으로 예측 후보를 구성하는 방법 및 장치
WO2020141928A1 (ko) 영상 코딩 시스템에서 mmvd 에 따른 예측에 기반한 영상 디코딩 방법 및 장치
WO2021096057A1 (ko) 비디오 또는 영상 코딩 시스템에서의 엔트리 포인트 관련 정보에 기반한 영상 코딩 방법
WO2021225338A1 (ko) 영상 디코딩 방법 및 그 장치
WO2021118295A1 (ko) 루프 필터링을 제어하기 위한 영상 코딩 장치 및 방법
WO2019009600A1 (ko) 360도 비디오에 대한 영상 코딩 시스템에서 프로젝션 타입 기반 양자화 파라미터를 사용한 영상 디코딩 방법 및 장치
WO2019212230A1 (ko) 영상 코딩 시스템에서 블록 사이즈에 따른 변환을 사용하는 영상 디코딩 방법 및 그 장치
WO2018074813A1 (ko) 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2018155939A1 (ko) 영상 복호화 방법 및 장치
WO2020004879A1 (ko) 영상 코딩 시스템에서 복수의 주변 블록들을 사용하는 인터 예측에 따른 영상 디코딩 방법 및 장치
WO2019203533A1 (ko) 다중 움직임 모델을 고려한 인터 예측 방법 및 그 장치
WO2021206524A1 (ko) 영상 디코딩 방법 및 그 장치
WO2021118262A1 (ko) 픽처 레벨 또는 슬라이스 레벨에서 적용되는 영상 정보를 시그널링하는 방법 및 장치
WO2021137588A1 (ko) 픽처 헤더를 포함하는 영상 정보를 코딩하는 영상 디코딩 방법 및 그 장치
WO2018160034A1 (ko) 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2021118263A1 (ko) 영상 정보를 시그널링하는 방법 및 장치
WO2021107634A1 (ko) 픽처 분할 정보를 시그널링 하는 방법 및 장치
WO2021107638A1 (ko) 슬라이스 관련 정보를 시그널링하는 방법 및 장치
WO2021107637A1 (ko) 영상 정보를 시그널링하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18756947

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18756947

Country of ref document: EP

Kind code of ref document: A1