WO2015152503A1 - 영상 복호화 장치 및 그 방법 - Google Patents

영상 복호화 장치 및 그 방법 Download PDF

Info

Publication number
WO2015152503A1
WO2015152503A1 PCT/KR2015/000444 KR2015000444W WO2015152503A1 WO 2015152503 A1 WO2015152503 A1 WO 2015152503A1 KR 2015000444 W KR2015000444 W KR 2015000444W WO 2015152503 A1 WO2015152503 A1 WO 2015152503A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
region
list information
scaling list
decoded
Prior art date
Application number
PCT/KR2015/000444
Other languages
English (en)
French (fr)
Inventor
심동규
안용조
임웅
Original Assignee
인텔렉추얼디스커버리 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020140037579A external-priority patent/KR20150113524A/ko
Priority claimed from KR1020140037578A external-priority patent/KR20150113523A/ko
Application filed by 인텔렉추얼디스커버리 주식회사 filed Critical 인텔렉추얼디스커버리 주식회사
Priority to CN201580021689.9A priority Critical patent/CN106233725B/zh
Priority to US15/127,503 priority patent/US20170134743A1/en
Publication of WO2015152503A1 publication Critical patent/WO2015152503A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Definitions

  • the present invention relates to an image decoding apparatus and a method thereof.
  • Moving Picture Expert Group (MPEG) and Video Coding Expert Group (VCEG) formed Joint Collaborative Team on Video Coding (JCT-VC) and began developing next-generation video standard technology called High Efficiency Video Coding (HEVC) in 2010. .
  • the HEVC standard technology was completed in January 2013, and HEVC achieved about 50% improvement in compression efficiency over the H.264 / AVC High profile, which is known to have the highest compression performance of existing video compression standards.
  • RExt Range Extension
  • a technique such as intra block copy in order to effectively compress a computer generated content or a mixture of natural images and the like. This finds a signal similar to the current block in the existing intra prediction picture in the decoded peripheral area within the same picture and expresses it with the same syntax elements as the time axis prediction.
  • Conventional intra prediction is a zero-order prediction in which a differential signal is obtained by generating a prediction signal inside a block using neighboring reconstructed pixel values.
  • intra block copy technology uses a current block in a reconstruction region around the screen. By searching for the signal most similar to, the complexity is increased, but the compression performance is improved through high prediction performance.
  • Korean Patent Laid-Open Publication No. 1997-0046435 name of the invention: an outline extraction method and a coding method thereof) simplifies the boundary line of a zoned image by filtering a plurality of zoned images, and then smoothes them on a grid structure having a predetermined size.
  • a technique for extracting a full eight-way contour is disclosed.
  • HEVC Range extension standard is debating the support of various color formats and bit depths.
  • HEVC a technology that considers not only coding efficiency but also various coding / decoding required by next-generation video standards is adopted at the standardization stage.
  • coding / decoding process For example, there are new picture division units called tiles considering the parallelism of the decoding / decoding process, and techniques such as merge estimation region (MER) which guarantees parallelism of PU unit decoding.
  • MER merge estimation region
  • deblocking filters, sample adaptive offsets (SAO), scaling lists, and the like have been adopted to improve subjective picture quality.
  • Korean Patent Laid-Open Publication No. 2013-0077047 (name of the invention: an image encoding / decoding method and apparatus) derives a scale factor and a scale factor for a current block according to whether a current block is a transform skip block. Performing scaling on the current block based on the scaling factor of the current block based on the position of transform coefficients in the current block, and the transform skip block is a block without applying a transform to the current block.
  • the present invention discloses a technique that is specified based on information indicating whether to apply an inverse transform to a current block.
  • some embodiments of the present invention combine the intra-picture prediction mode and the intra-picture block copy mode-based technique to improve the existing intra-block copying technique, thereby using a different prediction mode for each divided region.
  • An object of the present invention is to provide an image decoding apparatus and method for generating the same.
  • the image decoding apparatus for one region including a block to be decoded in the image of the scaling list information separately set for each divided region of the image And an adaptive dequantization unit for performing dequantization on the decoded block by using the set scaling list information.
  • the image decoding apparatus may select a corresponding area corresponding to the current block in the already decoded area.
  • An area dividing unit for dividing into any form;
  • a prediction signal generator configured to generate a prediction signal for the current block based on the intra prediction mode or the intra block copy mode for each corresponding region divided by the area divider.
  • an image decoding method includes extracting scaling list information separately set for each divided region of an image from a bitstream; And performing inverse quantization on the decoded block by using scaling list information set for one region including the block to be decoded in the image among the scaling list information.
  • an image decoding method may include determining whether a current block to be decoded is encoded using a partial block copy mode of an intra prediction mode; Dividing a corresponding region corresponding to the current block in an already decoded region into an arbitrary form when encoded using the partial block copy mode; And generating a prediction signal for the current block based on the intra prediction mode or the intra block copy mode for each corresponding region divided in the dividing step.
  • an area for performing adaptive quantization may be more flexibly selected according to visual recognition characteristics.
  • the scaling list is transmitted by performing prediction and merging based on scaling list information set in an area corresponding to the current block in time or scaling list information set in an adjacent area spatially adjacent to the current block. The amount of information can be reduced.
  • it may contribute to improving subjective quality of the compressed / restored image.
  • the image may be effectively compressed / restored through geometric shapes such as the contour of the image and the distribution of pixel values, which may be a criterion of region segmentation during image encoding / decoding.
  • the intra prediction performance may be improved as a whole by generating the prediction signal based on the intra prediction mode or the intra block copy mode for each divided region.
  • FIG. 1 is a block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram for specifically describing an operation of the adaptive quantization unit selector illustrated in FIG. 1.
  • FIG. 3 is a diagram for specifically describing an operation of the adaptive quantization unit illustrated in FIG. 1.
  • FIG. 4 is a block diagram of the image decoding apparatus according to an embodiment of the present invention as a whole.
  • 5 is a diagram illustrating various examples of divided regions of an image.
  • FIG. 6 is a diagram illustrating various examples of scaling list information separately set for each divided region.
  • FIG. 7 is a diagram illustrating an example of a scan order and a scaling value for a block to be decoded in scaling list information.
  • FIG. 8 is a diagram illustrating another example of a scan order and a scaling value for a block to be decoded in scaling list information.
  • FIG. 9 is a diagram illustrating an example of differential scaling list information and predictive scaling list information.
  • 10 is a diagram illustrating an example of merging between scaling list information.
  • FIG. 11 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • FIG. 12 is a block diagram of an image encoding apparatus according to another embodiment of the present invention.
  • FIG. 13 is a block diagram of an image decoding apparatus according to another embodiment of the present invention as a whole.
  • FIG. 14 is a diagram for specifically describing an operation of some of the components illustrated in FIG. 13.
  • 15 is a diagram illustrating an example of a current block to be decoded and a corresponding region in a region that is already decoded.
  • FIG. 16 is a diagram illustrating an example of an area decoded in a divided correspondence area, an intra prediction mode, and an intra block copy mode.
  • FIG. 17 is a diagram illustrating an example of a divided corresponding region and a region decoded in an intra prediction mode.
  • 18 is a diagram illustrating an example of region flag information, a plurality of target blocks spatially adjacent to each other to form an arbitrary row, and lower blocks included in each target block.
  • 19 is a diagram illustrating an example of a process of decoding a current block including a unit block having a minimum size.
  • 20 is a flowchart illustrating an image decoding method according to another embodiment of the present invention.
  • FIG. 21 is a block diagram of an image encoding apparatus according to another embodiment. Referring to FIG. 21
  • FIG. 22 is a block diagram illustrating an image decoding apparatus according to another embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is composed of separate hardware or one software unit. That is, each component is described by listing each component for convenience of description, and at least two of the components may be combined to form one component, or one component may be divided into a plurality of components to perform a function. The integrated and separated embodiments of each of these components are also included within the scope of the present invention without departing from the spirit of the invention.
  • FIG. 1 is a block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • An image encoding apparatus includes an adaptive quantization unit selector 102, a transformer 103, an adaptive quantizer 104, an entropy encoder 105, and an inverse adaptive quantizer 106. ), An inverse transform unit 107, an intra prediction unit 108, an inter prediction unit 109, a loop filter unit 110, and a reconstructed image buffer 111.
  • the adaptive quantization unit selection unit 102 may classify an area for performing adaptive quantization by analyzing visual recognition characteristics of the input image 101 and select an image segmentation structure for transmitting scaling list information.
  • the adaptive quantizer 104 may analyze visual recognition characteristics of the difference signal transformed by the transform unit 103 based on the prediction result, and reference the scaling list information based on temporally or spatially adjacent image segmentation. You can make predictions.
  • the adaptive quantization unit 104 may perform adaptive quantization on the transform signal by using the scaling list information on which the prediction is performed, and determine whether to merge the corresponding information with temporally or spatially adjacent image segmentation. have.
  • the intra prediction unit 108 and the inter prediction unit 109 are based on the image segmentation structure selected by the adaptive quantization unit selection unit 102, and respectively, intra prediction and inter prediction modes. ) Based prediction can be performed.
  • the inter screen prediction unit 109 may perform the inter screen prediction mode using the information stored in the reconstructed image buffer 111 through the loop filter 110.
  • the quantized transform signal output from the adaptive quantization unit 104 described above is adaptive inverse quantized and inversely transformed through the adaptive inverse quantization unit 106 and the inverse transform unit 107, and thus, the intra prediction unit 108 or the inter-screen prediction.
  • the prediction signal output from the prediction unit 109 is transferred to the loop filter unit 110.
  • the quantized transform signal and the encoding information are output as a bitstream by the entropy encoder 105.
  • FIG. 2 is a diagram for specifically describing an operation of the adaptive quantization unit selector illustrated in FIG. 1.
  • the above-described adaptive quantization unit selection unit may include a cognitive characteristic analyzer 210 and an adaptive quantization region analyzer 220.
  • the cognitive characteristic analyzer 210 may analyze visual cognitive characteristics of the input image.
  • the cognitive characteristic analyzer 210 may consider visual cognitive characteristics such as a luminance adaptation effect, a contrast sensitivity function effect, a contrast masking effect, and the like.
  • the adaptive quantization region analyzer 220 may analyze and classify regions having similar characteristics in the image or regions to be adaptively quantized using the analyzed visual cognition characteristics.
  • the adaptive quantization unit selection unit may determine the image segmentation structure according to the operation of each detailed configuration, and set whether to use the scaling list information.
  • FIG. 3 is a diagram for specifically describing an operation of the adaptive quantization unit illustrated in FIG. 1.
  • the above-described adaptive quantization unit may include an adaptive quantization determiner 310, an adaptive quantization information predictor 320, an adaptive quantization performer 330, and an adaptive quantization information merger 340.
  • the adaptive quantization determiner 310 may determine whether the corresponding block is adaptive quantized in consideration of visual recognition characteristics of a block to be currently encoded.
  • the adaptive quantization unit 104 may perform adaptive quantization on the transform signal by using the scaling list information on which the prediction is performed, and determine whether to merge the corresponding information with temporally or spatially adjacent image segmentation.
  • the adaptive quantization information predictor 320 may perform prediction on the scaling list information for adaptive quantization based on temporally or spatially adjacent image segmentation.
  • the adaptive quantization performing unit 330 may use different or some different scaling values for the frequency components of the converted signal in the quantization process.
  • the adaptive quantization information merging unit 340 may determine whether to merge the corresponding scaling list information with the scaling list information of the temporally or spatially adjacent image segmentation.
  • FIG. 4 is a block diagram of the image decoding apparatus according to an embodiment of the present invention as a whole.
  • An image decoding apparatus includes an entropy decoder 401, an adaptive inverse quantizer 402, an inverse transform unit 403, a motion compensator 404, an intra prediction unit 405, and a loop.
  • the filter unit 406 and a reconstructed image buffer 407 may be included.
  • the entropy decoder 401 may receive the transmitted bitstream and perform entropy decoding on the transmitted bitstream.
  • the adaptive dequantization unit 402 may adaptively dequantize using the quantization coefficient among the information decoded by the entropy decoding unit 401 and the scaling list information corresponding to the image segmentation.
  • the motion compensator 404 when the current block to be decoded is encoded in the inter prediction mode, the motion compensator 404 generates a prediction signal based on the inter prediction mode, and when the current block is encoded in the intra prediction mode, the intra prediction unit ( 405 may generate the prediction signal based on the intra prediction mode.
  • the prediction mode information among the decoded information it is possible to distinguish which prediction mode is encoded in the current block, and the motion compensation unit 404 may refer to the information stored in the reconstructed image buffer 407.
  • the loop filter unit 406 performs filtering on the input reconstruction signal and transmits the reconstruction signal to the reconstruction image buffer 407, and the reconstruction signal is generated by the motion compensator 404 or the intra prediction unit 405. And the residual signal output from the inverse transform unit 403 may be obtained.
  • the image decoding apparatus may include the above-described adaptive inverse quantization unit and the entropy decoder.
  • the adaptive inverse quantization unit may perform inverse quantization on the decoded block by using the scaling list information set for one region including the block to be decoded in the corresponding image among the scaling list information separately set for each divided region of the image.
  • 5 is a diagram illustrating various examples of divided regions of an image.
  • Each scaling list information according to the present invention may be separately set for each divided region of an image, and the image segmentation may be variously performed as shown in FIG. 5.
  • the region may be generated by dividing an image into any one unit of a picture 510, a slice 520, a tile 530, or a quad-tree 540.
  • an image may be divided in picture units, and the picture 510 may be a divided area in the present invention.
  • each slice 521, 522, and 523 may be a divided region in the present invention.
  • each tile 531, 532, and 533 may be a divided area in the present invention.
  • each unit 541, 542, and 543 may be a divided region in the present invention.
  • FIG. 6 is a diagram illustrating various examples of scaling list information separately set for each divided region.
  • the image 610 is divided into slices, and the divided regions are represented by slice 0 611, slice 1 612, and slice 2 613, respectively.
  • the divided regions are set to ScalingList [0] 620 which are the same scaling list information, respectively.
  • the scaling list information is all the same.
  • slice 0 611 and slice 2 613 of the divided regions are each set to ScalingList [0] 620, which is the same scaling list information, and slice 1 612 is different scaling list information.
  • ScalingList [1] 630 is set. In this case, the scaling list information is partly the same and partly different.
  • the scaling list information of the slice 0 611 among the divided regions is set to ScalingList [0] 620 and the scaling list information of the slice 1 612 is set to ScalingList [1] 630.
  • the scaling list information of the slice 2 613 is set to ScalingList [2] 630. In this case, the scaling list information is all different.
  • the adaptive inverse quantization unit may adaptively perform inverse quantization for each region by using scaling list information set separately for each divided region.
  • the scaling list information may be separately set for each divided region based on a result of analyzing visual recognition characteristics of an image.
  • the visual cognitive characteristic may include at least one of a brightness adaptation phenomenon, a contrast sensitivity function phenomenon, and a contrast masking phenomenon.
  • the adaptive inverse quantization unit may perform inverse quantization on the decoded block by using the scaling list information set for one region including the decoded block.
  • FIG. 7 is a diagram illustrating an example of a scan order and a scaling value for a block to be decoded in scaling list information.
  • the adaptive inverse quantization unit may adaptively perform inverse quantization using scaling values in scaling list information set for one region including a block to be decoded in a corresponding image, and are decoded according to the scanning order in the above scaling list information. You can scan a block.
  • the scaling value according to an example may be separately set for each lower block based on the frequency characteristic of the lower block of the block to be decoded.
  • each subblock constituting the decoded block may mean one or more pixels or frequency components, which may be set differently according to the size and domain of the subblock.
  • the lowermost block located at the top left has a scaling value of 16
  • the lowermost block located at the bottom right has a scaling value of 18.
  • Each lower block may basically have a scaling value of 16.
  • the scaling value in the scaling list information 730 may be set separately for each lower block based on the fact that the lower block positioned at the upper left end shows the low frequency characteristic, and the lower block positioned at the lower right end shows the high frequency characteristic. have.
  • the scan order according to an example may be a raster order 710 or a Z-scan order 720.
  • a Z-scan order may be preferred.
  • the numbers 0 to 15 described in the lower blocks constituting the block to be decoded indicate the order of the blocks to be scanned according to each scan order.
  • the block to be decoded may have a size other than 4 * 4 size.
  • FIG. 8 is a diagram illustrating another example of a scan order and a scaling value for a block to be decoded in scaling list information.
  • the adaptive inverse quantization unit may adaptively perform inverse quantization using scaling values in scaling list information set for one region including a block to be decoded in a corresponding image, and are decoded according to the scanning order in the above scaling list information. You can scan a block.
  • the scaling value according to another example may be separately set for each lower block set (band) including two or more lower blocks based on the frequency characteristics of the lower blocks constituting the decoded block.
  • the number of lower block sets (bands) may be variably determined, and the scaling value may be separately set for each lower block set (band) based on frequency characteristics of the lower block sets (bands).
  • the scan order according to an example may be separately set for each lower block set (band), and each may follow a Z-scan order.
  • the scaling list information 811 to which the concept of the lower block set is not applied includes scaling values 16, 17, and 18 separately set for the 16 lower blocks.
  • the numbers 0 to 15 described in the lower blocks constituting the block 810 to be decoded indicate the order of the blocks to be scanned when following the Z-scan order.
  • the scaling list information 821 to which the two lower block sets are applied includes the scaling value 16 set for the first lower block set including the six lower blocks located at the upper left, and the ten lower blocks located at the lower right. It includes a scaling value 17 set for the second lower block set that includes.
  • the 0 and 1 numbers described in the lower blocks forming the block 820 to be decoded indicate the order of the blocks to be scanned when the Z-scan order is followed.
  • the scaling list information 831 to which the three lower block sets are applied includes the scaling value 16 set for the first lower block set including the four lower blocks located at the upper left and six lower blocks located in the middle.
  • the numbers 0 to 2 described in the lower blocks of the block 830 to be decoded indicate the order of the blocks to be scanned when the Z-scan order is followed.
  • the scaling list information 841 to which the four lower block sets are applied includes the scaling value 16 set for the first lower block set including the four lower blocks located at the upper left and four lower blocks located at the upper right.
  • a scaling value 18 set for is set for.
  • the numbers 0 to 3 described in the lower blocks constituting the block 840 to be decoded indicate the order of the blocks to be scanned when following the Z-scan order.
  • the block to be decoded may have a size other than 4 * 4 size, and the size of the lower block set may also vary.
  • the entropy decoding unit may extract the prediction scaling list information and the differential scaling list information generated separately for each divided region from the bitstream, and the extracted prediction scaling list information and the differential scaling list information are used by the adaptive dequantization unit. Can be.
  • the prediction scaling list information may include scaling list information set for a first region including a block in a reference image corresponding to a block to be decoded temporally and a second region including a neighboring block spatially adjacent to the decoded block. It may be selected from the set scaling list information.
  • the differential scaling list information may be generated from the difference between the predictive scaling list information and the scaling list information set for one region.
  • FIG. 9 is a diagram illustrating an example of differential scaling list information and predictive scaling list information.
  • one region 923 including a block to be decoded in the current image 920 is illustrated.
  • a first region 913 including a block in the reference image 910 corresponding to a block to be decoded temporally, and a second region including an adjacent block in the current image 920 that is spatially adjacent to the decoded block ( 921, 922 are shown.
  • the scaling list information 960 set for one region 923 is ScalingList T [..] [2] 961
  • the scaling list information 930 set for the first region 913 is ScalingList T ⁇ 1 [ ..] [2] 931
  • scaling list information 940 and 950 set for the second regions 921 and 922 are respectively ScalingList T [..] [0] 941 and ScalingList T [..]. ] [1] (951).
  • the predictive scaling list information is selected from any one of ScalingList T- 1 [..] [2] 931, ScalingList T [..] [0] 941, and ScalingList T [..] [1] (951).
  • ScalingDiffList T [..] [2] 980 which can be selected by 970, is generated from the difference between the selected prediction scaling list information and ScalingList T [..] [2] 961. Can be.
  • the selector 970 may select the one having the smallest error as the prediction scaling list information.
  • the prediction scaling list information and the differential scaling list information are not limited to the contents of the drawing.
  • the entropy decoding unit may extract flag information indicating whether to merge the scaling list information from the bitstream. In this case, whether to merge may be determined according to the position of a predetermined region in the image.
  • the entropy decoding unit may extract flag information indicating that merging of the scaling list information of the predetermined region is possible. Can be.
  • 10 is a diagram illustrating an example of merging between scaling list information.
  • the image 1010 is divided into four tiles, and each tile may be a divided region in the present invention.
  • Tile 0 1011 has no tile to reference from the top or left, so no merging is performed.
  • the tile 1 1012 Since the tile 1 1012 is located on the left side of the tile 0 1011, it is determined whether to merge the scaling list information with the tile 0 1011, and expresses whether or not to merge using the left merge flag merge_left_flag 1021. do.
  • the tile 2 1013 determines whether to merge the scaling list information with the tile 0 1011, and expresses whether or not to merge using the phase merge flag merge_up_flag 1022. do.
  • Tile 3 1014 has tile 1 1012 and tile 2 1013 located on the upper and left sides, respectively, and determines whether to merge the scaling list information, and merges them using the left merge flag and the upper merge flag. Express whether or not.
  • the merge may be performed. If the flag information is 0, the merge may not be performed. Alternatively, the flag information may be set.
  • the image encoding / decoding apparatus proposed in the present invention can improve subjective quality of a compressed / restored image, and can reduce the amount of scaling list information transmitted during encoding / decoding, thereby contributing to efficiency.
  • FIG. 11 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • the above-described image decoding apparatus may be used, but the present invention is not limited thereto.
  • a method of decoding an image using an image decoding apparatus will be described.
  • scaling list information separately set for each divided region of an image is extracted from a bitstream (S1101).
  • the extracting step S1101 may extract predicted scaling list information and differential scaling list information generated separately for each divided region.
  • a prediction signal corresponding to a block to be decoded based on the prediction scaling list information and the differential scaling list information may be generated.
  • the prediction scaling list information is selected from scaling list information set for a block in a reference image corresponding to a block to be decoded temporally and scaling list information set for a neighboring block spatially adjacent to the decoded block. Is generated from the difference between the predictive scaling list information and the scaling list information.
  • the extracting step (S1101) may extract flag information indicating whether to merge the scaling list information.
  • whether to merge may be determined according to the position of a predetermined region in the image.
  • inverse quantization may be performed by using a scaling value in scaling list information set for one region including a block to be decoded.
  • the scaling value may be separately set for each lower block based on the frequency characteristic of the lower block forming the block to be decoded.
  • inverse quantization may be performed using a scaling value in scaling list information set for one region including a block to be decoded.
  • the scaling value may be separately set for each lower block set including two or more lower blocks based on the frequency characteristics of the lower blocks constituting the block to be decoded, and the number of the lower block sets may be variably determined.
  • utilizing the video encoding / decoding method proposed by the present invention can improve subjective quality of a compressed / restored image and reduce the amount of scaling list information transmitted during encoding / decoding, thereby increasing efficiency. Can contribute to
  • FIG. 12 is a block diagram of an image encoding apparatus according to another embodiment of the present invention as a whole.
  • an image encoding apparatus uses segment information or contour information of a corresponding region in an already encoded region corresponding to a current block to be encoded as a prediction signal of the current block, thereby making the current block an intra prediction mode or Encoding is performed in the partial block copy mode, and a prediction signal of the current block is extracted and encoded.
  • an image encoding apparatus includes an outline information extractor 1202, an intra prediction unit 1203, an outline prediction information extractor 1204, a transform unit 1205, a quantizer 1206, and an entropy.
  • the encoder 1207 may include an inverse quantizer 1208, an inverse transformer 1209, an in-loop filter unit 1210, a reconstructed image buffer 1211, and an inter prediction unit 1212.
  • the contour information extractor 1202 may detect and analyze contour (edge) information on the input image 1201, and transmit the result to the intra prediction unit 1203.
  • the intra prediction unit 1203 performs intra prediction according to the same intra prediction method including MPEG-4, H.264 / AVC, and HEVC, and additionally through the contour information extracting unit 1202. Based on the extracted contour information, contour-based prediction on an area that is already encoded may be performed.
  • the contour prediction information extracting unit 1204 extracts the intra prediction mode, the position of the contour prediction signal, the contour prediction information, etc., which are determined by the intra prediction unit 1203.
  • the quantizer 1206 may quantize the difference signal converted by the transformer 1205 and transmit the quantized unit 1206 to the entropy encoder 1207.
  • the entropy encoder 1207 may generate a bitstream by compressing the information quantized by the quantizer 1206 and the information extracted by the contour prediction information extractor 1204.
  • the inter prediction unit 1212 may perform inter prediction based prediction using information stored in the reconstructed image buffer 1211 through the in-loop filter unit 1210.
  • the quantized transform signal output from the quantization unit 1206 is inverse quantized and inversely transformed by the inverse quantizer 1208 and the inverse transform unit 1209 and output from the intra prediction unit 1203 or the inter prediction unit 1212.
  • the signal is transmitted to the in-loop filter unit 1210 together with the prediction signal.
  • FIG. 13 is a block diagram of an image decoding apparatus according to another embodiment of the present invention as a whole.
  • an image decoding apparatus includes an entropy decoder 1302, an inverse quantizer 1303, an inverse transform unit 1304, an in-picture reconstructed area buffer 1305, an area divider 1306, and an in-screen picture.
  • the prediction unit 1307, the prediction signal generator 1308, the motion compensator 1309, the reconstructed image buffer 1310, the in-loop filter unit 1311, and the prediction mode determiner 1313 may be included.
  • the entropy decoder 1302 may decode the bitstream 1301 transmitted from the image encoding apparatus and output decoding information including syntax syntax and quantized transform coefficients.
  • the prediction mode for the current block to be decoded according to the extracted prediction mode information 1312 in the syntax syntax may be determined by the prediction mode determiner 1313, and quantized by the inverse quantizer 1303 and the inverse transform unit 1304.
  • the transform coefficients can be inverse quantized and inverse transformed into a residual signal.
  • the prediction signal may be generated based on an intra prediction mode by the intra prediction unit 1307 or an inter prediction mode by the motion compensator 1309. In this case, it may be generated based on an intra partial block copy mode.
  • the intra prediction unit 1307 may generate a prediction signal for the current block by performing spatial prediction using pixel values of the adjacent block that is spatially adjacent to the current block to be decoded.
  • the region dividing unit 1306 whose operation is different depending on the determination result of the prediction mode determination unit 1313 corresponds to the current block based on a signal (restoration signal) for the restoration region input from the in-screen restoration region buffer 1305.
  • the corresponding region may be divided, which will be described later.
  • the reconstruction signal is generated by adding the above-described residual signal and the prediction signal generated by at least one of the intra prediction unit 1307, the prediction signal generation unit 1308, and the motion compensation unit 1309 included therein. And may be finally restored by the in-loop filter portion 1311.
  • the in-loop filter unit 1311 may output the reconstructed block by performing deblocking filtering and SAO processes, and the reconstructed image buffer 1310 may store the reconstructed block.
  • the reconstruction block may be used as a reference image in the motion compensator 1309 for the inter prediction mode.
  • FIG. 14 is a diagram for specifically describing an operation of some of the components illustrated in FIG. 13.
  • the image decoding apparatus may include an area divider 1404 and a prediction signal generator 1405.
  • the region dividing unit 1404 may receive a determination result of the prediction mode determining unit based on the prediction mode information 1401 transmitted from the bitstream.
  • the area divider 1404 arbitrarily selects a corresponding area corresponding to the current block in the already decoded area. Can be divided into forms. In this case, the information related to the region which is already decoded may be stored in the in-screen restoration area buffer 1403.
  • the area divider 1404 may divide the corresponding area into at least two or more using a curve or a straight line. As described above, since the region dividing unit 1404 may divide the corresponding region into an arbitrary form, the region dividing unit 1404 may be adaptively divided according to the characteristics of the image (for example, screen content divided into a caption region and an image region).
  • 15 is a diagram illustrating an example of a current block to be decoded and a corresponding region in a region that is already decoded.
  • the current block 1502 decoded in an arbitrary picture 1501 and the corresponding region 1504 in the already decoded area correspond to each other.
  • the region dividing unit 1404 searches the corresponding region 1504 based on a block vector 1505 that is relative position information between the current block 1502 and the corresponding region 1504, and searches for the found corresponding region 1504. Can be divided
  • the area divider 1404 may divide the corresponding area 1504 based on the retrieved geometric features of the corresponding area 1504.
  • the region dividing unit 1404 may divide the corresponding region 1504 based on a predetermined contour A ′ or a strong edge component included in the found corresponding region 1504.
  • the predetermined contour A ' is one of the respective contours included in the plurality of sub-regions forming the already decoded region 1503, and each contour and the contour A included in the current block 1502.
  • the degree of similarity of the liver can be determined based on the results of the analysis. That is, the lower region including the contour having the highest similarity may be the corresponding region 1504, and the algorithm for analyzing the similarity may be variously applied.
  • the region dividing unit 1404 may divide the corresponding region 1504 based on a predetermined distribution of pixel values in the searched corresponding region 1504.
  • the predetermined pixel value distribution is any one of the respective pixel value distributions in the plurality of sub-areas constituting the already decoded region 1503, and a similar degree between each pixel value distribution and the pixel value distribution in the current block 1502. It can be determined based on the analysis results. That is, the lower region of the pixel value distribution having the highest similarity may be the corresponding region 1504, and the algorithm for analyzing the similarity may be variously applied.
  • the prediction signal generator 1405 may determine a current block (or corresponding region) based on an intra prediction mode or an intra block copy mode for each corresponding region divided by the above-described region division unit 1404. Each prediction signal may be generated.
  • the prediction signal generator 1405 generates the prediction signal 1406 based on the intra prediction mode on an area in which a region which is already decoded among the divided corresponding areas exists adjacent to at least one of the left side and the upper side.
  • the prediction signal 1406 based on the intra-block copy mode may be generated for an area in which the already decoded area among the divided corresponding areas does not exist adjacent to the left and upper positions.
  • the prediction signal generator 1405 may improve the intra prediction performance by adaptively applying the intra prediction mode or the intra block copy mode for each corresponding region divided into arbitrary shapes. This will be described with reference to FIGS. 16 and 17.
  • FIG. 16 is a diagram illustrating an example of an area decoded in a divided correspondence area, an intra prediction mode, and an intra block copy mode.
  • the region dividing unit divides the corresponding block 1601 corresponding to the current block into the first region 1602 and the second region 1603 according to a predetermined reference (contour, pixel value distribution, etc.).
  • the already decoded regions 1604a and 1604b exist adjacent to the left side and the upper side of the first region 1605 and adjacent to the left side and the upper side of the second region 1606. You can see that it doesn't exist.
  • the prediction signal generator generates an intra prediction mode based prediction signal for the first region 1605 and generates a prediction signal based on the block copy mode for the second region 1606.
  • 17 is a diagram illustrating an example of a divided corresponding region and a region decoded in an intra prediction mode.
  • an area divider divides a corresponding block 1701 corresponding to a current block into a third region 1702 and a fourth region 1703 according to a predetermined criterion (contour, pixel value distribution, etc.).
  • portions 1704a and 1704b of the already decoded region exist adjacent to the left side and the upper side of the third region 1705 and the remaining portions 1706a and 1706b of the region already decoded. ) May be adjacent to the left side and the upper side of the fourth region 1707.
  • the prediction signal generator generates an prediction signal based on the intra prediction mode for the third region 1705 and the fourth region 1707.
  • the above-described prediction signal 1406 generated by the prediction signal generator 1405 and the residual signal 1407 transmitted from the bitstream are summed in the intra prediction unit 1408, which are reconstructed signals. (1409).
  • the reconstruction signal 1409 for the current block (or the corresponding block) may include information related to the reconstructed image or block, and may be stored in the in-screen reconstruction area buffer 1403, and then may divide the area of the block to be decoded. May be used.
  • the area divider 1404 may receive a determination result of the prediction mode determiner. That is, the image decoding apparatus according to another embodiment of the present invention may further include a prediction mode determiner (1313 of FIG. 13) in addition to the above-described region divider 1404 and the prediction signal generator 1405.
  • the prediction mode determiner may determine whether the current block is encoded in the partial block copy mode by using flag information extracted from the bitstream (1402).
  • the flag information is expressed as “partial_intra_bc_mode”
  • the bit value in the flag information of the X block is 1, the X block is encoded in the partial block copy mode. If the bit value is 0, the X block is the partial block copy mode. It is not encoded as.
  • the bit value in the flag information may have the opposite meaning.
  • the flag information may be included in a picture parameter set (PPS: Picture Parameter Set) for a picture group or a picture including a current block, or a slice header for a slice or a slice segment including a current block.
  • PPS Picture Parameter Set
  • 18 is a diagram illustrating an example of region flag information, a plurality of target blocks spatially adjacent to each other to form an arbitrary row, and lower blocks included in each target block.
  • the prediction mode determination unit uses region flag information extracted from the bitstream to determine whether the lower blocks included in the plurality of target blocks spatially adjacent to each other and forming an arbitrary row or column have flag information. Can be determined in units of rows or columns. At this time, the flag information indicates whether the lower block is encoded in the partial block copy mode.
  • the region flag information may be used to determine whether an individual block having the above-described flag information exists in a predetermined region, unlike the flag information used to determine whether an individual block is encoded in the partial block copy mode.
  • This region flag information may be described in a high-level syntax such as picture parameter set level 1801 or slice header level 1802, and may be used to signal prediction whether based on partial block copy mode. have.
  • the prediction mode determiner may determine that not all blocks in the current picture 1804 are encoded in the partial block copy mode.
  • the prediction mode determiner may determine that all or some blocks in the current picture 1804 have the above-described flag information.
  • the region flag may have the opposite meaning.
  • the prediction mode determiner may determine that not all blocks in the current row 1805 are encoded in the partial block copy mode.
  • the prediction mode determiner may determine that all or some blocks in the current row 1806 have the flag information described above.
  • the region partitioning unit is the lower block 1808 within the already decoded region located in the upper left corner with respect to the A line.
  • Corresponding region 1809 corresponding to may be divided into arbitrary forms. In this case, the block vector 1810 may be used to search for the corresponding region 1809, and the lower block 1808 or the corresponding region 1809 may be divided according to a predetermined criterion (contour, pixel value distribution, etc.). .
  • 19 is a diagram illustrating an example of a process of decoding a current block including a unit block having a minimum size.
  • the prediction mode determiner may include lower blocks 1901, 1904, 1905, and the like included in the unit block by using partial flag information 1907 (“partial_intra_flag”) extracted from the bitstream. It may be determined whether the 1906 is encoded in the partial block copy mode in units of lower blocks.
  • the unit block is a block having a minimum size that is no longer divided in detail for coding, and the partial flag information may be a kind of flag information.
  • the prediction mode determiner may determine whether the lower blocks are encoded in the partial block copy mode according to the z scan order 1902.
  • the second and fourth sub-blocks 1904 and 1905 with the “partial_intra_flag” flag of 1 are encoded in partial block copy mode, and the first and third sub-blocks 1901 and 1906 with the “partial_intra_flag” flag 0 are set to partial block copy mode. Since it is not encoded, it may be encoded through conventional intra prediction.
  • the image decoding apparatus proposed in the present invention adaptively generates prediction signals based on the intra prediction mode or the intra block copy mode for each divided region, thereby improving the overall intra prediction performance and compressing the image.
  • the geometric characteristics of the image can be optimally reflected.
  • FIG. 20 is a flowchart illustrating an image decoding method according to another embodiment of the present invention.
  • the above-described image decoding apparatus may be used, but the present invention is not limited thereto.
  • a method of decoding an image using an image decoding apparatus will be described.
  • the image decoding method it is determined whether the current block to be decoded is encoded using the partial block copy mode of the intra prediction mode (S2001).
  • determining operation S2001 it may be determined whether the current block is encoded in the partial block copy mode by using flag information extracted from the bitstream.
  • the flag information may indicate whether the lower block is encoded in the partial block copy mode.
  • the corresponding regions may be divided into at least two or more by curves or straight lines.
  • the dividing operation S2002 may include searching for a corresponding region based on a block vector which is relative position information between the current block and the corresponding region, and dividing the searched corresponding region.
  • the corresponding region may be divided based on a predetermined contour line included in the corresponding region.
  • the predetermined contour may be determined based on a result of analyzing a similar degree between each contour and the contour included in the current block as any one of the contours included in the plurality of sub-regions forming the already decoded region. .
  • the corresponding region may be divided based on a predetermined distribution of pixel values in the corresponding region.
  • the predetermined pixel value distribution is any one of the respective pixel value distributions in the plurality of sub-areas forming the already decoded region, and is determined by analyzing a similar degree between each pixel value distribution and the pixel value distribution in the current block. Can be determined based on this.
  • a prediction signal for the current block based on the intra prediction mode may be generated (S2004).
  • a prediction signal for the current block (or corresponding block) based on the intra prediction mode is generated for each corresponding region divided in the splitting step (S2002) (S2004), or the current block (or based on the intra block copy mode).
  • the prediction signal for the corresponding block) is generated (S2003).
  • an intra prediction mode based prediction signal may be generated for an area in which an already decoded area of the divided corresponding areas exists adjacent to at least one of a left side and an upper side.
  • an intra prediction block copy mode based prediction signal may be generated for an area in which the already decoded area of the divided corresponding areas does not exist adjacent to the left and upper positions.
  • the prediction signal based on the intra prediction mode or the intra block copy mode is adaptively generated for each divided region, thereby improving the overall intra prediction performance.
  • the geometric characteristics of the image may be optimally reflected.
  • FIG. 21 is a block diagram of an image encoding apparatus according to another embodiment.
  • the image encoding apparatus according to another embodiment of the present invention may be a combination of the features of the image encoding apparatus according to the embodiment of the present invention and the features of the image encoding apparatus according to another embodiment of the present invention.
  • an image encoding apparatus includes an outline information extractor 2102, an intra prediction unit 2103, an outline prediction information extractor 2104, an adaptive quantization unit selector 2105, and a transform unit. 2106, adaptive quantizer 2107, entropy encoder 2108, adaptive inverse quantizer 2109, inverse transform unit 2110, in-loop filter unit 2111, reconstructed image buffer 2112, and The inter prediction unit 2113 may be included.
  • the contour information extractor 2102 may detect and analyze contour (edge) information on the input image 2101, and transmit the result to the intra prediction unit 2103.
  • the intra prediction unit 2103 performs intra prediction according to the same intra prediction method including MPEG-4, H.264 / AVC, and HEVC, and additionally through the contour information extractor 2102. Based on the extracted contour information, contour-based prediction on an area that is already encoded may be performed.
  • the contour prediction information extractor 2104 extracts the intra prediction mode, the position of the contour prediction signal, the contour prediction information, and the like, which are determined by the intra prediction unit 2103, and transmits the extracted prediction information to the entropy encoder 2108.
  • the adaptive quantization unit selector 2105 may classify an area for performing adaptive quantization by analyzing visual recognition characteristics of the input image 2101 and select an image segmentation structure for transmitting scaling list information.
  • the adaptive quantizer 2107 may analyze visual recognition characteristics of the difference signal transformed by the transform unit 2106 based on the prediction result, and reference the scaling list information based on temporally or spatially adjacent image segmentation. You can make predictions.
  • the adaptive quantization unit 2107 may perform adaptive quantization on the transform signal by using the scaling list information on which the prediction is performed, and determine whether to merge the corresponding information with temporally or spatially adjacent image segmentation. have.
  • the inter prediction unit 2113 may perform inter prediction based prediction based on the image segmentation structure selected by the adaptive quantization unit selection unit 2105.
  • the inter prediction unit 2113 may perform the inter prediction mode using information stored in the reconstructed image buffer 2112 through the in-loop filter unit 2111.
  • the quantized transform signal output from the above-described adaptive quantizer 2107 is adaptive inverse quantized and inversely transformed by the adaptive inverse quantizer 2109 and the inverse transform unit 2110, and thus, the intra prediction unit 2103 or the inter-screen may be used.
  • the prediction signal output from the prediction unit 2113 is transferred to the in-loop filter unit 2111.
  • the encoded information including the quantized transform signal and the information extracted from the contour prediction information extractor 2104 are output as a bitstream by the entropy encoder 2108.
  • the subjective quality of the compressed image can be improved, and the amount of scaling list information transmitted during encoding can be reduced, thereby contributing to efficiency.
  • the intra prediction performance can be improved as a whole, and the geometric characteristics of the image are optimally optimized when the image is compressed. Can reflect.
  • An image decoding apparatus according to another embodiment of the present invention may be a combination of the features of the image decoding apparatus according to an embodiment of the present invention and the features of the image decoding apparatus according to another embodiment of the present invention.
  • An image decoding apparatus includes an entropy decoder 2202, an adaptive inverse quantizer 2203, an inverse transform unit 2204, an in-picture reconstructed region buffer 2205, and an area divider 2206. , An intra prediction unit 2207, a prediction signal generator 2208, a motion compensator 2209, a reconstructed image buffer 2210, an in-loop filter unit 2211, and a prediction mode determiner 2213. have.
  • the entropy decoder 2202 may decode the bitstream 2201 transmitted from the image encoding apparatus and output decoding information including syntax syntax and quantized transform coefficients.
  • the adaptive dequantization unit 2203 may adaptively dequantize using the quantization coefficient among the information decoded by the entropy decoder 2202 and the scaling list information corresponding to the image segmentation.
  • the adaptive dequantization unit 2203 dequantizes the decoded block by using the scaling list information set for one region including the block to be decoded in the corresponding image among the scaling list information separately set for each divided region of the image. Can be performed.
  • the quantized transform coefficients may be inversely quantized and inverse transformed into a residual signal through the adaptive inverse quantizer 2203 and the inverse transformer 2204.
  • the prediction mode for the current block to be decoded may be determined by the prediction mode determiner 2213 according to the prediction mode information 2212 in the syntax syntax extracted by the entropy decoder 2202.
  • the prediction mode determiner 2213 may distinguish which prediction mode the current block is encoded based on the prediction mode information among the decoded information.
  • the region dividing unit 2206 whose operation is different depending on the determination result of the prediction mode determination unit 2213 corresponds to the current block based on a signal (restoration signal) for the reconstructed region input from the in-screen reconstructed region buffer 2205.
  • the corresponding area can be divided.
  • the reconstruction signal is generated by adding the above-described residual signal and the prediction signal generated by at least one of the intra prediction unit 2207, the prediction signal generation unit 2208, and the motion compensation unit 2209 included therein. And may be finally restored by the in-loop filter portion 2211.
  • the in-loop filter unit 2211 may output the reconstructed block by performing deblocking filtering and SAO processes, and the reconstructed image buffer 2210 may store the reconstructed block.
  • the reconstruction block may be used as a reference image in the motion compensator 2209 for the inter prediction mode.
  • the prediction signal may be generated based on an intra prediction mode by the intra prediction unit 2207 or an inter prediction mode by the motion compensator 2209. In some cases, it may be generated based on an intra partial block copy mode.
  • the intra prediction unit 2207 may generate a prediction signal for the current block by performing spatial prediction using pixel values of adjacent blocks that are spatially adjacent to the current block to be decoded.
  • the intra prediction performance can be improved as a whole, and the geometric characteristics of the image are optimally optimized when the image is reconstructed. Can reflect.
  • each component illustrated in FIGS. 1 to 4, 12, 13, 21, and 22 may be configured as a kind of 'module'.
  • the 'module' refers to a hardware component such as software or a field programmable gate array (FPGA) or an application specific integrated circuit (ASIC), and the module plays a role.
  • modules are not meant to be limited to software or hardware.
  • the module may be configured to be in an addressable storage medium and may be configured to execute one or more processors.
  • the functionality provided by the components and modules may be combined into a smaller number of components and modules or further separated into additional components and modules.
  • an embodiment of the present invention may be implemented in the form of a recording medium including instructions executable by a computer, such as a program module executed by the computer.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transmission mechanism, and includes any information delivery media.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 복호화 장치 및 방법에 대해 개시한다. 보다 상세하게, 본 발명의 일 실시예에 따른 영상 복호화 장치는, 영상의 분할된 영역마다 별도로 설정된 스케일링 리스트 정보 중 상기 영상 내 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보를 이용하여 상기 복호화되는 블록에 대한 역양자화를 수행하는 적응적 역양자화부를 포함한다.

Description

영상 복호화 장치 및 그 방법
본 발명은 영상 복호화 장치 및 그 방법에 관한 것이다.
MPEG (Moving Picture Expert Group)과 VCEG (Video Coding Expert Group)은 JCT-VC (Joint Collaborative Team on Video Coding)를 구성하여, 2010년 HEVC(High Efficiency Video Coding)라는 차세대 비디오 표준 기술을 개발을 시작하였다. HEVC 표준 기술은 2013년 1월에 완료되었으며, HEVC는 기존의 비디오 압축 표준 중 가장 높은 압축 성능을 보이는 것으로 알려져 있는 H.264/AVC High 프로파일에 비하여 약 50%의 압축 효율 향상을 달성하였다.
이후의 표준화 과정에서는 스케일러블 비디오와 다시점 비디오를 위한 확장 표준의 표준화가 진행 중이며, 추가적으로 스크린 컨텐츠 비디오와 같은 다양한 비디오 컨텐츠의 압축을 위한 RExt(Range Extension) 표준 또한 진행 중에 있다. 이 중, RExt에는 컴퓨터 제작 영상 (Computer generated content) 또는 이와 자연 영상이 혼재된 영상 등을 효과적으로 압축하기 위하여, 화면 내 블록 복사 (Intra block copy)와 같은 기술이 포함되었다. 이는 기존의 화면 내 예측 픽쳐 내에서 현재 블록과 유사한 신호를 동일한 화면 내부의 복호화된 주변 영역 내에서 찾고, 이를 시간축 예측과 동일한 신택스 요소들로 표현한다. 기존의 화면 내 예측은 주변의 복원 픽셀값을 이용하여 블록 내부의 예측 신호를 생성하여 차분신호를 구하는 zero-order 예측이었으나, 화면 내 블록 복사(Intra block copy) 기술은 주변의 복원 영역에서 현재 블록과 가장 유사한 신호를 탐색함으로써, 복잡도가 높아졌지만 높은 예측 성능을 통해 압축 성능을 향상시킬 수 있는 기술이다.
이와 관련하여, 한국공개특허 제1997-0046435호(발명의 명칭: 윤곽선 추출 방법과 그 부호화 방법)에서는 영역화 영상을 다수 필터링하여 영역화 영상의 경계선을 단순화시킨 후 소정 크기의 격자 구조상에서 평활한 완전 8방향 윤곽선을 추출하는 기술에 대해 개시하고 있다.
한편, 최근 FHD (Full High Definition) 및 UHD (Ultra High Definition)와 같은 고품질 비디오 서비스 수요와 더불어 차세대 비디오 압축 표준에 대한 요구가 증가하고 있다. 앞서 언급한 HEVC 확장 (Range extension) 표준에서는 다양한 컬러 포맷과 비트 심도의 지원에 대하여 논의가 진행 중이다.
HEVC에서는 부호화 효율뿐 아니라 차세대 비디오 표준에서 요구되는 다양한 부호화/복호화를 고려한 기술이 표준화 단계에서 채택되었다. 일례로 부/복호화 과정의 병렬성을 고려한 타일이라는 새로운 픽쳐 분할 단위와 PU 단위 복호화의 병렬성을 보장하는 MER (Merge Estimation Region) 등의 기술들이 있다. 특히, 고해상도, 고화질에 대한 시장의 요구에 맞추어, 주관적 화질을 향상시키기 위해 디블록킹 필터 및 SAO (Sample Adaptive Offset), 스케일링 리스트 등의 기술이 채택되어 있다.
이와 관련하여, 한국공개특허 제2013-0077047호(발명의 명칭: 영상 부호화/복호화 방법 및 장치)에서는 현재 블록이 변환 스킵 블록인지 여부에 따라 현재 블록에 대한 스케일 팩터를 도출하는 단계 및 스케일 팩터를 기반으로 현재 블록에 대한 스케일링을 수행하는 단계를 포함하며, 현재 블록에 대한 스케일 팩터는 현재 블록 내 변환 계수의 위치를 기반으로 도출되며, 변환 스킵 블록은 현재 블록에 대해 변환을 적용하지 않은 블록이며, 현재 블록에 대해 역변환을 적용할지 여부를 나타내는 정보를 기반으로 특정되는 기술을 개시하고 있다.
본 발명의 일부 실시예는 압축 영상의 주관적 품질 향상을 위하여 스케일링 리스트 정보를 적응적으로 적용시켜, 주관적 품질 향상 및 부호화/복호화 효율을 향상시킬 수 있는 장치 및 방법을 제공하는 것에 그 목적이 있다.
또한, 본 발명의 일부 실시예는, 기존의 화면 내 블록 복사 기술을 개선하기 위하여 화면 내 예측 모드와 화면 내 블록 복사 모드 기반의 기술을 결합함으로써, 분할된 영역마다 다른 예측 모드를 이용하여 예측 신호를 생성할 수 있는 영상 복호화 장치 및 그 방법을 제공하는 것을 목적으로 한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른 영상 복호화 장치는, 영상의 분할된 영역마다 별도로 설정된 스케일링 리스트 정보 중 상기 영상 내 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보를 이용하여 상기 복호화되는 블록에 대한 역양자화를 수행하는 적응적 역양자화부를 포함한다.
또한, 본 발명의 다른 실시예에 따른 영상 복호화 장치는, 복호화되는 현재 블록이 화면내 예측 모드 중 부분 블록 복사 모드를 이용하여 부호화된 경우, 이미 복호화된 영역 내 상기 현재 블록과 대응되는 대응 영역을 임의의 형태로 분할하는 영역 분할부; 및 상기 영역 분할부로부터 분할된 대응 영역마다 상기 화면내 예측 모드 또는 화면내 블록 복사 모드 기반의 상기 현재 블록에 대한 예측 신호를 각각 생성하는 예측 신호 생성부를 포함한다.
또한, 본 발명의 일 실시예에 따른 영상 복호화 방법은, 비트스트림으로부터 영상의 분할된 영역마다 별도로 설정된 스케일링 리스트 정보를 추출하는 단계; 및 상기 스케일링 리스트 정보 중 상기 영상 내 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보를 이용하여 상기 복호화되는 블록에 대한 역양자화를 수행하는 단계를 포함한다.
또한, 본 발명의 다른 실시예에 따른 영상 복호화 방법은, 복호화되는 현재 블록이 화면내 예측 모드 중 부분 블록 복사 모드를 이용하여 부호화된 것인지 판단하는 단계; 상기 부분 블록 복사 모드를 이용하여 부호화된 경우, 이미 복호화된 영역 내 상기 현재 블록과 대응되는 대응 영역을 임의의 형태로 분할하는 단계; 및 상기 분할하는 단계에서 분할된 대응 영역마다 상기 화면내 예측 모드 또는 화면내 블록 복사 모드 기반의 상기 현재 블록에 대한 예측 신호를 각각 생성하는 단계를 포함한다.
전술한 본 발명의 일부 실시예에서는 스케일링 리스트 정보의 전송 단위를 선택적으로 적용하므로, 시각적 인지 특성에 따라 적응적 양자화를 수행하는 영역을 보다 유연하게 선택할 수 있다.
또한, 본 발명의 일부 실시예에서는 현재 블록과 시간적으로 대응되는 영역에 설정된 스케일링 리스트 정보 혹은 현재 블록과 공간적으로 인접한 인접 영역에 설정된 스케일링 리스트 정보를 기초로 예측 및 병합을 수행함으로써, 전송되는 스케일링 리스트 정보량을 감소시킬 수 있다.
또한, 본 발명의 일부 실시예에서는 압축/복원되는 영상의 주관적 품질 향상에 기여할 수 있다.
또한, 본 발명의 일부 실시예에서는 영상 부호화/복호화시 영역 분할의 기준이 될 수 있는 영상의 윤곽선 및 화소값의 분포 등과 같은 기하학적 형태를 통해, 영상을 효과적으로 압축/복원할 수 있다.
또한, 본 발명의 일부 실시예에서는 분할된 영역마다 적응적으로 화면내 예측 모드 또는 화면내 블록 복사 모드 기반의 예측 신호를 생성함으로써, 화면내 예측 성능을 전체적으로 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 전체적으로 도시한 블록도이다.
도 2는 도 1에 도시된 적응적 양자화 단위 선택부의 동작을 구체적으로 설명하기 위한 도면이다.
도 3은 도 1에 도시된 적응적 양자화부의 동작을 구체적으로 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상 복호화 장치를 전체적으로 도시한 블록도이다.
도 5는 영상의 분할된 영역에 대한 다양한 예를 도시한 도면이다.
도 6은 분할된 영역마다 별도로 설정된 스케일링 리스트 정보에 대한 다양한 예를 도시한 도면이다.
도 7은 스케일링 리스트 정보 내 복호화되는 블록에 대한 스캔 순서 및 스케일링 값의 일 예를 도시한 도면이다.
도 8은 스케일링 리스트 정보 내 복호화되는 블록에 대한 스캔 순서 및 스케일링 값의 다른 예를 도시한 도면이다.
도 9는 차분 스케일링 리스트 정보 및 예측 스케일링 리스트 정보의 일 예를 도시한 도면이다.
도 10은 스케일링 리스트 정보 간의 병합에 대한 일 예를 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
도 12는 본 발명의 다른 실시예에 따른 영상 부호화 장치를 전체적으로 도시한 블록도이다.
도 13은 본 발명의 다른 실시예에 따른 영상 복호화 장치를 전체적으로 도시한 블록도이다.
도 14는 도 13에 도시된 구성들 중 일부 구성의 동작을 구체적으로 설명하기 위한 도면이다.
도 15는 복호화되는 현재 블록 및 이미 복호화된 영역 내 대응 영역의 일 예를 도시한 도면이다.
도 16은 분할된 대응 영역, 화면내 예측 모드 및 화면내 블록 복사 모드로 복호화되는 영역의 일 예를 도시한 도면이다.
도 17은 분할된 대응 영역, 화면내 예측 모드로 복호화되는 영역의 일 예를 도시한 도면이다.
도 18은 영역 플래그 정보, 서로 공간적으로 인접하여 임의의 행을 이루는 복수 개의 대상 블록, 및 각 대상 블록에 포함된 하위 블록의 일 예를 도시한 도면이다.
도 19는 최소 크기의 단위 블록으로 이루어진 현재 블록이 복호화되는 과정의 일 예를 도시한 도면이다.
도 20은 본 발명의 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
도 21은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치를 전체적으로 도시한 블록도이다.
도 22는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치를 도시한 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
덧붙여, 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 기술되고, 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 이러한 각 구성부의 통합된 실시 예 및 분리된 실시 예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
이하에서는, 본 발명에서 제안하는 영상 부호화/복호화 장치에 대하여 도면을 참고하여 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 부호화 장치를 전체적으로 도시한 블록도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치는 적응적 양자화 단위 선택부(102), 변환부(103), 적응적 양자화부(104), 엔트로피 부호화부(105), 역 적응적 양자화부(106), 역 변환부(107), 화면 내 예측부(108), 화면 간 예측부(109), 루프 필터부(110), 및 복원 영상 버퍼(111)를 포함할 수 있다.
적응적 양자화 단위 선택부(102)는 입력된 영상(101)에 대한 시각적 인지 특성을 분석하여 적응적 양자화를 수행하는 영역을 분류하고, 스케일링 리스트 정보를 전송할 영상 분할 구조를 선택할 수 있다.
적응적 양자화부(104)는 예측 결과를 기초로 변환부(103)에서 변환된 차분 신호에 대하여 시각적 인지 특성을 분석할 수 있고, 시간적 혹은 공간적으로 인접한 영상 분할을 기준으로 스케일링 리스트 정보에 대한 참조 예측을 수행할 수 있다.
또한, 적응적 양자화부(104)는 예측을 수행한 스케일링 리스트 정보를 이용하여 변환 신호에 대한 적응적 양자화를 수행할 수 있고, 해당 정보들을 시간적 혹은 공간적으로 인접한 영상 분할과의 병합 여부를 결정할 수 있다.
화면 내 예측부(108) 및 화면 간 예측부(109)는 적응적 양자화 단위 선택부(102)에서 선택된 영상 분할 구조에 기초하여, 각각 화면 내 예측(Intra prediction) 및 화면 간 예측 모드(Inter prediction) 기반의 예측을 수행할 수 있다.
화면 간 예측부(109)는 루프 필터부(110)를 통해 복원 영상 버퍼(111)에 저장되어 있던 정보를 이용하여 화면간 예측 모드를 수행할 수 있다. 상술한 적응적 양자화부(104)로부터 출력된 양자화 변환 신호는 적응적 역양자화부(106) 및 역변환부(107)를 통해 적응적 역양자화 및 역변환되어, 화면 내 예측부(108) 또는 화면 간 예측부(109)로부터 출력된 예측 신호와 함께 루프 필터부(110)로 전달된다.
양자화 변환 신호 및 부호화 정보들은 엔트로피 부호화부(105)에 의해 비트스트림으로 출력된다.
도 2는 도 1에 도시된 적응적 양자화 단위 선택부의 동작을 구체적으로 설명하기 위한 도면이다.
상술한 적응적 양자화 단위 선택부는 인지 특성 분석부(210) 및 적응적 양자화 영역 분석부(220)를 포함할 수 있다.
인지 특성 분석부(210)는 입력된 영상에 대한 시각적 인지 특성을 분석할 수 있다.
구체적으로, 인지 특성 분석부(210)에서는 휘도 순응 현상 (Luminance adaptation effect), 대비 민감도 함수 현상 (Contrast sensitivity function effect), 대비 마스킹 현상 (Contrast masking effect) 등과 같은 시각적 인지 특성이 고려될 수 있다.
적응적 양자화 영역 분석부(220)는 분석된 시각적 인지 특성을 이용하여 영상 내 유사한 특성을 갖는 영역 또는 적응적으로 양자화될 영역을 분석 및 분류할 수 있다.
이와 같이 적응적 양자화 단위 선택부는 각 세부 구성들의 동작에 따라 영상 분할 구조를 결정할 수 있고, 이에 대한 스케일링 리스트 정보의 사용 여부를 설정할 수 있다.
도 3은 도 1에 도시된 적응적 양자화부의 동작을 구체적으로 설명하기 위한 도면이다.
상술한 적응적 양자화부는 적응적 양자화 결정부(310), 적응적 양자화 정보 예측부(320), 적응적 양자화 수행부(330), 및 적응적 양자화 정보 병합부(340)를 포함할 수 있다.
적응적 양자화 결정부(310)는 현재 부호화하는 블록의 시각적 인지 특성을 고려하여 해당 블록의 적응적 양자화 여부를 결정할 수 있다.
적응적 양자화부(104)는 예측을 수행한 스케일링 리스트 정보를 이용하여 변환 신호에 대한 적응적 양자화를 수행할 수 있고, 해당 정보들을 시간적 혹은 공간적으로 인접한 영상 분할과의 병합 여부를 결정할 수 있다.
적응적 양자화 정보 예측부(320)는 적응적 양자화 결정된 블록은 적응적 양자화를 위한 스케일링 리스트 정보를 시간적 혹은 공간적으로 인접한 영상 분할로부터 예측을 수행할 수 있다.
적응적 양자화 수행부(330)는 변환 신호의 주파수 성분 별로 각기 다른 혹은 일부 다른 스케일링 값을 양자화 과정에 사용할 수 있다.
적응적 양자화 정보 병합부(340)는 해당 스케일링 리스트 정보를 시간적 혹은 공간적으로 인접한 영상 분할의 스케일링 리스트 정보와 병합 여부를 결정할 수 있다.
참고로, 영상 부호화 과정과 영상 복호화 과정은 많은 부분에서 서로 대응되므로, 이 기술 분야에 속한 기술자라면 영상 부호화 과정에 대한 설명을 참고하여 영상 복호화 과정을 쉽게 이해할 수 있고, 그 반대로도 가능할 것이다.
이하에서는 도 4 내지 도 10을 참고하여, 영상 복호화 장치 및 각 구성의 세부 동작에 대해 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 영상 복호화 장치를 전체적으로 도시한 블록도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치는 엔트로피 복호화부(401), 적응적 역양자화부(402), 역변환부(403), 움직임 보상부(404), 화면 내 예측부(405), 루프 필터부(406), 및 복원 영상 버퍼(407)를 포함할 수 있다.
엔트로피 복호화부(401)는 전송된 비트스트림을 입력 받아, 이에 대한 엔트로피 복호화를 수행할 수 있다.
적응적 역양자화부(402)는 엔트로피 복호화부(401)에서 복호화된 정보 중 양자화 계수 및 해당 영상 분할에 해당하는 스케일링 리스트 정보를 이용하여 적응적으로 역양자화를 수행할 수 있다.
또한, 복호화되는 현재 블록이 화면간 예측 모드로 부호화된 경우 움직임 보상부(404)는 화면간 예측 모드 기반의 예측 신호를 생성하고, 현재 블록이 화면내 예측 모드로 부호화된 경우 화면 내 예측부(405)는 화면내 예측 모드 기반의 예측 신호를 생성할 수 있다. 이때, 복호화된 정보 중 예측 모드 정보에 따라 현재 블록이 어떤 예측 모드로 부호화된 것인지 구별할 수 있고, 움직임 보상부(404)는 복원 영상 버퍼(407)에 저장된 정보를 참조할 수 있다.
루프 필터부(406)는 입력되는 복원 신호에 대해 필터링을 수행하여 복원 영상 버퍼(407)로 전달하고, 복원 신호는 움직임 보상부(404) 또는 화면 내 예측부(405)를 통해 생성된 예측 신호와 역변환부(403)에서 출력된 잔차 신호를 합함으로써 획득될 수 있다.
한편, 본 발명의 일 실시예에 따른 영상 복호화 장치는 상술한 적응적 역양자화부 및 엔트로피 복호화부를 포함할 수 있다.
적응적 역양자화부는 영상의 분할된 영역마다 별도로 설정된 스케일링 리스트 정보 중 해당 영상 내 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보를 이용하여 복호화되는 블록에 대한 역양자화를 수행할 수 있다.
도 5는 영상의 분할된 영역에 대한 다양한 예를 도시한 도면이다.
본 발명에 따른 각각의 스케일링 리스트 정보는 영상의 분할된 영역마다 별도로 설정될 수 있는데, 영상의 분할은 도 5와 같이 다양하게 이루어질 수 있다. 상기 영역은 영상을 픽쳐(510), 슬라이스(520), 타일(530), 또는 쿼드-트리(540; Quad-tree) 중 어느 하나의 단위로 분할하여 생성된 것일 수 있다.
첫번째 도면을 참고하면, 영상은 픽쳐 단위로 분할되고, 픽쳐(510) 자체가 본 발명에서의 분할된 영역일 수 있다.
두번째 도면을 참고하면, 영상은 슬라이스 단위로 분할되고, 각 슬라이스(521, 522, 523)가 본 발명에서의 분할된 영역일 수 있다.
세번째 도면을 참고하면, 영상은 타일 단위로 분할되고, 각 타일(531, 532, 533)이 본 발명에서의 분할된 영역일 수 있다.
네번째 도면을 참고하면, 영상은 쿼드-트리 단위로 분할되고, 각각의 단위(541, 542, 543)가 본 발명에서의 분할된 영역일 수 있다.
도 6은 분할된 영역마다 별도로 설정된 스케일링 리스트 정보에 대한 다양한 예를 도시한 도면이다.
해당 영상(610)은 슬라이스 단위로 분할되고, 분할된 영역은 각각 슬라이스 0(611), 슬라이스 1(612), 및 슬라이스 2(613)로 표시되어 있다.
첫번째 도면을 참고하면, 분할된 영역은 각각 동일한 스케일링 리스트 정보인 ScalingList[0](620)으로 설정된다. 이 경우 스케일링 리스트 정보는 모두 동일하다.
두번째 도면을 참고하면, 분할된 영역 중 슬라이스 0(611) 및 슬라이스 2(613)는 각각 동일한 스케일링 리스트 정보인 ScalingList[0](620)으로 설정되고, 슬라이스 1(612)는 상이한 스케일링 리스트 정보인 ScalingList[1](630)로 설정된다. 이 경우 스케일링 리스트 정보는 일부는 동일하고, 일부는 상이하다.
세번째 도면을 참고하면, 분할된 영역 중 슬라이스 0(611)의 스케일링 리스트 정보는 ScalingList[0](620)으로 설정되고, 슬라이스 1(612)의 스케일링 리스트 정보는 ScalingList[1](630)로 설정되며, 슬라이스 2(613)의 스케일링 리스트 정보는 ScalingList[2](630)로 설정된다. 이 경우 스케일링 리스트 정보는 모두 상이하다.
이와 같이 적응적 역양자화부는 분할된 영역마다 별도로 설정된 스케일링 리스트 정보를 이용하여 각각의 영역에 대한 역양자화를 적응적으로 수행할 수 있다.
또한, 이러한 스케일링 리스트 정보는 영상에 대한 시각적 인지 특성을 분석한 결과를 기초로 분할된 영역마다 별도로 설정되는 것일 수 있다. 이때, 시각적 인지 특성은 휘도 순응 현상, 대비 민감도 함수 현상, 및 대비 마스킹 현상 중 적어도 어느 하나를 포함할 수 있다.
앞서 언급한 것처럼, 적응적 역양자화부는 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보를 이용하여 복호화되는 블록에 대한 역양자화를 수행할 수 있다.
적응적 역양자화부의 구체적인 동작은 도 7 및 도 8을 참조하여 설명하기로 한다.
도 7은 스케일링 리스트 정보 내 복호화되는 블록에 대한 스캔 순서 및 스케일링 값의 일 예를 도시한 도면이다.
적응적 역양자화부는 해당 영상 내 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보 내 스케일링 값을 이용하여 역양자화를 적응적으로 수행할 수 있고, 위 스케일링 리스트 정보 내 스캔 순서에 따라 복호화되는 블록을 스캔할 수 있다.
여기서, 일 예에 따른 스케일링 값은 복호화되는 블록을 이루는 하위 블록에 대한 주파수 특성을 기초로 하위 블록마다 별도로 설정될 수 있다.
덧붙여, 복호화되는 블록을 이루는 각각의 하위 블록은 하나 이상의 화소 또는 주파수 성분을 의미할 수 있고, 이는 하위 블록의 크기 및 도메인에 따라 다르게 설정될 수 있다.
예를 들어, 도 7에 도시된 것처럼 가장 좌상단에 위치한 하위 블록은 16의 스케일링 값을 가지고, 가장 우하단에 위치한 하위 블록은 18의 스케일링 값을 가진다. 각 하위 블록은 기본적으로 16의 스케일링 값을 가질 수 있다. 일반적으로, 좌상단에 위치하는 하위 블록일수록 저주파수 특성이 나타나고, 우하단에 위치하는 하위 블록일수록 고주파수 특성이 나타난다는 점에 기초하여, 스케일링 리스트 정보(730) 내 스케일링 값은 하위 블록마다 별도로 설정될 수 있다.
또한, 일 예에 따른 스캔 순서는 래스터 순서 (Raster order; 710) 또는 Z-스캔 순서 (Z-scan order; 720)일 수 있다. 본 발명에서는 Z-스캔 순서가 바람직할 수 있다. 참고로, 복호화되는 블록을 이루는 하위 블록에 기재된 0~15 숫자는 각 스캔 순서에 따를 때 스캔되는 블록의 순서를 나타낸다.
덧붙여, 복호화되는 블록은 4*4 크기 이외의 다른 크기일 수도 있다.
도 8은 스케일링 리스트 정보 내 복호화되는 블록에 대한 스캔 순서 및 스케일링 값의 다른 예를 도시한 도면이다.
적응적 역양자화부는 해당 영상 내 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보 내 스케일링 값을 이용하여 역양자화를 적응적으로 수행할 수 있고, 위 스케일링 리스트 정보 내 스캔 순서에 따라 복호화되는 블록을 스캔할 수 있다.
여기서, 다른 예에 따른 스케일링 값은 복호화되는 블록을 이루는 하위 블록에 대한 주파수 특성을 기초로 2개 이상의 하위 블록을 포함하는 하위 블록 집합(밴드)마다 별도로 설정될 수 있다. 이때, 하위 블록 집합(밴드)의 개수는 가변적으로 결정될 수 있고, 스케일링 값은 하위 블록 집합(밴드)에 대한 주파수 특성을 기초로 하위 블록 집합(밴드)마다 별도로 설정될 수 있다.
또한, 일 예에 따른 스캔 순서는 하위 블록 집합(밴드)마다 별도로 설정되고, 각각 Z-스캔 순서를 따를 수 있다.
예를 들어, 하위 블록 집합에 대한 개념을 적용시키지 않은 스케일링 리스트 정보(811)는 16개의 하위 블록에 대해 각각 별도로 설정된 스케일링 값(16, 17, 18)을 포함한다. 또한, 복호화되는 블록(810)을 이루는 하위 블록에 기재된 0~15 숫자는 Z-스캔 순서에 따를 때 스캔되는 블록의 순서를 나타낸다.
또한, 2개의 하위 블록 집합을 적용시킨 스케일링 리스트 정보(821)는 좌상단에 위치한 6개의 하위 블록을 포함하는 제 1 하위 블록 집합에 대해 설정된 스케일링 값(16), 및 우하단에 위치한 10개의 하위 블록을 포함하는 제 2 하위 블록 집합에 대해 설정된 스케일링 값(17)을 포함한다. 또한, 복호화되는 블록(820)을 이루는 하위 블록에 기재된 0과 1 숫자는 Z-스캔 순서에 따를 때 스캔되는 블록의 순서를 나타낸다.
또한, 3개의 하위 블록 집합을 적용시킨 스케일링 리스트 정보(831)는 좌상단에 위치한 4개의 하위 블록을 포함하는 제 1 하위 블록 집합에 대해 설정된 스케일링 값(16), 중간에 위치한 6개의 하위 블록을 포함하는 제 2 하위 블록 집합에 대해 설정된 스케일링 값(17), 및 우하단에 위치한 6개의 하위 블록을 포함하는 제 3 하위 블록 집합에 대해 설정된 스케일링 값(18)을 포함한다. 또한, 복호화되는 블록(830)을 이루는 하위 블록에 기재된 0~2 숫자는 Z-스캔 순서에 따를 때 스캔되는 블록의 순서를 나타낸다.
또한, 4개의 하위 블록 집합을 적용시킨 스케일링 리스트 정보(841)는 좌상단에 위치한 4개의 하위 블록을 포함하는 제 1 하위 블록 집합에 대해 설정된 스케일링 값(16), 우상단에 위치한 4개의 하위 블록을 포함하는 제 2 하위 블록 집합 및 좌하단에 위치한 4개의 하위 블록을 포함하는 제 3 하위 블록 집합에 대해 각각 설정된 스케일링 값(17), 및 우하단에 위치한 4개의 하위 블록을 포함하는 제 4 하위 블록 집합에 대해 설정된 스케일링 값(18)을 포함한다. 또한, 복호화되는 블록(840)을 이루는 하위 블록에 기재된 0~3 숫자는 Z-스캔 순서에 따를 때 스캔되는 블록의 순서를 나타낸다.
덧붙여, 복호화되는 블록은 4*4 크기 이외의 다른 크기일 수도 있고, 그에 따라 하위 블록 집합의 크기도 달라질 수 있다.
나아가, 엔트로피 복호화부는 분할된 영역마다 별도로 생성된 예측 스케일링 리스트 정보 및 차분 스케일링 리스트 정보를 비트스트림으로부터 추출할 수 있고, 추출된 예측 스케일링 리스트 정보 및 차분 스케일링 리스트 정보는 적응적 역양자화부에 의해 이용될 수 있다.
이때, 예측 스케일링 리스트 정보는 복호화되는 블록과 시간적으로 대응되는 참조 영상 내 블록을 포함하는 제 1 영역에 대하여 설정된 스케일링 리스트 정보와, 복호화되는 블록과 공간적으로 인접한 인접 블록을 포함하는 제 2 영역에 대하여 설정된 스케일링 리스트 정보 중에서 선택될 수 있다. 차분 스케일링 리스트 정보는 예측 스케일링 리스트 정보와 일 영역에 대하여 설정된 스케일링 리스트 정보 간의 차이로부터 생성될 수 있다.
도 9는 차분 스케일링 리스트 정보 및 예측 스케일링 리스트 정보의 일 예를 도시한 도면이다.
도 9를 참조하면, 현재 영상(920) 내 복호화되는 블록을 포함하는 일 영역(923)이 도시되어 있다. 또한, 복호화되는 블록과 시간적으로 대응되는 참조 영상(910) 내 블록을 포함하는 제 1 영역(913), 및 복호화되는 블록과 공간적으로 인접한 현재 영상(920) 내 인접 블록을 포함하는 제 2 영역(921, 922)이 도시되어 있다.
일 영역(923)에 대하여 설정된 스케일링 리스트 정보(960)는 ScalingListT[..][2](961)이고, 제 1 영역(913)에 대하여 설정된 스케일링 리스트 정보(930)는 ScalingListT -1[..][2](931)이며, 제 2 영역(921, 922)에 대하여 각각 설정된 스케일링 리스트 정보(940, 950)는 ScalingListT[..][0](941) 및 ScalingListT[..][1](951)이다.
예측 스케일링 리스트 정보는 ScalingListT -1[..][2](931), ScalingListT[..][0](941), 및 ScalingListT[..][1](951) 중 어느 하나로 선택기(970)에 의해 선택될 수 있고, 차분 스케일링 리스트 정보인 ScalingDiffListT[..][2](980)는 선택된 예측 스케일링 리스트 정보와 ScalingListT[..][2](961) 간의 차이로부터 생성될 수 있다. 이때, 선택기(970)는 가장 작은 오차를 가지는 것을 예측 스케일링 리스트 정보로 선택할 수 있다.
덧붙여, 도 9의 경우 일 예를 도시한 것이므로, 도면의 내용으로 예측 스케일링 리스트 정보 및 차분 스케일링 리스트 정보가 한정되는 것은 아니다.
아울러, 엔트로피 복호화부는 스케일링 리스트 정보에 대한 병합 여부를 나타내는 플래그 정보를 비트스트림으로부터 추출할 수 있다. 이때, 병합 여부는 영상 내 소정의 영역의 위치에 따라 결정될 수 있다.
예를 들어, 소정의 영역과 공간적으로 인접하는 인접 영역이 소정의 영역의 상측 또는 좌측에 존재하는 경우, 엔트로피 복호화부는 소정의 영역의 스케일링 리스트 정보에 대한 병합이 가능하다는 것을 나타내는 플래그 정보를 추출할 수 있다.
도 10은 스케일링 리스트 정보 간의 병합에 대한 일 예를 나타내는 도면이다.
영상 (1010)은 4개의 타일로 분할되고, 각각의 타일은 본 발명에서의 분할된 영역일 수 있다.
타일 0(1011)은 상측 또는 좌측으로부터 참조할 타일이 존재하지 않으므로, 병합이 이루어지지 않는다.
타일 1 (1012)은 좌측에 타일 0 (1011)이 위치하므로, 타일 0(1011)과의 스케일링 리스트 정보에 대한 병합 여부를 결정하고, 좌 병합 플래그인 merge_left_flag(1021)를 이용하여 병합 여부를 표현한다.
타일 2(1013)는 상측에 타일 0(1011)이 위치하므로, 타일 0(1011)과의 스케일링 리스트 정보에 대한 병합 여부를 결정하고, 상 병합 플래그인 merge_up_flag(1022)를 이용하여 병합 여부를 표현한다.
타일 3(1014)은 상측 및 좌측에 각각 타일 1(1012)과 타일 2(1013)가 위치하므로, 각각의 스케일링 리스트 정보에 대한 병합 여부를 결정하고, 좌 병합 플래그 및 상 병합 플래그를 이용하여 병합 여부를 표현한다.
참고로, 플래그 정보가 1이면 병합을 수행한다는 의미이고, 0이면 병합을 수행하지 않는다는 의미일 수 있으나, 반대로 설정될 수도 있다.
이처럼, 본 발명에서 제안되는 영상 부호화/복호화 장치는 압축/복원되는 영상의 주관적 품질 향상을 도모할 수 있고, 부호화/복호화시 전송되는 스케일링 리스트 정보량을 감소시킬 수 있어 효율 증대에 기여할 수 있다.
한편, 이하에서는 영상 복호화 방법에 대해 도 11을 참고하여 설명하기로 한다. 도 11은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다. 이를 위하여 이미 상술한 영상 복호화 장치를 활용할 수 있지만, 이에 한정되는 것은 아니다. 다만, 설명의 편의를 위해 영상 복호화 장치를 활용하여 영상을 복호화하는 방법에 대해 설명하기로 한다.
우선, 본 발명의 일 실시예에 따른 영상 복호화 방법에서는 비트스트림으로부터 영상의 분할된 영역마다 별도로 설정된 스케일링 리스트 정보를 추출한다(S1101).
계속해서, 추출된 스케일링 리스트 정보 중 영상 내 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보를 이용하여 복호화되는 블록에 대한 역양자화를 수행한다(S1102).
각 단계에 대해 보다 상세하게 설명하면 다음과 같다.
일 예에 따를 때, 추출하는 단계(S1101)는 분할된 영역마다 별도로 생성된 예측 스케일링 리스트 정보 및 차분 스케일링 리스트 정보를 추출할 수 있다.
이러한 경우, 예측 스케일링 리스트 정보 및 차분 스케일링 리스트 정보를 기초로 복호화되는 블록과 대응되는 예측 신호가 생성될 수 있다.
이때, 예측 스케일링 리스트 정보는 복호화되는 블록과 시간적으로 대응되는 참조 영상 내 블록에 대하여 설정된 스케일링 리스트 정보와, 복호화되는 블록과 공간적으로 인접한 인접 블록에 대하여 설정된 스케일링 리스트 정보 중에서 선택된 것이며, 차분 스케일링 리스트 정보는 예측 스케일링 리스트 정보와 스케일링 리스트 정보 간의 차이로부터 생성된 것이다.
또한, 다른 예에 따를 때, 추출하는 단계(S1101)는 스케일링 리스트 정보에 대한 병합 여부를 나타내는 플래그 정보를 추출할 수도 있다.
이러한 경우, 일 영역에 대하여 설정된 스케일링 리스트 정보가 다른 영역에 대하여 설정된 스케일링 리스트 정보와 병합된 것인지 여부에 대하여 플래그 정보를 기초로 병합 여부가 판단될 수 있다.
이때, 병합 여부는 영상 내 소정의 영역의 위치에 따라 결정될 수 있다.
한편, 일 예에 따를 때, 역양자화를 수행하는 단계(S1102)는 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보 내 스케일링 값을 이용하여 역양자화를 수행할 수 있다.
이때, 스케일링 값은 복호화되는 블록을 이루는 하위 블록에 대한 주파수 특성을 기초로 하위 블록마다 별도로 설정될 수 있다.
또한, 다른 예에 따를 때, 역양자화를 수행하는 단계(S1102)는 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보 내 스케일링 값을 이용하여 역양자화를 수행할 수도 있다.
이때, 스케일링 값은 복호화되는 블록을 이루는 하위 블록에 대한 주파수 특성을 기초로 2개 이상의 하위 블록을 포함하는 하위 블록 집합마다 별도로 설정될 수 있고, 하위 블록 집합의 개수는 가변적으로 결정될 수 있다.
지금까지 설명한 것처럼, 본 발명에서 제안하는 영상 부호화/복호화 방법을 활용하면, 압축/복원되는 영상의 주관적 품질 향상을 도모할 수 있고, 부호화/복호화시 전송되는 스케일링 리스트 정보량을 감소시킬 수 있어 효율 증대에 기여할 수 있다.
한편, 도 12는 본 발명의 다른 실시예에 따른 영상 부호화 장치를 전체적으로 도시한 블록도이다.
본 발명의 다른 실시예에 따른 영상 부호화 장치는 부호화되는 현재 블록과 대응되는 이미 부호화된 영역 내 대응 영역의 분할 정보 또는 윤곽선 정보를 현재 블록의 예측신호로 사용함으로써, 현재 블록을 화면 내 예측 모드 혹은 부분 블록 복사 모드로 부호화하고, 현재 블록의 예측신호를 추출 및 부호화한다.
본 발명의 다른 실시예에 따른 영상 부호화 장치는 윤곽선 정보 추출부(1202), 화면 내 예측부(1203), 윤곽선 예측 정보 추출부(1204), 변환부(1205), 양자화부(1206), 엔트로피 부호화부(1207), 역 양자화부(1208), 역 변환부(1209), 인루프 필터부(1210), 복원 영상 버퍼(1211) 및 화면 간 예측부(1212)를 포함할 수 있다.
윤곽선 정보 추출부(1202)는 입력된 영상(1201)에 대한 윤곽선(에지) 정보를 검출 및 분석하고, 그 결과를 화면 내 예측부(1203)로 전달할 수 있다.
화면 내 예측부(1203)는 MPEG-4, H.264/AVC 및 HEVC를 포함하는 동일 화면 내 예측 기법에 따라 화면 내 예측(Intra prediction)을 수행하고, 추가적으로 윤곽선 정보 추출부(1202)를 통해 추출된 윤곽선 정보를 기반으로 이미 부호화된 영역에 대한 윤곽선 기반 예측을 수행할 수 있다.
윤곽선 예측 정보 추출부(1204)는 화면 내 예측부(1203)를 통해 결정된 화면 내 예측 모드 및 윤곽선 예측신호의 위치, 윤곽선 예측정보 등을 추출한다.
양자화부(1206)는 변환부(1205)에서 변환된 차분 신호를 양자화하여 엔트로피 부호화부(1207)로 전달할 수 있다.
엔트로피 부호화부(1207)는 양자화부(1206)를 통해 양자화된 정보 및 윤곽선 예측 정보 추출부(1204)를 통해 추출된 정보를 압축하여 비트스트림을 생성할 수 있다.
화면 간 예측부(1212)는 인루프 필터부(1210)를 통해 복원 영상 버퍼(1211)에 저장되어 있던 정보를 이용하여 화면 간 예측 모드(Inter prediction) 기반의 예측을 수행할 수 있다. 양자화부(1206)로부터 출력된 양자화 변환 신호는 역양자화부(1208) 및 역변환부(1209)를 통해 역양자화 및 역변환되어, 화면 내 예측부(1203) 또는 화면 간 예측부(1212)로부터 출력된 예측 신호와 함께 인루프 필터부(1210)로 전달된다.
도 13은 본 발명의 다른 실시예에 따른 영상 복호화 장치를 전체적으로 도시한 블록도이다.
본 발명의 다른 실시예에 따른 영상 복호화 장치는 엔트로피 복호화부(1302), 역 양자화부(1303), 역변환부(1304), 화면 내 복원 영역 버퍼(1305), 영역 분할부 (1306), 화면내 예측부(1307), 예측 신호 생성부(1308), 움직임 보상부(1309), 복원 영상 버퍼 (1310), 인루프 필터부 (1311), 및 예측 모드 판단부(1313)를 포함할 수 있다.
엔트로피 복호화부(1302)는 영상 부호화 장치로부터 전송된 비트스트림(1301)을 복호화하여 신택스 구문(syntax elements) 및 양자화된 변환 계수를 포함하는 복호화 정보를 출력할 수 있다.
추출된 신택스 구문 내 예측 모드 정보(1312)에 따라 복호화될 현재 블록에 대한 예측 모드가 예측 모드 판단부(1313)에 의해 결정될 수 있고, 역양자화부(1303) 및 역변환부(1304)를 통해 양자화된 변환 계수는 잔차 신호(residual signal)로 역양자화 및 역변환될 수 있다.
예측 신호는 화면 내 예측부(1307)에 의한 화면내 예측 모드(Intra prediction mode) 또는 움직임 보상부(1309)에 의한 화면 간 예측 모드(Inter prediction mode)를 기초로 생성될 수 있고, 본 발명의 경우 화면내 부분 블록 복사 모드(Intra partial block copy mode)를 기초로 생성될 수도 있다.
화면 내 예측부(1307)는 복호화되는 현재 블록과 공간적으로 인접하는 인접 블록의 화소값을 이용하여 공간적 예측을 수행하여 현재 블록에 대한 예측 신호를 생성할 수 있다.
예측 모드 판단부(1313)의 판단 결과에 따라 동작 여부가 달라지는 영역 분할부(1306)는 화면 내 복원 영역 버퍼(1305)로부터 입력된 복원 영역에 대한 신호(복원 신호)를 기초로 현재 블록과 대응되는 대응 영역을 분할할 수 있는데, 이에 대한 구체적인 설명은 후술하기로 한다.
여기서, 복원 신호는 화면 내 예측부(1307), 이에 포함된 예측 신호 생성부(1308), 및 움직임 보상부(1309) 중 적어도 어느 하나에 의해 생성된 예측 신호와 상술한 잔차 신호를 합하여 생성될 수 있고, 인루프 필터부 (1311)에 의해 최종 복원될 수 있다.
인루프 필터부(1311)는 디블록킹 필터링 및 SAO 과정 등을 수행하여 복원 블록을 출력할 수 있고, 복원 영상 버퍼(1310)는 복원 블록을 저장할 수 있다. 이때, 복원 블록은 화면 간 예측 모드를 위해 움직임 보상부(1309)에서 참조 영상으로서 사용될 수 있다.
도 14는 도 13에 도시된 구성들 중 일부 구성의 동작을 구체적으로 설명하기 위한 도면이다.
본 발명의 다른 실시예에 따른 영상 복호화 장치는 영역 분할부(1404) 및 예측 신호 생성부(1405)를 포함할 수 있다.
영역 분할부(1404)는 비트스트림으로부터 전송된 예측모드 정보(1401)에 기초한 예측 모드 판단부의 판단 결과를 수신할 수 있다.
복호화되는 현재 블록이 화면내 예측 모드 중 (화면내) 부분 블록 복사 모드를 이용하여 부호화된 경우, 영역 분할부(1404)는 이미 복호화된 영역 내 현재 블록과 대응되는 대응 영역을 임의의(arbitrary) 형태로 분할할 수 있다. 이때, 이미 복호화된 영역과 관련된 정보는 화면 내 복원 영역 버퍼(1403)에 저장된 것일 수 있다.
구체적으로, 영역 분할부(1404)는 곡선 또는 직선을 이용하여 대응 영역을 적어도 2개 이상으로 분할할 수 있다. 이처럼 영역 분할부(1404)는 대응 영역을 임의의 형태로 분할할 수 있으므로, 영상의 특성(예를 들어, 자막 영역과 화상 영역으로 구분되는 스크린 콘텐츠 등)에 따라 적응적으로 분할할 수 있다.
도 15는 복호화되는 현재 블록 및 이미 복호화된 영역 내 대응 영역의 일 예를 도시한 도면이다.
임의의 픽쳐(1501) 내에서 복호화되는 현재 블록(1502)과, 이미 복호화된 영역 내 대응 영역(1504)은 서로 대응되는(corresponding) 관계이다.
영역 분할부(1404)는 현재 블록(1502)과 대응 영역(1504) 간의 상대적 위치 정보인 블록 벡터(block vector; 1505)를 기초로 대응 영역(1504)을 검색하고, 검색된 대응 영역(1504)을 분할할 수 있다.
특히, 영역 분할부(1404)는 검색된 대응 영역(1504)의 기하학적 특징을 기준으로 하여 대응 영역(1504)을 분할할 수 있다.
구체적으로, 일 예에 따른 영역 분할부(1404)는 검색된 대응 영역(1504)에 포함된 소정의 윤곽선(A’) 또는 강한 에지 성분을 기초로 대응 영역(1504)을 분할할 수 있다. 이때, 소정의 윤곽선(A’)은 이미 복호화된 영역(1503)을 이루는 복수 개의 하위 영역에 포함된 각각의 윤곽선 중 어느 하나로서, 각각의 윤곽선과 현재 블록(1502)에 포함된 윤곽선(A) 간의 유사한 정도를 분석한 결과에 기초하여 결정될 수 있다. 즉, 유사한 정도가 가장 높은 윤곽선을 포함하는 하위 영역이 대응 영역(1504)일 수 있고, 유사한 정도를 분석하는 알고리즘은 다양하게 적용될 수 있다.
또한, 다른 예에 따른 영역 분할부(1404)는 검색된 대응 영역(1504) 내 소정의 화소 값 분포를 기초로 대응 영역(1504)을 분할할 수 있다. 이때, 소정의 화소 값 분포는 이미 복호화된 영역(1503)을 이루는 복수 개의 하위 영역 내 각각의 화소 값 분포 중 어느 하나로서, 각각의 화소 값 분포와 현재 블록(1502) 내 화소 값 분포 간의 유사한 정도를 분석한 결과에 기초하여 결정될 수 있다. 즉, 유사한 정도가 가장 높은 화소 값 분포의 하위 영역이 대응 영역(1504)일 수 있고, 유사한 정도를 분석하는 알고리즘은 다양하게 적용될 수 있다.
다시 도 14를 참고하면, 예측 신호 생성부(1405)는 상술한 영역 분할부(1404)로부터 분할된 대응 영역마다 화면내 예측 모드 또는 화면내 블록 복사 모드 기반의 현재 블록(혹은 대응 영역)에 대한 예측 신호를 각각 생성할 수 있다.
구체적으로, 예측 신호 생성부(1405)는 분할된 대응 영역 중 이미 복호화된 영역이 좌측과 상측 중 적어도 하나의 위치에 인접하여 존재하는 영역에 대하여 화면내 예측 모드 기반의 예측 신호(1406)를 생성하고, 분할된 대응 영역 중 이미 복호화된 영역이 좌측과 상측의 위치에 인접하여 존재하지 않는 영역에 대하여 화면내 블록 복사 모드 기반의 예측 신호(1406)를 생성할 수 있다.
즉, 예측 신호 생성부(1405)는 임의의 형태로 분할된 대응 영역마다 화면내 예측 모드 또는 화면내 블록 복사 모드를 적응적으로 적용시킴으로써, 화면내 예측 성능을 향상시킬 수 있다. 이에 대하여 도 16 및 도 17을 참고하여 설명하기로 한다.
도 16은 분할된 대응 영역, 화면내 예측 모드 및 화면내 블록 복사 모드로 복호화되는 영역의 일 예를 도시한 도면이다.
도 16을 참조하면, 영역 분할부는 현재 블록과 대응되는 대응 블록(1601)을 소정의 기준(윤곽선, 화소 값 분포 등)에 따라 제 1 영역(1602) 및 제 2 영역(1603)으로 분할한다.
이때, 우측에 도시된 도면을 참조하면, 이미 복호화된 영역(1604a, 1604b)은 제 1 영역(1605)의 좌측 및 상측에 인접하여 존재하고, 제 2 영역(1606)의 좌측 및 상측에 인접하여 존재하지 않는다는 것을 확인할 수 있다.
따라서, 예측 신호 생성부는 제 1 영역(1605)에 대하여 화면내 예측 모드 기반의 예측 신호를 생성하고, 제 2 영역(1606)에 대하여 블록 복사 모드 기반의 예측 신호를 생성한다.
또한, 도 17은 분할된 대응 영역, 화면내 예측 모드로 복호화되는 영역의 일 예를 도시한 도면이다.
도 17을 참조하면, 영역 분할부는 현재 블록과 대응되는 대응 블록(1701)을 소정의 기준(윤곽선, 화소 값 분포 등)에 따라 제 3 영역(1702) 및 제 4 영역(1703)으로 분할한다.
이때, 우측에 도시된 도면을 참조하면, 이미 복호화된 영역의 일부분(1704a, 1704b)은 제 3 영역(1705)의 좌측 및 상측에 인접하여 존재하고, 이미 복호화된 영역의 나머지 부분(1706a, 1706b)은 제 4 영역(1707)의 좌측 및 상측에 인접하여 존재한다는 것을 확인할 수 있다.
따라서, 예측 신호 생성부는 제 3 영역(1705) 및 제 4 영역(1707)에 대하여 화면내 예측 모드 기반의 예측 신호를 생성한다.
다시 도 14를 참조하면, 상술한 예측 신호 생성부(1405)에서 생성된 예측 신호(1406)와 비트스트림으로부터 전송된 잔차신호(1407)가 화면내 예측부(1408)에서 합해지고, 이들은 복원 신호(1409)를 이루게 된다. 현재 블록(혹은 대응 블록)에 대한 복원 신호(1409)는 복원된 영상 또는 블록과 관련된 정보를 포함하고, 화면 내 복원 영역 버퍼(1403) 내에 저장될 수 있으며, 다음으로 복호화될 블록의 영역 분할을 위해 사용될 수도 있다.
한편, 앞서 설명한 것처럼 영역 분할부(1404)는 예측 모드 판단부의 판단 결과를 수신할 수 있다. 즉, 본 발명의 다른 실시예에 따른 영상 복호화 장치는 상술한 영역 분할부(1404) 및 예측 신호 생성부(1405) 이외에 예측 모드 판단부(도 13의 1313)를 더 포함할 수 있다.
구체적으로, 예측 모드 판단부는 비트스트림으로부터 추출된 플래그 정보를 이용하여 현재 블록이 부분 블록 복사 모드로 부호화된 것인지를 판단할 수 있다(1402).
예를 들어, 플래그 정보가 “partial_intra_bc_mode”로 표현되는 경우, X 블록의 플래그 정보 내 비트 값이 1이면 X 블록은 부분 블록 복사 모드로 부호화된 것이고, 비트 값이 0이면 X 블록은 부분 블록 복사 모드로 부호화된 것이 아니다. 물론 상황에 따라 플래그 정보 내 비트 값이 반대의 의미를 가질 수도 있다.
여기서, 플래그 정보는 현재 블록이 포함된 픽쳐 그룹 또는 픽쳐를 위한 픽쳐 파라미터 셋(PPS : Picture Parameter Set), 또는 현재 블록이 포함된 슬라이스 또는 슬라이스 세그먼트를 위한 슬라이스 헤더(Slice Header)에 포함되는 것일 수 있다.
이하에서는 보다 구체적인 예측 모드 판단부의 동작을 설명하기 위해, 도 18 및 도 19를 참조하여 설명하기로 한다.
도 18은 영역 플래그 정보, 서로 공간적으로 인접하여 임의의 행을 이루는 복수 개의 대상 블록, 및 각 대상 블록에 포함된 하위 블록의 일 예를 도시한 도면이다.
예측 모드 판단부는 비트스트림으로부터 추출된 영역 플래그 정보를 이용하여, 서로 공간적으로 인접하여 임의의 행(row) 또는 열(column)을 이루는 복수 개의 대상 블록에 포함된 하위 블록이 각각 플래그 정보를 가지고 있는지를 상기 행 또는 열 단위로 판단할 수 있다. 이때, 플래그 정보는 하위 블록이 부분 블록 복사 모드로 부호화된 것인지 나타내는 것이다.
영역 플래그 정보는 개별 블록이 부분 블록 복사 모드로 부호화된 것인지를 판단하는 데에 이용되는 플래그 정보와 달리, 일정 영역 내에 상술한 플래그 정보를 가진 개별 블록이 존재하는지를 판단하는 데에 이용될 수 있다. 이러한 영역 플래그 정보는 픽쳐 파라미터 셋 레벨(1801) 또는 슬라이스 헤더 레벨(1802)과 같은 하이-레벨 신택스 (High-level syntax) 내에 기술되어, 부분 블록 복사 모드 기반의 예측 여부를 시그널링하는 데에 사용될 수 있다.
예를 들어, “pps_partial_intra_enabled”(1801) 영역 플래그가 0인 경우, 예측 모드 판단부는 현재 픽쳐(1804) 내 모든 블록이 부분 블록 복사 모드로 부호화된 것이 아니라고 판단할 수 있다. 또한, “pps_partial_intra_enabled”(1801) 영역 플래그가 1인 경우, 예측 모드 판단부는 현재 픽쳐(1804) 내 전체 또는 일부 블록이 상술한 플래그 정보를 가지고 있다고 판단할 수 있다. 물론 상황에 따라 상기 영역 플래그가 반대의 의미를 가질 수도 있다.
예를 들어, “partial_intra_row_enabled”(1803) 영역 플래그가 0인 경우, 예측 모드 판단부는 현재 행(1805) 내 모든 블록이 부분 블록 복사 모드로 부호화된 것이 아니라고 판단할 수 있다. 또한, “partial_intra_row_enabled” 영역 플래그가 1인 경우, 예측 모드 판단부는 현재 행(1806) 내 전체 또는 일부 블록이 상술한 플래그 정보를 가지고 있다고 판단할 수 있다. 또한, 현재 행(1806) 내 소정의 하위 블록(1808)의 “partial_intra_bc_mode”(1807) 플래그가 1인 경우, 영역 분할부는 A라인을 기준으로 좌상단에 위치한 이미 복호화된 영역 내에서 하위 블록(1808)과 대응되는 대응 영역(1809)을 임의의 형태로 분할할 수 있다. 이때, 대응 영역(1809)을 검색하기 위해 블록 벡터(1810)가 사용될 수 있고, 하위 블록(1808) 혹은 대응 영역(1809)은 소정의 기준(윤곽선, 화소 값 분포 등)에 따라 분할될 수 있다.
아울러, 도 19는 최소 크기의 단위 블록으로 이루어진 현재 블록이 복호화되는 과정의 일 예를 도시한 도면이다.
예측 모드 판단부는 현재 블록이 최소 크기의 단위 블록(1901)인 경우, 비트스트림으로부터 추출된 부분 플래그 정보(1907; “partial_intra_flag”)를 이용하여 단위 블록에 포함된 하위 블록(1903, 1904, 1905, 1906)이 각각 부분 블록 복사 모드로 부호화된 것인지를 하위 블록 단위로 판단할 수 있다. 이때, 단위 블록은 코딩을 위해 더 이상 세부적으로 나뉘어지지 않는 최소 크기의 블록이고, 부분 플래그 정보는 일종의 플래그 정보일 수 있다.
또한, 예측 모드 판단부는 z 스캔 순서(1902)에 따라 하위 블록이 각각 부분 블록 복사 모드로 부호화된 것인지를 판단할 수도 있다. “partial_intra_flag” 플래그가 1인 두번째 및 네번째 하위 블록(1904, 1905)은 부분 블록 복사 모드로 부호화된 것이고, “partial_intra_flag” 플래그가 0인 첫번째 및 세번째 하위 블록(1903, 1906)은 부분 블록 복사 모드로 부호화된 것이 아니므로, 기존의 화면내 예측을 통해 부호화된 것일 수 있다.
이처럼 본 발명에서 제안되는 영상 복호화 장치는 분할된 영역마다 적응적으로 화면내 예측 모드 또는 화면내 블록 복사 모드 기반의 예측 신호를 생성함으로써, 화면내 예측 성능을 전체적으로 향상시킬 수 있고, 영상을 압축/복원할 때 영상의 기하학적 특성을 최적으로 반영할 수 있다.
한편, 이하에서는 영상 복호화 방법에 대해 도 20을 참고하여 설명하기로 한다. 도 20은 본 발명의 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다. 이를 위하여 이미 상술한 영상 복호화 장치를 활용할 수 있지만, 이에 한정되는 것은 아니다. 다만, 설명의 편의를 위해 영상 복호화 장치를 활용하여 영상을 복호화하는 방법에 대해 설명하기로 한다.
본 발명의 다른 실시예에 따른 영상 복호화 방법에서는 복호화되는 현재 블록이 화면내 예측 모드 중 부분 블록 복사 모드를 이용하여 부호화된 것인지 판단한다(S2001).
구체적으로, 판단하는 단계(S2001)에서는 비트스트림으로부터 추출된 플래그 정보를 이용하여 현재 블록이 부분 블록 복사 모드로 부호화된 것인지를 판단할 수 있다.
보다 구체적으로, 판단하는 단계(S2001)에서는 비트스트림으로부터 추출된 영역 플래그 정보를 이용하여 서로 공간적으로 인접하여 임의의 행 또는 열을 이루는 복수 개의 대상 블록에 포함된 하위 블록이 각각 플래그 정보를 가지고 있는지를 상기 행 또는 열 단위로 판단할 수 있다. 이때, 플래그 정보는 하위 블록이 부분 블록 복사 모드로 부호화된 것인지 나타내는 것일 수 있다.
또한, 판단하는 단계(S2001)에서는 현재 블록이 최소 크기의 단위 블록인 경우, 비트스트림으로부터 추출된 부분 플래그 정보를 이용하여 단위 블록에 포함된 하위 블록이 각각 부분 블록 복사 모드로 부호화된 것인지를 하위 블록 단위로 판단할 수 있다.
이어서, 부분 블록 복사 모드를 이용하여 부호화된 경우(Yes), 이미 복호화된 영역 내 현재 블록과 대응되는 대응 영역이 임의의 형태로 분할된다(S2002).
이때, 대응 영역은 곡선 또는 직선에 의해 적어도 2개 이상으로 분할될 수 있다.
구체적으로, 분할하는 단계(S2002)에서는 현재 블록과 대응 영역 간의 상대적 위치 정보인 블록 벡터를 기초로 대응 영역을 검색하는 단계를 포함할 수 있고, 그 검색된 대응 영역을 분할할 수 있다.
보다 구체적으로, 일 예에 따른 분할하는 단계(S2002)에서는 대응 영역에 포함된 소정의 윤곽선을 기초로 대응 영역을 분할할 수 있다. 이때, 소정의 윤곽선은 이미 복호화된 영역을 이루는 복수 개의 하위 영역에 포함된 각각의 윤곽선 중 어느 하나로서, 각각의 윤곽선과 현재 블록에 포함된 윤곽선 간의 유사한 정도를 분석한 결과에 기초하여 결정될 수 있다.
또한, 다른 예에 따른 분할하는 단계(S2002)에서는 대응 영역 내 소정의 화소 값 분포를 기초로 대응 영역을 분할할 수 있다. 이때, 소정의 화소 값 분포는 이미 복호화된 영역을 이루는 복수 개의 하위 영역 내 각각의 화소 값 분포 중 어느 하나로서, 각각의 화소 값 분포와 상기 현재 블록 내 화소 값 분포 간의 유사한 정도를 분석한 결과에 기초하여 결정될 수 있다.
참고로, 부분 블록 복사 모드를 이용하여 부호화되지 않은 경우(No), 화면내 예측 모드 기반의 현재 블록에 대한 예측 신호가 생성될 수 있다(S2004).
계속해서, 분할하는 단계(S2002)에서 분할된 대응 영역마다 화면내 예측 모드 기반의 현재 블록(혹은 대응 블록)에 대한 예측 신호가 생성되거나(S2004), 화면내 블록 복사 모드 기반의 현재 블록(혹은 대응 블록)에 대한 예측 신호가 생성된다(S2003).
구체적으로, 생성하는 단계(S2004)에서는 분할된 대응 영역 중 이미 복호화된 영역이 좌측과 상측 중 적어도 하나의 위치에 인접하여 존재하는 영역에 대하여 화면내 예측 모드 기반의 예측 신호를 생성할 수 있다.
또한, 생성하는 단계(S2003)에서는 분할된 대응 영역 중 이미 복호화된 영역이 좌측과 상측의 위치에 인접하여 존재하지 않는 영역에 대하여 화면내 블록 복사 모드 기반의 예측 신호를 생성할 수 있다.
지금까지 설명한 것처럼, 본 발명에서 제안하는 영상 복호화 방법을 활용하면, 분할된 영역마다 적응적으로 화면내 예측 모드 또는 화면내 블록 복사 모드 기반의 예측 신호를 생성함으로써, 화면내 예측 성능을 전체적으로 향상시킬 수 있고, 영상을 압축/복원할 때 영상의 기하학적 특성을 최적으로 반영할 수 있다.
한편, 본 발명의 또 다른 실시예에 따른 영상 부호화/복호화 장치에 대해서 도 21 및 도 22를 참고하여 설명한다.
도 21은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치를 전체적으로 도시한 블록도이다. 본 발명의 또 다른 실시예에 따른 영상 부호화 장치는 앞서 설명한 본 발명의 일 실시예에 따른 영상 부호화 장치의 특징과 본 발명의 다른 실시예에 따른 영상 부호화 장치의 특징을 조합한 형태일 수 있다.
본 발명의 또 다른 실시예에 따른 영상 부호화 장치는 윤곽선 정보 추출부(2102), 화면 내 예측부(2103), 윤곽선 예측 정보 추출부(2104), 적응적 양자화 단위 선택부(2105), 변환부(2106), 적응적 양자화부(2107), 엔트로피 부호화부(2108), 적응적 역 양자화부(2109), 역 변환부(2110), 인루프 필터부(2111), 복원 영상 버퍼(2112) 및 화면 간 예측부(2113)를 포함할 수 있다.
윤곽선 정보 추출부(2102)는 입력된 영상(2101)에 대한 윤곽선(에지) 정보를 검출 및 분석하고, 그 결과를 화면 내 예측부(2103)로 전달할 수 있다.
화면 내 예측부(2103)는 MPEG-4, H.264/AVC 및 HEVC를 포함하는 동일 화면 내 예측 기법에 따라 화면 내 예측(Intra prediction)을 수행하고, 추가적으로 윤곽선 정보 추출부(2102)를 통해 추출된 윤곽선 정보를 기반으로 이미 부호화된 영역에 대한 윤곽선 기반 예측을 수행할 수 있다.
윤곽선 예측 정보 추출부(2104)는 화면 내 예측부(2103)를 통해 결정된 화면 내 예측 모드 및 윤곽선 예측신호의 위치, 윤곽선 예측정보 등을 추출하여 엔트로피 부호화부(2108)로 전달한다.
적응적 양자화 단위 선택부(2105)는 입력된 영상(2101)에 대한 시각적 인지 특성을 분석하여 적응적 양자화를 수행하는 영역을 분류하고, 스케일링 리스트 정보를 전송할 영상 분할 구조를 선택할 수 있다.
적응적 양자화부(2107)는 예측 결과를 기초로 변환부(2106)에서 변환된 차분 신호에 대하여 시각적 인지 특성을 분석할 수 있고, 시간적 혹은 공간적으로 인접한 영상 분할을 기준으로 스케일링 리스트 정보에 대한 참조 예측을 수행할 수 있다.
또한, 적응적 양자화부(2107)는 예측을 수행한 스케일링 리스트 정보를 이용하여 변환 신호에 대한 적응적 양자화를 수행할 수 있고, 해당 정보들을 시간적 혹은 공간적으로 인접한 영상 분할과의 병합 여부를 결정할 수 있다.
화면 간 예측부(2113)는 적응적 양자화 단위 선택부(2105)에서 선택된 영상 분할 구조에 기초하여, 화면 간 예측 모드(Inter prediction) 기반의 예측을 수행할 수 있다.
화면 간 예측부(2113)는 인루프 필터부(2111)를 통해 복원 영상 버퍼(2112)에 저장되어 있던 정보를 이용하여 화면간 예측 모드를 수행할 수 있다. 상술한 적응적 양자화부(2107)로부터 출력된 양자화 변환 신호는 적응적 역양자화부(2109) 및 역변환부(2110)를 통해 적응적 역양자화 및 역변환되어, 화면 내 예측부(2103) 또는 화면 간 예측부(2113)로부터 출력된 예측 신호와 함께 인루프 필터부(2111)로 전달된다.
양자화 변환 신호 및 윤곽선 예측 정보 추출부(2104)로부터 추출된 정보를 포함하는 부호화 정보들은 엔트로피 부호화부(2108)에 의해 비트스트림으로 출력된다.
이와 같은 영상 부호화 장치 및 이를 이용한 영상 부호화 방법을 활용하면, 압축된 영상의 주관적 품질 향상을 도모할 수 있고, 부호화시 전송되는 스케일링 리스트 정보량을 감소시킬 수 있어 효율 증대에 기여할 수 있다. 또한, 분할된 영역마다 적응적으로 화면내 예측 모드 또는 화면내 블록 복사 모드 기반의 예측 신호를 생성함으로써, 화면내 예측 성능을 전체적으로 향상시킬 수 있고, 영상을 압축할 때 영상의 기하학적 특성을 최적으로 반영할 수 있다.
도 22는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치를 도시한 블록도이다. 본 발명의 또 다른 실시예에 따른 영상 복호화 장치는 앞서 설명한 본 발명의 일 실시예에 따른 영상 복호화 장치의 특징과 본 발명의 다른 실시예에 따른 영상 복호화 장치의 특징을 조합한 형태일 수 있다.
본 발명의 또 다른 실시예에 따른 영상 복호화 장치는 엔트로피 복호화부(2202), 적응적 역 양자화부(2203), 역변환부(2204), 화면 내 복원 영역 버퍼(2205), 영역 분할부(2206), 화면내 예측부(2207), 예측 신호 생성부(2208), 움직임 보상부(2209), 복원 영상 버퍼 (2210), 인루프 필터부 (2211) 및 예측 모드 판단부(2213)를 포함할 수 있다.
엔트로피 복호화부(2202)는 영상 부호화 장치로부터 전송된 비트스트림(2201)을 복호화하여 신택스 구문(syntax elements) 및 양자화된 변환 계수를 포함하는 복호화 정보를 출력할 수 있다.
적응적 역양자화부(2203)는 엔트로피 복호화부(2202)에서 복호화된 정보 중 양자화 계수 및 해당 영상 분할에 해당하는 스케일링 리스트 정보를 이용하여 적응적으로 역양자화를 수행할 수 있다.
또한, 적응적 역양자화부(2203)는 영상의 분할된 영역마다 별도로 설정된 스케일링 리스트 정보 중 해당 영상 내 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보를 이용하여 복호화되는 블록에 대한 역양자화를 수행할 수 있다.
양자화된 변환 계수는 적응적 역양자화부(2203) 및 역변환부(2204)를 통해 잔차 신호(residual signal)로 역양자화 및 역변환될 수 있다.
또한, 엔트로피 복호화부(2202)에서 추출된 신택스 구문 내 예측 모드 정보(2212)에 따라, 복호화될 현재 블록에 대한 예측 모드가 예측 모드 판단부(2213)에 의해 결정될 수 있다.
예측 모드 판단부(2213)는 복호화된 정보 중 예측 모드 정보에 따라 현재 블록이 어떤 예측 모드로 부호화된 것인지 구별할 수 있다.
예측 모드 판단부(2213)의 판단 결과에 따라 동작 여부가 달라지는 영역 분할부(2206)는 화면 내 복원 영역 버퍼(2205)로부터 입력된 복원 영역에 대한 신호(복원 신호)를 기초로 현재 블록과 대응되는 대응 영역을 분할할 수 있다.
여기서, 복원 신호는 화면 내 예측부(2207), 이에 포함된 예측 신호 생성부(2208), 및 움직임 보상부(2209) 중 적어도 어느 하나에 의해 생성된 예측 신호와 상술한 잔차 신호를 합하여 생성될 수 있고, 인루프 필터부 (2211)에 의해 최종 복원될 수 있다.
인루프 필터부(2211)는 디블록킹 필터링 및 SAO 과정 등을 수행하여 복원 블록을 출력할 수 있고, 복원 영상 버퍼(2210)는 복원 블록을 저장할 수 있다. 이때, 복원 블록은 화면 간 예측 모드를 위해 움직임 보상부(2209)에서 참조 영상으로서 사용될 수 있다.
한편, 예측 신호는 화면 내 예측부(2207)에 의한 화면내 예측 모드(Intra prediction mode) 또는 움직임 보상부(2209)에 의한 화면 간 예측 모드(Inter prediction mode)를 기초로 생성될 수 있고, 경우에 따라 화면내 부분 블록 복사 모드(Intra partial block copy mode)를 기초로 생성될 수도 있다.
화면 내 예측부(2207)는 복호화되는 현재 블록과 공간적으로 인접하는 인접 블록의 화소값을 이용하여 공간적 예측을 수행하여 현재 블록에 대한 예측 신호를 생성할 수 있다.
이와 같은 영상 복호화 장치 및 이를 이용한 영상 복호화 방법을 활용하면, 복원된 영상의 주관적 품질 향상을 도모할 수 있고, 복호화시 전송되는 스케일링 리스트 정보량을 감소시킬 수 있어 효율 증대에 기여할 수 있다. 또한, 분할된 영역마다 적응적으로 화면내 예측 모드 또는 화면내 블록 복사 모드 기반의 예측 신호를 생성함으로써, 화면내 예측 성능을 전체적으로 향상시킬 수 있고, 영상을 복원할 때 영상의 기하학적 특성을 최적으로 반영할 수 있다.
한편, 도 1 내지 도 4, 도 12, 도 13, 도 21 및 도 22에서 도시된 각각의 구성요소는 일종의 '모듈'로 구성될 수 있다. 상기 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(ASIC, Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.
본 발명의 장치 및 방법은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
아울러, 본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (34)

  1. 영상 복호화 장치에 있어서,
    영상의 분할된 영역마다 별도로 설정된 스케일링 리스트 정보 중 상기 영상 내 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보를 이용하여 상기 복호화되는 블록에 대한 역양자화를 수행하는 적응적 역양자화부를 포함하는 영상 복호화 장치.
  2. 제 1 항에 있어서,
    상기 영역마다 별도로 생성된 예측 스케일링 리스트 정보 및 차분 스케일링 리스트 정보를 비트스트림으로부터 추출하는 엔트로피 복호화부를 더 포함하고,
    상기 예측 스케일링 리스트 정보는 상기 복호화되는 블록과 시간적으로 대응되는 참조 영상 내 블록을 포함하는 제 1 영역에 대하여 설정된 스케일링 리스트 정보와, 상기 복호화되는 블록과 공간적으로 인접한 인접 블록을 포함하는 제 2 영역에 대하여 설정된 스케일링 리스트 정보 중에서 선택된 것이고,
    상기 차분 스케일링 리스트 정보는 상기 예측 스케일링 리스트 정보와 상기 스케일링 리스트 정보 간의 차이로부터 생성된 것인, 영상 복호화 장치.
  3. 제 1 항에 있어서,
    상기 영역은 상기 영상을 픽쳐, 슬라이스, 타일, 또는 쿼드-트리 중 어느 하나의 단위로 분할하여 생성된 것인, 영상 복호화 장치.
  4. 제 1 항에 있어서,
    상기 스케일링 리스트 정보는 상기 영상에 대한 시각적 인지 특성을 분석한 결과를 기초로 상기 영역마다 별도로 설정되는 것인, 영상 복호화 장치.
  5. 제 4 항에 있어서,
    상기 시각적 인지 특성은 휘도 순응 현상, 대비 민감도 함수 현상, 및 대비 마스킹 현상 중 적어도 어느 하나를 포함하는 영상 복호화 장치.
  6. 제 1 항에 있어서,
    상기 스케일링 리스트 정보에 대한 병합 여부를 나타내는 플래그 정보를 비트스트림으로부터 추출하는 엔트로피 복호화부를 더 포함하고,
    상기 병합 여부는 상기 영상 내 소정의 영역의 위치에 따라 결정되는 영상 복호화 장치.
  7. 제 6 항에 있어서,
    상기 소정의 영역과 공간적으로 인접하는 인접 영역이 상기 소정의 영역의 상측 또는 좌측에 존재하는 경우,
    상기 엔트로피 복호화부는 상기 소정의 영역의 스케일링 리스트 정보에 대한 병합이 가능하다는 것을 나타내는 플래그 정보를 추출하는 영상 복호화 장치.
  8. 제 1 항에 있어서,
    상기 적응적 역양자화부는
    상기 일 영역에 대하여 설정된 스케일링 리스트 정보 내 스케일링 값을 이용하여 상기 역양자화를 수행하고,
    상기 스케일링 값은 상기 복호화되는 블록을 이루는 하위 블록에 대한 주파수 특성을 기초로 상기 하위 블록마다 별도로 설정되는 것인, 영상 복호화 장치.
  9. 제 1 항에 있어서,
    상기 적응적 역양자화부는
    상기 일 영역에 대하여 설정된 스케일링 리스트 정보 내 스케일링 값을 이용하여 상기 역양자화를 수행하고,
    상기 스케일링 값은 상기 복호화되는 블록을 이루는 하위 블록에 대한 주파수 특성을 기초로 2개 이상의 하위 블록을 포함하는 하위 블록 집합마다 별도로 설정되고,
    상기 하위 블록 집합의 개수는 가변적으로 결정되는 것인, 영상 복호화 장치.
  10. 영상 복호화 방법에 있어서,
    비트스트림으로부터 영상의 분할된 영역마다 별도로 설정된 스케일링 리스트 정보를 추출하는 단계; 및
    상기 스케일링 리스트 정보 중 상기 영상 내 복호화되는 블록을 포함하는 일 영역에 대하여 설정된 스케일링 리스트 정보를 이용하여 상기 복호화되는 블록에 대한 역양자화를 수행하는 단계를 포함하는 영상 복호화 방법.
  11. 제 10 항에 있어서,
    상기 추출하는 단계는 상기 영역마다 별도로 생성된 예측 스케일링 리스트 정보 및 차분 스케일링 리스트 정보를 추출하고,
    상기 예측 스케일링 리스트 정보 및 차분 스케일링 리스트 정보를 기초로 상기 복호화되는 블록과 대응되는 예측 신호를 생성하는 단계를 더 포함하고,
    상기 예측 스케일링 리스트 정보는 상기 복호화되는 블록과 시간적으로 대응되는 참조 영상 내 블록에 대하여 설정된 스케일링 리스트 정보와, 상기 복호화되는 블록과 공간적으로 인접한 인접 블록에 대하여 설정된 스케일링 리스트 정보 중에서 선택된 것이며,
    상기 차분 스케일링 리스트 정보는 상기 예측 스케일링 리스트 정보와 상기 스케일링 리스트 정보 간의 차이로부터 생성된 것인, 영상 복호화 방법.
  12. 제 10 항에 있어서,
    상기 추출하는 단계는 상기 스케일링 리스트 정보에 대한 병합 여부를 나타내는 플래그 정보를 추출하고,
    상기 일 영역에 대하여 설정된 스케일링 리스트 정보가 다른 영역에 대하여 설정된 스케일링 리스트 정보와 병합된 것인지 여부에 대하여 상기 플래그 정보를 기초로 판단하는 단계를 더 포함하고,
    상기 병합 여부는 상기 영상 내 소정의 영역의 위치에 따라 결정되는 영상 복호화 방법.
  13. 제 10 항에 있어서,
    상기 역양자화를 수행하는 단계는 상기 일 영역에 대하여 설정된 스케일링 리스트 정보 내 스케일링 값을 이용하여 상기 역양자화를 수행하고,
    상기 스케일링 값은 상기 복호화되는 블록을 이루는 하위 블록에 대한 주파수 특성을 기초로 상기 하위 블록마다 별도로 설정되는 것인, 영상 복호화 방법.
  14. 제 10 항에 있어서,
    상기 역양자화를 수행하는 단계는 상기 일 영역에 대하여 설정된 스케일링 리스트 정보 내 스케일링 값을 이용하여 상기 역양자화를 수행하고,
    상기 스케일링 값은 상기 복호화되는 블록을 이루는 하위 블록에 대한 주파수 특성을 기초로 2개 이상의 하위 블록을 포함하는 하위 블록 집합마다 별도로 설정되고,
    상기 하위 블록 집합의 개수는 가변적으로 결정되는 것인, 영상 복호화 방법.
  15. 영상 복호화 장치에 있어서,
    복호화되는 현재 블록이 화면내 예측 모드 중 부분 블록 복사 모드를 이용하여 부호화된 경우, 이미 복호화된 영역 내 상기 현재 블록과 대응되는 대응 영역을 임의의 형태로 분할하는 영역 분할부; 및
    상기 영역 분할부로부터 분할된 대응 영역마다 상기 화면내 예측 모드 또는 화면내 블록 복사 모드 기반의 상기 현재 블록에 대한 예측 신호를 각각 생성하는 예측 신호 생성부를 포함하는 영상 복호화 장치.
  16. 제 15 항에 있어서,
    상기 영역 분할부는 곡선 또는 직선을 이용하여 상기 대응 영역을 적어도 2개 이상으로 분할하는 영상 복호화 장치.
  17. 제 15 항에 있어서,
    상기 영역 분할부는 상기 대응 영역에 포함된 소정의 윤곽선을 기초로 상기 대응 영역을 분할하고,
    상기 소정의 윤곽선은 상기 이미 복호화된 영역을 이루는 복수 개의 하위 영역에 포함된 각각의 윤곽선 중 어느 하나로서, 상기 각각의 윤곽선과 상기 현재 블록에 포함된 윤곽선 간의 유사한 정도를 분석한 결과에 기초하여 결정되는 것인, 영상 복호화 장치.
  18. 제 15 항에 있어서,
    상기 영역 분할부는 상기 대응 영역 내 소정의 화소 값 분포를 기초로 상기 대응 영역을 분할하고,
    상기 소정의 화소 값 분포는 상기 이미 복호화된 영역을 이루는 복수 개의 하위 영역 내 각각의 화소 값 분포 중 어느 하나로서, 상기 각각의 화소 값 분포와 상기 현재 블록 내 화소 값 분포 간의 유사한 정도를 분석한 결과에 기초하여 결정된 것인, 영상 복호화 장치.
  19. 제 15 항에 있어서,
    상기 영역 분할부는 상기 현재 블록과 상기 대응 영역 간의 상대적 위치 정보인 블록 벡터를 기초로 상기 대응 영역을 검색하고, 상기 검색된 대응 영역을 분할하는 영상 복호화 장치.
  20. 제 15 항에 있어서,
    상기 예측 신호 생성부는
    상기 분할된 대응 영역 중 이미 복호화된 영역이 좌측과 상측 중 적어도 하나의 위치에 인접하여 존재하는 영역에 대하여 상기 화면내 예측 모드 기반의 예측 신호를 생성하고,
    상기 분할된 대응 영역 중 상기 이미 복호화된 영역이 상기 좌측과 상측의 위치에 인접하여 존재하지 않는 영역에 대하여 화면내 블록 복사 모드 기반의 예측 신호를 생성하는 영상 복호화 장치.
  21. 제 15 항에 있어서,
    비트스트림으로부터 추출된 플래그 정보를 이용하여 상기 현재 블록이 상기 부분 블록 복사 모드로 부호화된 것인지를 판단하는 예측 모드 판단부를 더 포함하는 영상 복호화 장치.
  22. 제 21 항에 있어서,
    상기 플래그 정보는 상기 현재 블록이 포함된 픽쳐 그룹 또는 픽쳐를 위한 픽쳐 파라미터 셋, 또는 상기 현재 블록이 포함된 슬라이스 또는 슬라이스 세그먼트를 위한 슬라이스 헤더에 포함되는 것인, 영상 복호화 장치.
  23. 제 21 항에 있어서,
    상기 예측 모드 판단부는
    상기 비트스트림으로부터 추출된 영역 플래그 정보를 이용하여 서로 공간적으로 인접하여 임의의 행 또는 열을 이루는 복수 개의 대상 블록에 포함된 하위 블록이 각각 상기 부분 블록 복사 모드로 부호화된 것인지를 상기 행 또는 열 단위로 판단하는 영상 복호화 장치.
  24. 제 21 항에 있어서,
    상기 예측 모드 판단부는
    상기 현재 블록이 최소 크기의 단위 블록인 경우, 상기 비트스트림으로부터 추출된 부분 플래그 정보를 이용하여 상기 단위 블록에 포함된 하위 블록이 각각 상기 부분 블록 복사 모드로 부호화된 것인지를 상기 하위 블록 단위로 판단하는 영상 복호화 장치.
  25. 제 24 항에 있어서,
    상기 예측 모드 판단부는 z 스캔 순서에 따라 상기 하위 블록이 각각 상기 부분 블록 복사 모드로 부호화된 것인지를 판단하는 영상 복호화 장치.
  26. 영상 복호화 방법에 있어서,
    복호화되는 현재 블록이 화면내 예측 모드 중 부분 블록 복사 모드를 이용하여 부호화된 것인지 판단하는 단계;
    상기 부분 블록 복사 모드를 이용하여 부호화된 경우, 이미 복호화된 영역 내 상기 현재 블록과 대응되는 대응 영역을 임의의 형태로 분할하는 단계; 및
    상기 분할하는 단계에서 분할된 대응 영역마다 상기 화면내 예측 모드 또는 화면내 블록 복사 모드 기반의 상기 현재 블록에 대한 예측 신호를 각각 생성하는 단계를 포함하는 영상 복호화 방법.
  27. 제 26 항에 있어서,
    상기 판단하는 단계는 비트스트림으로부터 추출된 플래그 정보를 이용하여 상기 현재 블록이 상기 부분 블록 복사 모드로 부호화된 것인지를 판단하는 영상 복호화 방법.
  28. 제 27 항에 있어서,
    상기 판단하는 단계는 상기 비트스트림으로부터 추출된 영역 플래그 정보를 이용하여 서로 공간적으로 인접하여 임의의 행 또는 열을 이루는 복수 개의 대상 블록에 포함된 하위 블록이 각각 플래그 정보를 가지고 있는지를 상기 행 또는 열 단위로 판단하고,
    상기 플래그 정보는 상기 하위 블록이 상기 부분 블록 복사 모드로 부호화된 것인지 나타내는 것인, 영상 복호화 방법.
  29. 제 27 항에 있어서,
    상기 판단하는 단계는
    상기 현재 블록이 최소 크기의 단위 블록인 경우, 상기 비트스트림으로부터 추출된 부분 플래그 정보를 이용하여 상기 단위 블록에 포함된 하위 블록이 각각 상기 부분 블록 복사 모드로 부호화된 것인지를 상기 하위 블록 단위로 판단하는 영상 복호화 방법.
  30. 제 26 항에 있어서,
    상기 분할하는 단계는 곡선 또는 직선을 이용하여 상기 대응 영역을 적어도 2개 이상으로 분할하는 영상 복호화 방법.
  31. 제 26 항에 있어서,
    상기 분할하는 단계는 상기 대응 영역에 포함된 소정의 윤곽선을 기초로 상기 대응 영역을 분할하고,
    상기 소정의 윤곽선은 상기 이미 복호화된 영역을 이루는 복수 개의 하위 영역에 포함된 각각의 윤곽선 중 어느 하나로서, 상기 각각의 윤곽선과 상기 현재 블록에 포함된 윤곽선 간의 유사한 정도를 분석한 결과에 기초하여 결정된 것인, 영상 복호화 방법.
  32. 제 26 항에 있어서,
    상기 분할하는 단계는 상기 대응 영역 내 소정의 화소 값 분포를 기초로 상기 대응 영역을 분할하고,
    상기 소정의 화소 값 분포는 상기 이미 복호화된 영역을 이루는 복수 개의 하위 영역 내 각각의 화소 값 분포 중 어느 하나로서, 상기 각각의 화소 값 분포와 상기 현재 블록 내 화소 값 분포 간의 유사한 정도를 분석한 결과에 기초하여 결정된 것인, 영상 복호화 방법.
  33. 제 26 항에 있어서,
    상기 분할하는 단계는
    상기 현재 블록과 상기 대응 영역 간의 상대적 위치 정보인 블록 벡터를 기초로 상기 대응 영역을 검색하는 단계를 포함하고,
    상기 검색된 대응 영역을 분할하는 영상 복호화 방법.
  34. 제 26 항에 있어서,
    상기 생성하는 단계는
    상기 분할된 대응 영역 중 이미 복호화된 영역이 좌측과 상측 중 적어도 하나의 위치에 인접하여 존재하는 영역에 대하여 상기 화면내 예측 모드 기반의 예측 신호를 생성하고,
    상기 분할된 대응 영역 중 상기 이미 복호화된 영역이 상기 좌측과 상측의 위치에 인접하여 존재하지 않는 영역에 대하여 화면내 블록 복사 모드 기반의 예측 신호를 생성하는 영상 복호화 방법.
PCT/KR2015/000444 2014-03-31 2015-01-15 영상 복호화 장치 및 그 방법 WO2015152503A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201580021689.9A CN106233725B (zh) 2014-03-31 2015-01-15 用于对图像进行解码的装置及其方法
US15/127,503 US20170134743A1 (en) 2014-03-31 2015-01-19 Apparatus for decoding image and method therefore

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2014-0037578 2014-03-31
KR1020140037579A KR20150113524A (ko) 2014-03-31 2014-03-31 향상된 화면 내 블록 복사 기반의 예측 모드를 이용한 영상 복호화 장치 및 그 방법
KR1020140037578A KR20150113523A (ko) 2014-03-31 2014-03-31 주관적 품질 향상을 위한 영상 복호화 장치 및 그 방법
KR10-2014-0037579 2014-03-31

Publications (1)

Publication Number Publication Date
WO2015152503A1 true WO2015152503A1 (ko) 2015-10-08

Family

ID=54240784

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/000444 WO2015152503A1 (ko) 2014-03-31 2015-01-15 영상 복호화 장치 및 그 방법

Country Status (3)

Country Link
US (1) US20170134743A1 (ko)
CN (1) CN106233725B (ko)
WO (1) WO2015152503A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10091504B2 (en) * 2015-01-08 2018-10-02 Microsoft Technology Licensing, Llc Variations of rho-domain rate control
FR3068558A1 (fr) 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
FR3068557A1 (fr) 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
FR3062010A1 (fr) 2017-07-05 2018-07-20 Orange Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'une sequence d'images
KR20210016634A (ko) * 2018-06-27 2021-02-16 디지털인사이트 주식회사 영상 부호화/복호화 방법 및 장치
WO2020007554A1 (en) * 2018-07-05 2020-01-09 Telefonaktiebolaget Lm Ericsson (Publ) Compact description of region-wise packing information

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103818A1 (en) * 2002-01-10 2009-04-23 Kathrin Berkner Header-based processing of images compressed using multi-scale transforms
KR20090099720A (ko) * 2008-03-18 2009-09-23 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20130002296A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 적응적인 양자화 파라미터 차분값을 이용한 영상의 부호화 및 복호화 방법과 장치
KR20130062109A (ko) * 2011-12-02 2013-06-12 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20140027040A (ko) * 2013-12-30 2014-03-06 주식회사 큐램 적응 이미지 압축시스템 및 그 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101367777B1 (ko) * 2012-08-22 2014-03-06 주식회사 핀그램 적응 이미지 압축시스템 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103818A1 (en) * 2002-01-10 2009-04-23 Kathrin Berkner Header-based processing of images compressed using multi-scale transforms
KR20090099720A (ko) * 2008-03-18 2009-09-23 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20130002296A (ko) * 2011-06-28 2013-01-07 삼성전자주식회사 적응적인 양자화 파라미터 차분값을 이용한 영상의 부호화 및 복호화 방법과 장치
KR20130062109A (ko) * 2011-12-02 2013-06-12 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR20140027040A (ko) * 2013-12-30 2014-03-06 주식회사 큐램 적응 이미지 압축시스템 및 그 방법

Also Published As

Publication number Publication date
CN106233725A (zh) 2016-12-14
CN106233725B (zh) 2019-08-02
US20170134743A1 (en) 2017-05-11

Similar Documents

Publication Publication Date Title
WO2018070790A1 (ko) 영상의 부호화/복호화 방법 및 장치
WO2018088805A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018212577A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018174593A1 (ko) 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
WO2018221817A1 (ko) 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
WO2015152503A1 (ko) 영상 복호화 장치 및 그 방법
WO2018080122A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2014171713A1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
WO2018236028A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2011087297A2 (en) Method and apparatus for encoding video by using deblocking filtering, and method and apparatus for decoding video by using deblocking filtering
WO2012023806A2 (ko) 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
WO2013109123A1 (ko) 인트라 예측 처리 속도 향상을 위한 비디오의 부호화 방법 및 장치, 비디오의 복호화 방법 및 장치
WO2018062880A1 (ko) 영상 처리 방법 및 이를 위한 장치
WO2018070554A1 (ko) 루마 블록 및 크로마 블록을 부호화 또는 복호화하는 방법 및 장치
WO2018044089A1 (ko) 비디오 신호 처리 방법 및 장치
WO2016048092A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019194568A1 (ko) 어파인 모델 기반의 영상 부호화/복호화 방법 및 장치
WO2020004979A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2017086740A1 (ko) 인루프 필터를 이용한 비디오 복호화 방법 및 이를 위한 장치
WO2016064123A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019245261A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2018182184A1 (ko) 부호화 트리 유닛 및 부호화 유닛의 처리를 수행하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
WO2021040400A1 (ko) 팔레트 모드 기반 영상 또는 비디오 코딩
WO2019182329A1 (ko) 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2016122253A1 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15773583

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15127503

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: IDP00201607052

Country of ref document: ID

122 Ep: pct application non-entry in european phase

Ref document number: 15773583

Country of ref document: EP

Kind code of ref document: A1