WO2011040795A2 - 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치 - Google Patents

분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2011040795A2
WO2011040795A2 PCT/KR2010/006735 KR2010006735W WO2011040795A2 WO 2011040795 A2 WO2011040795 A2 WO 2011040795A2 KR 2010006735 W KR2010006735 W KR 2010006735W WO 2011040795 A2 WO2011040795 A2 WO 2011040795A2
Authority
WO
WIPO (PCT)
Prior art keywords
size
information
macroblock
layer
partition
Prior art date
Application number
PCT/KR2010/006735
Other languages
English (en)
French (fr)
Other versions
WO2011040795A3 (ko
Inventor
김수년
전병우
박형미
박민철
김동원
김기백
이주옥
Original Assignee
에스케이텔레콤 주식회사
임정연
문주희
이영렬
김해광
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사, 임정연, 문주희, 이영렬, 김해광 filed Critical 에스케이텔레콤 주식회사
Priority to US13/499,375 priority Critical patent/US9264716B2/en
Priority to CN201080054732.9A priority patent/CN102918840B/zh
Priority to ES10820868.7T priority patent/ES2554237T3/es
Priority to EP10820868.7A priority patent/EP2485490B1/en
Priority to PL10820868T priority patent/PL2485490T3/pl
Publication of WO2011040795A2 publication Critical patent/WO2011040795A2/ko
Publication of WO2011040795A3 publication Critical patent/WO2011040795A3/ko
Priority to US14/663,428 priority patent/US9813710B2/en
Priority to US14/814,520 priority patent/US10136129B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Definitions

  • the present invention relates to a method and apparatus for image encoding / decoding using a segmented layer. More specifically, when encoding a high resolution image using a variable sized block, the block is divided into subblocks to be encoded and decoded in units of subblocks, and the compression information is efficiently encoded and decoded to improve compression efficiency. It relates to a method and an apparatus for making.
  • Video data compression techniques include H.261, H.263, MPEG-2, and MPEG-4.
  • the video compression standard encodes each image by dividing each image into macroblocks having a fixed size consisting of 16 ⁇ 16 pixels of a luminance component and a rectangular area of 8 ⁇ 8 pixels of each color difference component. All luminance and chrominance components of each macroblock are predicted spatially and temporally, and the prediction residual is transmitted by performing transform, quantization, and entropy coding.
  • the macroblock When the encoding apparatus according to the recently established H.264 / AVC standard performs intra prediction encoding on each macroblock, the macroblock may be divided into smaller blocks having sizes of 16x16, 8x8, 4x4, and the like. Intra prediction is performed using four prediction modes for a block of size and one of nine prediction modes for a block of 8x8 size and 4x4 size. In the case of inter prediction, the macroblock may be divided into smaller blocks having sizes of 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, and 4x4 and used for inter prediction through motion compensation. The transformation is performed in units of 8x8 or 4x4 blocks, and scalar quantization may be used for quantization of transform coefficients.
  • the size of the macroblock is fixed, the size of the subblocks of the macroblock, which is a unit of prediction or transformation, is also limited.
  • an embodiment of the present invention encodes an image using a variable sized block and sub-blocks of various sizes when encoding a high resolution image, and efficiently encodes and decodes the partition information of the block.
  • the main purpose is to improve the compression efficiency.
  • the present invention provides a device for encoding / decoding an image, encoding the current block divided into a plurality of subblocks to generate encoded image data, and encoding and encoding the partition information of the current block.
  • An image encoder for generating the divided partition information data; And reconstructing the partition information of the current block by decoding the encoded partition information data extracted from the bitstream, and splitting the encoded image data extracted from the bitstream according to the partition information of the current block to be recovered and partitioned into a plurality of subblocks. It provides a video encoding / decoding apparatus comprising a video decoder for reconstructing the current block.
  • an apparatus for encoding an image comprising: an image encoder for generating encoded image data by encoding a current block divided into a plurality of subblocks; And a partition information encoder for encoding the partition information of the current block to generate encoded partition information data.
  • an apparatus for encoding an image comprising: a maximum divided layer determiner for determining a maximum divided layer value of a current block; A maximum partition layer encoder for generating encoded maximum partition layer data by encoding a maximum partition layer value of the current block; And an image encoder configured to generate encoded image data by encoding the current block by using a minimum subblock size determined according to the determined maximum divided layer value.
  • an apparatus for encoding an image comprising: a maximum divided layer determiner for determining a maximum divided layer value of a current block; A maximum partition layer encoder for generating encoded maximum partition layer data by encoding a maximum partition layer value of the current block; And an image encoder configured to generate encoded image data by encoding the current block by using a minimum subblock size determined according to the determined maximum divided layer value.
  • an apparatus for encoding an image comprising: a candidate macroblock size setter for setting a candidate of a macroblock size; An image encoder for encoding an input image for each candidate having the macroblock size; A macroblock size determiner that determines a macroblock size according to the encoding cost for each candidate of the macroblock size, and generates a bitstream including image data encoded with the determined macroblock size and information on the determined macroblock size; It provides a video encoding apparatus comprising a.
  • an apparatus for decoding an image comprising: a partition information decoder for decoding partition information of a current block by decoding encoded partition information data extracted from a bitstream; And an image decoder for decoding the encoded image data extracted from the bitstream according to the partition information of the current block to be restored to restore the current block divided into a plurality of subblocks.
  • an apparatus for decoding an image comprising: a maximum split layer decoder for reconstructing a maximum split layer value by decoding coded maximum split layer data extracted from a bitstream; And an image decoder configured to decode the encoded image data extracted from the bitstream using a minimum subblock size according to the reconstructed maximum partition layer value to reconstruct the current block.
  • an apparatus for decoding an image comprising: a macroblock size setter for extracting information on a macroblock size from a bitstream and setting a macroblock size using the extracted information; And an image decoder which extracts encoded image data from a bitstream and generates a reconstructed image by decoding the encoded image data according to a block size identified by the information on the block size.
  • encoding encoded current data is generated by encoding a current block divided into a plurality of subblocks, and encoded by encoding split information of the current block.
  • a method of encoding an image comprising: generating encoded image data by encoding a current block divided into a plurality of subblocks; Encoding the partition information of the current block to generate encoded partition information data; And generating a bitstream including the encoded image data and the encoded fragment information data.
  • the plurality of subblocks may be square.
  • the division may be performed according to one division type selected from a plurality of division types.
  • the current block may be a macroblock exceeding a 16 ⁇ 16 block size.
  • the partitioning information may indicate block sizes of the plurality of subblocks included in the current block.
  • the partitioning information is identified by partition type indication information for each partition layer, and the generating of the encoded partition information data includes encoding the partition type indication information for each partition layer by sequentially encoding the partition type indication information according to an encoding order.
  • Information can be encoded.
  • the segmentation information is identified by the layer number and the segmentation type indication information of the segmentation layer, and the generating of the encoded segmentation information data is performed by encoding the layer number and the segmentation type indication information of the segmentation layer by using a tree structure.
  • Information can be encoded.
  • the division may use only a square, and the division information may include only division layer values.
  • the division may cause the rectangular block to be divided into smaller rectangles.
  • the partition information is identified by a partition layer value and a partition flag, and the generating of the encoded partition information data may encode the partition information by encoding the partition layer value and the partition flag.
  • the generating of the encoded partition information data may encode the partition information by encoding the partition layer value and the partition flag only when the block type of the current block is an intra block type.
  • the plurality of subblocks may be blocks having a square shape.
  • a video encoding method comprising: setting a candidate having a minimum subblock size; Encoding an input image for each candidate having the minimum subblock size; Determining a minimum subblock size according to the encoding cost for each candidate of the minimum subblock size; And generating a bitstream including image data encoded with the determined minimum subblock size and information on the determined minimum subblock size.
  • the information on the determined minimum subblock size may be information on a value of the size of the minimum subblock or information on a maximum split layer value.
  • the determining of the minimum subblock size may include determining a maximum partition layer value of the current block; Generating encoded maximum divided layer data by encoding the maximum divided layer value of the current block; Generating encoded image data by encoding the current block by using a minimum subblock size determined according to the determined maximum divided layer value; And generating a bitstream including the encoded maximum partition layer data and the encoded image data.
  • the generating of the encoded image data may include encoding a current block using a minimum subblock size determined according to the maximum split layer value and subblocks determined according to availability of each layer, and decoding the bitstream.
  • the generating may further include information indicating whether each layer divided in the bitstream is used.
  • the information indicating whether each layer is used may be an index of a table in which each layer is used.
  • a method of encoding an image comprising: determining usable partition layers of a current block; Selecting a partition layer that minimizes a coding cost of the current block among the determined available partition layers; Generating encoded image data by encoding the current block by using the selected divided layer; Encoded partition layer data generated by encoding information about the selected partition layer, encoded partition information data generated by encoding partition information obtained by partitioning the current block using the selected partition layer, and the encoded image data. It provides a video encoding method comprising the step of generating a bitstream comprising.
  • a video encoding method comprising: setting a candidate having a macroblock size; Encoding an input image for each candidate having the macroblock size; Determining a macroblock size according to a coding cost for each candidate of the macroblock size; And generating a bitstream including image data encoded with the determined macroblock size and information on the determined macroblock size.
  • the determined information about the macroblock size may be information on a value of the size of the macroblock, information on a size of a maximum subblock and a maximum split layer value, or enlargement / reduction information on a macroblock of a predetermined size. have.
  • the information on the value of the size of the macroblock may be a flag indicating whether to send information on the size of the macroblock.
  • the information on the determined macroblock size may be a flag indicating whether to use a macroblock of a reference size.
  • the information on the determined macroblock size may be a flag as to whether to use the size of the macroblock of the previous picture.
  • the information on the determined macroblock size may be different from the size of the macroblock of the intra picture and the size of the macroblock of the inter picture.
  • a size of a reference minimum subblock may be set, and a flag indicating whether to use the size of the reference minimum subblock for each picture, slice, or minimum subblock header may be encoded.
  • a block expanded or reduced by a predetermined ratio from the size of the reference minimum subblock may be selected as the current minimum subblock.
  • the size of the minimum subblock for the intra picture and the size of the minimum subblock for the inter picture may be encoded differently.
  • Information on the value of the size of the macroblock or information on the size of the maximum subblock can be obtained using a table defining the size of the block.
  • a method of decoding an image comprising: restoring partition information of a current block by decoding encoded partition information data extracted from a bitstream; And reconstructing the current block divided into a plurality of subblocks by decoding the encoded image data extracted from the bitstream according to the partition information of the current block to be restored.
  • the division information may be identified by division type indication information for each division layer.
  • the division information may be identified by a layer number and division type indication information of a division layer.
  • the division information may be identified by a division layer value and a division flag.
  • the division may use only a square, and the division information may include only division layer values.
  • the division may cause the rectangular block to be divided into smaller rectangles.
  • a method of decoding an image comprising: restoring a minimum subblock size by decoding encoded minimum subblock size data extracted from a bitstream; And reconstructing the current block by decoding the encoded image data extracted from the bitstream using the reconstructed minimum subblock size.
  • the encoded minimum subblock size data extracted from the bitstream may be information about a minimum subblock size value or information about a maximum split layer value.
  • the restoring of the current block may restore the current block using a minimum subblock size determined according to the maximum partition layer value and subblocks determined according to availability of each layer.
  • the information indicating whether each layer is used may be an index of a table in which each layer is used.
  • a method of decoding an image comprising: restoring information and partition information about a partition layer by decoding the encoded partition layer data and the encoded partition information data extracted from the bitstream; And reconstructing the current block by decoding the encoded image data by using the information on the reconstructed partition layer and the split information, using the encoded image data extracted from the bitstream.
  • a method of decoding an image comprising: macroblock size setting step of extracting information on a macroblock size from a bitstream and setting a macroblock size using the extracted information; And an image decoding step of extracting encoded image data from a bitstream and decoding the encoded image data according to a block size identified by the information on the block size to generate a reconstructed image.
  • macroblock size setting step of extracting information on a macroblock size from a bitstream and setting a macroblock size using the extracted information
  • an image decoding step of extracting encoded image data from a bitstream and decoding the encoded image data according to a block size identified by the information on the block size to generate a reconstructed image.
  • the information on the macroblock size may be information on a value of the size of the macroblock, information on a size of a maximum subblock and a maximum split layer value, or enlargement / reduction information on a macroblock of a predetermined size. .
  • the information on the value of the size of the macroblock may be information on the size of the reference macroblock.
  • the information on the macroblock size may be a flag indicating whether to use the size of the macroblock of the previous picture.
  • the information on the macroblock size may be different from the size of the macroblock of the intra picture and the size of the macroblock of the inter picture.
  • the size of the minimum subblock may be restored by setting a size of the reference minimum subblock and decoding a flag indicating whether to use the size of the reference minimum subblock for each picture, slice, or minimum subblock header.
  • the size of the minimum subblock may be restored by decoding information indicating to expand or contract by a predetermined ratio from the size of the reference minimum subblock.
  • the size of the minimum subblock for the intra picture may be different from the size of the minimum subblock for the inter picture.
  • Information on the value of the size of the macroblock or information on the size of the maximum subblock can be obtained using a table defining the size of the block.
  • the image when encoding a high resolution image, the image is encoded by using a variable size block and various sizes of subblocks, and an efficient image encoding is performed by encoding and decoding partition information of the block. And decryption can be achieved.
  • 1 to 3 are exemplary diagrams for describing a macroblock in MxN pixel units according to an embodiment of the present invention
  • FIGS. 4 and 5 are exemplary diagrams showing various subblock modes according to an embodiment of the present invention.
  • FIG. 6 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 7 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a block diagram schematically illustrating a video encoding apparatus according to another embodiment of the present invention.
  • FIG. 9 is an exemplary diagram illustrating a subblock in which macroblocks are divided into layers according to another embodiment of the present invention.
  • FIG. 10 is an exemplary diagram illustrating a split type according to another embodiment of the present invention.
  • FIG. 11 is an exemplary diagram illustrating a macroblock divided into subblocks of various block sizes according to another embodiment of the present invention.
  • FIG. 12 is an exemplary diagram sequentially illustrating a process of dividing a macroblock into divided layers
  • FIG. 13 is an exemplary diagram for describing a process of sequentially encoding split type indication information for each layer of a macroblock according to the order of a subblock;
  • FIG. 14 is an exemplary diagram for describing a method of encoding partition information of a block using a tree structure according to another embodiment of the present invention.
  • 15 and 16 are exemplary diagrams for describing an example of a method of encoding split information of a block using a tree structure according to another embodiment of the present invention.
  • 17 and 18 are exemplary diagrams for describing another example of a method of encoding split information of a block using a tree structure according to another embodiment of the present invention.
  • FIG. 19 is an exemplary diagram illustrating a subblock divided according to a partition layer value according to another embodiment of the present invention.
  • FIG. 20 is an exemplary diagram illustrating a process of encoding partition information of a block by using a partition layer value and a partition flag according to another embodiment of the present invention
  • 21 is an exemplary diagram illustrating another example of a macroblock divided into subblocks of various block sizes according to another embodiment of the present invention.
  • FIG. 22 is another exemplified diagram for describing a process of sequentially encoding split type indication information of each layer of a macroblock according to the order of subblocks;
  • FIG. 23 is a flowchart for explaining a video encoding method according to another embodiment of the present invention.
  • 24 is a block diagram schematically illustrating an image decoding apparatus according to another embodiment of the present invention.
  • 25 is a flowchart illustrating a video encoding method according to another embodiment of the present invention.
  • 26 is a block diagram schematically illustrating a video encoding apparatus according to another embodiment of the present invention.
  • FIG. 27 is an exemplary diagram illustrating a relationship between a split layer and a minimum subblock size according to another embodiment of the present invention.
  • 29 is a flowchart for explaining another example of a method of determining a maximum partition layer value according to another embodiment of the present invention.
  • FIG. 30 is an exemplary diagram for describing a process of encoding split information of a current block using only selected split layers according to another embodiment of the present invention.
  • FIG. 31 is a flowchart illustrating a video encoding method according to another embodiment of the present invention.
  • 32 is a block diagram schematically illustrating an image decoding apparatus according to another embodiment of the present invention.
  • FIG. 33 is a flowchart illustrating a video decoding method according to another embodiment of the present invention.
  • FIG. 34 is an exemplary diagram illustrating a partition type according to another embodiment of the present invention.
  • 35 is a block diagram schematically illustrating an image encoding apparatus 3500 according to another embodiment of the present invention.
  • 36 is a flowchart illustrating an implementation example of an image encoding method according to another embodiment of the present invention.
  • FIG. 37 is a block diagram illustrating an implementation of an image decoding apparatus according to another embodiment of the present invention.
  • a video encoding apparatus (Video Encoding Apparatus), a video decoding apparatus (Video Decoding Apparatus) to be described below is a personal computer (PC), notebook computer, personal digital assistant (PDA), portable multimedia player (PMP) : Portable Multimedia Player (PSP), PlayStation Portable (PSP: PlayStation Portable), Mobile Communication Terminal (Mobile Communication Terminal), and the like, and may be used to encode a video or a communication device such as a communication modem for communicating with various devices or a wired or wireless communication network. It refers to various devices having various programs for decoding and a memory for storing data, a microprocessor for executing and controlling a program.
  • PC personal computer
  • PDA personal digital assistant
  • PMP portable multimedia player
  • PSP Portable Multimedia Player
  • PSP PlayStation Portable
  • Mobile Communication Terminal Mobile Communication Terminal
  • the image encoded in the bitstream by the video encoding apparatus is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, or a cable, universal serial bus (USB: Universal)
  • the image decoding apparatus may be transmitted to a video decoding apparatus through a communication interface such as a serial bus, decoded by the video decoding apparatus, reconstructed, and played back.
  • a moving picture is composed of a series of pictures, and each picture is divided into a predetermined area such as a block.
  • the divided blocks are largely classified into intra blocks and inter blocks according to encoding methods.
  • An intra block refers to a block that is encoded by using an intra prediction coding method.
  • An intra prediction coding is performed by using pixels of blocks that are previously encoded, decoded, and reconstructed in a current picture that performs current encoding.
  • a prediction block is generated by predicting pixels of a block, and a difference value with pixels of the current block is encoded.
  • An inter block refers to a block that is encoded using inter prediction coding.
  • Inter prediction coding generates a prediction block by predicting a current block within a current picture by referring to one or more past or future pictures, and then generates a current block. This is a method of encoding a difference value with.
  • a picture referred to for encoding or decoding the current picture is referred to as a reference picture.
  • the block may be a macroblock of size MxN (where M and N may be an integer greater than or equal to 16) or a subblock or subblock of size OxP (where O and P are integers less than or equal to M or N).
  • MxN macroblock of size MxN
  • OxP subblock or subblock of size OxP
  • encoding and decoding in units of blocks is exemplary, and an image may be encoded and decoded into a standardized area or an unstructured area such as a block.
  • the video encoding / decoding apparatus described below may use blocks of any size, but the size of the blocks is the size promised by the video encoding apparatus and the video decoding apparatus.
  • 1 to 3 are exemplary diagrams for describing a macroblock in MxN pixel units according to an embodiment of the present invention.
  • FIG. 1 exemplarily illustrates macroblocks (hereinafter, referred to as MxN size macroblocks) in MxN pixel units expressed in a part of an input image having an arbitrary size, and in FIG. 2, 396 16x16 size macroblocks are illustrated.
  • a CIF image composed of blocks is exemplarily illustrated, and
  • FIG. 3 exemplarily shows a CIF image composed of 54 64x32 macroblocks.
  • the image is divided into macroblocks having a fixed size of 16x16, encoded, and decoded.
  • an image may be encoded and decoded using a macroblock having a size of 64x32 macroblocks as well as MxN size (but 16x16 size or more) such as 64x64 size and 32x64 size.
  • 4 and 5 are exemplary diagrams illustrating various subblock modes according to an embodiment of the present invention.
  • FIG. 4 shows a subblock mode that can be used for a macroblock of size 32x32
  • FIG. 5 shows a subblock mode that can be used for a macroblock of size of 32x16.
  • the macroblock of MxN size may be divided into smaller blocks, that is, subblocks as shown in FIGS. 4 and 5, and the macroblock of the image is intra-united in such a subblock unit. It may be predictively coded or inter prediction coded.
  • FIG. 6 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • An image encoding apparatus is an apparatus for encoding an image using a macroblock of 16x16 or larger size, and includes a predictor 610, an encoder 620, a reproducer 630, and a filter. And a filter 640 and a frame memory 650.
  • the decompressor 630, the filter 640, and the frame memory 650 may be selectively omitted or included in other components according to an implementation method.
  • the predictor 610 may include a motion estimator 612, a motion compensator 614, and an intra predictor 616, and predict a macroblock of an input image.
  • the macroblock refers to a macroblock of 16x16 or more size (ie, an MxN sized macroblock, provided that M and an integer of N ⁇ 16).
  • the motion estimator 612 generates a motion vector by comparing the macroblock to be predicted with the reference picture stored in the frame memory 650 to estimate the motion of the macroblock.
  • the motion compensator 614 may refer to the motion vector generated by the motion estimator 612 to obtain blocks corresponding to the size of the macroblock to be predicted from the reference picture stored in the frame memory 650.
  • the macroblock obtained by the motion compensator 614 becomes a prediction macroblock having a prediction value of the macroblock to be predicted.
  • the intra predictor 616 intra predicts a macroblock to be predicted. To this end, the intra predictor 616 generates a reference block using neighboring pixel information that is already encoded, decoded, and reconstructed, compares the reference block with the macroblock to be encoded, and determines an intra prediction mode, and according to the determined intra prediction mode. Intra predict a macroblock. The macroblock predicted by the intra predictor 616 becomes a predictive macroblock having the predicted value of the target macroblock.
  • the encoder 620 encodes a residual signal that is a difference between pixel values of the target macroblock and the prediction macroblock.
  • the encoder 620 may transform, quantize, and entropy encode the residual signal.
  • the encoder 620 may encode motion information such as a motion vector generated by the motion estimator 612 and macroblock mode information such as the size of the macroblock.
  • the encoder 620 may encode prediction mode information such as an intra prediction mode and macroblock mode information such as a size of the macroblock.
  • the reconstructor 630 inversely quantizes and inverse transforms the changed and quantized residual signals, and adds the predicted macroblocks output from the predictor 610 to reconstruct the target macroblocks.
  • the filter 640 filters the restored target macroblock using a filter such as a deblocking filter.
  • the filtered reconstructed macroblock is stored in the frame memory 650 and used by the predictor 610 to predict the next macroblock or the macroblock of the next picture.
  • FIG. 7 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
  • the image decoding apparatus 700 may include a decoder 710, a predictor 720, a reconstructor 730, a filter 740, and a frame memory 750.
  • the decoder 710 extracts three types of information required for macroblock decoding from the input bitstream.
  • macroblock type information and subblock mode information indicating whether a macroblock to be currently decoded is an inter macroblock or an intra macroblock and a subblock mode of the macroblock are extracted by entropy decoding.
  • information necessary for prediction is extracted by entropy decoding.
  • the type of prediction data to be decoded and the method of decoding the prediction data vary depending on whether each block is an intra block or an inter block.
  • the block to be restored is an inter macro block
  • a reference picture required for motion compensation of each subblock from the bitstream Information about a motion such as information and a motion vector is extracted and decoded.
  • information about an intra prediction mode of a luminance component and a chrominance component is extracted and decoded from the bitstream.
  • the information necessary for decoding the residual signal is decoded.
  • information indicating whether a non-zero transform coefficient is present in each subblock for example, CBP
  • the predictor 720 predicts a current block to be currently decoded, and may include a motion compensator 722 and an intra predictor 724. If the current block is an inter block, the motion compensator 722 may have a pixel equal to the size of the current macroblock in the reference picture stored in the frame memory 750 using the motion vector decoded and reconstructed by the decoder 710. And generate a predictive macroblock. If the current block is an intra block, the intra predictor 724 predicts the current macroblock according to the intra prediction mode decoded and reconstructed by the decoder 710 to generate a predictive macroblock.
  • the decompressor 730 inversely quantizes the quantized transform coefficients decoded by the decoder 710 and inversely transforms the dequantized transform coefficients by using the transform type extracted and reconstructed by the decoder 710 to obtain a residual signal.
  • the generated residual signal is added to the prediction macroblock generated by the predictor 720 to generate a reconstruction macroblock.
  • the generated reconstruction macroblock is filtered by the filter 740 and stored in the frame memory 750 and used to reconstruct the next macroblock or the next picture.
  • the image encoding apparatus 600 and the image decoding apparatus 700 may encode and decode an image using blocks of arbitrary sizes.
  • the partition layer is divided into a plurality of subblocks for prediction or transformation of a macroblock of any size, and partition information indicating the shape and size of the divided subblock is efficiently
  • An apparatus and method for encoding and decoding will be described.
  • the image encoding / decoding apparatus described below may use macroblocks of any size
  • the image encoding apparatus and the image decoding apparatus may encode / encode using the macroblock of the promised size and the minimum subblock of the promised size. Decrypt
  • the segmentation information may be information representing the size and shape of the subblocks that are split for prediction or transformation.
  • the image encoding apparatus includes the segmentation information and the encoded image data in a bitstream, encodes the information, and transmits the encoded information to the image decoding apparatus.
  • the apparatus for encoding an image may encode split information for prediction and split information for transformation, respectively.
  • the image decoding apparatus extracts and decodes segmentation information from a bitstream to divide a macroblock into a plurality of subblocks for prediction or transformation, and reconstructs an image by performing prediction or inverse transformation for each subblock unit.
  • FIG. 8 is a block diagram schematically illustrating a video encoding apparatus according to another embodiment of the present invention.
  • the video encoding apparatus 800 may include a video encoder 810 and a split information encoder 820.
  • the image encoder 810 predicts the residual data such as prediction data and / or transform type, CBP, and transform coefficient of each subblock.
  • Image data including data necessary for decoding is encoded.
  • the prediction data indicates data indicating whether each subblock is an intra block or an inter block, an intra prediction mode for an intra block, and motion information for an inter block.
  • the image encoder 810 may be implemented as an image encoding apparatus 600 according to an embodiment of the present invention described above with reference to FIG. 6.
  • the image encoder 810 divides a macroblock of any size into subblocks of various sizes for prediction or transformation, predictively encodes each subblock, and then divides a macroblock having a minimum encoding cost and each subblock. Determine the prediction mode of the block.
  • the partition information indicating the partition type of the determined macroblock is encoded into a bitstream through the partition information encoder 820 and generates predictive encoded image data of a plurality of subblocks partitioned in the macroblock.
  • the partition information encoder 820 encodes the partition information received from the image encoder 810 to generate partition information data.
  • the splitting information may be information about a size or block shape of subblocks in a macroblock divided into a plurality of subblocks for prediction or transformation.
  • the size of the macroblock is fixed to 16x16, only subblocks having a small number of shapes, such as 8x8 and 4x4 sizes, may be used accordingly.
  • the size of the macroblock may be variously determined to be 16 ⁇ 16 or more, the size and shape of the subblock may be variously determined, and accordingly, the macroblock may be divided into various types of subblocks.
  • information on how the macroblock is divided into subblocks of what size and in what form is transmitted to the image decoding apparatus in the same manner as the macroblock is divided in the image encoding apparatus. It should be partitioned so that it can be predictively decoded. Encoding of block information by the partition information encoder 820 will be described in detail with reference to FIGS. 9 to 22 in a later process.
  • a macroblock may be divided into subblocks of various sizes for each layer, and prediction encoding and prediction decoding may be performed for each divided subblock.
  • FIG. 9 is an exemplary diagram illustrating a subblock obtained by dividing a macroblock into layers according to another embodiment of the present invention.
  • the size of the macroblock is N ⁇ N
  • N is an integer greater than or equal to 16
  • the subblocks that can be divided are assumed to have a minimum subblock size of 4 ⁇ 4.
  • this assumption is only for explaining the embodiment of the present invention, the size of the horizontal and vertical macroblocks may not be the same and the minimum subblock size of the subblock may be other size than 4x4.
  • the macroblock may be divided into subblocks having various sizes for each layer.
  • the macroblock may be divided into subblocks having four shapes for each layer from layer 0 to layer log 2 (N / 4).
  • the subblocks of the K + 1 layer may be used only when the subblocks of the corresponding layer are divided into four subblocks in the layer K (where 0 ⁇ K ⁇ log 2 (N / 4)).
  • an MxN block size macroblock is a 64x64 block size macroblock
  • the macroblock may be divided into four layers from layer 0 to layer 3, and each layer has four different block sizes. It may include a block. Therefore, a 64x64 block sized subblock, a 64x32 block sized subblock, a 32x64 block sized subblock, a 32x32 block sized subblock belong to layer 0, a 32x32 block sized subblock, a 32x16 block sized subblock, Subblocks of 16x32 block size, subblocks of 16x16 block size belong to Layer 1, subblocks of 16x16 block size, subblocks of 16x8 block size, subblocks of 8x16 block size, subblocks of 8x8 block size Subblocks of 8x8 block size, subblocks of 8x4 block size, subblocks of 4x8 block size, and subblocks of 4x4 block size belong to layer 3.
  • subblocks belonging to layer 1 may be used only when a macroblock having a 64x64 block size is divided into subblocks having a 32x32 block size in layer 0, and a subblock having a size of 32x32 block of layer 1 is again a subblock having a 16x16 block size.
  • Subblocks belonging to layer 2 may be used only when the block is divided into blocks, and subblocks belonging to layer 3 may be used only when the subblock of layer 2 is divided into subblocks of 8 ⁇ 8 block size.
  • the subblock may belong to layer K or may belong to layer K + 1. That is, when the macroblock is 64x64 size, the 32x32 sized subblock may be determined as a subblock type included in layer 0 or may be determined as a subblock type belonging to layer 1.
  • the method of assigning a layer number to the divided subblocks depends on whether each layer is available. If layer K + 1 is available, layer number K + 1 is assigned to the subblock. If layer K + 1 is not available, layer number K is assigned to the layer number of the subblock.
  • the 32x32 subblock belongs to layer 1. If one 32x32 subblock in a macroblock is divided into four 16x16 subblocks, each 16x16 subblock belongs to Layer 2, and in the same way, if a 16x16 subblock is divided into four 8x8 subblocks, the 8x8 subblock belongs to Layer 3. do. If the 8x8 subblock is divided into four 4x4 subblocks, the 4x4 subblocks belong to layer 3 because layer 4 is not available.
  • K may be allocated to the layer number of the subblock. In this case, If the subblock is divided into smaller subblocks, the layer number K + 1 is allocated.
  • the 32x32 subblock belongs to layer 0 when the macroblock is 64x64 divided into four 32x32 subblocks. If one 32x32 subblock in a macroblock is divided into four 16x16 subblocks, each 16x16 subblock belongs to Layer 1, and in the same way, if a 16x16 subblock is divided into four 8x8 subblocks, the 8x8 subblock belongs to Layer 2. do. When the 8x8 subblock is divided into four 4x4 subblocks, the 4x4 subblocks belong to layer 3.
  • the macroblock may be divided using various division types such as those shown in FIGS. 10 and 34.
  • FIGS. 10 and 34 are exemplary diagrams illustrating a partition type according to another embodiment of the present invention.
  • FIG. 10 is an exemplary diagram illustrating a partition type according to another embodiment of the present invention.
  • FIG. 10 exemplarily shows partition type indication information (Partition Type Number) for identifying a block size of a subblock divided by layer.
  • partition type indication information is given as 0, and the subblock is Going two When divided into subblocks, partition type indication information is given as 1, and the subblocks Going two When divided into subblocks, partition type indication information is given as 2, and the subblocks There are four When divided into subblocks, a partition type number may be assigned to 3.
  • the partition number indicates a number assigned to identify each subblock divided according to the partition type. For example, a subblock of layer K Is not partitioned, unpartitioned subblock The partition number of 0 is given. Also, subblocks of layer K There are four When divided into subblocks, each The subblocks may be assigned partition numbers 0, 1, 2, and 3 in the raster scan direction from the upper left subblocks.
  • 34 is an exemplary view illustrating a partition type according to another embodiment of the present invention.
  • partition type indication information (Partition Type Number) for identifying a block size of a subblock divided by layer.
  • partition type indication information partition type indication information is given as 0, and the subblock is There are four When divided into subblocks, a partition type number may be assigned to 1.
  • the partition number indicates a number assigned to identify each subblock divided according to the partition type. For example, a subblock of layer K Is not partitioned, unpartitioned subblock The partition number of 0 is given. Also, subblocks of layer K There are four When divided into subblocks, each The subblocks may be assigned partition numbers 0, 1, 2, and 3 in the raster scan direction from the upper left subblocks.
  • various division types may be combined for each layer.
  • the division type shown in FIG. 34 may be used, and the lower layers of the layer 1 may use the division type shown in FIG. 10.
  • split information which is information indicating the size and shape of subblocks used for prediction or transformation in a macroblock.
  • partition information of a block indicating a form in which a macroblock is divided into subblocks of various sizes may be represented using split type indication information for each partition layer of the macroblock. Accordingly, the plurality of subblocks constituting the macroblock may be identified by partition type indication information for each partition layer.
  • the partition information encoder 810 may encode the partition information of the block by using the partition type indication information of each layer of the macroblock. As described below, the partition information encoder 810 may encode the partition information of the block in various ways.
  • the split information encoder 810 may encode split information of the current block by sequentially encoding split type indication information for each partition layer of a macroblock according to split type indication information encoding order.
  • FIG. 11 is an exemplary diagram illustrating a macroblock divided into subblocks of various block sizes according to another embodiment of the present invention.
  • FIG. 11 a macroblock having a block size of 64 ⁇ 64, a maximum partition layer of 4, and a subblock having various block sizes is illustrated using a subblock type shown in FIG. 10.
  • the partition type indication information for each partition layer may be sequentially encoded according to the partition type indication information encoding order to encode the partition information of the macroblock.
  • a process of dividing the macroblocks shown in FIG. 11 for each of the divided layers may be represented as shown in FIG. 12.
  • a 64x64 block size subblock is divided into four 32x32 block size subblocks, and at layer 1 (L1), L1-P0 (partition number 0 of layer 1).
  • the subblock of L1-P3 (partition number 3 of layer 1) is further divided into four 16x16 block size subblocks, and the subblocks of L1-P1 (partition number 1 of layer 1) and L1-P2 ( The subblocks of partition number 2) of layer 1 are divided into subblocks of 16x32 block size and subblocks of 32x16 block size, respectively.
  • the partition number for each layer is not represented.
  • layer 2 the subblocks of L2-P0 (partition number 0 of layer 2) are further divided into four 8x8 block size subblocks and L2-P3 (partition number 3 of layer 2) is divided into two 16x2 blocks. It is divided into subblocks of size.
  • L3 the subblocks of L3-P0 (partition number 0 of layer 3) and the subblocks of L3-P1 (partition number 1 of layer 3) are each divided into four 4x4 block size subblocks. do.
  • the order of encoding the partition type indication information is as follows.
  • split type indication information indicating a partition type of a macroblock when the macroblock is divided into four subblocks, split type indication information of each divided subblock is continuously encoded. For example, when an NxN block is divided into four subblocks, the partition type indication information of the first (N / 2) x (N / 2) subblock in the NxN block is encoded and the first (N / 2) x (N / 2) is encoded. When the subblock is divided into four subblocks again, the partition type indication information of the divided (N / 4) x (N / 4) blocks is encoded.
  • a divided (N / 4) x (N / 4) block is the size of the smallest subblock or is not divided into four smaller subblocks, the next (N / 4) x (N / 4) block in the raster scan order. Encode the partition type indication information. If the (N / 4) x (N / 4) block is not the size of the minimum subblock of the minimum subblock and is divided into four (N / 8) x (N / 8) size subblocks again, The division type indication information is encoded from the first (N / 8) x (N / 8) subblock. The division type indication information is encoded until the division type indication information of all subblocks in the macroblock is encoded.
  • FIG. 13 is an exemplary diagram for describing a process of sequentially encoding split type indication information for each layer of a macroblock.
  • the number written in ' ⁇ ' indicates the order of encoding the partition type indication information of each subblock.
  • the layer type partition type indication information is sequentially encoded in the order shown in FIG. 11.
  • the partition type indication information 3 is encoded. Since the first 32x32 block size subblocks L1-P0 among the four 32x32 block size subblocks in the 64x64 block size subblock are also divided into four 16x16 block size subblocks, the partition type indication information 3 is encoded. The first 16x16 block size subblock (L2-P0) of the four 16x16 block size subblocks in the first 32x32 block size subblock (L1-P0) of Layer 1 is also divided into four 8x8 block size subblocks.
  • split type indication information ⁇ 3, 3, 0, 0 ⁇ is encoded. Since subblocks of the layer 3 cannot be divided into smaller subblocks, the partition type indication information of the subblocks belonging to the layer 3 is not encoded.
  • the partition type indication information of the second 16x16 block size subblock L2-P1 and the third 16x16 block size subblock L2-P2 is encoded. However, since all of them are no longer divided into small blocks, division type indication information 0 is encoded.
  • the fourth 16x16 block size subblock L2-P3 is divided into 16x8 block size subblocks, but since the partition type indication information is not 3, only the partition type indication information 1 is encoded.
  • the split type indication information of the four subblocks in the layer 2 is encoded, the split type indication information of the subblocks L1 to P1 of the second 32x32 block size of the layer 1 is encoded, and the split type indication information of the second 32x32 block size of the layer 1 is encoded.
  • the subblocks L1-P1 are divided into subblocks having a size of 16 ⁇ 32 blocks, and each of the divided subblocks is no longer divided into small subblocks, thereby encoding partition type indication information 2.
  • the third 32x32 block size subblock L1-P2 of layer 1 the fourth 32x32 block size subblock L1-P3 of layer 1, and four 16x16 block size subblocks below it (
  • the split type indication information of L2-P0, L2-P1, L2-P2, and L2-P3) is sequentially encoded, ⁇ 1, 3, 0, 0, 0, 0 ⁇ is encoded.
  • partition type indication information ⁇ 3, 3, 3, 3, 3, 0, 0, 0, as shown in FIG. , 0, 1, 2, 1, 3, 0, 0, 0 ⁇ is encoded.
  • split type indication information encoding may also be performed in the following order.
  • 0, 0 ⁇ may be encoded
  • partition type indication information ⁇ 3, 3, 0, 0 ⁇ of four subblocks of the layer 3 (four subblocks belonging to L2-P0 in L1-P0) may be encoded.
  • split type indication information ⁇ 3, 3, 2, 1, 3, 3, 0, 0, 1, 0, 0, 0, 0, 3, 3, 0, 0 ⁇ is encoded.
  • the method of encoding the split type indication information may be encoded into a binary bit string using lossless compression encoding such as binary arithmetic coding or Huffman coding.
  • each partition type indication information may use a different binary value according to the layer number of the partition type indication information to be currently encoded.
  • Layer number If it is below, use Table 1 and the layer number is If larger, it can be encoded using Table 2.
  • the partition type indication information 3 of the subblocks L1 to P0 of FIG. 11 may be represented by the binary number '01', referring to Table 1, the partition type indication by arithmetically encoding the binary numbers '0' and '1', respectively.
  • Information 3 can be encoded.
  • partition type indication information 0 of the subblock L3-P2 belonging to the subblock L2-P0 may be represented as binary '1', referring to Table 2, the partition type indication information may be arithmetic encoded by binary '1'. 3 can be encoded.
  • the dividing type indication information is one bit length indicating whether or not the current block is divided into four subblocks. May be a flag.
  • the partition information encoder 810 may encode the partition information of the block by using a tree structure. That is, the partition information encoder 810 may encode the partition information of the block by first encoding the layer number using the tree structure and encoding the partition type indication information.
  • FIG. 14 is an exemplary diagram for describing a method of encoding split information of a block using a tree structure according to another embodiment of the present invention.
  • 14A shows the layer number of each subblock of the macroblock for each level
  • 14B shows the layer number of each subblock for each level in the form of a tree structure.
  • the macroblock is NxN block size, and the macroblock is divided into subblocks using the partition type shown in FIG. 10, and the macroblock is divided into subblocks of Nx (N / 2) block size.
  • NxN block size macroblock is divided into two Nx (N / 2) block size subblocks in layer 0
  • the partition type indication information of the L0-P0 subblock is 1.
  • each subblock of each Nx (N / 2) block size belongs to layer 0, the minimum value of the layer number of two subblocks of level 1 of the tree is 0. Therefore, the layer number of level 0 of the tree becomes zero.
  • numerals shown in '' such as '01', '1', '001' represents a binary bit.
  • each subblock for each level shown in 14A is represented in the form of a tree, it can be expressed as 14B.
  • '1' is finally encoded. For example, if the difference between the layer number of the upper node and the layer number of the current node is 3, the binary '001' is encoded. If the difference is 0, the binary '1' is encoded. Since there is no upper node of level 0, the layer number of the upper node is assumed to be 0. Therefore, in 14B, since the difference between the layer number 0 of the level 0 and the assumed layer number 0 of the upper node is 0, the binary bit of the layer number 0 of the level 0 becomes '1'.
  • the layer number of the level 1 and the layer number of the level 0 are the same, it is no longer necessary to encode the layer number, and the division type indication information 1 of the level 1 is encoded.
  • the split type indication information may be encoded into a binary bit string using lossless compression coding such as binary arithmetic coding or Huffman coding.
  • the dividing type indication information is one bit length indicating whether or not the current block is divided into four subblocks. May be a flag.
  • the partition type indication information 1 may be expressed as a binary bit as described above.
  • the partition type indication information values 0, 1, 2, and 3 may be divided into two bits.
  • the allocation may be represented as '00', '01', '10', or '11'.
  • the partition type indication information 1 may be represented by '01'.
  • the data to be encoded is '101'.
  • 15 and 16 are exemplary diagrams for describing an example of a method of encoding partition information of a block using a tree structure according to another embodiment of the present invention.
  • NxN block size macroblocks are divided into two (N / 2) x (N / 4) block size subblocks, one (N / 2) x (N / 2) block size subblocks, and two When partitioned into (N / 4) x (N / 2) block size subblocks and four (N / 4) x (N / 4) block size subblocks, the partition information of the block is divided by using a tree structure.
  • a process of determining a layer number of each subblock for each level for encoding is illustrated as an example.
  • level 2 is composed of macroblocks of NxN block size, and the minimum value of the layer number of two subblocks belonging to the first (N / 2) x (N / 2) block size subblock in the macroblock of level 2 , The minimum value of the layer number of one subblock belonging to the subblock of the second (N / 2) x (N / 2) block size, and belonging to the subblock of the third (N / 2) x (N / 2) block size Level 1 is configured by collecting the minimum value of the layer number of the two subblocks and the minimum value of the layer number of the four subblocks belonging to the fourth (N / 2) x (N / 2) block size subblock. The minimum value of the layer numbers of the four subblocks in the level 1 macroblock is collected to form level 0.
  • FIG. 16 illustrates a process of encoding a layer number and a split type by constructing a tree according to the layer number for each level configured in FIG. 15.
  • the layer number to be encoded at level 0 is 1 and there is no parent node at level 0, assuming that the parent node's layer number is '0', the difference between the layer number of the parent node and the layer number of level 0 is 1, so that the level 0 is 0.
  • the binary bit of the layer number of becomes '01'. Since the layer number to be encoded at level 1 is 1, 1, 1, 1, and the layer number of the upper node (level 0) is 1, the difference value of the layer number is 0, so the binary bits of each layer number are '1', '1'. ',' 1 ',' 1 '. Since the layer numbers to be encoded at level 2 all belong to layer 1, no further layer numbers need to be encoded.
  • the division type indication information 1, 0, 2, 3 is encoded. Since the partition type indication information is binary arithmetic coded or Huffman coded using a different table according to the layer number as described above, the binary bits of the partition type indication information 1, 0, 2, and 3 are respectively '00', ' 11 ',' 10 ', and' 01 '. Therefore, the layer number and division type indication information to be finally encoded are '01' ⁇ '1' ⁇ '1' ⁇ '1' ⁇ '1' ⁇ '00' ⁇ '11' ⁇ '10' ⁇ '01 '. '01111100111001' is encoded to be encoded fragment information data.
  • 17 and 18 are exemplary diagrams for describing another example of a method of encoding split information of a block using a tree structure according to another embodiment of the present invention.
  • a macroblock of NxN block size is divided into two (N / 2) x (N / 4) block size subblocks, one (N / 2) x (N / 2) block size subblock, and two Subblocks of (N / 4) x (N / 2) block size, Subblocks of two (N / 32) x (N / 16) block sizes, Four (N / 32) x (N / 32) blocks.
  • a subblock of size is divided into six (N / 16) x (N / 16) block size subblocks and two (N / 4) x (N / 4) block size subblocks. Indicated.
  • the subblock of the fourth (N / 2) x (N / 2) block size of the macroblock is divided into four (N / 4) x (N / 4) block size subblocks, and then four (N / 4) Among the subblocks of x (N / 4) block size, the first and second subblocks of (N / 4) x (N / 4) block size each have four (N / 16) x (N / 16). ) Is divided into subblocks of block size, and subblocks of (N / 16) x (N / 16) block size are divided into subblocks of the first (N / 4) x (N / 4) block size. Since the subblocks of the first and second (N / 16) x (N / 16) block sizes are divided into smaller blocks, layer numbers 2 and 3 are assigned as shown.
  • the macroblock shown in FIG. 17 may be configured as shown in FIG. 18 by constructing a tree according to the layer number for each level in the same manner as described above with reference to FIG. 15.
  • FIG. 18 illustrates a process of encoding a layer number and a split type by constructing a tree according to the layer number for each level configured in FIG. 17.
  • the data to be finally encoded becomes '01111010111100111010011111011111'.
  • the partition information encoder 810 may encode partition information of a block by using a partition layer value and a partition flag.
  • the split information encoder 810 may use NxN, (N / 2) x (N / 2), and (N / 4) x (N / 4).
  • the partition information of the block may be encoded by encoding the partition layer value and the partition flag of each subblock.
  • FIG. 19 is an exemplary diagram illustrating a subblock divided according to a partition layer value according to another embodiment of the present invention.
  • a macroblock having an N ⁇ N block size (where N is an integer of 16 or more) is divided according to the partition layer values 0, 1, and 2, the size and number of subblocks may be determined as shown in FIG. 19.
  • N is an integer of 16 or more
  • the size and number of subblocks may be determined as shown in FIG. 19.
  • a macroblock of NxN block size is divided into partition layer value 0
  • it is divided into only one subblock of NxN block size, and when divided by partition layer value 1, four (N / 2) x (N / 2) block size sub blocks are divided.
  • the block When divided into blocks, and divided by the split layer value 2, the block may be divided into eight (N / 4) ⁇ (N / 4) block sizes.
  • the block size of the subblock of the block is Can be For example, when the split layer value is 3, a macroblock of 64x64 block size is divided into subblocks of 8x8 block size. In addition, when the partition layer value of the 8x8 block size subblock is 1, the 8x8 block size subblock is divided into 4x4 block size subblocks.
  • Split flag has NxN block One or more when divided into subblocks (that is, when the split layer value is not zero)
  • Subblock A flag indicating that a subblock has been divided into smaller subblocks.
  • the partitioning flag is used in all NxN blocks.
  • the subblock has a value (eg 0) indicating that it is not divided into smaller subblocks.
  • the partitioning flag is set to all of the NxN blocks.
  • the subblock has a value (eg 1) indicating that it has been divided into smaller subblocks.
  • the division layer value and the division flag are encoded for each subblock.
  • the subblock type of the block is transmitted to the video decoding apparatus.
  • the split flag is not encoded.
  • the above-described partition layer value and the partition flag are included in the bitstream, encoded, and transmitted to the image decoding apparatus.
  • the method of encoding the partition layer value includes unary code, truncated unary code, and extract. Macroblock sizes to be transmitted may be encoded using various binary coding methods such as Exp-Golomb Code.
  • the encoding may be performed using a method such as binary arithmetic coding or Huffman coding.
  • the index values of the table promised by the image encoding apparatus and the image decoding apparatus may be encoded using the above-described various binary encoding methods.
  • the division flag may be included in the bitstream using 1 bit indicating that the block is not divided or divided.
  • FIG. 20 is an exemplary diagram illustrating a process of encoding partition information of a block by using a partition layer value and a partition flag according to another embodiment of the present invention.
  • FIG. 20 illustrates an example of encoding partition information of a block by using a partition layer value and a partition flag when a block size of a macroblock is 64x64 and a maximum partition layer value is 4.
  • a partition layer value and a partition flag of each subblock are generated as shown in the table for each partition number for each layer for identifying each subblock, and from L0-P0 to L1-P3.
  • the division layer value and the division flag are sequentially encoded. Since the L0-P0 subblock having a 64x64 block size is divided into four 32x32 block subblocks, the partition layer value is 1.
  • Each 32x32 block sets a split flag to a value indicating that it is divided into smaller subblocks, and encodes a split layer value and split flag.
  • the partition layer value is 0 and the partition flag does not need to be encoded. Since the L1-P1 subblock of the 32x32 block size is divided into 16 8x8 block size subblocks, the partition layer value becomes 2, and since the 8x8 block size subblocks are no longer divided, the partition flag is not divided. Encode with zero.
  • the split type for the lower blocks of the L1-P1 subblock, L2-P0 to L2-P15 may be encoded by only the split layer value and the split flag, so that the size and shape of each subblock may be identified by the image decoding apparatus. Can be.
  • the L1-P2 subblock of 32x32 block size is divided into four 16x16 block size subblocks, so the partition layer value is 1, and since there is a subblock that is divided into smaller subblocks, it is encoded as 1 indicating that the partition flag is divided. do. Since the division flag of the L1-P2 subblock is indicated by 1 to be divided into smaller subblocks, the division type for each divided subblock L2-P0 to L2-P3 should be encoded. Therefore, since the partition layer value 0 and the partition layer value of the L2-P0, L2-P1, and L2-P2 subblocks are 0, the partition flag is not necessary.
  • the partition flag value 2 and the partition flag 0 indicating no partitioning should be encoded, but the maximum partitioning is performed. It can be seen that since the layer value is 4, the split ray value at L1-P1 is 2, and the split layer value at L2-P3 is 2, the split layer value of the total sum is the same as the maximum split layer value and cannot be divided any further. Therefore, it is not necessary to encode the division flag.
  • the partition layer value is 3, and as in L2-P3, the maximum partition layer value can be reached and further divided. It can be seen that there is no need to encode the division flag.
  • the partition information of the block can be encoded by encoding the partition layer value and the partition flag for the partition number for each layer for identifying each subblock of the macroblock.
  • the method for generating the encoded partition information data by encoding the partition information of the block by sequentially encoding the partition type indication information for each layer of the macroblock in the order of the subblocks The subblocks are not necessarily divided as shown in FIGS. 11 to 13, and even when the macroblocks are divided as shown in FIG. 21, the partition type indication information for each layer of the macroblocks is sequentially arranged according to the order of the subblocks.
  • the partition information of the block can be encoded.
  • 21 is an exemplary diagram illustrating another example of a macroblock divided into subblocks of various block sizes according to another embodiment of the present invention.
  • the subblocks of the layer K + 1 may be used only when the subblock of the corresponding layer is divided into four subblocks in the layer K (where 0 ⁇ K ⁇ log 2 (N / 4)).
  • the subblocks of layer K + 1 are used. Can be.
  • FIG. 21 illustrates an example in which a macroblock of 64x64 block size is divided into two 64x16 block size subblocks and two 32x32 block size macroblocks.
  • the number written in ' ⁇ ' indicates the order of encoding the partition type indication information of each subblock.
  • FIG. 22 is another exemplary diagram for describing a process of sequentially encoding segmentation type indication information for each layer of a macroblock according to the order of subblocks.
  • the split type indication information may be encoded into a binary bit string using lossless compression coding such as binary arithmetic coding or Huffman coding.
  • various binary coding methods such as unary code, truncated unary code, and exponential golem code may be used for the actual partition type indication information. Can be encoded.
  • the dividing type indication information is one bit length indicating whether or not the current block is divided into four subblocks. May be a flag.
  • FIG. 23 is a flowchart for explaining an image encoding method according to another embodiment of the present invention.
  • the image encoding apparatus 800 predictively encodes a current block divided into a plurality of subblocks to generate encoded image data (S2310), and divides information of the current block.
  • the encoded fragmentation information data is generated by encoding the signal (S2320), and a bitstream including the encoded image data and the encoded fragment information data is generated (S2330).
  • the current block may be a macroblock exceeding a 16 ⁇ 16 block size
  • the partition information may be a block size and arrangement of a plurality of subblocks included in the current block.
  • the plurality of subblocks may be identified by split type indication information for each split layer.
  • the image encoding apparatus 800 sequentially divides split type indication information for each split layer according to the split type indication information encoding order.
  • the partition information of the current block may be encoded, or the partition information of the current block may be encoded by encoding the layer number and the split type indication information using a tree structure.
  • the image encoding apparatus 800 may encode the partition information of the current block by using the partition layer value and the partition flag.
  • the partition layer value and the partition flag may be used only when the block type of the current block is an intra block type.
  • the split information of the current block may be encoded. Since the method of encoding the split information of the current block by the image encoding apparatus 800 has been described above with reference to FIGS. 8 to 22, a detailed description thereof will be omitted.
  • 24 is a block diagram schematically illustrating an image decoding apparatus according to another embodiment of the present invention.
  • the image decoding apparatus 2400 may include a split information decoder 2410 and an image decoder 2420.
  • the partition information decoder 2410 extracts and decodes the encoded partition information data from the bitstream to restore partition information of the current block.
  • the partition information of the current block may be partition type indication information for each partition layer, layer number and partition type indication information using a tree structure, or may be a partition layer value and a partition flag.
  • the partition information decoder 2410 decodes the encoded partition information data and divides the partition layer as shown in the table of FIG. 13. Partition type indication information can be obtained.
  • the current block is divided into a plurality of subblocks according to the partition type indication information for each layer in the partition type indication information encoding order as shown in the table of FIG.
  • the current block divided into subblocks can be obtained.
  • the split information decoder 2410 decodes the coded split information data and shows the layer number represented by the tree structure as shown in FIG. 16. And split type indication information, and the above-described method is reversed through FIGS. 15 and 16 by using the layer number and split type indication information represented by the tree structure shown in FIG. A current block divided into a plurality of subblocks as described above may be obtained.
  • the partition information decoder 2410 may obtain the partition layer values and the partition flag as shown in the table of FIG. 20 by decoding the encoded partition information data.
  • the above-described method may be reversed through FIG. 20 to obtain a current block divided into a plurality of subblocks as illustrated in FIG. 20.
  • the image decoder 2420 may be configured identically or similarly to the image decoding apparatus according to the embodiment of the present invention described above with reference to FIG. 7. However, the image decoder 2420 according to another embodiment of the present invention extracts and decodes the encoded image data of the divided subblocks according to the partition information of the current block restored by the partition information decoder 2410. Each subblock is predictively decoded and reconstructed.
  • the image data extracted by the image decoder 2420 from the bitstream may be prediction data of each subblock and / or data necessary for decoding a residual signal such as a transform type, a CBP, and a transform coefficient, wherein the prediction data is each subblock. Data indicating whether this is an intra block or an inter block, and an intra prediction mode for the intra block and motion information for the inter block are shown.
  • partition information which is information indicating the size and shape of subblocks used for prediction or transformation in a macroblock.
  • the split type indication information is decoded in the order promised with the image encoding apparatus by using the subblock type available for each layer promised by the image encoding apparatus.
  • the usable subblock type for each layer may be the subblock type shown in FIGS. 10 and 34, and the order of decoding the partition type indication information may be sequentially decoded according to the order shown in FIG. 11 or 13. have.
  • the partition information is decoded using the sequence shown in FIG. 11 using the subblock type shown in FIG.
  • the partition information decoder 2410 extracts and decodes the first partition type indication information from the bitstream to restore partition type indication information of the macroblock layer 0. If the reconstructed partition type indication information value is 0, it means that the macroblock is not divided into subblocks, and thus the decoding of the partition type indication information of the current macroblock ends. Thereafter, prediction or inverse transformation is performed with macroblock N ⁇ N size.
  • the subblock is divided into subblocks, and the decoding of the partition type indication information of the current macroblock is completed. After that, the macroblock Prediction or inverse transformation is performed in units.
  • the subblock is divided into subblocks, and the decoding of the partition type indication information of the current macroblock is completed. After that, the macroblock Prediction or inverse transformation is performed in units.
  • the partition type indication information of the restored layer 0 is 3, four macroblocks are generated.
  • the subblock decodes partition type indication information of the first subblock (the subblock having partition number 0 of layer 1). here The layer number of the subblocks is 1, which is increased by 1 from the upper layer number.
  • the partition type indication information of the subblock having partition number 0 of Layer 1 extracted and decoded from the bitstream is not 3, the second in the macroblock The division type indication information of the subblock (block having partition number 1 of layer 1) is decoded.
  • the partition type indication information of the subblock having partition number 0 of layer 1 extracted from the bitstream and decoded is 3, the current subblock is divided into four subblocks, and the layer number is 2 at this time. Thereafter, the partition type indication information of the subblock corresponding to partition number 0 of the rare 2 is extracted from the bitstream and decoded.
  • the layer number K of the current subblock having the partition number Y is the maximum value that the layer number can have, if the split type indication information of the decoded current subblock (ie, layer K-partition number Y) is 3, the current subblock After dividing the block into four subblocks, the partition type indication information of the next subblock (the subblock having the layer K-partition number Y + 1) is decoded in the raster scan order.
  • the partition type indication information of the unblocked subblocks of the higher layer is decoded.
  • the value encoded by the split type indication information in the image encoding apparatus is ⁇ 3, 3, 3, 3, 3, 0, 0, 0, 0, 1, 2, 1, 3, 0, 0, 0, 0 ⁇ .
  • split type indication information of layer 0 is decoded.
  • the 64x64 macroblock is divided into four 32x32 blocks (L1-P0, L1-P1, L1-P2, and L1-P3).
  • each 32x32 subblock can be divided into smaller subblocks, the partition type indication information of the first 32x32 subblocks L1-P0 in the 64x64 macroblock is decoded.
  • the split type indication information decoded is 3
  • the L1-P0 subblock is divided into four 16x16 subblocks (L2-P0, L2-P1, L2-P2, and L2-P3), and the split type indication information of L2-P0 is obtained. Is extracted from the bitstream and decoded.
  • the L2-P0 subblock having a size of 16x16 is divided into four 8x8 subblocks (L3-P0, L3-P1, L3-P2, and L3-P3), and the partition type of L3-P0 is divided.
  • the indication information is extracted from the bitstream and decoded.
  • the 8x8 size L3-P0 subblock is divided into four 4x4 subblocks. Since the maximum partition layer of the 4x4 subblock is 4, it can no longer be divided into small subblocks, and thus the partition type indication information of L3-P1 is extracted from the bitstream and decoded.
  • the 8x8 size L3-P1 subblock is divided into four 4x4 subblocks, and the split type indication information of L3-P2 is extracted from the bitstream and decoded.
  • the 8x8 size L3-P2 subblock is not divided, and the split type indication information of the next subblock L3-P3 is extracted from the bitstream and decoded.
  • the seventh decoded split indication information is 0, no 8x8 size L3-P3 subblock is split. Since the partition number of the current subblock is the maximum value of the partition number belonging to the current layer, the partition type indication information of the upper layer L2-P1 is extracted from the bitstream and decoded.
  • the block size of L2-P1 is 16x16.
  • each subblock type is determined by extracting and decoding the split type indication information of L2-P2 and L2-P3 from the bitstream.
  • the block size of L2-P2 is 16x16 and the 10th decoded split indication information is 1, so L2-P3 is split into two 16x8 subblocks.
  • the split type indication information of the second 32x32 sized subblock L1-P1 of the upper layer 1 is decoded.
  • the split indication information decoded by the eleventh is 2, the 32x32 block corresponding to L1-P1 is divided into two 16x32 subblocks, and the split type indication information of L1-P2 is decoded.
  • the twelfth decoded split indication information is 1, the 32x32 block corresponding to L1-P2 is divided into two 32x16 subblocks, and the split type indication information of L1-P3 is decoded.
  • the thirteenth decoded split indication information is 3, so a 32x32 block corresponding to L1-P3 is divided into four 16x16 subblocks (L2-P0, L2-P1, L2-P2, and L2-P3) and each sub in the same manner. Decode the partition type indication information of the blocks.
  • the subblock type of L2-P0 is 16x16, and since it is no longer divided, the next subblock L2-P1 decodes the split type indication information.
  • the subblock type of L2-P1 is 16x16, and since it is no longer divided, the next subblock L2-P2 decodes the split type indication information.
  • the subblock type of L2-P2 is 16x16, and since the split block indication information is no longer divided, the next subblock, L2-P3, decodes the split type indication information.
  • the subblock type of L2-P3 is 16x16, and since the type of the mode subblocks in the macroblock is determined, decoding of the split indication information for decoding the current macroblock is finished.
  • the value encoded by the split type indication information in the image encoding apparatus is ⁇ 3, 3, 2, 1, 3, 3, 0, 0, 1, 0, 0, 0, 0, 3, 3, 0, 0 ⁇ .
  • split type indication information of layer 0 is decoded.
  • the 64x64 macroblock is divided into four 32x32 blocks (L1-P0, L1-P1, L1-P2, and L1-P3).
  • L1-P0 and L1-P3 have four 16x16 bits.
  • L1-P1 is divided into two 16x32 blocks
  • L1-P2 is divided into two 32x16 blocks.
  • the partition type indication information of eight 8x8 subblocks of layer 2 belonging to L1-P0 and L1-P3 is extracted and decoded from the bitstream.
  • the partition type indication information of four subblocks (L2-P0, L2-P1, L2-P2, L2-P3) belonging to the restored L1-P0 is ⁇ 3, 0, 0, 1 ⁇ , and 4 belonging to L1-P3 Since the partition type indication information of the two subblocks (L2-P0, L2-P1, L2-P2, L2-P3) is ⁇ 0, 0, 0, 0 ⁇ , L2-P0 belonging to L1-P0 has four 4x4 subblocks. L2-P3 is divided into two 8x4 subblocks.
  • the four subblocks belonging to L2-P1, L2-P2, and L1-P3 belonging to L1-P0 are not divided because the partition type indication information is all zero.
  • the subblocks L2-P0 belonging to L1-P0 are divided into four subblocks, but can not be further divided into small subblocks, thus completing the decoding of the partition type indication information for decoding the current macroblock.
  • the entropy decoding method of the split type indication information is entropy decoded using a method promised with an image encoding apparatus among lossless compression encoding / decoding methods such as binary arithmetic coding or Huffman coding.
  • the image encoding apparatus binary arithmetic coding is used as the split type indication information encoding method, and the layer number is If it is below, use Table 1 and the layer number is In the case where the encoding is larger using Table 2, the image decoding apparatus performs entropy decoding using Tables 1 and 2 according to the layer number of the split type indication information.
  • partition type indication information belonging to layer 1 for a 64x64 macroblock
  • partition type indication information is obtained using Table 1 after entropy decoding two bits.
  • Table 2 is used to entropy decode partition type indication information belonging to layer 3 for a 64x64 macroblock.
  • the partition type indication information is set to 0 and the partition type indication information entropy decoding of the current subblock is completed. If the decoded binary bit is not 1, entropy decode one more bit from the bitstream, and if the second decoded bit is 0, the partition type indication information of the current subblock is set to 1 and the partition type indication of the current subblock. Complete the entropy decoding for the information.
  • the second decoded bit is 1, one bit is further entropy decoded from the bitstream to determine whether the partition type indication information of the current subblock is 2 or 3.
  • the current subblock is divided into four subblocks by entropy decoding one bit for decoding the division type indication information. It may be determined whether or not.
  • the partition number of the block can be decoded by first decoding the layer number using a tree structure and decoding the partition type indication information.
  • the method of decoding the layer number decodes binary bits 0 and 1 from the bitstream to restore the difference between the layer number of the current level and the layer number of the higher level. At this time, in order to recover the difference value, one bit is read and decoded from the bitstream, and when the decoded binary bit is 0, one bit is read and decoded from the bitstream. In this way, if binary bit 0 is continuously restored until the binary bit 1 is restored and the restored binary bit is 1, the bit is no longer read and decoded, and the difference is the number of restored 0.
  • the layer number of the level 0 is restored and the difference value between the layer number of the level 0 and 0 is restored from the bitstream using the above-described method for restoring the layer number. If the layer number of the restored level 0 is greater than the number 0 of the level, a tree is formed by creating a child node in the current node.
  • the number of newly created child nodes depends on the subblock partitioning scheme promised with the video encoding apparatus. According to the subblock partitioning scheme illustrated in FIG. 9, the number of newly created child nodes is assigned to a lower layer only when the current subblock is divided into 4 subblocks. Four child nodes are created because the belonging subblocks can be used. Newly created nodes have a level value of 1 increased from that of the parent node.
  • the restored layer number of each node is the same as the level value of the node, it does not form a child node belonging to a lower level for that node.
  • the restored layer number of the node is greater than the level value of the node, Four four child nodes are created and the radar number decoding of the newly configured nodes is performed.
  • the restored layer number is the maximum value that the layer number can have (that is, when the layer number starts from 0, the maximum value that the layer number can have is 'maximum split layer value -1'. 4 child nodes are created, but the layer number decoding of each node is not performed.
  • the tree is constructed until the layer number of the lowest node is the same as the level number of each node or has the maximum value that the layer number can have, and the layer number restoration of each node is continued.
  • splitting type indication information decoding is performed on the lowest nodes.
  • the method of decoding the partition type indication information of each node is entropy decoded using a method promised with an image encoding apparatus among lossless compression encoding / decoding methods such as binary arithmetic coding or Huffman coding. .
  • the image decoding apparatus performs entropy decoding using Tables 1 and 2 according to the layer number of the split type indication information. For example, when entropy decoding partition type indication information belonging to layer 1, after entropy decoding two bits, partition type indication information is obtained using Table 1 and table 2 is used to entropy decode partition type indication information belonging to layer 3. use.
  • the partition type indication information is set to 0 and the partition type indication information entropy decoding of the current subblock is completed. If the decoded binary bit is not 1, entropy-decode one more bit from the bitstream, and if the second decoded bit is 0, the partition type indication information of the current subblock is set to 1 and the partition type indication of the current subblock. Complete the entropy decoding for the information. When the second decoded bit is 1, one bit is further entropy decoded from the bitstream to determine whether the partition type indication information of the current subblock is 2 or 3.
  • the current subblock is divided into four subblocks by entropy decoding one bit for decoding the division type indication information. It may be determined whether or not.
  • the binary bit value encoded by the split information in the video encoding apparatus is '101'.
  • one bit is extracted from the bitstream and recovered. Since the bit extracted from the bitstream is '1', the difference value for restoring the layer number of level 0 becomes 0. In the case of level 0, since the upper node does not exist, the difference value promised with the image encoding apparatus and the restored difference value 0 In addition, the layer value of level 0 is restored. In this case, since the difference value is 0, the restored layer value of level 0 is 0.
  • the layer number decoding process is completed and the split type indication information is decoded.
  • the image decoding apparatus since the split type indication information is encoded as binary bits when encoding the split type indication information, the image decoding apparatus also extracts 2 bits from the bitstream in the same manner to restore the value.
  • the restored partition type indication information becomes 1 because the binary bit '01' is represented by 1.
  • the subblock shape of the macroblock is determined by using the reconstructed layer value and the partition type indication information, all subblocks in the macroblock belong to layer 0, so the subblocks are 64x64, 64x32, 32x64, and 32x32 subblock types belonging to layer 0. Since the dual partition type indication information is 0, it can be seen that the macroblock is divided into two 64 ⁇ 32 subblocks.
  • the binary bit value encoded by the split information in the video encoding apparatus is '01111100111001'.
  • one bit is extracted from the bitstream and recovered. Since the bit extracted from the bitstream is '0', one more bit is extracted from the bitstream and restored. Since the second recovered bit is 1, the difference value recovery for the layer number of level 0 ends. Since the extracted bitstream for recovering the difference value is '01', the difference value is 1, which is the number of 0s, and the restored difference value 0 and the value 1 are allocated as the layer number of level 0.
  • One bit is extracted from the bitstream to restore the layer number of the first node of level 1.
  • the third bit extracted is '1', so the difference is zero.
  • the layer number 1 of the first node is restored by adding the reconstructed difference value and the layer number of level 0, which is an upper node of the first node of level 1. Since layer number 1 and level value 1 of the restored level 1 are the same, difference value decoding for the second node of level 1 is started.
  • One bit is extracted from the bitstream to restore the layer number of the second node of level 1.
  • the fourth bit extracted is '1', so the difference is zero.
  • the layer number 1 of the second node is restored by adding the reconstructed difference value and the layer number of level 0, which is an upper node of the second node of level 1. Since layer number 1 and level value 1 of the restored level 1 are the same, difference value decoding for the third node of level 1 is started.
  • One bit is extracted from the bitstream to restore the layer number of the third node of level 1.
  • the fifth bit is '1', so the difference is zero.
  • the layer number 1 of the third node is restored by adding the reconstructed difference value and the layer number of level 0, which is an upper node of the third node of level 1. Since the layer number 1 and the level value 1 of the restored level 1 are the same, the difference value decoding for the fourth node of the level 1 is started.
  • One bit is extracted from the bitstream to restore the layer number of the fourth node of level 1.
  • the sixth extracted bit is '1', so the difference is zero.
  • Layer number 1 of the fourth node is restored by adding the reconstructed difference value and the layer number of level 0, which is an upper node of the fourth node of level 1.
  • the layer type decoding is completed and the split type indication information decoding is performed on each node of the lowest level.
  • the image decoding apparatus when encoding the partition type indication information, the binary bit '11', '00', '10', and '01' are allocated to the partition type indication information 0, 1, 2, and 3 and encoded. Therefore, the image decoding apparatus also extracts 2 bits for each node from the bitstream in the same manner to restore the split indication information.
  • four nodes belonging to level 1 extract two bits from the bitstream for each node to restore partition type knowledge information.
  • the partition type indication information for the first node is 1, and since the ninth and tenth bits extracted from the bitstream are '11', the partition type indication information for the second node is Is 0, since the eleventh and twelfth bits extracted from the bitstream are '10', the partition type indication information for the third node is 2, and the partition type indication for the fourth node is indicated because the thirteenth and fourteenth bits extracted from the bitstream are '01'.
  • the information is three.
  • the 64x64 macroblock is divided into four 32x32 subblocks, and each 32x32 subblock is respectively It has one subblock type among 32x32, 32x16, 16x32, and 16x16, which is a subblock type belonging to layer 1.
  • the reconstructed partition type indication information of the first subblock is 1, the first 32x32 subblock is divided into two 32x16 subblocks, and since the reconstructed partition type indication information of the second subblock is 0, the second 32x32 subblock is one 32x32 subblock type. It can be seen that the decision was made.
  • the recovered partition type indication information of the third subblock is 2
  • the third 32x32 subblock is partitioned into two 16x32 subblocks
  • the recovered partition type indication information of the fourth subblock is 3, the fourth 32x32 subblock is four. It can be seen that it is divided into 16 ⁇ 16 subblocks as shown in FIG. 15.
  • the binary bit value encoded by the split information in the video encoding apparatus is '01111010111100111010011111011111'.
  • one bit is extracted from the bitstream and recovered. Since the bit extracted from the bitstream is '0', one more bit is extracted from the bitstream and restored. Since the second recovered bit is 1, the difference value recovery for the layer number of level 0 ends. Since the extracted bitstream for recovering the difference value is '01', the difference value is 1, which is the number of 0s, and the restored difference value 0 and the value 1 are allocated as the layer number of level 0.
  • One bit is extracted from the bitstream to restore the layer number of the first node of level 1.
  • the third bit extracted is '1', so the difference is zero.
  • the layer number 1 of the first node is restored by adding the reconstructed difference value and the layer number of level 0, which is an upper node of the first node of level 1. Since layer number 1 and level value 1 of the restored level 1 are the same, difference value decoding for the second node of level 1 is started.
  • One bit is extracted from the bitstream to restore the layer number of the second node of level 1.
  • the fourth bit extracted is '1', so the difference is zero.
  • the layer number 1 of the second node is restored by adding the reconstructed difference value and the layer number of level 0, which is an upper node of the second node of level 1. Since layer number 1 and level value 1 of the restored level 1 are the same, difference value decoding for the third node of level 1 is started.
  • One bit is extracted from the bitstream to restore the layer number of the third node of level 1.
  • the fifth bit is '1', so the difference is zero.
  • the layer number 1 of the third node is restored by adding the reconstructed difference value and the layer number of level 0, which is an upper node of the third node of level 1. Since the layer number 1 and the level value 1 of the restored level 1 are the same, the difference value decoding for the fourth node of the level 1 is started.
  • One bit is extracted from the bitstream to restore the layer number of the fourth node of level 1. Since the sixth extracted bit is '0', one more bit is extracted from the bitstream and restored. The seventh recovered bit is 1, so we finish restoring the difference for the layer number of the fourth node in level 1. Since the extracted bitstream for restoring the difference value is '01', the difference value is 1, which is the number of zeros, and the restored difference value is added to the layer number 1 of the parent node to restore layer number 2, and the restored layer number 2 is the current node. Since 4 has a value larger than 1, 4 child nodes are created for the 4th node of level 1. Created child nodes belong to level 2.
  • the layer number decoding of nodes belonging to level 2 is performed in the same manner.
  • Nodes belonging to level 2 are children of the fourth node of level 1, and bits extracted for restoring the first node of level 2 become '01', which is the 8th and 9th bits. Since the difference between layer number 2 of the first node and the upper node of level 2 is 1, the layer number of the current node becomes 3. In this case, the restored layer value 3 is greater than the level value 2, so four child nodes are created. However, the restored layer value 3 has the maximum value that the split layer number can have as described above. Node numbers are not decoded for nodes.
  • the bits extracted for restoring the second to fourth nodes of level 2 become '111', the tenth to twelfth bits. Since the difference between the three nodes is all zero, the layer number of the second, third and fourth nodes of level 2 is 2.
  • the split type indication information is decoded after the layer number decoding is completed.
  • the image decoding apparatus when encoding the partition type indication information, the binary bit '11', '00', '10', and '01' are allocated to the partition type indication information 0, 1, 2, and 3 and encoded. Therefore, the image decoding apparatus also extracts 2 bits for each node from the bitstream in the same manner to restore the split indication information.
  • the partition type knowledge information is extracted by extracting two bits from the bitstream for each node. Restore it.
  • the bits extracted for split type decoding of three nodes belonging to level 1 are sequentially '00', '11', and '10'.
  • the partition type indication information of the first node of 1 is 1
  • the partition type indication information of the second node of level 1 is 0,
  • the partition type indication information of the second node of level 1 is 2.
  • Bits extracted for split type decoding of four nodes belonging to level 3 are '10', '01', '11', and '11', so the split type indication information of the first node of level 3 is 2, level 3.
  • the partition type indication information of the second node of 3 is 3, and the partition type indication information of the third and fourth nodes of level 3 is 0, respectively.
  • the bits extracted for split type decoding of the second to fourth nodes belonging to the level 2 are '01', '11', and '11' in order, so the split type indication information of the second node of the level 2 is 3 and the third and the second level.
  • the partition type indication information of the fourth node is zero.
  • the 64x64 macroblock is divided into four 32x32 subblocks because the subblocks in the macroblock have a layer number of 1 or more. Since the layer number of the first to third nodes of level 1 is 1, the first to third 32x32 subblocks in the macroblock have one subblock type of 32x32, 32x16, 16x32, and 16x16, which are subblock types belonging to layer 1, respectively. Since the recovered partition type indication information of the first 32x32 subblock is 1, the first 32x32 subblock is divided into two 32x16 subblocks, and since the recovered partition type indication information of the second subblock is 0, the second 32x32 subblock is one 32x32 subblock. It can be seen that the type is determined. In this way, since the recovered partition type indication information of the third subblock is 2, the third 32x32 subblock is divided into two 16x32 subblocks.
  • the fourth 32x32 subblock is divided into four 16x16 subblocks, and the layer number of four nodes of level 2 corresponding to each 16x16 is greater than 2
  • partitioning is performed once more into lower layers.
  • the first 16x16 block is further divided into four 8x8 subblocks.
  • the subblock type of each subblock is determined according to the partition type indication information of each subblock, and it can be seen as shown in FIG. 17.
  • the partition information of the block can be decoded by decoding the partition layer value and the partition flag.
  • the partition layer value is extracted and reconstructed from the bitstream, and the macroblock is partitioned according to the partition layer value. For example, if the macroblock size is NxN and the reconstructed split layer value is x, Split into subblocks.
  • the split flag extracted and restored from the bitstream and restored is divided into all the blocks in the macroblock. If the subblock has a value (for example, 0) indicating that the subblock is not divided into smaller subblocks, the decoding of the partition information of the macroblock is completed.
  • the restored flag is one or more in the macroblock A value indicating that the subblock is divided into smaller subblocks, for example, 1, extracts and restores the partition layer value and the partition flag of each subblock from the bitstream in the same manner in the raster scan order.
  • the split layer value and the split flag encoded by the split information in the video encoding apparatus are ⁇ 1, 1, 0, 2, 0, 1, 1, 0, 0, 0, 2, 3 ⁇ .
  • the split layer value is extracted from the bitstream, and the split layer value 1 and the split flag 1 are decoded. Since the split layer value is 1, the 64x64 macroblock is divided into four 32x32 subblocks.
  • the split layer value of the first 32x32 block is 0, it can be seen that the first 32x32 block is not divided into smaller subblocks, and the split flag is not decoded from the bitstream.
  • the split layer value of the second 32x32 block is extracted from the bitstream and decoded. Since the reconstructed partition layer value is 2, the 32x32 block is divided into 16 8x8 blocks, and then the partition flag is extracted from the bitstream and decoded. Since the reconstructed partition flag is 0, it can be seen that 16 subblocks in the second 32x32 block are not divided into smaller subblocks, and then the partition layer value of the third 32x32 block is extracted and decoded from the bitstream.
  • the 32x32 block is divided into four 16x16 subblocks and the partition flag is decoded from the bitstream. Since the decoded split flag is 1, it can be seen that at least one 16x16 block is divided into smaller subblocks, and the split layer value and the split flag are decoded for each 16x16 block.
  • the partition layer value is extracted and recovered from the bitstream. If the partition layer value is not 0, the partition flag is extracted and recovered from the bitstream.
  • the split layer values of the first to third 16x16 are all 0 and the split layer values of the fourth 16x16 block are 2.
  • the 16x16 block Since the split layer value of the fourth 16x16 block is 2, the 16x16 block is divided into 16r 4x4 subblocks. However, at this time, the reconstructed layer value is not 0, but each 4x4 subblock cannot be divided into smaller subblocks, so the splitting flag is not decoded.
  • the partition layer value of the fourth 32x32 block is extracted and decoded from the bitstream, and since the partition layer value reconstructed is 3, the 32x32 block is divided into 64 4x4 subblocks, and the partition information decoding is performed because the size of the partitioned subblock is the minimum block size. To finish.
  • the above-described partition layer value and the partition flag are extracted and decoded from the bitstream, and the method of decoding the partition layer value includes unary code, truncated unary code, and expansive gollum code.
  • Decoding is performed using a method promised with an image encoding apparatus among various binary coding methods such as-Golomb Code.
  • decoding may be performed using a method such as binary arithmetic coding or Huffman coding.
  • the index values of the table promised by the image encoding apparatus and the image decoding apparatus may be decoded using the above-described various binary encoding / decoding methods.
  • the division flag is used to determine whether the current subblock is divided into smaller subblocks by decoding and decoding one bit from the bitstream.
  • the fourth split information decoding method is similar to the first split information decoding method. However, a subblock having a value (for example, 0) indicating that the partition type indication information of all subblocks is not divided into smaller subblocks or the size of the subblock divided by the partition type indication information from the current block is the smallest subblock.
  • the partition type indication information is extracted from the bitstream and decoding is continued until it has a size of.
  • the split type indication information encoded by the split information in the video encoding apparatus is ⁇ 1, 1, 0, 0, 2, 0, 0 ⁇ .
  • the 64x64 macroblock is divided into two 64x32 blocks (L1-P0 and L1-P1), and the partition type indication information of the first 64x32 subblock is extracted and recovered from the bitstream.
  • the 64x32 block corresponding to L1-P0 is divided into two 64x16 blocks (L2-P0 and L2-P1) and the partition type indication information of the first 64x16 subblock (L2-P0). Is extracted from the bitstream and recovered.
  • the partition type indication information restored is 0
  • the 64x16 block corresponding to L2-P0 is not divided into smaller subblocks, and the partition type indication information of L2-P1, the next block of L2-P0, is extracted from the bitstream and restored. do.
  • the partition type indication information reconstructed is 0, the 64 ⁇ 16 block corresponding to L2-P1 is not divided into smaller subblocks. Since all the partition information of the subblocks belonging to L2 have been restored, the partition type indication information of L1-P1 is extracted from the bitstream and recovered.
  • the 64x32 block corresponding to L1-P1 is divided into two 32x32 blocks (L2-P0 and L2-P1) and the partition type indication of the first 32x32 subblock (L2-P0). Extract and recover information from the bitstream.
  • the 32x32 block corresponding to L2-P0 is not divided into smaller subblocks, and the partition type indication information of L2-P1, the next block of L2-P0, is extracted from the bitstream.
  • the split type indication information reconstructed by the seventh is 0, the 32x32 block corresponding to L2-P1 is not divided into smaller subblocks. Since the block type of all subblocks in the macroblock is determined, decoding of the partition information is terminated.
  • the entropy decoding method of the split type indication information is entropy decoded using a method promised with an image encoding apparatus among lossless compression encoding / decoding methods such as binary arithmetic coding or Huffman coding.
  • the image encoding apparatus binary arithmetic coding is used as the split type indication information encoding method, and the layer number is If it is below, use Table 1 and the layer number is In the case where the encoding is larger using Table 2, the image decoding apparatus performs entropy decoding using Tables 1 and 2 according to the layer number of the split type indication information.
  • partition type indication information belonging to layer 1 for a 64x64 macroblock
  • partition type indication information is obtained using Table 1 after entropy decoding two bits.
  • Table 2 is used to entropy decode partition type indication information belonging to layer 3 for a 64x64 macroblock.
  • the partition type indication information is set to 0 and the partition type indication information entropy decoding of the current subblock is completed. If the decoded binary bit is not 1, entropy-decode one more bit from the bitstream. If the second decoded bit is 0, the partition type indication information of the current subblock is set to 1 and the partition type indication of the current subblock. Complete the entropy decoding for the information.
  • the second decoded bit is 1, one bit is further entropy decoded from the bitstream to determine whether the partition type indication information of the current subblock is 2 or 3.
  • the current subblock is divided into four subblocks by entropy decoding one bit for decoding the division type indication information. It may be determined whether or not.
  • 25 is a flowchart illustrating an image decoding method according to another embodiment of the present invention.
  • the image decoding apparatus 2400 decodes the partition information data from the bitstream by using the decoding method according to the embodiments described above, and restores partition information of the current block.
  • the encoded video data extracted from the bitstream is predicted and decoded according to the partition information of the current block to be restored to recover the current block divided into a plurality of subblocks (S2520).
  • the segmentation information of the macroblock using a partition type or a split layer value for each layer.
  • the compression efficiency can be improved.
  • a maximum partition layer indicating the number of layers capable of maximally partitioning macroblocks of any size is determined, and the determined maximum partition layer is used.
  • An apparatus and method for efficiently encoding and decoding partition information using a maximum partition layer after dividing a macroblock into a plurality of subblocks for prediction or transformation will be described.
  • the size of the minimum subblock available in the macroblock may be determined by the maximum partition layer, and when encoding the macroblock, the image is encoded using only subblocks having the corresponding size or larger.
  • the maximum split layer may be information indicating the size of the minimum subblocks that can be used for prediction or transformation, and may be encoded in a sequence header or a header, a slice header, or a macroblock header of each picture.
  • the maximum partition layer for prediction and the maximum partition layer information for transformation may be respectively encoded.
  • segmentation information may be information representing the size and shape of the divided subblocks for prediction or transformation.
  • the segmentation information is encoded by including the segmentation information and the encoded image data in a bitstream and transmitted to the image decoding apparatus.
  • split information for prediction and split information for transformation may be encoded respectively.
  • the partition information of the subblocks for prediction or transformation is extracted and decoded using the restored maximum partition layer to restore the size and shape of each subblock. Thereafter, the encoded data of each subblock is extracted from the bitstream and reconstructed to reconstruct an image by performing prediction or inverse transform.
  • 26 is a block diagram schematically illustrating a video encoding apparatus according to another embodiment of the present invention.
  • the image encoding apparatus 2600 includes an image encoder 2610, a maximum partition layer determiner 2620, and a maximum partition layer encoder 2630. Can be configured.
  • the image encoder 2610 may be implemented as an image encoding apparatus 800 according to an embodiment of the present invention described above with reference to FIG. 8. That is, the image encoder 2610 generates encoded segmentation information and image data by predictively encoding the subblocks according to the partition type of the predetermined macroblock. In this case, when determining the division type of the macroblock, the image encoder 2610 may determine the division type by using the minimum subblock size according to the maximum division layer value determined by the maximum division layer determiner 2620. In addition, when encoding the partition information, the partition information is encoded using the maximum partition layer.
  • the maximum split layer determiner 2620 determines the split type of the current block using the minimum subblock size according to the candidate of the maximum split layer value, and uses the encoding cost at the time of encoding to determine the maximum split layer value of the current block. Decide In this case, although the maximum split layer determiner 2620 may calculate the encoding cost when the split type of the current block is determined using the minimum subblock size according to the candidate of the maximum split layer value, and the encoding is performed accordingly, the maximum split layer If the determiner 2620 designates a candidate of the maximum partition layer value, the encoding is performed when the image encoder 2610 determines the partition type of the current block using the minimum subblock size according to the candidate of the partition layer value and encodes it accordingly.
  • the cost is calculated and transferred to the maximum split layer determiner 2620, and the maximum split layer determiner 2620 may determine the maximum split layer value of the current block using the transferred encoding cost.
  • the image encoder 2610 may include image data already encoded with the maximum segmentation layer value in the bitstream. A method of determining the maximum divided layer value and thus determining the minimum subblock size by the maximum split layer determiner 2620 will be described in detail later.
  • the maximum split layer encoder 2630 generates encoded maximum split layer data by encoding the maximum split layer value, and includes the encoded maximum split layer data in the bitstream.
  • the size of the macroblock can be obtained by using the maximum split layer value MaxLayer and the size of the minimum block.
  • the size of the minimum subblock can also be obtained by using the size of the macroblock and the maximum split layer.
  • the maximum block size is (Nx2 MaxLayer ) x (Nx2 MaxLayer ), and if it is a macroblock of NxN pixels, the minimum block size is (N / (2 MaxLayer )) x (N / ( 2 MaxLayer )).
  • FIG. 27 is an exemplary diagram illustrating a relationship between a split layer and a minimum subblock size according to another embodiment of the present invention.
  • the minimum usable subblock size is Becomes For example, if the partition layer value of the macroblock of 64x64 block size is 4, the minimum usable subblock size is 4x4.
  • the split layer value may be differently applied to M and N of the macroblock horizontally and vertically, that is, MxN block size macroblocks.
  • the maximum split layer determiner 2620 may determine the minimum subblock size by determining the maximum split layer value for the macroblock. To this end, the maximum split layer determiner 2620 may calculate a coding cost for the candidate split layer value and determine the maximum split layer value using the coding cost for the candidate split layer value.
  • MxM where M is an integer greater than or equal to 16
  • FIG. 28 is a flowchart for explaining an example of a method of determining a maximum partition layer value according to another embodiment of the present invention.
  • the maximum split layer determiner 2620 sets the initial value of the candidate x of the maximum split layer value to log 2 (M / 16) (S2810), and the minimum subblock size (M) when the candidate of the maximum split layer value is x / 2 x ) ⁇ (M / 2 x ) to determine the type of division of the macroblock, and accordingly calculate the coding cost (hereinafter referred to as 'xcost') when encoding one frame (arbitrary frame) of the image.
  • the partition type of the macroblock is determined using the minimum subblock size (M / 2 x + 1 ) ⁇ (M / 2 x + 1 ) when the candidate of the maximum partition layer value is x + 1.
  • the encoding cost (hereinafter, referred to as 'x + 1cost') when encoding the above-described arbitrary frame is calculated (S2830), and xcost and x + 1cost are compared to determine whether xcost is less than x + 1cost. (S2840).
  • the minimum subblock size determiner 2620 determines x as the maximum partition layer value when xcost is less than x + 1cost as a result of the determination in step S2840 (S2850). In addition, when the maximum split layer determiner 2620 determines that xcost is greater than or equal to x + 1cost as a result of the determination in step S2840, it is determined whether x + 1 is log 2 (M / 4) (S2860) and x + 1. If this is not log 2 (M / 4), set x to x + 1 (S2870) and proceed to step S2820. If x + 1 is log 2 (M / 4), x + 1 is determined as the maximum partition layer value. (S2880).
  • 29 is a flowchart for explaining another example of a method of determining a maximum split layer value according to another embodiment of the present invention.
  • the maximum split layer determiner 2620 sets the initial value of the candidate x of the maximum split layer value to log 2 (M / 4) (S2910), and the minimum subblock size (M) when the candidate of the maximum split layer value is x / 2 x ) ⁇ (M / 2 x ) to determine the type of division of the macroblock, and accordingly calculate the coding cost (hereinafter referred to as 'xcost') when encoding one frame (arbitrary frame) of the image.
  • the division type of the macroblock is determined by using the minimum subblock size (M / 2 x-1 ) ⁇ (M / 2 x-1 ) when the candidate of the maximum partition layer value is x-1.
  • the encoding cost (hereinafter referred to as 'x-1cost') when the above-described arbitrary frame is encoded is calculated (S2930), and xcost and x-1cost are compared to determine whether xcost is less than x-1cost. (S2940).
  • the maximum split layer determiner 2620 sets x to x-1 if xcost is greater than or equal to x-1cost (S2950) and proceeds to step S2920 when xcost is less than x-1cost. Determine x as the maximum partition layer value (S2960).
  • the maximum split layer determiner 2620 may determine the maximum split layer value not only through the above-described method through FIGS. 28 and 29 but also by other methods. That is, as another example of determining the maximum split layer value, the maximum split layer determiner 2620 calculates a coding cost for each of the candidates of the maximum split layer value available for the macroblock, and compares the calculated coding costs with each other. The candidate of the maximum partition layer value having the minimum encoding cost may be determined as the maximum partition layer value.
  • the segmentation layers usable in the macroblock are determined, and there may be layers that are not used among the segmentation layers available. In this case, it may not be necessary to encode split type indication information on layers that are not used.
  • the bitstream may include information on the partition layers selected to be used among the available partition layers determined by the maximum partition layer value, and whether or not each layer is available or not. It is also possible to encode the partition information of the current block using only the selected partition layers when transmitted in the stream. As the method for encoding the partition information of the block, the aforementioned various partition information encoding methods may be used.
  • a macroblock may be divided into subblocks of size 64x64, 64x32, 32x64, and 32x32, which belong to layer 0, and subblocks of size 32x32, 32x16, 16x32, and 16x16, which belong to layer 1.
  • the subblocks belonging to the layer 2 and the layer 3 may not be divided into subblocks of sizes 16x8, 8x16, 8x8, 8x4, 4x8, and 4x4. That is, each 16x16 block cannot be divided into smaller subblocks.
  • the image decoding apparatus extracts and restores the maximum segmentation layer value from the bitstream, sets all upper layers of the maximum segmentation layer to be usable layer, and sets lower layers of the segmented layer up to the unusable layer.
  • the divided information is decoded using the set information.
  • subblocks belonging to a specific layer are not used, for example, when a 64x64 macroblock is divided into four 32x32 subblocks and each 32x32 subblock is divided into subblocks having a size of 16x16 or less. It can be seen that the subblocks of the subblocks belonging to the layer 1 are not used, and the layer 1 may be selected as an unusable layer.
  • the image decoding apparatus extracts and restores availability information of each layer from the bitstream, and decodes the fragmentation information using the availability information of each of the reconstructed layers.
  • the maximum partition layer value may be encoded into a bitstream, and the partition information may be encoded using only the available partition layers determined by the maximum partition layer value.
  • each of the available divided layers determined by the maximum divided layer value may be included in the bitstream and encoded, and the split information may be encoded using only the available divided layers.
  • the maximum split layer value and / or availability flag information of each split layer may be included in a sequence header, a header of each picture, or a slice header and may be encoded.
  • the method of encoding the maximum split layer value may be encoded into a binary bit string using lossless compression coding such as binary arithmetic coding or Huffman coding.
  • lossless compression coding such as binary arithmetic coding or Huffman coding.
  • various binary coding methods such as unary code, truncated unary code, and exponential golem code may be used.
  • a method of encoding information indicating availability of each layer is performed by using a method such as binary arithmetic coding or Huffman coding, respectively, for each layer. Can be encoded.
  • the index of the table combining the use of each layer may be encoded.
  • the index of the table is encoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. Can be encoded.
  • the layer flag for the used layer to 1, the layer flag for the unused layer to 0, and generate an integer value that causes the least significant bit (LSB) to indicate whether the highest layer is used.
  • the generated integer value is then encoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • FIG. 30 is an exemplary diagram for describing a process of encoding split information of a current block using only selected split layers according to another embodiment of the present invention.
  • FIG. 30 illustrates a maximum split layer value and data indicating whether each layer is available among various methods of encoding a maximum split layer and / or availability of each layer and encoding split information using the information.
  • the macroblock is a subblock type belonging to the layer 1 It can be divided into 64x64, 64x32, 32x64, 32x32, and when divided into 32x32, each 32x32 block can be divided into 8x8, 8x4, 4x8, and 4x4 belonging to Layer 3. That is, when the 32x32 block is partition type indication information 3 according to FIG. 10, the 32x32 block is divided into 16 8x8 blocks.
  • the maximum division layer value 4 is encoded using the aforementioned method of encoding the maximum division layer value, and then the layer flag for the unused layer is set to 1, the layer flag for the unused layer is set to 0, and each layer is encoded. Encodes a 1-bit flag indicating whether the can be used. In the example of FIG. 30, the usable layer flag is encoded by '1001' in the order of the upper layer to the lower layer.
  • the partition information of the macroblock is encoded using the aforementioned various partition information encoding methods.
  • the partition type indication information which is the first method of the partition information encoding methods, is encoded using the subblock types according to FIG. 10. The method using a method is shown.
  • the method of allocating the layer number to the divided subblocks depends on whether each layer is available. If layer K + 1 is available, layer number K + 1 is assigned to the subblock. If layer K + 1 is not available, layer number K is assigned to the layer number of the subblock.
  • a 32x32 sized subblock may be determined as a subblock type included in layer 0 or a subblock type belonging to layer 1.
  • FIG. 1 when layer 1 is an available layer, the 32x32 subblock allocates layer number 1, and when layer 1 is not available, allocates layer number 0.
  • partition type indication information 3 is encoded, and partition type indication information of four 32x32 subblocks is encoded.
  • the partition type indication information 0 is encoded, and the partition type indication information of the second 32x32 block (L0-P1) is encoded.
  • the second 32x32 block (L0-P0) is divided into 16 8x8 subblocks (L2-P0 to L2-P15), so that the division type indication information 3 is encoded.
  • the 8x8 subblock may be an 8x8 block belonging to layer 2 or a subblock belonging to layer 3, but layer 2 is assigned because layer 2 is not available.
  • the partition type indication information 3 is encoded and all the partition type indication information of the 16 8x8 subblocks in L0-P2 are all encoded. Encoding is performed, and the partition type indication information 0 of the fourth 32x32 block (L0-P2) is encoded.
  • the image encoding apparatus 2600 may encode the partition information of the corresponding macroblock by encoding the partition type indication information on the layer flag and the partition number for each layer.
  • 31 is a flowchart for explaining an image encoding method according to another embodiment of the present invention.
  • the image encoding apparatus 2600 determines a maximum segmentation layer value and / or availability of each segmentation layer, and encodes the largest segmentation layer and / or each encoded by encoding. Generate availability data of the divided layers (S3110), and predictively encode the current block using the minimum subblock size determined according to the maximum divided layer value and the subblocks determined according to the availability of each layer (S3120). In operation S3130, a bitstream including an encoded maximum partition layer and / or availability data of each layer and encoded image data is generated. The bitstream generated as described above is transmitted to and decoded by the image decoding apparatus.
  • the image encoding apparatus 2600 may determine the maximum partition layer value by using an encoding cost for the candidate of the maximum partition layer value. Also, the image encoding apparatus 2600 may determine the maximum split layer value while increasing the candidate value of the maximum split layer value or decreasing the candidate value of the maximum split layer value. Also, the image encoding apparatus 2600 may compare the encoding costs of the candidates of the maximum split layer value with each other and determine the candidate of the maximum split layer value having the minimum coding cost as the maximum split layer value.
  • 32 is a block diagram schematically illustrating an image decoding apparatus according to another embodiment of the present invention.
  • the image decoding apparatus 3200 may include a maximum split layer decoder 3210 and an image decoder 3220.
  • the maximum split layer decoder 3210 restores the maximum split layer value by decoding the coded maximum split layer data extracted from the bitstream.
  • the image decoder 2420 may be configured identically or similarly to the image decoding apparatus according to the embodiment of the present invention described above with reference to FIG. 7. However, the image decoder 3220 according to another embodiment of the present invention may determine the minimum subblock size according to the maximum partition layer value reconstructed by the maximum partition layer decoder 3210 from the encoded image data extracted from the bitstream. Predictive decoding to recover the current block.
  • the image decoding apparatus extracts a maximum splitting layer representing the total number of layers and / or data indicating availability of the respective layers at a position agreed with the image encoding apparatus among a sequence header of the bitstream, a header of each picture, or a slice header.
  • the partition information of each block is decoded using the aforementioned various partition information decoding methods.
  • the method of decoding the information of the maximum segmentation layer and / or available layers first, the availability of each layer and the use of each layer using the maximum segmentation layer value extracted, decoded and decoded from the bitstream.
  • the types of usable subblocks and the size of the minimum subblock are extracted according to the availability. For example, if the size of the macroblock is 64x64 and the value of the maximum split layer extracted and restored from the bitstream is 3, set layer 0, layer 1, and layer 2 as available layers and layer 3 as unusable layers. Set to.
  • the macroblock includes subblocks of size 64x64, 64x32, 32x64, and 32x32, which belong to layer 0, and subblocks of size 32x32, 32x16, 16x32, and 16x16, which belong to layer 1, and layer 2.
  • Subblocks of size 16x16, 16x8, 8x16, and 8x8 may be divided into subblock types. However, the subblocks belonging to layer 3 may not be divided into subblocks of 8x4, 4x8, and 4x4 sizes. That is, each 8x8 block cannot be divided into smaller subblocks. In this case, the size of the minimum usable subblock is determined to be 8x8.
  • the maximum partition layer data after extracting and decoding the maximum partition layer data from the bitstream, data indicating whether or not each layer is available for the number of layers determined by the restored maximum partition layer value is extracted and decoded from the bitstream.
  • the type of available subblocks and the size of the minimum subblock are extracted according to the reconstructed maximum partition layer value and availability of each layer.
  • the macroblock when the size of the macroblock is 64x64 and the value of the maximum partition layer extracted and reconstructed from the bitstream is 3, data indicating whether the three blocks can be used is extracted from the bitstream and decoded. If the reconstructed layer is available for layer 0 and layer 2, and layer 1 is not available, the macroblock is 64x64, 64x32, 32x64, and 32x32 sized subblocks belonging to layer 0. And may be divided into subblocks of size 16x16, 16x8, 8x16, and 8x8, which are subblock types belonging to the second layer. However, the subblocks belonging to layer 1 and layer 3 may not be divided into subblocks of size 32x16, 16x32, 8x4, 4x8, and 4x4.
  • the image decoding apparatus may determine the maximum partition layer value by using the size of the macroblock and the minimum subblock size promised by the image encoding apparatus, and use each layer as many as the number of layers determined by the maximum partition layer value.
  • the types of usable subblocks may be determined according to the availability of respective layers extracted and decoded from the bitstream and decoded. For example, if the size of the macroblock promised with the picture encoding apparatus is 32x32 and the minimum subblock size is 8x8, it can be seen that the maximum partition layer is 2, so that data indicating whether the two layers can be used is obtained from the bitstream.
  • the macroblock may have only 16x16, 16x8, 8x16, and 8x8 block types, which are subblock types belonging to layer 1. Therefore, when decoding the partition information of the macroblock, the macroblock is divided into four 16x16 subblocks, and only the 16x16 partition information is extracted and decoded from the bitstream.
  • the method of decoding the maximum split layer value may be decoded using a method promised with the image encoding apparatus among methods such as binary arithmetic coding or Huffman coding.
  • the decoding may be performed using a method such as Unary Code, Trunked Unary Code, and Exponential Golem Code.
  • the method of decoding the information indicating the availability of each layer is a method promised with the image encoding apparatus among binary arithmetic coding or Huffman coding, etc. Can be decoded using.
  • the index of the table combining the use of each layer can be decoded using a method such as Unary Code, Trunked Unary Code, and Exp-Golomb Code.
  • the use of each layer may be extracted using a table promised with the image encoding apparatus.
  • decoding the integer value using a method such as Unary Code, Truncated Unary Code, and Exponential Golem Code, etc. It can also be represented by a binary bit having the number of bits and decoded.
  • the data encoded by the segmentation information in the image encoding apparatus is the maximum segmentation information 4, and the layer flag '1001' segmentation type indication information indicating whether each layer is used ⁇ 3, 0, 3 , 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 2, 0, 0, 0, 0, 0, 0 , 0, 0, 0, 0, 0, 0, 0, 0 ⁇ .
  • the image decoding apparatus reconstructs the maximum partition layer value 4 by extracting and decoding the maximum partition layer data from the bitstream from the bitstream. Since the maximum partition layer is 4, a layer flag indicating whether or not it is available for four layers is restored. One bit is extracted from the bitstream and decoded to restore Layer_Flag of layer 0. After restoring a flag indicating whether the layer 0 is available, the layer_flags of the layer 1, layer 2, and layer 3 are extracted and decoded from the bitstream in the same manner.
  • the layer flag of the restored layer 0 is 1, the layer flag of layer 1 is 0, the layer flag of layer 2 is 0, and the layer flag of layer 3 is 1, so layer 0 and layer 3 are available layers, layer 1 and layer 2 is set to an unusable layer and is used to decode the segmentation information of the macroblock.
  • the macroblock is divided into four 32x32 subblocks, and the partition type indication information of each 32x32 subblock is extracted and decoded from the bitstream.
  • the method of allocating the layer number to the divided subblocks depends on whether each layer is available. If layer K + 1 is available, layer number K + 1 is assigned to the subblock. If layer K + 1 is not available, layer number K is assigned to the layer number of the subblock.
  • the 32x32 subblock divided from the macroblock may belong to layer 0 and also belong to layer 1, but the layer number of the 32x32 subblock becomes 0 since layer 1 is not usable.
  • the partition type indication information reconstructed is 0, the subblock type of the first 32x32 subblock L0-P0 in the macroblock is 32x32. Since the partition type indication information of the first 32x32 subblock is not 3, the partition type indication information of the second 32x32 subblock L0-P1 in the macroblock is decoded.
  • the L0-P1 block is divided into 16 8x8 subblocks (L3-P0 to L3-P15), and the 8x8 subblock is smaller. Since it can be divided into subblocks, the partition type indication information of each 8x8 subblock is extracted and decoded from the bitstream.
  • the L0-P2 block is divided into 16 8x8 subblocks (L3-P0 to L3-P15), and the 8x8 subblock is further divided. Since it can be divided into small subblocks, the partition type indication information of each 8x8 subblock is extracted and decoded from the bitstream.
  • the partition type indication information reconstructed is 0, the subblock type of L0-P3 is 32x32, and the partition type decoding process is completed since the partition type of all subblocks in the macroblock is determined.
  • FIG. 33 is a flowchart illustrating a video decoding method according to another embodiment of the present invention.
  • the image decoding apparatus 3200 decodes the encoded maximum partition layer data extracted from the bitstream to restore the maximum partition layer value (S3310), and then extracts the bitstream from the bitstream.
  • the current block is reconstructed by predictively decoding the extracted encoded image data by using the minimum subblock size according to the maximum partition layer value to be restored (S3320).
  • the minimum subblock size may be set using the maximum partition layer value. Therefore, since it is not necessary to encode the partition information for the unused layer, the compression efficiency can be improved by encoding the partition information of the macroblock with a small number of bits.
  • the apparatus for encoding an image determines a usable partition layer of the current block, selects a partition layer that minimizes the encoding cost of the current block among the available partition layers, and selects only the selected partition layer. Predictive encoding of the current block is used to generate coded image data. Coded partition layer data generated by encoding information about the selected partition layer and split information obtained by partitioning the current block using the selected partition layer are encoded. A bitstream including the encoded partition information data and the encoded image data may be generated. Here, one or more split layers may be selected to minimize the encoding cost of the current block.
  • the apparatus for encoding an image determines at least one partition layer that is available for the current block and selects one or more partition layers that minimize the encoding cost of the current block among the available partition layers, and uses only one or more selected partition layers.
  • Coded image data may be generated by dividing the current block and predictively encoding the current block.
  • the image encoding apparatus may increase the compression efficiency by encoding the fragment information of the macroblock with a smaller number of bits.
  • the image decoding apparatus decodes the encoded partition layer data and the encoded partition information data extracted from the bitstream, restores the information on the partition layer and the partition information, and extracts from the bitstream.
  • the current block may be reconstructed by predictively decoding the encoded image data by using the information on the divided layer and the divided information on which the encoded image data is to be reconstructed.
  • the macroblock has an arbitrary size promised between the image encoding apparatus and the image decoding apparatus.
  • various embodiments of a method of dividing a macroblock, encoding and decoding partition information have been described.
  • encoding in large block units is generally efficient, but encoding in the largest block size does not always improve the encoding efficiency according to the characteristics of the image.
  • macroblocks of large size such as 128x128, but when complex images are encoded for macroblocks of 128x128 size, most macroblocks are divided into smaller subblocks.
  • most subblocks may be predicted or transformed into blocks having a size of 16 ⁇ 16 or less.
  • split information indicating that each macroblock is divided into subblocks of 16x16 or less must be encoded, it is efficient to select and encode a macroblock of 16x16.
  • the maximum size of a block that can be used for prediction or transformation is determined, the image is encoded in units of blocks of the selected size, and the decoding is performed. In this case, the image is reconstructed by decoding to the maximum block size identified by the information included in the bitstream.
  • the following description does not describe setting the size of the largest block that can be used for prediction (for example, macroblock) and the maximum size of the block that can be used for transformation, but does not include the maximum for prediction. It is also applicable to set the size of the block and the size of the maximum block for conversion, respectively.
  • each information may be encoded in a sequence header, a picture header, a slice header, or a macroblock header.
  • the macroblock may be divided into subblocks according to the method of dividing the macroblock according to the above-described embodiment of the present invention. Prediction or transformation may be performed in units of subblocks.
  • the image encoding apparatus according to the embodiment of the present invention may encode information indicating the size of the macroblock and / or split information about the division of the macroblock and transmit the encoded information to the image decoding apparatus according to the embodiment of the present invention.
  • An image decoding apparatus decodes information indicating a size of a macroblock and / or segmentation information of a macroblock to obtain information on a size of a macroblock to be decoded and / or information on subblocks of the macroblock. Can be.
  • the split information may be variously implemented.
  • the partition information of the macroblock according to an embodiment of the present invention signals whether the macroblock is divided into subblocks and / or which subblocks are divided into subblocks according to an embodiment of the present invention. .
  • FIG. 35 is a block diagram schematically illustrating an image encoding apparatus 3500 according to another exemplary embodiment.
  • the image encoding apparatus may include a candidate macroblock size configuration unit (3510), a video encoder (3520), and a macroblock size determiner. It can be configured to include (Macroblock Size Determiner, 3530).
  • the candidate macroblock size setter 3510 sets a candidate of a macroblock size that can be used by the image encoding apparatus 3500 according to another embodiment of the present invention.
  • the candidate of the macroblock size may be a predetermined candidate group (eg, 64x64 size, 32x32 size, 16x16 size) input by a user or other device, or may be determined according to the characteristics of the image.
  • the candidate of the macroblock size is determined according to the characteristics of the image, for example, when the resolution of the image is 4K x 2K image and the aspect ratio is 16: 9, the candidate of the macroblock size is 128x128 size, 128x64 It can be size, 64x128 size, 64x64 size, 64x32 size, 32x64 size, 32x32 size, 32x16 size, 16x32 size, 16x16 size.
  • the image encoder 3520 may be implemented as an image encoding apparatus according to an embodiment of the present invention described above with reference to FIG. 6, 8, or 26. That is, the image encoder 3520 encodes an image for each candidate of the macroblock size set by the candidate macroblock size setter 3510, and generates image data for each macroblock size. In this case, each macroblock is internally divided into subblocks, which are smaller blocks, where a minimum subblock size determined as a subblock may be a block of 4 ⁇ 4 pixel units to perform intra encoding or inter encoding.
  • the partition information indicating the size and shape of the subblocks in the macroblock may be included in the bitstream using the partition information encoding method according to the embodiments described above.
  • the 16x16 size and the 32x32 size are encoded as the size of the macroblock, and when the encoding cost is larger when the 32x32 sized macroblock is used, the size of the macroblock is 16x16. Can be determined. If the encoding cost is smaller when a 32x32 macroblock is used, the size of the macroblock is determined in comparison with the cost when the 64x64 macroblock is encoded in the same manner.
  • the 16x16 size, the 32x16 size, the 16x32 size, and the 32x32 size are encoded using the macroblock size, and the size of the macroblock having the most encoding efficiency is selected and the selected macroblock is selected.
  • a pixel block obtained by doubling the width, length, width, and length of each is encoded as a macroblock. If the encoding efficiency does not improve when the size of the macroblock is increased, the encoding is stopped and the size of the macroblock is determined.
  • the macroblock size determiner 3530 calculates an encoding cost (that is, an encoding cost of image data for each macroblock size) when the image encoder 3520 encodes an image for each macroblock size, and compares the encoding cost for each macroblock size with each other. In comparison, the optimum macroblock size among the candidates of the macroblock size is determined.
  • the optimal macroblock size may be the macroblock size at which the encoding cost when encoding with the corresponding macroblock size among the candidates of each macroblock size is the minimum, but may be variously determined using the encoding cost when using the encoding cost. have.
  • the macroblock size determiner 3530 determines the macroblock size
  • the macroblock size determiner 3530 when the macroblock size determiner 3530 determines the macroblock size, the macroblock size determiner 3530 generates image data encoded with the macroblock size into a bitstream.
  • the information about the determined macroblock size may be encoded and included in the bitstream. have.
  • the information about the macroblock size may be included only once in the bitstream of the entire picture, but may be included in the bitstream for each picture of the entire picture.
  • the macroblock size which is a unit of encoding / decoding may be selected differently for each picture, slice, or macroblock layer.
  • the size of the macroblock can be calculated using the size of the minimum subblock and the maximum splitting layer (MaxLayer), so that the size of the macroblock can be encoded by the size value of the determined macroblock,
  • the maximum split layer may be encoded.
  • maximum layer information is encoded together and transmitted to the image decoding apparatus.
  • the method of encoding the maximum split layer information may be encoded into a binary bit string using lossless compression coding such as binary arithmetic coding or Huffman coding.
  • lossless compression coding such as binary arithmetic coding or Huffman coding.
  • various binary coding methods such as unary code, truncated unary code, and exponential golem code may be used.
  • a flag (Set_MBsize_flag) about whether to send information on the size of the macroblock may be included in the sequence header or the header or slice header of each picture. Depending on the value of the flag, the macroblock size may or may not be transmitted. When not transmitting, a macroblock of a predetermined size, for example, a 16x16 block, is used as a macroblock.
  • the size of the macroblock is specified, information on the size of the macroblock is transmitted.
  • the macroblock of any size may be used by separately setting the horizontal size and the vertical size of the macroblock.
  • only information indicating the length of one side may be encoded and then transmitted to the decoding apparatus.
  • the macroblock size value to be encoded may specify the size of the actual macroblock or send a value of how many times to increase or decrease the size from a predetermined size.
  • the macroblock size value may be represented using fewer bits by applying a log function to the macroblock size value. For example, encode a value of log 2 (selected MBsize / X), where X is any positive integer that is a multiple of two.
  • the size of the minimum available macroblock can be selected as the value of X. For example, if the minimum available macroblock size is 8x8, it is preferable to select X as 8.
  • 0 is encoded when the current macroblock is an 8x8 block, and 1 is encoded when the 16x16 block is used. If the minimum available macroblock size is 16x16, it is preferable to select X as 16 instead of 8. In this case, 0 is encoded when the current macroblock is a 16x16 block, and 1 when the 32x32 block is encoded. Therefore, the size of the current macroblock may be represented by using fewer bits than when encoding a large number of 8, 16, or 32.
  • the ratio between the width and the height may be separately encoded.
  • it may be an index value of a table promised by the image encoding apparatus and the image decoding apparatus.
  • the size of the macroblock to be transmitted is encoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • the contents of setting the sizes of the horizontal and the vertical are not described, but setting the sizes of the horizontal and the vertical may be applicable.
  • data is encoded on the sequence header and the picture header, the encoding may be performed on the slice header or the macroblock header.
  • the following shows an example of syntax according to the first method for size coding of a macroblock described above.
  • block size information such as MB_size indicating the size of a macroblock may be encoded through a minimum subblock size and a maximum partition layer.
  • the minimum subblock size value to be encoded may specify the size of the actual minimum subblock, and may send a value for increasing or decreasing the number of times from the predetermined size.
  • the macroblock size value may be represented using fewer bits by applying a log function to the minimum subblock size value. For example, the value of log 2 (minBlockSize / X) (X is any positive integer that is a multiple of 2) is encoded.
  • the size of the minimum usable subblock may be selected as the value of X. For example, if the size of the minimum usable subblock is 4x4, it is preferable to select the value of X as 4.
  • 0 is encoded when the minimum subblock to be encoded according to the size of the current macroblock is a 4x4 block, and 1 when an 8x8 block is encoded. If the size of the minimum available macroblock is 8x8, it is preferable to select the value of X as 8 instead of 4. In this case, 0 is encoded when the size of the minimum subblock according to the size of the current macroblock is an 8x8 block, and 1 when the 16x16 block is encoded.
  • the ratio between the width and the height may be separately encoded.
  • it may be an index value of a table that defines the size of a block promised by the image encoding apparatus and the image decoding apparatus.
  • the encoding may be performed using various binary coding methods such as unary code, truncated unary code, and exponential golem code.
  • the method of encoding the maximum split layer information may be encoded into a binary bit string using lossless compression coding such as binary arithmetic coding or Huffman coding.
  • lossless compression coding such as binary arithmetic coding or Huffman coding.
  • various binary coding methods such as unary code, truncated unary code, and exponential golem code may be used.
  • the size of the macroblock may be transmitted to the image decoding apparatus for each sequence, picture, slice, or macroblock header without encoding a flag (Set_MBsize_flag) on whether to send information on the size of the macroblock.
  • the MxN size when the MxN size is set to the size of the reference macroblock, a flag indicating whether to use the size of the reference macroblock for each picture, slice, or macroblock header is encoded, and if the reference macroblock size is not used, the selected macro is selected. Encode the size of the block.
  • a predetermined size for example, 16x16 size is used as the size of the reference macroblock and the size of the reference macroblock is set. In this case, the size of the reference macroblock may be encoded and included in a sequence header.
  • the method of encoding defalt_MBsize which is information indicating the size of the reference macroblock, or MB_size, which is information indicating the size of the current macroblock, may specify the size of the actual macroblock and increase or decrease the number of times from the predetermined size. You can also send a value for.
  • the macroblock size value instead of encoding the macroblock size value as it is, the macroblock size value may be represented using fewer bits by applying a log function to the macroblock size value.
  • the ratio between the width and the height may be separately encoded.
  • it may be an index value of a table that defines the size of a block promised by the image encoding apparatus and the image decoding apparatus.
  • the size of the macroblock to be transmitted is encoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • the following shows an example of syntax according to the second method for size coding of a macroblock described above.
  • block size information such as default_MBsize indicating a size of a reference macroblock and MB_size indicating a size of a macroblock may be encoded through a minimum subblock size and a maximum partition layer.
  • the size information of the reference minimum subblock to indicate the size of the reference macroblock the default_minBlockSize or the size of the minimum subblock to indicate the information indicating the size of the current macroblock. You can specify the size or send a value to increase or decrease the number of times from the size.
  • the minimum subblock size value instead of encoding the minimum subblock size value as it is, the minimum subblock size value may be represented using fewer bits by applying a log function to the minimum subblock size value.
  • the ratio between the width and the height may be separately encoded.
  • it may be an index value of a table that defines the size of a block promised by the image encoding apparatus and the image decoding apparatus.
  • the minimum subblock size to be transmitted may be determined using various binary coding methods such as unary code, truncated unary code, and exponential golem code. Can be encoded.
  • the method of encoding the maximum split layer information may be encoded into a binary bit string using lossless compression coding such as binary arithmetic coding or Huffman coding.
  • lossless compression coding such as binary arithmetic coding or Huffman coding.
  • various binary coding methods such as unary code, truncated unary code, and exponential golem code may be used.
  • the MxN size is set to the size of the reference macroblock, and a flag indicating whether to use the size of the reference macroblock for each picture, slice, or macroblock header is encoded and transmitted to the image decoding apparatus. If the flag indicates to use the reference macroblock size, a block of the same size as the size of the reference macroblock is selected as the current macroblock. However, when the flag indicates that the reference macroblock size is not used, a block expanded or reduced by a predetermined ratio from the size of the reference macroblock is selected as the current macroblock in the encoding or decoding process. For example, a block having a horizontal and vertical length of which the horizontal and vertical lengths of the reference macroblock is doubled or reduced to 1/2 may be selected as the current macroblock.
  • the length of the flag may be 2 bits or more to indicate various ratios.
  • information indicating an expansion ratio or a reduction ratio may be encoded.
  • the size of the reference macroblock is available when encoding or decoding the current bitstream. Corresponds to the size of the minimum macroblock.
  • the size of the reference macroblock is determined when encoding or decoding the current bitstream. It corresponds to the size of the largest macroblock available.
  • the image decoding apparatus may select the size of the current macroblock using the flag indicating whether to use the size of the reference macroblock and / or additional information indicating to expand or reduce by a predetermined ratio from the size of the reference macroblock. .
  • a flag indicating whether to set the size of the reference macroblock may be included in the sequence header of the bitstream. If the size of the reference macroblock is not set, it may be promised in advance to use a predetermined size, for example, 16x16 size, as the size of the reference macroblock.
  • the image encoding apparatus may signal information indicating the size of the maximum macroblock available at the time of encoding or decoding the current bitstream to the image decoding apparatus as the information indicating the size of the reference macroblock.
  • the image encoding apparatus may signal information indicating the size of the minimum macroblock available at the time of encoding or decoding the current bitstream to the image decoding apparatus as the information indicating the size of the reference macroblock. .
  • an image encoding apparatus is an information indicating a size of a reference macroblock, and the image decoding apparatus determines both the maximum macroblock size and the minimum macroblock size available for encoding or decoding a current bitstream. Can be signaled as:
  • the method of encoding defalt_MBsize which is information indicating the size of the reference macroblock, may specify the size of the actual macroblock and may send a value for increasing or decreasing the number of times from the predetermined size.
  • the macroblock size value instead of encoding the macroblock size value as it is, the macroblock size value may be represented using fewer bits by applying a log function to the macroblock size value.
  • defalt_MBsize indicates the size of the largest macroblock available when encoding or decoding the current bitstream
  • log 2 (X / defalt_MBsize) (X is any positive integer that is a multiple of 2). Encode the value of.
  • the maximum possible macroblock size can be selected as the value of X.
  • the value of log 2 (defalt_MBsize / X) (X is any positive integer that is a multiple of 2) is encoded.
  • the size of the smallest possible macroblock may be selected as the value of X.
  • the ratio between the width and the height may be separately encoded.
  • it may be an index value of a table promised by the image encoding apparatus and the image decoding apparatus.
  • the size of the macroblock to be transmitted is encoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • block size information such as default_MBsize indicating a size of a reference macroblock and MB_size indicating a size of a macroblock may be encoded through a minimum subblock size and a maximum partition layer.
  • the method of encoding default_minBlockSize which is information indicating the size of the reference minimum subblock according to the size of the reference macroblock, may specify the size of the actual minimum subblock to be encoded and a value for increasing or reducing the number of times from the predetermined size. You can also send Alternatively, as described in the first method described above, instead of encoding the minimum subblock size value as it is, it may be represented using fewer bits by applying a log function to the minimum subblock size value.
  • defalt_minBlockSize indicates the size of the maximum subblock according to the size of the largest macroblock available at the time of encoding or decoding the current bitstream
  • log 2 (X / defalt_MBsize) X is a multiple of 2. Any positive integer).
  • the maximum possible size of the subblock may be selected as the value of X.
  • log 2 (defalt_minBlockSize / X) (X is any positive integer that is a multiple of 2)
  • defalt_minBlockSize indicates the size of the minimum subblock according to the size of the minimum macroblock available at the time of encoding or decoding the current bitstream. Encode the value of.
  • the minimum possible size of the subblock may be selected as the value of X.
  • the ratio between the width and the height may be separately encoded.
  • it may be an index value of a table promised by the image encoding apparatus and the image decoding apparatus.
  • the encoding may be performed using various binary coding methods such as unary code, truncated unary code, and exponential golem code.
  • the method of encoding the maximum split layer information may be encoded into a binary bit string using lossless compression coding such as binary arithmetic coding or Huffman coding.
  • lossless compression coding such as binary arithmetic coding or Huffman coding.
  • various binary coding methods such as unary code, truncated unary code, and exponential golem code may be used.
  • the size of the macroblock of the previous picture is used after the second picture is encoded. If the size of the macroblock of the current picture is not used, the size of the macroblock of the current picture may be encoded.
  • the method of encoding defalt_MBsize, which indicates the size of the reference macroblock, or MB_size, which indicates the size of the current macroblock may specify the size of the actual macroblock, and a value for increasing or reducing the size of the predetermined macroblock from a predetermined size. You can also send Alternatively, as described in the first method described above, instead of encoding the macroblock size value as it is, the macroblock size value may be represented using fewer bits by applying a log function to the macroblock size value.
  • the ratio between the width and the height may be separately encoded.
  • it may be an index value of a table promised by the image encoding apparatus and the image decoding apparatus.
  • the size of the macroblock to be transmitted is encoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • the following shows an example of syntax according to the fourth method for size coding of the above-described macroblock.
  • block size information such as MBsize indicating the size of a macroblock may be encoded through a minimum subblock size and a maximum partition layer.
  • the log function instead of encoding the minimum subblock size value as it is, the log function may be applied to the minimum subblock size value.
  • the ratio between the width and the height may be separately encoded.
  • it may be an index value of a table promised by the image encoding apparatus and the image decoding apparatus.
  • the encoding may be performed using various binary coding methods such as unary code, truncated unary code, and exponential golem code.
  • the method of encoding the maximum split layer information may be encoded into a binary bit string using lossless compression coding such as binary arithmetic coding or Huffman coding.
  • lossless compression coding such as binary arithmetic coding or Huffman coding.
  • various binary coding methods such as unary code, truncated unary code, and exponential golem code may be used.
  • macroblock sizes of an intra picture and an inter picture are used differently. That is, the size of the macroblock for the intra picture and the size of the macroblock for the inter picture are encoded in the sequence header. Alternatively, the size of each macroblock according to the picture type may be encoded only in the headers of the first intra picture and the inter picture.
  • the method of encoding information about the size of the macroblock of the intra picture and the size of the macroblock of the inter picture may be used in combination with the above-described methods.
  • the size information of the intra macroblock or the size of the inter macroblock may be encoded through the size of the minimum subblock and the maximum partition layer.
  • an example of the fifth syntax described above may be represented as follows.
  • 36 is a flowchart illustrating an implementation example of an image encoding method according to another embodiment of the present invention.
  • the image encoding apparatus sets a macroblock size candidate (S3610), encodes an input image for each candidate of the macroblock size (S3620), and determines the macroblock size according to the encoding cost of the image data for each candidate of the macroblock size.
  • a bitstream including image data encoded with the determined macroblock size and information on the determined macroblock size is generated (S3640).
  • FIG. 35 illustrates that a video encoding apparatus sets a macroblock size candidate, encodes an image for each macroblock size candidate, and determines a macroblock size according to an encoding cost of image data encoded for each macroblock size candidate. As described above, detailed description thereof will be omitted.
  • FIG. 37 is a block diagram illustrating an implementation of an image decoding apparatus according to another embodiment of the present invention.
  • the image decoding apparatus 3700 may include a macroblock size setter 3710 and an image decoder 3720.
  • the macroblock size setter 3710 extracts information on the macroblock size from the bitstream before performing macroblock unit decoding and sets the macroblock size using the extracted information.
  • the image may be reconstructed by using the macroblock size extracted in decoding the entire image by decoding only once in the bitstream for the entire image.
  • the macroblock size may be extracted for each picture from the bitstream to reconstruct an image using a different macroblock size for each picture.
  • the macroblock size may be extracted for each picture, slice, or macroblock layer to reconstruct an image using the size of the selected macroblock.
  • the image decoder 3720 may be implemented as an image decoding apparatus according to an embodiment of the present invention described above with reference to FIGS. 7, 24, and 32 and the split information according to the size of the reconstructed macroblock is described above.
  • the encoded image data of each subblock is extracted from the bitstream and decoded to reconstruct each block.
  • a flag (Set_MBsize_flag) about whether to send the information about the size of the macroblock is included, a flag (Set_MBsize_flag) about whether to send the information about the size of the macroblock at a predetermined position such as a sequence header or a header or slice header of each picture. ) Is entropy decoded. If the decoded flag is a value indicating that the size of the macroblock has not been transmitted, a macroblock of a predetermined size, for example, a 16x16 block, promised with the image encoding apparatus, is used as the macroblock.
  • the size of the macroblock is entropy decoded and extracted by a method promised by the image encoding apparatus.
  • the horizontal size and the vertical size of the macroblock may be obtained by entropy decoding, or when the square macroblock is used, only information indicating the length of one side may be entropy decoded. .
  • the decoded value may be designated as the size of the actual macroblock, or the decoded value may be designated as the size of the macroblock by increasing or reducing the number of times from the predetermined size agreed with the image encoding apparatus.
  • the encoded value applied to the log function to a size value of the macroblock in the video encoder entropy decoding a value applied to an exponential function may be to set the size of the macro block, for example, log 2 (a video encoder in a video encoder When encoding y, the value of MBsize / X) (where X is any positive integer that is a multiple of 2), the video decoding apparatus entropy decodes the y value and multiplies the value of X by 2 y to select the macro selected by the video encoding apparatus.
  • the size of the block can be obtained.
  • the value of X may be a value promised by the image encoding apparatus and the image decoding apparatus or a value extracted before decoding the macroblock size from the bitstream. If the minimum available macroblock size is selected as X and the minimum available macroblock size is 8x8, if the value of decoded y is 0, set the size of the macroblock to 8x8 and If the value is 1, the macroblock size is set to 16x16. If the minimum usable macroblock size is 16x16, then use 16 instead of 8 and set the size of the macroblock to 16x16 if the value of decoded y is 0.
  • the size of the macroblock may be obtained by entropy decoding the ratio between the width and the height.
  • the size of the macroblock may be obtained using the decoded value as the index value of the table.
  • the size of the macroblock to be transmitted is decoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • the contents of decoding and extracting the horizontal and vertical sizes are not described, but the horizontal and vertical sizes may be extracted.
  • the size of the macroblock may be decoded in the slice header or the macroblock header when the image encoding apparatus encodes the size of the macroblock in the slice header or the macroblock header. .
  • the size of the macroblock after extracting and decoding the minimum subblock size and the maximum partition layer information from the bitstream You can also restore.
  • the decoded macroblock size designation flag (Set_MBsize_flag) indicates that the macroblock size is specified, Unary Code, Truncated Unary-Code, and Exponential Gollum Code (Exp-) Among the various entropy decoding methods such as Golomb Code), the size of the minimum subblock is entropy decoded and extracted by a method promised by the image encoding apparatus.
  • the horizontal size and the vertical size of the minimum subblock may be obtained by entropy decoding, or when the square macroblock is used, only information indicating the length of one side may be entropy decoded. have.
  • the decoded value may be designated as the size of the actual minimum subblock, or the value obtained by increasing or decreasing the decoded value several times from a predetermined size agreed with the image encoding apparatus may be designated as the size of the minimum subblock.
  • the encoded value applied to the log function to a size value of at least a sub-block in the image encoding apparatus may be applied to the entropy-decoded value exponential function to set the size of the smallest sub-block for example, log 2 (the image in the image encoding device When y is a value of minBlockSize / X) (X is an arbitrary positive integer that is a multiple of 2) according to the size of the selected macroblock in the encoding apparatus, the image decoding apparatus entropy decodes the y value and 2 y to the value of X.
  • the size of the minimum subblock according to the size of the macroblock selected by the image encoding apparatus may be obtained.
  • the value of X may be a value promised by the video encoding apparatus and the video decoding apparatus or may be a value extracted before decoding the minimum subblock size from the bitstream. If the size of the minimum usable subblock is selected and used as the value of X and the size of the minimum usable subblock is 4x4, if the value of the decoded y is 0, the size of the minimum subblock is set to 4x4 and the decoded y If the value of 1 is 1, the size of the minimum subblock is set to 8x8. If the size of the minimum usable subblock is 8x8, use 8 instead of 4 and set the size of the minimum subblock to 8x8 if the value of decoded y is 0.
  • the size of the minimum subblock may be obtained by entropy decoding the ratio of the width and the ratio of the height.
  • the size of the minimum subblock may be obtained using the decoded value as the index value of the table.
  • the minimum subblock size is decoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • the method of decoding the maximum partition layer information may use lossless compression coding such as Binary Arithmetic Coding or Huffman Coding, and may use Unary Code or Truncated Unary Code. And various methods such as an Exponential Golem Code.
  • the size of the macroblock is (Nx2 x ) x (Nx2 x ).
  • the NxN size promised by the image encoding apparatus is set as the reference macroblock size, and a flag indicating whether to use the reference macroblock size from each picture, slice, or macroblock header is entropy decoded.
  • the decoded flag value means that the reference macroblock size is not used
  • the macroblock size information is entropy decoded to extract related information of the macroblock and to set the size of the macroblock.
  • the decoded flag value means that the reference macroblock size is used, since the macroblock size information is not included in the bitstream, a series of decoding processes are performed by setting the size of the preset reference macroblock to the size of the macroblock. Proceed.
  • the size of the reference macroblock When the size of the reference macroblock is included in the sequence header in the image encoding apparatus and transmitted to the image decoding apparatus, the size of the reference macroblock may be extracted at a predetermined position such as a sequence header in the bitstream.
  • the size of the reference macroblock or the size of the current macroblock may be assigned an entropy decoded value, or the size of the macroblock may be obtained by scaling (reducing or enlarging) a predetermined size with the entropy decoded value.
  • the macroblock size value may be obtained using the exponential function.
  • the size of the macroblock may be obtained by entropy decoding the ratio between the width and the height.
  • the size of the macroblock may be obtained using the decoded value as the index value of the table.
  • the size of the macroblock to be transmitted is decoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • the size of the reference macroblock or the size information of the macroblock is the size of the minimum subblock and the maximum split layer information
  • the size of the reference minimum subblock according to the size of the reference macroblock or the size of the minimum subblock according to the size of the macroblock After entropy decoding the information and the maximum partition layer information for each, the size of the macroblock is decoded.
  • the size of the reference minimum subblock and the size of the minimum subblock may extract the size of the minimum subblock at a predetermined position such as a sequence header in the bitstream.
  • the size of the reference minimum subblock or the size of the current minimum subblock may be assigned an entropy decoded value or may be obtained by scaling (reducing or enlarging) a predetermined size with the entropy decoded value.
  • the size value of the minimum subblock may be obtained using an exponential function.
  • the size of the minimum subblock may be obtained by entropy decoding the ratio of the width and the ratio of the height.
  • the size of the minimum subblock may be obtained using the decoded value as the index value of the table.
  • the minimum subblock size is decoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • the method of decoding the maximum partition layer information may use lossless compression coding such as Binary Arithmetic Coding or Huffman Coding, and may use Unary Code or Truncated Unary Code. And various methods such as an Exponential Golem Code.
  • the size of the macroblock is (Nx2 x ) x (Nx2 x ).
  • the apparatus for decoding an image extracts a flag indicating whether to use the size of the reference macroblock and / or additional information indicating to expand or reduce by a predetermined ratio from the size of the reference macroblock from the bitstream.
  • the size of the current macroblock can be extracted using these methods.
  • the NxN size is set to the size of the reference macroblock, and a flag indicating whether to use the size of the reference macroblock for each picture, slice, or macroblock header is decoded.
  • the size of the current macroblock is set to the same value as the size of the reference macroblock and decoding is performed in units of macroblocks using the size of the set macroblock.
  • macroblock decoding is performed by setting a value obtained by expanding or contracting the reference macroblock by a predetermined ratio agreed with the image encoding apparatus to the size of the current macroblock. Proceed. For example, the size in which the horizontal and vertical lengths of the reference macroblock are doubled or reduced in half may be set as the size of the current macroblock.
  • the image decoding apparatus encodes the flag entropy from the bitstream by the number of bits promised by the image encoding apparatus. By decoding, various ratios can be obtained.
  • the flag indicating whether or not to use the reference macroblock is decoded and then expanded according to the flag value. You may or may not decipher the ratio or the reduction ratio.
  • the decoding process is performed by setting the size of the reference macroblock to the size of the current macroblock.
  • the decoded flag indicates that the reference macroblock size is different from the size of the current macroblock and the decoded ratio is the expansion ratio
  • the minimum macroblock available for encoding or decoding the current bitstream is used.
  • the size of the reference macroblock is expanded to the size of the current macroblock by the entropy decoded ratio.
  • the ratio of entropy decoding is a reduction ratio
  • the size of the reference macroblock is set to the size of the largest macroblock available at the time of encoding or decoding the current bitstream, and then the size of the reference macroblock is equal to the ratio of entropy decoding. Set the reduced size to the size of the current macroblock.
  • the image decoding apparatus when a flag indicating whether to set a size of a reference macroblock is included in a sequence header of a bitstream and transmitted, the image decoding apparatus entropy decodes the flag from a sequence header, and then the flag is a reference macro.
  • the size of the reference macroblock is set using information extracted by extracting the size information of the reference macroblock from the bitstream at a predetermined position such as a sequence header from the bitstream.
  • the predetermined size for example, 16 ⁇ 16, may be used as the size of the reference macroblock, which is previously promised by the image encoding apparatus and the image decoding apparatus.
  • the image decoding apparatus may extract information indicating the size of the maximum macroblock available at the time of encoding or decoding the current bitstream from the bitstream and use the same to set the size of the reference macroblock.
  • the image decoding apparatus may extract information indicating the size of the minimum macroblock available at the time of encoding or decoding the current bitstream from the bitstream and use the same to set the size of the reference macroblock.
  • the image decoding apparatus extracts information indicating the size of the maximum macroblock and the minimum macroblock available at the time of encoding or decoding the current bitstream from the bitstream to obtain the size of the reference macroblock. Can also be used to set
  • the method of decoding default_MBsize which is information indicating the size of a reference macroblock, may set the entropy decoded value itself as a reference macroblock size value, or enlarge or reduce it from a predetermined size by using the entropy decoded value as an enlargement ratio or a reduction ratio. It is also possible to obtain the size of the reference macroblock.
  • the macroblock size value may be obtained using the exponential function.
  • default_MBsize represents the size of the largest macroblock available at the time of encoding or decoding the current bitstream
  • log 2 (X / default_MBsize) (X is an arbitrary amount that is a multiple of 2 in the video encoding apparatus.
  • y which is a value of integer
  • the image decoding apparatus may entropy decode the y value and multiply the value of X by 2 y to obtain default_MBsize.
  • the value of X may be a value promised by the video encoding apparatus and the video decoding apparatus, such as the maximum macroblock size, or may be a value extracted before decoding the default_MBsize from the bitstream.
  • default_MBsize represents the size of the minimum macroblock available from the current bitstream
  • the y-coding value of log 2 (default_MBsize / X) (X is any positive integer that is a multiple of 2) is encoded by the video encoding apparatus.
  • the image decoding apparatus entropy decodes the y value, extracts it from the bitstream, and sets a value obtained by multiplying the value of X by 2 y to default_MBsize.
  • the value of X may be a value promised by the image encoding apparatus and the image decoding apparatus, such as the size of the minimum macroblock possible, or may be a value extracted before decoding the default_MBsize from the bitstream.
  • the reference macroblock size may be obtained by entropy decoding the ratio of the width and the height.
  • the size of the reference macroblock may be obtained using the decoded value as the index value of the table.
  • the reference macroblock size is decoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • the size of the reference macroblock or the size information of the macroblock is the size of the minimum subblock and the maximum split layer information
  • the size of the reference minimum subblock according to the size of the reference macroblock or the size of the minimum subblock according to the size of the macroblock After entropy decoding the information and the maximum partition layer information for each, the size of the macroblock is decoded.
  • the method of decoding defalt_minBlockSize which is information indicating the size of the reference minimum subblock, may set the entropy decoded value itself as the reference minimum subblock size value, or use the entropy decoded value as an enlargement ratio or a reduction ratio from a predetermined size.
  • the size of the reference minimum subblock may be obtained by expanding or contracting.
  • the size value of the minimum subblock may be obtained using an exponential function.
  • defalt_minBlockSize represents the size of the maximum minimum subblock available when encoding or decoding the current bitstream
  • log 2 (X / defalt_ minBlockSize) (X is a multiple of 2 in the video encoding apparatus).
  • the video decoding apparatus may entropy decode the y value and multiply the value of X by 2 y to obtain defalt_minBlockSize.
  • the value of X may be a value promised by the video encoding apparatus and the image decoding apparatus, such as the maximum possible minimum subblock size, or may be a value extracted before decoding defalt_minBlockSize from the bitstream.
  • defalt_minBlockSize indicates the size of the minimum minimum subblock available from the current bitstream, and encodes a y value that is the value of log 2 (defalt_ minBlockSize / X) (X is any positive integer that is a multiple of 2) in the video encoding apparatus.
  • the image decoding apparatus entropy decodes the y value, extracts it from the bitstream, and sets a value obtained by multiplying the value of X by 2 y to defalt_minBlockSize.
  • the value of X may be a value promised by the video encoding apparatus and the video decoding apparatus, such as the size of the minimum minimum subblock possible, or may be a value extracted before decoding defalt_minBlockSize from the bitstream.
  • the reference minimum subblock size may be obtained by entropy decoding the ratio of the width and the height.
  • the size of the reference minimum subblock may be obtained using the decoded value as the index value of the table.
  • the reference minimum subblock size may be determined using various binary coding methods such as unary code, truncated unary code, and exponential golem code. Can be decrypted
  • the method of decoding the maximum partition layer information may use lossless compression coding such as Binary Arithmetic Coding or Huffman Coding, and may use Unary Code or Truncated Unary Code. And various methods such as Exponential Golem Code.
  • the size of the macroblock is (Nx2 x ) x (Nx2 x ).
  • the fourth method entropy-decoding the size information of the macroblock after using the flag for the size of the reference macroblock and the reference macroblock size in the first picture, and then using the size information of the decoded macroblock The macroblock size required for the first picture decoding is obtained.
  • the size of the macroblock is set equal to the size of the reference macroblock, and then the first picture is decoded.
  • the size information of the macroblock for decoding the current picture is decoded. do.
  • the size of the macroblock of the previous picture is set to the same value as that of the macroblock of the previous picture to decode the second picture.
  • the method of decoding default_MBsize which is information indicating the size of a reference macroblock, or MB_size, which is information indicating the size of a macroblock of the current picture, may use an entropy decoded value as the size of the macroblock, and enlarge or reduce the entropy decoded value. It may be used as a ratio to enlarge or reduce from a predetermined size to obtain the size of the macroblock.
  • the macroblock size value may be obtained using the exponential function.
  • the reference macroblock size may be obtained by entropy decoding the ratio of the width and the height.
  • the size of the reference macroblock may be obtained using the decoded value as the index value of the table.
  • the reference macroblock size is decoded using various binary coding methods such as unary code, truncated unary code, and exponential golem code. can do.
  • the size information of the macroblock is the size of the minimum subblock and the maximum partition layer information
  • the size information of the minimum subblock and the maximum partition layer information for each are entropy decoded from the bitstream and then the size of the macroblock is decoded.
  • the method of decoding defalt_minBlockSize which is information indicating the size of the reference minimum subblock, or minBlockSize, which is information indicating the size of the minimum subblock of the current picture, may use an entropy decoded value as the minimum subblock size or may use an entropy decoded value.
  • the size of the minimum subblock may be obtained by using the enlargement ratio or the reduction ratio to enlarge or reduce from a predetermined size.
  • the size value of the minimum subblock may be obtained using an exponential function.
  • the reference minimum subblock size may be obtained by entropy decoding the ratio of the width and the height.
  • the size of the reference minimum subblock may be obtained using the decoded value as the index value of the table.
  • the reference minimum subblock size may be determined using various binary coding methods such as unary code, truncated unary code, and exponential golem code. Can be decrypted
  • the method of decoding the maximum partition layer information may use lossless compression coding such as Binary Arithmetic Coding or Huffman Coding, and may use Unary Code or Truncated Unary Code. And various methods such as an Exponential Golem Code.
  • the size of the macroblock is (Nx2 x ) x (Nx2 x ).
  • the size of the macroblocks of the intra picture and the inter picture is extracted at positions promised by the intra-bitstream video encoding device and the video decoding device, respectively, to set the size of the macroblock according to the picture type.
  • the size of the macroblock for the intra or inter picture is determined according to the flag value. Decode the bitstream or reconstruct the image using the size of the promised macroblock.
  • the method of decoding the information on the size of the macroblock of the intra picture and the size of the macroblock of the inter picture may be used in combination with the above-described decoding methods according to the encoding method described above.
  • the size of the intra macroblock or the size of the inter macroblock is the minimum subblock size and the maximum split layer information
  • the method of decoding the information on the size of the minimum subblock of the intra picture and the size of the minimum subblock of the inter picture may be used in combination with the above-described decoding methods according to the encoding method described above.
  • the method of decoding the maximum partition layer information may use lossless compression coding such as Binary Arithmetic Coding or Huffman Coding, and may use Unary Code or Truncated Unary Code. And various methods such as an Exponential Golem Code.
  • the size of the macroblock is (Nx2 x ) x (Nx2 x ).
  • the method for decoding an image may be performed to extract encoded image data from a stream and to generate a reconstructed image by decoding the encoded image data according to a block size identified by the information about the block size.
  • blocks of variable size e.g., macroblocks that are units of encoding / decoding
  • the division of the macroblock according to the embodiment of the present invention has been described as an example of division for prediction or transformation.
  • the prediction or transformation is only one example to which 'segmentation' may be applied in the present invention, and of course, the macroblock may be divided for various purposes.
  • the object of division may be any image region as well as a macroblock. For example, even when a block having a predetermined size corresponding to a unit of prediction is divided into subblocks for effective transformation, the partitioning according to an embodiment of the present invention may be applied.
  • the present invention provides a method and apparatus for efficiently encoding and decoding various partitioning schemes and information about the partitioning.
  • an image encoding / decoding apparatus may be implemented by connecting an input terminal of an image decoding apparatus according to an embodiment of the present invention to an output terminal of the image decoding apparatus according to an embodiment of the present invention. Can be.
  • An image encoding / decoding apparatus generates encoded image data by predictively encoding a current block divided into a plurality of subblocks, and generates encoded partition information data by encoding split information of the current block.
  • the image encoding / decoding method generates encoded image data by predictively encoding a current block divided into a plurality of subblocks, and generates encoded partition information data by encoding split information of the current block. Decoding the encoded partition information data extracted from the video encoding step and the bitstream to restore partition information of the current block, and predictively decoding the encoded video data extracted from the bitstream according to the partition information of the restored current block. An image decoding step of reconstructing a current block divided into three subblocks may be included.
  • the present invention is applied to an image compression processing field for encoding and decoding a high resolution video, and when the high resolution video is encoded using a variable sized block, the present invention efficiently compresses and decodes partition information of a block. It is a very useful invention that produces the effect of improving the efficiency.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 본 발명은 복수 개의 서브블록으로 분할되는 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하고, 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하며, 부호화된 영상 데이터 및 부호화된 분할 정보 데이터를 포함하는 비트스트림을 생성하고 생성된 비트스트림으로부터 영상을 복원하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다. 본 발명에 의하면, 가변 크기의 블록을 이용하여 고해상도의 영상을 부호화할 때 다양한 블록 모양을 이용하여 부호화할 수 있으며, 블록의 분할 정보를 효율적으로 부호화하고 복호화함으로써 압축 효율을 향상시킬 수 있다.

Description

분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치
본 발명은 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치에 관한 것이다. 더욱 상세하게는, 가변 크기의 블록을 이용하여고해상도의 영상을 부호화할 때 블록을 서브블록으로 분할하여 서브블록 단위로 부호화 및 복호화하고, 블록의 분할 정보를 효율적으로 부호화하고 복호화함으로써 압축 효율을 향상시키는 방법 및 장치에 관한 것이다.
동영상 데이터를 압축기술로는 H.261, H.263, MPEG-2, MPEG-4 등이 있다. 이러한 비디오 압축 표준은 각 영상을 휘도 성분의 16x16 크기의 화소들과 각 색차 성분의 8x8 크기의 화소들의 사각 영역으로 이루어진 고정된 크기를 가지는 매크로블록(Macroblock)들로 나누어 부호화한다. 각 매크로블록의 모든 휘도와 색차 성분들은 공간적으로나 시간적으로 예측되고, 예측 잔여분은 변환 및 양자화, 엔트로피 코딩이 수행되어 전송된다.
가장 최근에 제정된 H.264/AVC 표준에 따른 부호화 장치는 각각의 매크로블록을 인트라 예측 부호화할 때, 매크로블록은 16x16, 8x8, 4x4 등의 크기를 가지는 더 작은 블록으로 분할될 수 있으며, 16x16 크기의 블록에 대해서는 4 가지의 예측 모드, 8x8 크기와 4x4 크기의 블록에 대해서는 9 가지의 예측 모드중 하나를 이용하여 인트라 예측한다. 인터 예측의 경우, 매크로블록은 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 크기를 가지는 더 작은 블록으로 분할되어 움직임 보상을 통한 인터 예측에 이용될 수 있다. 변환은 8x8 크기 또는 4x4 크기의 블록 단위로 수행되고, 변환 계수의 양자화는 스칼라(Scalar) 양자화가 사용될 수 있다.
하지만, 이와 같이 통상적인 영상 압축 기술에서는 고정된 크기를 갖는 매크로블록 단위로 영상을 부호화하기 때문에(비록 H.264/AVC에서는 매크로블록을 더 작은 블록 단위로 분할하여 부호화하지만, 매크로블록의 크기는 고정됨), 고해상도의 영상을 부호화하는 경우에는 효율적인 부호화가 어려운 문제점이 있다.
또한, 매크로블록의 크기가 고정되어 있으므로 예측 또는 변환의 단위가 되는 매크로블록의 서브블록들의 크기 역시 제한적이라는 문제가 있다.
전술한 문제점을 해결하기 위해 본 발명의 실시예는, 고해상도의 영상을 부호화할 때 가변 크기의 블록 및 다양한 크기의 서브 블록들을 이용하여 영상을 부호화하고, 블록의 분할 정보를 효율적으로 부호화하고 복호화함으로써 압축 효율을 향상시키는 데 주된 목적이 있다.
전술한 목적을 달성하기 위해 본 발명은, 영상을 부호화/복호화하는 장치에 있어서, 복수 개의 서브블록으로 분할되는 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하고 상기 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 영상 부호화기; 및 비트스트림으로부터 추출되는 부호화된 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하고 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 복수 개의 서브블록으로 분할되는 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 영상 부호화기; 및 상기 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 분할 정보 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 현재 블록의 최대 분할 레이어값을 결정하는 최대 분할 레이어 결정기; 상기 현재 블록의 최대 분할 레이어값을 부호화하여 부호화된 최대 분할 레이어 데이터를 생성하는 최대 분할 레이어 부호화기; 및 상기 결정되는 최대 분할 레이어값에 따라 결정되는 최소 서브블록 크기를 이용하여 상기 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 영상 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 현재 블록의 최대 분할 레이어값을 결정하는 최대 분할 레이어 결정기; 상기 현재 블록의 최대 분할 레이어값을 부호화하여 부호화된 최대 분할 레이어 데이터를 생성하는 최대 분할 레이어 부호화기; 및 상기 결정되는 최대 분할 레이어값에 따라 결정되는 최소 서브블록 크기를 이용하여 상기 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 영상 부호화기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 장치에 있어서, 매크로블록 크기의 후보를 설정하는 후보 매크로블록 크기 설정기; 상기 매크로블록 크기의 후보별로 입력 영상을 부호화하는 영상 부호화기; 상기 매크로블록 크기의 후보별 부호화 비용에 따라 매크로블록 크기를 결정하고, 상기 결정된 매크로블록 크기로 부호화된 영상 데이터 및 상기 결정된 매크로블록 크기에 대한 정보를 포함하는 비트스트림을 생성하는 매크로블록 크기 결정기를 포함하는 것을 특징으로 하는 영상 부호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 추출되는 부호화된 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하는 분할 정보 복호화기; 및 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 추출되는 부호화된 최대 분할 레이어 데이터를 복호화하여 최대 분할 레이어값을 복원하는 최대 분할 레이어 복호화기; 및 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 상기 복원되는 최대 분할 레이어값에 따른 최소 서브블록 크기를 이용하여 복호화하여 현재 블록을 복원하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 복호화하는 장치에 있어서, 비트스트림으로부터 매크로블록 크기에 대한 정보를 추출하고 추출한 정보를 이용하여 매크로블록 크기를 설정하는 매크로블록 크기 설정기; 및 비트스트림으로부터 부호화된 영상 데이터를 추출하고, 상기 블록 크기에 대한 정보로 식별되는 블록 크기에 따라 상기 부호화된 영상 데이터를 복호화하여 복원 영상을 생성하는 영상 복호화기를 포함하는 것을 특징으로 하는 영상 복호화 장치를 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화/복호화하는 방법에 있어서, 복수 개의 서브블록으로 분할되는 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하고 상기 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 영상 부호화단계; 및 비트스트림으로부터 추출되는 부호화된 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하고 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원하는 영상 복호화단계를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법을 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 복수 개의 서브블록으로 분할되는 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 단계; 상기 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 단계; 및 상기 부호화된 영상 데이터 및 상기 부호화된 분할 정보 데이터를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
상기 복수 개의 서브블록들은 정사각형일 수 있다.
상기 분할은 복수의 분할 타입들 중 선택된 하나의 분할 타입에 따라 수행될 수 있다.
상기 현재 블록은, 16x16 블록 크기를 초과하는 매크로블록일 수 있다.
상기 분할 정보는, 상기 현재 블록 내에 포함되는 상기 복수 개의 서브블록의 블록 크기를 나타내는 것일 수 있다.
상기 분할 정보는 분할 레이어별 분할 타입 지시 정보에 의해 식별되되, 상기 부호화된 분할 정보 데이터를 생성하는 단계는 상기 분할 레이어별 분할 타입 지시 정보를 분할 타입 지시 정보 부호화 순서에 따라 순차적으로 부호화함으로써 상기 분할 정보를 부호화할 수 있다.
상기 분할 정보는 분할 레이어의 레이어 번호와 분할 타입 지시 정보에 의해 식별되되, 상기 부호화된 분할 정보 데이터를 생성하는 단계는 트리 구조를 이용하여 분할 레이어의 레이어 번호와 분할 타입 지시 정보를 부호화함으로써 상기 분할 정보를 부호화할 수 있다.
상기 분할은 정사각형만 사용하고, 상기 분할 정보는 분할레이어값만 포함할 수 있다.
상기 분할은 직사각형의 블록을 보다 작은 크기의 직사각형으로 분할되도록 할 수 있다.
상기 분할 정보는 분할 레이어값과 분할 플래그에 의해 식별되되, 상기 부호화된 분할 정보 데이터를 생성하는 단계는 상기 분할 레이어값과 상기 분할 플래그를 부호화함으로써 상기 분할 정보를 부호화할 수 있다.
상기 부호화된 분할 정보 데이터를 생성하는 단계는, 상기 현재 블록의 블록 타입이 인트라 블록 타입인 경우에만 상기 분할 레이어값과 상기 분할 플래그를 부호화함으로써 상기 분할 정보를 부호화할 수 있다.
상기 복수 개의 서브블록은 정사각형 형태의 블록일 수 있다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 최소 서브블록 크기의 후보를 설정하는 단계; 상기 최소 서브블록 크기의 후보별로 입력 영상을 부호화하는 단계; 상기 최소 서브블록 크기의 후보별 부호화 비용에 따라 최소 서브블록 크기를 결정하는 단계; 및 상기 결정된 최소 서브블록 크기로 부호화된 영상 데이터 및 상기 결정된 최소 서브블록 크기에 대한 정보를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
상기 결정된 최소 서브블록 크기에 대한 정보는, 상기 최소 서브블록의 크기의 값에 대한 정보이거나, 최대 분할레이어 값에 대한 정보일 수 있다.
상기 최소 서브블록 크기를 결정하는 단계는, 현재 블록의 최대 분할 레이어값을 결정하는 단계; 상기 현재 블록의 최대 분할 레이어값을 부호화하여 부호화된 최대 분할 레이어 데이터를 생성하는 단계; 상기 결정되는 최대 분할 레이어값에 따라 결정되는 최소 서브블록 크기를 이용하여 상기 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 단계; 및 상기 부호화된 최대 분할 레이어 데이터 및 상기 부호화된 영상 데이터를 포함하는 비트스트림을 생성하는 단계를 포함할 수 있다.
상기 부호화된 영상 데이터를 생성하는 단계는, 상기 최대 분할 레이어값에 따라 결정되는 최소 서브블록 크기와 각 레이어들의 사용 가능 여부에 따라 결정되는 서브블록들을 이용하여 현재 블록을 부호화하고, 상기 비트스트림을 생성하는 단계는, 상기 비트스트림에 분할된 각 레이어의 사용여부를 나타내는 정보를 추가로 포함할 수 있다.
상기 각 레이어의 사용여부를 나타내는 정보는, 각 레이어의 사용여부를 조합한 테이블의 인덱스일 수 있다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 현재 블록의 사용 가능한 분할 레이어를 결정하는 단계; 상기 결정되는 사용 가능한 분할 레이어 중에서 상기 현재 블록의 부호화 비용을 최소화하는 분할 레이어를 선택하는 단계; 상기 선택되는 분할 레이어를 이용하여 상기 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 단계; 상기 선택된 분할 레이어에 대한 정보를 부호화하여 생성되는 부호화된 분할 레이어 데이터, 상기 선택된 분할 레이어를 이용하여 상기 현재 블록을 분할한 분할 정보를 부호화하여 생성되는 부호화된 분할 정보 데이터 및 상기 부호화된 영상 데이터를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 부호화하는 방법에 있어서, 매크로블록 크기의 후보를 설정하는 단계; 상기 매크로블록 크기의 후보별로 입력 영상을 부호화하는 단계; 상기 매크로블록 크기의 후보별 부호화 비용에 따라 매크로블록 크기를 결정하는 단계; 및 상기 결정된 매크로블록 크기로 부호화된 영상 데이터 및 상기 결정된 매크로블록 크기에 대한 정보를 포함하는 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법을 제공한다.
상기 결정된 매크로블록 크기에 대한 정보는, 상기 매크로블록의 크기의 값에 대한 정보이거나, 최대 서브블록의 크기 및 최대 분할레이어 값에 대한 정보이거나, 소정 크기의 매크로블록에 대한 확대/축소 정보일 수 있다.
상기 매크로블록의 크기의 값에 대한 정보는, 매크로블록의 크기에 대한 정보를 보낼 것인지 여부를 나타내는 플래그일 수인 것있다.
상기 결정된 매크로블록 크기에 대한 정보는, 기준 크기의 매크로블록을 사용할 것인지 여부를 나타내는 플래그일인 것을 수 있다.
상기 결정된 매크로블록 크기에 대한 정보는, 이전 픽처의 매크로블록의 크기를 사용할지에 대한 플래그일 수 있다.
상기 결정된 매크로블록 크기에 대한 정보는, 인트라 픽처의 매크로블록의 크기와 인터 픽처의 매크로블록의 크기가 각각 다른 것일 수 있다.
기준 최소 서브블록의 크기를 설정하고 각 픽처, 슬라이스 또는 최소 서브블록 헤더마다 상기 기준 최소 서브블록의 크기를 사용할지를 나타내는 플래그를 부호화할 수 있다.
상기 플래그가 상기 기준 최소 서브블록의 크기를 사용하지 않는 것을 나타내는 경우, 상기 기준 최소 서브블록의 크기로부터 소정 비율만큼 확장 또는 축소한 블록을 현재 최소 서브블록으로 선택할 수 있다.
인트라 픽처를 위한 최소 서브블록의 크기와 인터 픽처를 위한 최소 서브블록의 크기를 다르게 하여 부호화할 수 있다.
상기 매크로블록의 크기의 값에 대한 정보 또는 최대 서브블록의 크기에 대한 정보는 블록의 크기를 정의한 테이블을 이용하여 획득할 수 있다.
또한, 본 발명의 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 추출되는 부호화된 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하는 단계; 및 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
상기 분할 정보는, 분할 레이어별 분할 타입 지시 정보에 의해 식별될 수 있다.
상기 분할 정보는, 분할 레이어의 레이어 번호와 분할 타입 지시 정보에 의해 식별될 수 있다.
상기 분할 정보는, 분할 레이어값과 분할 플래그에 의해 식별될 수 있다.
상기 분할은 정사각형만 사용하고, 상기 분할 정보는 분할레이어값만 포함할 수 있다.
상기 분할은 직사각형의 블록을 보다 작은 크기의 직사각형으로 분할되도록 할 수 있다.
또한, 본 발명의 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 추출되는 부호화된 최소 서브블록 크기 데이터를 복호화하여 최소 서브블록 크기를 복원하는 단계; 및 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 상기 복원되는 최소 서브블록 크기를 이용하여 복호화하여 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
상기 비트스트림으로부터 추출되는 부호화된 최소 서브블록 크기 데이터는 최소 서브블록 크기값에 대한 정보이거나 최대 분할 레이어값에 대한 정보일 수 있다.
상기 현재 블록을 복원하는 단계는, 상기 최대 분할 레이어값에 따라 결정되는 최소 서브블록 크기와 각 레이어들의 사용 가능 여부에 따라 결정되는 서브블록들을 이용하여 현재 블록을 복원할 수 있다.
상기 각 레이어의 사용여부를 나타내는 정보는, 각 레이어의 사용여부를 조합한 테이블의 인덱스일 수 있다.
또한, 본 발명의 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 추출되는 부호화된 분할 레이어 데이터와 부호화된 분할 정보 데이터를 복호화하여 분할 레이어에 대한 정보와 분할 정보를 복원하는 단계; 및 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 상기 복원되는 분할 레이어에 대한 정보와 분할 정보를 이용하여 상기 부호화된 영상 데이터를 복호화하여 현재 블록을 복원하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
또한, 본 발명의 다른 목적에 의하면, 영상을 복호화하는 방법에 있어서, 비트스트림으로부터 매크로블록 크기에 대한 정보를 추출하고 추출한 정보를 이용하여 매크로블록 크기를 설정하는 매크로블록 크기 설정단계; 및 비트스트림으로부터 부호화된 영상 데이터를 추출하고, 상기 블록 크기에 대한 정보로 식별되는 블록 크기에 따라 상기 부호화된 영상 데이터를 복호화하여 복원 영상을 생성하는 영상 복호화단계를 포함하는 것을 특징으로 하는 영상 복호화 방법을 제공한다.
상기 매크로블록 크기에 대한 정보는, 상기 매크로블록의 크기의 값에 대한 정보이거나, 최대 서브블록의 크기 및 최대 분할레이어 값에 대한 정보이거나, 소정 크기의 매크로블록에 대한 확대/축소 정보일 수 있다.
상기 매크로블록의 크기의 값에 대한 정보는, 기준 매크로블록의 크기에 대한 정보일 수 있다.
상기 매크로블록 크기에 대한 정보는, 이전 픽처의 매크로블록의 크기를 사용할지에 대한 플래그일 수 있다.
상기 매크로블록 크기에 대한 정보는, 인트라 픽처의 매크로블록의 크기와 인터 픽처의 매크로블록의 크기가 각각 다른 것일 수 있다.
기준 최소 서브블록의 크기를 설정하고 각 픽처, 슬라이스 또는 최소 서브블록 헤더마다 상기 기준 최소 서브블록의 크기를 사용할지를 나타내는 플래그를 복호하여 최소서브 블록의 크기를 복원할 수 있다.
상기 플래그가 상기 기준 최소 서브블록의 크기를 사용하지 않는 것을 나타내는 경우, 상기 기준 최소 서브블록의 크기로부터 소정 비율만큼 확장 또는 축소함을 나타내는 정보를 복호하여 최소 서브블록의 크기를 복원할 수 있다.
인트라 픽처를 위한 최소 서브블록의 크기와 인터 픽처를 위한 최소 서브블록의 크기가 다른 것일 수 있다.
상기 매크로블록의 크기의 값에 대한 정보 또는 최대 서브블록의 크기에 대한 정보는 블록의 크기를 정의한 테이블을 이용하여 획득할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 고해상도의 영상을 부호화할 때 가변 크기의 블록 및 다양한 크기의 서브 블록들을 이용하여 영상을 부호화하고, 블록의 분할 정보를 부호화하고 복호화함으로써 효율적인 영상 부호화 및 복호화를 달성할 수 있다.
도 1 내지 도 3은 본 발명의 일 실시예에 따른 MxN 화소 단위의 매크로블록을 설명하기 위한 예시도,
도 4 및 도 5는 본 발명의 일 실시예에 따른 여러 가지 서브블록 모드를 나타낸 예시도,
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 8은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 9는 본 발명의 다른 실시예에 따라 매크로블록을 레이어별로 분할한 서브블록을 나타낸 예시도,
도 10은 본 발명의 다른 실시예에 따른 분할 타입을 나타낸 예시도,
도 11은 본 발명의 다른 실시예에 따라 다양한 블록 크기의 서브블록으로 분할된 매크로블록을 나타낸 예시도,
도 12는 매크로블록이 분할 레이어별로 분할되는 과정을 순차적으로 나타낸 예시도,
도 13은 매크로블록의 레이어별 분할 타입 지시 정보를 서브블록의 순서에 따라 순차적으로 부호화하는 과정을 설명하기 위한 예시도,
도 14는 본 발명의 다른 실시예에 따라 트리 구조를 이용하여 블록의 분할 정보를 부호화하는 방법을 설명하기 위한 예시도,
도 15 및 도 16은 본 발명의 다른 실시예에 따라 트리 구조를 이용하여 블록의 분할 정보를 부호화하는 방법의 일 예를 설명하기 위한 예시도,
도 17 및 도 18은 본 발명의 다른 실시예에 따라 트리 구조를 이용하여 블록의 분할 정보를 부호화하는 방법의 다른 예를 설명하기 위한 예시도,
도 19는 본 발명의 다른 실시예에 따른 분할 레이어값에 따라 분할되는 서브블록을 나타낸 예시도,
도 20은 본 발명의 다른 실시예에 따라 블록의 분할 정보를 분할 레이어값과 분할 플래그를 이용하여 부호화하는 과정을 나타낸 예시도,
도 21은 본 발명의 다른 실시예에 따라 다양한 블록 크기의 서브블록으로 분할된 매크로블록의 다른 예를 나타낸 예시도,
도 22는 매크로블록의 레이어별 분할 타입 지시 정보를 서브블록의 순서에 따라 순차적으로 부호화하는 과정을 설명하기 다른 예시도,
도 23은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 24는 본 발명의 다른 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 25는 본 발명의 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 26은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도,
도 27은 본 발명의 또 다른 실시예에 따른 분할 레이어와 최소 서브블록 크기와의 관계를 나타낸 예시도,
도 28은 본 발명의 또 다른 실시예에 따라 최대 분할 레이어값을 결정하는 방법의 일 예를 설명하기 위한 순서도,
도 29는 본 발명의 또 다른 실시예에 따라 최대 분할 레이어값을 결정하는 방법의 다른 예를 설명하기 위한 순서도,
도 30은 본 발명의 또 다른 실시예에 따라 선택된 분할 레이어들만을 이용하여 현재 블록의 분할 정보를 부호화하는 과정을 설명하기 위한 예시도,
도 31은 본 발명의 또 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도,
도 32는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도,
도 33은 본 발명의 또 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도,
도 34는 본 발명의 다른 실시예에 따른 분할 타입을 나타낸 예시도,
도 35는 본 발명의 또 다른 실시예에 따른 영상 부호화 장치(3500)를 간략하게 나타낸 블록 구성도,
도 36은 본 발명의 다른 실시예에 따른 영상 부호화 방법의 구현 예를 설명하기 위한 순서도,
도 37은 본 발명의 다른 실시예에 따른 영상 복호화 장치의 구현예를 나타낸 블록 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
통상적으로 동영상은 일련의 픽처(Picture)로 구성되어 있으며, 각 픽처들은 블록(Block)과 같은 소정의 영역으로 분할된다. 영상의 영역이 블록으로 분할되는 경우에는 분할된 블록은 부호화 방법에 따라 크게 인트라 블록(Intra Block), 인터 블록(Inter Block)으로 분류된다. 인트라 블록은 인트라 예측 부호화(Intra Prediction Coding) 방식을 사용하여 부호화되는 블록을 뜻하는데, 인트라 예측 부호화란 현재 부호화를 수행하는 현재 픽처 내에서 이전에 부호화되고 복호화되어 복원된 블록들의 화소를 이용하여 현재 블록의 화소를 예측함으로써 예측 블록을 생성하고 현재 블록의 화소와의 차분값을 부호화하는 방식이다. 인터 블록은 인터 예측 부호화(Inter Prediction Coding)를 사용하여 부호화되는 블록을 뜻하는데, 인터 예측 부호화란 하나 이상의 과거 픽처 또는 미래 픽처를 참조하여 현재 픽처 내의 현재 블록을 예측함으로써 예측 블록을 생성하고 현재 블록과의 차분값을 부호화하는 방식이다. 여기서, 현재 픽처를 부호화하거나 복호화하는데 참조되는 픽처를 참조 픽처(Reference Picture)라고 한다.
A) 임의의 크기의 매크로블록 또는 블록을 이용한 부호화 및 복호화
이하에서는 영상을 블록 단위로 부호화하고 복호화하는 장치에 대해 예를 들어 설명한다. 여기서, 블록은 MxN(단, M과 N은 16 이상의 정수일 수 있다) 크기의 매크로블록이나 OxP(단, O와 P는 M 또는 N보다 작거나 같은 정수임) 크기의 서브블록 또는 하위 블록일 수 있는데, 블록 단위로 부호화하고 복호화하는 것은 예시적인 것이며, 영상을 블록과 같이 정형화된 영역 또는 비정형화된 영역으로 부호화하고 복호화할 수도 있을 것이다. 단, 다음에 설명하는 영상 부호화/복호화 장치는 임의의 크기의 블록을 사용할 수 있지만, 블록의 크기는 영상 부호화 장치와 영상 복호화 장치가 약속한 크기이다.
A-1) 임의의 크기의 매크로블록
도 1 내지 도 3은 본 발명의 일 실시예에 따른 MxN 화소 단위의 매크로블록을 설명하기 위한 예시도이다.
도 1에서는 임의의 크기를 가지는 입력 영상의 일 부분에서 표현된 MxN 화소 단위의 매크로블록(이하 'MxN 크기의 매크로블록'이라 칭함)을 예시적으로 나타내었고, 도 2에서는 396 개의 16x16 크기의 매크로블록으로 구성되는 CIF 영상을 예시적으로 나타내었으며, 도 3에서는 54 개의 64x32 크기의 매크로블록으로 구성되는 CIF 영상을 예시적으로 나타내었다.
기존의 영상 압축 기술에서는 도 2에 도시한 바와 같이, 영상을 16x16으로 고정된 크기를 가지는 매크로블록으로 분할하여 부호화하고 복호화하지만, 본 발명의 일 실시예에서는 도 3에 도시한 바와 같이, 64x32 크기(단, 64x32 크기의 매크로블록뿐만 아니라 64x64 크기, 32x64 크기와 같은 MxN 크기(단, 16x16 크기 이상)도 가능함)를 가지는 매크로블록을 이용하여 영상을 부호화하고 복호화할 수 있다.
A-2) 서브블록 모드 예
도 4 및 도 5는 본 발명의 일 실시예에 따른 여러 가지 서브블록 모드를 나타낸 예시도이다.
도 4에서는 32x32 크기의 매크로블록에 대해 사용할 수 있는 서브블록 모드를 나타내었고, 도 5에서는 32x16 크기의 매크로블록에 대해 사용할 수 있는 서브블록 모드를 나타내었다.
본 발명의 일 실시예에 따르면, MxN 크기의 매크로블록은 도 4 및 도 5에 도시한 바와 같은 더 작은 블록 즉, 서브블록으로 분할될 수 있으며, 영상의 매크로블록은 이와 같은 서브블록 단위로 인트라 예측 부호화되거나 인터 예측 부호화될 수 있다.
A-3) 영상 부호화 장치 설명
도 6은 본 발명의 일 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 부호화 장치는 16x16 크기 이상의 매크로블록을 이용하여 영상을 부호화하는 장치로서, 예측기(Predictor, 610), 부호화기(Encoder, 620), 복원기(Reproducer, 630), 필터(Filter, 640) 및 프레임 메모리(Frame Memory, 650)를 포함하여 구성될 수 있다. 여기서, 복원기(630), 필터(640) 및 프레임 메모리(650)는 구현 방식에 따라 선택적으로 생략되거나 다른 구성 요소에 포함되어 구성될 수 있다.
예측기(610)는 움직임 추정기(612), 움직임 보상기(614) 및 인트라 예측기(616)를 포함하여 구성될 수 있으며, 입력 영상의 매크로블록을 예측한다. 여기서, 매크로블록은 16x16 크기 이상의 매크로블록(즉, MxN 크기의 매크로블록, 단 M, N ≥ 16인 정수)을 말한다.
움직임 추정기(612)는 예측하고자 하는 매크로블록을 프레임 메모리(650)에 저장된 참조 픽처와 비교하여 해당 매크로블록의 움직임을 추정함으로써 움직임 벡터를 생성한다.
움직임 보상기(614)는 움직임 추정기(612)에 의해 생성된 움직임 벡터를 참조하여 프레임 메모리(650)에 저장된 참조 픽처에서 예측하고자 하는 매크로블록의 크기만큼의 블록을 가져온다. 움직임 보상기(614)가 가져온 매크로블록이 예측하고자 하는 매크로블록의 예측값을 가지는 예측 매크로블록이 된다.
인트라 예측기(616)는 예측하고자 하는 매크로블록을 인트라 예측한다. 이를 위해, 인트라 예측기(616)는 이미 부호화되고 복호화되어 복원된 주변 화소 정보를 이용하여 참조 블록을 생성하고 참조 블록과 부호화 대상 매크로블록을 비교하여 인트라 예측 모드를 결정하고, 결정된 인트라 예측 모드에 따라 매크로블록을 인트라 예측한다. 인트라 예측기(616)에 의해 예측된 매크로블록이 대상 매크로블록의 예측값을 가지는 예측 매크로블록이 된다.
부호화기(620)는 대상 매크로블록과 예측 매크로블록의 화소값의 차이인 잔여 신호를 부호화하는데, 잔여 신호를 변환 및 양자화하고 엔트로피 부호화하여 부호화할 수 있다. 또한, 부호화기(620)는 부호화하고자 하는 대상 매크로블록을 인터 예측하는 경우, 움직임 추정기(612)에서 생성한 움직임 벡터 등과 같은 움직임 정보와 매크로블록의 크기와 같은 매크로블록 모드 정보를 부호화할 수 있다. 부호화기(620)는 부호화하고자 하는 대상 매크로블록을 인트라 예측하는 경우, 인트라 예측 모드와 같은 예측 모드 정보와 매크로블록의 크기와 같은 매크로블록 모드 정보를 부호화할 수 있다.
복원기(630)는 변화 및 양자화된 잔여 신호를 역 양자화 및 역 변환하여 예측기(610)로부터 출력되는 예측 매크로블록과 가산하여 대상 매크로블록을 복원한다.
필터(640)는 디블로킹 필터(Deblocking Filter)와 같은 필터를 이용하여 복원된 대상 매크로블록을 필터링한다. 필터링된 복원 매크로블록은 프레임 메모리(650)에 저장되어, 예측기(610)에서 다음 매크로블록 또는 다음 픽처의 매크로블록을 예측하는 데 활용된다.
A-4) 영상 복호화 장치 설명
도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 일 실시예에 따른 영상 복호화 장치(700)는 복호화기(710), 예측기(720), 복원기(730), 필터(740) 및 프레임 메모리(750)를 포함하여 구성될 수 있다.
복호화기(710)는 입력되는 비트스트림으로부터 매크로블록 복호화에 필요한 3가지 타입의 정보를 추출한다.
첫번째로 현재 복호화하고자 하는 매크로블록이 인터 매크로블록인지 또는 인트라 매크로블록인지 여부와 매크로블록의 서브블록모드를 나타내는 매크로블록 타입 정보와 서브블록 모드 정보를 엔트로피 복호화하여 추출한다.
두번째로 예측에 필요한 정보를 엔트로피 복호화하여 추출한다. 이때 복호화할 예측 데이터의 종류와 예측 데이터 복호화 방법은 각 블록이 인트라 블록인지 인터 블록인지에 따라 달라지게 되는데 복원할 블록이 인터 매크로블록인 경우에는 비트스트림으로부터 각 서브블록들의 움직임 보상에 필요한 참조픽쳐 정보와 움직임 벡터 등과 같은 움직임에 대한 정보를 추출하여 복호화하고, 인트라 블록인 경우에는 비트스트림으로부터 휘도 성분과 색차성분의 인트라 예측 모드에 대한 정보를 추출하여 복호화한다.
마지막으로 잔여신호 복호화에 필요한 정보들을 복호화하는데, 먼저 각 서브블록에 0이 아닌 변환계수가 있는지를 나타내는 정보(예컨대 CBP)를 복호화하고 0이 아닌 변환계수가 있는 블록들에 대해서는 변환의 종류를 나타내는 변환정보와 양자화된 변환계수를 복호화한다.
예측기(720)는 현재 복호화하고자 하는 현재 블록을 예측하는데, 움직임 보상기(722)와 인트라 예측기(724)를 포함하여 구성될 수 있다. 움직임 보상기(722)는 현재 블록이 인터 블록인 경우, 복호화기(710)에 의해 복호화되어 복원된 움직임 벡터를 이용하여 프레임 메모리(750)에 저장된 참조 픽처에서 현재 매크로블록의 크기만큼의 화소를 가져와서 예측 매크로블록을 생성한다. 인트라 예측기(724)는 현재 블록이 인트라 블록인 경우, 복호화기(710)에 의해 복호화되어 복원된 인트라 예측 모드에 따라 현재 매크로블록을 예측하여 예측 매크로블록을 생성한다. 복원기(730)는 복호화기(710)에 의해 복호화된 양자화된 변환계수를 역양자화하고 복호화기(710)에서 추출하고 복원한 변환종류를 이용하여 역양자화된 변환계수를 역 변환하여 잔여 신호를 생성한 후, 생성된 잔여신호를 예측기(720)에 의해 생성된 예측 매크로블록을 더하여 복원 매크로블록을 생성한다. 생성된 복원 매크로블록은 필터(740)에서 필터링되어 프레임 메모리(750)에 저장되고, 다음 매크로블록이나 다음 픽처를 복원하는 데 이용된다.
이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따른 영상 부호화 장치(600)와 영상 복호화 장치(700)는 임의의 크기의 블록을 이용하여 영상을 부호화하고 복호화할 수 있다.
B) 블록 분할 및, 분할정보 부호화 및 복호화
이하에서는 본 발명의 다른 실시예로서, 분할 레이어를 이용하여 임의의 크기의 매크로블록의 예측 또는 변환을 위해 복수개의 서브블록으로 분할하고, 분할된 서브블록의 모양과 크기를 나타내는 분할 정보를 효율적으로 부호화하고 복호화하는 장치와 방법에 대해 설명한다. 단, 다음에 설명하는 영상 부호화/복호화 장치는 임의의 크기의 매크로블록을 사용할 수 있지만, 영상 부호화 장치와 영상 복호화 장치는 약속된 크기의 매크로블록과 약속된 크기의 최소 서브블록을 사용하여 부호화/복호화한다.
상기 분할 정보는 예측 또는 변환을 위해 분할된 서브블록들의 크기와 모양을 나타내는 정보일 수 있으며 영상 부호화 장치는 비트스트림에 분할정보와 부호화된 영상 데이터를 포함하여 부호화하여 영상 복호화 장치에 전송한다.
또한 영상 부호화 장치는 예측을 위한 분할 정보와 변환을 위한 분할 정보를 각각 부호화하도록 할 수도 있다.
복호화할 때는 영상 복호화 장치는 비트스트림으로부터 분할 정보를 추출하고 복호화하여 예측 또는 변환을 위해 매크로블록을 복수개의 서브블록으로 분할하고, 각 서브블록 단위로 예측 또는 역변환을 수행함으로써 영상을 복원한다.
B-1) 영상 부호화 장치
B-1-1) 부호화 장치
도 8은 본 발명의 다른 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 부호화 장치(800)는 영상 부호화기(Video Encoder, 810) 및 분할 정보 부호화기(Split Information Encoder, 820)를 포함하여 구성될 수 있다.
도 8의 영상 부호화 장치(800)는 분할 정보 부호화기(820)에서 분할 정보를 부호화한 후, 영상 부호화기(810)에서는 각 서브블록들의 예측 데이터 및/또는 변환타입, CBP, 변환계수와 같은 잔여 신호 복호화에 필요한 데이터를 포함하는 영상 데이터를 부호화한다. 여기서 예측 데이터는 각 서브블록이 인트라 블록인지 인터 블록인지를 나타내는 데이터와 인트라 블록에 대해서는 인트라 예측 모드, 인터 블록에 대해서는 움직임 정보를 나타낸다. 영상 부호화기(810)는 도 6을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(600)로 구현될 수 있다. 즉, 영상 부호화기(810)는 임의의 크기의 매크로블록을 예측 또는 변환을 위해 다양한 크기의 서브블록으로 분할하고 각 서브블록을 예측 부호화한 후, 최소 부호화 비용을 가지는 매크로블록의 분할 타입과 각 서브블록의 예측 모드를 결정한다. 결정된 매크로블록의 분할 타입을 나타내는 분할 정보는 분할 정보 부호화기(820)를 통해 비트스트림으로 부호화하고 매크로블록 내 분할된 복수 개의 서브블록들의 예측 부호화된 영상 데이터를 생성한다.
분할 정보 부호화기(820)는 영상 부호화기(810)으로부터 입력받은 분할 정보를 부호화하여 분할 정보 데이터를 생성한다. 여기서, 분할 정보는 예측 또는 변환을 위해 복수개의 서브블록으로 분할된 매크로블록 내 서브블록들의 크기 또는 블록 형태에 대한 정보 일 수 있다.
통상적인 영상 압축 기술에 따르면, 매크로블록의 크기가 16x16으로 고정되어 있으므로 매크로블록의 서브블록도 그에 따라 8x8, 4x4 크기 등 소수의 형태를 가지는 서브블록만이 이용될 수 있으나, 본 발명의 실시예에 따르면, 매크로블록의 크기가 16x16 이상으로 다양하게 결정될 수 있으므로 그에 따라 서브블록의 크기와 형태도 다양하게 결정될 수 있으며, 그에 따라 매크로블록이 다양한 형태의 서브블록으로 분할될 수 있다. 따라서, 본 발명의 다른 실시예에서는 매크로블록이 어떠한 크기의 서브블록으로 어떠한 형태로 분할되었는지에 대한 정보를 영상 복호화 장치로 전송하여 영상 복호화 장치에서 매크로블록을 영상 부호화 장치에서 분할한 방식과 동일하게 분할하여 예측 복호화할 수 있도록 해야 한다. 분할 정보 부호화기(820)가 블록 정보를 부호화하는 것에 대해서는 후술하는 과정에서 도 9 내지 도 22를 통해 상세히 설명한다.
B-1-2) 서브블록 모드
본 발명의 다른 실시예에 따르면, 매크로블록을 레이어 별로 다양한 크기의 서브블록으로 분할하고, 분할된 서브 블록 별로 예측 부호화 및 예측 복호화할 수도 있다.
도 9는 본 발명의 다른 실시예에 따라 매크로블록을 레이어별로 분할한 서브블록을 나타낸 예시도이다.
도 9에서는 매크로블록의 크기는 NxN이되 N은 16 이상의 정수이며, 서브블록의 최소 서브블록 크기는 4x4인 것으로 가정하여 분할될 수 있는 서브블록들을 나타내었다. 다만, 이러한 가정은 본 발명의 실시예를 설명하기 위한 것일 뿐, 매크로블록의 가로와 세로의 크기는 동일하지 않을 수 있으며 서브블록의 최소 서브블록 크기는 4x4 이외의 다른 크기일 수 있다.
도 9에 도시한 바와 같이, 본 발명의 다른 실시예에 따르면 매크로블록은 레이어별로 다양한 크기의 서블블록들로 분할될 수 있다. 매크로블록은 레이어 0 내지 레이어 log2(N/4)까지 각 레이어별로 4 개의 형태를 가지는 서브블록들로 분할될 수 있다. 이때, 레이어 K(단, 0≤K≤log2(N/4))에서 해당 레이어의 서브블록이 4개의 서브블록으로 분할된 경우에만 K+1 레이어의 서브블록들을 사용할 수 있다.
예를 들어, MxN 블록 크기의 매크로블록이 64x64 블록 크기의 매크로블록일 때, 매크로블록은 레이어 0 내지 레이어 3까지 4 개의 레이어로 분할될 수 있으며, 각 레이어는 4 개의 서로 다른 블록 크기를 가지는 서브블록을 포함할 수 있다. 따라서, 64x64 블록 크기의 서브블록, 64x32 블록 크기의 서브블록, 32x64 블록 크기의 서브블록, 32x32 블록 크기의 서브블록은 레이어 0에 속하고, 32x32 블록 크기의 서브블록, 32x16 블록 크기의 서브블록, 16x32 블록 크기의 서브블록, 16x16 블록 크기의 서브블록은 레이어 1에 속하며, 16x16 블록 크기의 서브블록, 16x8 블록 크기의 서브블록, 8x16 블록 크기의 서브블록, 8x8 블록 크기의 서브블록은 레이어 2에 속하며, 8x8 블록 크기의 서브블록, 8x4 블록 크기의 서브블록, 4x8 블록 크기의 서브블록, 4x4 블록 크기의 서브블록은 레이어 3에 속한다. 여기서, 64x64 블록 크기의 매크로블록이 레이어 0에서 32x32 블록 크기의 서브블록으로 분할된 경우에만 레이어 1에 속한 서브블록들을 사용할 수 있으며, 레이어 1의 32x32 블록 크기의 서브블록이 다시 16x16 블록 크기의 서브블록으로 분할된 경우에만 레이어 2에 속한 서브블록들을 사용할 수 있으며, 레이어 2의 16x16 블록 크기의 서브블록이 다시 8x8 블록 크기의 서브블록으로 분할된 경우에만 레이어 3에 속한 서브블록들을 사용할 수 있다.
여기서, 레이어 번호 K인 NxN블록이 4개의
Figure PCTKR2010006735-appb-I000001
서브블록으로 분할된 경우, 분할된
Figure PCTKR2010006735-appb-I000002
서브블록은 레이어 K에 속할 수도 있고 레이어 K+1에 속할 수도 있다. 즉, 매크로블록이 64x64 크기인 경우, 32x32크기의 서브블록은 레이어 0에 포함되는 서브블록 타입으로 판단될 수도 있고 레이어 1에 속하는 서브블록 타입으로 판단될 수도 있다.
이 경우, 분할된 서브블록에 레이어 번호를 할당하는 방법은 각 레이어의 사용 가능 여부에 따라 달라지게 된다. 만약 레이어 K+1이 사용 가능한 경우 서브블록에 레이어 번호 K+1을 할당하고 레이어 K+1이 사용 가능하지 않은 경우에는 서브블록의 레이어 번호에 레이어 번호 K를 할당한다.
예를 들면 매크로블록의 크기는 64x64이고 최대 분할 레이어가 4인 경우, 매크로블록이 64x64이 4개의 32x32서브블록으로 분할된 경우, 32x32 서브블록은 레이어 1에 속하게 된다. 매크로블록 내 하나의 32x32 서브블록이 4개의 16x16 서브블록으로 분할되면 각 16x16 서브블록은 레이어 2에 속하고 동일한 방법으로 16x16 서브블록이 4개의 8x8 서브블록으로 분할되면 8x8 서브블록은 레이어3에 속하게 된다. 만약 8x8 서브블록이 4개의 4x4 서브블록으로 분할된 경우 4x4 서브블록은 레이어 4는 사용 가능하지 않으므로 레이어 3에 속하게 된다.
또한, 레이어 K의 NxN블록이 4개의
Figure PCTKR2010006735-appb-I000003
서브블록으로 분할되었을 경우, 분할된
Figure PCTKR2010006735-appb-I000004
서브블록의 레이어 번호로 K를 할당할 수도 있다. 이 경우,
Figure PCTKR2010006735-appb-I000005
서브블록이 더 작은 서브블록으로 분할된 경우 레이어 번호 K+1을 할당하도록 한다.
예를 들면 매크로블록의 크기는 64x64이고 최대 분할 레이어가 4인 경우, 매크로블록이 64x64이 4개의 32x32서브블록으로 분할된 경우, 32x32 서브블록은 레이어 0에 속하게 된다. 매크로블록 내 하나의 32x32 서브블록이 4개의 16x16 서브블록으로 분할되면 각 16x16 서브블록은 레이어 1에 속하고 동일한 방법으로 16x16 서브블록이 4개의 8x8 서브블록으로 분할되면 8x8 서브블록은 레이어 2에 속하게 된다. 그리고 8x8 서브블록이 4개의 4x4 서브블록으로 분할된 경우 4x4 서브블록은 레이어 3에 속하게 된다.
B-1-3) 분할타입
또한, 도 10과 도 34에 도시한 것과 같은 다양한 분할 타입을 이용하여 매크로블록을 분할할 수도 있다.
도 10과 도 34는 본 발명의 다른 실시예에 따른 분할 타입을 나타낸 예시도이다.
B-1-3-1) 분할타입 예 1
도 10은 본 발명의 다른 실시예에 따른 분할 타입을 나타낸 예시도이다.
도 10에서는 레이어별로 분할되는 서브블록의 블록 크기를 식별하기 위한 분할 타입 지시 정보(Partition Type Number)를 예시적으로 나타내었다.
도 10에 도시한 바와 같이, 매크로블록의 레이어 K의 서브블록
Figure PCTKR2010006735-appb-I000006
가 분할되지 않은 경우에는 분할 타입 지시 정보가 0으로 부여되고, 서브블록
Figure PCTKR2010006735-appb-I000007
가 두 개의
Figure PCTKR2010006735-appb-I000008
서브블록으로 분할된 경우 분할 타입 지시 정보가 1로 부여되며, 서브블록
Figure PCTKR2010006735-appb-I000009
가 두 개의
Figure PCTKR2010006735-appb-I000010
서브블록으로 분할된 경우 분할 타입 지시 정보가 2로 부여되며, 서브블록
Figure PCTKR2010006735-appb-I000011
가 네 개의
Figure PCTKR2010006735-appb-I000012
서브블록으로 분할된 경우 분할 타입 번호가 3으로 부여될 수 있다. 파티션 번호(Partition Number)는 분할 타입에 따라 분할된 각 서브블록을 식별하기 위해 부여되는 번호를 나타낸다. 예를 들어, 레이어 K의 서브블록
Figure PCTKR2010006735-appb-I000013
가 분할되지 않은 경우, 분할되지 않은 서블블록
Figure PCTKR2010006735-appb-I000014
의 파티션 번호는 0이 부여된다. 또한, 레이어 K의 서브블록
Figure PCTKR2010006735-appb-I000015
가 네 개의
Figure PCTKR2010006735-appb-I000016
서브블록으로 분할된 경우 각
Figure PCTKR2010006735-appb-I000017
서브블록들은 좌상단의 서브블록들로부터 래스터 스캔 방향으로 파티션 번호 0, 1, 2, 3으로 부여될 수 있다.
B-1-3-2) 분할타입 예 2
도 34는 본 발명의 다른 실시예에 따른 분할 타입을 나타낸 예시도이다.
도 34에서는 레이어별로 분할되는 서브블록의 블록 크기를 식별하기 위한 분할 타입 지시 정보(Partition Type Number)를 예시적으로 나타내었다.
도 34에 도시한 바와 같이, 매크로블록의 레이어 K의 서브블록
Figure PCTKR2010006735-appb-I000018
가 분할되지 않은 경우에는 분할 타입 지시 정보 분할 타입 지시 정보가 0으로 부여되고, 서브블록
Figure PCTKR2010006735-appb-I000019
가 네 개의
Figure PCTKR2010006735-appb-I000020
서브블록으로 분할된 경우 분할 타입 번호가 1로 부여될 수 있다. 파티션 번호(Partition Number)는 분할 타입에 따라 분할된 각 서브블록을 식별하기 위해 부여되는 번호를 나타낸다. 예를 들어, 레이어 K의 서브블록
Figure PCTKR2010006735-appb-I000021
가 분할되지 않은 경우, 분할되지 않은 서블블록
Figure PCTKR2010006735-appb-I000022
의 파티션 번호는 0이 부여된다. 또한, 레이어 K의 서브블록
Figure PCTKR2010006735-appb-I000023
가 네 개의
Figure PCTKR2010006735-appb-I000024
서브블록으로 분할된 경우 각
Figure PCTKR2010006735-appb-I000025
서브블록들은 좌상단의 서브블록들로부터 래스터 스캔 방향으로 파티션 번호 0, 1, 2, 3으로 부여될 수 있다.
또한 레이어 별로 다양한 분할 타입들을 결합하여 사용할 수도 있다. 예를 들어 레이어 0과 레이어 1에서는 도 34에 도시된 분할타입을 사용하고 레이어 1의 하위 레이어들은 도 10에 도시된 분할타입을 사용할 수도 있다.
B-1-4) 분할정보 부호화 방법
이하에서는, 매크로블록 내 예측 또는 변환을 위해 사용된 서브블록들의 크기와 모양을 나타내는 정보인 분할 정보를 부호화하는 본 발명의 실시예에 따른 다양한 방법들을 설명한다.
B-1-4-1) 분할정보 부호화 방법 1
먼저 분할 정보를 부호화하는 첫번째 방법을 설명한다.
첫번째 방법에 따르면, 매크로블록이 다양한 크기의 서브블록으로 분할되는 형태를 나타내는 블록의 분할 정보는 매크로블록의 분할 레이어별 분할 타입 지시 정보를 이용하여 나타낼 수 있다. 따라서, 매크로블록을 구성하는 복수 개의 서브블록은 분할 레이어별 분할 타입 지시 정보에 의해 식별될 수 있다. 분할 정보 부호화기(810)는 매크로블록의 레이어별 분할 타입 지시 정보를 이용하여 블록의 분할 정보를 부호화할 수 있는데, 후술하는 바와 같이 다양한 방식으로 블록의 분할 정보를 부호화할 수 있다.
일 예로, 분할 정보 부호화기(810)는 매크로블록의 분할 레이어별 분할 타입 지시 정보를 분할 타입 지시 정보 부호화 순서에 따라 순차적으로 부호화함으로써 현재 블록의 분할 정보를 부호화할 수 있다
이하에서는 도 11 내지 도 13을 통해 매크로블록의 분할 레이어별 분할 타입 지시 정보를 분할 타입 지시 정보 부호화 순서에 따라 순차적으로 부호화함으로써 현재 블록의 분할 정보를 부호화하는 방법에 대해 설명한다.
도 11은 본 발명의 다른 실시예에 따라 다양한 블록 크기의 서브블록으로 분할된 매크로블록을 나타낸 예시도이다.
도 11에서는 매크로블록의 블록 크기가 64x64이고, 최대 분할 레이어가 4이며 도 10에 도시된 서브블록 타입을 이용하여 다양한 블록 크기의 서브블록으로 분할된 매크로블록을 나타내었다.
매크로블록이 도시한 바와 같이 분할되었을 때, 본 발명의 다른 실시예에 따르면 분할 레이어별 분할 타입 지시 정보를 분할 타입 지시 정보 부호화 순서에 따라 순차적으로 부호화하여 매크로블록의 분할 정보를 부호화할 수 있다.
도 11에 도시한 매크로블록이 분할 레이어별로 분할되는 과정을 순차적으로 나타내면 도 12와 같이 나타낼 수 있다. 도 12를 참조하면, 레이어 0(L0)에서, 64x64 블록 크기의 서브블록은 4 개의 32x32 블록 크기의 서브블록으로 분할되며, 레이어 1(L1)에서, L1-P0(레이어 1의 파티션 번호 0)의 서브블록과 L1-P3(레이어 1의 파티션 번호 3)의 서브블록은 다시 4 개의 16x16 블록 크기의 서브블록으로 분할되고 L1-P1(레이어 1의 파티션 번호 1)의 서브블록과 L1-P2(레이어 1의 파티션 번호 2)의 서브블록은 각각 16x32 블록 크기의 서브블록과 32x16 블록 크기의 서브블록으로 분할된다. L1-P1과 L1-P2의 서브블록은 각각 2 개의 서브블록으로 분할된 후 더 이상 분할되지 않으므로 레이어별 파티션 번호를 나타내지 않았다. 레이어 2(L2)에서, L2-P0(레이어 2의 파티션 번호 0)의 서브블록은 다시 4 개의 8x8 블록 크기의 서브블록으로 분할되고 L2-P3(레이어 2의 파티션 번호 3)은 2 개의 16x2 블록 크기의 서브블록으로 분할된다. 다시, 레이어 3(L3)에서, L3-P0(레이어 3의 파티션 번호 0)의 서브블록과 L3-P1(레이어 3의 파티션 번호 1)의 서브블록은 각각 4 개의 4x4 블록 크기의 서브블록으로 분할된다.
분할 타입 지시 정보를 부호화하는 순서는 다음과 같다.
먼저 매크로블록의 분할 타입을 나타내는 분할 타입 지시 정보를 부호화한 후, 매크로블록이 4개의 서브블록으로 분할되었을 경우, 분할된 각 서브블록의 분할 타입 지시 정보를 계속해서 부호화한다. 예를 들어 NxN블록이 4개의 서브블록으로 분할되었을 경우 NxN블록내 첫번째 (N/2)x(N/2) 서브블록의 분할 타입 지시 정보를 부호화하고 첫번째 (N/2)x(N/2) 서브블록 다시 4개의 서브블록으로 분할된 경우 분할된 (N/4)x(N/4)블록의 분할 타입 지시정보를 부호화한다. 분할된 (N/4)x(N/4)블록이 최소 서브블록의 크기이거나 4개의 더 작은 서브블록으로 분할되지 않은 경우 래스터 스캔 순서로 다음 (N/4)x(N/4) 블록의 분할 타입 지시 정보를 부호화한다. 만약 (N/4)x(N/4)블록이 최소 서브블록의 최소 서브블록의 크기가 아니고 다시 4개의 (N/8)x(N/8) 크기의 서브블록으로 분할된 경우 해당 블록 내 첫번째 (N/8)x(N/8) 서브블록부터 분할 타입 지시 정보를 부호화한다. 매크로블록내 모든 서브블록들의 분할 타입 지시 정보를 부호화할 때까지 분할 타입 지시 정보를 부호화를 수행한다.
도 13은 매크로블록의 레이어별 분할 타입 지시 정보를 순차적으로 부호화하는 과정을 설명하기 위한 예시도이다.
도 11에 도시한 매크로블록의 각 서브블록의 분할 타입에 대한 정보를 부호화하면 도 13과 같이 부호화할 수 있다. 도 11에서, '□' 안에 기재된 숫자는 각 서브블록의 분할 타입 지시 정보를 부호화하는 순서를 나타낸다. 매크로블록의 레이어별 분할 타입 지시 정보를 분할 타입 지시 정보 부호화 순서에 따라 순차적으로 부호화하면, 도 11에 도시한 순서에 따라 레이어별 분할 타입 지시 정보를 순차적으로 부호화한다.
먼저, 레이어 0의 64x64 블록 크기의 서브블록(L0-P0)은 4 개의 32x32 블록 크기의 서브블록들로 분할되었으므로, 분할 타입 지시 정보 3을 부호화한다. 64x64 블록 크기의 서브블록 내 4 개의 32x32 블록 크기의 서브블록 중 첫 번째 32x32 블록 크기의 서브블록(L1-P0)도 4 개의 16x16 블록 크기의 서브블록으로 분할되었으므로 분할 타입 지시 정보 3을 부호화한다. 레이어 1의 첫 번째 32x32 블록 크기의 서브블록(L1-P0) 내 4 개의 16x16 블록 크기의 서브블록 중 첫 번째 16x16 블록 크기의 서브블록(L2-P0)도 4 개의 8x8 블록 크기의 서브블록으로 분할되었으므로 분할 타입 3을 부호화하고 해당 16x16 블록 크기의 서브블록(L2-P0) 내 4 개의 8x8블록(L3-P0, L3-P1, L3-P2, L3-P3)은 더 이상 작은 서브블록으로 분할되지 않으므로 분할 타입 지시 정보 {3, 3, 0, 0}을 각각 부호화한다. 레이어 3의 서브블록들은 더 작은 서브블록으로 분할될 수 없으므로 레이어 3에 속하는 서브블록들의 분할 타입 지시 정보 는 부호화하지 않는다.
레이어 3 내 서브블록들의 분할 타입 지시 정보를 모두 부호화했으므로 레이어 2의 두번째 16x16 블록 크기의 서브블록(L2-P1)과 세 번째 16x16 블록 크기의 서브블록(L2-P2)의 분할 타입 지시 정보를 부호화하는데, 모두 더 이상 작은 블록으로 분할되지 않았으므로 분할 타입 지시 정보 0을 부호화한다. 네 번째 16x16 블록 크기의 서브블록(L2-P3)은 16x8 블록 크기의 서브블록으로 분할되었지만 분할 타입 지시 정보가 3이 아니므로 분할 타입 지시 정보 1만을 부호화한다. 레이어 2 내의 4 개 서브블록들의 분할 타입 지시 정보를 모두 부호화했으므로 레이어 1의 두 번째 32x32 블록 크기의 서브블록(L1-P1)의 분할 타입 지시 정보를 부호화하는데, 레이어 1의 두 번째 32x32 블록 크기의 서브블록(L1-P1)은 16x32 블록 크기의 서브블록으로 분할되었고 분할된 각 서브블록은 더 이상 작은 서브블록으로 분할되지 않았으므로 분할 타입 지시 정보 2를 부호화한다. 이와 같은 방식으로 레이어 1의 세 번째 32x32 블록 크기의 서브블록(L1-P2)와 레이어 1의 네 번째 32x32 블록 크기의 서브블록(L1-P3) 및 그 하위의 4 개의 16x16 블록 크기의 서브블록(L2-P0, L2-P1, L2-P2, L2-P3)의 분할 타입 지시 정보를 차례로 부호화하면, {1, 3, 0, 0, 0, 0}을 부호화한다.
이와 같은 부호화 방식에 따라 도 11에 도시한 매크로블록의 분할 타입에 대한 정보를 부호화하면, 도 13에 도시한 바와 같이 분할 타입 지시 정보 {3, 3, 3, 3, 3, 0, 0, 0, 0, 1, 2, 1, 3, 0, 0, 0, 0}가 부호화된다.
또한, 분할 타입 지시 정보 부호화는 다음과 같은 순서도 가능하다.
레이어 0의 분할 타입 지시 정보 {3}을 부호화하고 레이어 1의 4 개의 서브블록(L1-P0, L1-P1, L1-P2, L1-P3)의 분할 타입 지시 정보 {3, 2, 1, 3}을 부호화하고 레이어 2의 8 개의 서브블록(L1-P0에 속하는 4 개의 서브블록과 L1-P3에 속하는 4 개의 서브블록)의 분할 타입 지시 정보 {3, 0, 0, 1, 0, 0, 0, 0}을 부호화하고 레이어 3의 4 개의 서브블록(L1-P0 내 L2-P0에 속하는 4 개의 서브블록)의 분할 타입 지시 정보 {3, 3, 0, 0}을 부호화할 수 있다. 이 경우, 분할 타입 지시 정보 {3, 3, 2, 1, 3, 3, 0, 0, 1, 0, 0, 0, 0, 3, 3, 0, 0}가 부호화된다.
이때 분할 타입 지시 정보를 부호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용하여 이진 비트 스트링(Bit String)으로 부호화될 수 있다.
예를 들어, 이진 산술 부호화를 이용하는 경우, 각 분할 타입 지시 정보는 현재 부호화할 분할 타입 지시 정보의 레이어 번호에 따라 다른 이진값(Binary Value)을 이용할 수 있다. 레이어 번호가
Figure PCTKR2010006735-appb-I000026
이하인 경우에는 표 1을 이용하고 레이어 번호가
Figure PCTKR2010006735-appb-I000027
보다 큰 경우에는 표 2를 이용하여 부호화할 수 있다. 예를 들어 도 11의 서브블록(L1-P0)의 분할 타입 지시 정보 3은 표 1을 참고하면 이진수 '01'로 표현될 수 있으므로 이진수 '0'과 '1'을 각각 산술 부호화하여 분할 타입 지시 정보 3을 부호화할 수 있다. 그리고 서브블록(L2-P0)에 속하는 서브블록(L3-P2)의 분할 타입 지시 정보 0은 표 2를 참고하면 이진수 '1'로 표현될 수 있으므로 이진수 '1'을 산술 부호화하여 분할 타입 지시 정보 3을 부호화할 수 있다.
표 1
Figure PCTKR2010006735-appb-T000001
표 2
Figure PCTKR2010006735-appb-T000002
또한, 실제 분할 타입 지시 정보 값을 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
또한 도 34에 도시된 본 발명의 다른 실시예에 따른 분할 타입을 사용하여 매크로블록을 분할하는 경우, 분할 타입 지시 정보는 현재 블록을 4개의 서브블록으로 분할하는지 하지 않는지의 여부를 나타내는 1 비트 길이의 플래그일 수도 있다.
B-1-4-2) 분할정보 부호화 방법 2
매크로블록의 레이어별 분할 타입을 이용하여 블록의 분할 정보를 부호화하는 다른 예로, 분할 정보 부호화기(810)는 트리 구조를 이용하여 블록의 분할 정보를 부호화할 수 있다. 즉, 분할 정보 부호화기(810)는 레이어 번호를 트리 구조를 이용하여 먼저 부호화하고 분할 타입 지시 정보를 부호화함으로써 블록의 분할 정보를 부호화할 수 있다.
이하에서는 도 14 내지 도 18을 통해 트리 구조를 이용하여 블록의 분할 정보를 부호화하는 두번째 방법에 대해 설명한다.
도 14는 본 발명의 다른 실시예에 따라 트리 구조를 이용하여 블록의 분할 정보를 부호화하는 방법을 설명하기 위한 예시도이다.
14A는 매크로블록의 각 서브블록의 레이어 번호를 레벨별로 나타낸 것이고, 14B는 레벨별 각 서브블록의 레이어 번호를 트리 구조의 형식으로 나타낸 것이다.
14A에서 매크로블록은 크기는 NxN 블록 크기이고 도 10에 도시된 분할 타입을 이용하여 매크로블록을 서브블록으로 분할하며, 매크로블록은 Nx(N/2) 블록 크기의 서브블록으로 분할된 경우를 예를 들어 나타내었다. NxN 블록 크기의 매크로블록은 레이어 0에서, 두 개의 Nx(N/2) 블록 크기의 서브블록으로 분할되었으므로 L0-P0 서브블록의 분할 타입 지시 정보는 1이다. 여기서, 각 Nx(N/2) 블록 크기의 서브블록은 모두 레이어 0에 속하므로, 트리의 레벨 1의 두 서브블록의 레이어 번호의 최소값은 0이다. 따라서, 트리의 레벨 0의 레이어 번호는 0이 된다. 한편, 도 14 내지 도 18에서 '01', '1', '001'과 같이 '' 내에 표시되는 숫자는 이진 비트를 나타낸다.
14A에 나타낸 레벨별 각 서브블록의 레이어 번호를 트리의 형식으로 나타내면 14B와 같이 나타낼 수 있다.
상위 노드의 레이어 번호와 부호화하고자 하는 현재 노드의 레이어 번호간의 차이값만큼 '0(1bit)'를 부호화한 후 마지막으로 '1'을 부호화한다. 예를 들어 상위 노드의 레이어 번호와 현재 노드의 레이어 번호 간의 차이값이 3인 경우 이진수 '001'을 부호화하고 차이값이 0인 경우 이진수 '1'을 부호화한다. 레벨 0의 상위 노드는 없으므로 상위 노드의 레이어 번호를 0으로 가정한다. 따라서, 14B에서 레벨 0의 레이어 번호 0과 가정된 상위 노드의 레이어 번호 0과의 차이값은 0이므로 레벨 0의 레이어 번호 0의 이진 비트는 '1'이 된다.
레벨 1의 레이어 번호와 레벨 0의 레이어 번호가 동일하므로 더 이상 레이어 번호를 부호화하지 않아도 되며, 레벨 1의 분할 타입 지시 정보 1을 부호화한다.
분할 타입 지시 정보는 전술한 바와 같이 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용하여 이진 비트 스트링(Bit String)으로 부호화될 수 있다.
또한, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
또한 레이어 번호에 따라 다른 이진값(Binary Value)을 이용할 수 있다.
또한 도 34에 도시된 본 발명의 다른 실시예에 따른 분할 타입을 사용하여 매크로블록을 분할하는 경우, 분할 타입 지시 정보는 현재 블록을 4개의 서브블록으로 분할하는지 하지 않는지의 여부를 나타내는 1 비트 길이의 플래그일 수도 있다.
위의 예에서 분할 타입 지시 정보 1은 전술한 바와 같이 분할 타입 지시 정보값을 이진 비트로 표현될 수 있는데 예를 들면 분할 타입 지시 정보값 0, 1, 2, 3은 종류가 4가지 이므로 2 비트를 할당하여 '00', '01', '10', '11'로 나타낼 수 있고 이 경우 분할 타입 지시 정보 1은 '01'로 표현될 수 있다.
따라서, 최종적으로 14A에 나타낸 매크로블록의 분할 정보를 트리 구조를 이용하여 부호화하는 경우 부호화할 데이터는 '101'이 된다.
도 15 및 도 16은 본 발명의 다른 실시예에 따라 트리 구조를 이용하여 블록의 분할 정보를 부호화하는 방법의 일 예를 설명하기 위한 예시도이다.
도 15에서는 NxN 블록 크기의 매크로블록이 두 개의 (N/2)x(N/4) 블록 크기의 서브블록, 한 개의 (N/2)x(N/2) 블록 크기의 서브블록, 두 개의 (N/4)x(N/2) 블록 크기의 서브블록, 네 개의 (N/4)x(N/4) 블록 크기의 서브블록으로 분할된 경우, 블록의 분할 정보를 트리 구조를 이용하여 부호화하기 위해 레벨별 각 서브블록의 레이어 번호를 결정하는 과정을 예시적으로 나타내었다.
먼저, NxN 블록 크기의 매크로블록으로 레벨 2를 구성하고, 레벨 2의 매크로블록 내 첫 번째 (N/2)x(N/2) 블록 크기의 서브블록에 속하는 두 개의 서브블록의 레이어 번호의 최소값, 두 번째 (N/2)x(N/2) 블록 크기의 서브블록에 속하는 하나의 서브블록의 레이어 번호의 최소값, 세번째 (N/2)x(N/2)블록 크기의 서브블록에 속하는 두 개의 서브블록의 레이어 번호의 최소값, 네 번째 (N/2)x(N/2) 블록 크기의 서브블록에 속하는 4 개의 서브블록의 레이어 번호의 최소값을 모아 레벨 1을 구성한다. 다시 레벨 1 매크로블록 내의 네 개의 서브블록들의 레이어 번호의 최소값을 모아 레벨 0을 구성한다.
도 16에서는 도 15에서 구성된 레벨별 레이어 번호에 따라 트리를 구성하여 레이어 번호와 분할 타입을 부호화하는 과정을 나타내었다.
레벨 0의 부호화할 레이어 번호는 1이고, 레벨 0의 상위 노드는 없으므로 상위 노드의 레이어 번호를 '0'이라고 가정하면, 상위 노드의 레이어 번호와 레벨 0의 레이어 번호의 차이값은 1이므로 레벨 0의 레이어 번호의 이진 비트는 '01'이 된다. 레벨 1의 부호화할 레이어 번호는 각각 1, 1, 1, 1이고 상위 노드(레벨 0)의 레이어 번호는 1이므로 레이어 번호의 차이값은 0이므로 각 레이어 번호의 이진 비트는 '1', '1', '1', '1'이 된다. 레벨 2의 부호화할 레이어 번호는 모두 레이어 1에 속하므로, 더 이상의 레이어 번호는 부호화하지 않아도 된다. 따라서, 분할 타입 지시 정보 1, 0, 2, 3을 부호화한다. 분할 타입 지시 정보는 전술한 바와 같이 레이어 번호에 따라 다른 표를 이용하여 이진 산술 부호화되거나 호프만 부호화되므로, 분할 타입 지시 정보 1, 0, 2, 3의 이진 비트는 각각 예를 들어 '00', '11', '10', '01'과 같이 될 수 있다. 따라서, 최종적으로 부호화할 레이어 번호와 분할 타입 지시 정보는 '01'→'1'→'1'→'1'→'1'→'00'→'11'→'10'→'01'이 되어 '01111100111001'이 부호화되어 부호화된 분할 정보 데이터가 된다.
도 17 및 도 18은 본 발명의 다른 실시예에 따라 트리 구조를 이용하여 블록의 분할 정보를 부호화하는 방법의 다른 예를 설명하기 위한 예시도이다.
도 17에서는 NxN 블록 크기의 매크로블록이 두 개의 (N/2)x(N/4) 블록 크기의 서브블록, 한 개의 (N/2)x(N/2) 블록 크기의 서브블록, 두 개의 (N/4)x(N/2) 블록 크기의 서브블록, 두 개의 (N/32)x(N/16) 블록 크기의 서브블록, 네 개의 (N/32)x(N/32) 블록 크기의 서브블록, 6 개의 (N/16)x(N/16) 블록 크기의 서브블록, 2 개의 (N/4)x(N/4) 블록 크기의 서브블록으로 분할된 경우를 예시적으로 나타내었다. 매크로블록의 네 번째 (N/2)x(N/2) 블록 크기의 서브블록이 4 개의 (N/4)x(N/4) 블록 크기의 서브블록으로 분할되고, 다시 4 개의 (N/4)x(N/4) 블록 크기의 서브블록 중 첫 번째와 두 번째의 (N/4)x(N/4) 블록 크기의 서브블록이 각각 4 개의 (N/16)x(N/16) 블록 크기의 서브블록으로 분할되며, 다시 그 중 첫 번째 (N/4)x(N/4) 블록 크기의 서브블록이 분할된 (N/16)x(N/16) 블록 크기의 서브블록 중 첫 번째와 두 번째 (N/16)x(N/16) 블록 크기의 서브블록이 더 작은 블록으로 분할되었으므로 레이어 번호 2와 3이 도시된 바와 같이 부여되었다.
도 17에 도시된 매크로블록을 도 15를 통해 전술한 방법과 동일한 방법으로 레벨 별 레이어 번호에 따른 트리를 구성하면 도 18과 같이 도시할 수 있다.
도 18에서는 도 17에서 구성된 레벨 별 레이어 번호에 따라 트리를 구성하여 레이어 번호와 분할 타입을 부호화하는 과정을 나타내었다.
도 16을 통해 전술한 방법과 동일한 방법으로 레이어 번호와 분할 타입 지시 정보를 부호화하면 최종적으로 부호화할 데이터는 '01111010111100111010011111011111'이 된다.
B-1-4-3) 분할정보 부호화 방법 3
이하에서는 도 19와 도 20을 통해 블록의 분할 정보를 부호화하는 세번째 방법에 대해 설명한다.
세번째 방법에 따르면, 분할 정보 부호화기(810)는 분할 레이어값과 분할 플래그를 이용하여 블록의 분할 정보를 부호화할 수 있다. 즉, 분할 정보 부호화기(810)는 분할 정보를 부호화할 블록의 블록 타입이 인트라 블록 타입인 경우에는 NxN, (N/2)x(N/2), (N/4)x(N/4) 등 정사각형 형태의 서브블록들만을 이용하여 매크로블록을 분할하고, 각 서브블록의 분할 레이어값과 분할 플래그를 부호화함으로써 블록의 분할 정보를 부호화할 수 있다. 이하에서는 도 19 및 도 20을 통해 분할 레이어값과 분할 플래그를 이용하여 블록의 분할 정보를 부호화하는 방법에 대해 설명한다.
도 19는 본 발명의 다른 실시예에 따른 분할 레이어값에 따라 분할되는 서브블록을 나타낸 예시도이다.
NxN 블록 크기의 매크로블록(단, N은 16 이상의 정수)을 분할 레이어값 0, 1, 2에 따라 분할하면 도 19에 나타낸 바와 같이 서브블록들의 크기와 개수가 결정될 수 있다. NxN 블록 크기의 매크로블록을 분할 레이어값 0으로 분할하면 한 개의 NxN 블록 크기의 서브블록만으로 분할되고, 분할 레이어값 1로 분할하면 네 개의 (N/2)x(N/2) 블록 크기의 서브블록으로 분할되며, 분할 레이어값 2로 분할하면 8 개의 (N/4)x(N/4) 블록 크기의 서브블록으로 분할될 수 있다.
따라서, 임의의 블록의 분할 레이어값을 x라고 가정할 때, 해당 블록의 서브블록의 블록 크기는
Figure PCTKR2010006735-appb-I000028
가 될 수 있다. 예를 들어, 분할 레이어값이 3인 경우, 64x64 블록 크기의 매크로블록은 8x8 블록 크기의 서브블록들로 분할된다. 또한, 8x8 블록 크기의 서브블록의 분할 레이어값이 1인 경우, 8x8 블록 크기의 서브블록은 4x4 블록 크기의 서브블록들로 분할된다.
분할 플래그는 NxN 블록이
Figure PCTKR2010006735-appb-I000029
서브블록으로 분할되었을 때 (즉, 분할레이어 값이 0이 아닐 때) 하나 이상의
Figure PCTKR2010006735-appb-I000030
서브블록 더 작은 서브블록으로 분할되었음을 나타내는 플래그이다.
예를들어 NxN블록이
Figure PCTKR2010006735-appb-I000031
서브블록으로 분할되었고 NxN블록 내 모든
Figure PCTKR2010006735-appb-I000032
서브블록이 더 작은 서브블록으로 분할되지 않았을 경우 분할 플래그는 NxN블록내 모든
Figure PCTKR2010006735-appb-I000033
서브블록은 더 작은 서브블록으로 분할되지 않았음을 나타내는 값(예컨대 0)을 가진다.
만약 NxN블록이
Figure PCTKR2010006735-appb-I000034
서브블록으로 분할되었고 NxN블록내 하나 이상의
Figure PCTKR2010006735-appb-I000035
서브블록이 더 작은 서브블록으로 분할되었을 경우, 분할 플래그를 NxN블록내 모든
Figure PCTKR2010006735-appb-I000036
서브블록은 더 작은 서브블록으로 분할되었음을 나타내는 값(예컨대 1)을 가진다.
분할 플래그가 더 작은 서브블록으로 분할되었음을 나타내는 값인 경우 NxN블록 내 모든
Figure PCTKR2010006735-appb-I000037
서브블록에 대해서 분할 레이어값과 분할 플래그를 부호화하여 각
Figure PCTKR2010006735-appb-I000038
블록의 서브블록 타입을 영상 복호화 장치에 전송한다.
단, 분할 레이어값에 의해 분할된 서브브록의 크기가 최소 블록의 크기인 경우 (즉, 더 작은 서브블록으로 분할할 수 없는 경우), 분할 플래그는 부호화하지 않는다.
상기 전술한 분할 레이어 값과 분할 플래그는 비트스트림에 포함되어 부호화되어 영상 복호화 장치로 전송하는데 분할 레이어값을 부호화하는 방법은 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 전송할 매크로블록 크기를 부호화할 수 있다.
또는 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 방법을 이용하여 부호화할 수도 있다.
또는 영상 부호화 장치와 영상 복호화 장치가 약속한 Table의 인덱스 값을 전술한 다양한 이진 부호화 방법을 이용하여 부호화할 수도 있다.
분할 플래그는 블록이 분할되지 않음 또는 분할됨을 나타내는 1비트를 이용하여 비트스트림에 포함될 수 있다.
도 20은 본 발명의 다른 실시예에 따라 블록의 분할 정보를 분할 레이어값과 분할 플래그를 이용하여 부호화하는 과정을 나타낸 예시도이다.
도 20에서는 매크로블록의 블록 크기가 64x64이고 최대 분할 레이어값이 4인 경우, 분할 레이어값과 분할 플래그를 이용하여 블록의 분할 정보를 부호화하는 예를 나타내었다.
매크로블록이 도시한 바와 같이 분할된 경우, 각 서브블록을 식별하기 위한 레이어별 파티션 번호마다 각 서브블록의 분할 레이어값과 분할 플래그를 도시한 표와 같이 생성하고, L0-P0로부터 L1-P3까지 순차적으로 분할 레이어값과 분할 플래그를 부호화한다. 64x64 블록 크기를 가지는 L0-P0 서브블록은 4 개의 32x32 블록 크기의 서브블록으로 분할되므로, 분할 레이어값은 1이 된다. 각 32x32블록은 더 작은 서브블록으로 분할되었음을 나타내는 값으로 분할 플래그를 설정하고 분할 레이어 값과 분할 플래그를 부호화한다.
32x32 블록 크기의 L1-P0 서브블록은 하위의 서브블록으로 분할되지 않으므로 분할 레이어값은 0이고 분할 플래그는 부호화하지 않아도 된다. 32x32 블록 크기의 L1-P1 서브블록은 16 개의 8x8 블록 크기의 서브 블록들로 분할되므로, 분할 레이어값은 2가 되고, 8x8 블록 크기의 서브블록들이 더 이상 분할되지 않으므로 분할 플래그는 분할하지 않음을 나타내는 0으로 부호화한다. 이때, L1-P1 서브블록의 하위 블록인 L2-P0 내지 L2-P15에 대한 분할 타입은 별도로 부호화하지 않아도 분할 레이어값과 분할 플래그만을 부호화하여 각 서브블록들의 크기와 형태를 영상 복호화 장치에서 식별할 수 있다. 32x32 블록 크기의 L1-P2 서브블록은 4 개의 16x16 블록 크기의 서브블록으로 분할되므로 분할 레이어값은 1이 되고, 더 작은 하위 블록으로 분할되는 서브블록이 있으므로 분할 플래그를 분할함을 나타내는 1로 부호화한다. L1-P2 서브블록의 분할 플래그를 1로 나타내어 더 작은 서브블록으로 분할됨을 나타내었으므로 분할된 각 서브블록 L2-P0 내지 L2-P3에 대한 분할 타입을 부호화해야 한다. 따라서, L2-P0, L2-P1, L2-P2 서브블록의 분할 레이어값 0과 분할 레이어값이 0이므로 분할 플래그는 필요하지 않다. L2-P3 서브블록은 4x4 블록 크기의 서브블록으로 분할되고 분할된 서브블록들은 더 작은 하위 블록으로 분할되지 않므로, 분할 레이어값 2와 분할되지 않음을 나타내는 분할 플래그 0을 부호화해야 하지만, 최대 분할 레이어값이 4이고 L1-P1에서의 분할 레이값이 2이고 L2-P3에서의 분할 레이어값이 2이어서 총 합계의 분할 레이어값이 최대 분할 레이어값과 동일하므로 더 이상 분할될 수 없음을 알 수 있으므로, 분할 플래그를 부호화하지 않아도 된다. 마지막으로 32x32 블록 크기의 L1-P3 서브블록은 4x4 블록 크기를 가지는 64 개의 서브블록들로 분할되므로, 분할 레이어값은 3이고 L2-P3에서와 마찬가지로 최대 분할 레이어값에 도달하여 더 이상 분할될 수 없음을 알 수 있으므로 분할 플래그를 부호화하지 않아도 된다.
이와 같은 방식으로 매크로블록의 각 서브블록을 식별하기 위한 레이어별 파티션 번호에 대해 분할 레이어값과 분할 플래그를 부호화함으로써, 블록의 분할 정보를 부호화할 수 있다.
한편, 도 11 내지 도 13을 통해, 매크로블록의 레이어별 분할 타입 지시 정보를 서브블록의 순서에 따라 순차적으로 부호화함으로써 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 방법에 대해 설명했지만, 서브블록이 반드시 도 11 내지 도 13에 도시한 바와 같이 분할되어야 하는 것은 아니며, 도 21과 같이 매크로블록이 분할된 경우에도 매크로블록의 레이어별 분할 타입 지시 정보를 서브블록의 순서에 따라 순차적으로 부호화함으로써 블록의 분할 정보를 부호화할 수 있다.
B-1-4-4) 분할정보 부호화 방법 4
이하에서는 도 21과 도 22를 통해 블록의 분할 정보를 부호화하는 네번째 방법에 대해 설명한다.
도 21은 본 발명의 다른 실시예에 따라 다양한 블록 크기의 서브블록으로 분할된 매크로블록의 다른 예를 나타낸 예시도이다.
한편, 도 9에서는 레이어 K(단, 0≤K≤log2(N/4))에서 해당 레이어의 서브블록이 4 개의 서브블록으로 분할된 경우에만 레이어 K+1의 서브블록들을 이용할 수 있는 것으로 설명했지만, 도 21에서는 레이어 K에서 해당 레이어의 서브블록이 적어도 하나 이상의 서브블록으로 분할된 경우(즉, 분할 타입 지시 정보가 1, 2 또는 3인 경우), 레이어 K+1의 서브블록들을 이용할 수 있다.
도 21에서는 64x64 블록 크기의 매크로블록이 도시한 바와 같이 2 개의 64x16 블록 크기의 서브블록과 2 개의 32x32 블록 크기의 매크로블록으로 분할된 경우의 예를 나타내었다. '□' 안에 기재된 숫자는 각 서브블록의 분할 타입 지시 정보를 부호화하는 순서를 나타낸다. 매크로블록의 레이어별 분할 타입 지시 정보를 서브블록의 순서에 따라 순차적으로 부호화하면, 도 11에 도시한 순서에 따라 레이어별 분할 타입 지시 정보를 순차적으로 부호화한다.
도 22는 매크로블록의 레이어별 분할 타입 지시 정보를 서브블록의 순서에 따라 순차적으로 부호화하는 과정을 설명하기 위한 다른 예시도이다.
도 21에 도시한 매크로블록의 각 서브블록의 분할 타입에 대한 정보를 부호화하면 도 22와 같이 부호화할 수 있다. 매크로블록의 레이어별 분할 타입 지시 정보를 서브블록의 순서에 따라 순차적으로 부호화하면, 도 11에 도시한 순서에 따라 레이어별 분할 타입 지시 정보를 순차적으로 부호화한다.
이때 분할 타입 지시 정보는 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용하여 이진 비트 스트링(Bit String)으로 부호화될 수 있다.
또는, 실제 분할 타입 지시 정보 값을 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
또한 도 34에 도시된 본 발명의 다른 실시예에 따른 분할 타입을 사용하여 매크로블록을 분할하는 경우, 분할 타입 지시 정보는 현재 블록을 4개의 서브블록으로 분할하는지 하지 않는지의 여부를 나타내는 1 비트 길이의 플래그일 수도 있다.
B-1-5) 부호화 순서도 설명
도 23은 본 발명의 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 다른 실시예에 따른 영상 부호화 방법에 따르면, 영상 부호화 장치(800)는 복수 개의 서브블록으로 분할되는 현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하고(S2310), 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하며(S2320), 부호화된 영상 데이터 및 부호화된 분할 정보 데이터를 포함하는 비트스트림을 생성한다(S2330).
여기서, 현재 블록은 16x16 블록 크기를 초과하는 매크로블록일 수 있으며, 분할 정보는 현재 블록 내에 포함되는 복수 개의 서브블록의 블록 크기와 배치일 수 있다.
복수 개의 서브블록은 분할 레이어별 분할 타입 지시 정보에 의해 식별될 수 있는데, 이 경우 단계 S2320에서, 영상 부호화 장치(800)는 분할 레이어별 분할 타입 지시 정보를 분할 타입 지시 정보 부호화 순서에 따라 순차적으로 부호화함으로써 현재 블록의 분할 정보를 부호화하거나, 트리 구조를 이용하여 레이어 번호와 분할 타입 지시 정보를 부호화함으로써 현재 블록의 분할 정보를 부호화할 수 있다.
또한, 영상 부호화 장치(800)는 분할 레이어값과 분할 플래그를 이용하여 현재 블록의 분할 정보를 부호화할 수 있는데, 현재 블록의 블록 타입이 인트라 블록 타입인 경우에만 분할 레이어값과 분할 플래그를 이용하여 현재 블록의 분할 정보를 부호화할 수 있다. 영상 부호화 장치(800)가 현재 블록의 분할 정보를 부호화하는 방법에 대해서는 도 8 내지 도 22를 통해 전술하였으므로 상세한 설명은 생략한다.
B-2) 실시예 2의 영상 복호화 장치
B-2-1) 복호화 장치 블록도 및 설명
도 24는 본 발명의 다른 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 복호화 장치(2400)는 분할 정보 복호화기(2410) 및 영상 복호화기(2420)를 포함하여 구성될 수 있다.
분할 정보 복호화기(Partition Information Decoder, 2410)는 비트스트림으로부터 부호화된 분할 정보 데이터를 추출하고 복호화하여 현재 블록의 분할 정보를 복원한다. 여기서, 현재 블록의 분할 정보는 분할 레이어별 분할 타입 지시 정보이거나, 트리 구조를 이용한 레이어 번호와 분할 타입 지시 정보이거나, 분할 레이어값과 분할 플래그일 수 있다. 현재 블록의 분할 정보가 분할 타입 지시 정보 부호화 순서에 따른 분할 레이어별 분할 타입 지시 정보인 경우, 분할 정보 복호화기(2410)는 부호화된 분할 정보 데이터를 복호화하여 도 13에 도시한 표와 같은 분할 레이어별 분할 타입 지시 정보를 얻을 수 있으며, 도 13에 도시한 표와 같은 분할 타입 지시 정보 부호화 순서로 분할 레이어별로 분할 타입 지시 정보에 따라 현재 블록을 복수 개의 서브블록으로 분할하여 도 11과 같은 복수 개의 서브블록으로 분할된 현재 블록을 얻을 수 있다.
현재 블록의 분할 정보가 트리 구조를 이용한 레이어 번호와 분할 타입 지시 정보인 경우, 분할 정보 복호화기(2410)는 부호화된 분할 정보 데이터를 복호화하여 도 16에 도시한 바와 같이 트리 구조로 표현된 레이어 번호와 분할 타입 지시 정보를 얻을 수 있으며, 도 16에 도시한 트리 구조로 표현된 레이어 번호와 분할 타입 지시 정보를 이용하여 도 15 및 도 16을 통해 전술한 방법을 역으로 수행하여 도 15에 도시한 바와 같은 복수 개의 서브블록으로 분할된 현재 블록을 얻을 수 있다.
현재 블록의 분할 정보가 분할 레이어값과 분할 플래그인 경우, 분할 정보 복호화기(2410)는 부호화된 분할 정보 데이터를 복호화하여 도 20에 도시한 표와 같은 분할 레이어값과 분할 플래그를 얻을 수 있으며, 도 20을 통해 전술한 방법을 역으로 수행하여 도 20에 도시한 바와 같은 복수 개의 서브블록으로 분할된 현재 블록을 얻을 수 있다.
영상 복호화기(2420)는 도 7을 통해 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치와 동일 또는 유사하게 구성될 수 있다. 다만, 본 발명의 다른 실시예에 따른 영상 복호화기(2420)는 분할 정보 복호화기(2410)에 의해 복원되는 현재 블록의 분할 정보에 따라 분할된 서브블록들의 부호화된 영상 데이터를 추출하여 복호화한 후 각 서브블록들을 예측 복호화하여 복원한다. 이때 영상 복호화기(2420)가 비트스트림으로부터 추출하는 영상 데이터는 각 서브블록들의 예측 데이터 및/또는 변환타입, CBP, 변환계수와 같은 잔여 신호 복호화에 필요한 데이터일 수 있으며 여기서 예측 데이터는 각 서브블록이 인트라 블록인지 인터 블록인지를 나타내는 데이터와 인트라 블록에 대해서는 인트라 예측 모드, 인터 블록에 대해서는 움직임 정보를 나타낸다.
B-2-2) 분할정보 복호화 방법
이하에서는, 매크로블록 내 예측 또는 변환을 위해 사용된 서브블록들의 크기와 모양을 나타내는 정보인 분할 정보를 복호화하는 본 발명의 실시예에 따른 다양한 방법들을 설명한다.
B-2-2-1) 분할정보 복호화 방법 1
먼저 분할 정보를 부호화하는 첫번째 방법에 따른 복호화 방법을 설명한다.
영상 부호화 장치와 약속된 레이어별 사용 가능한 서브블록 타입을 이용하여 분할 타입 지시 정보를 영상 부호화 장치와 약속된 순서로 복호화를 수행한다. 예를 들어 레이어별 사용 가능한 서브블록 타입은 도 10과 도 34에 도시된 서브블록 타입일 수 있으며 분할 타입 지시 정보를 복호화하는 순서는 도 11 또는 도 13에 도시된 순서에 따라 순차적으로 복호화할 수 있다.
이하에서는 첫번째 분할 정보 부호화방법에 설명을 위해 사용한 예시와 동일한 조건에서의 복호화 방법을 설명하도록 한다. 도 10에 도시한 서브블록 타입을 이용하여 도 11에 도시된 순서를 이용하여 분할 정보를 복호화한다.
분할 정보 복호화기(Partition Information Decoder, 2410)는 비트스트림으로부터 첫번째 분할 타입 지시 정보를 추출하고 복호화하여 매크로블록 레이어 0의 분할 타입 지시 정보를 복원한다. 복원한 분할 타입 지시 정보값이 0인 경우 매크로블록은 서브블록으로 분할되지 않았음을 의미하므로 현재 매크로블록의 분할 타입 지시 정보 복호화를 끝낸다. 이후 매크로블록 NxN 크기로 예측 또는 역변환이 수행된다.
복원한 레이어 0의 분할 타입 지시 정보가 1인 경우 매크로블록을 두 개의
Figure PCTKR2010006735-appb-I000039
서브블록으로 분할하고 현재 매크로블록의 분할 타입 지시 정보 복호화를 마친다. 이후 매크로블록은
Figure PCTKR2010006735-appb-I000040
단위로 예측 또는 역변환이 수행된다.
복원한 레이어 0의 분할 타입 지시 정보값이 2인 경우 매크로블록을 두 개의
Figure PCTKR2010006735-appb-I000041
서브블록으로 분할하고 현재 매크로블록의 분할 타입 지시 정보 복호화를 마친다. 이후 매크로블록은
Figure PCTKR2010006735-appb-I000042
단위로 예측 또는 역변환이 수행된다.
복원한 레이어 0의 분할 타입 지시 정보값이 3인 경우 매크로블록을 네 개의
Figure PCTKR2010006735-appb-I000043
서브블록으로 첫번째 서브블록 (레이어 1의 파티션 번호 0인 서브블록)의 분할 타입 지시 정보를 복호화한다. 여기서
Figure PCTKR2010006735-appb-I000044
서브블록들의 레이어 번호는 상위 레이어 번호에서 1이 증가한 값으로 1이 된다.
비트스트림으로부터 추출하여 복호화한 레이어 1의 파티션 번호 0인 서브블록의 분할 타입 지시 정보가 3이 아닌 경우 매크로블록내 두번째
Figure PCTKR2010006735-appb-I000045
서브블록(레이어 1의 파티션 번호 1인 블록)의 분할 타입 지시 정보를 복호화한다.
비트스트림으로부터 추출하여 복호화한 레이어 1의 파티션 번호 0인 서브블록의 분할 타입 지시 정보가 3인 경우, 현재 서브블록은 4개의 서브블록으로 나뉘어지며 이때의 레이어 번호는 2가 된다. 이후 레어어 2의 파티션 번호 0에 해당하는 서브블록의 분할 타입 지시 정보를 비트스트림으로부터 추출하여 복호화한다.
만약 파티션 번호가 Y인 현재 서브블록의 레이어 번호 K가 레이어 번호가 가질 수 있는 최대값인 경우, 복호화 한 현재 서브블록(즉, 레이어 K-파티션 번호 Y)의 분할 타입 지시 정보가 3이면 현재 서브블록을 4개의 서브블록으로 분할한 후 래스터 스캔 순서로 다음 서브블록(레이어 K-파티션 번호 Y+1 인 서브블록)의 분할 타입 지시 정보를 복호화한다.
만약 현재 서브블록의 파티션 번호가 현재 레이어에 속하는 파티션 번호의 최대값인 경우, 상위 레이어의 아직 복호화하지 않은 서브블록들의 분할 타입 지시 정보를 복호화한다.
이하에서는 매크로블록의 크기가 64x64, 최대 분할 레이어가 4인 경우, 도 11의 실시예에 따른 복호화 방법을 설명한다. 도 11의 실시예에서 영상 부호화 장치에서 분할 타입 지시 정보로 부호화한 값은 {3, 3, 3, 3, 3, 0, 0, 0, 0, 1, 2, 1, 3, 0, 0, 0, 0}이다.
먼저 레이어 0의 분할 타입 지시 정보를 복호화한다.
복호화한 분할 타입 지시 정보가 3이므로 64x64 매크로블록을 4개의 32x32블록(L1-P0, L1-P1, L1-P2, L1-P3)으로 분할한다.
각 32x32 서브블록은 더 작은 서브블록으로 분할될 수 있으므로 64x64 매크로블록 내 첫번째 32x32 서브블록 (L1-P0)의 분할 타입 지시 정보를 복호화한다.
두번째로 복호화한 분할 타입 지시 정보가 3이므로 L1-P0 서브블록을 4개의 16x16서브블록(L2-P0, L2-P1, L2-P2, L2-P3)으로 분할하고 L2-P0의 분할 타입 지시 정보를 비트스트림으로부터 추출하여 복호화한다.
세번째로 복호화한 분할 지시 정보가 3이므로 16x16크기의 L2-P0 서브블록을 4개의 8x8 서브블록 (L3-P0, L3-P1, L3-P2, L3-P3)으로 분할하고 L3-P0의 분할 타입 지시 정보를 비트스트림으로부터 추출하여 복호화한다.
네번째로 복호화한 분할 지시 정보가 3이므로 8x8크기의 L3-P0 서브블록을 4개의 4x4 서브블록으로 분할한다. 여기서 4x4 서브블록의 최대 분할 레이어가 4이므로 더 이상 작은 서브블록으로 분할될 수 없으므로 L3-P1의 분할 타입 지시 정보를 비트스트림으로부터 추출하여 복호화한다.
다섯번째로 복호화한 분할 지시 정보가 3이므로 8x8크기의 L3-P1 서브블록을 4개의 4x4 서브블록으로 분할하고 L3-P2의 분할 타입 지시 정보를 비트스트림으로부터 추출하여 복호화한다.
여섯번째로 복호화한 분할 지시 정보가 0이므로 8x8크기의 L3-P2 서브블록은 분할하지 않으며 다음 서브블록인 L3-P3의 분할 타입 지시 정보를 비트스트림으로부터 추출하여 복호화한다.
일곱번째로 복호화한 분할 지시 정보가 0이므로 8x8크기의 L3-P3 서브블록도 분할하지 않는다. 여기서 현재 서브블록의 파티션 번호가 현재 레이어어 속하는 파티션 번호의 최대값이므로 상위 레이어 L2-P1의 분할 타입 지시 정보를 비트스트림으로부터 추출하여 복호화한다.
여덟번째로 복호화한 분할 지시 정보가 0이므로 L2-P1의 블록크기는 16x16이된다.
동일한 방식으로 L2-P2와 L2-P3의 분할 타입 지시 정보를 비트스트림으로부터 추출하여 복호화하여 각각의 서브블록 타입을 결정한다.
여덟번째로 복호화한 분할 지시 정보도 0이므로 L2-P2의 블록크기는 16x16이고 열번째로 복호화한 분할 지시 정보는 1이므로 L2-P3는 두개의 16x8 서브블록으로 분할한다.
레이어 2에 속하는 서브블록들의 분할 지시 정보를 모두 복호화했으므로 상위 레이어인 레이어 1의 두번째 32x32 크기의 서브블록 L1-P1의 분할 타입 지시 정보를 복호화한다.
열한번째로 복호화한 분할 지시 정보는 2이므로 L1-P1에 해당하는 32x32블록을 두개의 16x32 서브블록으로 분할하고 L1-P2의 분할 타입 지시 정보를 복호화한다.
열두번째로 복호화한 분할 지시 정보는 1이므로 L1-P2에 해당하는 32x32블록을 두개의 32x16 서브블록으로 분할하고 L1-P3의 분할 타입 지시 정보를 복호화한다.
열세번째로 복호화한 분할 지시 정보는 3이므로 L1-P3에 해당하는 32x32블록을 네개의 16x16서브블록(L2-P0, L2-P1, L2-P2, L2-P3)으로 분할하고 동일한 방법으로 각 서브블록들의 분할 타입 지시 정보를 복호화한다.
열네번째로 복호화한 분할 지시 정보는 0이므로 L2-P0의 서브블록 타입은 16x16이며 더 이상 분할되지 않았으므로 다음 서브블록인 L2-P1이 분할 타입 지시 정보를 복호화한다.
열다섯번째로 복호화한 분할 지시 정보는 0이므로 L2-P1의 서브블록 타입은 16x16이며 더 이상 분할되지 않았으므로 다음 서브블록인 L2-P2이 분할 타입 지시 정보를 복호화한다.
열여섯번째로 복호화한 분할 지시 정보는 0이므로 L2-P2의 서브블록 타입은 16x16이며 더 이상 분할되지 않았으므로 다음 서브블록인 L2-P3이 분할 타입 지시 정보를 복호화한다.
열일곱번째로 복호화한 분할 지시 정보는 0이므로 L2-P3의 서브블록 타입은 16x16이며 매크로블록 내 모드 서브블록들의 타입이 결정되었으므로 현재 매크로블록 복호화를 위한 분할 지시 정보 복호화를 마친다.
이하에서는 분할 타입 지시 정보 부호화 순서가 상위 레이어의 분할 타입 지시 정보를 모두 부호화하고 하위 레이어의 분할 지시 정보를 부호화할 때 분할 타입 지시 정보를 복호화하는 방법을 도 11의 실시예를 사용하여 설명하면 다음과 같다.
도 11의 실시예에서 영상 부호화 장치에서 분할 타입 지시 정보로 부호화한 값은 {3, 3, 2, 1, 3, 3, 0, 0, 1, 0, 0, 0, 0, 3, 3, 0, 0}이다.
먼저 레이어 0의 분할 타입 지시 정보를 복호화한다.
레이어 0의 분할 타입 지시 정보가 3이므로 64x64 매크로블록을 4개의 32x32블록(L1-P0, L1-P1, L1-P2, L1-P3)으로 분할한다.
레이어 1에 속하는 서브블록은 4개이므로 4개의 분할 타입 지시 정보를 복호화한다. 비트스트림으로부터 복원한 서브블록(L1-P0, L1-P1, L1-P2, L1-P3)의 분할 타입 지시 정보 {3, 2, 1, 3}이므로 L1-P0와 L1-P3은 4개의 16x16으로 분할하고, L1-P1은 두개의 16x32블록, L1-P2은 두개의 32x16 블록으로 분할한다.
L1-P0와 L1-P3에 속하는 레이어2의 8개의 8x8 서브블록들의 분할 타입 지시 정보를 비트스트림으로부터 추출하고 복호화한다.
복원한 L1-P0에 속하는 4개의 서브블록 (L2-P0, L2-P1, L2-P2, L2-P3)의 분할 타입 지시 정보가 {3, 0, 0, 1}이고 L1-P3에 속하는 4개의 서브블록 (L2-P0, L2-P1, L2-P2, L2-P3)의 분할 타입 지시 정보가 {0, 0, 0, 0}이므로 L1-P0에 속하는 L2-P0은 4개의 4x4 서브블록으로 분할하고, L2-P3은 두개의 8x4 서브블록으로 분할한다.
L1-P0에 속하는 L2-P1, L2-P2과 L1-P3에 속하는 4개의 서브블록들은 분할 타입 지시 정보가 모두 0이므로 분할하지 않는다.
L1-P0에 속하는 서브블록 L2-P0은 4개의 서브블록으로 분할되었지만 더 이상 작은 서브블록으로 분할될 수 없으므로 현재 매크로블록 복호화를 위한 분할 타입 지시 정보 복호화를 마친다.
이때 분할 타입 지시 정보를 엔트로피 복호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화/복호화 방법들 중 영상 부호화 장치와 약속된 방법을 이용해서 엔트로피 복호화한다.
또한, 실제 분할 타입 지시 정보 값을 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 복호화할 수 있다.
또한, 영상 부호화 장치에서 분할 타입 지시 정보 부호화 방법으로 이진 산술 부호화를 이용하고, 레이어 번호가
Figure PCTKR2010006735-appb-I000046
이하인 경우에는 표 1을 이용하고 레이어 번호가
Figure PCTKR2010006735-appb-I000047
보다 큰 경우에는 표 2를 이용하여 부호화한 경우 영상 복호화 장치는 분할 타입 지시 정보의 레이어 번호에 따라 표 1과 표 2를 이용하여 엔트로피 복호화를 수행한다.
예를들어 64x64 매크로블록에 대해서 레이어 1에 속하는 분할 타입 지시 정보를 엔트로피 복호화할 때 2비트를 엔트로피 복호화한 후 표 1을 이용하여 분할 타입 지시 정보를 얻는다.
64x64매크로블록에 대해서 레이어 3에 속하는 분할 타입 지시 정보를 엔트로피 복호화 할 때는 표2를 사용한다. 먼저 1비트를 엔트로피 복호화 한 후 복호화 한 이진 비트가 1인 경우 분할 타입 지시 정보를 0으로 설정하고 현재 서브블록의 분할 타입 지시 정보 엔트로피 복호화를 마친다. 만약 복호화 한 이진비트가 1이 아닌 경우, 비트스트림으로부터 1비트를 더 엔트로피 복호화하고 두번째로 복호화 한 비트가 0인 경우 현재 서브블록의 분할 타입 지시 정보를 1로 설정하고 현재 서브블록의 분할 타입 지시 정보를 위한 엔트로피 복호화를 마친다. 두번째로 복호화 한 비트가 1인 경우에는 비트스트림으로부터 1비트를 더 엔트로피 복호화하여 현재 서브블록의 분할 타입 지시 정보가 2인지 3인지를 표 2를 이용하여 판단한다.
또한 도 34에 도시된 본 발명의 다른 실시예에 따른 분할 타입을 사용하도록 영상 부호화 장치와 약속된 경우, 분할 타입 지시 정보 복호화를 위해 1비트를 엔트로피 복호화하여 현재 서브블록이 4개의 서브블록으로 분할되었는지의 여부를 판단할 수도 있다.
B-2-2-2) 분할정보 복호화 방법 2
이하에서는 분할 정보를 부호화하는 두번째 방법에 따른 복호화 방법을 설명한다.
두번째 방법에 따르면, 레이어 번호를 트리 구조를 이용하여 먼저 복호화하고 분할 타입 지시 정보를 복호화함으로써 블록의 분할 정보를 복호화할 수 있다.
레이어 번호를 복호화하는 방법은 비트스트림으로부터 이진 비트 0과 1을 복호화하여 현재 레벨의 레이어 번호와 상위 레벨의 레이어 번호의 차이값을 복원한다. 이때 차이값을 복원하기 위해 비트스트림으로부터 한 비트를 읽어들여 복호화하고 복호화한 이진 비트가 0인 경우 비트스트림으부터 한 비트를 더 읽어들여 복호화한다. 이와 같은 방식으로 이진 비트1이 복원될 때까지 이진 비트 0을 계속 복원하고 복원한 이진비트가 1인 경우 더 이상 비트를 읽어 들여 복호화하지 않으며 차이값은 복원된 0의 개수가 된다.
레벨 0의 레이어 번호를 복원을 시작하며 레이어 번호 복원을 위해서 비트스트림으로부터 전술한 방법을 이용하여 레벨 0의 레이어번호와 0과의 차이값을 복원한다. 복원한 레벨 0의 레이어 번호가 레벨의 숫자 0보다 크면 현재 노드에 자식 노드를 생성하여 트리를 구성한다. 새로 생성된 자식노드들의 개수는 영상 부호화 장치와 약속한 서브블록 분할 방식에 따라 달라지며, 도 9에 도시한 서브블록 분할 방식을 따르면 현재 서브블록이 4개의 서브블록으로 분할된 경우에만 하위 레이어에 속한 서브블록들을 사용할 수 있으므로 4개의 자식 노드들을 생성한다. 새로 생성된 노드들은 상위 노드의 레벨값보다 1이 증가된 레벨값을 가진다.
즉, 복원한 레벨 0의 레이어 번호가 레벨값 0보다 크면 레벨 1에 속하는 자식 노드 4개를 생성하여 트리를 구성한다.
이후 새로 생성된 각 노드들의 레이어 번호를 복원하기 위한 4개의 차이값을 비트스트림으로부터 추출하여 복원하고 각 차이값을 상위 노드의 레이어 번호와 더해서 각 노드들의 레이어 번호를 복원한다.
동일한 방식으로 각 노드의 복원한 레이어 번호와 노드의 레벨값이 같으면 해당 노드에 대해서 하위레벨에 속하는 자식노드를 구성하지 않으며, 반대로 노드의 복원한 레이어 번호가 노드의 레벨값보다 크면 해당 노드에 대해서는 4개의 자식 노드 4개를 생성하고 새로 구성된 노드들의 레이버 번호 복호화를 수행한다.
단, 복원한 레이이어 번호가 레이어 번호가 가질 수 있는 최대값인 경우 (즉, 레이어 번호는 0부터 시작할 때 레이어 번호가 가질 수 있는 최대값은 '최대분할 레이어값 -1'이다. 현재 노드에 대해서 자식 노드 4개를 생성하지만 각 노드들의 레이어 번호 복호화는 수행하지 않는다.
가장 하위의 노드들의 레이어 번호가 각 노드들의 레벨번호와 동일하거나 레이어 번호가 가질수 있는 최대값을 가질 때까지 트리를 구성하고 각 노드들의 레이어 번호 복원을 계속 수행한다.
이 후, 가장 하위 노드들에 대해서 분할 타입 지시 정보 복호화를 수행한다. 각 노드들의 분할 타입 지시 정보를 복호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화/복호화 방법들 중 영상 부호화 장치와 약속된 방법을 이용해서 엔트로피 복호화한다.
또한, 실제 분할 타입 지시 정보 값을 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 복호화할 수 있다.
또한, 영상 부호화 장치에서 분할 타입 지시 정보 부호화 방법으로 이진 산술 부호화를 이용하고, 레이어 번호가
Figure PCTKR2010006735-appb-I000048
이하인 경우에는 표 1을 이용하고 레이어 번호가
Figure PCTKR2010006735-appb-I000049
보다 큰 경우에는 표 2를 이용하여 부호화한 경우 영상 복호화 장치는 분할 타입 지시 정보의 레이어 번호에 따라 표 1과 표 2를 이용하여 엔트로피 복호화를 수행한다. 예를 들어 레이어 1에 속하는 분할 타입 지시 정보를 엔트로피 복호화할 때 2비트를 엔트로피 복호화한 후 표 1을 이용하여 분할 타입 지시 정보를 얻고 레이어 3에 속하는 분할 타입 지시 정보를 엔트로피 복호화할 때는 표2를 사용한다. 예를 들어, 먼저 1비트를 엔트로피 복호화한 후 복호화한 이진 비트가 1인 경우 분할 타입 지시 정보를 0으로 설정하고 현재 서브블록의 분할 타입 지시 정보 엔트로피 복호화를 마친다. 만약 복호화한 이진비트가 1이 아닌 경우, 비트스트림으로부터 1비트를 더 엔트로피 복호화하고 두번째로 복호화한 비트가 0인 경우 현재 서브블록의 분할 타입 지시 정보를 1로 설정하고 현재 서브블록의 분할 타입 지시 정보를 위한 엔트로피 복호화를 마친다. 두번째로 복호화한 비트가 1인 경우에는 비트스트림으로부터 1비트를 더 엔트로피 복호화하여 현재 서브블록의 분할 타입 지시 정보가 2인지 3인지를 표 2를 이용하여 판단한다.
또한 도 34에 도시된 본 발명의 다른 실시예에 따른 분할 타입을 사용하도록 영상 부호화 장치와 약속된 경우, 분할 타입 지시 정보 복호화를 위해 1비트를 엔트로피 복호화하여 현재 서브블록이 4개의 서브블록으로 분할되었는지의 여부를 판단할 수도 있다.
이하에서는 도 14의 실시예에 따른 복호화 방법을 설명한다. 도 14의 실시예에서 영상 부호화 장치에서 분할 정보로 부호화한 이진 비트값은 '101'이다.
먼저, 레벨 0의 레이어 번호를 복원하기 위해 1 비트를 비트스트림으로부터 추출하여 복원한다. 비트스트림으로부터 추출한 비트가 '1'이므로 레벨 0의 레이어 번호를 복원하기 위한 차이값은 0이 되며, 레벨 0인 경우 상위 노드가 존재하지 않으므로 영상 부호화 장치와 약속한 값 0과 복원한 차이값을 더해서 레벨 0의 레이어값을 복원한다. 이 경우 차이값이 0이므로 레벨 0의 복원한 레이어 값은 0이 된다.
복원한 레이어 값과 레벨값이 둘다 0이므로 레이어 번호 복호화 과정을 마치고 분할 타입 지시 정보를 복호화한다.
도 14의 실시예에서는 분할 타입 지시 정보를 부호화할 때 분할 타입 지시 정보값을 그대로 이진 비트로 표현하는 방법을 사용했으므로 영상 복호화 장치도 동일한 방법으로 비트스트림으로부터 2비트를 추출하여 값을 복원한다. 이진 비트 '01'을 정수로 표현하면 1이므로 복원한 분할 타입 지시 정보는 1이 된다.
복원한 레이어 값과 분할 타입 지시 정보를 이용하여 매크로블록의 서브 블록 모양을 판단하면 매크로블록내 모든 서브블록은 레이어 0에 속하므로 서브블록은 레이어 0에 속하는 서브블록 타입인 64x64, 64x32, 32x64, 32x32 중 한 가지이며 이중 분할 타입 지시 정보가 0이므로 매크로블록은 두개의 64x32 서브블록으로 분할되었음을 알 수 있다.
이하에서는 도 15 및 도 16의 실시예에 따른 복호화 방법을 설명한다. 도 16의 실시예에서 영상 부호화 장치에서 분할 정보로 부호화한 이진 비트값은 '01111100111001'이다.
먼저, 레벨 0의 레이어 번호를 복원하기 위해 1 비트를 비트스트림으로부터 추출하여 복원한다. 비트스트림으로부터 추출한 비트가 '0'이므로 비트스트림으로부터 한 비트를 더 추출하여 복원한다. 두번째로 복원한 비트는 1이므로 레벨 0의 레이어 번호를 위한 차이값 복원을 끝낸다. 차이값 복원을 위해 추출한 비트스트림은 '01'이므로 차이값은 0의 개수인 1이 되고 복원한 차이값을 0과 더한 값 1을 레벨 0의 레이어 번호로 할당한다.
복원한 레벨 0의 레이어 번호1은 레벨 값인 0보다 크므로 현재 노드에 레벨 1에 속하는 자식 노드 4개를 생성한다.
레벨 1의 첫번째 노드의 레이어 번호 복원을 위해 비트스트림으로부터 한 비트를 추출한다. 세번째로 추출한 비트는 '1'이므로 차이값은 0이 된다. 복원한 차이값과 레벨 1의 첫번째 노드의 상위 노드인 레벨 0의 레이어 번호를 더하여 첫번째 노드의 레이어 번호 1을 복원한다. 복원한 레벨 1의 레이어 번호 1과 레벨값 1이 동일하므로 레벨 1의 두번째 노드를 위한 차이값 복호화를 시작한다.
레벨 1의 두번째 노드의 레이어 번호 복원을 위해 비트스트림으로부터 한 비트를 추출한다. 네번째로 추출한 비트는 '1'이므로 차이값은 0이 된다. 복원한 차이값과 레벨 1의 두번째 노드의 상위 노드인 레벨 0의 레이어 번호를 더하여 두번째 노드의 레이어 번호 1을 복원한다. 복원한 레벨 1의 레이어 번호 1과 레벨값 1이 동일하므로 레벨 1의 세번째 노드를 위한 차이값 복호화를 시작한다.
레벨 1의 세번째 노드의 레이어 번호 복원을 위해 비트스트림으로부터 한 비트를 추출한다. 다섯번째로 추출한 비트는 '1'이므로 차이값은 0이 된다. 복원한 차이값과 레벨 1의 세번째 노드의 상위 노드인 레벨 0의 레이어 번호를 더하여 세번째 노드의 레이어 번호 1을 복원한다. 복원한 레벨 1의 레이어 번호 1과 레벨값 1이 동일하므로 레벨 1의 네번째 노드를 위한 차이값 복호화를 시작한다.
레벨 1의 네번째 노드의 레이어 번호 복원을 위해 비트스트림으로부터 한 비트를 추출한다. 여섯번째로 추출한 비트는 '1'이므로 차이값은 0이 된다. 복원한 차이값과 레벨 1의 네번째 노드의 상위 노드인 레벨 0의 레이어 번호를 더하여 네번째 노드의 레이어 번호 1을 복원한다.
레벨 1에 속하는 모든 노드들의 레이어 번호를 복원했고 레벨 2에 속하는 노드들이 존재하지 않으므로 레이어 번호 복호화를 마치고 최하위 레벨의 각 노드들에 대해서 분할 타입 지시 정보 복호화를 수행한다.
도 15 및 도 16의 실시예에서는 분할 타입 지시 정보를 부호화할 때 분할 타입 지시 정보 0, 1, 2, 3에 이진비트 '11', '00', '10', '01'를 할당하여 부호화하였으므로 영상 복호화 장치도 동일한 방법으로 비트스트림으로부터 각 노드들에 대해서 2비트를 추출하여 분할 지시 정보를 복원한다.
본 실시예에서 최하위 레벨에 속하는 노드는 레벨 1에 속하는 노드 4개가 있으므로 각 노드들에 대해서 비트스트림으로부터 2비트를 추출하여 분할 타입 지식 정보를 복원한다.
비트스트림으로부터 추출한 일곱번째와 여덟번째 비트가 '00'이므로 첫번째 노드에 대한 분할 타입 지시 정보는 1이고, 비트스트림으로부터 추출한 아홉번째와 열번째 비트가 '11'이므로 두번째 노드에 대한 분할 타입 지시 정보는 0, 비트스트림으로부터 추출한 열한번째와 열두번째 비트가 '10'이므로 세번째 노드에 대한 분할 타입 지시 정보는 2, 비트스트림으로부터 추출한 열세번째와 열네번째 비트가 '01'이므로 네번째 노드에 대한 분할 타입 지시 정보는 3이 된다.
복원한 레이어 값과 분할 타입 지시 정보를 이용하여 매크로블록의 서브 블록 모양을 판단하면 매크로블록 내 모든 서브블록은 레이어 1에 속하므로 64x64 매크로블록은 4개의 32x32 서브블록으로 분할되고 각 32x32 서브블록들은 각각 레이어 1에 속하는 서브블록 타입인 32x32, 32x16, 16x32, 16x16 중 한 가지 서브블록 타입을 가진다.
첫번째 서브블록의 복원한 분할 타입 지시 정보가 1이므로 첫번째 32x32 서브블록은 두개의 32x16 서브블록으로 분할되었고 두번째 서브블록의 복원한 분할 타입 지시 정보가 0이므로 두번째 32x32 서브블록은 한 개의 32x32 서브블록 타입으로 결정되었음을 알 수 있다. 이와 동일한 방법으로 세번째 서브블록의 복원한 분할 타입 지시 정보가 2이므로 세번째 32x32 서브블록은 두 개의 16x32 서브블록으로 분할되었고 네번째 서브블록의 복원한 분할 타입 지시 정보가 3이므로 네번째 32x32 서브블록은 네 개의 16x16 서브블록으로 분할되어 도 15와 같음을 알 수 있다.
이하에서는 도 17 및 도 18의 실시예에 따른 복호화 방법을 설명한다. 도 18의 실시예에서 영상 부호화 장치에서 분할 정보로 부호화한 이진 비트값은 '01111010111100111010011111011111'이다.
먼저, 레벨 0의 레이어 번호를 복원하기 위해 1 비트를 비트스트림으로부터 추출하여 복원한다. 비트스트림으로부터 추출한 비트가 '0'이므로 비트스트림으로부터 한 비트를 더 추출하여 복원한다. 두번째로 복원한 비트는 1이므로 레벨 0의 레이어 번호를 위한 차이값 복원을 끝낸다. 차이값 복원을 위해 추출한 비트스트림은 '01'이므로 차이값은 0의 개수인 1이 되고 복원한 차이값을 0과 더한 값 1을 레벨 0의 레이어 번호로 할당한다.
복원한 레벨 0의 레이어 번호1은 레벨 값인 0보다 크므로 현재 노드에 레벨 1에 속하는 자식 노드 4개를 생성한다.
레벨 1의 첫번째 노드의 레이어 번호 복원을 위해 비트스트림으로부터 한 비트를 추출한다. 세번째로 추출한 비트는 '1'이므로 차이값은 0이 된다. 복원한 차이값과 레벨 1의 첫번째 노드의 상위 노드인 레벨 0의 레이어 번호를 더하여 첫번째 노드의 레이어 번호 1을 복원한다. 복원한 레벨 1의 레이어 번호 1과 레벨값 1이 동일하므로 레벨 1의 두번째 노드를 위한 차이값 복호화를 시작한다.
레벨 1의 두번째 노드의 레이어 번호 복원을 위해 비트스트림으로부터 한 비트를 추출한다. 네번째로 추출한 비트는 '1'이므로 차이값은 0이 된다. 복원한 차이값과 레벨 1의 두번째 노드의 상위 노드인 레벨 0의 레이어 번호를 더하여 두번째 노드의 레이어 번호 1을 복원한다. 복원한 레벨 1의 레이어 번호 1과 레벨값 1이 동일하므로 레벨 1의 세번째 노드를 위한 차이값 복호화를 시작한다.
레벨 1의 세번째 노드의 레이어 번호 복원을 위해 비트스트림으로부터 한 비트를 추출한다. 다섯번째로 추출한 비트는 '1'이므로 차이값은 0이 된다. 복원한 차이값과 레벨 1의 세번째 노드의 상위 노드인 레벨 0의 레이어 번호를 더하여 세번째 노드의 레이어 번호 1을 복원한다. 복원한 레벨 1의 레이어 번호 1과 레벨값 1이 동일하므로 레벨 1의 네번째 노드를 위한 차이값 복호화를 시작한다.
레벨 1의 네번째 노드의 레이어 번호 복원을 위해 비트스트림으로부터 한 비트를 추출한다. 여섯번째로 추출한 비트는 '0'이므로 비트스트림으로부터 한 비트를 더 추출하여 복원한다. 일곱번째로 복원한 비트는 1이므로 레벨 1의 네번째 노드의 레이어 번호를 위한 차이값 복원을 끝낸다. 차이값 복원을 위해 추출한 비트스트림은 '01'이므로 차이값은 0의 개수인 1이 되고 복원한 차이값을 상위 노드의 레이어 번호 1과 더해서 레이어 번호 2을 복원하고 복원한 레이어 번호 2가 현재 노드가 속한 레벨 값 1 보다 큰 값을 가지므로 레벨 1의 네번째 노드에 대해서 자식 노드 4개를 생성한다. 생성된 자식 노드들은 레벨 2에 속한다.
레벨 1에 속하는 모든 노드들의 레이어 번호를 복원했으므로 레벨 2에 속하는 노드들의 레이어 번호 복호화를 동일한 방법으로 진행한다.
레벨 2에 속하는 노드들은 레벨 1의 네번째 노드의 자식 노드이며 레벨 2의 첫번째 노드 복원을 위해 추출한 비트는 8번째와 9번째 비트인 '01'이 된다. 레벨 2의 첫번째 노드와 상위노드의 레이어 번호 2의 차이값이 1이므로 현재 노드의 레이어 번호는 3이된다. 이 경우 복원한 레이어 값 3은 레벨값 2보다 크므로 자식 노드 4개를 생성하지만 복원한 레이어 값 3은 전술한 바와 같이 분할 레이어 번호가 가질수 있는 최대값을 가지므로 새로 생성된 레벨 3의 4개의 노드들에 대해서는 레이어 번호를 복호화하지 않는다.
레벨 2의 두번째부터 네번째 노드 복원을 위해 추출한 비트는 10번째부터 12번째 비트인 '111'이 된다. 상기 3개의 노드들의 차이값은 모두 0이므로 레벨 2의 두번째, 세번째 네번째 노드들의 레이어 번호는 2가 된다.
레벨 2에 속하는 모든 노드들의 레이어 번호를 복원했고 레벨 3에 속하는 노드들에 대해서는 레이어 번호를 복원하지 않으므로 레이어 번호 복호화를 마치고 최하위 레벨의 각 노드들에 대해서 분할 타입 지시 정보 복호화를 수행한다.
도 17 및 도 18의 실시예에서는 분할 타입 지시 정보를 부호화할 때 분할 타입 지시 정보 0, 1, 2, 3에 이진비트 '11', '00', '10', '01'를 할당하여 부호화하였으므로 영상 복호화 장치도 동일한 방법으로 비트스트림으로부터 각 노드들에 대해서 2비트를 추출하여 분할 지시 정보를 복원한다.
본 실시예에서 최하위 레벨에 속하는 노드는 레벨 1에 속하는 노드 3개와 레벨 3에 속하는 노드 4개, 레벨 2에 속하는 노드 3개가 있으므로 각 노드들에 대해서 비트스트림으로부터 2비트를 추출하여 분할 타입 지식 정보를 복원한다.
도 16을 통해 전술한 방법과 동일한 방법으로 분할 타입 지시 정보 를 복호화하면 레벨 1에 속하는 3개의 노드들의 분할타입 복호화를 위해 추출된 비트들은 순서대로 '00', '11', '10'이므로 레벨 1의 첫번째 노드의 분할 타입 지시 정보는 1, 레벨 1의 두번째 노드의 분할 타입 지시 정보는 0, 레벨 1의 두번째 노드의 분할 타입 지시 정보는 2가 된다.
레벨 3에 속하는 4개의 노드들의 분할타입 복호화를 위해 추출된 비트들은 순서대로 '10', '01', '11', '11'이므로 레벨 3의 첫번째 노드의 분할 타입 지시 정보는 2, 레벨 3의 두번째 노드의 분할 타입 지시 정보는 3, 레벨 3의 세번째와 네번째 노드의 분할 타입 지시 정보는 각각 0이 된다.
레벨 2에 속하는 두번째부터 네번째 노드들의 분할타입 복호화를 위해 추출된 비트들은 순서대로 '01', '11', '11'이므로 레벨 2의 두번째 노드의 분할 타입 지시 정보는 3, 레벨 2의 세번째와 네번째 노드의 분할 타입 지시 정보는 각각 0이 된다.
복원한 레이어 값과 분할 타입 지시 정보를 이용하여 매크로블록의 서브 블록 모양을 판단하면, 매크로블록 내 서브블록들은 레이어 번호는 1 이상의 값을 가지므로 64x64 매크로블록을 4개의 32x32 서브블록으로 분할한다. 레벨 1의 첫번째부터 세번째 노드의 레이어 번호는 1이므로 매크로블록내 첫번째부터 세번째 32x32 서브블록은 각각 레이어 1에 속하는 서브블록 타입인 32x32, 32x16, 16x32, 16x16 중 한 가지 서브블록 타입을 가진다. 첫번째 32x32 서브블록의 복원한 분할 타입 지시 정보가 1이므로 첫번째 32x32 서브블록은 두개의 32x16 서브블록으로 분할되었고 두번째 서브블록의 복원한 분할 타입 지시 정보가 0이므로 두번째 32x32 서브블록은 한 개의 32x32 서브블록 타입으로 결정되었음을 알 수 있다. 이와 동일한 방법으로 세번째 서브블록의 복원한 분할 타입 지시 정보가 2이므로 세번째 32x32 서브블록은 두 개의 16x32 서브블록으로 분할한다.
네번째 32x32 서브블록에 해당하는 레벨 1의 네번째 노드의 복원한 레이어 번호는 2이므로 네번째 32x32 서브블록은 4개의 16x16 서브블록으로 분할하고 각 16x16에 해당하는 레벨 2의 4개의 노드의 레이어 번호가 2보다 큰 값을 가지는 16x16블록에 대해서는 하위 레이어로 분할을 한번 더 수행한다. 여기서는 레벨 2의 첫번째 노드의 복원한 레이어 번호는 3이므로 첫번째 16x16 블록은 다시 4개의 8x8 서브블록으로 분할한다.
이후 각 서브블록들의 분할 타입 지시 정보에 따가 각 서브블록들의 서브블록 타입을 결정하며 도 17과 같음을 알 수 있다.
B-2-2-3) 분할정보 복호화 방법 3
이하에서는 분할 정보를 부호화하는 세번째 방법에 따른 복호화 방법을 설명한다.
세번째 방법에 따르면, 분할 레이어 값과 분할 플래그를 복호화함으로써 블록의 분할 정보를 복호화할 수 있다.
먼저 비트스트림으로부터 분할 레이어값을 추출하고 복원한 후 분할 레이어 값에 따라 매크로블록을 분할한다. 예를 들어 매크로블록의 크기는 NxN이고 복원한 분할 레이어 값이 x인 경우, 매크로블록을
Figure PCTKR2010006735-appb-I000050
서브블록으로 분할한다.
이후 분할 플래그를 비트스트림으로부터 추출하고 복원하여 복원한 분할 플래그가 매크로블록 내 모든
Figure PCTKR2010006735-appb-I000051
서브블록이 더 작은 서브블록으로 분할되지 않았음을 뜻하는 값(예컨대 0)을 가지면 매크로블록의 분할 정보 복호화를 마친다.
만약 복원한 분할 플래그가 매크로블록 내 하나 이상의
Figure PCTKR2010006735-appb-I000052
서브블록이 더 작은 서브블록으로 분할되었음을 뜻하는 값, 예컨대 1이면 래스터 스캔 순서로 각 서브블록의 분할 레이어값과 분할 플래그를 동일한 방법으로 비트스트림으로부터 추출하고 복원한다.
이하에서는 도 20의 실시예에 따른 복호화 방법을 설명한다. 도 20의 실시예에서 영상 부호화 장치에서 분할 정보로 부호화한 분할 레이어값과 분할 플래그는 {1, 1, 0, 2, 0, 1, 1, 0, 0, 0, 2, 3}이다.
먼저 분할 레이어 값을 비트스트림으로부터 추출하여 분할 레이어 값 1과 분할 플래그 1을 복호화한다. 분할 레이어 값이 1이므로 64x64 매크로블록은 4개의 32x32 서브블록으로 분할한다.
복호화한 분할 플래그가 1이므로 각 32x32블록에 대해서 분할 레이어 값과 분할 플래그 복호화를 계속 진행한다.
첫번째 32x32 블록의 분할 레이어값이 0이므로 첫 번째 32x32 블록은 더 작은 서브블록으로 분할되지 않았음을 알수 있고 이때 분할 플래그는 비트스트림으로부터 복호화하지 않는다.
두번째 32x32 블록의 분할 레이어값을 비트스트림으로부터 추출하고 복호화한다. 복원한 분할 레이어 값이 2이므로 32x32 블록은 16개의 8x8블록으로 분할하고 이어서 분할 플래그를 비트스트림으로부터 추출하여 복호화한다. 복원한 분할 플래그가 0이므로 두번째 32x32블록내 16개의 서브블록들은 더 작은 서브블록으로 분할되지 않았음을 알 수 있고 이어서 세번째 32x32 블록의 분할 레이어 값을 비트스트림으로부터 추출하고 복호화한다.
복원한 분할 레이어 값이 1이므로 32x32블록은 4개의 16x16 크기의 서브블록으로 분할하고 분할 플래그를 비트스트림으로부터 복호화한다. 복호화한 분할 플래그가 1이므로 하나 이상의 16x16 블록은 더 작은 서브블록으로 분할되었음을 알 수 있고 각 16x16 블록에 대해서 분할 레이어 값과 분할 플래그를 복호화한다.
동일한 방법으로 각 16x16 서브블록에 대해서 분할 레이어값을 비트스트림으로부터 추출하고 복원한 후 분할 레이어값이 0이 아닌 경우 분할 플래그를 비트스트림으로부터 추출하고 복원한다.
상기 예에서 첫번째부터 세번째 16x16의 분할 레이어 값은 모두 0이고 네번째 16x16 블록의 분할 레이어값은 2임을 알수 있다.
네번째 16x16블록의 분할 레이어 값은 2이므로 16x16블록을 16r개의 4x4 서브블록으로 분할한다. 단 이때 복원한 레이어 값은 0이 아니지만 각 4x4 서브블록은 더 작은 서브블록으로 분할 될수 없으므로 분할 플래그를 복호화하지 않는다.
이후 네번째 32x32 블록의 분할 레이어 값을 비트스트림으로부터 추출하고 복호화하는데 복원한 분할 레이어 값이 3이므로 32x32블록을 64개의 4x4 서브블록으로 분할하고 분할된 서브블록의 크기가 최소 블록의 크기이므로 분할 정보 복호화를 마친다.
상기 전술한 분할 레이어 값과 분할 플래그는 비트스트림으로부터 추출하고 복호화하며 분할 레이어값을 복호화하는 방법은 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법들 중 영상 부호화 장치와 약속된 방법을 이용하여 복호화한다.
또는 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 방법을 이용하여 복호화할 수도 있다.
또는 영상 부호화 장치와 영상 복호화 장치가 약속한 Table의 인덱스 값을 전술한 다양한 이진 부호화/복호화 방법을 이용하여 복호화할 수도 있다.
분할 플래그는 비트스트림으부터 1비트씩 추출하여 복호화하여 현재 서브블록이 더 작은 서브블록으로 분할되었는지의 여부를 판단하는데 사용된다.
B-2-2-4) 분할정보 복호화 방법 4
이하에서는 분할 정보를 부호화하는 네번째 방법에 따른 복호화 방법을 설명한다.
네번째 분할 정보 복호화 방법은 첫번째 분할정보 복호화 방법과 유사하다. 단, 모든 서브블록의 분할 타입 지시 정보가 더 작은 서브블록으로 분할되지 않았음을 뜻하는 값(예컨대 0)을 가지거나 현재 블록으로부터 분할 타입 지시 정보에 의해 분할된 서브블록의 크기가 최소 서브블록의 크기를 가질때까지 비트스트림으로부터 분할 타입 지시 정보를 추출하고 복호화를 계속 수행한다.
이하에서는 도 21 및 도 22의 실시예에 따른 복호화 방법을 설명한다. 도 22의 실시예에서 영상 부호화 장치에서 분할 정보로 부호화한 분할 타입 지시 정보는 {1, 1, 0, 0, 2, 0, 0}이다.
첫번째 복호화한 분할 타입 지시 정보는 1이므로 64x64 매크로블록을 두개의 64x32블록(L1-P0, L1-P1)으로 분할하고 첫번째 64x32 서브블록의 분할 타입 지시 정보를 비트스트림으로부터 추출하고 복원한다.
두번째로 복원한 분할 타입 지시 정보는 1이므로 L1-P0에 해당하는 64x32블록은 두개의 64x16 블록(L2-P0, L2-P1)으로 분할하고 첫번째 64x16 서브블록(L2-P0)의 분할 타입 지시 정보를 비트스트림으로부터 추출하고 복원한다.
세번째로 복원한 분할 타입 지시 정보는 0이므로 L2-P0에 해당하는 64x16블록은 더 작은 서브블록으로 분할하지 않으며 L2-P0의 다음 블록인 L2-P1의 분할 타입 지시 정보를 비트스트림으로부터 추출하고 복원한다.
네번째로 복원한 분할 타입 지시 정보는 0이므로 L2-P1에 해당하는 64x16블록은 더 작은 서브블록으로 분할하지 않는다. L2에 속하는 서브블록의 분할 정보를 모두 복원하였으므로 L1-P1의 분할 타입 지시 정보를 비트스트림으로부터 추출하고 복원한다.
다섯번째로 복원한 분할 타입 지시 정보는 2이므로 L1-P1에 해당하는 64x32블록은 두개의 32x32 블록(L2-P0, L2-P1)으로 분할하고 첫번째 32x32 서브블록(L2-P0)의 분할 타입 지시 정보를 비트스트림으로부터 추출하고 복원한다.
여섯번째로 복원한 분할 타입 지시 정보는 0이므로 L2-P0에 해당하는 32x32블록은 더 작은 서브블록으로 분할하지 않으며 L2-P0의 다음 블록인 L2-P1의 분할 타입 지시 정보를 비트스트림으로부터 추출하고 복원한다.
일곱번째로 복원한 분할 타입 지시 정보는 0이므로 L2-P1에 해당하는 32x32블록은 더 작은 서브블록으로 분할하지 않는다. 매크로블록내 모든 서브블록들의 블록 타입이 결정되었으므로 분할 정보 복호화를 종료한다.
이때 분할 타입 지시 정보를 엔트로피 복호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화/복호화 방법들 중 영상 부호화 장치와 약속된 방법을 이용해서 엔트로피 복호화한다.
또한, 실제 분할 타입 지시 정보 값을 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 복호화할 수 있다.
또한, 영상 부호화 장치에서 분할 타입 지시 정보 부호화 방법으로 이진 산술 부호화를 이용하고, 레이어 번호가
Figure PCTKR2010006735-appb-I000053
이하인 경우에는 표 1을 이용하고 레이어 번호가
Figure PCTKR2010006735-appb-I000054
보다 큰 경우에는 표 2를 이용하여 부호화한 경우 영상 복호화 장치는 분할 타입 지시 정보의 레이어 번호에 따라 표 1과 표 2를 이용하여 엔트로피 복호화를 수행한다.
예를 들어 64x64 매크로블록에 대해서 레이어 1에 속하는 분할 타입 지시 정보를 엔트로피 복호화 할 때 2 비트를 엔트로피 복호화 한 후 표 1을 이용하여 분할 타입 지시 정보를 얻는다.
64x64매크로블록에 대해서 레이어 3에 속하는 분할 타입 지시 정보를 엔트로피 복호화 할 때는 표2를 사용한다. 먼저 1비트를 엔트로피 복호화 한 후 복호화 한 이진 비트가 1인 경우 분할 타입 지시 정보를 0으로 설정하고 현재 서브블록의 분할 타입 지시 정보 엔트로피 복호화를 마친다. 만약 복호화 한 이진비트가 1이 아닌 경우, 비트스트림으로부터 1비트를 더 엔트로피 복호화하고 두번째로 복호화한 비트가 0인 경우 현재 서브블록의 분할 타입 지시 정보를 1로 설정하고 현재 서브블록의 분할 타입 지시 정보를 위한 엔트로피 복호화를 마친다. 두번째로 복호화한 비트가 1인 경우에는 비트스트림으로부터 1비트를 더 엔트로피 복호화하여 현재 서브블록의 분할 타입 지시 정보가 2인지 3인지를 표 2를 이용하여 판단한다.
또한 도 34에 도시된 본 발명의 다른 실시예에 따른 분할 타입을 사용하도록 영상 부호화 장치와 약속된 경우, 분할 타입 지시 정보 복호화를 위해 1비트를 엔트로피 복호화하여 현재 서브블록이 4개의 서브블록으로 분할되었는지의 여부를 판단할 수도 있다.
B-2-3) 복호화 순서도
도 25는 본 발명의 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
본 발명의 다른 실시예에 따른 영상 복호화 방법에 따르면, 영상 복호화 장치(2400)는 비트스트림으로부터 전술한 실시예들에 의한 복호화 방법을 사용하여 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하고(S2510), 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 예측 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원한다(S2520).
이상에서 전술한 바와 같이 본 발명의 다른 실시예에 따르면, 16x16 블록 크기 이상의 매크로블록이 다양한 블록 크기의 서브블록으로 분할되는 경우에도, 레이어별 분할 타입 또는 분할 레이어값을 이용하여 매크로블록의 분할 정보를 작은 비트수로 부호화함으로써, 압축 효율을 향상시킬 수 있다.
C) 최대 분할 레이어 정보 부호화 및 복호화
이하에서는 본 발명의 다른 실시예로서, 분할 정보를 효율적으로 부호화할 수 있도록 임의의 크기의 매크로블록을 최대로 분할할 수 있는 레이어의 개수를 나타내는 최대 분할 레이어를 결정하고, 결정된 최대 분할 레이어를 이용하여 매크로블록을 예측 또는 변환을 위해 복수개의 서브블록으로 분할한 후, 최대 분할 레이어를 이용하여 분할 정보를 효율적으로 부호화하고 복호화하는 장치와 방법에 대해 설명한다. 여기서, 매크로블록 내 사용 가능한 최소 서브블록의 크기는 최대 분할 레이어에 의해 결정될 수 있으며, 매크로블록 부호화시 해당 크기 이상의 서브블록들만을 이용하여 영상을 부호화한다.
상기 최대 분할 레이어는 예측 또는 변환을 위해 사용할 수 최소 서브블록들의 크기를 나타내는 정보일 수 있으며, 시퀀스 헤더 또는 각 픽쳐의 헤더 또는 슬라이스 헤더 또는 매크로블록 헤더에서 부호화할 수도 있다. 또한 예측을 위한 최대 분할 레이어와 변환을 위한 최대 분할 레이어 정보를 각각 부호화하도록 할 수도 있다.
또한, 분할 정보는 예측 또는 변환을 위해 분할된 서브블록들의 크기와 모양을 나타내는 정보일 수 있으며 비트스트림에 분할정보와 부호화된 영상 데이터를 포함하여 부호화하여 영상 복호화 장치에 전송한다. 또한 예측을 위한 분할 정보와 변환을 위한 분할 정보를 각각 부호화하도록 할 수도 있다.
복호화 할때는 비트스트림으로부터 최대 분할 레이어 데이터를 추출하고 복호화한 후, 복원한 최대 분할 레이어를 이용하여 예측 또는 변환을 위한 서브블록들의 분할 정보를 추출하고 복호화하여 각 서브블록들의 크기와 모양을 복원한다. 이후 각 서브블록들의 부호화된 데이터를 비트스트림으로부터 추출하고 복원하여 예측 또는 역변환을 수행함으로써 영상을 복원한다.
C-1) 영상 부호화 장치
C-1-1) 부호화 장치
도 26은 본 발명의 또 다른 실시예에 따른 영상 부호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 또 다른 실시예에 따른 영상 부호화 장치(2600)는 영상 부호화기(2610), 최대 분할 레이어 결정기(Maximum Partition Layer Determiner, 2620) 및 최대 분할 레이어 부호화기(Maximum Partition Layer Encoder, 2630)를 포함하여 구성될 수 있다.
영상 부호화기(2610)는 도 8을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치(800)로 구현될 수 있다. 즉, 영상 부호화기(2610)는 기 결정된 매크로블록의 분할 타입에 따른 서브블록을 이용하여 예측 부호화하여 부호화된 분할 정보와 영상 데이터를 생성한다. 이때, 영상 부호화기(2610)는 매크로블록의 분할 타입을 결정할 때, 최대 분할 레이어 결정기(2620)에 의해 결정되는 최대 분할 레이어값에 따른 최소 서브블록 크기를 이용하여 분할 타입을 결정할 수 있다. 또한 분할 정보를 부호화할 때, 최대 분할 레이어를 이용하여 분할 정보를 부호화한다.
최대 분할 레이어 결정기(2620)는 최대 분할 레이어값의 후보에 따른 최소 서브블록 크기를 이용하여 현재 블록의 분할 타입을 결정하고 그에 따라 부호화할 때의 부호화 비용을 이용하여 현재 블록의 최대 분할 레이어값을 결정한다. 이때, 최대 분할 레이어값의 후보에 따른 최소 서브블록 크기를 이용하여 현재 블록의 분할 타입을 결정하고 그에 따라 부호화할 때의 부호화 비용은 최대 분할 레이어 결정기(2620)가 스스로 계산할 수도 있지만, 최대 분할 레이어 결정기(2620)가 최대 분할 레이어값의 후보를 지정해 주면 영상 부호화기(2610)가 해당 분할 레이어값의 후보에 따른 최소 서브블록 크기를 이용하여 현재 블록의 분할 타입을 결정하고 그에 따라 부호화할 때의 부호화 비용을 계산하여 최대 분할 레이어 결정기(2620)로 전달하며 최대 분할 레이어 결정기(2620)가 전달된 부호화 비용을 이용하여 현재 블록의 최대 분할 레이어값을 결정할 수 있다. 현재 블록의 최대 분할 레이어값이 결정되면 영상 부호화기(2610)는 해당 최대 분할 레이어값으로 이미 부호화된 영상 데이터를 비트스트림에 포함시키면 된다. 최대 분할 레이어 결정기(2620)가 최대 분할 레이어값을 결정하고 그에 따라 최소 서브블록 크기를 결정하는 방법에 대해서는 후술하는 과정에서 상세히 설명한다.
최대 분할 레이어 부호화기(2630)는 최대 분할 레이어값을 부호화하여 부호화된 최대 분할 레이어 데이터를 생성하고 비트스트림에 포함시킨다.
C-1-2) 분할 레이어와 최소 서브블록 크기의 관계
매크로블록의 크기, 최소 서브블록의 크기, 최대로 사용할 수 있는 레이어값 인 최대 분할 레이어(MaxLayer))를 이용하여 설정될 수 있다.
즉, 매크로블록의 크기는 최대 분할 레이어값(MaxLayer)과 최소 블록의 크기를 이용하여 구할수 있고 반대로 최소 서브블록의 크기는 매크로블록의 크기와 최대 분할 레이어를 이용하여 구할 수도 있다.
최소블록의 크기가 NxN인 경우 최대블록의 크기는 (Nx2MaxLayer)x(Nx2MaxLayer)이고, NxN 화소의 매크로블록인 경우, 최소 블록의 크기는 (N/(2MaxLayer)) x (N/(2MaxLayer))이 된다.
도 27은 본 발명의 또 다른 실시예에 따른 분할 레이어와 최소 서브블록 크기와의 관계를 나타낸 예시도이다.
도 27을 참조하면, 매크로블록의 블록 크기가 MxN이고 분할 레이어값이 x인 경우, 사용 가능한 최소 서브블록 크기는
Figure PCTKR2010006735-appb-I000055
가 된다. 예를 들어, 64x64 블록 크기의 매크로블록의 분할 레이어값이 4인 경우 사용 가능한 최소 서브블록 크기는 4x4가 된다. 여기서, 분할 레이어값은 매크로블록의 가로 및 세로 즉, MxN 블록 크기의 매크로블록의 M과 N 각각에 대해서 다르게 적용될 수 있다.
따라서, 최대 분할 레이어 결정기(2620)는 매크로블록에 대한 최대 분할 레이어값을 결정함으로써 최소 서브블록 크기를 결정할 수 있다. 이를 위해, 최대 분할 레이어 결정기(2620)는 후보 분할 레이어값에 대한 부호화 비용을 계산하고 후보 분할 레이어값에 대한 부호화 비용을 이용하여 최대 분할 레이어값을 결정할 수 있다. 이하에서는 매크로블록의 크기가 MxM(단, M은 16 이상의 정수임)이라고 가정하여, 매크로브록에 대한 최대 분할 레이어값을 결정하는 방법에 대해 설명한다.
C-1-3) 최대 분할 레이어 결정 방법
도 28은 본 발명의 또 다른 실시예에 따라 최대 분할 레이어값을 결정하는 방법의 일 예를 설명하기 위한 순서도이다.
최대 분할 레이어 결정기(2620)는 최대 분할 레이어값의 후보 x의 초기값을 log2(M/16)로 설정하고(S2810), 최대 분할 레이어값의 후보가 x일 때의 최소 서브블록 크기 (M/2x)×(M/2x)를 이용하여 매크로블록의 분할 타입을 결정하고 그에 따라 영상의 하나의 프레임(임의 프레임)을 부호화할 때의 부호화 비용(이하 'xcost'라 칭함)을 계산하며(S2820), 최대 분할 레이어값의 후보가 x+1일 때의 최소 서브블록 크기 (M/2x+1)×(M/2x+1)를 이용하여 매크로블록의 분할 타입을 결정하고 그에 따라 전술한 임의 프레임을 부호화할 때의 부호화 비용(이하 'x+1cost'라 칭함)을 계산하며(S2830), xcost와 x+1cost를 비교하여 xcost가 x+1cost보다 작은지 여부를 판단한다(S2840).
최소 서브블록 크기 결정기(2620)는, 단계 S2840의 판단 결과 xcost가 x+1cost보다 작은 경우, x를 최대 분할 레이어값으로 결정한다(S2850). 또한, 최대 분할 레이어 결정기(2620)는, 단계 S2840의 판단 결과 xcost가 x+1cost보다 크거나 같은 경우, x+1이 log2(M/4)인지 여부를 판단하여(S2860), x+1이 log2(M/4)가 아니면 x를 x+1로 설정하고(S2870) 단계 S2820으로 진행하며, x+1이 log2(M/4)이면 x+1을 최대 분할 레이어값으로 결정한다(S2880).
도 29는 본 발명의 또 다른 실시예에 따라 최대 분할 레이어값을 결정하는 방법의 다른 예를 설명하기 위한 순서도이다.
최대 분할 레이어 결정기(2620)는 최대 분할 레이어값의 후보 x의 초기값을 log2(M/4)로 설정하고(S2910), 최대 분할 레이어값의 후보가 x일 때의 최소 서브블록 크기 (M/2x)×(M/2x)를 이용하여 매크로블록의 분할 타입을 결정하고 그에 따라 영상의 하나의 프레임(임의 프레임)을 부호화할 때의 부호화 비용(이하 'xcost'라 칭함)을 계산하며(S2920), 최대 분할 레이어값의 후보가 x-1일 때의 최소 서브블록 크기 (M/2x-1)×(M/2x-1)를 이용하여 매크로블록의 분할 타입을 결정하고 그에 따라 전술한 임의 프레임을 부호화할 때의 부호화 비용(이하 'x-1cost'라 칭함)을 계산하며(S2930), xcost와 x-1cost를 비교하여 xcost가 x-1cost보다 작은지 여부를 판단한다(S2940).
최대 분할 레이어 결정기(2620)는, 단계 S2940의 판단 결과, xcost가 x-1cost보다 크거나 같은 경우 x를 x-1로 설정하고(S2950) 단계 S2920으로 진행하며, xcost가 x-1cost보다 작은 경우 x를 최대 분할 레이어값으로 결정한다(S2960).
최대 분할 레이어 결정기(2620)는 도 28 및 도 29를 통해 전술한 방법뿐만 아니라, 다른 방법으로도 최대 분할 레이어값을 결정할 수 있다. 즉, 최대 분할 레이어값을 결정하는 또 다른 예로서, 최대 분할 레이어 결정기(2620)는 매크로블록에 대해 사용 가능한 최대 분할 레이어값의 후보들 각각에 대해 부호화 비용을 계산하고 계산된 부호화 비용을 서로 비교하여 최소의 부호화 비용을 가지는 최대 분할 레이어값의 후보를 최대 분할 레이어값으로 결정할 수 있다.
C-1-4) 분할 정보 부호화 방법
이하에서는 본 발명의 또 다른 실시예에 따라 최대 분할 레이어값을 이용하여 분할 정보를 부호화하는 방법을 설명한다.
전술한 바와 같이, 총 레이어 개수를 의미하는 최대 분할 레이어값이 결정되면 매크로블록 내에서 사용 가능한 분할 레이어들이 결정되는데, 사용 가능한 분할 레이어들 중에서 사용하지 않는 레이어들이 있을 수 있다. 이 경우 사용하지 않는 레이어들에 대한 분할 타입 지시 정보를 부호화는 것이 불필요할 수 있다.
따라서, 본 발명의 또 다른 실시예에서는 최대 분할 레이어값에 의해 결정되는 사용 가능한 분할 레이어들 중에서 사용하기로 선택된 분할 레이어들에 대한 정보를 비트스트림에 포함시킬 수 있으며 각 레이어들의 사용 가능 여부를 비트스트림으로 전송시 선택된 분할 레이어들만을 이용하여 현재 블록의 분할 정보를 부호화하도록 할 수도 있다. 블록의 분할 정보를 부호화하는 방법은 전술한 다양한 분할 정보 부호화 방법을 이용할 수 있다.
매크로블록의 크기가 64x64이고 최대 분할 레이어 값이 2이면 레이어 0과 레이어 1은 사용 가능한 레이어이고 레이어 2와 레이어 3은 사용 가능하지 않다. 그러므로 매크로블록은 레이어 0에 속하는 서브블록 타입인 64x64, 64x32, 32x64, 32x32 크기의 서브블록과 레이어 1에 속하는 서브블록 타입인 32x32, 32x16, 16x32, 16x16 크기의 서브블록들로 분할될 수 있다. 하지만 레이어 2와 레이어 3에 속하는 서브블록 타입들인 16x8, 8x16, 8x8, 8x4, 4x8, 4x4 크기의 서브블록들로는 분할될 수 없다. 즉 각 16x16블록들은 더 작은 서브블록들로 분할될 수 없다.
이 경우, 최대 분할 레이어값만을 비트스트림으로 전송하고 최대 분할 레이어 값을 이용하여 분할 정보 부호화에 필요한 비트수를 절약할 수 있다. 영상 복호화 장치는 비트스트림으로부터 최대 분할 레이어값을 추출하여 복원하고 복원한 최대 분할 레이어의 상위 레이어들은 모두 사용 가능한 레이어로 설정하고 복원한 최대 분할 레이어의 하위 레이어들은 사용 가능하지 않은 레이어로 설정한 후 상기 설정된 정보를 이용하여 분할 정보를 복호화한다.
또는 특정 레이어에 속하는 서브블록들의 타입들이 사용되지 않은 경우, 예를 들면 64x64 크기의 매크로블록이 4개의 32x32 서브블록으로 분할되고 각 32x32서브블록들이 모두 16x16이하 크기를 갖는 서브블록으로 분할되었을 경우, 레이어 1에 속하는 서브블록들의 서브블록들은 사용되지 않았음을 알 수 있고 레이어 1을 사용가능하지 않는 레이어로 선택할 수 있다.
이 경우, 각 레이어들의 사용가능 여부 정보를 비트스트림으로 부호화하여 분할 정보 부호화에 필요한 비트수를 절약할 수 있다. 영상 복호화 장치는 비트스트림으로부터 각 레이어 들의 사용 가능 여부 정보를 비트스트림으로부터 추출하고 복원한 후 복원된 각 레이어들의 사용가능 여부 정보를 이용하여 분할 정보를 복호화한다.
전술한 바와 같이, 본 발명의 또 다른 실시예에서는 최대 분할 레이어값을 비트스트림으로 부호화하고 최대 분할 레이어값에 의해 결정되는 사용 가능한 분할 레이어들만을 이용하여 분할 정보를 부호화하도록 할 수 있다.
또는, 최대 분할 레이어값에 의해 결정되는 사용 가능한 분할 레이어들 중에서 각 레이어들의 사용 가능 여부를 비트스트림에 포함하여 부호화하고 사용가능한 분할 레이어들만을 이용하여 분할 정보를 부호화하도록 할 수도 있다.
최대 분할 레이어 값 및/또는 각 분할 레이어들의 사용 가능 여부 플래그 정보는 시퀀스 헤더 또는 각 픽쳐의 헤더 또는 슬라이스 헤더에 포함되어 부호화 할 수 있다.
이때 최대 분할 레이어 값을 부호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용하여 이진 비트 스트링(Bit String)으로 부호화될 수 있다. 또는 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
각 레이어의 사용 가능 여부를 나타내는 정보를 부호화하는 방법은 각 레이어마다 사용가능 여부를 나타내는 1비트 길이의 플래그를 각각 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 방법을 이용하여 부호화할 수 있다.
또는 각 레이어의 사용 여부를 조합한 Table의 인덱스를 부호화할 수도 있다. 이때 Table의 인덱스를 부호화하는 방법은 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
또는 사용하는 레이어에 대한 레이어 플래그를 1로 설정하고 사용하지 않는 레이어에 대한 레이어 플래그를 0으로 설정하며 최하위 비트(LSB: Least Significant Bit)가 최상위 레이어의 사용 여부를 나타내도록 하는 정수값을 생성한 후, 생성된 정수값을 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
또한, 사용하는 레이어에 대한 레이어 플래그를 0으로 설정하고 사용하지 않는 레이어에 대한 레이어 플래그를 1로 설정하며 최하위 비트(LSB: Least Significant Bit)가 최상위 레이어의 사용 여부를 나타내도록 하여, 정수값을 생성할 수도 있다.
도 30은 본 발명의 또 다른 실시예에 따라 선택된 분할 레이어들만을 이용하여 현재 블록의 분할 정보를 부호화하는 과정을 설명하기 위한 예시도이다. 도 30에서는 최대 분할 레이어 및/또는 각 레이어의 사용 가능 여부를 부호화하고 상기 정보를 이용하여 분할 정보를 부호화하는 다양한 방법들 중 최대 분할 레이어 값과 각 레이어의 사용 가능 여부를 나타내는 데이터(Layer Flag)를 부호화한 후, 상기 정보를 이용하여 분할 타입 지시 정보를 부호화하여 블록의 분할 정보를 부호화하는 예를 나타내었다.
도 30에서 매크로블록의 크기가 64x64이고 최대 분할 레이어가 4이고, 레이어 0과 레이어 3는 사용 가능하고 레이어 1과 레이어 2는 사용 가능하지 않다고 가정할 때, 매크로블록은 레이어 1에 속하는 서브블록 타입인 64x64, 64x32, 32x64, 32x32로 분할될 수 있으며 32x32로 분할되었을 경우 각 32x32블록은 레이어 3에 속하는 8x8, 8x4, 4x8, 4x4로 분할될 수 있다. 즉 32x32블록이 분할이 도 10에 따르는 분할 타입 지시 정보 3인 경우 32x32블록은 16개의 8x8로 분할된다.
먼저 최대 분할 레이어 값 4를 전술한 최대 분할 레이어값을 부호화는 방법을 이용하여 부호화한 후 사용하는 레이어에 대한 레이어 플래그를 1로 설정하고 사용하지 않는 레이어에 대한 레이어 플래그를 0으로 설정하며 각 레이어의 사용가능 여부를 나타내는 1비트 플래그를 부호화한다. 도 30의 예에서는 사용 가능한 레이어 플래그를 상위 레이어부터 하위 레이어순서로 '1001'을 부호화한다.
이후 매크로블록의 분할 정보를 전술한 다양한 분할 정보 부호화 방법을 이용하여 부호화하는데 도 30의 예에서는 도 10에 따르는 서브블록 타입들을 사용하여 분할 정보 부호화 방법들 중 첫번째 방법인 분할 타입 지시 정보를 부호화하는 방법을 이용하는 방법을 나타낸다.
여기서, 레이어 번호 K인 NxN블록이 4개의 서브블록으로 분할된 경우, 분할된 서브블록에 레이어 번호를 할당하는 방법은 각 레이어의 사용가능 여부에 따라 달라지게 된다. 만약 레이어 K+1이 사용 가능한 경우 서브블록에 레이어 번호 K+1을 할당하고 레이어 K+1이 사용 가능하지 않은 경우에는 서브블록의 레이어 번호에 레이어 번호 K를 할당한다.
예를 들면 매크로블록이 64x64 크기인 경우, 32x32크기의 서브블록은 레이어 0에 포함되는 서브블록 타입으로 판단될 수도 있고 레이어 1에 속하는 서브블록 타입으로 판단될 수도 있다. 이때 레이어 1이 사용가능한 레이어인 경우 32x32 서브블록은 레이어 번호 1을 할당하고 레이어 1이 사용 가능하지 않은 경우 레이어 번호 0을 할당한다.
먼저 매크로블록이 4개의 서브블록으로 분할되었으므로 분할 타입 지시 정보 3을 부호화하고 4개의 32x32 서브블록들의 분할 타입 지시 정보를 부호화한다.
첫번째 32x32블록(L0-P0)은 분할되지 않았으므로 분할 타입 지시 정보 0을 부호화하고 두번째 32x32 블록(L0-P1)의 분할 타입 지시 정보를 부호화한다.
두번째 32x32블록(L0-P0)은 16개의 8x8 서브블록(L2-P0부터 L2-P15)으로 분할되었으므로 분할 타입 지시 정보 3을 부호화한다. 여기서 8x8 서브블록은 레이어 2에 속하는 8x8블록일수도 있고 레이어 3에 속하는 서브블록일 수도 있지만 레이어 2는 사용 가능하지 않으므로 레이어 번호 3을 할당한다.
이후, L0-P0내 16개의 8x8 서브블록들의 분할 타입 지시 정보들을 모두 부호화하고 세번째 32x32블록(L0-P2)의 분할 타입 지시 정보를 부호화한다.
세번째 32x32블록(L0-P2)은 16개의 8x8 서브블록(L2-P0부터 L2-P15)으로 분할되었으므로 분할 타입 지시 정보 3을 부호화하고 L0-P2내 16개의 8x8 서브블록들의 분할 타입 지시 정보들을 모두 부호화하고 네번째 32x32블록(L0-P2)의 분할 타입 지시 정보 0을 부호화한다.
따라서, 본 발명의 또 다른 실시예에 따른 영상 부호화 장치(2600)는 이와 같은 레이어 플래그와 레이어별 파티션 번호에 대한 분할 타입 지시 정보를 부호화함으로써 해당 매크로블록의 분할 정보를 부호화할 수 있다.
C-1-5) 부호화 순서도
도 31은 본 발명의 또 다른 실시예에 따른 영상 부호화 방법을 설명하기 위한 순서도이다.
본 발명의 또 다른 실시예에 따른 영상 부호화 방법에 따르면, 영상 부호화 장치(2600)는 최대 분할 레이어값 및/또는 각 분할 레이어들의 사용 가능 여부를 결정하고 부호화하여 부호화된 최대 분할 레이어 및/ 또는 각 분할 레이어들의 사용 가능 여부 데이터를 생성하고(S3110), 최대 분할 레이어값에 따라 결정되는 최소 서브블록 크기와 각 레이어들의 사용 가능 여부에 따라 결정되는 서브블록들을 이용하여 현재 블록을 예측 부호화하며(S3120), 부호화된 최대 분할 레이어 및/또는 각 레이어들의 사용 가능 여부 데이터와 부호화된 영상 데이터를 포함하는 비트스트림을 생성한다(S3130). 이와 같이 생성되는 비트스트림은 영상 복호화 장치로 전송되어 복호화된다.
단계 S3110에서, 영상 부호화 장치(2600)는 최대 분할 레이어값의 후보에 대한 부호화 비용을 이용하여 최대 분할 레이어값을 결정할 수 있다. 또한, 영상 부호화 장치(2600)는 최대 분할 레이어값의 후보의 값을 증가시키거나 최대 분할 레이어값의 후보의 값을 감소시키면서 최대 분할 레이어값을 결정할 수 있다. 또한, 영상 부호화 장치(2600)는 최대 분할 레이어값의 후보 각각의 부호화 비용을 서로 비교하여 최소 부호화 비용을 가지는 최대 분할 레이어값의 후보를 최대 분할 레이어값으로 결정할 수 있다.
C-2) 복호기
C-2-1) 영상 복호화 장치 구성도 및 설명
도 32는 본 발명의 또 다른 실시예에 따른 영상 복호화 장치를 간략하게 나타낸 블록 구성도이다.
본 발명의 또 다른 실시예에 따른 영상 복호화 장치(3200)는 최대 분할 레이어 복호화기(3210) 및 영상 복호화기(3220)를 포함하여 구성될 수 있다.
최대 분할 레이어 복호화기(3210)는 비트스트림으로부터 추출되는 부호화된 최대 분할 레이어 데이터를 복호화하여 최대 분할 레이어값을 복원한다.
영상 복호화기(2420)는 도 7을 통해 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치와 동일 또는 유사하게 구성될 수 있다. 다만, 본 발명의 다른 실시예에 따른 영상 복호화기(3220)는 비트스트림으로부터 추출되는 부호화된 영상 데이터를 최대 분할 레이어 복호화기(3210)에 의해 복원되는 최대 분할 레이어값에 따른 최소 서브블록 크기를 이용하여 예측 복호화하여 현재 블록을 복원한다.
C-2-2) 분할정보 복호화 방법
이하에서는 본 발명의 또 다른 실시예에 따라 최대 분할 레이어값을 이용하여 분할 정보를 복호화하는 방법을 설명한다.
영상 복호화 장치는 총 레이어 개수를 의미하는 최대 분할 레이어 및/또는 각 레이어들의 사용가능 여부를 나타내는 데이터를 비트스트림의 시퀀스 헤더 또는 각 픽쳐의 헤더 또는 슬라이스 헤더 중 영상 부호화 장치와 약속된 위치에서 추출한 후 상기 정보들을 이용하여 전술된 다양한 분할 정보 복호화 방법을 이용하여 각 블록들의 분할 정보를 복호화한다.
최대 분할 레이어 및/또는 사용 가능한 레이어들의 정보를 복호화하는 방법은, 먼저 최대 분할 레이어 데이터를 비트스트림으로부터 추출하고 복호화하고 복호화한 최대 분할 레이어 값을 이용하여 각 레이어들의 사용가능 여부와 각 레이어들의 사용 가능 여부에 따른 사용 가능한 서브블록들의 타입과 최소 서브블록의 크기를 추출한다. 예를들어 매크로블록의 크기가 64x64이고 비트스트림으로부터 추출하고 복원한 최대 분할 레이어의 값이 3인 경우, 레이어 0, 레이어 1, 레이어 2를 사용 가능한 레이어로 설정하고 레이어 3을 사용 가능하지 않은 레이어로 설정한다. 상기 매크로블록은 레이어 0에 속하는 서브블록 타입인 64x64, 64x32, 32x64, 32x32 크기의 서브블록들과 레이어 1에 속하는 서브블록 타입인 32x32, 32x16, 16x32, 16x16 크기의 서브블록들과 레이어 2에 에 속하는 서브블록 타입들인 16x16, 16x8, 8x16, 8x8 크기의 서브블록들로 분할될 수 있다. 그러나 레이어 3에 속하는 서브블록 타입들인 8x4, 4x8, 4x4 크기의 서브블록들로는 분할될 수 없다. 즉 각 8x8블록들은 더 작은 서브블록들로 분할될 수 없다. 이 경우 사용 가능한 최소 서브블록의 크기는 8x8로 결정된다.
또는, 최대 분할 레이어 데이터를 비트스트림으로부터 추출하고 복호화한 후, 복원한 최대 분할 레이어 값에 의해 결정되는 레이어의 개수만큼 각 레이어들의 사용가능 여부를 나타내는 데이터를 비트스트림으로부터 추출하고 복호화한다. 복원한 최대 분할 레이어 값과 각 레이어들의 사용가능 여부에 따른 사용 가능한 서브블록들의 타입과 최소 서브블록의 크기를 추출한다.
예를들어 매크로블록의 크기가 64x64이고 비트스트림으로부터 추출하고 복원한 최대 분할 레이어의 값이 3인 경우, 3개의 레이어에 대한 사용가능 여부를 나타내는 데이터를 비트스트림으로부터 추출하여 복호화한다. 복원한 각 레이어의 사용 가능 여부가 레이어 0과 레이어 2는 사용가능하고, 레이어 1은 사용가능 하지 않는 경우 매크로블록은 레이어 0에 속하는 서브블록 타입인 64x64, 64x32, 32x64, 32x32 크기의 서브블록들과 레이어 2에 에 속하는 서브블록 타입들인 16x16, 16x8, 8x16, 8x8 크기의 서브블록들로 분할될 수 있다. 그러나 레이어 1과 레이어 3에 속하는 서브블록 타입들인 32x16, 16x32, 8x4, 4x8, 4x4 크기의 서브블록들로는 분할될 수 없다.
또는, 영상 복호화 장치는 영상 부호화 장치와 약속된 매크로블록의 크기와 최소 서브블록의 크기를 이용하여 최대 분할 레이어 값을 결정하고, 최대 분할 레이어 값에 의해 결정되는 레이어의 개수만큼 각 레이어들의 사용가능 여부를 나타내는 데이터를 비트스트림으로부터 추출하고 복호화하여 복원한 각 레이어들의 사용가능 여부에 따른 사용 가능한 서브블록들의 타입을 결정할 수도 있다. 예를들어 영상 부호화 장치와 약속된 매크로블록의 크기가 32x32이고 최소 서브블록의 크기가 8x8인 경우, 최대 분할 레이어는 2임을 알 수 있으므로 2개의 레이어에 대한 사용가능 여부를 나타내는 데이터를 비트스트림으로부터 추출하여 복호화한다. 복원한 각 레이어의 사용 가능 여부가 레이어 0은 사용 가능하지 않고 레이어 1은 사용 가능한 경우, 매크로블록은 레이어 1에 속하는 서브블록 타입인 16x16, 16x8, 8x16, 8x8 블록 타입만을 가질수 있다. 그러므로 매크로블록의 분할 정보 복호화 시, 매크로블록을 4개의 16x16 서브블록으로 분할하고 각 16x16의 분할 정보만을 비트스트림으로부터 추출하고 복호화한다.
이때 최대 분할 레이어 값을 복호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 방법들 중 영상 부호화 장치와 약속된 방법을 이용하여 복호화할 수 있다.
또는 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 방법을 이용하여 복호화할 수 있다.
각 레이어의 사용 가능 여부를 나타내는 정보를 복호화하는 방법은 각 레이어마다 사용가능 여부를 나타내는 데이터를 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 방법들 중 영상 부호화 장치와 약속된 방법을 이용하여 복호화할 수 있다.
또는 각 레이어의 사용 여부를 조합한 Table의 인덱스를 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 방법을 이용하여 복호화하고 영상 부호화 장치와 약속된 Table을 이용하여 각 레이어의 사용 여부를 추출할 수도 있다.
또는 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 방법을 이용하여 정수값을 복호화하고 복호화한 정수값을 최대 분할 레이어 값을 비트수로 가지는 이진비트로 나타내어 복호화할 수도 있다.
이하에서는 도 30의 실시예에 따른 복호화 방법을 설명한다.
도 30의 전술한 실시예에서 영상 부호화 장치에 분할 정보로 부호화한 데이터는 최대 분할 정보 4, 각 레이어들의 사용 여부를 나타내는 레이어 플래그(Layer Flag) '1001' 분할 타입 지시 정보 {3, 0, 3, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 3, 2, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0}이다.
영상 복호화 장치는 비트스트림으로부터 최대 분할 레이어 데이터를 비트스트림으로부터 추출하고 복호화하여 최대 분할 레이어 값 4를 복원한다. 최대 분할 레이어가 4이므로 4개의 레이어들에 대해서 사용 가능 여부를 나타내는 플래그 (Layer Flag)를 복원한다. 비트스트림으로부터 1비트를 추출하고 복호화하여 레이어 0의 Layer_Flag를 복원한다. 레이어 0의 사용 가능 여부를 나타내는 플래그를 복원한 후, 동일한 방법으로 레이어 1, 레이어 2, 레이어 3의 Layer_Flag를 비트스트림으로부터 추출하고 복호화한다. 복원한 레이어 0의 Layer Flag는 1이고 레이어 1의 Layer Flag는 0이고 레이어 2의 Layer Flag는 0이고 레이어 3의 Layer Flag는 1이므로 레이어 0과 레이어 3은 사용 가능한 레이어로 설정하고 레이어 1과 레이어 2는 사용 가능하지 않은 레이어로 설정하고 상기 정보들을 매크로블록의 분할 정보를 복호화할 때 이용한다.
첫번째 복원한 분할 타입 지시 정보가 3이므로 매크로블록을 4개의 32x32 서브블록으로 분할하고 각 32x32 서브블록의 분할 타입 지시 정보를 비트스트림으로부터 추출하고 복호화한다.
여기서, 레이어 번호 K인 NxN블록이 4개의 서브블록으로 분할된 경우, 분할된 서브블록에 레이어 번호를 할당하는 방법은 각 레이어의 사용가능 여부에 따라 달라지게 된다. 만약 레이어 K+1이 사용 가능한 경우 서브블록에 레이어 번호 K+1을 할당하고 레이어 K+1이 사용 가능하지 않은 경우에는 서브블록의 레이어 번호에 레이어 번호 K를 할당한다.
도 30의 실시예에서 매크로블록으로부터 분할된 32x32 서브블록은 레이어 0에도 속할 수 있고 레이어 1에도 속하는 서브블록 타입이지만, 레이어 1은 사용 가능하지 않으므로 32x32 서브블록의 레이어 번호는 0이 된다.
두번째로 복원한 분할 타입 지시 정보가 0이므로 매크로블록내 첫번째 32x32 서브블록(L0-P0)의 서브블록 타입은 32x32이 된다. 첫번째 32x32 서브블록의 분할 타입 지시 정보가 3이 아니므로 매크로블록 내 두번째 32x32 서브블록(L0-P1)의 분할 타입 지시 정보를 복호화한다.
세번째로 복원한 분할 타입 지시 정보가 3이고 레이어 1과 레이어 2는 사용 가능하지 않으므로 L0-P1블록은 16개의 8x8 서브블록(L3-P0부터 L3-P15)으로 분할하고, 8x8 서브블록은 더 작은 서브블록으로 분할될 수 있으므로 각 8x8 서브블록의 분할 타입 지시 정보를 비트스트림으로부터 추출하고 복호화한다.
네번째부터 열아홉번째까지 복원한 분할 타입 지시 정보가 모두 0이므로 L0-P1에서 분할된 L3-P0부터 L3-P15의 서브블록 타입은 모두 8x8임을 알 수 있다.
스무번째로 복원한 분할 타입 지시 정보가 3이고 레이어 1과 레이어 2는 사용 가능하지 않으므로 L0-P2블록은 16개의 8x8 서브블록(L3-P0부터 L3-P15)으로 분할하고, 8x8 서브블록은 더 작은 서브블록으로 분할될 수 있으므로 각 8x8 서브블록의 분할 타입 지시 정보를 비트스트림으로부터 추출하고 복호화한다.
다음으로 복원한 분할 타입 지시 정보는 2이므로 L0-P2에 속하는 L3-P0는 두개의 4x8 서브블록으로 분할하고 이후 복원한 15개의 분할 타입 지시 정보는 모두 0이므로 L3-P1부터 L3-P15의 서브블록 타입은 모두 8x8로 설정한다.
마지막으로 복원한 분할 타입 지시 정보는 0이므로 L0-P3의 서브블록 타입은 32x32이 되고 매크로블록 내 모든 서브블록들의 분할 타입이 결정되었으므로 분할 정보 복호화 과정을 마친다.
C-2-1) 복호화 순서도
도 33은 본 발명의 또 다른 실시예에 따른 영상 복호화 방법을 설명하기 위한 순서도이다.
본 발명의 또 다른 실시예에 따른 영상 복호화 방법에 따르면, 영상 복호화 장치(3200)는 비트스트림으로부터 추출되는 부호화된 최대 분할 레이어 데이터를 복호화하여 최대 분할 레이어값을 복원하고(S3310), 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 최대 분할 레이어값에 따른 최소 서브블록 크기를 이용하여 예측 복호화하여 현재 블록을 복원한다(S3320).
이상에서 전술한 바와 같이 본 발명의 또 다른 실시예에 따르면, 16x16 블록 크기 이상의 매크로블록이 다양한 블록 크기의 서브블록으로 분할되는 경우에도, 최대 분할 레이어값을 이용하여 최소 서브블록 크기를 설정할 수 있으며, 그에 따라 사용하지 않는 레이어에 대한 분할 정보를 부호화하지 않아도 되므로 매크로블록의 분할 정보를 작은 비트수로 부호화함으로써, 압축 효율을 향상시킬 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 영상 부호화 장치는 현재 블록의 사용 가능한 분할 레이어를 결정하고, 사용 가능한 분할 레이어 중에서 현재 블록의 부호화 비용을 최소화하는 분할 레이어를 선택하며, 선택되는 분할 레이어만을 이용하여 현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하며, 선택된 분할 레이어에 대한 정보를 부호화하여 생성되는 부호화된 분할 레이어 데이터, 선택된 분할 레이어를 이용하여 현재 블록을 분할한 분할 정보를 부호화하여 생성되는 부호화된 분할 정보 데이터 및 부호화된 영상 데이터를 포함하는 비트스트림을 생성할 수 있다. 여기서, 현재 블록의 부호화 비용을 최소화하는 분할 레이어는 하나 이상 복수 개로 선택될 수 있다. 따라서, 영상 부호화 장치는 현재 블록에 대해 사용 가능한 분할 레이어를 결정하고 사용 가능한 분할 레이어 중에서 현재 블록의 부호화 비용을 최소화하는 하나 이상 복수 개의 분할 레이어를 선택하며, 선택된 하나 이상 복수 개의 분할 레이어만을 이용하여 현재 블록을 분할하고 예측 부호화함으로써 부호화된 영상 데이터를 생성할 수 있다. 이를 통해 영상 부호화 장치는 매크로블록의 분할 정보를 더욱 작은 비트수로 부호화하여 압축 효율을 높일 수 있다.
또한, 본 발명의 또 다른 실시예에 따른 영상 복호화 장치는 비트스트림으로부터 추출되는 부호화된 분할 레이어 데이터와 부호화된 분할 정보 데이터를 복호화하여 분할 레이어에 대한 정보와 분할 정보를 복원하고, 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 분할 레이어에 대한 정보와 분할 정보를 이용하여 부호화된 영상 데이터를 예측 복호화하여 현재 블록을 복원할 수 있다.
D) 매크로블록 크기 부호화 및 복호화
전술한 실시예들에서 매크로블록은 영상 부호화 장치와 영상 복호화 장치 간에 약속된 임의의 크기를 가진다고 가정하였다. 그리고 그 가정 하에 매크로블록의 분할 방법, 분할 정보 부호화 및 복호화에 대한 다양한 실시예들을 설명하였다.
이하에서는, 가변적인 크기를 갖는 매크로블록의 크기를 결정하는 방법, 결정된 매크로블록의 크기를 복호화장치로 시그널링하기 위한 부호화 및 복호화에 대해 설명한다.
일반적으로 고해상도 영상에서는 일반적으로 큰 블록 단위로 부호화하는 것이 효율적이기는 하지만 영상의 특성에 따라 가장 큰 크기의 블록으로 부호화한다고 해서 부호화 효율이 항상 향상되는 것은 아니다. 예를 들어, 단조로운 영상의 경우 128x128과 같은 큰 크기의 매크로블록 단위로 부호화하는 것이 효율적일 수 있지만, 복잡한 영상을 128x128 크기의 매크로블록 단위로 부호화한 경우, 대부분의 매크로블록은 더 작은 서브블록으로 분할이 되고 대부분의 서브블록이 16x16이하의 크기의 블록으로 예측 또는 변환이 수행이 될 수 있다. 이 경우 각 매크로블록이 16x16이하 크기의 서브블록으로 분할되었다는 분할정보를 부호화해야 하므로 매크로블록의 크기를 16x16으로 선택하여 부호화하는 것이 효율적이라 할 수 있다.
따라서 본 발명의 다른 실시예에서는 상기 전술된 분할 정보 부호화 방법의 효율을 더욱 높이기 위해 예측 또는 변환을 위해 사용될 수 있는 블록의 최대 크기를 결정하고, 선택된 크기의 블록 단위로 영상을 부호화하며, 복호화 할 때는 비트스트림에 포함된 정보에 의해 식별되는 최대 블록 크기로 복호화하여 영상을 복원한다.
이하에서는 설명의 편의를 위해, 예측을 위해 사용될 수 있는 최대 블록의 크기(예컨대 매크로블록)와 변환을 위해 사용될 수 있는 최대 블록의 크기를 각각 설정하는 것에 대한 내용은 기술하지 않지만, 예측을 위한 최대블록의 크기와 변환을 위한 최대블록의 크기를 각각 설정하는 것도 적용 가능하다.
또한 각각의 정보는 시퀀스 헤더 또는 픽처 헤더 또는 슬라이스 헤더, 또는 매크로블록 헤더에서 부호화할 수 있다.
이하에서 설명하는 실시예에 따라 매크로블록의 크기가 결정된 후, 전술한 본 발명의 실시예에 따른 매크로블록의 분할 방법에 따라 매크로블록이 서브블록들로 분할될 수 있다. 그리고 서브블록 단위로 예측 또는 변환이 수행될 수 있다. 이 때 본 발명의 실시예에 따른 영상 부호화장치는 매크로블록의 크기를 나타내는 정보 및/또는 매크로블록의 분할에 관한 분할정보를 부호화하여 본 발명의 실시예에 따른 영상 복호화 장치로 전송할 수 있다. 본 발명의 실시예에 따른 영상 복호화장치는 매크로블록의 크기를 나타내는 정보 및/또는 매크로블록의 분할정보를 복호화하여 현재 복호할 매크로블록의 크기 및/또는 매크로블록의 서브블록들에 관한 정보를 알 수 있다. 전술한 바와 같이 분할정보는 다양하게 구현될 수 있다. 본 발명의 실시예에 따른 매크로블록의 분할정보는 매크로블록이 서브블록들로 분할되었는지 여부 및/또는 매크로블록이 어떤 서브블록들로 분할되었는지를 본 발명의 실시예에 따른 영상 복호화장치로 시그널링한다.
D-1) 영상 부호화 장치
D-1-1) 부호화 장치 설명
도 35는 본 발명의 또 다른 실시예에 따른 영상 부호화 장치(3500)를 간략하게 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 부호화 장치의 구현 예에 따르면, 영상 부호화 장치는 후보 매크로블록 크기 설정기(Candidate Macroblock Size Configuration Unit, 3510), 영상 부호화기(Video Encoder, 3520) 및 매크로블록 크기 결정기(Macroblock Size Determiner, 3530)를 포함하여 구성될 수 있다.
후보 매크로블록 크기 설정기(3510)는 본 발명의 또 다른 실시예에 따른 영상 부호화 장치(3500)가 사용할 수 있는 매크로블록 크기의 후보를 설정한다. 매크로블록 크기의 후보는 사용자 등에 의해 입력되거나 기타 다른 장치로부터 입력되는 정해진 후보군(예를 들어, 64x64 크기, 32x32 크기, 16x16 크기)이거나, 영상의 특성에 따라 결정될 수 있다.
매크로블록 크기의 후보가 영상의 특성에 따라 결정되는 경우를 예를 들면, 영상의 해상도가 4K x 2K의 영상이고 가로와 세로 비율이 16:9인 경우, 매크로블록 크기의 후보는 128x128 크기, 128x64 크기, 64x128 크기, 64x64 크기, 64x32 크기, 32x64 크기, 32x32 크기, 32x16 크기, 16x32 크기, 16x16 크기일 수 있다.
영상 부호화기(3520)는 도 6 또는 도8 또는 도 26을 통해 전술한 본 발명의 일 실시예에 따른 영상 부호화 장치로 구현될 수 있다. 즉, 영상 부호화기(3520)는 후보 매크로블록 크기 설정기(3510)에 의해 설정된 매크로블록 크기의 후보별로 영상을 부호화하여, 매크로블록 크기별 영상 데이터를 생성한다. 이때, 각 매크로블록은 내부적으로 더 작은 블록인 서브블록(여기서, 서브블록으로 결정되는 최소 서브블록 크기는 4x4 화소 단위의 블록일 수 있음)으로 분할되어 인트라 부호화 또는 인터 부호화를 수행한다. 매크로블록내 서브블록들의 크기와 모양을 나타내는 분할 정보는 전술한 실시예들에 의해 분할 정보 부호화 방법을 사용하여 비트스트림에 포함시킬 수 있다.
영상 부호화기(3520)의 또 다른 동작 방법으로 16x16 크기와 32x32 크기를 매크로블록의 크기로 하여 부호화해 본 후, 32x32 크기의 매크로블록을 사용했을 때 부호화 비용이 더 큰 경우 16x16 크기를 매크로블록의 크기로 결정할 수 있다. 만약, 32x32 크기의 매크로블록을 사용했을 때의 부호화 비용이 더 작은 경우에는 같은 방식으로 64x64 크기의 매크로블록을 사용하여 부호화했을 때의 비용과 비교하여 매크로블록의 크기를 결정한다.
또한, 영상 부호화기(3520)의 또 다른 동작 방법으로 16x16 크기, 32x16 크기, 16x32 크기, 32x32 크기를 매크로블록 크기로 하여 부호화해 본 후, 가장 부호화 효율이 좋은 매크로블록의 크기를 선택하고 선택된 매크로블록의 가로, 세로, 가로와 세로를 각각 2 배 했을 때의 화소 블록을 매크로블록으로 사용하여 부호화한다. 만약, 매크로블록의 크기를 키웠을때의 부호화 효율이 좋아지지 않으면 부호화를 멈추고 매크로블록의 크기를 결정한다.
매크로블록 크기 결정기(3530)는 영상 부호화기(3520)가 매크로블록 크기별로 영상을 부호화했을 때의 부호화 비용(즉, 매크로블록 크기별 영상 데이터의 부호화 비용)을 계산하고 각 매크로블록 크기별로 부호화 비용을 서로 비교하여 매크로블록 크기의 후보들 중 최적의 매크로블록 크기를 결정한다. 여기서, 최적의 매크로블록 크기는 각 매크로블록 크기의 후보들 중 해당 매크로블록 크기로 부호화했을 때의 부호화 비용이 최소인 매크로블록 크기가 될 수 있지만, 부호화 비용을 이용하는 경우라면 그를 이용하여 다양하게 결정될 수 있다.
또한, 매크로블록 크기 결정기(3530)는 매크로블록 크기가 결정되면, 해당 매크로블록 크기로 부호화된 영상 데이터를 비트스트림으로 생성하는데, 이때 결정된 매크로블록 크기에 대한 정보를 부호화하여 비트스트림에 포함시킬 수 있다. 이러한 매크로블록 크기에 대한 정보는 전체 영상에 대한 비트스트림에 한 번만 포함될 수도 있지만, 전체 영상의 픽처마다 비트스트림에 포함될 수도 있다. 또한 본 발명의 다른 실시예에 의하면, 부호화/복호화의 단위인 매크로블록 사이즈는 픽쳐, 슬라이스 또는 매크로블록 계층마다 다르게 선택될 수 있다.
D-1-2) 매크로블록 크기 부호화 방법
이하에서는 매크로블록의 크기를 부호화하는 본 발명의 실시예에 따른 다양한 방법들을 설명한다.
전술한 바와 같이 매크로블록의 크기는 최소 서브블록의 크기와 최대 분할 레이어(MaxLayer)를 이용하여 계산할 수 있으므로, 매크로블록의 크기는 결정된 매크로블록의 크기 값을 부호화할 수도 있고 최소 서브블록의 크기와 최대 분할 레이어를 부호화할 수도 있다.
즉, 매크로블록의 크기 또는 최소 서브블록의 크기를 나타내는 블록의 크기 정보를 부호화하고 최소 서브블록의 크기를 부호화하는 방법의 경우 최대 분할 레이어(MaxLayer) 정보를 함께 부호화하여 영상 복호화 장치에 전송한다.
최대 분할 레이어 정보를 부호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용하여 이진 비트 스트링(Bit String)으로 부호화될 수 있다. 또는 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
D-1-2-1) 매크로블록 크기 부호화 방법1
먼저 매크로블록의 크기를 부호화하는 첫번째 방법을 설명한다.
시퀀스 헤더 또는 각 픽처의 헤더 또는 슬라이스 헤더에 매크로블록의 크기에 대한 정보를 보낼지에 대한 플래그(Set_MBsize_flag)를 포함시킬 수 있다. 상기 플래그의 값에 따라 매크로블록 크기를 전송할 수도 있고 전송하지 않을 수도 있다. 전송하지 않는 경우에는 소정 크기의 매크로블록, 예컨대 16x16 블록을 매크로블록으로 사용한다.
만약 매크로블록의 크기를 지정하는 경우에는 매크로블록의 크기에 대한 정보를 전송한다. 이때 매크로블록의 가로 크기와 세로 크기를 따로 설정하여 임의의 크기의 매크로블록을 사용할 수도 있다. 또는 정사각형 매크로블록을 사용하는 경우 한 변의 길이를 나타내는 정보만을 부호화한 후 복호화 장치로 전송할 수 있다.
부호화할 매크로블록 크기값은 실제 매크로블록의 크기를 지정할 수도 있고 소정의 크기로부터 몇 배를 키울지 또는 축소 시킬지에 대한 값을 보낼수도 있다. 또한, 매크로블록 크기값을 그대로 부호화하는 대신, 매크로블록 크기값에 로그 함수를 적용함으로써 보다 적은 비트를 이용하여 매크로블록 크기값을 나타낼 수 있다. 예컨대, log2(선택된 MBsize/X) (X는 2의 배수인 임의의 양의 정수) 의 값을 부호화한다. 이 때 사용 가능한 최소 매크로블록의 크기를 X의 값으로 선택할 수 있다. 예를 들어 사용 가능한 최소 매크로블록의 크기가 8x8이라면 X의 값을 8로 선택함이 바람직하다. 이 경우, 현재 매크로블록이 8x8 블록인 경우 0을 부호화하고, 16x16 블록인 경우 1을 부호화한다. 만약, 사용 가능한 최소 매크로블록의 크기가 16x16이라면 X의 값을 8 대신에 16으로 선택함이 바람직하다. 이 경우, 현재 매크로블록이 16x16 블록인 경우 0을 부호화하고, 32x32 블록인 경우 1을 부호화한다. 따라서 8, 16 또는 32 라는 큰 수를 부호화할 때보다 적은 비트를 이용하여 현재 매크로블록의 크기를 나타낼 수 있다.
또한, 가로와 세로에 대한 비율을 따로 부호화 할 수도 있다.
또는 영상 부호화 장치와 영상 복호화 장치가 약속한 Table의 인덱스 값일 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 전송할 매크로블록 크기를 부호화할 수 있다.
이하에서는 설명의 편의를 위해, 가로와 세로의 크기를 각각 설정하는 것에 대한 내용은 기술하지 않지만, 가로와 세로의 크기를 각각 설정하는 것도 적용 가능하다. 또한, 시퀀스 헤더와 픽처 헤더 상에서 데이터를 부호화하는 것으로 예를 들었지만, 슬라이스 헤더 또는 매크로블록 해더에서 부호화할 수도 있다.
아래는 전술한 매크로블록의 크기 부호화에 관한 첫번째 방법에 따른 신택스의 일 예를 나타낸다.
Set_MBsize_Flag
if(Set_MBsize_Flag == 1)
{
MBsize
}
또는
Set_MBsize_Flag
if(Set_MBsize_Flag == 1)
{
MBsize_width
MBsize_height
}
또한 매크로블록의 크기를 나타내는 MB_size와 같은 블록의 크기 정보는 최소 서브블록의 크기와 최대 분할 레이어를 통해 부호화 할 수 있다.
여기서 부호화할 최소 서브블록 크기값은 실제 최소서브블록의 크기를 지정할 수도 있고 소정의 크기로부터 몇 배를 키울지 또는 축소 시킬지에 대한 값을 보낼 수도 있다. 또한, 최소 서브블록 크기값을 그대로 부호화하는 대신, 최소 서브블록 크기값에 로그 함수를 적용함으로써 보다 적은 비트를 이용하여 매크로블록 크기값을 나타낼 수 있다. 예컨대, log2(minBlockSize/X) (X는 2의 배수인 임의의 양의 정수) 의 값을 부호화한다. 이 때 사용 가능한 최소 서브블록의 크기를 X의 값으로 선택할 수 있다. 예를 들어 사용 가능한 최소 서브블록의 크기가 4x4이라면 X의 값을 4로 선택함이 바람직하다. 이 경우, 현재 매크로블록의 크기에 따른 부호화할 최소 서브블록이 4x4 블록인 경우 0을 부호화하고, 8x8 블록인 경우 1을 부호화한다. 만약, 사용 가능한 최소 매크로블록의 크기가 8x8이라면 X의 값을 4 대신에 8로 선택함이 바람직하다. 이 경우, 현재 매크로블록의 크기에 따른 최소 서브블록의 크기가 8x8 블록인 경우 0을 부호화하고, 16x16 블록인 경우 1을 부호화한다.
또한, 가로와 세로에 대한 비율을 따로 부호화 할 수도 있다.
또는 영상 부호화 장치와 영상 복호화 장치가 약속한 블록의 크기를 정의한 Table의 인덱스 값일 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
최대 분할 레이어 정보를 부호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용하여 이진 비트 스트링(Bit String)으로 부호화될 수 있다. 또는 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
매크로블록의 크기를 최소 서브블록의 크기와 최대 분할 레이어를 이용하여 부호화하는 경우 전술한 첫번째 신택스의 일 예는 다음과 같이 나타낼수 있다.
Set_MBsize_Flag
if(Set_MBsize_Flag == 1)
{
minBlockSize
MaxLayer
}
또는
Set_MBsize_Flag
if(Set_MBsize_Flag == 1)
{
minBlockSize_width
minBlockSize _height
MaxLayer
}
또는 매크로블록의 크기에 대한 정보를 보낼지에 대한 플래그 (Set_MBsize_flag)를 부호화 하지 않고 시퀀스, 픽쳐, 슬라이스 또는 매크로블록 해더마다 매크로블록의 크기를 영상 복호화 장치로 전송할 수도 있다.
D-1-2-2) 매크로블록 크기 부호화 방법 2
이하에서는 매크로블록의 크기를 부호화하는 두번째 방법을 설명한다.
두번째 방법에 따르면, MxN 크기를 기준 매크로블록의 크기로 설정하고 각 픽처 또는 슬라이스, 매크로블록 헤더마다 기준 매크로블록의 크기를 사용할지를 나타내는 플래그를 부호화하고 기준 매크로블록 크기를 사용하지 않을 경우, 선택된 매크로블록의 크기를 부호화한다. 또는 시퀀스 헤더에서 기준 매크로블록의 크기를 설정할지를 나타내는 플래그를 부호화한 후 기준 매크로블록의 크기를 설정하지 않는 경우 소정 사이즈, 예컨대 16x16 크기를 기준 매크로블록의 크기로 사용하고 기준 매크로블록의 크기를 설정하는 경우에는 기준 매크로블록의 크기를 부호화하여 시퀀스 헤더 등에 포함시킬 수도 있다.
여기서 기준 매크로블록의 크기를 나타내는 정보인 defalt_MBsize 또는 현재 매크로블록의 크기를 나타내는 정보인 MB_size 값을 부호화하는 방법은 실제 매크로블록의 크기를 지정할 수도 있고 소정의 크기로부터 몇 배를 키울지 또는 축소 시킬지에 대한 값을 보낼수도 있다. 또는 전술한 첫번째 방법에서 설명한 바와 같이, 매크로블록 크기값을 그대로 부호화하는 대신, 매크로블록 크기값에 로그 함수를 적용함으로써 보다 적은 비트를 이용하여 매크로블록 크기값을 나타낼 수 있다.
또한, 가로와 세로에 대한 비율을 따로 부호화 할 수도 있다.
또는 영상 부호화 장치와 영상 복호화 장치가 약속한 블록의 크기를 정의한 Table의 인덱스 값일 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 전송할 매크로블록 크기를 부호화할 수 있다.
아래는 전술한 매크로블록의 크기 부호화에 관한 두번째 방법에 따른 신택스의 일 예를 나타낸다.
시퀀스, 픽쳐, 또는 슬라이스 해더
Set_defaultMBsize_Flag
if(Set_MBsize_Flag == 1)
{
defalt_MBsize
}
픽쳐, 슬라이스 또는 매크로블록 해더
use_defalt_MBsize_flag
if(use_defalt_MBsize_flag == 0)
{
MB_size
}
또한 기준 매크로블록의 크기를 나타내는 default_MBsize와 매크로블록의 크기를 나타내는 MB_size와 같은 블록의 크기 정보는 최소 서브블록의 크기와 최대 분할 레이어를 통해 부호화 할 수 있다.
여기서 기준 매크로블록의 크기를 나타내기 위한 기준 최소 서브블록의 크기 정보 default_minBlockSize 또는 현재 매크로블록의 크기를 나타내는 정보를 나타내기 위한 최소 서브블록의 크기 minBlockSize 값을 부호화하는 방법은 실제 부호화할 최소 서브블록의 크기를 지정할 수도 있고 소정의 크기로부터 몇 배를 키울지 또는 축소 시킬지에 대한 값을 보낼수도 있다. 또는 전술한 첫번째 방법에서 설명한 바와 같이, 최소 서브블록 크기값을 그대로 부호화하는 대신, 최소 서브블록 크기값에 로그 함수를 적용함으로써 보다 적은 비트를 이용하여 최소 서브블록 크기값을 나타낼 수 있다.
또한, 가로와 세로에 대한 비율을 따로 부호화 할 수도 있다.
또는 영상 부호화 장치와 영상 복호화 장치가 약속한 블록의 크기를 정의한 Table의 인덱스 값일 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 전송할 최소 서브블록 크기를 부호화할 수 있다.
최대 분할 레이어 정보를 부호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용하여 이진 비트 스트링(Bit String)으로 부호화될 수 있다. 또는 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
매크로블록의 크기를 최소 서브블록의 크기와 최대 분할 레이어를 이용하여 부호화하는 경우 전술한 두번째 신택스의 일 예는 다음과 같이 나타낼 수 있다.
시퀀스, 픽쳐, 또는 슬라이스 해더
Set_defaultMBsize_Flag
if(Set_MBsize_Flag == 1)
{
default_minBlockSize
default_MaxLayer
}
픽쳐, 슬라이스 또는 매크로블록 해더
use_defalt_MBsize_flag
if(use_defalt_MBsize_flag == 0)
{
minBlockSize
MaxLayer
}
D-1-2-3) 매크로블록 크기 부호화 방법 3
이하에서는 매크로블록의 크기를 부호화하는 세번째 방법을 설명한다.
세번째 방법에 따르면, MxN 크기를 기준 매크로블록의 크기로 설정하고 각 픽처 또는 슬라이스, 매크로블록 헤더마다 기준 매크로블록의 크기를 사용할지 여부를 나타내는 플래그를 부호화하여 영상 복호화 장치로 전송한다. 상기 플래그가 기준 매크로블록 크기를 사용할 것을 나타내는 경우, 기준 매크로블록의 크기와 동일한 크기의 블록이 현재 매크로블록으로 선택된다. 그러나 상기 플래그가 기준 매크로블록 크기를 사용하지 않음을 나타내는 경우, 기준 매크로블록의 크기로부터 소정 비율만큼 확장 또는 축소한 블록이 현재 매크로블록으로서 부호화 또는 복호화 과정에서 선택된다. 예컨대, 기준 매크로블록의 가로 및 세로 길이가 두 배로 확장된 또는 1/2로 축소된 가로 및 세로 길이를 갖는 블록이 현재 매크로블록으로 선택될 수 있다.
만약, 다양한 확장 또는 축소 비율을 가지는 경우에는 상기 플래그의 길이를 2비트 이상이 되도록 하여 다양한 비율을 나타내게 할 수 있다. 또는 기준 매크로블록의 크기를 사용할지 여부를 나타내는 플래그 외에 추가로 확장 비율 또는 축소비율을 나타내는 정보를 부호화할 수 있다.
상기 플래그가 기준 매크로블록 크기를 사용하지 않음을 나타내고 또한 기준 매크로블록의 크기로부터 확장된 블록이 현재 매크로블록으로 선택되는 경우, 상기 기준 매크로블록의 크기는 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최소 매크로블록의 크기에 해당한다. 반대로, 상기 플래그가 기준 매크로블록 크기를 사용하지 않음을 나타내고 또한 기준 매크로블록의 크기로부터 축소된 블록이 현재 매크로블록으로 선택되는 경우, 상기 기준 매크로블록의 크기는 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최대 매크로블록의 크기에 해당한다.
영상 복호화 장치는 기준 매크로블록의 크기를 사용할지 여부를 나타내는 상기 플래그 및/또는 기준 매크로블록의 크기로부터 소정 비율만큼 확장 또는 축소할 것을 지시하는 추가 정보를 이용하여 현재 매크로블록의 크기를 선택할 수 있다.
본 발명의 일 실시예에 따르면 기준 매크로블록의 크기를 설정할지를 나타내는 플래그를 비트스트림의 시퀀스 헤더에 포함시킬 수 있다. 기준 매크로블록의 크기를 설정하지 않는 경우 소정 사이즈, 예컨대 16x16 크기를 기준 매크로블록의 크기로 사용하도록 미리 약속될 수 있다.
만약, 기준 매크로블록의 크기를 설정하여 영상 복호화 장치로 시그널링하는 경우에는 기준 매크로블록의 크기를 나타내는 정보를 부호화하여 시퀀스 헤더 등에 포함시킬 수 있다. 본 발명의 일 실시예에 따르면, 영상 부호화 장치는 기준 매크로블록의 크기를 나타내는 정보로서 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최대 매크로블록의 크기를 나타내는 정보를 영상 복호화 장치로 시그널링 할 수 있다. 본 발명의 다른 실시예에 따르면, 영상 부호화 장치는 기준 매크로블록의 크기를 나타내는 정보로서 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최소 매크로블록의 크기를 나타내는 정보를 영상 복호화 장치로 시그널링 할 수 있다. 본 발명의 또 다른 실시예에 따르면, 영상 부호화 장치는 기준 매크로블록의 크기를 나타내는 정보로서 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최대 매크로블록의 크기와 최소 매크로블록의 크기 양자를 영상 복호화 장치로 시그널링 할 수 있다.
기준 매크로블록의 크기를 나타내는 정보인 defalt_MBsize를 부호화하는 방법은 실제 매크로블록의 크기를 지정할 수도 있고 소정의 크기로부터 몇 배를 키울지 또는 축소시킬지에 대한 값을 보낼 수도 있다. 또는 전술한 첫번째 방법에서 설명한 바와 같이, 매크로블록 크기값을 그대로 부호화하는 대신, 매크로블록 크기값에 로그 함수를 적용함으로써 보다 적은 비트를 이용하여 매크로블록 크기값을 나타낼 수 있다.
보다 구체적으로 설명하면, 예컨대, defalt_MBsize가 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최대 매크로블록의 크기를 나타낸다면, log2(X/defalt_MBsize) (X는 2의 배수인 임의의 양의 정수) 의 값을 부호화한다. 이 때 가능한 최대 매크로블록의 크기를 X의 값으로 선택할 수 있다. 또는 defalt_MBsize가 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최소 매크로블록의 크기를 나타낸다면, log2(defalt_MBsize/X) (X는 2의 배수인 임의의 양의 정수) 의 값을 부호화한다. 이때 가능한 최소 매크로블록의 크기를 X의 값으로 선택할 수 있다.
또한, 가로와 세로에 대한 비율을 따로 부호화 할 수도 있다.
또는 영상 부호화 장치와 영상 복호화 장치가 약속한 Table의 인덱스 값일 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 전송할 매크로블록 크기를 부호화할 수 있다.
또한 기준 매크로블록의 크기를 나타내는 default_MBsize와 매크로블록의 크기를 나타내는 MB_size와 같은 블록의 크기 정보는 최소 서브블록의 크기와 최대 분할 레이어를 통해 부호화 할 수 있다.
기준 매크로블록의 크기에 따른 기준 최소 서브블록의 크기를 나타내는 정보인 default_minBlockSize를 부호화하는 방법은 실제 부호화할 최소 서브블록의 크기를 지정할 수도 있고 소정의 크기로부터 몇 배를 키울지 또는 축소 시킬지에 대한 값을 보낼수도 있다. 또는 전술한 첫번째 방법에서 설명한 바와 같이, 최소 서브블록 크기값을 그대로 부호화하는 대신, 최소 서브블록 크기값에 로그 함수를 적용함으로써 보다 적은 비트를 이용하여 나타낼 수 있다.
보다 구체적으로 설명하면, 예컨대, defalt_minBlockSize가 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최대 매크로블록의 크기에 따른 최대 서브블록의 크기를 나타낸다면, log2(X/defalt_MBsize) (X는 2의 배수인 임의의 양의 정수) 의 값을 부호화한다. 이 때 가능한 최대 서브블록의 크기를 X의 값으로 선택할 수 있다. 또는 defalt_minBlockSize가 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최소 매크로블록의 크기에 따른 최소 서브블록의 크기를 나타낸다면, log2(defalt_minBlockSize/X) (X는 2의 배수인 임의의 양의 정수) 의 값을 부호화한다. 이 때 가능한 최소 서브블록의 크기를 X의 값으로 선택할 수 있다.
또한, 가로와 세로에 대한 비율을 따로 부호화 할 수도 있다.
또는 영상 부호화 장치와 영상 복호화 장치가 약속한 Table의 인덱스 값일 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
최대 분할 레이어 정보를 부호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용하여 이진 비트 스트링(Bit String)으로 부호화될 수 있다. 또는 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
D-1-2-4) 매크로블록 크기 부호화 방법 4
이하에서는 매크로블록의 크기를 부호화하는 네번째 방법을 설명한다.
네번째 방법에 따르면, 첫 번째 픽처에서 기준 매크로블록 크기를 사용할지에 대한 플래그와 기준 매크로블록 크기를 사용하지 않는 경우 선택된 매크로블록의 크기를 부호화한 후, 두번째 픽처부터는 이전 픽처의 매크로블록의 크기를 사용할지에 대한 플래그와 이전 픽처의 매크로블록의 크기를 사용하지 않을 경우 현재 픽처의 매크로블록의 크기를 부호화할 수도 있다.
기준 매크로블록의 크기를 나타내는 정보인 defalt_MBsize 또는 현재 매크로블록의 크기를 나타내는 정보인 MB_size를 부호화하는 방법은 실제 매크로블록의 크기를 지정할 수도 있고 소정의 크기로부터 몇 배를 키울지 또는 축소 시킬지에 대한 값을 보낼수도 있다. 또는 전술한 첫번째 방법에서 설명한 바와 같이, 매크로블록 크기값을 그대로 부호화하는 대신, 매크로블록 크기값에 로그 함수를 적용함으로써 보다 적은 비트를 이용하여 매크로블록 크기값을 나타낼 수 있다.
또한, 가로와 세로에 대한 비율을 따로 부호화 할 수도 있다. 또는 영상 부호화 장치와 영상 복호화 장치가 약속한 Table의 인덱스 값일 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 전송할 매크로블록 크기를 부호화할 수 있다.
아래는 전술한 매크로블록의 크기 부호화에 관한 네번째 방법에 따른 신택스의 일 예를 나타낸다.
첫번째 픽처
use_defalt_MBsize_flag
if(use_defalt_MBsize_flag == 0)
{
MB_size
}
두번째 픽처부터
use_prevPic_MBsize_flag
if(use_prevPic_MBsize_flag == 0)
{
MB_size
}
또한 매크로블록의 크기를 나타내는 MBsize 와 같은 블록의 크기 정보는 최소 서브블록의 크기와 최대 분할 레이어를 통해 부호화 할 수 있다.
실제 부호화할 최소 서브블록의 크기를 지정할 수도 있고 소정의 크기로부터 몇 배를 키울지 또는 축소 시킬지에 대한 값을 보낼수도 있다. 또는 전술한 첫번째 방법에서 설명한 바와 같이, 최소 서브블록 크기값을 그대로 부호화하는 대신, 최소 서브블록 크기값에 로그 함수를 적용할 수도 있다.
또한, 가로와 세로에 대한 비율을 따로 부호화 할 수도 있다. 또는 영상 부호화 장치와 영상 복호화 장치가 약속한 Table의 인덱스 값일 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
최대 분할 레이어 정보를 부호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용하여 이진 비트 스트링(Bit String)으로 부호화될 수 있다. 또는 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 부호화(Binary Coding) 방법을 이용하여 부호화할 수 있다.
기준 매크로블록의 크기 또는 매크로블록의 크기를 최소 서브블록의 크기와 최대 분할 레이어를 이용하여 부호화하는 경우 전술한 네번째 신택스의 일 예는 다음과 같이 나타낼수 있다.
첫번째 픽처
use_defalt_MBsize_flag
if(use_defalt_MBsize_flag == 0)
{
minBlockSize
MaxLayer
}
두번째 픽처부터
use_prevPic_MBsize_flag
if(use_prevPic_MBsize_flag == 0)
{
minBlockSize
MaxLayer
}
D-1-2-5) 매크로블록 크기 부호화 방법 5
이하에서는 매크로블록의 크기를 부호화하는 다섯번째 방법을 설명한다.
다섯번째 방법에 따르면, 인트라 픽처와 인터 픽처의 매크로블록 크기를 다르게 사용한다. 즉, 시퀀스 헤더에서 인트라 픽처를 위한 매크로블록의 크기와 인터 픽처를 위한 매크로블록의 크기를 부호화한다. 또는 첫번째 인트라 픽처와 인터 픽처의 헤더에만 픽처 종류에 따른 각각의 매크로블록의 크기를 부호화하도록 할 수도 있다. 인트라 픽처의 매크로블록의 크기와 인터 픽처의 매크로블록의 크기에 대한 정보를 부호화하는 방법은 앞서 설명한 방법들과 결합되어 사용할 수도 있다
시퀀스헤더
Set_intraMBsize_Flag
Set_interMBsize_Flag
if(Set_intraMBsize_Flag == 1)
{
intraMBsize
}
if(Set_interMBsize_Flag == 1)
{
interMBsize
}
또한 인트라 매크로블록의 크기 또는 인터 매크로블록의 크기 정보는 최소 서브블록의 크기와 최대 분할 레이어를 통해 부호화 할 수도 있다.
인트라 매크로블록의 크기 또는 인터 매크로블록의 크기를 최소 서브블록의 크기와 최대 분할 레이어를 이용하여 부호화하는 경우 전술한 다섯번째 신택스의 일 예는 다음과 같이 나타낼수 있다.
시퀀스헤더
Set_intraMBsize_Flag
Set_interMBsize_Flag
if(Set_intraMBsize_Flag == 1)
{
Intra_minBlockSize
Intra_MaxLayer
}
if(Set_interMBsize_Flag == 1)
{
Inter_minBlockSize
Inter_MaxLayer
}
D-1-3) 부호화 방법 순서도 설명
도 36은 본 발명의 다른 실시예에 따른 영상 부호화 방법의 구현 예를 설명하기 위한 순서도이다.
영상 부호화 장치는 매크로블록 크기의 후보를 설정하고(S3610), 매크로블록 크기의 후보별로 입력 영상을 부호화하여(S3620), 매크로블록 크기의 후보별 영상 데이터의 부호화 비용에 따라 매크로블록 크기를 결정하며(S3630), 결정된 매크로블록 크기로 부호화된 영상 데이터 및 결정된 매크로블록 크기에 대한 정보를 포함하는 비트스트림을 생성한다(S3640). 영상 부호화 장치가 매크로블록 크기의 후보를 설정하고, 매크로블록 크기의 후보별로 영상을 부호화하며, 매크로블록 크기의 후보별로 부호화된 영상 데이터의 부호화 비용에 따라 매크로블록 크기를 결정하는 것에 대해서는 도 35를 통해 전술하였으므로, 상세한 설명은 생략한다.
D-2) 영상 복호화 장치
D-2-1) 복호화 장치 설명
도 37은 본 발명의 다른 실시예에 따른 영상 복호화 장치의 구현예를 나타낸 블록 구성도이다.
본 발명의 다른 실시예에 따른 영상 복호화 장치의 구현 예에 따르면, 영상 복호화 장치(3700)는 매크로블록 크기 설정기(3710)와 영상 복호화기(3720)를 포함하여 구성될 수 있다.
매크로블록 크기 설정기(3710)는 매크로블록단위 복호화를 수행하기 전에 비트스트림으로부터 매크로블록 크기에 대한 정보를 추출하고 추출한 정보를 이용하여 매크로블록 크기를 설정한다.
매크로블록 크기에 대한 정보는 전체 영상에 대한 비트스트림에 한번만 포함하기로 영상 부호화 장치와 약속된 경우 전제 영상에 대한 비트스트림에 한번만 복호화하여 전체 영상 복호화에 추출한 매크로블록 크기를 이용하여 영상을 복원할 수도 있고 픽쳐마다 매크로블록 크기를 부호화/복호화하기로 약속된 경우 비트스트림으로부터 각 픽쳐마다 매크로블록 크기를 추출하여 각 픽쳐마다 다른 매크로블록 크기를 사용하여 영상을 복원할 수도 있다. 또한 본 발명에 따른 다른 실시예에 의하면 매크로블록 크기는 픽쳐, 슬라이스 또는 매크로블록 계층마다 추출하도록 하여 선택된 매크로블록의 크기를 이용하여 영상을 복원할 수도 있다.
영상 복호화기(3720)는 도 7, 도 24, 도 32를 통해 전술한 본 발명의 일 실시예에 따른 영상 복호화 장치로 구현될 수 있으며 복원된 매크로블록의 크기에 따른 분할 정보를 전술한 실시예에 따른 방법들을 통해 복호화하여 매크로블록 내 예측 또는 변환을 위해 분할된 서브블록들의 크기와 모양을 복원한다. 각 서브블록들의 부호화된 영상 데이터를 비트스트림으로부터 추출하고 복호화하여 각 블록들을 복원한다.
D-2-2) 매크로블록 크기 정보 복호화 방법
이하에서는 매크로블록 크기를 복호화하는 본 발명의 실시예에 따른 다양한 방법들을 설명한다.
D-2-2-1) 매크로블록 크기 정보 복호화 방법 1
먼저 매크로블록의 크기를 부호화하는 첫번째 방법에 따른 복호화 방법을 설명한다.
매크로블록의 크기에 대한 정보를 보낼지에 대한 플래그(Set_MBsize_flag)가 포함된 경우, 시퀀스 헤더 또는 각 픽쳐의 헤더 또는 슬라이스 헤더 등의 약속된 위치에서 매크로블록의 크기에 대한 정보를 보낼지에 대한 플래그(Set_MBsize_flag)를 엔트로피 복호화한다. 복호화한 플래그가 매크로블록의 크기가 전송되지 않았음을 나타내는 값인 경우, 영상 부호화 장치와 약속된 소정 크기의 매크로블록, 예컨대 16x16블록을 매크로블록으로 사용한다.
만약 복호화한 매크로블록 크기 지정 플래그(Set_MBsize_flag)가 매크로블록의 크기가 지정되었음을 의미하는 경우, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary-Code), 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 엔트로피 복호화 방법들 중 영상 부호화 장치와 약속된 방법으로 매크로블록의 크기를 엔트로피 복호화하여 추출한다.
만약 매크로블록의 가로 크기와 세로크기가 따로 설정되어 전송된 경우 가로크기와 세로크기를 각각 엔트로피 복호화하여 구할 수도 있고, 또는 정사각형 매크로블록을 사용하는 경우 한 변의 길이를 나타내는 정보만을 엔트로피 복호화할 수도 있다.
복호화 한 값을 실제 매크로블록의 크기로 지정할 수도 있고 복호화 한 값을 영상 부호화 장치와 약속한 소정의 크기로부터 몇배를 키우거나 축소시킨 값을 매크로블록의 크기로 지정할 수도 있다. 또한 영상 부호화 장치에서 매크로블록의 크기값에 로그함수를 적용한 값을 부호화한 경우 엔트로피 복호화한 값을 지수함수를 적용하여 매크로블록의 크기를 설정할 수도 있다 예컨대, 영상 부호화 장치에서 log2(영상 부호화 장치에서 선택된 MBsize/X) (X는 2의 배수인 임의의 양의 정수)의 값인 y를 부호화한 경우 영상 복호화 장치에서는 y값을 엔트로피 복호화하고 X의 값에 2y 를 곱하여 영상 부호화 장치에 선택된 매크로블록의 크기를 구할 수 있다. 여기서 X의 값은 영상 부호화 장치와 영상 복호화 장치가 약속한 값이거나 비트스트림으로부터 매크로블록 크기를 복호화하기 전 추출한 값일 수도 있다. 만약 X의 값으로 사용 가능한 최소 매크로블록의 크기를 선택하여 사용하고 사용 가능한 최소 매크로블록의 크기가 8x8인 경우, 복호화 한 y의 값이 0이면 매크로블록의 크기를 8x8로 설정하고 복호화 한 y의 값이 1이면 매크로블록의 크기를 16x16으로 설정한다. 만약 사용 가능한 최소 매크로블록의 크기가 16x16이라면 X의 값을 8대신 16을 사용하고 복호화한 y의 값이 0인 경우 매크로블록의 크기는 16x16으로 설정한다.
또한 영상 부호화 장치에서 가로와 세로에 대한 비율을 따로 복호화 한 경우 가로에 대한 비율과 세로에 대한 비율을 각각 엔트로피 복호화하여 매크로블록의 크기를 얻을 수도 있다.
또한 영상 부호화 장치와 영상 복호화 장치가 약속한 표의 인덱스값을 부호화한 경우, 복호화한 값을 표의 인덱스값으로 사용하여 매크로블록의 크기를 구할 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 복호화(Binary Coding) 방법을 이용하여 전송할 매크로블록 크기를 복호화 할 수 있다. 이하에서는 설명의 편의를 위해, 가로와 세로의 크기를 각각 복호화하여 추출하는 것에 대한 내용은 기술하지 않지만, 가로와 세로의 크기를 각각 추출하는 것도 적용 가능하다. 또한 시퀀스 헤더와 픽쳐 헤더 상에서 데이터를 복호화하는 것으로 예를 들었지만 영상 부호화 장치에서 슬라이스 헤더 또는 매크로블록 헤더에서 매크로블록의 크기를 부호화한 경우 슬라이스 헤더 또는 매크로블록 헤더에서 매크로블록의 크기를 복호화 할 수도 있다.
또한 영상 부호화 장치와 매크로블록의 크기 정보로 최소 서브블록의 크기와 최대 분할 레이어를 이용하기로 약속된 경우 최소 서브블록의 크기와 최대 분할 레이어 정보를 비트스트림으로부터 추출하여 복호화한 후 매크로블록의 크기를 복원할 수도 있다.
만약 복호화한 매크로블록 크기 지정 플래그(Set_MBsize_flag)가 매크로블록의 크기가 지정되었음을 의미하는 경우, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary-Code), 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 엔트로피 복호화 방법들 중 영상 부호화 장치와 약속된 방법으로 최소 서브블록의 크기를 엔트로피 복호화하여 추출한다.
만약 최소 서브블록의 가로 크기와 세로크기가 따로 설정되어 전송된 경우 가로크기와 세로크기를 각각 엔트로피 복호화하여 구할 수도 있고, 또는 정사각형 매크로블록을 사용하는 경우 한 변의 길이를 나타내는 정보만을 엔트로피 복호화할 수도 있다.
복호화 한 값을 실제 최소 서브블록의 크기로 지정할 수도 있고 복호화 한 값을 영상 부호화 장치와 약속한 소정의 크기로부터 몇배를 키우거나 축소시킨 값을 최소 서브블록의 크기로 지정할 수도 있다. 또한 영상 부호화 장치에서 최소 서브블록의 크기값에 로그함수를 적용한 값을 부호화한 경우 엔트로피 복호화한 값을 지수함수를 적용하여 최소 서브블록의 크기를 설정할 수도 있다 예컨대, 영상 부호화 장치에서 log2(영상 부호화 장치에서 선택된 매크로블록의 크기에 따른 minBlockSize/X) (X는 2의 배수인 임의의 양의 정수)의 값인 y를 부호화한 경우 영상 복호화 장치에서는 y값을 엔트로피 복호화하고 X의 값에 2y 를 곱하여 영상 부호화 장치에 선택된 매크로블록의 크기에 따른 최소 서브블록의 크기를 구할 수 있다. 여기서 X의 값은 영상 부호화 장치와 영상 복호화 장치가 약속한 값이거나 비트스트림으로부터 최소 서브블록 크기를 복호화하기 전 추출한 값일 수도 있다. 만약 X의 값으로 사용 가능한 최소 서브블록의 크기를 선택하여 사용하고 사용 가능한 최소 서브블록의 크기가 4x4인 경우, 복호화 한 y의 값이 0이면 최소 서브블록의 크기를 4x4로 설정하고 복호화 한 y의 값이 1이면 최소 서브블록의 크기를 8x8으로 설정한다. 만약 사용 가능한 최소 서브블록의 크기가 8x8이라면 X의 값을 4대신 8을 사용하고 복호화한 y의 값이 0인 경우 최소 서브블록의 크기는 8x8으로 설정한다.
또한 영상 부호화 장치에서 가로와 세로에 대한 비율을 따로 복호화 한 경우 가로에 대한 비율과 세로에 대한 비율을 각각 엔트로피 복호화하여 최소 서브블록의 크기를 얻을 수도 있다.
또한 영상 부호화 장치와 영상 복호화 장치가 약속한 표의 인덱스값을 부호화한 경우, 복호화한 값을 표의 인덱스값으로 사용하여 최소 서브블록의 크기를 구할 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 복호화(Binary Coding) 방법을 이용하여 최소 서브블록 크기를 복호화 할 수 있다.
최대 분할 레이어 정보를 복호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용할 수도 있고 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 방법을 이용하여 복호화할 수 있다.
복원한 최소 서브블록의 크기가 NxN이고 최대 분할 레이어가 x인 경우 매크로블록의 크기는 (Nx2x)x(Nx2x)가 된다.
D-2-2-2) 매크로블록 크기 정보 복호화 방법 2
이하에서는 매크로블록의 크기를 부호화하는 두번째 방법에 따른 복호화 방법을 설명한다.
두번째 방법에 따르면, 영상 부호화 장치와 약속된 NxN 크기를 기준 매크로블록 크기로 설정하고 각 픽쳐 또는 슬라이스, 매크로블록 헤더로부터 기준 매크로블록 크기를 사용할지를 나타내는 플래그를 엔트로피 복호화한다. 복호화한 플래그 값이 기준 매크로블록 크기를 사용하지 않음을 뜻하는 경우, 매크로블록 크기 정보를 엔트로피 복호화하여 매크로블록의 관련 정보를 추출하고 매크로블록의 크기를 설정한다. 복호화한 플래그 값이 기준 매크로블록 크기 사용함을 뜻하는 경우, 매크로블록 크기 정보는 비트스트림에 포함되지 않았음을 뜻하므로 사전에 설정된 기준 매크로블록의 크기를 매크로블록의 크기로 설정하여 일련의 복호화 과정을 진행한다.
기준 매크로블록의 크기는 영상 부호화 장치에서 시퀀스 헤더 등에 포함되어 영상 복호화 장치로 전송된 경우, 비트스트림 내 시퀀스 헤더 등의 약속된 위치에서 기준 매크로블록의 크기를 추출할 수도 있다. 여기서 기준 매크로블록의 크기 또는 현재 매크로블록의 크기는 엔트로피 복호화 한 값을 할당할 수도 있고 엔트로피 복호화 한 값으로 소정의 크기를 스케일링 (축소 또는 확대)하여 매크로블록의 크기를 얻을 수도 있다. 또는 전술한 첫번째 복호화 방법에서 설명한 바와 같이, 영상 부호화 장치에서 매크로블록의 크기값에 로그함수를 적용한 값을 부호화한 경우 지수함수를 이용하여 매크로블록의 크기값을 얻을 수도 있다.
또한 영상 부호화 장치에서 가로와 세로에 대한 비율을 따로 복호화 한 경우 가로에 대한 비율과 세로에 대한 비율을 각각 엔트로피 복호화하여 매크로블록의 크기를 얻을 수도 있다.
또한 영상 부호화 장치와 영상 복호화 장치가 약속한 표의 인덱스값을 부호화한 경우, 복호화한 값을 표의 인덱스값으로 사용하여 매크로블록의 크기를 구할 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 복호화(Binary Coding) 방법을 이용하여 전송할 매크로블록 크기를 복호화 할 수 있다.
또한 기준 매크로블록의 크기 또는 매크로블록의 크기 정보가 최소 서브블록의 크기와 최대 분할 레이어 정보인 경우 기준 매크로블록의 크기에 따른 기준 최소 서브블록의 크기 또는 매크로블록의 크기에 따른 최소 서브블록의 크기 정보와 각각에 대한 최대 분할 레이어 정보를 비트스트림으로부터 엔트로피 복호화한 후 매크로블록의 크기를 복호화한다.
여기서 기준 최소 서브블록의 크기와 최소 서브블록의 크기는 비트스트림 내 시퀀스 헤더 등의 약속된 위치에서 최소 서브블록의 크기를 추출할 수도 있다. 여기서 기준 최소 서브블록의 크기 또는 현재 최소 서브블록의 크기는 엔트로피 복호화 한 값을 할당할 수도 있고 엔트로피 복호화 한 값으로 소정의 크기를 스케일링 (축소 또는 확대)하여 최소 서브블록의 크기를 얻을 수도 있다. 또는 전술한 첫번째 복호화 방법에서 설명한 바와 같이, 영상 부호화 장치에서 최소 서브블록의 크기값에 로그함수를 적용한 값을 부호화한 경우 지수함수를 이용하여 최소 서브블록의 크기값을 얻을 수도 있다.
또한 영상 부호화 장치에서 가로와 세로에 대한 비율을 따로 복호화 한 경우 가로에 대한 비율과 세로에 대한 비율을 각각 엔트로피 복호화하여 최소 서브블록의 크기를 얻을 수도 있다.
또한 영상 부호화 장치와 영상 복호화 장치가 약속한 표의 인덱스값을 부호화한 경우, 복호화한 값을 표의 인덱스값으로 사용하여 최소 서브블록의 크기를 구할 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 복호화(Binary Coding) 방법을 이용하여 최소 서브블록 크기를 복호화 할 수 있다.
최대 분할 레이어 정보를 복호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용할 수도 있고 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 방법을 이용하여 복호화할 수 있다.
복원한 최소 서브블록의 크기가 NxN이고 최대 분할 레이어가 x인 경우 매크로블록의 크기는 (Nx2x)x(Nx2x)가 된다.
D-2-2-3) 매크로블록 크기 정보 복호화 방법 3
이하에서는 매크로블록의 크기를 부호화하는 세번째 방법에 따른 복호화 방법을 설명한다.
세번째 방법에 따르면, 영상 복호화 장치는 기준 매크로블록의 크기를 사용할지 여부를 나타내는 플래그 및/또는 기준 매크로블록의 크기로부터의 소정 비율 만큼 확장 또는 축소할것을 나타내는 추가 정보를 비트스트림으로부터 추출한 후 상기 정보들을 이용하여 현재 매크로블록의 크기를 추출할 수 있다.
먼저, NxN 크기를 기준 매크로블록의 크기로 설정하고 각 픽쳐 또는 슬라이스, 매크로블록 헤더마다 기준 매크로블록의 크기를 사용할지 여부를 나타내는 플래그를 복호화한다. 상기 플래그가 기준 매크로블록 크기를 사용하여 부호화되었음을 나타내는 경우, 현재 매크로블록의 크기는 기준 매크로블록의 크기와 동일한 값으로 설정하고 설정된 매크로블록의 크기를 이용하여 매크로블록 단위로 복호화를 진행한다. 그러나 상기 플래그가 기준 매크로블록 크기를 사용하지 않았음을 나타내는 경우, 기준 매크로블록의 크기로부터 영상 부호화 장치와 약속한 소정 비율만큼 확장 또는 축소한 값을 현재 매크로블록의 크기로 설정하여 매크로블록 단위 복호화를 진행한다. 예컨대, 기준 매크로블록의 가로 및 세로 길이가 두배로 확장된 크기 또는 1/2로 축소된 크기를 현재 매크로블록의 크기로 설정할 수도 있다.
만약, 영상 부호화 장치에서 다양한 확장 또는 축소 비율을 사용하고 선택된 비율을 상기 플래그를 비트스트림에 포함하여 부호화한 경우, 영상 복호화 장치는 비트스트림으로부터 상기 플래그 엔트로피 복호화 시 영상 부호화 장치와 약속된 비트수만큼 복호화하여 다양한 비율을 얻을 수 있다.
또는 기준 매크로블록을 사용할지 여부를 나타내는 플래그 외에 추가로 확장 비율 또는 축소 비율을 나타내는 정보가 비트스트림으로 포함되어 부호화된 경우 기준 매크로블록을 사용할지 여부를 나타내는 플래그를 복호화한 후 플래그 값에 따라 확장 비율 또는 축소 비율을 복호화할수도 있고 하지 않을 수도 있다. 복호화하지 않는 경우 기준 매크로블록의 크기를 현재 매크로블록의 크기로 설정하여 이후 복호화 과정들을 진행한다.
복호화한 상기 플래그가 기준 매크로블록 크기가 현재 매크로블록의 크기와 다름을 나타내고 또한 복호화한 비율이 확장 비율인 경우, 상기 기준 매크로블록의 크기를 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최소 매크로블록의 크기로 설정한 후, 엔트로피 복호화한 비율만큼 기준 매크로블록의 크기를 확장한 크기를 현재 매크로블록의 크기로 설정한다. 반대로 엔트로피 복호화한 비율이 축소비율인 경우, 상기 기준 매크로블록의 크기를 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최대 매크로블록의 크기로 설정한 후, 엔트로피 복호화한 비율만큼 기준 매크로블록의 크기를 축소한 크기를 현재 매크로블록의 크기로 설정한다.
본 발명의 일 실시예에 따르면 기준 매크로블록의 크기를 설정할지를 나타내는 플래그가 비트스트림의 시퀀스 헤더에 포함되어 전송된 경우, 영상 복호화 장치는 시퀀스헤더로부터 상기 플래그를 엔트로피 복호화 한 후 상기 플래그가 기준 매크로블록의 크기가 설정되었음을 나타내는 경우 비트스트림으로부터 시퀀스 헤더등의 약속된 위치에서 기준 매크로블록의 크기 정보를 비트스트림으로부터 추출하여 추출한 정보를 이용하여 기준 매크로블록의 크기를 설정한다. 기준 매크로블로의 크기가 설정되지 않았음을 의미하는 경우에는 영상 부호화 장치와 영상 복호화 장치 사전에 약속한 소정의 사이즈, 예컨대 16x16크기를 기준 매크로블록의 크기로 사용할 수도 있다.
본 발명의 일 실시예에 따르면, 영상 복호화 장치는 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최대 매크로블록의 크기를 나타내는 정보를 비트스트림으로부터 추출하여 기준 매크로블록의 크기를 설정하는데 이용할 수 있다. 본 발명의 다른 실시예에 따르면, 영상 복호화 장치는 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최소 매크로블록의 크기를 나타내는 정보를 비트스트림으로부터 추출하여 기준 매크로블록의 크기를 설정하는데 이용할 수도 있다. 본 발명의 또 다른 실시예에 따르면, 영상 복호화 장치는 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최대 매크로블록의 크기와 최소 매크로블록의 크기를 나타내는 정보를 비트스트림으로부터 추출하여 기준 매크로블록의 크기를 설정하는데 이용할 수도 있다.
기준 매크로블록의 크기를 나타내는 정보인 default_MBsize를 복호화하는 방법은 엔트로피 복호화한 값 자체를 기준 매크로블록 크기값으로 설정할 수도 있고 엔트로피 복호화한 값을 확대 비율 또는 축소 비율로 사용하여 소정의 크기로부터 확대 또는 축소하여 기준 매크로블록의 크기를 얻을 수도 있다. 또는 전술한 첫번째 복호화 방법에서 설명한 바와 같이, 영상 부호화 장치에서 매크로블록의 크기값에 로그함수를 적용한 값을 부호화한 경우 지수함수를 이용하여 매크로블록의 크기값을 얻을 수도 있다.
보다 구체적으로 설명하면, 예컨대, default_MBsize가 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최대 매크로블록의 크기를 나타내고 영상 부호화 장치에서 log2(X/ default_MBsize) (X는 2의 배수인 임의의 양의 정수)의 값인 y를 부호화한 경우, 영상 복호화 장치에서는 y값을 엔트로피 복호화하여 X의 값에 2y 를 곱하여 default_MBsize를 구할 수 있다. 이때 X의 값은 가능한 최대 매크로블록의 크기와 같이 영상 부호화 장치와 영상 복호화 장치가 약속한 값이거나 비트스트림으로부터 default_MBsize를 복호하기 전에 추출한 값일 수도 있다.
또는 default_MBsize가 현재 비트스트림으로부터 이용가능한 최소 매크로블록의 크기를 나타내고, 영상 부호화 장치에서 log2(default_MBsize/X) (X는 2의 배수인 임의의 양의 정수)의 값인 y값을 부호화한 경우, 영상 복호화 장치에서는 y값을 엔트로피 복호화하여 비트스트림으로부터 추출하고 X의 값과 2y를 곱한 값을 default_MBsize로 설정한다. 이때 X의 값은 가능한 최소 매크로블록의 크기와 같이 영상 부호화 장치와 영상 복호화 장치가 약속한 값이거나 비트스트림으로부터 default_MBsize를 복호화하기 전에 추출한 값일 수도 있다.
또한 영상 부호화 장치에서 가로와 세로에 대한 비율을 따로 복호화 한 경우 가로에 대한 비율과 세로에 대한 비율을 각각 엔트로피 복호화하여 기준 매크로블록 크기를 얻을 수도 있다.
또한 영상 부호화 장치와 영상 복호화 장치가 약속한 표의 인덱스값을 부호화한 경우, 복호화한 값을 표의 인덱스값으로 사용하여 기준 매크로블록의 크기를 구할 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 복호화(Binary Coding) 방법을 이용하여 기준 매크로블록 크기를 복호화 할 수 있다.
또한 기준 매크로블록의 크기 또는 매크로블록의 크기 정보가 최소 서브블록의 크기와 최대 분할 레이어 정보인 경우 기준 매크로블록의 크기에 따른 기준 최소 서브블록의 크기 또는 매크로블록의 크기에 따른 최소 서브블록의 크기 정보와 각각에 대한 최대 분할 레이어 정보를 비트스트림으로부터 엔트로피 복호화한 후 매크로블록의 크기를 복호화한다.
기준 최소 서브블록의 크기를 나타내는 정보인 defalt_ minBlockSize 를 복호화하는 방법은 엔트로피 복호화한 값 자체를 기준 최소 서브블록 크기값으로 설정할 수도 있고 엔트로피 복호화한 값을 확대 비율 또는 축소 비율로 사용하여 소정의 크기로부터 확대 또는 축소하여 기준 최소 서브블록의 크기를 얻을 수도 있다. 또는 전술한 첫번째 복호화 방법에서 설명한 바와 같이, 영상 부호화 장치에서 최소 서브블록의 크기값에 로그함수를 적용한 값을 부호화한 경우 지수함수를 이용하여 최소 서브블록의 크기값을 얻을 수도 있다.
보다 구체적으로 설명하면, 예컨대, defalt_ minBlockSize 가 현재 비트스트림의 부호화 또는 복호화시에 이용가능한 최대 최소 서브블록의 크기를 나타내고 영상 부호화 장치에서 log2(X/ defalt_ minBlockSize) (X는 2의 배수인 임의의 양의 정수)의 값인 y를 부호화한 경우, 영상 복호화 장치에서는 y값을 엔트로피 복호화하여 X의 값에 2y를 곱하여 defalt_ minBlockSize 를 구할 수 있다. 이때 X의 값은 가능한 최대 최소 서브블록의 크기와 같이 영상 부호화 장치와 영상 복호화 장치가 약속한 값이거나 비트스트림으로부터 defalt_ minBlockSize를 복호하기 전에 추출한 값일 수도 있다.
또는 defalt_ minBlockSize가 현재 비트스트림으로부터 이용 가능한 최소 최소 서브블록의 크기를 나타내고, 영상 부호화 장치에서 log2(defalt_ minBlockSize/X) (X는 2의 배수인 임의의 양의 정수)의 값인 y값을 부호화한 경우, 영상 복호화 장치에서는 y값을 엔트로피 복호화하여 비트스트림으로부터 추출하고 X의 값과 2y를 곱한 값을 defalt_ minBlockSize로 설정한다. 이때 X의 값은 가능한 최소 최소 서브블록의 크기와 같이 영상 부호화 장치와 영상 복호화 장치가 약속한 값이거나 비트스트림으로부터 defalt_ minBlockSize를 복호화하기 전에 추출한 값일 수도 있다.
또한 영상 부호화 장치에서 가로와 세로에 대한 비율을 따로 복호화 한 경우 가로에 대한 비율과 세로에 대한 비율을 각각 엔트로피 복호화하여 기준 최소 서브블록 크기를 얻을 수도 있다.
또한 영상 부호화 장치와 영상 복호화 장치가 약속한 표의 인덱스값을 부호화한 경우, 복호화한 값을 표의 인덱스값으로 사용하여 기준 최소 서브블록의 크기를 구할 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 복호화(Binary Coding) 방법을 이용하여 기준 최소 서브블록 크기를 복호화 할 수 있다.
최대 분할 레이어 정보를 복호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용할 수도 있고 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 방법을 이용하여 복호화할 수 있다.
복원한 최소 서브블록의 크기가 NxN이고 최대 분할 레이어가 x인 경우 매크로블록의 크기는 (Nx2x)x(Nx2x)가 된다.
D-2-2-4) 매크로블록 크기 정보 복호화 방법 4
이하에서는 매크로블록의 크기를 부호화하는 네번째 방법에 따른 복호화 방법을 설명한다.
네번째 방법에 따르면, 첫 번째 픽쳐에서 기준 매크로블록의 크기를 사용할지에 대한 플래그와 기준 매크로블록 크기를 사용하지 않는 경우 매크로블록의 크기 정보를 엔트로피 복호화한 후, 복호화된 매크로블록의 크기 정보를 이용하여 첫번째 픽쳐 복호화에 필요한 매크로블록 크기를 구한다.
기준 매크로블록의 크기를 사용할지에 대한 플래그가 기준 매크로블록 크기를 사용함을 의미하는 경우 매크로블록의 크기를 기준 매크로블록의 크기와 동일하게 설정한 후 첫번째 픽쳐를 복호화한다.
두번째 픽쳐부터는 이전 픽쳐의 매크로블록의 크기를 현재 매크로블록의 크기로 사용할지에 대한 플래그를 복호화한 후, 이전 픽쳐의 매크로블록의 크기를 사용하지 않을 경우 현재 픽쳐 복호화를 위한 매크로블록의 크기 정보를 복호화한다. 이전 픽쳐의 매크로블록의 크기를 현재 픽쳐 복호화에 사용하는 경우 매크로블록의 크기를 이전 픽쳐의 매크로블록의 크기와 동일한 값으로 설정하여 두번째 픽쳐를 복호화한다.
기준 매크로블록의 크기를 나타내는 정보인 default_MBsize 또는 현재 픽쳐의 매크로블록의 크기를 나타내는 정보인 MB_size를 복호화하는 방법은 엔트로피 복호화한 값을 매크로블록의 크기로 사용할 수도 있고 엔트로피 복호화한 값을 확대 비율 또는 축소 비율로 사용하여 소정의 크기로부터 확대 또는 축소하여 매크로블록의 크기를 얻을 수도 있다. 또는 전술한 첫번째 복호화 방법에서 설명한 바와 같이, 영상 부호화 장치에서 매크로블록의 크기값에 로그함수를 적용한 값을 부호화한 경우 지수함수를 이용하여 매크로블록의 크기값을 얻을 수도 있다.
또한 영상 부호화 장치에서 가로와 세로에 대한 비율을 따로 복호화 한 경우 가로에 대한 비율과 세로에 대한 비율을 각각 엔트로피 복호화하여 기준 매크로블록 크기를 얻을 수도 있다.
또한 영상 부호화 장치와 영상 복호화 장치가 약속한 표의 인덱스값을 부호화한 경우, 복호화한 값을 표의 인덱스값으로 사용하여 기준 매크로블록의 크기를 구할 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 복호화(Binary Coding) 방법을 이용하여 기준 매크로블록 크기를 복호화 할 수 있다.
또한 매크로블록의 크기 정보가 최소 서브블록의 크기와 최대 분할 레이어 정보인 경우 최소 서브블록의 크기 정보와 각각에 대한 최대 분할 레이어 정보를 비트스트림으로부터 엔트로피 복호화한 후 매크로블록의 크기를 복호화한다.
기준 최소 서브블록의 크기를 나타내는 정보인 defalt_ minBlockSize 또는 현재 픽쳐의 최소 서브블록의 크기를 나타내는 정보인 minBlockSize를 복호화하는 방법은 엔트로피 복호화한 값을 최소 서브블록의 크기로 사용할 수도 있고 엔트로피 복호화한 값을 확대 비율 또는 축소 비율로 사용하여 소정의 크기로부터 확대 또는 축소하여 최소 서브블록의 크기를 얻을 수도 있다. 또는 전술한 첫번째 복호화 방법에서 설명한 바와 같이, 영상 부호화 장치에서 최소 서브블록의 크기값에 로그함수를 적용한 값을 부호화한 경우 지수함수를 이용하여 최소 서브블록의 크기값을 얻을 수도 있다.
또한 영상 부호화 장치에서 가로와 세로에 대한 비율을 따로 복호화 한 경우 가로에 대한 비율과 세로에 대한 비율을 각각 엔트로피 복호화하여 기준 최소 서브블록 크기를 얻을 수도 있다.
또한 영상 부호화 장치와 영상 복호화 장치가 약속한 표의 인덱스값을 부호화한 경우, 복호화한 값을 표의 인덱스값으로 사용하여 기준 최소 서브블록의 크기를 구할 수도 있다.
이때, 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 이진 복호화(Binary Coding) 방법을 이용하여 기준 최소 서브블록 크기를 복호화 할 수 있다.
최대 분할 레이어 정보를 복호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용할 수도 있고 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 방법을 이용하여 복호화할 수 있다.
복원한 최소 서브블록의 크기가 NxN이고 최대 분할 레이어가 x인 경우 매크로블록의 크기는 (Nx2x)x(Nx2x)가 된다.
D-2-2-5) 매크로블록 크기 정보 복호화 방법 5
이하에서는 매크로블록의 크기를 부호화하는 다섯번째 방법에 따른 복호화 방법을 설명한다.
다섯번째 방법에 따르면, 인트라 픽쳐와 인터 픽쳐의 매크로블록의 크기를 비트스트림내 영상 부호화 장치와 영상 복호화 장치가 약속한 위치에서 각각 추출하여 픽쳐 종류에 따른 매크로블록의 크기를 설정하도록 한다.
시퀀스헤더 또는 픽쳐 헤더에서 인트라 픽쳐를 위한 매크로블록의 크기와 인터 픽쳐를 위한 매크로블록의 크기를 복호화할지를 나타내는 각각의 플래그를 복원한 후, 플래그 값에 따라 인트라 또는 인터 픽쳐를 위한 매크로블록의 크기를 비트스트림을 통해 복호화 하거나, 약속된 매크로블록의 크기를 사용하여 영상을 복원한다.
인트라 픽처의 매크로블록의 크기와 인터 픽처의 매크로블록의 크기에 대한 정보를 복호화하는 방법은 앞서 설명한 부호화 방법에 따라 앞서 설명한 복호화 방법들과 결합되어 사용할 수도 있다
또한 인트라 매크로블록의 크기 또는 인터 매크로블록의 크기 정보가 최소 서브블록의 크기와 최대 분할 레이어 정보인 경우 인트라와 인터 매크로블록의 크기에 따른 최소 서브블록의 크기 정보와 각각에 대한 최대 분할 레이어 정보를 비트스트림으로부터 엔트로피 복호화한 후 매크로블록의 크기를 복호화한다.
인트라 픽처의 최소 서브블록의 크기와 인터 픽처의 최소 서브블록의 크기에 대한 정보를 복호화하는 방법은 앞서 설명한 부호화 방법에 따라 앞서 설명한 복호화 방법들과 결합되어 사용할 수도 있다
최대 분할 레이어 정보를 복호화하는 방법은 이진 산술 부호화(Binary Arithmetic Coding) 또는 허프만 부호화(Huffman Coding) 등과 같은 무손실 압축 부호화를 이용할 수도 있고 단항 코드(Unary Code), 트런케이티드 단항 코드(Truncated Unary Code) 및 익스포넨셜 골룸 코드(Exp-Golomb Code) 등과 같은 다양한 방법을 이용하여 복호화할 수 있다.
복원한 최소 서브블록의 크기가 NxN이고 최대 분할 레이어가 x인 경우 매크로블록의 크기는 (Nx2x)x(Nx2x)가 된다.
D-2-3) 복호화 동작을 나타내는 순서도
한편, 본 발명의 일 실시예에 따른 영상을 복호화하는 방법은, 비트스트림으로부터 매크로블록 크기에 대한 정보를 추출하고 추출한 정보를 이용하여 매크로블록 크기를 설정하는 매크로블록 크기 설정단계(S3810) 및 비트스트림으로부터 부호화된 영상 데이터를 추출하고, 상기 블록 크기에 대한 정보로 식별되는 블록 크기에 따라 상기 부호화된 영상 데이터를 복호화하여 복원 영상을 생성하는 영상 복호화단계(S3820)를 포함할 수 있다.
이상 설명한 매크로블록의 크기 결정, 매크로블록의 크기에 관한 정보 부호화 및 복호화에 관한 각 실시예들을 전술한 본 발명의 실시예에 따른 매크로블록의 분할, 매크로블록의 분할정보 부호화 및 복호화에 관한 각 실시예와 결합시켜 다양한 방식으로 구현될 수 있음을 당업자라면 이해할 수 있을 것이다.
본 발명의 주요 특징을 정리하면 아래와 같다.
- 가변 크기를 갖는 블록(예컨대, 부호화/복호화의 단위인 매크로블록)의 채용
- 가변 크기를 갖는 블록의 크기 결정 및 크기정보 부호화
- 결정된 크기를 갖는 블록을 서브블록들로 분할 및 분할정보 부호화
한편, 전술한 실시예들에서 본 발명의 실시예에 따른 매크로블록의 분할은 예측 또는 변환을 위한 분할을 일 예로 설명하였다. 그러나 예측 또는 변환은 본 발명에서의 '분할'이 적용될 수 있는 일 예일 뿐이며 이외 다양한 목적을 위해 매크로블록을 분할할 수 있음은 물론이다. 또한, 분할의 대상은 매크로블록뿐만 아니라 어떤 영상 영역일 수 있다. 예컨대, 예측의 단위에 해당하는 소정 크기의 블록을 효과적인 변환을 위해 서브블록으로 분할하는 경우에도 본 발명의 실시예에 따른 분할이 적용될 수 있다.
다시 말해, 본 발명은 영상 블록을 어떤 목적을 위해 서브블록들로 분할할 필요가 있는 경우, 다양한 분할 방식과 그 분할에 관한 정보를 효율적으로 부호화 및 복호화하는 방법 및 장치를 제공한다.
한편, 본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 본 발명의 어느 한 실시예에 따른 영상 복호화장치의 출력단에 본 발명의 어느 한 실시예에 따른 영상 복호화 장치의 입력단을 연결함으로써 구현될 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 장치는 복수 개의 서브블록으로 분할되는 현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하고 상기 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 영상 부호화기 및 비트스트림으로부터 추출되는 부호화된 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하고 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 예측 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원하는 영상 복호화기를 포함할 수 있다.
본 발명의 일 실시예에 따른 영상 부호화/복호화 방법은 복수 개의 서브블록으로 분할되는 현재 블록을 예측 부호화하여 부호화된 영상 데이터를 생성하고 상기 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 영상 부호화단계 및 비트스트림으로부터 추출되는 부호화된 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하고 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 예측 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원하는 영상 복호화단계를 포함할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명은 고해상도의 동영상을 부호화 및 복호화하는 영상 압축 처리 분야에 적용되어, 가변 크기의 블록을 이용하여 고해상도의 영상을 부호화할 때 블록의 분할 정보를 효율적으로 부호화하고 복호화함으로써 압축 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2009년 10월 01일 한국에 출원한 특허출원번호 제 10-2009-0093982 호 및 2009년 10월 01일 출원한 특허출원번호 제 10-2009-0093987 호, 2010년 10월 01일 출원한 특허출원번호 제 10-2010-0096032 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (56)

  1. 영상을 부호화/복호화하는 장치에 있어서,
    복수 개의 서브블록으로 분할되는 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하고 상기 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 영상 부호화기; 및
    비트스트림으로부터 추출되는 부호화된 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하고 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 장치.
  2. 영상을 부호화하는 장치에 있어서,
    복수 개의 서브블록으로 분할되는 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 영상 부호화기; 및
    상기 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 분할 정보 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 영상을 부호화하는 장치에 있어서,
    현재 블록의 최대 분할 레이어값을 결정하는 최대 분할 레이어 결정기;
    상기 현재 블록의 최대 분할 레이어값을 부호화하여 부호화된 최대 분할 레이어 데이터를 생성하는 최대 분할 레이어 부호화기; 및
    상기 결정되는 최대 분할 레이어값에 따라 결정되는 최소 서브블록 크기를 이용하여 상기 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 영상 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  4. 영상을 부호화하는 장치에 있어서,
    매크로블록 크기의 후보를 설정하는 후보 매크로블록 크기 설정기;
    상기 매크로블록 크기의 후보별로 입력 영상을 부호화하는 영상 부호화기;
    상기 매크로블록 크기의 후보별 부호화 비용에 따라 매크로블록 크기를 결정하고, 상기 결정된 매크로블록 크기로 부호화된 영상 데이터 및 상기 결정된 매크로블록 크기에 대한 정보를 포함하는 비트스트림을 생성하는 매크로블록 크기 결정기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  5. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 추출되는 부호화된 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하는 분할 정보 복호화기; 및
    상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  6. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 추출되는 부호화된 최대 분할 레이어 데이터를 복호화하여 최대 분할 레이어값을 복원하는 최대 분할 레이어 복호화기; 및
    상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 상기 복원되는 최대 분할 레이어값에 따른 최소 서브블록 크기를 이용하여 복호화하여 현재 블록을 복원하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  7. 영상을 복호화하는 장치에 있어서,
    비트스트림으로부터 매크로블록 크기에 대한 정보를 추출하고 추출한 정보를 이용하여 매크로블록 크기를 설정하는 매크로블록 크기 설정기; 및
    비트스트림으로부터 부호화된 영상 데이터를 추출하고, 상기 블록 크기에 대한 정보로 식별되는 블록 크기에 따라 상기 부호화된 영상 데이터를 복호화하여 복원 영상을 생성하는 영상 복호화기
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  8. 영상을 부호화/복호화하는 방법에 있어서,
    복수 개의 서브블록으로 분할되는 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하고 상기 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 영상 부호화단계; 및
    비트스트림으로부터 추출되는 부호화된 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하고 상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원하는 영상 복호화단계
    를 포함하는 것을 특징으로 하는 영상 부호화/복호화 방법.
  9. 영상을 부호화하는 방법에 있어서,
    복수 개의 서브블록으로 분할되는 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 단계;
    상기 현재 블록의 분할 정보를 부호화하여 부호화된 분할 정보 데이터를 생성하는 단계; 및
    상기 부호화된 영상 데이터 및 상기 부호화된 분할 정보 데이터를 포함하는 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  10. 제 9 항에 있어서,
    상기 복수 개의 서브블록들은 정사각형인 것을 특징으로 하는 영상 부호화 방법.
  11. 제 9 항에 있어서,
    상기 분할은 복수의 분할 타입들 중 선택된 하나의 분할 타입에 따라 수행되는 것을 특징으로 하는 영상 부호화 방법.
  12. 제 9 항에 있어서, 상기 현재 블록은,
    16x16 블록 크기를 초과하는 매크로블록인 것을 특징으로 하는 영상 부호화 방법.
  13. 제 9 항에 있어서, 상기 분할 정보는,
    상기 현재 블록 내에 포함되는 상기 복수 개의 서브블록의 블록 크기를 나타내는 것을 특징으로 하는 영상 부호화 방법.
  14. 제 9 항에 있어서,
    상기 분할 정보는 분할 레이어별 분할 타입 지시 정보에 의해 식별되되, 상기 부호화된 분할 정보 데이터를 생성하는 단계는 상기 분할 레이어별 분할 타입 지시 정보를 분할 타입 지시 정보 부호화 순서에 따라 순차적으로 부호화함으로써 상기 분할 정보를 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  15. 제 9 항에 있어서,
    상기 분할 정보는 분할 레이어의 레이어 번호와 분할 타입 지시 정보에 의해 식별되되, 상기 부호화된 분할 정보 데이터를 생성하는 단계는 트리 구조를 이용하여 분할 레이어의 레이어 번호와 분할 타입 지시 정보를 부호화함으로써 상기 분할 정보를 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  16. 제 9 항에 있어서,
    상기 분할은 정사각형만 사용하고, 상기 분할 정보는 분할레이어값만 포함하는 것을 특징으로 하는 영상 부호화 방법.
  17. 제 9 항에 있어서,
    상기 분할은 직사각형의 블록을 보다 작은 크기의 직사각형으로 분할되도록 하는 것을 특징으로 하는 영상 부호화 방법.
  18. 제 9 항에 있어서,
    상기 분할 정보는 분할 레이어값과 분할 플래그에 의해 식별되되, 상기 부호화된 분할 정보 데이터를 생성하는 단계는 상기 분할 레이어값과 상기 분할 플래그를 부호화함으로써 상기 분할 정보를 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  19. 제 18 항에 있어서, 상기 부호화된 분할 정보 데이터를 생성하는 단계는,
    상기 현재 블록의 블록 타입이 인트라 블록 타입인 경우에만 상기 분할 레이어값과 상기 분할 플래그를 부호화함으로써 상기 분할 정보를 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  20. 제 18 항에 있어서, 상기 복수 개의 서브블록은
    정사각형 형태의 블록인 것을 특징으로하는 영상 부호화 방법.
  21. 영상을 부호화하는 방법에 있어서,
    최소 서브블록 크기의 후보를 설정하는 단계;
    상기 최소 서브블록 크기의 후보별로 입력 영상을 부호화하는 단계;
    상기 최소 서브블록 크기의 후보별 부호화 비용에 따라 최소 서브블록 크기를 결정하는 단계; 및
    상기 결정된 최소 서브블록 크기로 부호화된 영상 데이터 및 상기 결정된 최소 서브블록 크기에 대한 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  22. 제 21 항에 있어서, 상기 결정된 최소 서브블록 크기에 대한 정보는,
    상기 최소 서브블록의 크기의 값에 대한 정보이거나, 최대 분할레이어 값에 대한 정보인 것을 특징으로 하는 영상 부호화 방법.
  23. 제 21 항에 있어서, 상기 최소 서브블록 크기를 결정하는 단계는,
    현재 블록의 최대 분할 레이어값을 결정하는 단계;
    상기 현재 블록의 최대 분할 레이어값을 부호화하여 부호화된 최대 분할 레이어 데이터를 생성하는 단계;
    상기 결정되는 최대 분할 레이어값에 따라 결정되는 최소 서브블록 크기를 이용하여 상기 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 단계; 및
    상기 부호화된 최대 분할 레이어 데이터 및 상기 부호화된 영상 데이터를 포함하는 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  24. 제 23 항에 있어서,
    상기 부호화된 영상 데이터를 생성하는 단계는,
    상기 최대 분할 레이어값에 따라 결정되는 최소 서브블록 크기와 각 레이어들의 사용 가능 여부에 따라 결정되는 서브블록들을 이용하여 현재 블록을 부호화하고,
    상기 비트스트림을 생성하는 단계는,
    상기 비트스트림에 분할된 각 레이어의 사용여부를 나타내는 정보를 추가로 포함하는 것을 특징으로 하는 영상 부호화 방법.
  25. 제 24 항에 있어서,
    상기 각 레이어의 사용여부를 나타내는 정보는,
    각 레이어의 사용여부를 조합한 테이블의 인덱스인 것을 특징으로 하는 영상 부호화 방법.
  26. 영상을 부호화하는 방법에 있어서,
    현재 블록의 사용 가능한 분할 레이어를 결정하는 단계;
    상기 결정되는 사용 가능한 분할 레이어 중에서 상기 현재 블록의 부호화 비용을 최소화하는 분할 레이어를 선택하는 단계;
    상기 선택되는 분할 레이어를 이용하여 상기 현재 블록을 부호화하여 부호화된 영상 데이터를 생성하는 단계;
    상기 선택된 분할 레이어에 대한 정보를 부호화하여 생성되는 부호화된 분할 레이어 데이터, 상기 선택된 분할 레이어를 이용하여 상기 현재 블록을 분할한 분할 정보를 부호화하여 생성되는 부호화된 분할 정보 데이터 및 상기 부호화된 영상 데이터를 포함하는 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  27. 영상을 부호화하는 방법에 있어서,
    매크로블록 크기의 후보를 설정하는 단계;
    상기 매크로블록 크기의 후보별로 입력 영상을 부호화하는 단계;
    상기 매크로블록 크기의 후보별 부호화 비용에 따라 매크로블록 크기를 결정하는 단계; 및
    상기 결정된 매크로블록 크기로 부호화된 영상 데이터 및 상기 결정된 매크로블록 크기에 대한 정보를 포함하는 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  28. 제 27 항에 있어서, 상기 결정된 매크로블록 크기에 대한 정보는,
    상기 매크로블록의 크기의 값에 대한 정보이거나, 최대 서브블록의 크기 및 최대 분할레이어 값에 대한 정보이거나, 소정 크기의 매크로블록에 대한 확대/축소 정보인 것을 특징으로 하는 영상 부호화 방법.
  29. 제 28항에 있어서, 상기 매크로블록의 크기의 값에 대한 정보는,
    매크로블록의 크기에 대한 정보를 보낼 것인지 여부를 나타내는 플래그인 것을 특징으로 하는 영상 부호화 방법.
  30. 제 28 항에 있어서, 상기 결정된 매크로블록 크기에 대한 정보는,
    기준 크기의 매크로블록을 사용할 것인지 여부를 나타내는 플래그인 것을 특징으로 하는 영상 부호화 방법.
  31. 제 28 항에 있어서, 상기 결정된 매크로블록 크기에 대한 정보는,
    이전 픽처의 매크로블록의 크기를 사용할지에 대한 플래그인 것을 특징으로 하는 영상 부호화 방법.
  32. 제 28 항에 있어서, 상기 결정된 매크로블록 크기에 대한 정보는,
    인트라 픽처의 매크로블록의 크기와 인터 픽처의 매크로블록의 크기가 각각 다른 것을 특징으로 하는 영상 부호화 방법.
  33. 제 28항에 있어서,
    기준 최소 서브블록의 크기를 설정하고 각 픽처, 슬라이스 또는 최소 서브블록 헤더마다 상기 기준 최소 서브블록의 크기를 사용할지를 나타내는 플래그를 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  34. 제 33항에 있어서,
    상기 플래그가 상기 기준 최소 서브블록의 크기를 사용하지 않는 것을 나타내는 경우, 상기 기준 최소 서브블록의 크기로부터 소정 비율만큼 확장 또는 축소한 블록을 현재 최소 서브블록으로 선택하는 것을 특징으로 하는 영상 부호화 방법.
  35. 제 28항에 있어서,
    인트라 픽처를 위한 최소 서브블록의 크기와 인터 픽처를 위한 최소 서브블록의 크기를 다르게 하여 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  36. 제 28항에 있어서,
    상기 매크로블록의 크기의 값에 대한 정보 또는 최대 서브블록의 크기에 대한 정보는 블록의 크기를 정의한 테이블을 이용하여 획득하는 것을 특징으로 하는 영상 부호화 방법.
  37. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 추출되는 부호화된 분할 정보 데이터를 복호화하여 현재 블록의 분할 정보를 복원하는 단계; 및
    상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 복원되는 현재 블록의 분할 정보에 따라 복호화하여 복수 개의 서브블록으로 분할되는 현재 블록을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  38. 제 37 항에 있어서, 상기 분할 정보는,
    분할 레이어별 분할 타입 지시 정보에 의해 식별되는 것을 특징으로 하는 영상 복호화 방법.
  39. 제 37 항에 있어서, 상기 분할 정보는,
    분할 레이어의 레이어 번호와 분할 타입 지시 정보에 의해 식별되는 것을 특징으로 하는 영상 복호화 방법.
  40. 제 37 항에 있어서, 상기 분할 정보는,
    분할 레이어값과 분할 플래그에 의해 식별되는 것을 특징으로 하는 영상 복호화 방법.
  41. 제 37 항에 있어서,
    상기 분할은 정사각형만 사용하고, 상기 분할 정보는 분할레이어값만 포함하는 것을 특징으로 하는 영상 복호화 방법.
  42. 제 37 항에 있어서,
    상기 분할은 직사각형의 블록을 보다 작은 크기의 직사각형으로 분할되도록 하는 것을 특징으로 하는 영상 복호화 방법.
  43. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 추출되는 부호화된 최소 서브블록 크기 데이터를 복호화하여 최소 서브블록 크기를 복원하는 단계; 및
    상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 상기 복원되는 최소 서브블록 크기를 이용하여 복호화하여 현재 블록을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  44. 제 43항에 있어서,
    비트스트림으로부터 추출되는 부호화된 최소 서브블록 크기 데이터는 최소 서브블록 크기값에 대한 정보이거나 최대 분할 레이어값에 대한 정보인 것을 특징으로 하는 영상 복호화 방법
  45. 제 44 항에 있어서,
    상기 현재 블록을 복원하는 단계는,
    상기 최대 분할 레이어값에 따라 결정되는 최소 서브블록 크기와 각 레이어들의 사용 가능 여부에 따라 결정되는 서브블록들을 이용하여 현재 블록을 복원하는 것을 특징으로 하는 영상 복호화 방법.
  46. 제 45 항에 있어서,
    상기 각 레이어의 사용여부를 나타내는 정보는,
    각 레이어의 사용여부를 조합한 테이블의 인덱스인 것을 특징으로 하는 영상 복호화 방법.
  47. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 추출되는 부호화된 분할 레이어 데이터와 부호화된 분할 정보 데이터를 복호화하여 분할 레이어에 대한 정보와 분할 정보를 복원하는 단계; 및
    상기 비트스트림으로부터 추출되는 부호화된 영상 데이터를 상기 복원되는 분할 레이어에 대한 정보와 분할 정보를 이용하여 상기 부호화된 영상 데이터를 복호화하여 현재 블록을 복원하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  48. 영상을 복호화하는 방법에 있어서,
    비트스트림으로부터 매크로블록 크기에 대한 정보를 추출하고 추출한 정보를 이용하여 매크로블록 크기를 설정하는 매크로블록 크기 설정단계; 및
    비트스트림으로부터 부호화된 영상 데이터를 추출하고, 상기 블록 크기에 대한 정보로 식별되는 블록 크기에 따라 상기 부호화된 영상 데이터를 복호화하여 복원 영상을 생성하는 영상 복호화단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  49. 제 48 항에 있어서, 상기 매크로블록 크기에 대한 정보는,
    상기 매크로블록의 크기의 값에 대한 정보이거나, 최대 서브블록의 크기 및 최대 분할레이어 값에 대한 정보이거나, 소정 크기의 매크로블록에 대한 확대/축소 정보인 것을 특징으로 하는 영상 복호화 방법.
  50. 제 49항에 있어서, 상기 매크로블록의 크기의 값에 대한 정보는,
    기준 매크로블록의 크기에 대한 정보인 것을 특징으로 하는 영상 복호화 방법.
  51. 제 49항에 있어서, 상기 매크로블록 크기에 대한 정보는,
    이전 픽처의 매크로블록의 크기를 사용할지에 대한 플래그인 것을 특징으로 하는 영상 복호화 방법.
  52. 제 49 항에 있어서, 상기 매크로블록 크기에 대한 정보는,
    인트라 픽처의 매크로블록의 크기와 인터 픽처의 매크로블록의 크기가 각각 다른 것을 특징으로 하는 영상 복호화 방법.
  53. 제 49항에 있어서,
    기준 최소 서브블록의 크기를 설정하고 각 픽처, 슬라이스 또는 최소 서브블록 헤더마다 상기 기준 최소 서브블록의 크기를 사용할지를 나타내는 플래그를 복호하여 최소서브 블록의 크기를 복원하는 것을 특징으로 하는 영상 복호화 방법.
  54. 제 53항에 있어서,
    상기 플래그가 상기 기준 최소 서브블록의 크기를 사용하지 않는 것을 나타내는 경우, 상기 기준 최소 서브블록의 크기로부터 소정 비율만큼 확장 또는 축소함을 나타내는 정보를 복호하여 최소 서브블록의 크기를 복원하는 것을 특징으로 하는 영상 복호화 방법.
  55. 제 49항에 있어서,
    인트라 픽처를 위한 최소 서브블록의 크기와 인터 픽처를 위한 최소 서브블록의 크기가 다른 것을 특징으로 하는 영상 복호화 방법.
  56. 제 49항에 있어서,
    상기 매크로블록의 크기의 값에 대한 정보 또는 최대 서브블록의 크기에 대한 정보는 블록의 크기를 정의한 테이블을 이용하여 획득하는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2010/006735 2009-10-01 2010-10-01 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치 WO2011040795A2 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
US13/499,375 US9264716B2 (en) 2009-10-01 2010-10-01 Method and apparatus for encoding/decoding video using split layer
CN201080054732.9A CN102918840B (zh) 2009-10-01 2010-10-01 使用分割层进行图像编码/解码的方法和装置
ES10820868.7T ES2554237T3 (es) 2009-10-01 2010-10-01 Método y aparato para codificar/decodificar imagen usando una capa dividida
EP10820868.7A EP2485490B1 (en) 2009-10-01 2010-10-01 Method and apparatus for encoding/decoding image using split layer
PL10820868T PL2485490T3 (pl) 2009-10-01 2010-10-01 Sposób i urządzenie do kodowania/dekodowania obrazu za pomocą warstwy rozdziału
US14/663,428 US9813710B2 (en) 2009-10-01 2015-03-19 Method and apparatus for encoding/decoding video using split layer
US14/814,520 US10136129B2 (en) 2009-10-01 2015-07-31 Method and apparatus for encoding/decoding video using split layer

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20090093982 2009-10-01
KR20090093987 2009-10-01
KR10-2009-0093982 2009-10-01
KR10-2009-0093987 2009-10-01
KR10-2010-0096032 2010-10-01
KR1020100096032A KR101698499B1 (ko) 2009-10-01 2010-10-01 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/499,375 A-371-Of-International US9264716B2 (en) 2009-10-01 2010-10-01 Method and apparatus for encoding/decoding video using split layer
US14/663,428 Continuation US9813710B2 (en) 2009-10-01 2015-03-19 Method and apparatus for encoding/decoding video using split layer

Publications (2)

Publication Number Publication Date
WO2011040795A2 true WO2011040795A2 (ko) 2011-04-07
WO2011040795A3 WO2011040795A3 (ko) 2011-09-15

Family

ID=44044435

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/006735 WO2011040795A2 (ko) 2009-10-01 2010-10-01 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치

Country Status (8)

Country Link
US (3) US9264716B2 (ko)
EP (3) EP2993904B1 (ko)
KR (2) KR101698499B1 (ko)
CN (4) CN104683809B (ko)
ES (3) ES2554237T3 (ko)
HU (3) HUE034567T2 (ko)
PL (3) PL2991353T3 (ko)
WO (1) WO2011040795A2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2011241283B2 (en) * 2010-04-13 2015-02-05 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
CN104429067A (zh) * 2012-07-09 2015-03-18 奥林奇公司 通过预测当前块的划分进行视频编码的方法、解码方法、编码和解码装置及其相应的计算机程序
CN105721866A (zh) * 2016-02-01 2016-06-29 北京奇艺世纪科技有限公司 一种编码单元划分方法及装置
AU2015202094B2 (en) * 2010-04-13 2016-11-17 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9549190B2 (en) * 2009-10-01 2017-01-17 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding image using variable-size macroblocks
CN104661038B (zh) * 2009-12-10 2018-01-05 Sk电信有限公司 使用树形结构的解码装置
KR101487687B1 (ko) 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR101584480B1 (ko) 2010-04-13 2016-01-14 지이 비디오 컴프레션, 엘엘씨 평면 간 예측
CN106454371B (zh) 2010-04-13 2020-03-20 Ge视频压缩有限责任公司 解码器、数组重建方法、编码器、编码方法及存储介质
ES2549734T3 (es) 2010-04-13 2015-11-02 Ge Video Compression, Llc Codificación de vídeo que usa subdivisiones multi-árbol de imágenes
KR102166520B1 (ko) 2010-04-13 2020-10-16 지이 비디오 컴프레션, 엘엘씨 샘플 영역 병합
KR101824241B1 (ko) * 2011-01-11 2018-03-14 에스케이 텔레콤주식회사 인트라 부가정보 부호화/복호화 장치 및 방법
PL3739884T3 (pl) 2011-06-27 2021-11-22 Samsung Electronics Co., Ltd. Kodowanie i dekodowanie informacji o ruchu
US9392301B2 (en) * 2011-07-01 2016-07-12 Qualcomm Incorporated Context adaptive entropy coding for non-square blocks in video coding
US9456212B2 (en) * 2011-09-30 2016-09-27 Broadcom Corporation Video coding sub-block sizing based on infrastructure capabilities and current conditions
KR101268588B1 (ko) * 2012-02-28 2013-05-28 전자부품연구원 무손실 영상 압축 장치 및 방법
RU2586029C1 (ru) * 2012-04-13 2016-06-10 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
KR102028123B1 (ko) 2012-04-23 2019-10-04 삼성전자주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치
WO2013162272A1 (ko) * 2012-04-24 2013-10-31 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR102351132B1 (ko) 2012-06-26 2022-01-13 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
SG11201500846TA (en) * 2012-09-26 2015-05-28 Panasonic Ip Corp America Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
KR101420718B1 (ko) * 2012-12-21 2014-07-23 성균관대학교산학협력단 스케일러블 비디오 부호화 및 복호화 방법, 그리고 이를 이용한 장치
KR102116985B1 (ko) 2013-08-16 2020-05-29 삼성전자 주식회사 비디오 인코딩을 위한 인트라 리프레쉬 방법
CN105519115A (zh) 2013-09-10 2016-04-20 株式会社Kt 用于对可扩展视频信号进行编码/解码的方法及装置
WO2015054813A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for intra block copy prediction mode for video and image coding
WO2015054811A1 (en) 2013-10-14 2015-04-23 Microsoft Corporation Features of intra block copy prediction mode for video and image coding and decoding
BR112016015080A2 (pt) 2014-01-03 2017-08-08 Microsoft Technology Licensing Llc Predição de vetor de bloco em codificação / decodificação de vídeo e imagem
CN104811731A (zh) * 2014-01-03 2015-07-29 上海天荷电子信息有限公司 多层次子块匹配图像压缩方法
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
EP3158734A1 (en) 2014-06-19 2017-04-26 Microsoft Technology Licensing, LLC Unified intra block copy and inter prediction modes
EP3917146A1 (en) 2014-09-30 2021-12-01 Microsoft Technology Licensing, LLC Rules for intra-picture prediction modes when wavefront parallel processing is enabled
WO2016090568A1 (en) * 2014-12-10 2016-06-16 Mediatek Singapore Pte. Ltd. Binary tree block partitioning structure
EP3270593A4 (en) * 2015-03-13 2018-11-07 LG Electronics Inc. Method of processing video signal and device for same
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
CN116506602A (zh) * 2016-03-11 2023-07-28 数字洞察力有限公司 视频编码方法以及装置
US10880548B2 (en) 2016-06-01 2020-12-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding video according to coding order
CN117412037A (zh) 2016-08-31 2024-01-16 株式会社Kt 用于处理视频信号的方法和设备
KR102531386B1 (ko) * 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CN113873260B (zh) * 2016-10-04 2023-02-24 有限公司B1影像技术研究所 图像数据编码/解码方法和装置
WO2018097626A1 (ko) * 2016-11-25 2018-05-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
EP3383044A1 (en) * 2017-03-27 2018-10-03 Thomson Licensing Reducing redundancy between tree types
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
EP3637766B1 (en) * 2017-07-06 2021-09-01 Samsung Electronics Co., Ltd. Image encoding method, and image decoding method and apparatus
KR20200117071A (ko) 2017-07-17 2020-10-13 한양대학교 산학협력단 영상 부호화/복호화 방법 및 장치
US11057629B2 (en) * 2017-07-19 2021-07-06 Samsung Electronics Co., Ltd. Encoding method and apparatus therefor, decoding method and apparatus therefor
CN108282265B (zh) * 2018-01-19 2020-11-03 广东工业大学 纠错编码方法、装置、设备及计算机可读存储介质
BR112020016755A2 (pt) 2018-03-05 2020-12-15 Panasonic Intellectual Property Corporation Of America Codificador, decodificador, método de codificação e método de decodificação
CN110662075B (zh) * 2018-06-29 2023-04-25 北京字节跳动网络技术有限公司 改进的时域运动矢量预测推导
CN117041575A (zh) * 2018-09-21 2023-11-10 Lg电子株式会社 视频解码和编码方法、存储介质及数据的发送方法
US11483567B2 (en) 2018-09-22 2022-10-25 Lg Electronics Inc. Method and apparatus for processing video signals on basis of inter prediction
US10931954B2 (en) * 2018-11-20 2021-02-23 Sony Corporation Image coding modes selection for an embedded codec circuitry
CN116170604A (zh) * 2019-02-15 2023-05-26 华为技术有限公司 从帧内子划分译码模式工具限制子分区的尺寸的编码器、解码器、及对应方法
KR102213901B1 (ko) * 2019-03-21 2021-02-08 삼성전자주식회사 블록 형태별로 블록 크기가 설정되는 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US11533214B2 (en) * 2019-06-14 2022-12-20 Qatar Foundation For Education, Science And Community Development Spectral efficient uplink multiple access techniques using index modulation
JP7450078B1 (ja) 2023-02-15 2024-03-14 Ｎｔｔイノベーティブデバイス株式会社 映像符号化装置、および、映像符号化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090093982A (ko) 2006-12-15 2009-09-02 킴벌리-클라크 월드와이드, 인크. 흡수 용품 내 다수의 배설물 존재를 검출하기 위한 방법 및 장치
KR20090093987A (ko) 2007-02-28 2009-09-02 제이에프이 스틸 가부시키가이샤 캔용 강판 및 그 모재에 사용하는 열연 강판 그리고 이들의 제조 방법
KR20100096032A (ko) 2009-02-23 2010-09-01 삼성에스디아이 주식회사 이차전지용 내장 충전회로 및 그 충전회로를 구비하는 이차전지

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5506624A (en) * 1994-07-28 1996-04-09 Silicon Graphics, Inc. Rotating sample of video images
JPH08205140A (ja) 1995-01-31 1996-08-09 Canon Inc 画像圧縮装置
US6911987B1 (en) * 1995-07-05 2005-06-28 Microsoft Corporation Method and system for transmitting data for a shared application
KR100186267B1 (ko) 1995-09-07 1999-05-01 김주용 적응적인 블록분할에 의한 움직임 추정 및 보상방법
EP0905651A3 (en) * 1997-09-29 2000-02-23 Canon Kabushiki Kaisha Image processing apparatus and method
KR20040091682A (ko) * 2002-03-05 2004-10-28 코닌클리케 필립스 일렉트로닉스 엔.브이. 계층적 비디오 인코딩을 위한 방법 및 시스템
US7362909B2 (en) * 2003-04-10 2008-04-22 Sharp Kabushiki Kaisha Coding device and method and decoding device and method
HUP0301368A3 (en) * 2003-05-20 2005-09-28 Amt Advanced Multimedia Techno Method and equipment for compressing motion picture data
TWI232675B (en) * 2003-12-02 2005-05-11 Univ Nat Chiao Tung Video compression device and method
CN100401780C (zh) * 2004-05-07 2008-07-09 美国博通公司 在视频解码器中动态选择变换尺寸的方法和系统
US8116374B2 (en) 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
EP1813117A1 (en) * 2004-11-04 2007-08-01 Koninklijke Philips Electronics N.V. Method and device for processing coded video data
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
CN101268698A (zh) * 2005-05-19 2008-09-17 Lg电子株式会社 用于视频数据编码/解码的方法
KR100705971B1 (ko) * 2005-07-20 2007-04-12 주식회사 휴맥스 비트스트림 인코딩/디코딩 방법 및 장치
EP2720468B1 (en) * 2005-09-26 2017-03-29 Mitsubishi Electric Corporation Moving image decoding method
EP1809041A1 (en) * 2006-01-11 2007-07-18 Mitsubishi Electric Information Technology Centre Europe B.V. Error concealement for scalable video coding
US8363936B2 (en) * 2006-08-25 2013-01-29 Thomson Licensing Method and apparatus for reduced resolution partitioning
JP4825644B2 (ja) * 2006-11-14 2011-11-30 ルネサスエレクトロニクス株式会社 画像復号装置、画像符号化装置、およびシステムｌｓｉ
RU2426267C2 (ru) * 2007-01-08 2011-08-10 Нокиа Корпорейшн Усовершенствованное межуровневое предсказание для расширенной пространственной масштабируемости при кодировании видеосигнала
US7983496B2 (en) * 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
US7639915B2 (en) 2007-06-28 2009-12-29 Draka Comteq B.V. Optical fiber cable having a deformable coupling element
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
KR101408698B1 (ko) * 2007-07-31 2014-06-18 삼성전자주식회사 가중치 예측을 이용한 영상 부호화, 복호화 방법 및 장치
JP5056348B2 (ja) * 2007-10-29 2012-10-24 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2009272702A (ja) * 2008-04-30 2009-11-19 Canon Inc 動きベクトル探索装置及びその制御方法
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US20100086031A1 (en) * 2008-10-03 2010-04-08 Qualcomm Incorporated Video coding with large macroblocks
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR101474756B1 (ko) * 2009-08-13 2014-12-19 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
KR20110017719A (ko) * 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN104661038B (zh) * 2009-12-10 2018-01-05 Sk电信有限公司 使用树形结构的解码装置
US20110310976A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Joint Coding of Partition Information in Video Coding
US9380314B2 (en) * 2010-12-20 2016-06-28 Texas Instruments Incorporated Pixel retrieval for frame reconstruction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090093982A (ko) 2006-12-15 2009-09-02 킴벌리-클라크 월드와이드, 인크. 흡수 용품 내 다수의 배설물 존재를 검출하기 위한 방법 및 장치
KR20090093987A (ko) 2007-02-28 2009-09-02 제이에프이 스틸 가부시키가이샤 캔용 강판 및 그 모재에 사용하는 열연 강판 그리고 이들의 제조 방법
KR20100096032A (ko) 2009-02-23 2010-09-01 삼성에스디아이 주식회사 이차전지용 내장 충전회로 및 그 충전회로를 구비하는 이차전지

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2485490A4

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9712823B2 (en) 2010-04-13 2017-07-18 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus using prediction units based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus using prediction units based on encoding units determined in accordance with a tree structure
US9485511B2 (en) 2010-04-13 2016-11-01 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
AU2011241283B2 (en) * 2010-04-13 2015-02-05 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
US10432965B2 (en) 2010-04-13 2019-10-01 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
US9712822B2 (en) 2010-04-13 2017-07-18 Samsung Electronics Co., Ltd. Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
AU2015202094B2 (en) * 2010-04-13 2016-11-17 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
US9565438B2 (en) 2010-04-13 2017-02-07 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus using prediction units based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus using prediction units based on encoding units determined in accordance with a tree structure
US9936216B2 (en) 2010-04-13 2018-04-03 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus using prediction units based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus using prediction units based on encoding units determined in accordance with a tree structure
US9247247B2 (en) 2010-04-13 2016-01-26 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus using prediction units based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus using prediction units based on encoding units determined in accordance with a tree structure
US10412411B2 (en) 2010-04-13 2019-09-10 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus using prediction units based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus using prediction units based on encoding units determined in accordance with a tree structure
US9654790B2 (en) 2010-04-13 2017-05-16 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
US9942564B2 (en) 2010-04-13 2018-04-10 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
US10027972B2 (en) 2010-04-13 2018-07-17 Samsung Electronics Co., Ltd. Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
US10306262B2 (en) 2010-04-13 2019-05-28 Samsung Electronics Co., Ltd. Video encoding method and video encoding apparatus and video decoding method and video decoding apparatus, which perform deblocking filtering based on tree-structure encoding units
CN104429067A (zh) * 2012-07-09 2015-03-18 奥林奇公司 通过预测当前块的划分进行视频编码的方法、解码方法、编码和解码装置及其相应的计算机程序
CN105721866B (zh) * 2016-02-01 2019-02-12 北京奇艺世纪科技有限公司 一种编码单元划分方法及装置
CN105721866A (zh) * 2016-02-01 2016-06-29 北京奇艺世纪科技有限公司 一种编码单元划分方法及装置

Also Published As

Publication number Publication date
KR101698499B1 (ko) 2017-01-23
US9264716B2 (en) 2016-02-16
KR101698509B1 (ko) 2017-01-23
HUE026080T2 (en) 2016-05-30
EP2485490A2 (en) 2012-08-08
ES2625010T3 (es) 2017-07-18
CN102918840B (zh) 2016-05-25
US20150195543A1 (en) 2015-07-09
KR20160114559A (ko) 2016-10-05
ES2628515T3 (es) 2017-08-03
CN104602013A (zh) 2015-05-06
PL2993904T3 (pl) 2017-09-29
US20120269274A1 (en) 2012-10-25
EP2485490B1 (en) 2015-09-30
KR20110036520A (ko) 2011-04-07
US20150341637A1 (en) 2015-11-26
US9813710B2 (en) 2017-11-07
HUE033566T2 (hu) 2017-12-28
CN102918840A (zh) 2013-02-06
EP2485490A4 (en) 2013-10-30
CN104683808A (zh) 2015-06-03
HUE034567T2 (en) 2018-02-28
CN104683809B (zh) 2018-04-10
PL2991353T3 (pl) 2017-09-29
EP2991353B1 (en) 2017-03-08
ES2554237T3 (es) 2015-12-17
EP2993904A1 (en) 2016-03-09
CN104683809A (zh) 2015-06-03
CN104602013B (zh) 2017-10-31
US10136129B2 (en) 2018-11-20
EP2991353A1 (en) 2016-03-02
EP2993904B1 (en) 2017-03-22
WO2011040795A3 (ko) 2011-09-15
CN104683808B (zh) 2018-02-02
PL2485490T3 (pl) 2016-03-31

Similar Documents

Publication Publication Date Title
WO2011040795A2 (ko) 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치
WO2011040794A2 (ko) 가변 크기의 매크로블록을 이용한 영상 부호화/복호화 방법 및 장치
WO2020076143A1 (ko) 다중 가정 예측을 사용하는 비디오 신호 처리 방법 및 장치
WO2018097693A2 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2019182385A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018066867A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2016204478A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019083334A1 (ko) 비대칭 서브 블록 기반 영상 부호화/복호화 방법 및 장치
WO2015122549A1 (ko) 동영상 처리 방법 및 장치
WO2020218861A1 (ko) 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
WO2018135885A1 (ko) 변환 처리를 제공하는 영상 복호화 및 부호화 방법
WO2011096741A2 (en) Method and apparatus for encoding video based on scanning order of hierarchical data units, and method and apparatus for decoding video based on scanning order of hierarchical data units
WO2014014251A1 (ko) Sao 파라미터를 시그널링하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
WO2017183751A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2011129672A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2012044104A2 (ko) 계층적 구조의 심볼을 부호화하는 비디오 부호화 방법 및 그 장치, 계층적 구조의 심볼을 복호화하는 비디오 복호화 방법 및 그 장치
WO2021015524A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020111843A1 (ko) 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
WO2020005045A1 (ko) 머지 모드 기반의 인터 예측 방법 및 장치
WO2018034373A1 (ko) 영상 처리 방법 및 이를 위한 장치
WO2020171681A1 (ko) 인트라 예측 기반 비디오 신호 처리 방법 및 장치
WO2016190627A1 (ko) 비디오 신호 처리 방법 및 장치
WO2011021914A2 (ko) 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
WO2020050600A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2015122550A1 (ko) 동영상 처리 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080054732.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10820868

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010820868

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13499375

Country of ref document: US