WO2011108879A2 - 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법 - Google Patents

영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법 Download PDF

Info

Publication number
WO2011108879A2
WO2011108879A2 PCT/KR2011/001493 KR2011001493W WO2011108879A2 WO 2011108879 A2 WO2011108879 A2 WO 2011108879A2 KR 2011001493 W KR2011001493 W KR 2011001493W WO 2011108879 A2 WO2011108879 A2 WO 2011108879A2
Authority
WO
WIPO (PCT)
Prior art keywords
block
nci
prediction
current block
mode
Prior art date
Application number
PCT/KR2011/001493
Other languages
English (en)
French (fr)
Other versions
WO2011108879A3 (ko
Inventor
임정연
김수년
최재훈
이규민
이영렬
한종기
문주희
김해광
전병우
김대연
서정훈
김기오
홍성욱
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/582,886 priority Critical patent/US9232234B2/en
Publication of WO2011108879A2 publication Critical patent/WO2011108879A2/ko
Publication of WO2011108879A3 publication Critical patent/WO2011108879A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • An embodiment of the present invention relates to an image encoding apparatus, an image encoding method thereof, an image decoding apparatus, and an image decoding method thereof. More specifically, when it is efficient to encode or decode the current block later, the neighboring block is first encoded or decoded, and intra prediction using more adjacent pixels is performed when encoding or decoding the current block, thereby generating the original prediction signal.
  • the present invention relates to an image encoding apparatus, an image encoding method, an image decoding apparatus, and an image decoding method capable of improving compression efficiency and decoding efficiency in a manner similar to a signal.
  • Moving Picture Experts Group (MPEG) and Video Coding Experts Group (VCEG) have developed video compression techniques that are superior and superior to the existing MPEG-4 Part 2 and H.263 standards.
  • the new standard is called H.264 / AVC (Advanced Video Coding) and was jointly released as MPEG-4 Part 10 AVC and ITU-T Recommendation H.264.
  • the H.264 / AVC uses a spatial predictive encoding method different from the conventional video coding international standards such as MPEG-1, MPEG-2, and MPEG-4 Part2 Visual.
  • 'H.264' uses a spatial predictive encoding method different from the conventional video coding international standards such as MPEG-1, MPEG-2, and MPEG-4 Part2 Visual.
  • the use of " intra prediction " for coefficient values transformed in the DCT transform domain has been used to seek to increase coding efficiency, resulting in deterioration of subjective picture quality in the low-frequency transmission bit rate.
  • a spatial intra prediction algorithm is adopted in a spatial domain rather than a transform domain.
  • the encoder predicts the block information to be currently coded from the information of the previous block that has already been coded and reproduced, and codes only the difference information of the actual block information to be coded. Send to the decoder.
  • the prediction may be performed by transmitting a parameter required for the prediction to the decoder or synchronizing the encoder and the decoder.
  • the information of the block to be decoded is predicted using the information of the neighboring block which has already been decoded and reproduced, and the desired configuration information is reproduced by obtaining the sum of the error information transmitted from the encoder. In this case, too, if a parameter required for prediction is transmitted, the parameter is decoded and used.
  • Intra prediction according to the H.264 standard includes intra 4 x 4 prediction, intra 8 x 8 prediction, and intra 16 x 16 prediction, and each intra prediction includes a plurality of prediction modes.
  • a vertical mode (mode 0) and a horizontal mode (mode 1) DC (Direct Current) mode (Mode 2), Diagonal Left (Diagonal_Down_Left) Mode (Mode 3), Diagonal Right (Diagontal_Down_Right) Mode (Mode 4), Vertical Right (Vertical_Right) Mode (Mode 5), Horizontal Down (Horizontal_Down)
  • mode 6 mode 6
  • vertical left Vertical_Left
  • mode 8 horizontal up (Up) mode
  • the vertical mode (mode 0), the horizontal mode (mode 1), the DC mode (mode 2), and the plane mode Four prediction modes including (Mode 3) are defined.
  • the horizontal mode (mode 1), the DC mode (mode 2), and the plane mode Four prediction modes including (Mode 3) are defined.
  • the plane mode Four prediction modes including (Mode 3) are defined.
  • intra 8 ⁇ 8 prediction there are four prediction modes similar to intra 16 ⁇ 16 prediction.
  • adjacent pixels used for prediction are localized at the left and the top. This is because the pixels that can be used for prediction can use only the reconstructed pixels after the decoding process.
  • the encoder encodes blocks from left to right and top to bottom according to the encoding order, and also transmits the bitstream, which is the compression result of the blocks, to the decoder sequentially. This exists.
  • the neighboring block when it is efficient to encode or decode a current block later, the neighboring block may be encoded or decoded first, and the prediction signal may be obtained by performing intra prediction using more adjacent pixels when encoding or decoding the current block.
  • An object of the present invention is to provide a video encoding apparatus, a coding method, a video decoding apparatus, and a decoding method that can improve compression and decoding efficiency in a manner similar to an original signal.
  • a video encoding apparatus including: a block mode determination unit configured to determine a block mode for a current block; When the block mode of the current block determined by the block mode determining unit is intra, if a non-coded intra (NCI) block exists in the neighboring block of the current block, intra prediction is performed on the NCI block existing in the neighboring block.
  • NCI non-coded intra
  • the image encoding apparatus processes the current block as an NCI block, and encodes the current block.
  • the terminal may further include an encoding skip unit.
  • the video encoding apparatus may further include an inter encoder configured to perform inter prediction on the current block and to encode the current block when the mode of the current block determined by the block mode determiner is inter; And an NCI block extension intra encoder that executes and encodes extended intra prediction on an NCI block existing in the neighboring block when the NCI block exists in the neighboring block of the current block.
  • the NCI block extension intra encoder performs unidirectional prediction, bidirectional prediction, and average prediction (DC prediction) using pixels that are already coded among neighboring blocks including the upper, lower, left, right, and upper right sides of the current block. Among them, it is desirable to determine a prediction method having the least cost as the prediction mode.
  • the NCI block does not exist in the neighboring block of the current block, it is preferable to terminate the encoding for the current block.
  • the apparatus for encoding an image may further include a block mode type transmitter for bit-wise transmitting the block mode type information determined by the block mode determiner.
  • the block mode determining unit may include a sum of absolute value (SAD), a sum of absolute transformed difference (SATD), a sum of squared difference (SSD), a mean of absolute difference (MAD), and a lagrangian function (SAD) for a mode of the current block. At least one of can be used to calculate the cost.
  • SAD sum of absolute value
  • SATD sum of absolute transformed difference
  • SSD sum of squared difference
  • MAD mean of absolute difference
  • SAD lagrangian function
  • the block mode determiner may calculate a cost by using a cost function for each mode of the current block, and determine a mode in which the calculated cost is the least.
  • a video encoding apparatus comprising: a block mode determiner configured to determine a block mode for a current block; An inter encoder reconstructing the current block based on the residual signal obtained by using motion prediction and motion compensation for the current block when the mode of the current block determined by the block mode determiner is inter; And an NCI block extended intra encoder configured to perform extended intra prediction on an NCI block existing in the neighboring block if the NCI block exists in the neighboring block of the reconstructed current block.
  • the NCI block extension intra encoder performs unidirectional prediction, bidirectional prediction, and average prediction (DC prediction) using pixels that are already encoded among neighboring blocks including the upper, lower, left, right, and upper right sides of the current block.
  • the prediction method with the lowest cost can be determined as the prediction mode.
  • a video decoding apparatus comprising: a block mode type determination unit decoding a block mode type of a current block from a received bitstream; When the block mode type of the current block restored by the block mode type determination unit is intra, if the NCI block exists in the neighboring block of the current block, the NCI block intra for performing intra prediction on the NCI block existing in the neighboring block and decoding A decoder; And a current block intra encoder configured to perform intra prediction on the current block and to encode the current block.
  • the image decoding apparatus processes the current block as an NCI block. It may further include a decryption omit unit for terminating the decryption.
  • the image decoding apparatus may further include: an inter encoder configured to perform inter prediction on the current block and to encode when the mode type of the current block reconstructed by the block mode type determination unit is inter; And an NCI block extension intra decoding unit configured to perform extended intra prediction on an NCI block existing in the neighboring block and to decode the NCI block if the NCI block exists in the neighboring block of the current block.
  • the NCI block extension intra decoding unit receives residual coefficient information of the NCI block from the bitstream, and uses the received residual coefficient information in a neighboring block including the top, bottom, left, right, and right upper ends of the current block.
  • the NCI block may be reconstructed by performing at least one of unidirectional prediction, bidirectional prediction, and average prediction (DC prediction).
  • the video decoding apparatus preferably ends decoding of the current block.
  • a video decoding apparatus comprising: a block mode type determination unit decoding a block mode for a current block; An inter encoder reconstructing the current block based on the residual signal obtained by using motion prediction and motion compensation for the current block when the mode type of the current block reconstructed by the block mode type determination unit is inter; And an NCI block extended intra encoder configured to perform extended intra prediction on an NCI block existing in the neighboring block if the NCI block exists in the neighboring block of the reconstructed current block.
  • the NCI block extension intra decoding unit receives residual coefficient information of the NCI block from the bitstream, and uses the received residual coefficient information for the neighboring block including the upper, lower, left, right, and upper right sides of the current block.
  • the NCI block may be reconstructed by performing at least one of unidirectional prediction, bidirectional prediction, and average prediction (DC prediction).
  • a video encoding method comprising: determining a block mode for a current block; If the block mode of the current block determined by the block mode determining step is intra, performing an intra prediction on the NCI block present in the neighboring block if the NCI block exists in the neighboring block of the current block; And performing intra prediction on the current block and encoding the same.
  • the video encoding method processes the current block as an NCI block if there is no NCI block in the neighboring block of the current block, and encodes the current block.
  • the method may further include terminating.
  • the video encoding method may further include: performing inter prediction on the current block and encoding if the mode of the current block determined by the block mode determination step is inter; And if the NCI block exists in the neighboring block of the current block, performing the encoding by performing extended intra prediction on the NCI block existing in the neighboring block.
  • unidirectional prediction, bidirectional prediction, and average prediction are performed using pixels that are already encoded among neighboring blocks including the upper, lower, left, right, and right upper ends of the current block.
  • the least expensive prediction method may be determined as the prediction mode.
  • the NCI block does not exist in the neighboring block of the current block, it is possible to end the encoding for the current block.
  • the image encoding method may further include bitwise transmitting the type information of the block mode determined by the block mode determination step.
  • the block mode determination step may include a sum of absolute value (SAD), a sum of absolute transformed difference (SATD), a sum of squared difference (SSD), a mean of absolute difference (MAD), and a Lagrangian function for the mode of the current block.
  • the cost may be calculated using at least one of the (Lagrangian Function), and the mode with the lowest calculated cost may be determined as the block mode.
  • a method of encoding an image including: determining a block mode for a current block; Performing intra prediction on the current block and encoding the same; And if the block mode of the current block determined by the block mode determination step is intra, performing an intra prediction on the NCI block existing in the neighboring block if the NCI block exists in the neighboring block of the current block. It features.
  • a method of encoding an image including: determining a block mode for a current block; Reconstructing the current block based on the residual signal obtained by using motion prediction and motion compensation for the current block when the mode of the current block determined by the block mode determination step is inter; And if the NCI block exists in the neighboring block of the reconstructed current block, performing the encoding by performing extended intra prediction on the NCI block existing in the neighboring block.
  • unidirectional prediction, bidirectional prediction, and average prediction are performed using pixels that are already coded among neighboring blocks including the upper, lower, left, right, and right upper ends of the current block.
  • DC prediction average prediction
  • a method of decoding an image including: decoding a block mode type of a current block from a received bitstream; If the block mode type of the current block reconstructed by the block mode type decoding step is intra, performing an intra prediction on the NCI block existing in the neighboring block if the NCI block exists in the neighboring block of the current block; And performing intra prediction on the current block and encoding the same.
  • the mode type of the current block restored by the block mode type decoding step is intra, if the NCI block does not exist in the neighboring block of the current block, the current block is processed as an NCI block, and the decoding for the current block is performed. It may further comprise the step of ending.
  • the image decoding method may further include: performing inter prediction on a current block and decoding when the mode type of the current block reconstructed by the block mode type decoding step is inter; And if the NCI block exists in the neighboring block of the current block, executing and decoding extended intra prediction on the NCI block existing in the neighboring block.
  • the extended intra prediction execution step receives the residual coefficient information of the NCI block from the bitstream, and uses the received residual coefficient information to unidirectional with respect to the neighboring block including the upper, lower, left, right, and upper right sides of the current block.
  • the NCI block may be reconstructed by performing at least one of prediction, bidirectional prediction, and average prediction (DC prediction).
  • the image decoding method may terminate decoding of the current block.
  • a method of decoding a block mode of a current block from a received bitstream Performing intra prediction on the current block and encoding the same; And if the block mode type of the current block reconstructed by the block mode type decoding step is intra, performing an intra prediction on the NCI block existing in the neighboring block and decoding if the NCI block exists in the neighboring block of the current block. It is characterized by including.
  • a method of decoding an image including: decoding a block mode for a current block; Restoring the current block based on the residual signal obtained by using motion prediction and motion compensation for the current block when the mode type of the current block restored by the block mode type determination unit is inter; And if the NCI block exists in the neighboring block of the reconstructed current block, performing the encoding by performing extended intra prediction on the NCI block existing in the neighboring block.
  • the extended intra prediction execution step receives the residual coefficient information of the NCI block from the bitstream, and uses the received residual coefficient information to unidirectional with respect to the neighboring block including the upper, lower, left, right, and upper right sides of the current block.
  • the NCI block may be reconstructed by performing at least one of prediction, bidirectional prediction, and average prediction (DC prediction).
  • the neighboring block when it is determined that it is efficient to encode or decode the current block later, the neighboring block is first encoded or decoded, and intra prediction using more adjacent pixels is performed when encoding or decoding the current block.
  • intra prediction using more adjacent pixels By performing the prediction signal more similar to the original signal, the compression efficiency and the decoding efficiency can be improved.
  • 1 is a diagram illustrating nine general 4x4 intra prediction modes according to the H.264 standard.
  • FIG. 2 illustrates four general 16x16 intra prediction modes according to the H.264 standard.
  • FIG. 3 is a diagram schematically illustrating an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an example of an image encoding method by the image encoding apparatus of FIG. 3.
  • FIG. 6 is a diagram illustrating examples of bidirectional prediction and DC prediction that may be used in the extended intra prediction of the present invention.
  • FIG. 7A illustrates an example in which the upper block among the neighboring blocks of the current block is an NCI block, and (b) illustrates extended intra prediction for an NCI block in the upper block when the current block is an inter. An example of one case is illustrated, and (c) illustrates an example of conventional intra prediction on an NCI block of an upper block when the current block is intra.
  • FIG. 8 is a diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating an image decoding method by the image decoding apparatus of FIG. 8.
  • the image encoding apparatus 300 may include a block mode determiner 310, a block mode type transmitter 320, and a non-coded intra block NCI. 330, a current block intra encoder 340, an encoding skip unit 350, an inter encoder 360, and an NCI block extension intra encoder 370.
  • the block mode determination unit 310 determines a block mode for the current block. That is, the block mode determiner 310 selects a specific block mode among the plurality of block modes as an optimal block mode using a cost function such as a rate-distortion optimization (RDO) for the plurality of candidate block modes.
  • RDO rate-distortion optimization
  • the block mode determination unit 310 includes a sum of absolute value (SAD), a sum of absolute transformed difference (SATD), a sum of squared difference (SSD), a mean of absolute difference (MAD), for each mode of the current block.
  • the cost may be calculated using at least one of the Lagrangian functions, and the mode with the lowest calculated cost may be determined as the block mode.
  • SAD is a value obtained by taking the absolute value of each 4x4 block prediction error (residual signal) and adding the values together
  • SATD is a coefficient generated by applying the Hadamard Transform to the prediction error (residual signal) value of each 4x4 block.
  • SSD is a value obtained by squaring the prediction error (residual signal) value of each 4x4 block prediction sample
  • MAD is an average value obtained by taking an absolute value to the prediction error (residual signal) value of each 4x4 block prediction sample.
  • the Lagrangian function is a cost function made by including the length information of the bitstream in the Lagrangian constant.
  • the block mode type transmitting unit 320 encodes the block mode type information determined by the block mode determining unit 310 into a bitstream and transmits the bit mode type information to the decoder 800 (see FIG. 8) (to be described later).
  • the NCI block intra encoder 330 determines whether an NCI block exists in a neighboring block of the current block. If the NCI block exists in the neighboring block of the current block, the NCI block intra encoder 330 generates a residual signal using the intra prediction according to the existing H.264 standard for the NCI block existing in the neighboring block. After encoding and transforming, the residual coefficient information is encoded into a bitstream and transmitted to the decoder 800, and the corresponding NCI block is restored.
  • the NCI block refers to a block in which residual coefficient information is not encoded.
  • the current block intra encoder 340 is configured to use the existing H.
  • a residual signal is generated by using intra prediction according to the 264 standard, and the residual coefficient information is encoded into a bitstream through a transform and quantization process, transmitted to the decoder 800, and the corresponding current block is restored.
  • FIG. 3 shows that the current block intra encoder 340 restores the current block after execution of the NCI block intra encoder 330
  • the present block intra encoder 340 is not limited thereto. ) May be executed simultaneously with the NCI block intra encoder 330, or may be executed before the NCI block intra encoder 330.
  • the encoding omission unit 350 does not encode the current block in the neighboring block of the current block. Processing is done as a block, ending encoding for the current block and moving to the next block. In this case, the current block processed as the NCI block may be encoded together when the neighboring block is encoded in the future, although residual coefficient information is not currently encoded.
  • the inter encoder 360 encodes the motion vector information and the residual coefficient information of the current block into a bitstream and transmits the bit stream to the decoder 800. And restore the current block. Also, the inter encoder 360 determines whether an NCI block exists among neighboring blocks of the current block.
  • the NCI block extension intra encoder 370 When the NCI block exists in the neighboring block of the current block, the NCI block extension intra encoder 370 performs extended intra prediction on the corresponding NCI block existing in the neighboring block of the current block to be more similar to the original pixel. Predict the pixels.
  • a block processed as an NCI block without the residual coefficient information encoded because the block mode is intra and the NCI block does not exist in the neighboring block is applied to the extended intra prediction when the block mode of the current block is inter.
  • the NCI block extension intra encoder 370 uses various directional prediction, bidirectional prediction, and interpolation filters using pixels of the current block reconstructed by the inter encoder 360 and pixels already reconstructed in the neighboring intra block.
  • the NCI block extension intra encoder 370 generates a residual signal using a pixel predicted using the extended intra prediction, and encodes the residual coefficient information into a bitstream through a transform and quantization process to decode the decoder 800.
  • the NCI block When the NCI block is restored, the encoding of the current block is terminated and the block moves to the next block.
  • the inter encoder 360 performs inter prediction on the current block, and then ends encoding on the current block and then performs the next block. Go to.
  • FIG. 4 is a flowchart illustrating an example of an image encoding method by the image encoding apparatus of FIG. 3.
  • the configuration and operation of the video encoding apparatus according to the embodiment of the present invention will be described in detail with reference to FIG. 4.
  • the block mode determination unit 310 determines a specific block mode among the plurality of block modes as an optimal block mode using a cost function such as a rate-distortion optimization (RDO) for the plurality of candidate block modes. (S401).
  • RDO rate-distortion optimization
  • the block mode determiner may calculate a cost by using at least one of SAD, SATD, SSD, MAD, and Lagrangian functions for each mode of the current block, and determine a mode in which the calculated cost is the least.
  • the block mode type transmitter 320 encodes the optimal block mode type information determined by the block mode determiner 310 based on a cost function such as a rate-distortion optimization scheme into a bitstream and transmits the encoded bit mode information to the decoder 800. (S403).
  • the block mode type information transmitted to the decoder 800 by the block mode type transmitter 320 includes mode information on whether the current block mode is intra or inter, and information on block size information.
  • the NCI block intra encoder 330 determines the block mode of the current block determined by the block mode determiner 310 (S405), and if it is intra, determines whether the NCI block exists in the neighboring block of the current block (S407). . If the NCI block exists in the neighboring block of the current block, the NCI block intra encoder 330 generates a residual signal using the intra prediction according to the existing H.264 standard for the NCI block existing in the neighboring block. After encoding and encoding, the residual coefficient information is encoded into a bitstream and transmitted to the decoder 800, and the corresponding NCI block is restored (S409).
  • the current block intra encoder 340 is configured to use the existing H.
  • a residual signal is generated using intra prediction according to the 264 standard, and the residual coefficient information is encoded into a bitstream through a transform and quantization process, transmitted to the decoder 800, and the corresponding current block is restored (S411).
  • the reason for performing intra prediction on the NCI block existing in the neighboring block and intra prediction on the current block is that if the current block is intra and the neighboring block is the NCI block, the residual coefficients of the NCI block are encoded so far. This is because there may not be enough surrounding pixels for intra prediction of the current block.
  • the current block may be encoded first, and then the NCI block of the neighboring block may be encoded.
  • the transformed intra prediction may be used in the NCI block intra encoder 330 and the current block intra encoder 340 because there are pixels that cannot be used among neighboring pixels used for the existing intra prediction. have.
  • the encoding omission unit 350 does not encode the residual coefficient information of the current block if the NCI block does not exist in the neighboring block of the current block. Processing is performed as a block (S415), the encoding for the current block is terminated, and the block is moved to the next block (S413).
  • the current block processed as the NCI block may be encoded as the residual coefficient information is not currently encoded, but the neighboring block is encoded in the future.
  • the neighboring block to be encoded in the future is an inter block
  • the NCI block in which residual coefficient information is not encoded is encoded by extended intra prediction
  • the neighboring block to be encoded in the future is determined to be an intra block, immediately before the block is encoded.
  • An NCI block that has not yet been encoded with residual coefficient information may be transmitted and reconstructed by the existing intra prediction.
  • the inter encoder 360 may determine the motion vector information of the current block derived using an arbitrary motion prediction method. Motion is compensated using the motion vector information, and residual coefficient information is obtained by transforming and quantizing a residual signal, which is a difference between a block obtained by motion compensation and an original image block, and encoding the residual coefficient information into a bitstream to obtain a decoder ( In step 800, the current block is restored (S417). Subsequently, the inter encoder 360 determines whether an NCI block exists among neighboring blocks of the current block (S419).
  • the NCI block extension intra encoder 370 When the NCI block exists in the neighboring block of the current block, the NCI block extension intra encoder 370 performs extended intra prediction on the corresponding NCI block existing in the neighboring block of the current block to be more similar to the original pixel.
  • the pixel is predicted (S421).
  • a block processed as an NCI block without the residual coefficient information encoded because the block mode is intra and the NCI block does not exist in the neighboring block is applied to the extended intra prediction when the block mode of the current block is inter.
  • the NCI block extension intra encoder 370 uses various directional prediction, bidirectional prediction, and interpolation filters using pixels of the current block reconstructed by the inter encoder 360 and pixels already reconstructed in the neighboring intra block. To produce a pixel similar to the original pixel.
  • the pixels used in intra 4x4 prediction of H.264 are the pixels of the 16 current blocks from lowercase letters a to p, and 13 previously encoded peripherals from uppercase letters A to M, as shown in FIG. 5 (a). It is divided into pixels (adjacent pixels) of the block.
  • the first columns a, e, i, and m pixels are predicted as in Equation 2.
  • a residual signal may be generated by performing prediction using pixel values of neighboring pixels that are already compressed in a similar manner.
  • FIG. 5B is a diagram illustrating adjacent pixels that can be used for extended intra prediction according to an embodiment of the present invention when the lower and upper blocks as well as the lower block are already encoded and reconstructed in any intra block. to be.
  • the 18 pixels from uppercase letters A through R are the pixels (adjacent pixels) of the previously compressed peripheral block. These pixels can be used for bidirectional prediction using an interpolation filter as well as conventional directional prediction.
  • FIG. 5C illustrates adjacent pixels that can be used for extended intra prediction according to an embodiment of the present invention when a right block is already encoded and reconstructed in an intra block.
  • the 17 pixels from uppercase letters A through Q are the pixels (adjacent pixels) of the previously compressed peripheral block. These pixels can be used for bidirectional prediction using an interpolation filter as well as conventional directional prediction.
  • 5D illustrates adjacent pixels that may be used for extended intra prediction according to an embodiment of the present invention when the right and bottom blocks are already encoded and reconstructed in an arbitrary intra block.
  • the 22 pixels from uppercase letters A through V are the pixels (adjacent pixels) of the previously compressed peripheral block. These pixels can be used for bidirectional prediction using an interpolation filter as well as conventional directional prediction.
  • FIG. 6 is a diagram illustrating examples of bidirectional prediction and DC prediction that may be used in the extended intra prediction of the present invention.
  • FIG. 6 (a) and 6 (b) show examples of extended intra prediction that can be performed when the lower block is already encoded and reconstructed according to the present invention as well as the left and the top.
  • FIG. 6 (a) predicts the first columns a, e, i, m pixels of the current block shown in FIG. 5 (b) using vertical bidirectional prediction, and may be predicted as shown in Equation 3 below. .
  • the first row a, b, c, and d pixels may be predicted as in Equation 4 below.
  • Equations 3 and 4 illustrate one example.
  • a prediction method using various filter coefficients using pixels reconstructed at the bottom may be used.
  • FIG. 6C is a diagram illustrating an example of extended intra prediction according to an embodiment of the present invention when the left and top blocks as well as the right block are already encoded and reconstructed.
  • horizontal bidirectional prediction may be performed using bidirectional pixels.
  • FIG. 6D is a diagram illustrating an example of extended intra prediction according to an embodiment of the present invention when the lower and right blocks are already encoded and reconstructed.
  • the current pixels may be predicted using the DC prediction using all the neighboring pixels as well as the previous bidirectional prediction.
  • the predictions of FIG. 6 are merely examples, and various methods such as bidirectional prediction and unidirectional prediction may be used.
  • the NCI block extension intra encoder 370 uses unidirectional prediction, bidirectional prediction, and average prediction using pixels that are already encoded among neighboring blocks including the upper, lower, left, right, and upper right sides of the current block. It performs extended intra prediction such as (DC prediction), and determines the prediction mode of which the least cost is. In this case, SAD, SATD, SSD, MAD, Lagrangian function, etc. may be used as the cost function.
  • DC prediction extended intra prediction
  • SAD, SATD, SSD, MAD, Lagrangian function, etc. may be used as the cost function.
  • the decompressed intra block (NCI block) Perform the encoding.
  • an optimal prediction pixel can be generated by using an interpolation filter.
  • various directional predictions using adjacent pixels at the bottom, average prediction (DC prediction) and bidirectional prediction using pixels at the top, bottom, left and right sides, etc. are performed to obtain prediction pixels more similar to the original.
  • the residual signal from the original signal is generated using the generated prediction pixel, and then transformed and quantized to generate residual coefficient information and transmit the residual coefficient information to the decoder 800.
  • This block is no longer an NCI block because it has transmitted residual coefficient information. The block is then restored and the encoding is completed and moved to the next block.
  • the inter encoder 360 performs inter prediction on the current block, and then ends encoding on the current block and then performs the next block. Go to.
  • FIG. 7 is a diagram illustrating an example of a block that can use extended intra prediction using right and bottom blocks according to an embodiment of the present invention.
  • FIG. 7A illustrates an example in which the upper block among the neighboring blocks of the current block is an NCI block.
  • the upper NCI block since the upper NCI block has only coded mode information and has not yet encoded residual coefficients, the upper block has not been restored.
  • the upper block is encoded by an extended intra or an existing intra method.
  • FIG. 7B illustrates an example in which extended intra prediction is performed on the NCI block of the upper block when the current block is inter.
  • the upper NCI block may use extended intra prediction using all adjacent pixels as shown in (d) of FIG. 6.
  • FIG. 7C illustrates an example in which conventional intra prediction is performed on the NCI block of the upper block when the current block is intra.
  • the upper NCI block is encoded using existing intra prediction before the current block to transmit and restore the residual coefficient information to the decoder 800.
  • the current block can be used to perform the existing intra prediction using the reconstructed pixel at the top.
  • the image decoding apparatus 800 may include a block mode type determiner 810, an NCI block intra decoder 820, a current block intra decoder 830, and omit decoding.
  • a unit 840, an inter decoder 850, and an NCI block extension intra decoder 860 are included.
  • the block mode type determination unit 810 receives a bitstream from the image encoding apparatus 300, receives and decodes block mode type information on a current block from the received bitstream, and determines whether the current block is intra mode or inter mode. Determine the cognition.
  • the NCI block intra decoder 820 determines whether an NCI block exists in a neighboring block of the current block. If the NCI block exists in the neighboring block of the current block, the NCI block intra decoder 820 decodes the residual coefficient information from the received bitstream to generate a residual signal through inverse quantization and inverse transformation, and the existing H. The NCI block is reconstructed using intra prediction according to the 264 standard.
  • the current block intra decoder 830 may select a current block from the received bitstream if an NCI block exists in a neighboring block of the current block.
  • the residual signal is decoded to generate a residual signal through inverse quantization and inverse transformation, and the current block is reconstructed using intra prediction according to the existing H.264 standard.
  • FIG. 8 illustrates that the current block intra decoder 830 restores the current block after the NCI block intra decoder 820 is restored
  • the current block intra decoder 820 is not limited thereto. 830 may be executed simultaneously with the NCI block intra decoder 820 or may be executed in advance of the NCI block intra decoder 820.
  • the encoding omission unit 840 does not transmit residual coefficient information to the current block if the NCI block does not exist in the neighboring block of the current block.
  • Process is processed as an NCI block, and the decoding of the current block ends and moves to the next block.
  • the current block processed as the NCI block may be decoded together when the residual coefficient information is not decoded at present, but the neighboring block is decoded in the future.
  • the inter decoding unit 850 decodes the motion vector information and the residual coefficient information from the received bitstream, and then performs the motion compensation process and the residual.
  • the current block is restored through the inverse quantization and inverse transformation of coefficients.
  • the inter decoder 850 determines whether an NCI block exists among neighboring blocks of the current block.
  • the NCI block extension intra decoder 860 receives residual coefficient information of the corresponding NCI block from the bitstream, and performs inverse quantization and inverse transformation using the received residual coefficient information. Generate a residual signal for the NCI block.
  • the NCI block extension intra decoder 860 predicts the pixel to be more similar to the original pixel using the extended intra prediction according to the embodiment of the present invention. In this case, as described above, a block processed as an NCI block without decoding because a block mode is intra and there is no NCI block in a neighboring block is decoded using extended intra prediction when the block mode of the current block is inter. .
  • the NCI block extension intra decoder 860 uses various directional prediction, bidirectional prediction, and interpolation filters using pixels of the current block reconstructed by the inter decoder 850 and pixels already reconstructed in the neighboring intra block. To produce a pixel similar to the original pixel.
  • the NCI block extension intra decoder 860 reconstructs the NCI block by adding the residual signal of the generated NCI block and the pixel values of the generated pixels, and ends decoding and moves to the next block.
  • the inter decoder 850 executes inter prediction on the current block, and then ends decoding on the current block and then performs the next block. Go to.
  • FIG. 9 is a flowchart illustrating an image decoding method by the image decoding apparatus of FIG. 8. A configuration and an operation of an image decoding apparatus according to an embodiment of the present invention will be described in detail with reference to FIG. 9.
  • the block mode type determination unit 810 receives a bitstream from the image encoding apparatus 300, receives and decodes block mode type information on a current block from the received bitstream, and determines whether the current block is intra mode or inter mode. The recognition is determined (S901). As described above, the received bitstream includes information on whether the block mode of the current block is intra mode or inter mode and information on the size of the block.
  • the NCI block intra decoder 820 determines whether an NCI block exists in a neighboring block of the current block (S905). . If the NCI block exists in the neighboring block of the current block, the NCI block intra decoder 820 decodes the residual coefficient information from the bitstream to generate a residual signal through inverse quantization and inverse transformation, and the existing H.264 standard. The NCI block is reconstructed using intra prediction according to operation S907.
  • the current block intra decoder 830 remaining of the current block from the bitstream if an NCI block exists in a neighboring block of the current block.
  • a residual signal is generated by inverse quantization and inverse transformation by decoding coefficient information, and the current block is reconstructed using intra prediction according to the existing H.264 standard (S909).
  • the current block may be first decoded and then the NCI block of the neighboring block may be decoded.
  • the intra prediction modified in the NCI block intra decoder 820 and the current block intra decoder 830 may be used. have.
  • the decoding omission unit 840 does not transmit residual coefficient information to the current block if the NCI block does not exist in the neighboring block of the current block.
  • the process is processed as an NCI block, and the encoding of the current block is terminated and the next block is moved to the next block (S913).
  • the current block processed as the NCI block may be decoded together when the residual coefficient information is not decoded at present, but the neighboring block is decoded in the future. That is, if the neighboring block to be encoded in the future is an inter block, the NCI block for which residual coefficient information has not yet been decoded is decoded by the extended intra prediction.
  • the neighboring block to be decoded in the future is determined to be an intra block, the block is immediately decoded. NCI blocks for which residual coefficient information has not been decoded yet may be reconstructed using existing intra prediction.
  • the inter decoder 850 decodes the motion vector information from the bitstream to perform a motion compensation process. In addition, the inter decoder 850 decodes the residual coefficient information of the current block from the bitstream to generate a residual signal through inverse quantization and inverse transformation, and restores the current block in addition to the motion compensation block (S915). In addition, the inter decoder 850 determines whether an NCI block exists among neighboring blocks of the current block (S917).
  • the NCI block extension intra decoding unit 860 restores the NCI block by executing extended intra prediction on the corresponding NCI block existing in the neighboring block of the current block (S919). ).
  • the NCI block extension intra decoder 860 receives residual coefficient information for the corresponding NCI block from the bitstream and generates a residual signal through inverse quantization and inverse transformation.
  • the NCI block extension intra decoder 860 performs extended intra prediction on the NCI block to predict pixel values. In this case, since the extended intra prediction performed by the NCI block extension intra decoder 860 is the same as the extended intra prediction performed by the NCI block extension intra encoder 370 of FIG. 3, a detailed description thereof will be omitted. .
  • the NCI block extension intra decoder 860 reconstructs the NCI block by adding the prediction pixel generated by the extended intra prediction and the residual signal, ends the decoding of the current block, and moves to the next block.
  • the inter decoder 850 executes an inter prediction on the current block, restores it, and then ends decoding on the current block. Move to next block.
  • the motion vector encoding apparatus and the motion vector decoding apparatus have been described as being implemented as independent apparatuses, the motion vector encoding apparatus and the motion vector decoding apparatus are in one image encoding / decoding apparatus. It may be implemented. Such an image encoding / decoding apparatus may not only encode an image signal and transmit the encoded image signal to another image processing apparatus, but also may receive the encoded bitstream from another image processing apparatus and restore and reproduce the image signal.
  • an embodiment of the present invention is applied to an image processing field for compressing and decoding a video, and when it is determined that it is efficient to encode or decode a current block later, the neighboring block is first encoded or decoded, and the current block is By performing intra prediction using more adjacent pixels in encoding or decoding on, it is a very useful invention to generate an effect of improving the compression efficiency and the decoding efficiency by making the prediction signal more similar to the original signal.

Abstract

영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법이 개시된다. 본 발명의 실시예에 따른 영상 부호화 장치는, 현재블록에 대한 블록모드를 결정하는 블록모드 결정부; 블록모드 결정부에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI(Non-Coded Intra) 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 NCI 블록 인트라 부호화부; 및 블록모드 결정부에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 현재블록 인트라 부호화부를 포함하는 것을 특징으로 한다.

Description

영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
본 발명의 실시예는 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법에 관한 것이다. 보다 상세하게는, 현재블록을 차후에 부호화하거나 복호화하는 것이 효율적인 경우에는 주변블록을 먼저 부호화하거나 복호화하고, 현재블록에 대한 부호화 또는 복호화 시에 보다 많은 인접 픽셀을 이용한 인트라 예측을 수행함으로써 예측 신호를 원본 신호와 보다 유사하게 하여 압축 효율 및 복호 효율을 향상시킬 수 있는 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법에 관한 것이다.
MPEG(Moving Picture Experts Group)과 VCEG(Video Coding Experts Group)는 기존의 MPEG-4 Part 2와 H.263 표준안보다 더욱 우수하고 뛰어난 비디오 압축 기술을 개발하였다. 이 새로운 표준안은 H.264/AVC(Advanced Video Coding)라고 하며, MPEG-4 Part 10 AVC와 ITU-T Recommendation H.264로 공동 발표되었다.
이러한 H.264/AVC(이하 'H.264'라 칭함)는 MPEG-1, MPEG-2, MPEG-4 Part2 Visual 등 종래의 동영상 코딩 국제 표준과는 다른 공간 예측 부호화 방법을 사용하고 있다. 종래의 방법에서는 DCT 변환 영역(Transform Domain)에서 변환된 계수(Coefficient)값에 대한 "인트라 예측"을 사용함으로써 부호화 효율 증대를 추구하여 저역 전송 비트율 대의 주관적 화질의 열화를 발생시키는 결과를 초래하였지만, H.264에서는 변환 영역이 아닌 공간 영역(Spatial Domain)에서의 공간적 인트라 예측(Spatial Intra Prediction) 부호화 방법을 채택하고 있다.
이와 같은 공간적 인트라 예측을 통한 부호화를 인코더 측면에서 보면, 이미 코딩이 완료되어 재생된 이전 블록의 정보로부터 현재 코딩하고자 하는 블록 정보를 예측하고 코딩하고자 하는 실제 블록 정보의 오차(difference)정보만을 코딩해서 디코더에 전송한다. 이때, 예측에 필요한 파라미터를 디코더 측에 전송하거나, 인코더와 디코더를 동기화시킴으로써 예측을 수행할 수도 있다. 디코더 측면에서 보면, 이미 복호화가 완료되어 재생된 주변 블록의 정보를 이용하여 현재 복호화하고자 하는 블록의 정보를 예측하고, 인코더측에서 전송된 오차정보와의 합을 구하여 원하는 구성정보를 재생하게 된다. 이때도 역시 예측에 필요한 파라미터가 전송되었다면 해당 파라미터를 복호화하여 이용한다.
H.264 표준에 따른 인트라 예측에는 인트라 4 x 4 예측, 인트라 8 x 8 예측 및 인트라 16 x 16 예측 등이 있으며, 각각의 인트라 예측에는 다수의 예측 모드를 포함하고 있다.
인트라 4 x 4 예측의 경우, 인접 픽셀(adjacent pixel)의 위치 및 예측의 방향성을 고려하여 도 1에 도시한 바와 같이, 수직(Vertical) 모드(모드 0), 수평(Horizontal) 모드(모드 1), DC(Direct Current) 모드(모드 2), 대각선 왼쪽(Diagonal_Down_Left) 모드(모드 3), 대각선 오른쪽(Diagontal_Down_Right) 모드(모드 4), 수직 오른쪽(Vertical_Right) 모드(모드 5), 수평 아래쪽(Horizontal_Down) 모드(모드 6), 수직 왼쪽(Vertical_Left) 모드(모드 7) 및 수평 위쪽(Horizontal_Up) 모드(모드 8)를 포함하는 9가지 예측 모드를 규정한다.
또한, 인트라 16×16 예측의 경우, 도 2에 도시한 바와 같이 수직(Vertical) 모드(모드 0), 수평(Horizontal) 모드(모드 1), DC 모드(모드 2) 및 플래인(Plane) 모드(모드 3)를 포함하는 4가지의 예측 모드를 규정한다. 인트라 8×8 예측의 경우도 인트라 16×16 예측과 유사한 4가지의 예측 모드가 있다.
도 1 및 도 2를 참조하면, 예측에 이용되는 인접 픽셀들은 좌측과 상단에 국한된다. 그 이유는, 예측에 이용될 수 있는 픽셀은 복호화 과정 후, 복원된 픽셀만을 이용할 수 있기 때문이다. 인코더는 부호화 순서에 따라 좌측에서 우측으로 그리고 위에서 아래의 순서로 블록을 부호화하고 그 블록의 압축 결과인 비트스트림 또한 순차적으로 디코더에 전송하기 때문에 현재 부호화할 블록을 기준으로 좌측과 상단에 복원된 픽셀이 존재한다.
그러나, 인트라 예측에서 사용될 수 있는 인접 픽셀이 좌측과 상단에 국한되는 점은 인트라 예측 모드에 있어서 공간적 중복성을 효과적으로 줄이지 못하여 압축 효율을 떨어뜨리는 주요한 원인이 되는 문제점이 있다.
또한, 통상적인 인터 예측 복호화는 인터 예측 부호화에 상응적으로 동작하기 때문에, 인터 예측 부호화의 압축 효율이 저하된 상태에서는 인터 예측 복호화의 효율 향상을 기대하기 어렵다는 문제점이 있다.
본 발명의 실시예는 현재블록을 차후에 부호화하거나 복호화하는 것이 효율적인 경우에는 주변블록을 먼저 부호화하거나 복호화하고, 현재블록에 대한 부호화 또는 복호화 시에 보다 많은 인접 픽셀을 이용한 인트라 예측을 수행함으로써 예측 신호를 원본 신호와 보다 유사하게 하여 압축 효율 및 복호 효율을 향상시킬 수 있는 영상 부호화 장치, 그 부호화 방법, 영상 복호화 장치 및 그 복호화 방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 부호화 장치는, 현재블록에 대한 블록모드를 결정하는 블록모드 결정부; 블록모드 결정부에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI(Non-Coded Intra) 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 NCI 블록 인트라 부호화부; 및 블록모드 결정부에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 현재블록 인트라 부호화부를 포함하는 것을 특징으로 한다.
여기서, 영상 부호화 장치는, 블록모드 결정부에 의해 결정된 현재블록의 모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 NCI 블록으로 처리하며, 현재블록에 대한 부호화를 종료하는 부호화 생략부를 더 포함할 수 있다.
또한, 영상 부호화 장치는, 블록모드 결정부에 의해 결정된 현재블록의 모드가 인터인 경우, 현재블록에 대한 인터 예측을 실행하여 부호화하는 인터 부호화부; 및 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부를 더 포함할 수도 있다.
이 경우, NCI 블록 확장 인트라 부호화부는, 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정하는 것이 바람직하다.
또한, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록에 대한 부호화를 종료하는 것이 바람직하다.
또한, 영상 부호화 장치는, 블록모드 결정부에 의해 결정된 블록모드의 타입정보를 비트화하여 전송하는 블록모드 타입 전송부를 더 포함할 수도 있다.
블록모드 결정부는, 현재블록의 모드에 대하여 SAD(Sum of Absolute Value), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference), 라그랑지안 함수(Lagrangian Function) 중의 적어도 하나를 이용하여 비용을 계산할 수 있다.
블록모드 결정부는, 현재블록의 모드마다 비용함수를 이용하여 비용을 계산하고, 계산된 비용이 가장 적은 모드를 블록모드로 결정할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 부호화 장치는, 현재블록에 대한 블록모드를 결정하는 블록모드 결정부; 블록모드 결정부에 의해 결정된 현재블록의 모드가 인터인 경우, 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 현재블록을 복원하는 인터 부호화부; 및 복원된 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부를 포함하는 것을 특징으로 한다.
NCI 블록 확장 인트라 부호화부는, 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 복호화 장치는, 수신된 비트스트림으로부터 현재블록의 블록모드 타입을 복호화하는 블록모드 타입 판단부; 블록모드 타입 판단부에 의해 복원된 현재블록의 블록모드 타입이 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 복호화하는 NCI 블록 인트라 복호화부; 및 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 현재블록 인트라 부호화부를 포함하는 것을 특징으로 한다.
또한, 영상 복호화 장치는, 블록모드 타입 판단부에 의해 복원된 현재블록의 모드타입이 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 NCI 블록으로 처리하며, 현재블록에 대한 복호화를 종료하는 복호화 생략부를 더 포함할 수 있다.
또한, 영상 복호화 장치는, 블록모드 타입 판단부에 의해 복원된 현재블록의 모드타입이 인터인 경우, 현재블록에 대한 인터 예측을 실행하여 부호화하는 인터 부호화부; 및 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 복호화하는 NCI 블록 확장 인트라 복호화부를 더 포함할 수도 있다.
이 경우, NCI 블록 확장 인트라 복호화부는, 비트스트림으로부터 NCI 블록의 잔여계수 정보를 수신하며, 수신된 잔여계수 정보를 이용하여 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 NCI 블록을 복원할 수 있다.
영상 복호화 장치는, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록에 대한 복호화를 종료하는 것이 바람직하다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 복호화 장치는, 현재블록에 대한 블록모드를 복호화하는 블록모드 타입 판단부; 블록모드 타입 판단부에 의해 복원된 현재블록의 모드타입이 인터인 경우, 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 현재블록을 복원하는 인터 부호화부; 및 복원된 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부를 포함하는 것을 특징으로 한다.
여기서, NCI 블록 확장 인트라 복호화부는, 비트스트림으로부터 NCI 블록의 잔여계수 정보를 수신하며, 수신된 잔여계수 정보를 이용하여 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 NCI블록을 복원할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 부호화 방법은, 현재블록에 대한 블록모드를 결정하는 단계; 블록모드 결정단계에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 단계; 및 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계를 포함하는 것을 특징으로 한다.
또한, 영상 부호화 방법은, 블록모드 결정부에 의해 결정된 현재블록의 모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 NCI 블록으로 처리하며, 현재블록에 대한 부호화를 종료하는 단계를 더 포함할 수 있다.
또한, 영상 부호화 방법은, 블록모드 결정단계에 의해 결정된 현재블록의 모드가 인터인 경우, 현재블록에 대한 인터 예측을 실행하여 부호화하는 단계; 및 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 단계를 더 포함할 수도 있다.
확장된 인트라 예측 실행단계는, 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정할 수 있다.
바람직하게는, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록에 대한 부호화를 종료할 수 있다.
또한, 영상 부호화 방법은, 블록모드 결정단계에 의해 결정된 블록모드의 타입정보를 비트화하여 전송하는 단계를 더 포함할 수 있다.
이 경우, 블록모드 결정단계는, 현재블록의 모드에 대하여 SAD(Sum of Absolute Value), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference), 라그랑지안 함수(Lagrangian Function) 중의 적어도 하나를 이용하여 비용을 계산하고, 계산된 비용이 가장 적은 모드를 블록모드로 결정할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 부호화 방법은, 현재블록에 대한 블록모드를 결정하는 단계; 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계; 및 블록모드 결정단계에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 단계를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 영상 부호화 방법은, 현재블록에 대한 블록모드를 결정하는 단계; 블록모드 결정단계에 의해 결정된 현재블록의 모드가 인터인 경우, 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 현재블록을 복원하는 단계; 및 복원된 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 단계를 포함하는 것을 특징으로 한다.
여기서, 확장된 인트라 예측 실행단계는, 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정하는 것이 바람직하다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 영상 복호화 방법은, 수신된 비트스트림으로부터 현재블록의 블록모드 타입을 복호화하는 단계; 블록모드 타입 복호화단계에 의해 복원된 현재블록의 블록모드 타입이 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 복호화하는 단계; 및 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계를 포함하는 것을 특징으로 한다.
영상 복호화 방법은, 블록모드 타입 복호화단계에 의해 복원된 현재블록의 모드타입이 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 NCI 블록으로 처리하며, 현재블록에 대한 복호화를 종료하는 단계를 더 포함할 수 있다.
또한, 영상 복호화 방법은, 블록모드 타입 복호화단계에 의해 복원된 현재블록의 모드타입이 인터인 경우, 현재블록에 대한 인터 예측을 실행하여 복호화하는 단계; 및 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 복호화하는 단계를 더 포함할 수도 있다.
확장된 인트라 예측 실행단계는, 비트스트림으로부터 NCI 블록의 잔여계수 정보를 수신하며, 수신된 잔여계수 정보를 이용하여 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 NCI 블록을 복원할 수 있다.
영상 복호화 방법은, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록에 대한 복호화를 종료할 수 있다.
전술한 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 영상 복호화 방법은, 수신된 비트스트림으로부터 현재블록의 블록모드 타입을 복호화하는 단계; 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계; 및 블록모드 타입 복호화단계에 의해 복원된 현재블록의 블록모드 타입이 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 인트라 예측을 실행하여 복호화하는 단계를 포함하는 것을 특징으로 한다.
전술한 목적을 달성하기 위한 본 발명의 또 다른 실시예에 따른 영상 복호화방법은, 현재블록에 대한 블록모드를 복호화하는 단계; 블록모드 타입 판단부에 의해 복원된 현재블록의 모드타입이 인터인 경우, 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 현재블록을 복원하는 단계; 및 복원된 현재블록의 주변블록에 NCI 블록이 존재하면 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 단계를 포함하는 것을 특징으로 한다.
확장된 인트라 예측 실행단계는, 비트스트림으로부터 NCI 블록의 잔여계수 정보를 수신하며, 수신된 잔여계수 정보를 이용하여 현재블록의 상단, 하단, 좌측, 우측, 우측상단을 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 NCI블록을 복원할 수 있다.
본 발명의 실시예에 따르면, 현재블록을 차후에 부호화하거나 복호화하는 것이 효율적인 것으로 판단된 경우에는 주변블록을 먼저 부호화하거나 복호화하고, 현재블록에 대한 부호화 또는 복호화 시에 보다 많은 인접 픽셀을 이용한 인트라 예측을 수행함으로써 예측 신호를 원본 신호와 보다 유사하게 하여 압축 효율 및 복호 효율을 향상시킬 수 있게 된다.
도 1은 H.264 표준에 따른 일반적인 9가지 4x4 인트라 예측모드를 나타낸 도면이다.
도 2는 H.264 표준에 따른 일반적인 4가지 16x16 인트라 예측모드를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다.
도 4는 도 3의 영상 부호화 장치에 의한 영상 부호화 방법의 일 실시예를 나타낸 흐름도이다.
도 5의 (a)는 인트라 4x4 예측에서 사용되는 픽셀들을 나타내며, (b), (c) 및 (d)는 각각 본 발명의 확장된 인트라 예측에서 사용될 수 있는 픽셀들의 예를 나타낸 도면이다.
도 6은 본 발명의 확장된 인트라 예측 시, 사용될 수 있는 양방향 예측 및 DC 예측의 예를 나타낸 도면이다.
도 7의 (a)는 현재블록의 주변블록 중 상단 블록이 NCI 블록인 경우의 예를 나타낸 도면이며, (b)는 현재블록이 인터인 경우에 상단 블록의 NCI 블록에 대해 확장된 인트라 예측을 한 경우의 예를 나타낸 도면이고, (c)는 현재블록이 인트라인 경우에 상단 블록의 NCI 블록에 대해 기존의 인트라 예측을 한 경우의 예를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다.
도 9은 도 8의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 3은 본 발명의 일 실시예에 따른 영상 부호화 장치를 개략적으로 도시한 도면이다. 도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치(300)는 블록모드 결정부(310), 블록모드 타입 전송부(320), NCI(Non-coded Intra) 블록 인트라 부호화부(330), 현재블록 인트라 부호화부(340), 부호화 생략부(350), 인터 부호화부(360) 및 NCI 블록 확장 인트라 부호화부(370)를 포함한다.
블록모드 결정부(310)는 현재블록에 대한 블록모드를 결정한다. 즉, 블록모드 결정부(310)는 다수의 후보 블록 모드에 대하여 율-왜곡 최적화 방식(Rate-Distortion Optimization: RDO) 등과 같은 비용함수를 이용하여 다수의 블록 모드 중에서 특정 블록 모드를 최적 블록 모드로서 결정한다. 이 경우, 블록모드 결정부(310)는, 현재블록의 모드마다 SAD(Sum of Absolute Value), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference), 라그랑지안 함수(Lagrangian Function) 중의 적어도 하나를 이용하여 비용을 계산하고, 계산된 비용이 가장 적은 모드를 블록모드로 결정할 수 있다. 여기서, SAD는 각 4x4 블록 예측오차(잔차신호) 값의 절대치를 취하여 그 값들을 합한 값이며, SATD는 각 4x4 블록의 예측오차(잔차신호) 값에 Hadamard Transform을 적용하여 생성된 계수들(Coefficients)의 절대치를 취하여 더한 값이다. 또한, SSD는 각 4x4 블록 예측 샘플의 예측오차(잔차신호) 값을 제곱하여 더한 값이고, MAD는 각 4x4 블록 예측 샘플의 예측오차(잔차신호) 값에 절대치를 취하여 평균을 구한 값이다. 또한, 라그랑지안 함수는 라그랑지안 상수에 비트스트림(Bitstream)의 길이 정보를 포함하여 만들어진 비용 함수이다.
블록모드 타입 전송부(320)는 블록모드 결정부(310)에 의해 결정된 블록모드의 타입정보를 비트스트림으로 부호화하여 복호기(800: 도 8 참조)(이에 대해서는 후술한다)로 전송한다.
NCI 블록 인트라 부호화부(330)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하는지를 판단한다. 만일, 현재블록의 주변블록에 NCI 블록이 존재하면, NCI 블록 인트라 부호화부(330)는 주변블록에 존재하는 NCI 블록에 대하여 기존의 H.264 표준에 따른 인트라 예측을 이용하여 잔차 신호를 생성하고, 변환 및 양자화 과정을 거쳐 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하며, 해당 NCI 블록을 복원한다. 여기서, NCI 블록은 잔여 계수 정보를 부호화하지 않은 블록을 말한다.
또한, 현재블록 인트라 부호화부(340)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 현재블록에 대하여 기존의 H.264 표준에 따른 인트라 예측을 이용하여 잔차 신호를 생성하고, 변환 및 양자화 과정을 거쳐 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하며, 해당 현재블록을 복원한다.
여기서, 도 3에는 현재블록 인트라 부호화부(340)가 NCI 블록 인트라 부호화부(330)의 실행 후에 현재블록에 대한 복원을 실행하는 것으로 도시하였으나, 이에 한정되는 것은 아니며, 현재블록 인트라 부호화부(340)는 NCI 블록 인트라 부호화부(330)와 동시에 실행되거나 NCI 블록 인트라 부호화부(330)에 선행하여 실행될 수도 있다.
NCI 블록 인트라 부호화부(330) 및 현재블록 인트라 부호화부(340)에 의해 NCI 블록 및 현재블록이 복원되면, 해당 현재블록에 대한 부호화가 종료하며 다음 블록으로 이동한다.
부호화 생략부(350)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 잔여 계수 정보를 부호화하지 않는 NCI 블록으로 처리하며, 현재블록에 대한 부호화를 종료하고 다음 블록으로 이동한다. 이때, NCI 블록으로 처리된 현재블록은 잔여 계수 정보가 현재는 부호화되지 않지만, 미래에 주변블록이 부호화될 때 같이 부호화될 수 있다.
블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인터인 경우, 인터 부호화부(360)는 현재블록에 대한 모션벡터 정보와 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하고, 현재블록을 복원한다. 또한, 인터 부호화부(360)는 현재블록의 주변블록 중 NCI 블록이 존재하는지의 여부를 판단한다.
현재블록의 주변블록에 NCI 블록이 존재하는 경우, NCI 블록 확장 인트라 부호화부(370)는 현재블록의 주변블록에 존재하는 해당 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 원본 픽셀과 좀 더 유사하도록 픽셀을 예측한다. 이때, 전술한 바와 같이 블록모드가 인트라이고 주변블록에 NCI 블록이 존재하지 않아 잔여 계수 정보가 부호화되지 않고 NCI 블록으로 처리된 블록은, 현재블록의 블록모드가 인터인 경우에 확장된 인트라 예측에 의해 부호화 및 복원된다. 즉, NCI 블록 확장 인트라 부호화부(370)는 인터 부호화부(360)에 의해 복원된 현재블록의 픽셀과 주변 인트라 블록의 이미 복원된 픽셀들을 이용하여 다양한 방향성 예측, 양방향 예측 및 보간 필터 등을 이용하여 원본 픽셀과 유사한 픽셀을 생성한다. 또한, NCI 블록 확장 인트라 부호화부(370)는 확장된 인트라 예측을 이용하여 예측된 픽셀을 이용하여 잔차 신호를 생성하고, 변환 및 양자화 과정을 거쳐 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하며, 해당 NCI 블록을 복원한다. 해당 NCI 블록이 복원되면, 현재블록에 대한 부호화를 종료하며 다음 블록으로 이동한다.
현재블록의 블록모드가 인터이며 현재블록의 주변블록에 NCI 블록이 존재하지 않을 경우, 인터 부호화부(360)는 현재블록에 대한 인터 예측을 실행한 후, 현재블록에 대한 부호화를 종료하고 다음 블록으로 이동한다.
도 4는 도 3의 영상 부호화 장치에 의한 영상 부호화 방법의 일 실시예를 나타낸 흐름도이다. 도 4를 참조하여 본 발명의 실시예에 따른 영상 부호화 장치의 구성 및 동작을 상세하게 설명한다.
블록모드 결정부(310)는 다수의 후보 블록 모드에 대하여 율-왜곡 최적화 방식(Rate-Distortion Optimization: RDO) 등과 같은 비용함수를 이용하여 다수의 블록 모드 중에서 특정 블록 모드를 최적 블록 모드로서 결정한다(S401). 이 경우, 블록모드 결정부는, 현재블록의 모드마다 SAD, SATD, SSD, MAD, 라그랑지안 함수 중의 적어도 하나를 이용하여 비용을 계산하고, 계산된 비용이 가장 적은 모드를 블록모드로 결정할 수 있다.
블록모드 타입 전송부(320)는 블록모드 결정부(310)에 의해 율-왜곡 최적화 방식 등과 같은 비용함수에 기초하여 결정된 최적의 블록모드 타입정보만을 비트스트림으로 부호화하여 복호기(800)로 전송한다(S403). 이때, 블록모드 타입 전송부(320)에 의해 복호기(800)로 전송되는 블록모드 타입정보에는 현재블록 모드가 인트라인지 인터인지에 대한 모드정보와, 블록의 크기정보 등에 대한 정보를 포함한다.
NCI 블록 인트라 부호화부(330)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드를 판단하며(S405), 인트라인 경우 현재블록의 주변블록에 NCI 블록이 존재하는지를 판단한다(S407). 만일, 현재블록의 주변블록에 NCI 블록이 존재하면, NCI 블록 인트라 부호화부(330)는 주변블록에 존재하는 NCI 블록에 대하여 기존의 H.264 표준에 따른 인트라 예측을 이용하여 잔차 신호를 생성하고, 변환 및 양자화 과정을 거쳐 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하며, 해당 NCI 블록을 복원한다(S409).
또한, 현재블록 인트라 부호화부(340)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 현재블록에 대하여 기존의 H.264 표준에 따른 인트라 예측을 이용하여 잔차 신호를 생성하고, 변환 및 양자화 과정을 거쳐 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하며, 해당 현재블록을 복원한다(S411).
여기서, 주변블록에 존재하는 NCI 블록에 대해 인트라 예측을 실행하고 현재블록에 대해 인트라 예측을 실행하는 이유는, 현재블록이 인트라이고 주변블록이 NCI 블록일 경우에 현재까지 NCI 블록의 잔여 계수를 부호화하지 않아서 현재블록을 인트라 예측하기 위한 주변 픽셀들이 충분히 존재하지 않을 수 있기 때문이다. 이때, 현재블록을 먼저 부호화하고 이어서 주변블록의 NCI 블록을 부호화할 수도 있다. 이 경우는 현재블록이 기존의 인트라 예측 시 시용되는 주변 픽셀들 중 사용할 수 없는 픽셀이 존재하기 때문에 NCI 블록 인트라 부호화부(330)와 현재블록 인트라 부호화부(340)에서 변형된 인트라 예측을 사용할 수 있다.
NCI 블록 인트라 부호화부(330) 및 현재블록 인트라 부호화부(340)에 의해 NCI 블록 및 현재블록이 복원되면, 해당 현재블록에 대한 부호화가 종료하며 다음 블록으로 이동한다(S413).
부호화 생략부(350)는 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 잔여 계수 정보를 부호화하지 않는 NCI 블록으로 처리하며(S415), 현재블록에 대한 부호화를 종료하고 다음 블록으로 이동한다(S413). 이때, NCI 블록으로 처리된 현재블록은 잔여 계수 정보가 현재는 부호화되지 않지만, 미래에 주변블록이 부호화될 때 같이 부호화될 수 있다. 즉, 미래에 부호화될 주변블록이 인터 블록이면 아직 잔여 계수 정보가 부호화되지 않은 NCI 블록은 확장된 인트라 예측에 의해 부호화되며, 미래에 부호화될 주변블록이 인트라 블록으로 결정되면 이 블록이 부호화되기 직전에 아직 잔여 계수 정보가 부호화되지 않은 NCI 블록이 기존의 인트라 예측에 의해 잔여 계수 정보를 전송하고 복원될 수 있다.
단계 S405의 판단 결과 블록모드 결정부(310)에 의해 결정된 현재블록의 블록모드가 인터인 경우, 인터 부호화부(360)는 임의의 움직임 예측 방법을 이용하여 유도된 현재블록에 대한 모션벡터 정보와 그 모션벡터 정보를 이용하여 움직임을 보상하며, 움직임 보상에 의해 얻어진 블록과 원본 영상 블록 간의 차이인 잔차 신호를 변환 및 양자화하여 잔여 계수 정보를 얻고, 그 잔여 계수 정보를 비트스트림으로 부호화하여 복호기(800)로 전송하고, 현재블록을 복원한다(S417). 이어, 인터 부호화부(360)는 현재블록의 주변블록 중 NCI 블록이 존재하는지의 여부를 판단한다(S419).
현재블록의 주변블록에 NCI 블록이 존재하는 경우, NCI 블록 확장 인트라 부호화부(370)는 현재블록의 주변블록에 존재하는 해당 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 원본 픽셀과 좀 더 유사하도록 픽셀을 예측한다(S421). 이때, 전술한 바와 같이 블록모드가 인트라이고 주변블록에 NCI 블록이 존재하지 않아 잔여 계수 정보가 부호화되지 않고 NCI 블록으로 처리된 블록은, 현재블록의 블록모드가 인터인 경우에 확장된 인트라 예측에 의해 부호화 및 복원된다. 즉, NCI 블록 확장 인트라 부호화부(370)는 인터 부호화부(360)에 의해 복원된 현재블록의 픽셀과 주변 인트라 블록의 이미 복원된 픽셀들을 이용하여 다양한 방향성 예측, 양방향 예측 및 보간 필터 등을 이용하여 원본 픽셀과 유사한 픽셀을 생성한다.
도 5의 (a)는 인트라 4x4 예측에서 사용되는 픽셀들을 나타내며, (b), (c) 및 (d)는 각각 본 발명의 확장된 인트라 예측에서 사용될 수 있는 픽셀들의 예를 나타낸 도면이다. 도 5를 참조하여 본 발명의 실시예에서 사용하는 확장된 인트라 예측을 설명한다.
H.264의 인트라 4x4 예측에서 사용되는 픽셀들은 도 5(a)에 도시한 바와 같이 소문자 a 내지 p 까지의 16개의 현재블록의 픽셀들과, 대문자 A 내지 M 까지의 13개의 이전에 부호화된 주변블록의 픽셀들(인접 픽셀들)로 구분된다.
H.264 인트라 4x4 모드 예측을 위한 9가지 예측 모드를 이용하여 도 5의 (a)에 도시한 현재블록에 대한 인트라 예측을 수행하면, 이미 부호화된 A 내지 M의 픽셀 값을 이용하여 9개 방향의 예측을 수행하여 최적의 예측 방향으로 압축한다. 예를 들어, 도 1에 도시한 0번 예측 모드인 수직(Vertical) 방향의 예측 시, 첫 번째 열 a, e, i, m 픽셀은 수학식 1과 같이 예측된다.
[수학식 1]
Figure PCTKR2011001493-appb-I000001
그리고 도 1에 도시된 3번 예측 모드인 대각선 왼쪽(Diagonal down-left) 방향의 예측시, 첫 번째 열 a, e, i, m 픽셀은 수학식 2와 같이 예측된다.
[수학식 2]
Figure PCTKR2011001493-appb-I000002
그 외에 다른 예측 모드에 대해서도 유사한 방법으로 이미 압축된 인접 픽셀들의 픽셀 값을 이용해서 예측을 수행하여 잔차(Residual) 신호를 생성할 수 있다.
도 5의 (b)는 임의의 인트라 블록에서 좌측 및 상단뿐만 아니라 하단 블록이 이미 부호화가 되어 복원이 되었을 경우, 본 발명의 실시예에 따라 확장된 인트라 예측에 이용될 수 있는 인접 픽셀들을 나타낸 도면이다. 대문자 A 내지 R까지의 18개의 픽셀들은 이전에 압축된 주변 블록의 픽셀들(인접 픽셀들)이다. 이 픽셀들을 이용하여 기존의 방향성 예측뿐만 아니라, 보간 필터를 이용한 양방향 예측을 사용할 수 있다.
도 5의 (c)는 임의의 인트라 블록에서 우측 블록이 이미 부호화가 되어 복원이 되었을 경우, 본 발명의 실시예에 따라 확장된 인트라 예측에 이용될 수 있는 인접 픽셀들을 나타낸 도면이다. 대문자 A 내지 Q까지의 17개의 픽셀들은 이전에 압축된 주변 블록의 픽셀들(인접 픽셀들)이다. 이 픽셀들을 이용하여 기존의 방향성 예측뿐만 아니라, 보간 필터를 이용한 양방향 예측을 사용할 수 있다.
도 5의 (d)는 임의의 인트라 블록에서 우측과 하단 블록이 이미 부호화가 되어 복원이 되었을 경우, 본 발명의 실시예에 따라 확장된 인트라 예측에 이용될 수 있는 인접 픽셀들을 나타낸 도면이다. 대문자 A 내지 V까지의 22개의 픽셀들은 이전에 압축된 주변 블록의 픽셀들(인접 픽셀들)이다. 이 픽셀들을 이용하여 기존의 방향성 예측뿐만 아니라, 보간 필터를 이용한 양방향 예측을 사용할 수 있다.
도 6은 본 발명의 확장된 인트라 예측 시, 사용될 수 있는 양방향 예측 및 DC 예측의 예를 나타낸 도면이다.
도 6의 (a)와 (b)는 좌측 및 상단뿐만 아니라 본 발명에 의하여 하단 블록이 이미 부호화가 되어 복원이 되었을 경우에 수행될 수 있는 확장된 인트라 예측의 예를 나타낸다. 도 6의 (a)는 수직 양방향 예측을 사용하여 도 5의 (b)에 도시된 현재블록의 첫 번째 열 a, e, i, m 픽셀을 예측하는 것으로서, 수학식 3과 같이 예측될 수 있다.
[수학식 3]
Figure PCTKR2011001493-appb-I000003
또한, 도 6의 (b)에 도시한 예측 모드인 왼쪽 대각선 양방향의 예측 시, 첫 번째 행 a, b, c, d 픽셀은 수학식 4와 같이 예측될 수 있다.
[수학식 4]
Figure PCTKR2011001493-appb-I000004
본 발명의 실시예에 따른 확장된 인트라 예측 시, 수학식 3과 수학식 4는 하나의 예를 나타낸 것이며, 이 외에 하단에 복원된 픽셀들을 이용한 다양한 필터 계수를 이용한 예측 방법이 사용될 수 있다.
도 6의 (c)는 좌측 및 상단뿐만 아니라 우측 블록이 이미 부호화가 되어 복원이 되었을 경우의 본 발명의 실시예에 따른 확장된 인트라 예측의 예를 나타낸 도면이다. 이 경우에도 수학식 3과 유사하게 양방향의 픽셀을 이용하여 수평 양방향 예측할 수 있다.
도 6의 (d)는 하단과 우측 블록이 이미 부호화가 되어 복원이 되었을 경우의 본 발명의 실시예에 따른 확장된 인트라 예측의 예를 나타낸 도면이다. 이 경우는 앞선 양방향 예측뿐만 아니라 주변의 모든 픽셀들을 이용한 DC 예측을 이용하여 현재 픽셀들을 예측할 수 있다.
본 발명의 실시예에 따른 확장된 인트라 예측 시, 도 6의 예측들은 하나의 예를 나타낸 것일 뿐이며, 이 외에 다양한 양방향 예측 및 단방향 예측 등의 방법이 사용될 수 있다.
NCI 블록 확장 인트라 부호화부(370)는 전술한 바와 같이, 현재블록의 상단, 하단, 좌측, 우측, 우측 상단을 포함하는 주변블록들 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)과 같은 확장된 인트라 예측을 수행하며, 그 중 비용이 가장 작은 예측 모드를 결정한다. 이때, 비용함수로 SAD, SATD, SSD, MAD, 라그랑지안 함수 등이 이용될 수 있다.
임의의 픽셀을 예측할 때, 원본 픽셀 값과 가장 유사하게 예측하기 위해서는 두 개의 픽셀 사이에 위치한 픽셀을 예측하는 것이 최적의 방법이다. 하지만 기존의 인트라 예측에서는 블록의 부호화 순서 상, 현재 블록의 상단과 좌측의 인접 픽셀들만을 이용하여 현재블록 내의 픽셀들을 예측해야만 한다. 따라서, 이 경우에는 보간 필터 등을 이용할 수 없어 최적의 예측 픽셀을 생성하는 것이 어려웠다. 따라서, 본 발명의 실시예에서는 인트라 블록의 잔여 계수 정보의 부호화를 나중으로 미뤄서 인트라 블록의 하단에 위치한 블록이 “인터” 블록으로 부호화가 끝나고 복원이 되었을 경우, 미뤄둔 인트라 블록(NCI 블록)의 부호화를 수행한다. 이때, 이 NCI 블록은 상단과 좌측뿐만 아니라 이미 부호화된 주변 블록의 모든 픽셀들을 이용할 수 있기 때문에 보간 필터 등을 이용하여 최적의 예측 픽셀을 생성할 수 있다. 이때, 보간 필터뿐만 아니라, 하단의 인접 픽셀을 이용한 다양한 방향성 예측과 상단, 하단, 좌측, 우측의 픽셀 등을 이용한 평균치 예측 (DC 예측) 및 양방향 예측 등이 수행되어 원본과 좀 더 유사한 예측 픽셀을 생성할 수 있다. 이렇게 생성된 예측 픽셀을 이용하여 원본 신호와의 잔차 신호를 생성하여 변환 및 양자화를 거쳐 잔여 계수 정보를 생성하여 복호기(800)에 전송한다. 이 블록은 잔여 계수 정보를 전송하였기 때문에 더 이상 NCI 블록이 아니게 된다. 그리고 이 블록이 복원되고 부호화가 종료되어 다음 블록으로 이동된다.
현재블록의 블록모드가 인터이며 현재블록의 주변블록에 NCI 블록이 존재하지 않을 경우, 인터 부호화부(360)는 현재블록에 대한 인터 예측을 실행한 후, 현재블록에 대한 부호화를 종료하고 다음 블록으로 이동한다.
도 7은 본 발명의 실시예에 따른 우측과 하단 블록을 이용하여 확장된 인트라 예측을 사용할 수 있는 블록의 예를 나타낸 도면이다.
도 7의 (a)는 현재블록의 주변블록 중 상단 블록이 NCI 블록인 경우의 예를 나타낸다. 도 7의 (a)와 같은 경우, 상단의 NCI 블록은 모드 정보만 부호화한 상태이며 아직 잔여 계수를 부호화하지 않은 상태이기 때문에, 상단의 블록은 복원되지 않은 상태이다. 이 경우에 현재블록이 인트라 혹은 인터 블록으로 부호화됨에 따라 상단의 블록이 확장된 인트라 혹은 기존의 인트라 방법으로 부호화된다.
도 7의 (b)는 현재블록이 인터인 경우에 상단 블록의 NCI 블록에 대해 확장된 인트라 예측을 한 경우의 예를 나타낸다. 도 7의 (b)와 같이, 현재블록이 인터 블록으로 부호화된 경우에, 상단의 NCI 블록은 도 6의 (d)와 같이 인접한 모든 픽셀을 이용하여 확장된 인트라 예측을 사용할 수 있다.
도 7의 (c)는 현재블록이 인트라인 경우에 상단 블록의 NCI 블록에 대해 기존의 인트라 예측을 한 경우의 예를 나타낸다. 도 7의 (c)와 같이, 현재블록이 인트라 블록으로 결정된 경우, 상단의 NCI 블록이 현재블록 보다 먼저 기존의 인트라 예측을 이용하여 부호화하여 잔여 계수 정보를 복호기(800)에 전송하고 복원하며, 현재블록이 상단의 복원된 픽셀을 이용하여 기존의 인트라 예측을 수행할 수 있도록 할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 복호화 장치를 개략적으로 도시한 도면이다. 도 8을 참조하면, 본 발명의 실시예에 따른 영상 복호화 장치(800)는, 블록모드 타입 판단부(810), NCI 블록 인트라 복호화부(820), 현재블록 인트라 복호화부(830), 복호화 생략부(840), 인터 복호화부(850) 및 NCI 블록 확장 인트라 복호화부(860)를 포함한다.
블록모드 타입 판단부(810)는 영상 부호화 장치(300)로부터 비트스트림을 수신하며, 수신된 비트스트림으로부터 현재블록에 대한 블록모드 타입 정보를 수신하여 복호화하고, 현재블록이 인트라 모드인지 또는 인터 모드인지를 판단한다.
NCI 블록 인트라 복호화부(820)는 블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하는지를 판단한다. 만일, 현재블록의 주변블록에 NCI 블록이 존재하면, NCI 블록 인트라 복호화부(820)는 수신된 비트스트림으로부터 잔여 계수 정보를 복호화하여 역양자화 및 역변환을 통해 잔차 신호를 생성하며, 기존의 H.264 표준에 따른 인트라 예측을 이용하여 NCI 블록을 복원한다.
또한, 현재블록 인트라 복호화부(830)는 블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 수신된 비트스트림으로부터 현재블록의 잔여 계수 정보를 복호화하여 역양자화 및 역변환을 통해 잔차 신호를 생성하며, 기존의 H.264 표준에 따른 인트라 예측을 이용하여 현재블록을 복원한다.
여기서, 도 8에는 현재블록 인트라 복호화부(830)는 NCI 블록 인트라 복호화부(820)에 의해 NCI 블록이 복원된 후에 현재블록을 복원하는 것으로 도시하였으나, 이에 한정되는 것은 아니며, 현재블록 인트라 복호화부(830)는 NCI 블록 인트라 복호화부(820)와 동시에 실행되거나 NCI 블록 인트라 복호화부(820)에 선행하여 실행될 수도 있다.
NCI 블록 인트라 복호화부(820) 및 현재블록 인트라 복호화부(830)에 의해 NCI 블록 및 현재블록이 복원되면, 해당 현재블록에 대한 복호화가 종료하며 다음 블록으로 이동한다.
부호화 생략부(840)는 블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 잔여 계수 정보를 전송하지 않는 NCI 블록으로 처리하며, 현재블록에 대한 복호화를 종료하고 다음 블록으로 이동한다. 이때, NCI 블록으로 처리된 현재블록은 잔여 계수 정보가 현재는 복호화되지 않지만, 미래에 주변블록이 복호화될 때 같이 복호화될 수 있다.
블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인터인 경우, 인터 복호화부(850)는 수신된 비트스트림으로부터 모션벡터 정보와 잔여 계수 정보를 복호화하여 움직임 보상 과정과, 잔여 계수의 역양자화 및 역변환 과정을 통해 현재블록을 복원한다. 또한, 인터 복호화부(850)는 현재블록의 주변블록 중 NCI 블록이 존재하는지의 여부를 판단한다.
현재블록의 주변블록에 NCI 블록이 존재하는 경우, NCI 블록 확장 인트라 복호화부(860)는 비트스트림으로부터 해당 NCI 블록의 잔여 계수 정보를 수신하며, 수신된 잔여 계수 정보를 이용하여 역양자화 및 역변환을 통해 NCI 블록에 대한 잔차 신호를 생성한다. 또한, NCI 블록 확장 인트라 복호화부(860)는 본 발명의 실시예에 따른 확장된 인트라 예측을 이용하여 원본 픽셀과 좀 더 유사하도록 픽셀을 예측한다. 이때, 전술한 바와 같이 블록모드가 인트라이고 주변블록에 NCI 블록이 존재하지 않아 복호화되지 않고 NCI 블록으로 처리된 블록은, 현재블록의 블록모드가 인터인 경우에 확장된 인트라 예측을 이용하여 복호화된다. 즉, NCI 블록 확장 인트라 복호화부(860)는 인터 복호화부(850)에 의해 복원된 현재블록의 픽셀과 주변 인트라 블록의 이미 복원된 픽셀들을 이용하여 다양한 방향성 예측, 양방향 예측 및 보간 필터 등을 이용하여 원본 픽셀과 유사한 픽셀을 생성한다. 또한, NCI 블록 확장 인트라 복호화부(860)는 생성된 NCI 블록의 잔차 신호와 생성된 픽셀들의 픽셀 값을 더하여 NCI 블록을 복원하며, 복호화를 종료하고 다음 블록으로 이동한다.
현재블록의 블록모드가 인터이며 현재블록의 주변블록에 NCI 블록이 존재하지 않을 경우, 인터 복호화부(850)는 현재블록에 대한 인터 예측을 실행한 후, 현재블록에 대한 복호화를 종료하고 다음 블록으로 이동한다.
도 9는 도 8의 영상 복호화 장치에 의한 영상 복호화 방법을 나타낸 흐름도이다. 도 9를 참조하여 본 발명의 실시예에 따른 영상 복호화 장치의 구성 및 동작을 상세하게 설명한다.
블록모드 타입 판단부(810)는 영상 부호화 장치(300)로부터 비트스트림을 수신하며, 수신된 비트스트림으로부터 현재블록에 대한 블록모드 타입 정보를 수신하여 복호화하고, 현재블록이 인트라 모드인지 또는 인터 모드인지를 판단한다(S901). 수신된 비트스트림에는 전술한 바와 같이, 현재블록의 블록모드가 인트라 모드인지 또는 인터 모드인지에 대한 정보와 블록의 크기에 대한 정보가 포함되어 있다.
NCI 블록 인트라 복호화부(820)는 블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인트라인 경우(S903), 현재블록의 주변블록에 NCI 블록이 존재하는지를 판단한다(S905). 만일, 현재블록의 주변블록에 NCI 블록이 존재하면, NCI 블록 인트라 복호화부(820)는 비트스트림으로부터 잔여 계수 정보를 복호화하여 역양자화 및 역변환을 통해 잔차 신호를 생성하며, 기존의 H.264 표준에 따른 인트라 예측을 이용하여 해당 NCI 블록을 복원한다(S907).
또한, 현재블록 인트라 복호화부(830)는 블록모드 타입 판단부(810)에 의해 결정된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하면 비트스트림으로부터 현재블록의 잔여 계수 정보를 복호화하여 역양자화 및 역변환을 통해 잔차 신호를 생성하며, 기존의 H.264 표준에 따른 인트라 예측을 이용하여 현재블록을 복원한다(S909).
이때, 현재블록이 먼저 복호화되고 이어서 주변블록의 NCI 블록을 복호화할 수도 있다. 이 경우는 현재블록이 기존의 인트라 예측 시 시용되는 주변 픽셀들 중 사용할 수 없는 픽셀이 존재하기 때문에 NCI 블록 인트라 복호화부(820)와 현재블록 인트라 복호화부(830)에서 변형된 인트라 예측이 사용될 수 있다.
NCI 블록 인트라 복호화부(820) 및 현재블록 인트라 복호화부(830)에 의해 NCI 블록 및 현재블록이 복원되면, 해당 현재블록에 대한 복호화가 종료하며 다음 블록으로 이동한다(S911).
복호화 생략부(840)는 블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인트라인 경우, 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 현재블록을 잔여 계수 정보를 전송하지 않는 NCI 블록으로 처리하며, 현재블록에 대한 부호화를 종료하고 다음 블록으로 이동한다(S913). 이때, NCI 블록으로 처리된 현재블록은 잔여 계수 정보가 현재는 복호화되지 않지만, 미래에 주변블록이 복호화될 때 같이 복호화될 수 있다. 즉, 미래에 부호화될 주변블록이 인터 블록이면 아직 잔여 계수 정보가 복호화되지 않은 NCI 블록은 확장된 인트라 예측에 의해 복호화되며, 미래에 복호화될 주변블록이 인트라 블록으로 결정되면 이 블록이 복호화되기 직전에 아직 잔여 계수 정보가 복호화되지 않은 NCI 블록을 기존의 인트라 예측을 이용하여 복원할 수 있다.
블록모드 타입 판단부(810)에 의해 판단된 현재블록의 블록모드가 인터인 경우, 인터 복호화부(850)는 비트스트림으로부터 모션벡터 정보를 복호화하여 움직임 보상 과정을 수행한다. 또한, 인터 복호화부(850)는 비트스트림으로부터 현재블록의 잔여 계수 정보를 복호화하여 역양자화 및 역변환 과정을 거쳐 잔차 신호를 생성하고, 움직임 보상 블록과 더하여 현재블록을 복원한다(S915). 또한, 인터 복호화부(850)는 현재블록의 주변블록 중 NCI 블록이 존재하는지의 여부를 판단한다(S917).
현재블록의 주변블록에 NCI 블록이 존재하는 경우, NCI 블록 확장 인트라 복호화부(860)는 현재블록의 주변블록에 존재하는 해당 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 NCI 블록을 복원한다(S919). 이를 위해, NCI 블록 확장 인트라 복호화부(860)는 비트스트림으로부터 해당 NCI 블록에 대한 잔여 계수 정보를 수신하고 역양자화 및 역변환을 거쳐 잔차 신호를 생성한다. 또한, NCI 블록 확장 인트라 복호화부(860)는 NCI 블록에 대해 확장된 인트라 예측을 실행하여 픽셀 값을 예측한다. 이때, NCI 블록 확장 인트라 복호화부(860)에 의해 실행되는 확장된 인트라 예측은 도 3의 NCI 블록 확장 인트라 부호화부(370)에 의해 실행되는 확장된 인트라 예측과 동일하므로 그에 대한 상세한 설명은 생략한다.
NCI 블록 확장 인트라 복호화부(860)는 확장된 인트라 예측에 의해 생성된 예측 픽셀과 잔차 신호를 더하여 NCI 블록을 복원하고 해당 현재블록에 대한 복호화를 종료하여 다음 블록으로 이동한다.
현재블록의 블록모드가 인터이며 현재블록의 주변블록에 NCI 블록이 존재하지 않을 경우, 인터 복호화부(850)는 현재블록에 대한 인터 예측을 실행하여 복원한 후, 현재블록에 대한 복호화를 종료하고 다음 블록으로 이동한다.
이상에서, 본 발명의 실시예에 따른 움직임 벡터 부호화 장치 및 움직임 벡터 복호화 장치는 각각이 독립적인 장치로 구현된 것으로 설명하였지만, 움직임 벡터 부호화 장치 및 움직임 벡터 복호화 장치는 하나의 영상 부/복호화 장치 내에 구현될 수도 있다. 이와 같은 영상 부/복호화 장치는 영상신호를 부호화하여 다른 영상처리 장치로 전송할 수 있을 뿐만 아니라, 다른 영상처리 장치로부터 부호화된 비트스트림을 수신하여 영상신호를 복원하여 재생하는 것이 가능하다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는 동영상을 압축 및 복호화하는 영상 처리 분야에 적용되어, 현재블록을 차후에 부호화하거나 복호화하는 것이 효율적인 것으로 판단된 경우에는 주변블록을 먼저 부호화하거나 복호화하고, 현재블록에 대한 부호화 또는 복호화 시에 보다 많은 인접 픽셀을 이용한 인트라 예측을 수행함으로써 예측 신호를 원본 신호와 보다 유사하게 하여 압축 효율 및 복호 효율을 향상시킬 수 있는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2010년 03월 05일 한국에 출원한 특허출원번호 제 10-2010-0019996 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (37)

  1. 영상 부/복호화 장치에 있어서,
    부호화 대상 현재블록의 블록모드가 인트라인 경우 상기 부호화 대상 현재블록의 주변블록에 NCI(Non-Coded Intra) 블록이 존재하지 않으면 상기 부호화 대상 현재블록에 대한 부호화를 생략하며, 상기 부호화 대상 현재블록의 블록모드가 인터인 경우 상기 부호화 대상 현재블록의 주변블록에 NCI 블록이 존재하면 상기 부호화 대상 현재블록에 대하여 인터 예측 부호화하고, 해당 NCI 블록에 대하여 확장된 인트라 예측을 실행하는 영상 부호화부; 및
    상기 영상 부호화부로부터 비트스트림을 수신하여 복호화 대상 현재블록의 모드 타입을 판단하며, 상기 복호화 대상 현재블록의 블록모드가 인트라인 경우 상기 복호화 대상 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 상기 복호화 대상 현재블록에 대한 복호화를 생략하고, 상기 복호화 대상 현재블록의 블록모드가 인터인 경우 상기 복호화 대상 현재블록의 주변블록에 NCI 블록이 존재하면 상기 복호화 대상 현재블록에 대하여 인터 예측 복호화하고, 해당 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 복호화하는 영상 복호화부
    를 포함하는 것을 특징으로 하는 영상 부/복호화 장치.
  2. 영상 부호화 장치에 있어서,
    현재블록에 대한 블록모드를 결정하는 블록모드 결정부;
    상기 블록모드 결정부에 의해 결정된 상기 현재블록의 블록모드가 인트라인 경우, 상기 현재블록의 주변블록에 NCI(Non-Coded Intra) 블록이 존재하면 상기 주변블록에 존재하는 상기 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 NCI 블록 인트라 부호화부; 및
    상기 블록모드 결정부에 의해 결정된 상기 현재블록의 블록모드가 인트라인 경우, 상기 현재블록의 주변블록에 상기 NCI 블록이 존재하면 상기 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 현재블록 인트라 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  3. 제 2항에 있어서,
    상기 블록모드 결정부에 의해 결정된 상기 현재블록의 모드가 인트라인 경우, 상기 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 상기 현재블록을 상기 NCI 블록으로 처리하며, 상기 현재블록에 대한 부호화를 종료하는 부호화 생략부
    를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  4. 제 2항에 있어서,
    상기 블록모드 결정부에 의해 결정된 상기 현재블록의 모드가 인터인 경우, 상기 현재블록에 대한 인터 예측을 실행하여 부호화하는 인터 부호화부; 및
    상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 현재블록의 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부
    를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  5. 제 4항에 있어서, 상기 NCI 블록 확장 인트라 부호화부는,
    상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  6. 제 4항에 있어서,
    상기 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 상기 현재블록에 대한 부호화를 종료하는 것을 특징으로 하는 영상 부호화 장치.
  7. 제 2항에 있어서,
    상기 블록모드 결정부에 의해 결정된 블록모드의 타입정보를 비트화하여 전송하는 블록모드 타입 전송부
    를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  8. 제 2항에 있어서, 상기 블록모드 결정부는,
    상기 현재블록의 모드에 대하여 SAD(Sum of Absolute Value), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference), 라그랑지안 함수(Lagrangian Function) 중의 적어도 하나를 이용하여 비용을 계산하는 것을 특징으로 하는 영상 부호화 장치.
  9. 제 2항 또는 제 8항에 있어서, 상기 블록모드 결정부는,
    상기 현재블록의 모드마다 비용함수를 이용하여 비용을 계산하고, 상기 계산된 비용이 가장 적은 모드를 블록모드로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  10. 영상 부호화 장치에 있어서,
    현재블록에 대한 블록모드를 결정하는 블록모드 결정부;
    상기 블록모드 결정부에 의해 결정된 상기 현재블록의 모드가 인터인 경우, 상기 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 상기 현재블록을 복원하는 인터 부호화부; 및
    복원된 상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  11. 제 10항에 있어서, 상기 NCI 블록 확장 인트라 부호화부는,
    상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  12. 영상 복호화 장치에 있어서,
    수신된 비트스트림으로부터 현재블록의 블록모드 타입을 복호화하는 블록모드 타입 판단부;
    상기 블록모드 타입 판단부에 의해 복원된 상기 현재블록의 블록모드 타입이 인트라인 경우, 상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 주변블록에 존재하는 상기 NCI 블록에 대하여 인트라 예측을 실행하여 복호화하는 NCI 블록 인트라 복호화부; 및
    상기 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 현재블록 인트라 부호화부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  13. 제 12항에 있어서,
    상기 블록모드 타입 판단부에 의해 복원된 상기 현재블록의 모드타입이 인트라인 경우, 상기 현재블록의 주변블록에 상기 NCI 블록이 존재하지 않으면 상기 현재블록을 상기 NCI 블록으로 처리하며, 상기 현재블록에 대한 복호화를 종료하는 복호화 생략부
    를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
  14. 제 12항에 있어서,
    상기 블록모드 타입 판단부에 의해 복원된 상기 현재블록의 모드타입이 인터인 경우, 상기 현재블록에 대한 인터 예측을 실행하여 복호화하는 인터 복호화부; 및
    상기 현재블록의 주변블록에 상기 NCI 블록이 존재하면 상기 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 복호화하는 NCI 블록 확장 인트라 복호화부
    를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
  15. 제 14항에 있어서, 상기 NCI 블록 확장 인트라 복호화부는,
    상기 비트스트림으로부터 상기 NCI 블록의 잔여계수 정보를 수신하며, 수신된 상기 잔여계수 정보를 이용하여 상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 상기 NCI 블록을 복원하는 것을 특징으로 하는 영상 복호화 장치.
  16. 제 14항에 있어서,
    상기 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 상기 현재블록에 대한 복호화를 종료하는 것을 특징으로 하는 영상 복호화 장치.
  17. 영상 복호화 장치에 있어서,
    현재블록에 대한 블록모드를 복호화하는 블록모드 타입 판단부;
    상기 블록모드 타입 판단부에 의해 복원된 상기 현재블록의 모드타입이 인터인 경우, 상기 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 상기 현재블록을 복원하는 인터 부호화부; 및
    복원된 상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 NCI 블록 확장 인트라 부호화부
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  18. 제 17항에 있어서, 상기 NCI 블록 확장 인트라 복호화부는,
    상기 비트스트림으로부터 상기 NCI 블록의 잔여계수 정보를 수신하며, 수신된 상기 잔여계수 정보를 이용하여 상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 상기 NCI블록을 복원하는 것을 특징으로 하는 영상 복호화 장치.
  19. 영상 부/복호화 방법에 있어서,
    부호화 대상 현재블록의 블록모드가 인트라인 경우 상기 부호화 대상 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 상기 부호화 대상 현재블록을 NCI 블록으로 처리하고 부호화를 생략하는 단계;
    상기 부호화 대상 현재블록의 블록모드가 인터인 경우 상기 부호화 대상 현재블록의 주변블록에 NCI 블록이 존재하면 상기 부호화 대상 현재블록에 대하여 인터 예측 부호화하고, 해당 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 단계;
    영상 부호화부로부터 비트스트림을 수신하여 복호화 대상 현재블록의 모드 타입을 판단하는 단계;
    상기 복호화 대상 현재블록의 블록모드가 인트라인 경우 상기 복호화 대상 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 상기 복호화 대상 현재블록을 NCI 블록으로 처리하고 복호화를 생략하는 단계; 및
    상기 복호화 대상 현재블록의 블록모드가 인터인 경우 상기 복호화 대상 현재블록의 주변블록에 NCI 블록이 존재하면 상기 복호화 대상 현재블록에 대하여 인터 예측 복호화하고, 해당 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 복호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부/복호화 방법.
  20. 영상 부호화 방법에 있어서,
    현재블록에 대한 블록모드를 결정하는 단계;
    상기 블록모드 결정단계에 의해 결정된 상기 현재블록의 블록모드가 인트라인 경우, 상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 주변블록에 존재하는 상기 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 단계; 및
    상기 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  21. 제 20항에 있어서,
    상기 블록모드 결정부에 의해 결정된 상기 현재블록의 모드가 인트라인 경우, 상기 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 상기 현재블록을 상기 NCI 블록으로 처리하며, 상기 현재블록에 대한 부호화를 종료하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  22. 제 20항에 있어서,
    상기 블록모드 결정단계에 의해 결정된 상기 현재블록의 모드가 인터인 경우, 상기 현재블록에 대한 인터 예측을 실행하여 부호화하는 단계; 및
    상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  23. 제 22항에 있어서, 상기 확장된 인트라 예측 실행단계는,
    상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  24. 제 22항에 있어서,
    상기 현재블록의 주변블록에 상기 NCI 블록이 존재하지 않으면 상기 현재블록에 대한 부호화를 종료하는 것을 특징으로 하는 영상 부호화 방법.
  25. 제 20항에 있어서,
    상기 블록모드 결정단계에 의해 결정된 블록모드의 타입정보를 비트화하여 전송하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  26. 제 20항에 있어서, 상기 블록모드 결정단계는,
    상기 현재블록의 모드에 대하여 SAD(Sum of Absolute Value), SATD(Sum of Absolute Transformed Difference), SSD(Sum of Squared Difference), MAD(Mean of Absolute Difference), 라그랑지안 함수(Lagrangian Function) 중의 적어도 하나를 이용하여 비용을 계산하고, 계산된 상기 비용이 가장 적은 모드를 블록모드로 결정하는 것을 특징으로 하는 영상 부호화 장치.
  27. 영상 부호화 방법에 있어서,
    현재블록에 대한 블록모드를 결정하는 단계;
    상기 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계; 및
    상기 블록모드 결정단계에 의해 결정된 상기 현재블록의 블록모드가 인트라인 경우, 상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 주변블록에 존재하는 상기 NCI 블록에 대하여 인트라 예측을 실행하여 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  28. 영상 부호화 방법에 있어서,
    현재블록에 대한 블록모드를 결정하는 단계;
    상기 블록모드 결정단계에 의해 결정된 상기 현재블록의 모드가 인터인 경우, 상기 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 상기 현재블록을 복원하는 단계; 및
    복원된 상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  29. 제 28항에 있어서, 상기 확장된 인트라 예측 실행단계는,
    상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록 중 이미 부호화된 픽셀들을 이용하여 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측)을 수행하며, 그 중 비용이 가장 적은 예측방법을 예측모드로 결정하는 것을 특징으로 하는 영상 부호화 방법.
  30. 영상 복호화 방법에 있어서,
    수신된 비트스트림으로부터 현재블록의 블록모드 타입을 복호화하는 단계;
    상기 블록모드 타입 복호화단계에 의해 복원된 상기 현재블록의 블록모드 타입이 인트라인 경우, 상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 주변블록에 존재하는 상기 NCI 블록에 대하여 인트라 예측을 실행하여 복호화하는 단계; 및
    상기 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  31. 제 30항에 있어서,
    상기 블록모드 타입 복호화단계에 의해 복원된 상기 현재블록의 모드타입이 인트라인 경우, 상기 현재블록의 주변블록에 상기 NCI 블록이 존재하지 않으면 상기 현재블록을 상기 NCI 블록으로 처리하며, 상기 현재블록에 대한 복호화를 종료하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  32. 제 30항에 있어서,
    상기 블록모드 타입 복호화단계에 의해 복원된 상기 현재블록의 모드타입이 인터인 경우, 상기 현재블록에 대한 인터 예측을 실행하여 복호화하는 단계; 및
    상기 현재블록의 주변블록에 상기 NCI 블록이 존재하면 상기 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 복호화하는 단계
    를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  33. 제 32항에 있어서, 상기 확장된 인트라 예측 실행단계는,
    상기 비트스트림으로부터 상기 NCI 블록의 잔여계수 정보를 수신하며, 수신된 상기 잔여계수 정보를 이용하여 상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 상기 NCI 블록을 복원하는 것을 특징으로 하는 영상 복호화 방법.
  34. 제 32항에 있어서,
    상기 현재블록의 주변블록에 NCI 블록이 존재하지 않으면 상기 현재블록에 대한 복호화를 종료하는 것을 특징으로 하는 영상 복호화 방법.
  35. 영상 복호화 방법에 있어서,
    수신된 비트스트림으로부터 현재블록의 블록모드 타입을 복호화하는 단계;
    상기 현재블록에 대하여 인트라 예측을 실행하여 부호화하는 단계; 및
    상기 블록모드 타입 복호화단계에 의해 복원된 상기 현재블록의 블록모드 타입이 인트라인 경우, 상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 주변블록에 존재하는 상기 NCI 블록에 대하여 인트라 예측을 실행하여 복호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  36. 영상 복호화 방법에 있어서,
    현재블록에 대한 블록모드를 복호화하는 단계;
    상기 블록모드 타입 판단부에 의해 복원된 상기 현재블록의 모드타입이 인터인 경우, 상기 현재블록에 대한 움직임 예측 및 움직임 보상을 이용하여 얻어진 잔차 신호에 기초하여 상기 현재블록을 복원하는 단계; 및
    복원된 상기 현재블록의 주변블록에 NCI 블록이 존재하면 상기 주변블록에 존재하는 NCI 블록에 대하여 확장된 인트라 예측을 실행하여 부호화하는 단계
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  37. 제 36항에 있어서, 상기 확장된 인트라 예측 실행단계는,
    상기 비트스트림으로부터 상기 NCI 블록의 잔여계수 정보를 수신하며, 수신된 상기 잔여계수 정보를 이용하여 상기 현재블록의 상단, 하단, 좌측, 우측, 우측상단 중 적어도 하나를 포함하는 주변블록에 대한 단방향 예측, 양방향 예측 및 평균치 예측(DC 예측) 중의 적어도 하나를 수행하여 상기 NCI블록을 복원하는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2011/001493 2010-03-05 2011-03-04 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법 WO2011108879A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/582,886 US9232234B2 (en) 2010-03-05 2011-03-04 Video coding device, video coding method thereof, video decoding device, and video decoding method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0019996 2010-03-05
KR1020100019996A KR101432771B1 (ko) 2010-03-05 2010-03-05 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법

Publications (2)

Publication Number Publication Date
WO2011108879A2 true WO2011108879A2 (ko) 2011-09-09
WO2011108879A3 WO2011108879A3 (ko) 2012-01-12

Family

ID=44542736

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/001493 WO2011108879A2 (ko) 2010-03-05 2011-03-04 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법

Country Status (3)

Country Link
US (1) US9232234B2 (ko)
KR (1) KR101432771B1 (ko)
WO (1) WO2011108879A2 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5478740B2 (ja) * 2011-01-12 2014-04-23 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
EP2858350A4 (en) * 2012-07-06 2016-05-04 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MULTILAYER VIDEO DICTIONING FOR DIRECT ACCESS AND METHOD AND DEVICE FOR MULTILAYER VIDEO DECODING FOR DIRECT ACCESS
US10440377B2 (en) 2012-10-11 2019-10-08 Intel Corporation Motion estimation for video processing
CN104396248B (zh) 2012-10-12 2019-11-08 韩国电子通信研究院 图像编码/解码方法和使用其的装置
US9426473B2 (en) * 2013-02-01 2016-08-23 Qualcomm Incorporated Mode decision simplification for intra prediction
KR102114252B1 (ko) * 2013-07-05 2020-05-22 삼성전자 주식회사 영상을 부호화하기 위한 영상 예측 모드 결정 방법 및 장치
US10560693B2 (en) * 2015-11-24 2020-02-11 Samsung Electronics Co., Ltd. Video encoding method and apparatus, and video decoding method and apparatus
KR102504876B1 (ko) * 2016-11-01 2023-02-28 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11616962B2 (en) 2019-07-15 2023-03-28 Tencent America LLC Method and apparatus for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100771641B1 (ko) * 2007-04-23 2007-10-30 주식회사세오 Ｈ.２６４ 고속 모드 결정 방법
KR20080015830A (ko) * 2005-05-03 2008-02-20 퀄컴 인코포레이티드 다중 레이어들을 사용하는 멀티미디어 데이터의 스케일러블인코딩 및 디코딩을 위한 시스템 및 방법
KR20080068662A (ko) * 2005-10-19 2008-07-23 프리스케일 세미컨덕터, 인크. 비디오 인코딩을 위한 코딩 모드 결정 시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7474699B2 (en) * 2001-08-28 2009-01-06 Ntt Docomo, Inc. Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method decoding method and program usable for the same
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR101394209B1 (ko) * 2008-02-13 2014-05-15 삼성전자주식회사 영상의 인트라 예측 부호화 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080015830A (ko) * 2005-05-03 2008-02-20 퀄컴 인코포레이티드 다중 레이어들을 사용하는 멀티미디어 데이터의 스케일러블인코딩 및 디코딩을 위한 시스템 및 방법
KR20080068662A (ko) * 2005-10-19 2008-07-23 프리스케일 세미컨덕터, 인크. 비디오 인코딩을 위한 코딩 모드 결정 시스템 및 방법
KR100771641B1 (ko) * 2007-04-23 2007-10-30 주식회사세오 Ｈ.２６４ 고속 모드 결정 방법

Also Published As

Publication number Publication date
US9232234B2 (en) 2016-01-05
US20120328014A1 (en) 2012-12-27
KR20110100912A (ko) 2011-09-15
KR101432771B1 (ko) 2014-08-26
WO2011108879A3 (ko) 2012-01-12

Similar Documents

Publication Publication Date Title
WO2011108879A2 (ko) 영상 부호화 장치, 그 영상 부호화 방법, 영상 복호화 장치 및 그 영상 복호화 방법
WO2011145819A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2013032074A1 (ko) 머지 모드 움직임 정보 복호화 장치
WO2010027182A2 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
WO2011068331A2 (ko) 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
WO2012144876A2 (ko) 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
WO2013109039A1 (ko) 가중치예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2013062193A1 (ko) 영상 복호화 방법 및 장치
WO2010050706A2 (ko) 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2011126285A2 (ko) 부호화 모드에 대한 정보를 부호화, 복호화하는 방법 및 장치
WO2011019234A2 (en) Method and apparatus for encoding and decoding image by using large transformation unit
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
WO2012099440A2 (ko) 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
WO2012011672A2 (ko) 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
WO2009157665A2 (ko) 블록 변환을 이용한 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2012093854A2 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
WO2012046979A2 (ko) 주파수 마스크 테이블을 이용한 주파수변환 블록 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2013062198A1 (ko) 영상 복호화 장치
WO2011037337A2 (ko) 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치
WO2013069996A1 (ko) 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
WO2019198997A1 (ko) 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
WO2013062194A1 (ko) 복원 블록을 생성하는 방법 및 장치
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2019212230A1 (ko) 영상 코딩 시스템에서 블록 사이즈에 따른 변환을 사용하는 영상 디코딩 방법 및 그 장치

Legal Events

Date Code Title Description
NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13582886

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 14/12/2012)

122 Ep: pct application non-entry in european phase

Ref document number: 11750936

Country of ref document: EP

Kind code of ref document: A2