WO2013137701A1 - 다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치 - Google Patents

다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
WO2013137701A1
WO2013137701A1 PCT/KR2013/002201 KR2013002201W WO2013137701A1 WO 2013137701 A1 WO2013137701 A1 WO 2013137701A1 KR 2013002201 W KR2013002201 W KR 2013002201W WO 2013137701 A1 WO2013137701 A1 WO 2013137701A1
Authority
WO
WIPO (PCT)
Prior art keywords
sample
block
layer
prediction
target block
Prior art date
Application number
PCT/KR2013/002201
Other languages
English (en)
French (fr)
Inventor
이하현
강정원
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/385,633 priority Critical patent/US20150092844A1/en
Priority claimed from KR1020130028841A external-priority patent/KR20130105554A/ko
Publication of WO2013137701A1 publication Critical patent/WO2013137701A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Definitions

  • the present invention relates to image processing, and more particularly, to an intra prediction method for a multilayer image and an apparatus using the same.
  • the higher the resolution and the higher quality image the greater the amount of information about the image. Due to the increase in the amount of information on video, devices of various performances and networks of various environments have emerged. Accordingly, the same content can be used in various qualities. That is, as the quality of video supported by the video device and the network used by the video device are diversified, general quality video may be used in some environments, but high quality video may be used in other environments.
  • An object of the present invention is to provide an intra prediction method for a multi-layer image and an apparatus using the same.
  • an intra prediction method for a multilayer image includes deriving an intra prediction mode of a prediction target block of an enhancement layer, and generating a replacement sample for an unavailable reference sample of the prediction block based on a reference layer for the enhancement layer. And generating a prediction block for the prediction target block by using the intra prediction mode and the replacement sample.
  • an intra prediction method for a multilayer image includes deriving an intra prediction mode of a prediction block of the enhancement layer, generating a replacement sample for an unavailable reference sample of the prediction block, wherein the replacement sample is an available reference sample of the prediction block. Or generating a prediction block for the prediction target block using the intra prediction mode and the replacement sample based on a reference layer generated for the enhancement layer.
  • the reference layer may be a base layer corresponding to the enhancement layer up-sampled based on the image size of the enhancement layer.
  • the replacement sample may be a sample corresponding to the unavailable reference sample in the reference layer.
  • the replacement sample may be a sample adjacent to a sample corresponding to the unavailable reference sample in the reference layer.
  • the generating of the replacement sample may include checking availability of reference samples of the prediction target block. Availability of the reference samples may be determined based on whether the prediction target block is adjacent to a picture, slice, or tile boundary.
  • an image decoder includes a block predictor for generating a prediction block for a prediction target block and an adder for generating a reconstruction block by adding the prediction block to a difference block of the prediction target block received from an image encoder.
  • the block predictor derives an intra prediction mode of a prediction target block of an enhancement layer, generates a replacement sample for the unavailable reference samples of the prediction target block based on a reference layer for the enhancement layer, and The prediction block for the prediction target block is generated using the intra prediction mode and the replacement sample.
  • the reference layer may be a base layer corresponding to the enhancement layer up-sampled based on the image size of the enhancement layer.
  • the replacement sample may be a sample corresponding to the unavailable reference sample in the reference layer.
  • the replacement sample may be a sample adjacent to a sample corresponding to the unavailable reference sample in the reference layer.
  • the block predictor may determine whether reference samples of the prediction target block are available. Availability of the reference samples may be determined based on whether the prediction target block is adjacent to a picture, slice, or tile boundary.
  • the coding efficiency of intra prediction is high.
  • 1 is a block diagram illustrating an example of a structure of an image encoder.
  • FIG. 2 is a block diagram illustrating an example of a structure of an image decoder.
  • 3 illustrates an example in which one unit is divided into a plurality of sub-units.
  • FIG. 4 is a flowchart illustrating an example in which intra prediction is performed.
  • FIG. 5 shows 33 peripheral reference samples when the size of the prediction block is 8 ⁇ 8.
  • FIG. 6 shows an example of replacing a peripheral reference sample.
  • FIG. 7 is a flowchart illustrating an intra prediction method for a multilayer image, according to an embodiment of the present invention.
  • 11 through 13 illustrate reference sample replacement in a current layer based on a reference layer according to another embodiment of the present invention.
  • 17 is a flowchart illustrating an intra prediction method for a multilayer image, according to another exemplary embodiment.
  • first and second may be used to describe various components, but the components are not limited by the terms. In other words, the terms are used only for the purpose of distinguishing one component from another.
  • first component may be named the second component
  • second component may be named the first component.
  • each component shown in the embodiments of the present invention is shown independently to indicate that they perform different characteristic functions, and do not mean that each component may not be implemented in one hardware or software. That is, each component is divided for convenience of description, and a plurality of components may be combined to operate as one component, or one component may be divided into and operate as a plurality of components, which does not depart from the essence of the present invention. Unless included in the scope of the present invention.
  • some components may be optional components for improving performance rather than essential components for performing essential functions of the present invention.
  • the present invention may be implemented in a structure including only essential components except for optional components, and a structure including only essential components is also included in the scope of the present invention.
  • 1 is a block diagram illustrating an example of a structure of an image encoder.
  • the image encoder 100 may include a block predictor 110, a subtractor 120, a transformer 130, a quantizer 140, an entropy encoder 150, an inverse quantizer 160, an inverse transformer 170, An adder 175, a filter unit 180, and a reference picture buffer 190 are included.
  • the image encoder 100 outputs a bitstream by performing intra prediction, inter prediction, entropy encoding, or the like on the input image.
  • Intra prediction means predicting a pixel value using pixel information in a picture
  • inter prediction means predicting a pixel value included in a current picture from a preceding picture and / or a following picture.
  • Entropy coding technology means that a short code is assigned to a symbol with a high frequency of appearance and a long code is assigned to a symbol with a low frequency of appearance.
  • the image encoder 100 generates a prediction block for an input block of an input image for compressing an image, and then encodes a residual between the input block and the prediction block.
  • the block predictor 110 In intra prediction, the block predictor 110 generates a predictive block by performing spatial prediction using pixel values of blocks that are already encoded around a block to be encoded.
  • the block prediction unit 110 finds a reference block that best matches an input block in a reference picture stored in the reference picture buffer 190, obtains a motion vector, and uses the motion vector to compensate for the motion. To generate a prediction block.
  • the motion vector is a two-dimensional vector used for inter prediction, and represents an offset between the target block of the current encoding / decoding and the reference block.
  • the subtractor 120 generates a residual block based on the difference between the input block and the prediction block, and the transformer 130 converts the difference block and outputs a transform coefficient.
  • the quantization unit 140 quantizes the transform coefficients and outputs quantized coefficients.
  • the entropy encoder 150 outputs a bitstream by performing entropy encoding based on information obtained in the encoding / quantization process. Entropy encoding reduces the size of a bit string for a symbol to be encoded by representing frequently generated symbols with fewer bits. Entropy coding improves the compression performance of images.
  • the entropy encoder 150 may use an encoding method such as exponential golomb and context-adaptive binary arithmetic coding (CABAC) for entropy encoding.
  • CABAC context-adaptive binary arithmetic coding
  • the coded picture needs to be decoded and stored again to be used as a reference picture for performing inter prediction. Accordingly, the inverse quantization unit 160 inverse quantizes the quantized coefficients, and the inverse transform unit 170 inverse transforms the inverse quantized coefficients to output the reconstructed difference block.
  • the adder 175 adds the reconstructed difference block to the prediction block to generate a reconstruction block.
  • the filter unit 180 may also be referred to as an adaptive in-loop filter, and may include at least one of deblocking filtering, sample adaptive offset (SAO) compensation, and adaptive loop filtering (ALF). Do this.
  • Deblocking filtering means removing block distortion at an inter-block boundary
  • SAO compensation means adding an appropriate offset to pixel values to compensate for coding errors.
  • ALF means filtering based on a value obtained by comparing a reconstructed image with an original image.
  • FIG. 2 is a block diagram illustrating an example of a structure of an image decoder.
  • the image decoder 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, a block predictor 240, an adder 250, a filter 260, and a reference picture buffer 270. ).
  • the image decoder 200 restores a bitstream to a reconstructed image by performing intra prediction, inter prediction, entropy decoding, or the like. That is, the image decoder 200 obtains a difference block from the bitstream, generates a prediction block for the reconstruction block, and then adds the difference block and the prediction block to generate a reconstruction block.
  • the entropy decoder 210 performs entropy decoding based on probability distribution.
  • the entropy decoding process is the reverse of the above-described entropy coding process. That is, the entropy decoder 210 generates a symbol including quantized coefficients from a bitstream representing a frequently generated symbol with a small number of bits.
  • the inverse quantizer 220 inversely quantizes the quantized coefficients, and the inverse transformer 230 inversely transforms the inverse quantized coefficients to generate a difference block.
  • the block predictor 240 In intra prediction, the block predictor 240 generates a prediction block by performing spatial prediction using pixel values of blocks that are already decoded around the decoding target block. In inter prediction, the block prediction unit 240 generates a prediction block by performing motion compensation using a motion vector and a reference picture stored in the reference picture buffer 270.
  • the adder 250 adds the prediction block to the difference block, and the filter unit 260 outputs the reconstructed image by performing at least one of deblocking filtering, SAO compensation, and ALF to the block that has passed through the adder.
  • a unit means a unit of image encoding and decoding.
  • an image is divided into a predetermined size and encoded / decoded.
  • the unit may be divided into a coding unit (CU), a prediction unit (PU), a transform unit (TU), and the like according to an encoding / decoding process.
  • Units may also be referred to as blocks.
  • One unit may be further divided into smaller sub-units.
  • 3 illustrates an example in which one unit is divided into a plurality of sub-units.
  • One unit may be divided hierarchically with depth information based on a tree structure.
  • Each divided subunit may have depth information. Since the depth information indicates the number and / or degree of division of the unit, the depth information may include information about the size of the sub-unit.
  • the highest node may be called a root node and may have the smallest depth value.
  • the uppermost node may have a depth of level 0 and may represent the first unit that is not divided.
  • a lower node having a depth of level 1 may indicate a unit in which the first unit is divided once, and a lower node having a depth of level 2 may indicate a unit in which the first unit is divided twice.
  • unit 320 corresponding to node a in 320 of FIG. 3 may be a unit divided once in an initial unit and may have a depth of level 1.
  • a leaf node of level 3 may indicate a unit in which the first unit is divided three times.
  • the unit d corresponding to the node d in 320 of FIG. 3 may be a unit divided three times in the first unit and may have a depth of level 3.
  • FIG. the leaf node at level 3, which is the lowest node, may have the deepest depth.
  • the encoding / decoding target block may be referred to as a current block in some cases.
  • the encoding / decoding object block may be called a prediction object block.
  • FIG. 4 is a flowchart illustrating an example in which intra prediction is performed.
  • the block prediction unit derives an intra prediction mode of the prediction target block (S410).
  • Intra prediction can be divided into non-angular prediction and angular prediction.
  • High Efficiency Video Coding (HEVC) a new video compression standard that is being standardized by JCT-VC, an international video compression standardization organization, is based on non-directional prediction modes including Intra_Planar mode and Intra_DC mode, and horizontal prediction and vertical ( vertical) 33 directional prediction modes including prediction are provided.
  • HEVC High Efficiency Video Coding
  • intra prediction spatial prediction is performed using sample values located around the prediction target block.
  • a sample located near the prediction block and used for prediction may be referred to as a reference sample, and the number nSamples of the neighbor samples required for intra prediction is determined based on the size nS of the prediction block.
  • FIG. 5 shows 33 peripheral reference samples when the size of the prediction block is 8 ⁇ 8.
  • the x-y coordinates increase in the downward direction based on the upper left sample of the prediction target block.
  • the coordinate of the upper left sample of the prediction target block 500 is (0, 0)
  • the coordinate of the upper left reference sample 510 is (-1, -1)
  • the coordinate of the upper reference sample 520 is (0). ..., 7, -1
  • the coordinates of the upper right reference sample 530 may be represented by (8 ... 15, -1).
  • the coordinates of the left reference sample 540 are (-1, 0 ... 7)
  • the coordinates of the lower left reference sample 550 are (-1, 8 ... 15).
  • the peripheral reference samples may not be available. Can be. Substituting a reference sample that is not available may be performed.
  • the block predictor replaces a reference sample that is not available among the neighbor reference samples of the prediction target block with a reference sample that is available among the neighbor reference samples of the prediction target block (S420).
  • the replacement process of the reference sample may be called a padding process.
  • HEVC High efficiency video coding
  • FIG. 6 shows an example of replacing a peripheral reference sample.
  • the block prediction unit performs intra prediction on the prediction target block to generate a prediction block (S430). That is, the block predictor performs intra prediction using the neighbor reference samples based on the derived intra prediction mode.
  • the sample value of the prediction block is derived as the value of the sample having the same x coordinate among the reference samples adjacent to the upper boundary of the prediction block. That is, the sample value predSamples [x, y] of the prediction block is derived as in Equation 2.
  • p [a, b] represents the value of the sample which has the position of (a, b).
  • the sample value of the prediction block is derived as a value of a sample having the same y coordinate among reference samples adjacent to the left boundary of the prediction block. That is, the sample value predSamples [x, y] of the prediction block is derived as in Equation 3.
  • the same content can be used in various qualities. That is, as the quality of video supported by the video device and the network used by the video device are diversified, general quality video may be used in some environments, but high quality video may be used in other environments. For example, a consumer who purchases video content on a portable terminal may view the same content on a larger screen and at a higher resolution through a home display (eg, a digital TV). In order to provide a service required by a user in various environments, scalability may be provided to quality of an image.
  • input signals may be processed in layers.
  • the input signals may differ in at least one of resolution, frame rate, bit-depth, color format, and aspect ratio. Can be.
  • scalable coding includes scalable coding and scalable decoding.
  • inter-layer prediction may be performed by using inter-layer differences, that is, based on scalability, thereby reducing redundant transmission / processing of information and increasing compression efficiency.
  • the present invention proposes an intra prediction method using samples of a reference layer that is already reconstructed in scalable coding based on a multi-layer structure. That is, a method of performing intra prediction by replacing unavailable reference samples of a higher layer with samples of a corresponding reference layer is proposed. According to the proposed method, since the replaced reference sample can more fully reflect the characteristics of the prediction target block, the encoding efficiency of intra prediction is increased.
  • FIG. 7 is a flowchart illustrating an intra prediction method for a multilayer image, according to an embodiment of the present invention.
  • the block predictor derives an intra prediction mode of the prediction target block in the current layer (S710).
  • a basic layer provided basically and an enhancement layer provided additionally are provided.
  • the base layer may be called a lower layer, a reference layer, and the like, and the enhancement layer may be called an upper layer, a current layer, or the like.
  • a base layer is referred to as a reference layer and an enhancement layer is referred to as a current layer.
  • the block predictor replaces a reference sample that is not available among the neighbor reference samples of the prediction target block in the current layer based on the reference layer (S720). That is, a replacement sample is generated for an unavailable reference sample of the prediction target block based on the reference layer for the current layer.
  • the current layer and the reference layer may have a different size of the input image.
  • the size of the input layer of the current layer, which is an enhancement layer is larger than the size of the input layer of the reference layer, which is the base layer. do. Therefore, the replacing step S720 of the reference sample based on the sample value of the reference layer may include an upsampling process of the reference layer picture.
  • the upsampling process is performed in a picture unit, but may be performed in a smaller unit (eg, a large coding unit (LCU), block).
  • LCU large coding unit
  • the block predictor may replace the lower left reference samples of the prediction target block in the current layer with the lower left reference samples of the block corresponding to the prediction target block in the reference layer. That is, if reference samples located from (-1, 8) to (-1, 15) in the current layer are not available, the values of the corresponding reference samples are from (-1, 8) to (-) in the upsampled reference layer. 1, 15) can be replaced with the value of the reference samples located up to.
  • the block prediction unit may replace the upper right reference samples of the prediction target block in the current layer with the upper right reference samples of the block corresponding to the prediction target block in the reference layer. That is, when reference samples located from (8, -1) to (15, -1) in the current layer are not available, the values of the reference samples are from (8, -1) to (15) in the upsampled reference layer. , May be replaced with the value of the reference samples located up to -1).
  • the block predictor may replace the lower left reference samples and the upper right reference samples of the prediction target block in the current layer with the lower left reference samples and the upper right reference samples of the block corresponding to the prediction target block in the reference layer. That is, if reference samples located from (-1, 8) to (-1, 15) and reference samples located from (8, -1) to (15, -1) are not available in the current layer, the reference The values of the samples are the values of the reference samples located from (-1, 8) to (-1, 15) and the reference samples located from (8, -1) to (15, -1) in the upsampled reference layer. Can be replaced by
  • all of the lower left reference samples and / or the upper right reference samples of the prediction target block in the current layer may not be available, but some of them may not be available. . If some reference samples are not available, the reference samples that are not available are replaced with corresponding reference samples in the reference layer. For example, if a reference sample located at (-1, 10) in the current layer is not available, the value of that reference sample is replaced by the value of the reference sample located at (-1, 10) in the upsampled reference layer. Can be.
  • 11 through 13 illustrate reference sample replacement in a current layer based on a reference layer according to another embodiment of the present invention.
  • reference samples adjacent to a left boundary of a prediction target block in the current layer may include a prediction target block located at a picture, slice, or tile boundary. Not available for the reason.
  • the block predictor may replace reference samples adjacent to the left boundary of the prediction target block in the current layer with reference samples adjacent to the left boundary of the block corresponding to the prediction target block in the reference layer. That is, if reference samples located from (-1, -1) to (-1, 15) in the current layer are not available, the values of the corresponding reference samples are from (-1, -1) in the upsampled reference layer. It can be replaced with the value of the reference samples located up to (-1, 15).
  • reference samples adjacent to a top boundary of a prediction target block may include a prediction block located at a picture, slice, or tile boundary. Not available for a reason.
  • the block predictor may replace reference samples adjacent to the upper boundary of the prediction target block in the current layer with reference samples adjacent to the upper boundary of the block corresponding to the prediction target block in the reference layer. That is, if reference samples located from (-1, -1) to (15, -1) in the current layer are not available, the values of the reference samples are from (-1, -1) in the upsampled reference layer. It can be replaced with the value of the reference samples located up to (15, -1).
  • the block predictor may replace reference samples of the prediction target block in the current layer with reference samples of the block corresponding to the prediction target block in the reference layer. That is, if the reference samples located from (-1, -1) to (-1, 15) and the reference samples located from (0, -1) to (15, -1) are not available in the current layer, The values of the reference samples are the reference samples located from (-1, -1) to (-1, 15) and the reference samples located from (0, -1) to (15, -1) in the upsampled reference layer. Can be replaced by
  • all of the reference samples adjacent to the left boundary of the prediction target block in the current layer and / or the reference samples adjacent to the upper boundary may not be available, but some of them may be used. May not be available. If some reference samples are not available, the reference samples that are not available are replaced with corresponding reference samples in the reference layer. For example, if a reference sample located at (-1, 5) in the current layer is not available, the value of that reference sample is replaced by the value of the reference sample located at (-1, 5) in the upsampled reference layer. Can be.
  • reference samples adjacent to a left boundary of a prediction target block in the current layer may include a prediction target block located at a picture, slice, or tile boundary. Not available for the reason.
  • the prediction target block is located at the picture, slice, or tile boundary in the current layer, the block corresponding to the prediction target block in the reference layer is also likely to be located at the picture, slice, or tile boundary.
  • peripheral reference pixels of the block corresponding to the prediction target block are not available.
  • the block predictor may replace reference samples adjacent to the left boundary of the prediction target block in the current layer with samples corresponding to the samples corresponding to the reference samples in the reference layer. That is, when reference samples located from (-1, -1) to (-1, 15) in the current layer are not available, the values of the corresponding reference samples are from (0, -1) to (in the upsampled reference layer). 0, 15) can be replaced by the value of the samples located.
  • reference samples ie, top / top left / top right reference samples
  • a prediction target block located at a picture, slice, or tile boundary may include a prediction target block located at a picture, slice, or tile boundary.
  • the block predictor may replace reference samples adjacent to the upper boundary of the prediction target block in the current layer with samples corresponding to the samples corresponding to the reference samples in the reference layer. That is, when reference samples located from (-1, -1) to (15, -1) in the current layer are not available, the values of the reference samples are from (-1, 0) to (in the upsampled reference layer. 15, 0) can be replaced with the value of the samples located.
  • the block predictor may replace reference samples of the prediction target block in the current layer with samples adjacent to the reference samples in the reference layer. That is, if reference samples located from (-1, -1) to (-1, 15) and reference samples located from (0, -1) to (15, -1) in the current layer are not available, ( Reference samples located at -1, -1) are samples located at (0, 0), and reference samples located at (-1, 0) to (-1, 15) are (0, 0) to (0, 15). With samples located up to), reference samples located from (0, -1) to (15, -1) may be replaced with reference samples located from (0, 0) to (15, 0).
  • all of the reference samples adjacent to the left boundary of the prediction target block in the current layer and / or the reference samples adjacent to the upper boundary may not be available, but some of them may be used. May not be available. If some reference samples are not available, the reference samples that are not available are replaced with samples adjacent to the reference sample in the reference layer. For example, if a reference sample located at (-1, 5) in the current layer is not available, the value of that reference sample will be replaced with the value of the reference sample located at (0, 5) in the upsampled reference layer. Can be.
  • Substitution of the reference sample (S720) may not be performed when all the reference samples are available. Therefore, the process of checking the availability of the reference sample may be performed before the replacement process (S720) of the reference sample.
  • the block prediction unit may determine whether a reference sample is available by checking whether a prediction target block is adjacent to a picture, slice, or tile boundary.
  • the block prediction unit performs intra prediction on the prediction target block to generate a prediction block (S730).
  • the HEVC-based video compression system supports non-directional modes such as Intra_Planar mode and Intra_DC mode and 33 directional modes as intra prediction.
  • the block predictor performs intra prediction based on the mode derived in step S710 from among 35 modes.
  • the reference sample in the current layer that is replaced based on the sample value of the reference layer in step S720 may be used.
  • 17 is a flowchart illustrating an intra prediction method in a multilayer imaging system according to another embodiment of the present invention.
  • the block prediction unit may selectively use a method of replacing an existing reference sample and a method based on sample values of the reference layer. That is, the reference samples that are not available based on the available reference samples around the prediction target block in the current layer may be replaced or the reference samples that are not available based on the reconstructed samples of the reference layer may be replaced.
  • An indicator indicating which of the two methods is used may be defined, and the indicator may be included in a syntax and transmitted from the encoder to the decoder.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

다계층 영상을 위한 인트라 예측 방법이 제공된다. 상기 방법은 향상 계층의 예측 대상 블록의 인트라 예측 모드를 도출(derivation)하는 단계, 상기 향상 계층에 대한 참조 계층에 기반하여 상기 예측 대상 블록의 이용 가능하지 않은 참조 샘플에 대한 대체 샘플을 생성하는 단계 및 상기 인트라 예측 모드 및 상기 대체 샘플을 이용하여 상기 예측 대상 블록에 대한 예측 블록을 생성하는 단계를 포함한다.

Description

다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치
본 발명은 영상 처리에 관한 것으로, 더욱 상세하게는 다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 지원하는 방송 시스템이 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자가 고해상도 및 고화질 영상에 익숙해지고 있으며, 이에 따라 많은 기관들이 차세대 영상 기기에 대한 개발에 박차를 가하고 있다.
고해상도 및 고화질 영상일수록 해당 영상에 관한 정보량이 증가한다. 영상에 관한 정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있으며, 이에 따라 동일한 컨텐츠(content)를 다양한 품질로 이용할 수 있게 되었다. 즉, 영상 기기가 지원하는 영상의 품질 및 (영상 기기가) 이용하는 네트워크가 다양해짐으로써, 어떤 환경에서는 일반 품질의 영상이 이용되지만, 다른 환경에서는 높은 품질의 영상이 이용될 수 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상의 품질을 제공하기 위해, 영상의 품질에 스케일러빌러티(scalability)를 제공하는 것이 필요하다.
본 발명의 목적은 다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치를 제공함에 있다.
본 발명의 일 실시예에 따르면 다계층 영상을 위한 인트라 예측 방법이 제공된다. 상기 방법은 향상 계층의 예측 대상 블록의 인트라 예측 모드를 도출(derivation)하는 단계, 상기 향상 계층에 대한 참조 계층에 기반하여 상기 예측 대상 블록의 이용 가능하지 않은 참조 샘플에 대한 대체 샘플을 생성하는 단계 및 상기 인트라 예측 모드 및 상기 대체 샘플을 이용하여 상기 예측 대상 블록에 대한 예측 블록을 생성하는 단계를 포함한다.
본 발명의 다른 일 실시예에 따르면 다계층 영상을 위한 인트라 예측 방법이 제공된다. 상기 방법은 향상 계층의 예측 대상 블록의 인트라 예측 모드를 도출하는 단계, 상기 예측 대상 블록의 이용 가능하지 않은 참조 샘플에 대한 대체 샘플을 생성하되, 상기 대체 샘플은 상기 예측 대상 블록의 이용 가능한 참조 샘플 또는 상기 향상 계층에 대한 참조 계층에 기반하여 생성되는 단계 및 상기 인트라 예측 모드 및 상기 대체 샘플을 이용하여 상기 예측 대상 블록에 대한 예측 블록을 생성하는 단계를 포함한다.
상기 참조 계층은 상기 향상 계층에 대응되는 기본 계층이 상기 향상 계층의 영상 크기에 기반하여 업 샘플링(up-sampling)된 것일 수 있다.
상기 대체 샘플은 상기 참조 계층에서 상기 이용 가능하지 않은 참조 샘플에 대응되는 샘플일 수 있다.
상기 대체 샘플은 상기 참조 계층에서 상기 이용 가능하지 않은 참조 샘플에 대응되는 샘플에 인접하는 샘플일 수 있다.
상기 대체 샘플을 생성하는 단계는 상기 예측 대상 블록의 참조 샘플들의 이용 가능 여부를 확인하는 단계를 포함할 수 있다. 상기 참조 샘플들의 이용 가능 여부는 상기 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 인접하는지에 기반하여 결정될 수 있다.
본 발명의 또 다른 일 실시예에 따르면 영상 복호화기가 제공된다. 상기 영상 복호화기는 예측 대상 블록에 대한 예측 블록을 생성하는 블록 예측부 및 영상 부호화기로부터 수신된 상기 예측 대상 블록에 대한 차분 블록에 상기 예측 블록을 가산하여 복원 블록을 생성하는 가산기를 포함한다. 상기 블록 예측부는 향상 계층의 예측 대상 블록의 인트라 예측 모드를 도출(derivation)하고, 상기 향상 계층에 대한 참조 계층에 기반하여 상기 예측 대상 블록의 이용 가능하지 않은 참조 샘플에 대한 대체 샘플을 생성하고 및 상기 인트라 예측 모드 및 상기 대체 샘플을 이용하여 상기 예측 대상 블록에 대한 예측 블록을 생성한다.
상기 참조 계층은 상기 향상 계층에 대응되는 기본 계층이 상기 향상 계층의 영상 크기에 기반하여 업 샘플링(up-sampling)된 것일 수 있다.
상기 대체 샘플은 상기 참조 계층에서 상기 이용 가능하지 않은 참조 샘플에 대응되는 샘플일 수 있다.
상기 대체 샘플은 상기 참조 계층에서 상기 이용 가능하지 않은 참조 샘플에 대응되는 샘플에 인접하는 샘플일 수 있다.
상기 블록 예측부는 상기 예측 대상 블록의 참조 샘플들의 이용 가능 여부를 확인할 수 있다. 상기 참조 샘플들의 이용 가능 여부는 상기 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 인접하는지에 기반하여 결정될 수 있다.
인트라 예측의 부호화 효율이 높아진다.
도 1은 영상 부호화기의 구조의 일 예를 나타내는 블록도이다.
도 2는 영상 복호화기의 구조의 일 예를 나타내는 블록도이다.
도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 일 예를 나타낸다.
도 4는 인트라 예측이 수행되는 일 예를 나타낸 흐름도이다.
도 5는 예측 대상 블록의 크기가 8x8인 경우에 있어서, 33개의 주변 참조 샘플들을 나타낸다.
도 6은 주변 참조 샘플을 대체하는 일 예를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 다계층 영상을 위한 인트라 예측 방법을 나타낸 흐름도이다.
도 8 내지 10는 본 발명의 일 실시예에 따른 참조 계층에 기반한 현재 계층에서의 참조 샘플 대체를 나타낸다.
도 11 내지 도 13는 본 발명의 다른 일 실시예에 따른 참조 계층에 기반한 현재 계층에서의 참조 샘플 대체를 나타낸다.
도 14 내지 도 16는 본 발명의 또 다른 일 실시예에 따른 참조 계층에 기반한 현재 계층에서의 참조 샘플 대체를 나타낸다.
도 17은 본 발명의 다른 일 실시예에 따른 다계층 영상을 위한 인트라 예측 방법을 나타낸 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명하기로 한다. 단, 본 발명의 실시예를 설명함에 있어서, 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있거나 "접속되어" 있다고 서술되어 있는 경우, 다른 구성 요소에 직접 연결되어 있거나, 접속되어 있을 수 있으나, 또 다른 구성요소가 중간에 존재할 수도 있다. 또한, 본 발명에서 특정 구성 요소를 "포함"한다고 서술되어 있는 경우, 해당 구성 요소 이외의 구성 요소를 배제하는 것이 아니라, 추가적인 구성 요소가 본 발명의 실시예 또는 기술적 사상의 범위에 포함될 수 있음을 의미한다.
"제 1", "제 2" 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 즉, 상기 용어 들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 따라서, 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 마찬가지로 제 2 구성요소도 제 1 구성 요소로 명명될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성 요소는 서로 다른 특징적인 기능을 수행하는 것을 나타내기 위해 독립적으로 도시될 뿐, 각 구성 요소가 하나의 하드웨어 또는 소프트웨어로 구현될 수 없음을 의미하는 것은 아니다. 즉, 각 구성 요소는 설명의 편의상 구분된 것으로, 복수의 구성 요소가 합쳐져 하나의 구성 요소로 동작하거나, 하나의 구성 요소가 복수의 구성 요소로 나뉘어져 동작할 수 있고, 이는 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위로 포함된다.
또한, 일부 구성 요소는 본 발명의 본질적인 기능을 수행하는 필수 구성 요소가 아닌 성능의 향상을 위한 선택적 구성 요소일 수 있다. 본 발명은 선택적 구성 요소를 제외하고 필수 구성 요소만을 포함한 구조로도 구현될 수 있으며, 필수 구성 요소만을 포함한 구조 역시 본 발명의 권리 범위에 포함된다.
도 1은 영상 부호화기의 구조의 일 예를 나타내는 블록도이다.
영상 부호화기(100)는 블록 예측부(110), 감산기(120), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.
영상 부호화기(100)는 입력 영상에 대해 인트라(intra) 예측, 인터(inter) 예측, 엔트로피 부호화 등을 수행하여 비트스트림(bitstream)을 출력한다. 인트라 예측은 픽쳐 내의 픽셀 정보를 이용하여 픽셀 값을 예측하는 것, 인터 예측은 선행하는 픽쳐 및/또는 뒤에 나오는 픽쳐로부터 현재 픽쳐에 포함된 픽셀 값을 예측하는 것을 의미한다. 엔트로피 부호화 기술은 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 것을 의미한다.
영상 부호화기(100)는 영상의 압축을 위해 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화한다. 인트라 예측에서, 블록 예측부(110)는 부호화 대상 블록 주변의 이미 부호화된 블록의 픽셀 값을 이용한 공간적 예측을 수행하여 예측 블록을 생성한다. 인터 예측에서, 블록 예측부(110)는 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 픽쳐 내에서 입력 블록과 가장 매칭이 잘 되는 참조 블록을 찾아서 움직임 벡터를 구하고, 상기 움직임 벡터를 이용하여 움직임 보상을 수행하여 예측 블록을 생성한다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화/복호화의 대상 블록과 참조 블록 사이의 오프셋을 나타낸다.
감산기(120)는 입력 블록과 예측 블록의 차분에 기반하여 차분 블록(residual block)을 생성하고, 변환부(130)는 상기 차분 블록을 변환하여 변환 계수(transform coefficient)를 출력한다. 양자화부(140)는 상기 변환 계수를 양자화하여 양자화된 계수(quantized coefficient)를 출력한다.
엔트로피 부호화부(150)는 부호화/양자화 과정에서 획득한 정보에 기반한 엔트로피 부호화를 수행하여 비트스트림을 출력한다. 엔트로피 부호화는 빈번하게 발생되는 심볼(symbol)을 적은 수의 비트로 표현함으로써 부호화의 대상 심볼에 대한 비트열의 크기를 감소시킨다. 엔트로피 부호화는 영상의 압축 성능을 향상시킨다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.
한편, 부호화된 픽쳐는 인터 예측을 수행하기 위한 참조 픽쳐로 사용되기 위해 다시 복호화되어 저장될 필요가 있다. 따라서, 역양자화부(160)는 양자화된 계수를 역양자화하고, 역변화부(170)는 역양자화된 계수를 역변환(inverse transform)하여 복원된 차분 블록을 출력한다. 가산기(175)는 예측 블록에 복원된 차분 블록을 더하여 복원 블록을 생성한다.
필터부(180)는 적응적 인-루프(in-loop) 필터로도 불리며, 복원 블록에 디블록킹 필터링(deblocking filtering), SAO(Sample Adaptive Offset) 보상, ALF(Adaptive Loop Filtering) 중 적어도 하나 이상을 수행한다. 디블록킹 필터링은 블록 간 경계에 생긴 블록 왜곡을 제거하는 것을 의미하고, SAO 보상은 코딩 에러를 보상하기 위해 픽셀 값에 적정 오프셋(offset)을 더해주는 것을 의미한다. 또한, ALF는 복원된 영상과 원래의 영상을 비교한 값에 기반하여 필터링을 수행하는 것을 의미한다.
도 2는 영상 복호화기의 구조의 일 예를 나타내는 블록도이다.
영상 복호화기(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 블록 예측부(240), 가산기(250), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.
영상 복호화기(200)는 인트라 예측, 인터 예측, 엔트로피 복호화 등을 수행하여 비트스트림을 복원 영상으로 복원한다. 즉, 영상 복호화기(200)는 비트스트림으로부터 차분 블록을 획득하고, 복원 블록에 대한 예측 블록을 생성한 후, 차분 블록과 예측 블록을 더하여 복원 블록을 생성한다.
엔트로피 복호화부(210)는 확률 분포에 기반한 엔트로피 복호화를 수행한다. 엔트로피 복호화 과정은 상술한 엔트로피 부호화 과정의 반대 과정이다. 즉, 엔트로피 복호화부(210)는 빈번하게 발생되는 심볼을 적은 수의 비트로 표현한 비트스트림으로부터 양자화된 계수를 포함하는 심볼을 생성한다.
역양자화부(220)는 양자화된 계수를 역양자화하고, 역변환부(230)는 역양자화된 계수를 역변환하여 차분 블록을 생성한다.
인트라 예측에서, 블록 예측부(240)는 복호화 대상 블록 주변의 이미 복호화된 블록의 픽셀 값을 이용한 공간적 예측을 수행하여 예측 블록을 생성한다. 인터 예측에서, 블록 예측부(240)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장된 참조 픽쳐를 이용한 움직임 보상을 수행하여 예측 블록을 생성한다.
가산기(250)는 차분 블록에 예측 블록을 더하고, 필터부(260)는 가산기를 거친 블록에 디블록킹 필터링, SAO 보상, ALF 중 적어도 하나 이상을 수행하여 복원 영상을 출력한다.
이하, 유닛(unit)은 영상 부호화 및 복호화의 단위를 의미한다. 부호화/복호화 과정에서, 영상은 소정의 크기로 분할되어 부호화/복호화된다. 따라서, 유닛은 부호화/복호화 과정에 따라 부호화 유닛 (coding unit, CU), 예측 유닛(prediction unit, PU), 변환 유닛(transform unit, TU) 등으로 구분되어 불릴 수 있다. 또한, 유닛은 블록으로 지칭될 수 있다. 하나의 유닛은 크기가 더 작은 하위 유닛으로 더 분할될 수 있다.
도 3은 하나의 유닛이 복수의 하위 유닛으로 분할되는 일 예를 나타낸다.
하나의 유닛은 트리 구조(tree structure)에 기반하여 깊이 정보(depth)를 가지고 계층적으로 분할될 수 있다. 각각의 분할된 하위 유닛은 깊이 정보를 가질 수 있다. 상기 깊이 정보는 유닛이 분할된 회수 및/또는 정도를 나타내므로, 상기 하위 유닛의 크기에 관한 정보를 포함할 수도 있다.
도 3의 310을 참조하면, 가장 상위 노드는 루트 노드(root node)로 불릴 수 있고, 가장 작은 깊이 값을 가질 수 있다. 이때, 가장 상위 노드는 레벨 0의 깊이를 가질 수 있으며, 분할되지 않은 최초의 유닛을 나타낼 수 있다.
레벨 1의 깊이를 갖는 하위 노드는 최초 유닛이 한 번 분할된 유닛을 나타낼 수 있으며, 레벨 2의 깊이를 갖는 하위 노드는 최초의 유닛이 두 번 분할된 유닛을 나타낼 수 있다. 예를 들어, 도 3의 320에서 노드 a에 대응하는 유닛 a는 최초 유닛에서 한 번 분할된 유닛이고, 레벨 1의 깊이를 가질 수 있다.
레벨 3의 리프 노드(leaf node)는 최초 유닛이 3번 분할된 유닛을 나타낼 수 있다. 예를 들어, 도 3의 320에서 노드 d에 대응하는 유닛 d는 최초 유닛에서 세 번 분할된 유닛이고, 레벨 3의 깊이를 가질 수 있다. 따라서, 가장 하위 노드인 레벨 3의 리프 노드는 가장 깊은 깊이를 가질 수 있다.
이하에서 부호화/복호화 대상 블록은 경우에 따라 현재 블록으로 지칭될 수도 있다. 또한 부호화/복호화 대상 블록에 대해 인트라 예측이 수행되는 경우, 상기 부호화/복호화 대상 블록은 예측 대상 블록으로 불릴 수도 있다.
도 4는 인트라 예측이 수행되는 일 예를 나타낸 흐름도이다.
인트라 예측에서, 블록 예측부는 예측 대상 블록의 인트라 예측 모드를 도출(derivation)한다(S410). 인트라 예측은 비방향성(non-angular) 예측과 방향성(angular) 예측으로 구분할 수 있다. 국제 비디오 압축 표준화 단체인 JCT-VC가 표준화 작업을 진행하고 있는 새로운 비디오 압축 표준인 HEVC(High Efficiency Video Coding)는 Intra_Planar 모드와 Intra_DC 모드를 포함하는 비방향성 예측 모드와 수평(horizontal) 예측 및 수직(vertical) 예측을 포함하는 33개의 방향성 예측 모드를 제공한다.
인트라 예측에서는 예측 대상 블록의 주변에 위치하는 샘플 값을 이용한 공간적 예측이 수행된다. 예측 대상 블록의 주변에 위치하여 예측에 사용되는 샘플은 참조 샘플로 불릴 수도 있으며, 인트라 예측에 필요한 주변 샘플의 개수 nSample은 아래와 같이 예측 대상 블록의 크기 nS에 기반하여 결정된다.
수학식 1
Figure PCTKR2013002201-appb-M000001
예를 들어, 예측 대상 블록의 크기가 8x8인 경우, 인트라 예측을 수행하기 위해서는 33개의 주변 참조 샘플 값이 필요하다. 도 5는 예측 대상 블록의 크기가 8x8인 경우에 있어서, 33개의 주변 참조 샘플들을 나타낸다. 이하에서는 설명의 편의를 위해, 예측 대상 블록의 크기가 8x8인 경우를 예시하여 설명하기로 한다. 또한, 예측 대상 블록의 좌상단 샘플을 기준으로 우하향으로 증가하는 x-y 좌표를 가정한다. 예를 들어, 예측 대상 블록(500)의 좌상단 샘플의 좌표는 (0, 0), 좌상단 참조 샘플(510)의 좌표는 (-1, -1), 상단 참조 샘플(520)의 좌표는 (0...7, -1), 우상단 참조 샘플(530)의 좌표는 (8...15, -1)로 표현될 수 있다. 마찬가지로, 좌측 참조 샘플(540)의 좌표는 (-1, 0...7), 좌하단 참조 샘플(550)의 좌표는 (-1, 8...15)이다.
한편, 예측 대상 블록의 주변이 아직 부(복)호화((de)coding)되지 않았거나, 예측 대상 블록이 픽쳐/슬라이스/타일 경계에 위치하는 경우, 주변 참조 샘플이 이용 가능(available) 하지 않을 수 있다. 이용 가능하지 않은 참조 샘플을 대체하는 과정이 수행될 수 있다.
다시 도 4를 참조하면, 블록 예측부는 예측 대상 블록의 주변 참조 샘플들 중 이용 가능하지 않은 참조 샘플을 예측 대상 블록의 주변 참조 샘플들 중 이용 가능한 참조 샘플로 대체한다(S420). 참조 샘플의 대체 과정은 패딩(padding) 과정으로 불릴 수도 있다. 2011년 11월에 개시된 "High efficiency video coding (HEVC) text specification draft 6"의 8.4.3.1.1절에 따르면, 적어도 하나 참조 샘플의 이용 가능하지 않은 경우,
1. (-1, nS*2-1)에 위치하는 참조 샘플이 이용 가능하지 않다면, (-1, nS*2-1)부터 (-1, -1)까지, 그 다음에 (0, -1)부터 (nS*2-1, -1)까지 이용 가능한 참조 샘플을 순차적으로 검색한다. 이용 가능한 참조 샘플이 발견되면, 검색이 종료되며, 해당 샘플의 값 p[-1, nS*2-1]은 발견된 샘플의 값으로 할당된다.
2. (-1, nS*2-2…-1)이 이용 가능하지 않다면, 해당 샘플의 값 p[x ,y]는 하단 샘플 값 p[x, y+1]으로 대체된다.
3. (nS*2-2…-1, -1)이 이용 가능하지 않다면, 해당 샘플의 값 p[x ,y]는 좌측 샘플 값 p[x-1, y]로 대체된다.
도 6은 주변 참조 샘플을 대체하는 일 예를 나타낸다.
도 6을 참조하면, (-1, 7)부터 (-1, -1)까지의 샘플들과 (0, -1)부터 (6, -1)까지의 샘플들이 이용 가능하지 않은 경우, 해당 샘플들의 값은 (-1, 8)에 위치한 샘플의 값으로 대체된다.
다시 도 4를 참조하면, 블록 예측부는 예측 대상 블록에 대한 인트라 예측을 수행하여 예측 블록을 생성한다(S430). 즉, 블록 예측부는 도출된 인트라 예측 모드에 기반하여 주변 참조 샘플을 이용한 인트라 예측을 수행한다.
예를 들어, 예측 대상 블록이 수직 예측 모드로 부호화된 경우, 예측 블록의 샘플 값은 예측 대상 블록의 상단 경계에 인접한(adjacent) 참조 샘플들 중 동일한 x 좌표를 가지는 샘플의 값으로 도출된다. 즉, 예측 블록의 샘플 값 predSamples[x, y]는 수학식 2와 같이 도출된다.
수학식 2
Figure PCTKR2013002201-appb-M000002
여기서, p[a, b]는 (a, b)의 위치를 가지는 샘플의 값을 나타낸다.
예를 들어, 예측 대상 블록이 수평 예측 모드로 부호화된 경우, 예측 블록의 샘플 값은 예측 대상 블록의 좌측 경계에 인접한 참조 샘플들 중 동일한 y 좌표를 가지는 샘플의 값으로 도출된다. 즉, 예측 블록의 샘플 값 predSamples[x, y]는 수학식 3과 같이 도출된다.
수학식 3
Figure PCTKR2013002201-appb-M000003
한편, 고해상도 및 고화질 영상을 지원하기 위해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있으며, 이에 따라 동일한 컨텐츠(content)를 다양한 품질로 이용할 수 있게 되었다. 즉, 영상 기기가 지원하는 영상의 품질 및 (영상 기기가) 이용하는 네트워크가 다양해짐으로써, 어떤 환경에서는 일반 품질의 영상이 이용되지만, 다른 환경에서는 높은 품질의 영상이 이용될 수 있다. 예를 들어, 휴대 단말에서 비디오 컨텐츠를 구매한 소비자가 가정 내 디스플레이(예컨대, 디지털 TV)를 통해 동일한 컨텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있다. 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해, 영상의 품질에 스케일러빌러티(scalability)를 제공할 수 있다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, '스케일러블 코딩'이라 함)에서는 입력 신호들을 계층별로 처리할 수 있다. 계층에 따라 입력 신호(입력 영상)들은 해상도(resolution), 프레임 레이트(frame rate), 비트 깊이(bit-depth), 컬러 포맷(color format), 애스팩트 율(aspect ratio) 중 적어도 하나가 상이할 수 있다.
이하에서 스케일러블 코딩은 스케일러블 부호화와 스케일러블 복호화를 포함한다. 스케일러블 코딩에서는 계층 간의 차이를 이용하여, 즉 스케일러빌러티에 기반하여, 계층 간 예측(inter-layer prediction)을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높일 수 있다.
상술한 바와 같이, 기존의 인트라 예측에서는 이용 가능하지 않은 주변 참조 샘플을 이용 가능한 다른 주변 참조 샘플로 대체한다. 그러나, 이용 가능하지 않은 참조 샘플이 연속으로 존재하는 경우, 대체되는 참조 샘플이 예측 대상 블록의 특성을 충분히 반영하지 않을 수 있다. 따라서, 본 발명에서는 다계층(multi-layer) 구조에 기반한 스케일러블 코딩에서 이미 복원된 참조 계층의 샘플들을 이용하는 인트라 예측 방법을 제안한다. 즉, 상위 계층의 이용 불가능한 참조 샘플들을 대응되는 참조 계층의 샘플들로 대체하여 인트라 예측을 수행하는 방법을 제안한다. 제안되는 방법에 따르면, 대체되는 참조 샘플이 예측 대상 블록의 특성을 더욱 충분히 반영할 수 있으므로, 인트라 예측의 부호화 효율이 높아진다.
도 7은 본 발명의 일 실시예에 따른 다계층 영상을 위한 인트라 예측 방법을 나타낸 흐름도이다.
블록 예측부는 현재 계층에서의 예측 대상 블록의 인트라 예측 모드를 도출한다(S710). 다계층 영상 시스템에서는 기본적으로 제공되는 기본(basic) 계층과 추가적으로 제공되는 향상(enhancement) 계층이 제공된다. 기본 계층은 하위 계층, 참조 계층 등으로, 향상 계층은 상위 계층, 현재 계층 등으로 불릴 수 있다. 이하에서는 향상 계층에서의 스케일러블 코딩을 명확하게 설명하기 위해, 기본 계층을 참조 계층으로, 향상 계층을 현재 계층으로 부르기로 한다.
블록 예측부는 현재 계층에서의 예측 대상 블록의 주변 참조 샘플들 중 이용 가능하지 않은 참조 샘플을 참조 계층에 기반하여 대체한다(S720). 즉, 상기 현재 계층에 대한 참조 계층에 기반하여 상기 예측 대상 블록의 이용 가능하지 않은 참조 샘플에 대한 대체 샘플을 생성한다.
한편, 현재 계층과 참조 계층은 입력 영상의 크기가 다를 수 있다. 일반적으로 향상 계층인 현재 계층의 입력 영상의 크기는 기본 계층인 참조 계층의 입력 영상의 크기보다 크므로, 참조 계층의 영상은 현재 계층과의 비율에 기반하여 업 샘플링(up-sampling)되어 사용되어야 한다. 따라서, 참조 계층의 샘플 값에 기반한 참조 샘플의 대체 과정(S720)은 참조 계층 영상의 업 샘플링 과정을 포함할 수 있다. 상기 업 샘플링 과정은 픽쳐 단위로 수행되지만, 그보다 작은 단위(예컨대, LCU(largest coding unit), 블록)로 수행될 수도 있다. 이하에서는 참조 계층 영상의 업 샘플링 과정 등을 통해 현재 계층과 참조 계층의 입력 영상 크기는 같다고 가정한다.
도 8 내지 10는 본 발명의 일 실시예에 따른 참조 계층에 기반한 현재 계층에서의 참조 샘플 대체를 나타낸다.
도 8을 참조하면, 현재 계층에서의 예측 대상 블록의 좌하단 참조 샘플들은 이용 가능하지 않다. 블록 예측부는 현재 계층에서의 예측 대상 블록의 좌하단 참조 샘플들을 참조 계층에서 예측 대상 블록과 대응되는 블록의 좌하단 참조 샘플들로 대체할 수 있다. 즉, 현재 계층에서 (-1, 8)부터 (-1, 15)까지 위치한 참조 샘플들이 이용 가능하지 않은 경우, 해당 참조 샘플들의 값은 업 샘플링된 참조 계층에서 (-1, 8)부터 (-1, 15)까지 위치하는 참조 샘플들의 값으로 대체될 수 있다.
도 9를 참조하면, 현재 계층에서의 예측 대상 블록의 우상단 참조 샘플들은 이용 가능하지 않다. 블록 예측부는 현재 계층에서의 예측 대상 블록의 우상단 참조 샘플들을 참조 계층에서 예측 대상 블록과 대응되는 블록의 우상단 참조 샘플들로 대체할 수 있다. 즉, 현재 계층에서 (8, -1)부터 (15, -1)까지 위치한 참조 샘플들이 이용 가능하지 않은 경우, 해당 참조 샘플들의 값은 업 샘플링된 참조 계층에서 (8, -1)부터 (15, -1)까지 위치하는 참조 샘플들의 값으로 대체될 수 있다.
도 10을 참조하면, 현재 계층에서의 예측 대상 블록의 좌하단 참조 샘플들과 우상단 참조 샘플들은 이용 가능하지 않다. 블록 예측부는 현재 계층에서의 예측 대상 블록의 좌하단 참조 샘플들 및 우상단 참조 샘플들을 참조 계층에서 예측 대상 블록과 대응되는 블록의 좌하단 참조 샘플들 및 우상단 참조 샘플들로 대체할 수 있다. 즉, 현재 계층에서 (-1, 8)부터 (-1, 15)까지 위치한 참조 샘플들과 (8, -1)부터 (15, -1)까지 위치한 참조 샘플들이 이용 가능하지 않은 경우, 해당 참조 샘플들의 값은 업 샘플링된 참조 계층에서 (-1, 8)부터 (-1, 15)까지 위치하는 참조 샘플들과 (8, -1)부터 (15, -1)까지 위치하는 참조 샘플들의 값으로 대체될 수 있다.
한편, 도 8 내지 10의 예에 있어서, 현재 계층에서의 예측 대상 블록의 좌하단 참조 샘플들 및/또는 우상단 참조 샘플들의 전부가 이용 가능하지 않을 수 있지만, 그 중 일부가 이용 가능하지 않을 수 있다. 일부의 참조 샘플이 이용 가능하지 않은 경우, 이용 가능하지 않은 참조 샘플은 참조 계층에서 대응되는 참조 샘플로 대체된다. 예를 들어, 현재 계층에서 (-1, 10)에 위치한 참조 샘플이 이용 가능하지 않은 경우, 해당 참조 샘플의 값은 업 샘플링된 참조 계층에서 (-1, 10)에 위치한 참조 샘플의 값으로 대체될 수 있다.
도 11 내지 도 13는 본 발명의 다른 일 실시예에 따른 참조 계층에 기반한 현재 계층에서의 참조 샘플 대체를 나타낸다.
도 11을 참조하면, 현재 계층에서의 예측 대상 블록의 좌측 경계에 인접하는 참조 샘플들(즉, 좌측/좌상단/좌하단 참조 샘플들)은 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 위치하는 등의 이유로 이용 가능하지 않다. 블록 예측부는 현재 계층에서의 예측 대상 블록의 좌측 경계에 인접하는 참조 샘플들을 참조 계층에서 예측 대상 블록과 대응되는 블록의 좌측 경계에 인접하는 참조 샘플들로 대체할 수 있다. 즉, 현재 계층에서 (-1, -1)부터 (-1, 15)까지 위치한 참조 샘플들이 이용 가능하지 않은 경우, 해당 참조 샘플들의 값은 업 샘플링된 참조 계층에서 (-1, -1)부터 (-1, 15)까지 위치하는 참조 샘플들의 값으로 대체될 수 있다.
도 12를 참조하면, 현재 계층에서의 예측 대상 블록의 상단 경계에 인접하는 참조 샘플들(즉, 상단/좌상단/우상단 참조 샘플들)은 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 위치하는 등의 이유로 이용 가능하지 않다. 블록 예측부는 현재 계층에서의 예측 대상 블록의 상단 경계에 인접하는 참조 샘플들을 참조 계층에서 예측 대상 블록과 대응되는 블록의 상단 경계에 인접하는 참조 샘플들로 대체할 수 있다. 즉, 현재 계층에서 (-1, -1)부터 (15, -1)까지 위치한 참조 샘플들이 이용 가능하지 않은 경우, 해당 참조 샘플들의 값은 업 샘플링된 참조 계층에서 (-1, -1)부터 (15, -1)까지 위치하는 참조 샘플들의 값으로 대체될 수 있다.
도 13을 참조하면, 현재 계층에서의 예측 대상 블록의 모든 참조 샘플들은 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 위치하는 등의 이유로 이용 가능하지 않다. 블록 예측부는 현재 계층에서의 예측 대상 블록의 참조 샘플들을 참조 계층에서 예측 대상 블록과 대응되는 블록의 참조 샘플들로 대체할 수 있다. 즉, 현재 계층에서 (-1, -1)부터 (-1, 15)까지 위치한 참조 샘플들과 (0, -1)부터 (15, -1)까지 위치한 참조 샘플들이 이용 가능하지 않은 경우, 해당 참조 샘플들의 값은 업 샘플링된 참조 계층에서 (-1, -1)부터 (-1, 15)까지 위치한 참조 샘플들과 (0, -1)부터 (15, -1)까지 위치한 참조 샘플들 값으로 대체될 수 있다.
한편, 도 11 내지 13의 예에 있어서, 현재 계층에서의 예측 대상 블록의 좌측 경계에 인접하는 참조 샘플들 및/또는 상단 경계에 인접하는 참조 샘플들의 전부가 이용 가능하지 않을 수 있지만, 그 중 일부가 이용 가능하지 않을 수 있다. 일부의 참조 샘플이 이용 가능하지 않은 경우, 이용 가능하지 않은 참조 샘플은 참조 계층에서 대응되는 참조 샘플로 대체된다. 예를 들어, 현재 계층에서 (-1, 5)에 위치한 참조 샘플이 이용 가능하지 않은 경우, 해당 참조 샘플의 값은 업 샘플링된 참조 계층에서 (-1, 5)에 위치한 참조 샘플의 값으로 대체될 수 있다.
도 14 내지 도 16는 본 발명의 또 다른 일 실시예에 따른 참조 계층에 기반한 현재 계층에서의 참조 샘플 대체를 나타낸다.
도 14를 참조하면, 현재 계층에서의 예측 대상 블록의 좌측 경계에 인접하는 참조 샘플들(즉, 좌측/좌상단/좌하단 참조 샘플들)은 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 위치하는 등의 이유로 이용 가능하지 않다. 현재 계층에서 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 위치하는 경우, 참조 계층에서 예측 대상 블록에 대응되는 블록도 픽쳐, 슬라이스 또는 타일 경계에 위치할 확률이 높다. 예측 대상 블록에 대응되는 블록이 픽쳐, 슬라이스 또는 타일 경계에 위치하는 경우, 예측 대상 블록에 대응되는 블록의 주변 참조 픽셀도 이용 가능하지 않다. 따라서, 블록 예측부는 현재 계층에서의 예측 대상 블록의 좌측 경계에 인접하는 참조 샘플들을 참조 계층에서 상기 참조 샘플들에 대응되는 샘플들에 인접하는 샘플들로 대체할 수 있다. 즉, 현재 계층에서 (-1, -1)부터 (-1, 15)까지 위치한 참조 샘플들이 이용 가능하지 않은 경우, 해당 참조 샘플들의 값은 업 샘플링된 참조 계층에서 (0, -1)부터 (0, 15)까지 위치하는 샘플들의 값으로 대체될 수 있다.
도 15를 참조하면, 현재 계층에서의 예측 대상 블록의 상단 경계에 인접하는 참조 샘플들(즉, 상단/좌상단/우상단 참조 샘플들)은 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 위치하는 등의 이유로 이용 가능하지 않다. 따라서, 블록 예측부는 현재 계층에서의 예측 대상 블록의 상단 경계에 인접하는 참조 샘플들을 참조 계층에서 상기 참조 샘플들에 대응되는 샘플들에 인접하는 샘플들로 대체할 수 있다. 즉, 현재 계층에서 (-1, -1)부터 (15, -1)까지 위치한 참조 샘플들이 이용 가능하지 않은 경우, 해당 참조 샘플들의 값은 업 샘플링된 참조 계층에서 (-1, 0)부터 (15, 0)까지 위치하는 샘플들의 값으로 대체될 수 있다.
도 16을 참조하면, 현재 계층에서의 예측 대상 블록의 모든 참조 샘플들은 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 위치하는 등의 이유로 이용 가능하지 않다. 블록 예측부는 현재 계층에서의 예측 대상 블록의 참조 샘플들을 참조 계층에서 상기 참조 샘플들에 인접하는 샘플들로 대체할 수 있다. 즉, 현재 계층에서 (-1, -1)부터 (-1, 15)까지 위치한 참조 샘플들과 (0, -1)부터 (15, -1)까지 위치한 참조 샘플들이 이용 가능하지 않은 경우, (-1, -1)에 위치한 참조 샘플은 (0, 0)에 위치하는 샘플로, (-1, 0)부터 (-1, 15)까지 위치한 참조 샘플들은 (0, 0)부터 (0, 15)까지 위치하는 샘플들로, (0, -1)부터 (15, -1)까지 위치한 참조 샘플들은 (0, 0)부터 (15, 0)까지 위치한 참조 샘플들로 대체될 수 있다.
한편, 도 14 내지 16의 예에 있어서, 현재 계층에서의 예측 대상 블록의 좌측 경계에 인접하는 참조 샘플들 및/또는 상단 경계에 인접하는 참조 샘플들의 전부가 이용 가능하지 않을 수 있지만, 그 중 일부가 이용 가능하지 않을 수 있다. 일부의 참조 샘플이 이용 가능하지 않은 경우, 이용 가능하지 않은 참조 샘플은 참조 계층에서 상기 참조 샘플에 인접하는 샘플로 대체된다. 예를 들어, 현재 계층에서 (-1, 5)에 위치한 참조 샘플이 이용 가능하지 않은 경우, 해당 참조 샘플의 값은 업 샘플링된 참조 계층에서 (0, 5)에 위치한 참조 샘플의 값으로 대체될 수 있다.
참조 샘플의 대체 과정(S720)은 모든 참조 샘플이 이용 가능한 경우, 수행되지 않을 수 있다. 따라서, 참조 샘플의 이용 가능 여부를 확인하는 과정이 참조 샘플의 대체 과정(S720) 전에 수행될 수 있다. 예를 들어, 블록 예측부는 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 인접하는지를 확인하여 참조 샘플의 이용 가능 여부를 결정할 수 있다.
다시 도 7을 참조하면, 블록 예측부는 예측 대상 블록에 대한 인트라 예측을 수행하여 예측 블록을 생성한다(S730).
상술한 바와 같이, HEVC 기반의 비디오 압축 시스템에서는 인트라 예측으로 Intra_Planar 모드와 Intra_DC 모드와 같은 비방향성 모드와 33개의 방향성 모드를 지원한다. 블록 예측부는 35개의 모드들 중에서 단계 S710에서 도출된 모드에 기반하여 인트라 예측을 수행한다. 이때, 단계 S720에서 참조 계층의 샘플 값에 기반하여 대체된 현재 계층에서의 참조 샘플이 사용될 수 있다.
도 17은 본 발명의 다른 일 실시예에 따른 다계층 영상 시스템에서의 인트라 예측 방법을 나타낸 흐름도이다.
인트라 예측 모드를 도출하는 단계(S1710)과 인트라 예측을 수행하는 단계(S1730)에서의 블록 예측부의 동작은 도 7을 통해 상술한 바와 같다.
그러나, 참조 샘플을 대체하는 단계(S1720)에서 블록 예측부는 기존의 참조 샘플의 대체 방식과 참조 계층의 샘플 값에 기반한 방식을 선택적으로 사용할 수 있다. 즉, 현재 계층에서 예측 대상 블록 주변의 이용 가능한 참조 샘플에 기반하여 이용 가능하지 않은 참조 샘플을 대체하거나, 참조 계층의 복원된 샘플에 기반하여 이용 가능하지 않은 참조 샘플을 대체할 수 있다. 두 방식 중 어떠한 방식이 사용되었음을 나타내는 지시자가 정의될 수 있으며, 상기 지시자는 구문(syntax)에 포함되어 부호화기에서 복호화기로 전송될 수 있다.
한편, 상술한 실시예들은 일련의 단계 또는 블록으로 표현된 순서도를 통해 설명되고 있으나, 본 발명은 상술한 단계들의 순서에 한정되는 것은 아니며, 일부의 단계는 다른 단계와, 다른 순서 또는 동시에 발생할 수 있다. 또한, 본 발명이 속하는 기술 분야의 통상의 지식을 가진자라면 순서도에 나타낸 단계들은 배타적이지 않으며, 다른 단계가 포함되거나, 일부의 단계가 삭제될 수 있음을 이해할 수 있을 것이다.
또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위해, 모든 가능한 조합을 기술할 수는 없지만, 본 발명이 속하는 기술 분야의 통상의 지식을 가진자라면 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (16)

  1. 다계층 영상을 위한 인트라 예측 방법에 있어서,
    향상 계층의 예측 대상 블록의 인트라 예측 모드를 도출(derivation)하는 단계;
    상기 향상 계층에 대한 참조 계층에 기반하여 상기 예측 대상 블록의 이용 가능하지 않은 참조 샘플에 대한 대체 샘플을 생성하는 단계; 및
    상기 인트라 예측 모드 및 상기 대체 샘플을 이용하여 상기 예측 대상 블록에 대한 예측 블록을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 참조 계층은 상기 향상 계층에 대응되는 기본 계층이 상기 향상 계층의 영상 크기에 기반하여 업 샘플링(up-sampling)된 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서,
    상기 대체 샘플은 상기 참조 계층에서 상기 이용 가능하지 않은 참조 샘플에 대응되는 샘플인 것을 특징으로 하는 방법.
  4. 제 2 항에 있어서,
    상기 대체 샘플은 상기 참조 계층에서 상기 이용 가능하지 않은 참조 샘플에 대응되는 샘플에 인접하는 샘플인 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서,
    상기 대체 샘플을 생성하는 단계는
    상기 예측 대상 블록의 참조 샘플들의 이용 가능 여부를 확인하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제 5 항에 있어서,
    상기 참조 샘플들의 이용 가능 여부는 상기 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 인접하는지에 기반하여 결정되는 것을 특징으로 하는 방법.
  7. 다계층 영상을 위한 인트라 예측 방법에 있어서,
    향상 계층의 예측 대상 블록의 인트라 예측 모드를 도출하는 단계;
    상기 예측 대상 블록의 이용 가능하지 않은 참조 샘플에 대한 대체 샘플을 생성하되, 상기 대체 샘플은 상기 예측 대상 블록의 이용 가능한 참조 샘플 또는 상기 향상 계층에 대한 참조 계층에 기반하여 생성되는 단계; 및
    상기 인트라 예측 모드 및 상기 대체 샘플을 이용하여 상기 예측 대상 블록에 대한 예측 블록을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서,
    상기 참조 계층은 상기 향상 계층에 대응되는 기본 계층이 상기 향상 계층의 영상 크기에 기반하여 업 샘플링(up-sampling)된 것을 특징으로 하는 방법.
  9. 제 8 항에 있어서,
    상기 대체 샘플은 상기 참조 계층에서 상기 이용 가능하지 않은 참조 샘플에 대응되는 샘플인 것을 특징으로 하는 방법.
  10. 제 8 항에 있어서,
    상기 대체 샘플은 상기 참조 계층에서 상기 이용 가능하지 않은 참조 샘플에 대응되는 샘플에 인접하는 샘플인 것을 특징으로 하는 방법.
  11. 예측 대상 블록에 대한 예측 블록을 생성하는 블록 예측부; 및
    영상 부호화기로부터 수신된 상기 예측 대상 블록에 대한 차분 블록에 상기 예측 블록을 가산하여 복원 블록을 생성하는 가산기를 포함하되,
    상기 블록 예측부는
    향상 계층의 예측 대상 블록의 인트라 예측 모드를 도출(derivation)하고;
    상기 향상 계층에 대한 참조 계층에 기반하여 상기 예측 대상 블록의 이용 가능하지 않은 참조 샘플에 대한 대체 샘플을 생성하고; 및
    상기 인트라 예측 모드 및 상기 대체 샘플을 이용하여 상기 예측 대상 블록에 대한 예측 블록을 생성하는 것을 특징으로 하는 영상 복호화기.
  12. 제 11 항에 있어서,
    상기 참조 계층은 상기 향상 계층에 대응되는 기본 계층이 상기 향상 계층의 영상 크기에 기반하여 업 샘플링(up-sampling)된 것을 특징으로 하는 영상 복호화기.
  13. 제 12 항에 있어서,
    상기 대체 샘플은 상기 참조 계층에서 상기 이용 가능하지 않은 참조 샘플에 대응되는 샘플인 것을 특징으로 하는 영상 복호화기.
  14. 제 12 항에 있어서,
    상기 대체 샘플은 상기 참조 계층에서 상기 이용 가능하지 않은 참조 샘플에 대응되는 샘플에 인접하는 샘플인 것을 특징으로 하는 영상 복호화기.
  15. 제 11 항에 있어서,
    상기 블록 예측부는 상기 예측 대상 블록의 참조 샘플들의 이용 가능 여부를 확인하는 것을 특징으로 하는 영상 복호화기.
  16. 제 15 항에 있어서,
    상기 참조 샘플들의 이용 가능 여부는 상기 예측 대상 블록이 픽쳐, 슬라이스 또는 타일 경계에 인접하는지에 기반하여 결정되는 것을 특징으로 하는 영상 복호화기.
PCT/KR2013/002201 2012-03-16 2013-03-18 다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치 WO2013137701A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/385,633 US20150092844A1 (en) 2012-03-16 2013-03-18 Intra-prediction method for multi-layer images and apparatus using same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20120026986 2012-03-16
KR10-2012-0026986 2012-03-16
KR10-2013-0028841 2013-03-18
KR1020130028841A KR20130105554A (ko) 2012-03-16 2013-03-18 다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치

Publications (1)

Publication Number Publication Date
WO2013137701A1 true WO2013137701A1 (ko) 2013-09-19

Family

ID=49161515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/002201 WO2013137701A1 (ko) 2012-03-16 2013-03-18 다계층 영상을 위한 인트라 예측 방법 및 이를 이용하는 장치

Country Status (1)

Country Link
WO (1) WO2013137701A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090015048A (ko) * 2006-05-05 2009-02-11 톰슨 라이센싱 스케일러블 비디오 코딩을 위한 간략화된 레이어간 모션 예측
KR20090037918A (ko) * 2006-07-11 2009-04-16 노키아 코포레이션 스케일러블 비디오 코딩
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
US20110280304A1 (en) * 2010-05-17 2011-11-17 Lg Electronics Inc. Intra prediction modes
KR20120018506A (ko) * 2010-08-23 2012-03-05 한국전자통신연구원 스케일러블 비디오 코덱의 압축 효율 향상을 위한 템플릿 매칭 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090015048A (ko) * 2006-05-05 2009-02-11 톰슨 라이센싱 스케일러블 비디오 코딩을 위한 간략화된 레이어간 모션 예측
KR20090037918A (ko) * 2006-07-11 2009-04-16 노키아 코포레이션 스케일러블 비디오 코딩
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
US20110280304A1 (en) * 2010-05-17 2011-11-17 Lg Electronics Inc. Intra prediction modes
KR20120018506A (ko) * 2010-08-23 2012-03-05 한국전자통신연구원 스케일러블 비디오 코덱의 압축 효율 향상을 위한 템플릿 매칭 방법 및 장치

Similar Documents

Publication Publication Date Title
CN112042188B (zh) 用于视频压缩中非正方形块的帧内预测的方法和装置
WO2012057528A2 (ko) 적응적 화면내 예측 부호화 및 복호화 방법
WO2013062191A1 (ko) 인트라 예측 모드에서의 영상 부호화 방법 및 장치
WO2013062196A1 (ko) 영상 복호화 장치
CN111955007A (zh) 视频解码的方法和装置
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
TWI519138B (zh) An image processing apparatus, an image processing method, a program, and a recording medium
WO2013141671A1 (ko) 인터 레이어 인트라 예측 방법 및 장치
WO2013069932A1 (ko) 영상의 부호화 방법 및 장치, 및 복호화 방법 및 장치
WO2013002549A2 (ko) 영상 부호화/복호화 방법 및 장치
CN111989918A (zh) 用于视频压缩中多线帧内预测的方法及装置
WO2012091461A2 (ko) 주변블록의 특징벡터를 이용한 영상 부호화/복호화 방법 및 장치
CN112823521A (zh) 使用基于历史的运动信息的图像编码方法及其装置
WO2012093854A2 (ko) 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
CN112235581B (zh) 视频解码方法、装置、存储介质及电子设备
CN113892270A (zh) 在变换跳过模式和多变换选择之间进行协调的方法和装置
US20190020877A1 (en) Image processing apparatus and method
JP2023090864A (ja) エンコーダ、デコーダ、及びデブロッキングフィルタの境界強度導出の対応する方法
JP7314300B2 (ja) イントラ予測のための方法および装置
CN113557527A (zh) 通用视频编解码中色彩变换的方法和装置
US20140037002A1 (en) Image processing apparatus and image processing method
WO2018074626A1 (ko) 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
CN113574894A (zh) 用于帧内预测模式与块差分脉冲编码调制模式之间交互的方法和装置
WO2018070556A1 (ko) 정방형 또는 직방형 블록의 화면 내 예측모드 정보 추출 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13761484

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14385633

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13761484

Country of ref document: EP

Kind code of ref document: A1