WO2012064120A2 - 복호 영상 버퍼 압축장치 및 그 압축방법 - Google Patents

복호 영상 버퍼 압축장치 및 그 압축방법 Download PDF

Info

Publication number
WO2012064120A2
WO2012064120A2 PCT/KR2011/008548 KR2011008548W WO2012064120A2 WO 2012064120 A2 WO2012064120 A2 WO 2012064120A2 KR 2011008548 W KR2011008548 W KR 2011008548W WO 2012064120 A2 WO2012064120 A2 WO 2012064120A2
Authority
WO
WIPO (PCT)
Prior art keywords
decoded image
block size
compression
additional information
image buffer
Prior art date
Application number
PCT/KR2011/008548
Other languages
English (en)
French (fr)
Other versions
WO2012064120A3 (ko
Inventor
송진한
임정연
최윤식
김용구
최영호
홍순기
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Publication of WO2012064120A2 publication Critical patent/WO2012064120A2/ko
Publication of WO2012064120A3 publication Critical patent/WO2012064120A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • An embodiment of the present invention relates to a decoded image buffer compression device and a compression method thereof. More specifically, by setting the size of the execution block adaptively in consideration of the local pixel value distribution of the image, reducing the bit depth of the decoded image through adaptive scaling, and efficiently storing the additional information generated accordingly
  • the present invention relates to a decoded image buffer compression apparatus and a method of compressing the same, which can effectively reduce the amount of internal memory used to store decoded images in an image encoder and a decoder.
  • an adaptive loop filter technique which improves compression efficiency by reducing an error of a decoded image used as a reference image through an optimal reconstruction filter is performed.
  • Filtering-based methods such as the Adaptive Interpolation Filter (AIF), which improves the compression efficiency by applying the adaptive interpolation filter to the reference image to increase the accuracy of the motion vector, overcome the limitations of existing image compression techniques.
  • AIF Adaptive Interpolation Filter
  • the result is a significant improvement in compression performance. Therefore, in recent years, Toshiba Inc. has focused on improving the performance of arithmetic operations by internally increasing the bit depth of externally provided signals to achieve higher performance.
  • An internal bit depth increase (IBDI) method is proposed to increase the internal bit depth of an image decoder / encoder. As the internal computation accuracy is increased by the proposed IBDI method, the compression performance of the conventional ALF and AIF filtering techniques is further improved.
  • the IBDI technique requires a large increase in internal bit depth in both the encoder and the decoder, which causes a large increase in internal memory requirements.
  • the video to be encoded has a very high resolution such as Ultra High Definition (UHD) (4K (4320x2160), 8K (7680x4320)), or a mobile terminal with limited memory resources. This is a very important problem in the decoder.
  • UHD Ultra High Definition
  • Toshiba Inc. in order to solve the problem of internal memory increase when IBDI is used, divides the image into fixed size regions as shown in FIG. 1 and then adaptively rounds using the statistical characteristics of the divided regions.
  • a decoded image buffer compression technique (Adaptive scaling technique) that reduces the bit depth of memory by performing.
  • the internal operation is performed with 12 bit accuracy while the internal memory of the decoded image plane is It was able to maintain 7.71 bits, which is lower than 8 bits per pixel, resulting in a very low compression efficiency of 0.13%.
  • a method of performing compression by applying adaptive scaling to an 8-bit decoded image having an internal bit depth of 4 bits increased through IBDI using a fixed block size unit of 4 ⁇ 4 is as follows.
  • the dynamic range R is determined by calculating the difference between max and (M ⁇ 4).
  • the number of internal memories used in the actual video will be determined by the distribution of the case where the flag is 0 and the case where the flag is 1, but assuming that the distribution is 1: 1, an average of 126 bits of internal memory is required per block. This translates into 7.875 bits in terms of required memory per pixel.
  • adaptive scaling has solved some of the internal memory growth problems caused by IBDI, it is a flag that determines whether S stored in units of 4x4 blocks is equal to the internal bit increment of IBDI, and a 2-bit shift value S. And, there is a problem that the degree of performance improvement of adaptive scaling is limited by the amount of additional information such as the 8-bit minimum value M.
  • An embodiment of the present invention was devised to efficiently solve the above-described problem, and sets an adaptive scaling block size corresponding to an encoding characteristic of an image, and stores additional information efficiently by using correlation between additional information. It is an object of the present invention to provide an apparatus and method which can be used.
  • an adaptive block size determining unit for adjusting the block size of the compression performed on the decoded image buffer based on the local pixel value distribution of the image
  • a decoded image buffer compression unit configured to perform adaptive scaling to reduce the bit depth of the decoded image by using the block size determined by the adaptive block size determiner as an execution unit
  • an additional information storage unit configured to store additional information including a minimum pixel value and an adaptive shift value of the decoded image generated by the decoded image buffer compression unit.
  • the adaptive block size determiner is configured to perform decoding on the decoded image buffer based on a quad-tree segmentation method through rate-distortion optimization between the deterioration of image quality and the amount of additional information.
  • the block size of the compression operation on the buffer can be varied.
  • the adaptive block size determiner may determine the block size of the compression operation on the decoded image buffer by using the encoding information including the size of the transform matrix of the current frame and the block size for motion prediction / compensation as contextual information. have.
  • the additional information storage unit may reduce the amount of additional information generated by using spatial predictive coding based on statistical similarity between adjacent performance blocks.
  • the additional information storage unit may reduce additional information generated by using statistical prediction encoding according to a frequency of occurrence.
  • the block size adjusting step is a block of performing compression on the decoded image buffer based on the quad-tree partitioning method through the rate-distortion optimization between the deterioration of image quality and the additional information amount caused by the compression on the decoded image buffer.
  • the size can vary.
  • the adaptive block size adjustment step may determine the block size of the compression operation on the decoded image buffer by using the encoding information including the size of the transform matrix of the current frame and the block size for motion prediction / compensation as contextual information. Can be.
  • the additional information storing step may reduce the amount of additional information generated by using spatial predictive coding based on statistical similarity between adjacent performing blocks in the case of the minimum pixel value of the additional image.
  • the additional information storing step in the case of the shift value of the additional image, the additional information generated by using statistical prediction encoding according to the frequency of occurrence may be reduced.
  • the size of an execution block is adaptively set in consideration of the local pixel value distribution of an image, the bit depth of the decoded image is reduced through adaptive scaling, and the additional information generated accordingly is efficiently saved.
  • the use of the internal memory for storing the decoded video in the image encoder and the decoder can be effectively reduced.
  • 1 is a diagram illustrating a concept of a method of applying adaptive scaling in units of fixed size blocks.
  • FIG. 2 is a diagram schematically illustrating a decoded image buffer compression apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of a quad-tree information structure according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a concept of an adaptive scaling method of a variable block for an image using the quad-tree of FIG. 3.
  • FIG. 5 is a diagram illustrating an example of a context template for efficiently storing an 8 bit depth minimum value.
  • FIG. 6 is a diagram illustrating a relationship between a dynamic range of a pixel value and a shift value.
  • FIG. 7 is a flowchart illustrating a decoded image buffer compression method according to an embodiment of the present invention.
  • a video encoding apparatus (Video Encoding Apparatus), a video decoding apparatus (Video Decoding Apparatus) to be described below is a personal computer (PC), notebook computer, personal digital assistant (PDA), portable multimedia player (PMP) : Portable Multimedia Player (PSP), PlayStation Portable (PSP: PlayStation Portable), Mobile Communication Terminal (Mobile Communication Terminal), and the like, and may be used to encode a video or a communication device such as a communication modem for communicating with various devices or a wired or wireless communication network. It refers to various devices having various programs for decoding and a memory for storing data, a microprocessor for executing and controlling a program.
  • PC personal computer
  • PDA personal digital assistant
  • PMP portable multimedia player
  • PSP Portable Multimedia Player
  • PSP PlayStation Portable
  • Mobile Communication Terminal Mobile Communication Terminal
  • the image encoded in the bitstream by the video encoding apparatus is real-time or non-real-time through the wired or wireless communication network, such as the Internet, local area wireless communication network, wireless LAN network, WiBro network, mobile communication network, or the like, and a cable, universal serial bus (USB: Universal
  • the image decoding apparatus may be transmitted to a video decoding apparatus through a communication interface such as a serial bus, decoded by the video decoding apparatus, reconstructed, and played back.
  • the decoded image buffer compression apparatus 200 includes an adaptive block size determiner 210, a decoded image buffer compressor 220, and an additional information storage 230.
  • the adaptive block size determiner 210 adjusts a block size for performing decoded image buffer compression based on a local pixel value distribution of an image.
  • additional information such as a block minimum pixel value and an adaptive shift value is generated for a performance block
  • setting a smaller execution block size increases the amount of additional information that is generated.
  • the execution block size is set large, the amount of additional information is greatly reduced, but the dynamic range of pixel values included in the execution block increases, resulting in deterioration of image quality for decoded image compression.
  • the execution block size setting in the decoded image buffer compression method using the adaptive scaling method is an important key for suggesting an optimal balance point in terms of compression efficiency and image quality deterioration.
  • an embodiment of the present invention provides an adaptive block size setting technique for an image using a quad-tree based image segmentation method as shown in FIG. 3.
  • the quad-tree splitting method proceeds to a bottom-up rate-distortion optimization process as follows.
  • Whether or not to combine four lower layer blocks B l-1, m into one upper block B l is selected in terms of rate-distortion optimization through Equation 1 below.
  • Equation 1 ⁇ D 1 represents an error amount that increases when four lower blocks are added to one upper block, and ⁇ R 1 represents an amount of additional information that decreases when adding one lower block.
  • the constant ⁇ is a Lagrange multiplier to find the best point in terms of rate-distortion.
  • the Lagrange multiplier ⁇ is adaptively changed by bit rate constraints in the encoding process, and is adaptively changed by coding structures (I, P, and B frame structures) and quantization parameters (QP). Therefore, as shown in FIG. 4, since the amount of additional information decreases when the four lower blocks are summed into one upper block, the amount of additional information is larger than that of the increased error. Done.
  • the size of the buffer compression block is determined by using the preceding encoding information such as the size of the transform matrix of the current frame and the block size for motion prediction / compensation as contextual information.
  • the method was implemented. That is, in the step of performing decoded image compression, prior information such as the size of a transform matrix used for transforming an image and a block size for motion prediction / compensation are determined. In this case, since the size of the transform matrix and the block size for motion prediction / compensation are appropriately selected according to the constituent characteristics of the image in the encoder, the adaptive block size determiner 210 determines the size of the transform matrix or the block size for motion prediction / compensation. In the same manner as described above, a method of setting a block size for performing compression on a decoded image may be used.
  • the decoded image buffer compressor 220 compresses the decoded image buffer in units of execution blocks provided by the adaptive block size determiner 210.
  • the decoded image buffer is compressed by using an adaptive scaling method, and the result of performing the adjustment is to adjust the decoded image pixel value, the minimum pixel value in the execution block, and the dynamic range of the pixel value to the target range. For the shift value.
  • the two additional pieces of information are separately stored in the decoded image buffer area.
  • the additional information storage unit 230 stores the additional information using spatial similarity with the adjacent execution block.
  • the additional information storage unit 230 is an element for efficiently storing additional information generated through decoded image compression. As shown in FIG. 4, the additional information generated through the decoded image compression is M representing the minimum pixel value of the performance block and S representing the shift value for adjusting the dynamic range of the performance block to the target range.
  • FIG. 5 is a diagram illustrating an example of a context template for efficiently storing an 8 bit depth minimum value.
  • the following equation is used by using a neighboring block adjacent to the current execution block as a context information template as shown in FIG. 5.
  • Equation 2 M C represents the minimum pixel value of the current block, M A represents the minimum pixel value of the left block, and M B represents the minimum pixel value of the upper block. Therefore, the predicted pixel value M Perd of the current execution block is generated using the property that the statistical characteristics of the neighboring block and the neighboring neighbor block are similar, and the difference value (M ') from the minimum pixel value M C of the current execution block. Store only C ).
  • FIG. 6 is a diagram illustrating a relationship between a dynamic range of a pixel value and a shift value, in which (a) shows a case where a dynamic range of an image is shorter than a target range, and (b) shows a dynamic range of an image.
  • the interval is longer than the target interval and shorter than twice the target interval.
  • an embodiment of the present invention proposes a method of generating a variable length code according to the frequency of occurrence of S and using the same.
  • Table 1 is a Trunked Unary Code generated according to the frequency of occurrence of S.
  • FIG. 7 is a flowchart illustrating a decoded image buffer compression method using the decoded image buffer compression apparatus of FIG. 2.
  • the adaptive block size determiner 210 adjusts a block size for performing decoded image buffer compression based on a local pixel value distribution of an image (S710).
  • the adaptive block size determiner 210 performs a compression on the decoded image buffer based on a quad-tree partitioning method through the rate-distortion optimization between the deterioration of image quality and the amount of additional information generated by compressing the decoded image buffer. It is possible to vary the block size of the compression operation.
  • the adaptive block size determiner 210 performs compression on the decoded image buffer by using the preceding encoding information including the size of the transform matrix of the current frame and the block size for performing motion prediction / compensation as contextual information. The size can be determined.
  • the decoded image buffer compressor 220 performs adaptive scaling to reduce the bit depth of the decoded image by using the block size determined by the adaptive block size determiner 210 as an execution unit (S720).
  • the decoded image buffer is compressed by using an adaptive scaling method, and the result of performing the adjustment is to adjust the decoded image pixel value, the minimum pixel value in the execution block, and the dynamic range of the pixel value to the target range. For the shift value.
  • the two additional pieces of information are separately stored in the decoded image buffer area.
  • the additional information storage unit 230 stores the additional information using spatial similarity with the adjacent execution block (S730).
  • the additional information storage unit 230 may reduce the amount of additional information generated by using spatial predictive coding based on statistical similarity between adjacent performing blocks in the case of the minimum pixel value of the additional image. In addition, in the case of the shift value of the additional image, the additional information storage unit 230 may reduce additional information generated by using statistical predictive encoding according to a frequency of occurrence.
  • the embodiment of the present invention adaptively sets the size of the execution block in consideration of the local pixel value distribution of the image, and reduces the bit depth of the decoded image through adaptive scaling.
  • an image encoder and a decoder are useful to generate an effect of effectively reducing the amount of internal memory used for storing a decoded image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

복호 영상 버퍼 압축장치 및 그 압축방법이 개시된다. 본 발명의 실시예에 따른 복호 영상 버퍼 압축장치는, 영상의 국지적 화소값 분포에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 조절하는 적응적 블록크기 결정부; 적응적 블록크기 결정부에 의해 결정된 블록 크기를 수행단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링(Adaptive scaling)을 수행하는 복호 영상 버퍼 압축부; 및 복호 영상 버퍼 압축부에서 발생한 복호 영상의 최소 화소값과 적응적 시프트(Shift value) 값을 포함하는 부가정보를 저장하는 부가정보 저장부를 포함하는 것을 특징으로 한다.

Description

복호 영상 버퍼 압축장치 및 그 압축방법
본 발명의 실시예는 복호 영상 버퍼 압축장치 및 그 압축방법에 관한 것이다. 보다 상세하게는, 영상의 국지적 화소값 분포를 고려하여 적응적으로 수행 블록의 크기를 설정하고, 적응적 스케일링을 통해 복호 영상의 비트 깊이를 감소시키며, 그에 따라 발생하는 부가 정보를 효율적으로 저장함으로써 영상 부호화기 및 복호화기에서 복호 영상의 저장을 위한 내부 메모리의 사용량을 효과적으로 줄일 수 있는 복호 영상 버퍼 압축장치 및 그 압축방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 비디오 부호기의 압축 성능 향상을 위해 다양한 기법들이 연구되고 있는데, 그 중 최적 복원 필터를 통해 참조 영상으로 사용되는 복호 영상의 에러를 감소시킴으로써 압축 효율을 높이는 적응적 루프 필터 기법(ALF: Adaptive Loop Filter), 참조 영상에 적응적 보간 필터를 적용하여 움직임 벡터의 정확성을 높임으로써 압축 효율을 높이는 적응적 보간 필터 기법(AIF: Adaptive Interpolation Filter) 등의 필터링 기반 방식들은 기존의 영상 압축 기술들의 한계를 극복하여 괄목할 만한 압축 성능 향상을 보여주었다. 따라서 최근 Toshiba Inc.에서는 이러한 필터링을 수행함에 있어 외부로부터 제공되는 신호의 비트 깊이(bit depth)를 내부적으로 증가시켜 산술 연산의 정확성을 높이는 방법으로 더 높은 성능 향상을 이룰 수 있는 점에 착안하여, 영상 복/부호기의 내부 비트 깊이를 증가시키는 내부 비트 깊이 증가 기법(IBDI: Internal Bit Depth Increase)을 제안하였다. 제안한 IBDI 기법을 통해 내부 연산 정확성이 증가함으로써 기존의 ALF와 AIF 등의 필터링을 사용하는 기술들의 압축 성능이 더욱 향상되는 결과를 얻을 수 있었다.
하지만 IBDI 기법은 부호기와 복호기에서 모두 내부 비트 깊이를 증가시켜야 하기 때문에 내부 메모리 필요량이 크게 증가하는 문제가 발생한다. 예를 들어 8 bit의 원본 영상을 12bit으로 증가시켰을 때, 내부 연산을 위한 메모리의 필요량과 메모리 대역은 모두 1.5배 증가한다. 이러한 내부 메모리 필요량이 증가하는 문제는 부호화 대상이 되는 비디오가 UHD(Ultra High Definition)(4K(4320x2160), 8K(7680x4320))와 같이 매우 높은 해상도를 가지는 경우나, 메모리 자원이 한정되어 있는 휴대용 단말기 등의 복호기에서는 매우 중요한 문제이다.
따라서 Toshiba Inc.는 IBDI를 사용하였을 때의 내부 메모리 증가 문제를 해결하기 위해서, 도 1과 같이 영상을 고정된 크기의 영역으로 분할한 후 분할 영역의 통계적 특성을 이용하여 적응적으로 라운딩(Rounding)을 수행하여 메모리의 비트 깊이를 줄이는 복호 영상 버퍼 압축 기법(Adaptive scaling 기법)을 제안하였다. 실제로 영상을 4x4 단위의 고정 크기 영역으로 분할한 후, 각각의 영역에 적응적 스케일링(Adaptive scaling) 기법을 적용한 경우, 내부 연산은 12 비트(bit)정확도로 수행하면서도 복호 영상 플레인의 내부 메모리는 기존의 화소 당 8 비트보다 낮은 7.71 비트를 유지할 수 있었으며, 이로 인해 감소하는 압축 감소하는 압축 효율은 평균적으로 0.13%로 매우 미미한 수준이다.
구체적으로 4 x 4의 고정된 블록 크기 단위로 IBDI를 통해 4 비트의 내부 비트 깊이가 증가한 8 비트 복호 영상에 적응적 스케일링을 적용하여 압축을 수행하는 방법을 살펴보면 다음과 같다.
(1) 4x4 블록 내의 16개 화소값 중 최소값 min과 최대값 max를 찾는다.
(2) 12 비트 깊이인 min을 8 비트 깊이의 값(M = min >> 4 )으로 변환한다.
(3) max와 (M<<4)의 차이를 계산하여 동적 범위(dynamic range) R을 결정한다.
(4) R이 (128<<S)보다 작은 최소의 S를 찾는다.
(5) 만약 S가 4와 같다면, 16 개의 화소를 P(=(pixel_value+8)>>4)로 변환하여 화소당 8 비트로 저장하고, M을 0으로 셋팅한다(이런 경우는 아래 설명에서 flag=1로 두어 다른 경우와 구분한다). S가 4보다 작은 경우에는 16 개의 화소를 P(=(pixel_value-(M<<4))>>S)로 변환하여 화소당 7 비트로 저장하고, S(2 비트), M(8 비트) 또한 저장한다.
따라서 위의 방법을 통해 한 4x4 블록에 소요되는 총 내부 메모리를 살펴보면 다음과 같다.
우선 S가 IBDI의 내부 비트 증가량과 같은지(S=4인지)를 복호기에 알려주는데 플래그(flag) 1 비트가 소요된다. 앞서 설명한 바와 같이 이러한 경우(flag=0), 16개의 화소가 각기 4비트 시프트되어 8 비트로 저장되고, 따라서 1 비트(flag) + 16 x 8 비트(화소) = 129 비트의 메모리가 소요된다. 이와는 달리 S가 4보다 작은 경우에는(flag=1) 시프트 값(shift value) S를 저장하는데 2 비트의 메모리와 최소값 M을 저장하는데 8 비트, 마지막으로 16 개 화소를 저장하는데 7 비트의 내부 메모리가 소요되어 모두 1 비트(flag) + 2 비트(S) + 8 비트(M) + 16 x 7 비트(화소) = 123 비트의 내부 메모리가 필요하다. 실제 영상에서 사용되는 내부 메모리의 수는 플래그가 0인 경우와 플래그가 1인 경우의 분포에 따라 결정되겠지만, 이들의 분포가 1:1이라 가정하면, 블록당 평균 126 비트의 내부 메모리가 소요되며, 이를 화소당 소요 메모리로 환산하면 7.875 비트가 된다. 이렇듯 적응적 스케일링을 통해 IBDI에 의해 발생한 내부 메모리 증가 문제를 어느 정도 해결할 수 있었지만, 4x4 블록 단위로 저장되는 S가 IBDI의 내부 비트 증가량과 같은지를 판단하는 플래그, 2 비트 시프트 값(shift value) S, 그리고 8 비트 최소값 M과 같은 부가 정보량에 의해 적응적 스케일링의 성능 향상 정도가 제한되는 문제가 존재한다.
본 발명의 실시예는 전술한 문제점을 효율적으로 해결하기 위하여 창안된 것으로서, 영상의 부호화 특성에 부합하는 적응적 스케일링 수행 블록 크기를 설정하며, 부가 정보간의 상호 연관성을 이용하여 효율적으로 부가정보를 저장할 수 있는 장치 및 방법을 제공하는 것을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 복호 영상 버퍼 압축장치는, 영상의 국지적 화소값 분포에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 조절하는 적응적 블록크기 결정부; 적응적 블록크기 결정부에 의해 결정된 블록 크기를 수행단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링(Adaptive scaling)을 수행하는 복호 영상 버퍼 압축부; 및 복호 영상 버퍼 압축부에서 발생한 복호 영상의 최소 화소값과 적응적 시프트(Shift value) 값을 포함하는 부가정보를 저장하는 부가정보 저장부를 포함하는 것을 특징으로 한다.
여기서, 적응적 블록크기 결정부는, 복호 영상 버퍼에 대한 압축을 수행하여 발생하는 화질 열화와 부가 정보량 사이의 율-왜곡 최적 결정을 통한 쿼드-트리(Quad-tree) 분할방법에 기초하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 가변할 수 있다.
또한, 적응적 블록크기 결정부는, 현재 프레임의 변환행렬의 크기, 움직임 예측/보상을 수행하는 블록크기를 포함하는 선행 부호화 정보를 문맥정보로 하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 결정할 수 있다.
또한, 부가정보 저장부는, 부가 영상의 최소 화소값의 경우, 인접 수행 블록간의 통계적 유사성에 기반한 공간적 예측 부호화를 이용하여 발생하는 부가 정보량을 감소시킬 수 있다.
또한, 부가정보 저장부는, 부가 영상의 시프트 값의 경우, 발생 빈도에 따른 통계적 예측 부호화를 이용하여 발생하는 부가정보를 감소시킬 수 있다.
전술한 목적을 달성하기 위한 본 발명의 실시예에 따른 복호 영상 버퍼 압축방법은, 영상의 국지적 화소값 분포에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 조절하는 단계; 블록크기 조절단계에 의해 결정된 블록 크기를 수행단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링을 수행하는 단계; 및 적응적 스케일링 수행단계에서 발생한 복호 영상의 최소 화소값과 적응적 시프트 값을 포함하는 부가정보를 저장하는 단계를 포함하는 것을 특징으로 한다.
여기서, 블록크기 조절단계는, 복호 영상 버퍼에 대한 압축을 수행하여 발생하는 화질 열화와 부가 정보량 사이의 율-왜곡 최적 결정을 통한 쿼드-트리 분할방법에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 가변할 수 있다.
또한, 적응적 블록크기 조절단계는, 현재 프레임의 변환행렬의 크기, 움직임 예측/보상을 수행하는 블록크기를 포함하는 선행 부호화 정보를 문맥정보로 하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 결정할 수 있다.
또한, 부가정보 저장단계는, 부가 영상의 최소 화소값의 경우, 인접 수행 블록간의 통계적 유사성에 기반한 공간적 예측 부호화를 이용하여 발생하는 부가 정보량을 감소시킬 수 있다.
또한, 부가정보 저장단계는, 부가 영상의 시프트 값의 경우, 발생 빈도에 따른 통계적 예측 부호화를 이용하여 발생하는 부가정보를 감소시킬 수 있다.
본 발명의 실시예에 따르면, 영상의 국지적 화소값 분포를 고려하여 적응적으로 수행 블록의 크기를 설정하고, 적응적 스케일링을 통해 복호 영상의 비트 깊이를 감소시키며, 그에 따라 발생하는 부가 정보를 효율적으로 저장함으로써 영상 부호화기 및 복호화기에서 복호 영상의 저장을 위한 내부 메모리의 사용량을 효과적으로 줄일 수 있게 된다.
도 1은 고정 크기의 블록단위로 적응적 스케일링을 적용하는 방법의 개념을 설명하기 위해 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 복호 영상 버퍼 압축장치를 개략적으로 도시한 도면이다.
도 3은 본 발명의 실시예에 따른 쿼드-트리(Quad-tree) 정보 구조의 예를 나타낸 도면이다.
도 4는 도 3의 쿼드-트리를 이용한 영상에 대한 가변 블록의 적응적 스케일링 방법의 개념을 설명하기 위해 도시한 도면이다.
도 5는 8 비트 깊이 최소값을 효율적으로 저장하기 위한 문맥 템플릿의 예를 나타낸 도면이다.
도 6은 화소값의 동적 구간(Dynamin Range)과 시프트 값의 관계를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 복호 영상 버퍼 압축방법을 나타낸 흐름도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
이하에서 후술할 영상 부호화 장치(Video Encoding Apparatus), 영상 복호화 장치(Video Decoding Apparatus)는 개인용 컴퓨터(PC: Personal Computer), 노트북 컴퓨터, 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 플레이스테이션 포터블(PSP: PlayStation Portable), 이동통신 단말기(Mobile Communication Terminal) 등일 수 있으며, 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 영상을 부호화하거나 복호화하기 위한 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치를 의미한다.
또한, 영상 부호화 장치에 의해 비트스트림으로 부호화된 영상은 실시간 또는 비실시간으로 인터넷, 근거리 무선 통신망, 무선랜망, 와이브로망, 이동통신망 등의 유무선 통신망 등을 통하거나 케이블, 범용 직렬 버스(USB: Universal Serial Bus) 등의 통신 인터페이스를 통해 영상 복호화 장치로 전송되어 영상 복호화 장치에서 복호화되어 영상으로 복원되고 재생될 수 있다.
도 2는 본 발명의 실시예에 따른 복호 영상 버퍼 압축장치를 개략적으로 도시한 도면이다. 도면을 참조하면, 복호 영상 버퍼 압축장치(200)는 적응적 블록크기 결정부(210), 복호 영상 버퍼 압축부(220) 및 부가정보 저장부(230)를 포함한다.
적응적 블록크기 결정부(210)는 영상의 국지적 화소값 분포에 기반하여 복호 영상 버퍼 압축을 수행하기 위한 블록 크기를 조절한다. 적응적 스케일링 방법을 이용한 복호 영상 버퍼 압축은, 수행 블록에 대하여 블록 최소 화소값과 적응적 시프트 값 등의 부가정보가 발생하게 되므로 수행 블록 크기를 작게 설정하면 발생하는 부가 정보량이 증가하게 되어 복호 영상 버퍼 압축효과가 떨어지는 문제점이 존재한다. 반대로 수행 블록 크기를 크게 설정하면 부가 정보량은 크게 감소하지만, 수행 블록에 포함되어 있는 화소값의 동적 범위(dynamic range)가 증가하게 되어 복호 영상 압축에 위한 화질 열화가 발생하게 된다. 이렇듯 적응적 스케일링 방법을 이용한 복호 영상 버퍼 압축 방법에서 수행 블록 크기 설정은 압축 효율과 화질 열화 측면에서 최적의 균형점을 제시하기 위한 중요한 열쇠이다.
첫 번째로, 본 발명의 실시예에서는 도 3에 도시한 바와 같은 쿼드-트리(Quad-tree) 기반 영상 분할 방법을 이용하여 영상에 적응적 블록 크기 설정 기법을 제공한다. 쿼드-트리 분할 방법은 다음과 같이 바텀-업(bottom-up) 방식의 율-왜곡 최적화 과정으로 진행된다. 도 3에 나타낸 바와 같이 l 번째 계층(Layer 1) 블록 Bl의 하위 계층 블록인 4 개 Bl-1,m, m=0,...,3의 최적 쿼드-트리 구조를 알고 있다고 가정하고, 4 개의 하위 계층 블록 Bl-1,m을 하나의 상위 블록 Bl으로 합칠 것인지 아닌지를 아래의 수학식 1을 통해 율-왜곡 최적화 관점에서 선택한다.
수학식 1
Figure PCTKR2011008548-appb-M000001
수학식 1에서 ΔDl는 4 개의 하위 블록을 하나의 상위 블록으로 합하였을 때 증가하는 오류량을 나타내며 ΔRl는 하나의 상위 블록으로 합치면서 감소하는 부가 정보량을 나타낸다. 마지막으로 상수 λ는 율-왜곡 관점에서 최적점을 찾기 위한 라그랑지 승수(Lagrange multiplier)이다. 이러한 라그랑지 승수 λ는 부호화 과정에서의 비트율 제약에 의해 적응적으로 바뀌게 되는데, 부호화 구조(I, P, B frame structure)와 양자화 변수(Quantization Parameter: QP)에 의해 적응적으로 변화된다. 따라서 도 4에 나타난 바와 같이 영상의 평탄 면에서는 4개의 하위 블록을 하나의 상위 블록으로 합하였을 때 증가하는 오류량보다 부가 정보량의 감소량이 크게 되므로 하나의 큰 상위 블록으로 합쳐서 복호 영상 버퍼 압축을 수행하게 된다.
두 번째로, 본 발명의 실시예에서는 현재 프레임의 변환 행렬(Transform matrix)의 크기, 움직임 예측/보상을 수행하는 블록 크기 등의 선행 부호화 정보를 문맥정보로 하여 버퍼 압축 수행 블록의 크기를 결정하는 방법을 구현하였다. 즉, 복호 영상 압축을 수행하는 단계에서는 부호기에서 영상을 변환하기 위해 사용한 변환 행렬의 크기와 움직임 예측/보상을 위한 블록 크기 등의 선행 정보들이 결정되어 있다. 이때 변환 행렬의 크기와 움직임 예측/보상을 위한 블록 크기는 부호기에서 영상의 구성 특성에 적합하게 선택되므로, 적응적 블록크기 결정부(210)에서는 변환 행렬의 크기 또는 움직임 예측/보상을 위한 블록 크기와 동일하게 복호 영상에 대한 압축 수행의 블록 크기를 설정하는 방법을 사용할 수 있다.
복호 영상 버퍼 압축부(220)는 적응적 블록크기 결정부(210)에서 제공된 수행 블록 단위로 복호 영상 버퍼에 대한 압축을 수행한다. 본 발명의 실시예에서는 적응적 스케일링 방법을 이용하여 복호 영상 버퍼를 압축하며, 수행 결과로 비트 깊이가 감소한 복호 영상 화소값, 수행블록 내의 최소 화소값 그리고 화소값의 동적 범위를 목표 범위로 조정하기 위한 시프트 값이 발생한다. 비트 깊이가 감소한 복호 영상을 제외한 나머지 두 가지 부가정보는 복호 영상 버퍼 영역에 별도로 저장된다. 이러한 부가정보 발생량을 줄이기 위하여 부가정보 저장부(230)에서는 인접 수행블록과의 공간적 유사성을 이용하여 부가정보를 저장한다.
부가정보 저장부(230)는 복호 영상 압축을 통해 발생한 부가정보를 효율적으로 저장하기 위한 구성요소이다. 복호 영상 압축을 통해 발생한 부가정보는 도 4에서 확인할 수 있듯이, 수행 블록의 최소 화소값을 나타내는 M과 수행 블록의 동적 범위를 목표 범위로 맞추기 위한 시프트 값을 나타내는 S이다.
도 5는 8 비트 깊이 최소값을 효율적으로 저장하기 위한 문맥 템플릿의 예를 나타낸 도면이다. 8 비트 깊이의 M을 효율적으로 저장하기 위해, 도 5와 같이 현재 수행 블록과 인접한 주변 블록을 문맥정보 템플릿으로 사용하여 다음의 식을 이용한다.
수학식 2
Figure PCTKR2011008548-appb-M000002
수학식 2에서 MC는 현재 블록의 최소 화소값, MA는 좌측 블록의 최소 화소값, 그리고 MB는 상위 블록의 최소 화소값을 나타낸다. 따라서 현재 수행 블록과 인접한 주변 블록의 통계적 특성이 유사하다는 성질을 이용하여 주변 블록의 평균으로 현재 수행 블록의 예측 화소값 MPerd을 생성하고 현재 수행 블록의 최소 화소값 MC와의 차이값(M'C)만을 저장한다.
도 6은 화소값의 동적 구간(Dynamin Range)과 시프트 값의 관계를 나타낸 도면으로서, (a)는 영상의 동적 구간이 목표 구간(Target Range)보다 짧은 경우를 나타내며, (b)는 영상의 동적 구간이 목표 구간보다는 길고 목표 구간의 2배보다는 짧은 경우를 나타낸다.
S는 도 6과 같이 수행 블록 화소값의 동적 범위가 목표 범위보다 작을 경우, 그 값이 0으로 결정된다. 적응적 블록크기 결정부(210)에서는 화질 열화를 줄이기 위해 화소값의 동적 범위가 큰 영역은 더 작은 수행 블록 사이즈를 할당하여 동적 범위를 작게 한다. 따라서 총 0, 1, 2, 3 의 4 가지 값을 가지는 2 비트 깊이 S 중 0이 가장 큰 빈도로 출현하게 된다. 또한 S=1 경우가 두 번째 높은 빈도로 출현하고, S=3인 경우는 매우 드물게 발생한다. 이러한 발생 빈도의 확률적 특성을 이용하여 S를 효율적으로 저장하기 위하여, 본 발명의 실시예에서는 S의 발생 빈도에 따른 가변 길이 부호를 발생시키고, 이를 이용하여 저장하는 방법을 제안한다.
표 1은 S의 발생빈도에 따라 발생시킨 절삭형 단항 부호(Truncated Unary Code)이다. 절삭형 단항 부호를 이용함으로써 짧은 부호 길이를 갖는 S=0인 경우가 다수 발생하게 되어 전체적으로 S를 저장하기 위한 부가 정보량이 감소하는 이득을 볼 수 있다.
표 1
Figure PCTKR2011008548-appb-T000001
도 7은 도 2의 복호 영상 버퍼 압축장치에 의한 복호 영상 버퍼 압축방법을 나타낸 흐름도이다.
도 2 및 도 7을 참조하면, 적응적 블록크기 결정부(210)는 영상의 국지적 화소값 분포에 기반하여 복호 영상 버퍼 압축을 수행하기 위한 블록 크기를 조절하여 결정한다(S710). 이때, 적응적 블록크기 결정부(210)는 복호 영상 버퍼에 대한 압축을 수행하여 발생하는 화질 열화와 부가 정보량 사이의 율-왜곡 최적 결정을 통한 쿼드-트리 분할방법에 기초하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 가변할 수 있다. 또한, 적응적 블록크기 결정부(210)는 현재 프레임의 변환행렬의 크기, 움직임 예측/보상을 수행하는 블록크기를 포함하는 선행 부호화 정보를 문맥정보로 하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 결정할 수 있다.
복호 영상 버퍼 압축부(220)는 적응적 블록크기 결정부(210)에서 결정된 블록 크기를 수행 단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링을 수행한다(S720). 본 발명의 실시예에서는 적응적 스케일링 방법을 이용하여 복호 영상 버퍼를 압축하며, 수행 결과로 비트 깊이가 감소한 복호 영상 화소값, 수행블록 내의 최소 화소값 그리고 화소값의 동적 범위를 목표 범위로 조정하기 위한 시프트 값이 발생한다. 비트 깊이가 감소한 복호 영상을 제외한 나머지 두 가지 부가정보는 복호 영상 버퍼 영역에 별도로 저장된다. 이러한 부가정보 발생량을 줄이기 위하여 부가정보 저장부(230)에서는 인접 수행블록과의 공간적 유사성을 이용하여 부가정보를 저장한다(S730). 이때, 부가정보 저장부(230)는 부가 영상의 최소 화소값의 경우, 인접 수행 블록간의 통계적 유사성에 기반한 공간적 예측 부호화를 이용하여 발생하는 부가 정보량을 감소시킬 수 있다. 또한, 부가정보 저장부(230)는 부가 영상의 시프트 값의 경우, 발생 빈도에 따른 통계적 예측 부호화를 이용하여 발생하는 부가정보를 감소시킬 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 발명의 실시예는, 영상의 국지적 화소값 분포를 고려하여 적응적으로 수행 블록의 크기를 설정하고, 적응적 스케일링을 통해 복호 영상의 비트 깊이를 감소시키며, 그에 따라 발생하는 부가 정보를 효율적으로 저장함으로써 영상 부호화기 및 복호화기에서 복호 영상의 저장을 위한 내부 메모리의 사용량을 효과적으로 줄일 수 있는 효과를 발생하는 매우 유용한 발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2010년 11월 10일 한국에 출원한 특허출원번호 제 10-2010-0111333 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (10)

  1. 복호 영상 버퍼 압축장치에 있어서,
    영상의 국지적 화소값 분포에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 조절하는 적응적 블록크기 결정부;
    상기 적응적 블록크기 결정부에 의해 결정된 블록 크기를 수행단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링(Adaptive scaling)을 수행하는 복호 영상 버퍼 압축부; 및
    상기 복호 영상 버퍼 압축부에서 발생한 복호 영상의 최소 화소값과 적응적 시프트(Shift value) 값을 포함하는 부가정보를 저장하는 부가정보 저장부
    를 포함하는 것을 특징으로 하는 복호 영상 버퍼 압축장치.
  2. 제 1항에 있어서,
    상기 적응적 블록크기 결정부는,
    상기 복호 영상 버퍼에 대한 압축을 수행하여 발생하는 화질 열화와 부가 정보량 사이의 율-왜곡 최적 결정을 통한 쿼드-트리(Quad-tree) 분할방법에 기초하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 가변하는 것을 특징으로 하는 복호 영상 버퍼 압축장치.
  3. 제 1항에 있어서,
    상기 적응적 블록크기 결정부는,
    현재 프레임의 변환행렬의 크기, 움직임 예측/보상을 수행하는 블록크기를 포함하는 선행 부호화 정보를 문맥정보로 하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 결정하는 것을 특징으로 하는 복호 영상 버퍼 압축장치.
  4. 제 1항에 있어서,
    상기 부가정보 저장부는,
    상기 부가 영상의 최소 화소값의 경우, 인접 수행 블록간의 통계적 유사성에 기반한 공간적 예측 부호화를 이용하여 발생하는 부가 정보량을 감소시키는 것을 특징으로 하는 복호 영상 버퍼 압축장치.
  5. 제 1항에 있어서,
    상기 부가정보 저장부는,
    상기 부가 영상의 시프트 값의 경우, 발생 빈도에 따른 통계적 예측 부호화를 이용하여 발생하는 부가정보를 감소시키는 것을 특징으로 하는 복호 영상 버퍼 압축장치.
  6. 복호 영상 버퍼 압축방법에 있어서,
    영상의 국지적 화소값 분포에 기초하여 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 조절하는 단계;
    상기 블록크기 조절단계에 의해 결정된 블록 크기를 수행단위로 하여 복호 영상의 비트 깊이를 감소시키는 적응적 스케일링을 수행하는 단계; 및
    상기 적응적 스케일링 수행단계에서 발생한 복호 영상의 최소 화소값과 적응적 시프트 값을 포함하는 부가정보를 저장하는 단계
    를 포함하는 것을 특징으로 하는 복호 영상 버퍼 압축방법.
  7. 제 6항에 있어서,
    상기 블록크기 조절단계는,
    상기 복호 영상 버퍼에 대한 압축을 수행하여 발생하는 화질 열화와 부가 정보량 사이의 율-왜곡 최적 결정을 통한 쿼드-트리 분할방법에 기초하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 가변하는 것을 특징으로 하는 복호 영상 버퍼 압축방법.
  8. 제 6항에 있어서,
    상기 적응적 블록크기 조절단계는,
    현재 프레임의 변환행렬의 크기, 움직임 예측/보상을 수행하는 블록크기를 포함하는 선행 부호화 정보를 문맥정보로 하여 상기 복호 영상 버퍼에 대한 압축 수행의 블록 크기를 결정하는 것을 특징으로 하는 복호 영상 버퍼 압축방법.
  9. 제 6항에 있어서,
    상기 부가정보 저장단계는,
    상기 부가 영상의 최소 화소값의 경우, 인접 수행 블록간의 통계적 유사성에 기반한 공간적 예측 부호화를 이용하여 발생하는 부가 정보량을 감소시키는 것을 특징으로 하는 복호 영상 버퍼 압축방법.
  10. 제 6항에 있어서,
    상기 부가정보 저장단계는,
    상기 부가 영상의 시프트 값의 경우, 발생 빈도에 따른 통계적 예측 부호화를 이용하여 발생하는 부가정보를 감소시키는 것을 특징으로 하는 복호 영상 버퍼 압축방법.
PCT/KR2011/008548 2010-11-10 2011-11-10 복호 영상 버퍼 압축장치 및 그 압축방법 WO2012064120A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0111333 2010-11-10
KR1020100111333A KR101767944B1 (ko) 2010-11-10 2010-11-10 복호 영상 버퍼 압축장치 및 그 압축방법

Publications (2)

Publication Number Publication Date
WO2012064120A2 true WO2012064120A2 (ko) 2012-05-18
WO2012064120A3 WO2012064120A3 (ko) 2012-07-19

Family

ID=46051430

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/008548 WO2012064120A2 (ko) 2010-11-10 2011-11-10 복호 영상 버퍼 압축장치 및 그 압축방법

Country Status (2)

Country Link
KR (1) KR101767944B1 (ko)
WO (1) WO2012064120A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713911A (zh) * 2015-11-12 2017-05-24 三星电子株式会社 操作半导体装置的方法和半导体系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0167367B1 (ko) * 1991-06-04 1999-03-20 하비 피. 화이트 적응블록크기 영상압축방법 및 시스템
KR20070011788A (ko) * 2005-07-21 2007-01-25 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
KR20070083677A (ko) * 2004-09-14 2007-08-24 개리 데모스 고품질 광역 다중-레이어 이미지 압축 코딩 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4854309B2 (ja) 2006-01-23 2012-01-18 シャープ株式会社 データ格納制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0167367B1 (ko) * 1991-06-04 1999-03-20 하비 피. 화이트 적응블록크기 영상압축방법 및 시스템
KR20070083677A (ko) * 2004-09-14 2007-08-24 개리 데모스 고품질 광역 다중-레이어 이미지 압축 코딩 시스템
KR20070011788A (ko) * 2005-07-21 2007-01-25 삼성전자주식회사 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106713911A (zh) * 2015-11-12 2017-05-24 三星电子株式会社 操作半导体装置的方法和半导体系统

Also Published As

Publication number Publication date
KR101767944B1 (ko) 2017-08-14
KR20120050031A (ko) 2012-05-18
WO2012064120A3 (ko) 2012-07-19

Similar Documents

Publication Publication Date Title
US9967588B2 (en) Apparatus and method for encoding/decoding images
US9942549B2 (en) Method and apparatus for encoding and decoding image by using large transform unit
US8254708B2 (en) Encoding device, encoding method, recording medium, and image processing apparatus
US9621895B2 (en) Encoding/decoding method and device for high-resolution moving images
KR101601840B1 (ko) 채널 상관 관계를 이용한 영상 부호화/복호화 장치 및 방법과 그를 위한 컴퓨터로 읽을 수 있는 기록매체
JP5893790B2 (ja) 最大符号化単位別ピクセル分類によるオフセット調整を利用するビデオ符号化方法及びその装置、並びにビデオ復号化方法及びその装置
WO2011021844A2 (ko) 가변 길이 부호를 이용한 인트라 예측모드 부호화 방법과 장치, 및 이를 위한기록 매체
WO2009157669A2 (ko) 인트라 예측 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
JP2003520531A (ja) イメージをコード化する方法およびイメージコーダ
KR101587927B1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR20230145002A (ko) 화면 간 예측을 이용한 영상 복호화 방법 및 장치
WO2012064120A2 (ko) 복호 영상 버퍼 압축장치 및 그 압축방법
KR20230014101A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR20160014082A (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
WO2010047492A2 (ko) 동영상 부호화 장치 및 이를 위한 영상 신호의 2차원 정렬 변환 장치 및 방법, 및 이를 위한 기록 매체
JP6904156B2 (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
KR102225881B1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR102225880B1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR101540510B1 (ko) 추가적 예측 후보를 이용한 인트라 예측 방법 및 그 장치
KR102101491B1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
KR102225879B1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
WO2023138391A1 (zh) 系数解码方法、装置、图像解码器及电子设备
KR102586198B1 (ko) 화면 간 예측을 이용한 영상 복호화 방법 및 장치
WO2011071321A2 (ko) 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11839891

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS (EPO FORM 1205A DATED 19-08-2013)

122 Ep: pct application non-entry in european phase

Ref document number: 11839891

Country of ref document: EP

Kind code of ref document: A2