WO2011065728A2 - 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법 및 이를 위한 기록 매체 - Google Patents

예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법 및 이를 위한 기록 매체 Download PDF

Info

Publication number
WO2011065728A2
WO2011065728A2 PCT/KR2010/008298 KR2010008298W WO2011065728A2 WO 2011065728 A2 WO2011065728 A2 WO 2011065728A2 KR 2010008298 W KR2010008298 W KR 2010008298W WO 2011065728 A2 WO2011065728 A2 WO 2011065728A2
Authority
WO
WIPO (PCT)
Prior art keywords
block
prediction
correlation parameter
signal
correlation
Prior art date
Application number
PCT/KR2010/008298
Other languages
English (en)
French (fr)
Other versions
WO2011065728A3 (ko
Inventor
김수년
임정연
이규민
최재훈
최윤식
김용구
최영호
정진우
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020100114812A external-priority patent/KR101767950B1/ko
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to US13/511,336 priority Critical patent/US9531917B2/en
Publication of WO2011065728A2 publication Critical patent/WO2011065728A2/ko
Publication of WO2011065728A3 publication Critical patent/WO2011065728A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • An embodiment of the present invention relates to an image data compression technique. More specifically, in video encoding, an optimal correlation parameter between color planes is generated by using neighboring blocks when a prediction screen is created by using a correlation between color planes. An apparatus and method for extracting correlation parameters between color planes for prediction, and a recording medium therefor.
  • RGB format In general, all color video inputs and outputs are now in RGB format. That is, R (red), G (green), and B (blue) can express all colors.
  • the RGB format has a high correlation between each color channel, which causes a problem of low compression ratio when video is encoded in the RGB format.
  • current commercial applications use video format in YCbCr format, not RGB format, for video storage, transmission, and compression.
  • methods for converting RGB to YCbCr are defined in international standards groups such as ITU and SMPTE.
  • YCbCr Y is a luminance component
  • Cb and Cr are chrominance components
  • the correlation between each color channel is considerably removed.
  • H.264 / AVC AMD supports signal processing in the RGB region with High 4: 4: 4 Intra / Predictive profiles.
  • the following two methods are supported. First, a common mode scheme in which an intra / inter mode determined at the time of encoding a green chrominance signal is also applied to blue and red when processing an RGB signal. And second, an independent mode of processing each RGB separately.
  • an intra / inter mode determined at the time of encoding a green chrominance signal is also applied to blue and red when processing an RGB signal.
  • an independent mode of processing each RGB separately.
  • the decoder increases the coding efficiency by removing the additional information for informing the correlation between channels by estimating the slope and the offset based on the sample values of the left and upper regions of the image.
  • the coding gain was obtained by using the encoded green signal to generate a prediction screen for encoding blue and red.
  • An embodiment of the present invention is to solve the above-described conventional problem, and its purpose is to extract the optimal correlation parameter between color planes by using a specific block having the highest similarity with the current block among neighboring blocks to perform optimal prediction.
  • an apparatus for extracting correlation parameters between color planes for prediction may be configured such that a second block of a reconstructed previous plane corresponding to a first block to be encoded of a current plane may be generated.
  • Peripheral block search unit for searching for the third block having the smallest difference in pixel value from the second block among the neighboring blocks of the two blocks.
  • the apparatus may include a correlation parameter calculator configured to calculate a correlation parameter between the third block and the fourth block, and a predictor configured to predict the first block based on the second block and the calculated correlation parameter.
  • the neighboring block search unit may search for the third block according to a sum of absolute difference (SAD) scheme, and the correlation parameter calculator may perform an MSE between the third block and the fourth block according to a mean square error (MSE) scheme.
  • the parameter that minimizes the value may be calculated as the correlation parameter.
  • a correlation parameter extraction method between color planes for prediction including: searching for a second block of a reconstructed previous plane corresponding to a first block to be encoded of the current plane; Searching for the third block having the smallest difference in pixel value from the second block among the neighboring blocks of the second block; searching for the third block and the restored fourth block of the current plane corresponding to the third block.
  • the method may include calculating a correlation parameter between the third block and the fourth block, and predicting the first block based on the second block and the calculated correlation parameter.
  • the third block may be searched according to a Sum of Absolute Difference (SAD) scheme, and the correlation parameter may be configured to minimize an MSE value between the third block and the fourth block according to a mean square error (MSE) scheme. Can be calculated as a parameter.
  • SAD Sum of Absolute Difference
  • MSE mean square error
  • a computer-readable recording medium in which a method of extracting correlation parameters between color planes for the prediction can be provided.
  • an optimal correlation parameter between color planes is extracted by using a specific block having the highest similarity with the current block among neighboring blocks, and an optimal prediction for the current block is performed based on the optimal correlation parameter.
  • an optimal prediction picture is generated by selecting an optimal block that is most similar to the current block among neighboring blocks, thereby improving compression ratio and improving image quality. Since the degradation is reduced, and the optimal block is found through the simple search using the SAD and the color difference prediction is performed, more efficient intra prediction can be performed without adding additional information.
  • 5 is a schematic diagram of an encoder including interplane prediction
  • FIG. 7 is a schematic diagram of a decoder including interplane prediction
  • FIG. 8 is a block diagram of an apparatus for extracting correlation parameters between color planes for prediction according to an embodiment of the present invention.
  • FIG. 9 is a flowchart of a method for extracting correlation parameters between color planes for prediction according to an embodiment of the present invention.
  • FIG. 10 is a view showing a relationship between a current plane and a restored plane according to an embodiment of the present invention.
  • FIG. 11 illustrates a search direction and an area according to an embodiment of the present invention.
  • FIG. 4 is a block diagram schematically illustrating an apparatus for encoding a base plane, wherein the apparatus for encoding a base plane (also called a reconstructed previous plane) includes an intra predictor 410, a converter 420, and a quantizer 430. , An entropy encoder 440, and the like, and are encoded independently of other planes. After generating a base plane using the base plane encoder of FIG. 4, planes other than the base plane are coded using the encoder including the interplane prediction of FIG. 5 using the base plane encoder.
  • FIG. 5 is a block diagram schematically illustrating an encoder including interplane prediction, and includes an intra predictor 510, an interplane predictor 520, a transformer 530, a quantizer 540, an entropy encoder 550, and the like.
  • the interplane predictor 520 includes an apparatus for extracting correlation parameters between color planes for prediction proposed in the present invention, and receives neighboring blocks and a base plane as inputs.
  • the encoder performs intra prediction and interplane prediction, and then performs the prediction of the current block using an appropriate prediction method. Which one of intra prediction and inter plane prediction is used is signaled and transmitted.
  • the residual signal which is the difference between the predicted signal and the original signal, is then transformed, quantized, and entropy coded by the transformer 530, quantizer 540, and entropy encoder 550 to produce the final output stream.
  • Decoding may restore the image to the inverse of the above-described encoder.
  • FIG. 6 schematically illustrates a decoder of a basic plane, which may include an entropy decoder 610, an inverse quantizer 620, an inverse transformer 630, an intra predictor 640, and the like. Decoded independently regardless. After the basic plane is generated using the basic plane decoder of FIG. 6, planes other than the basic plane are decoded using a decoder including the interplane prediction of FIG. 7 using the basic plane decoder.
  • FIG. 7 is a diagram schematically illustrating a decoder including interplane prediction, and includes an entropy decoder 710, an inverse quantizer 720, an inverse transformer 730, an intra predictor 740, an interplane predictor 750, and the like. It can be configured to include.
  • the interplane predictor 750 includes an apparatus for extracting correlation parameters between color planes for prediction proposed in the present invention, and receives neighboring blocks and a basic plane as inputs.
  • the decoder performs prediction by the prediction method signaled in the input stream during intra prediction and interplane prediction. Thereafter, the predicted image and the decoded residual image are added to generate a final decoded image.
  • FIG. 8 is a block diagram of an apparatus for extracting correlation parameters between color planes for prediction according to an embodiment of the present invention. As shown in the figure, a neighboring block search unit 810, a correlation parameter calculation unit 830, and The prediction unit 850 is included.
  • the neighboring block search unit 810 may restore the previous plane (or the base) corresponding to the first block (eg, the Y block of FIG. 10) to be encoded of the current plane (eg, see FIG. 10B).
  • the second block referred to as plane (A) in FIG. 6, for example, X block in FIG. 10
  • the second block among the neighboring blocks of the second block X After searching for the third block (eg, the X ′ block of FIG. 10) having the smallest difference in pixel value of, the restored fourth block of the current plane corresponding to the third block (X ′) (eg, Y 'block of FIG. 10).
  • the neighboring block of the second block X is illustrated as a block hatched in FIGS. 11A, 11B, and 11C, and a coding unit is 16 ⁇ 16 units as shown in FIG.
  • a coding unit is 16 ⁇ 16 units as shown in FIG.
  • a plurality of 4X4 blocks adjacent to the left, top, and right upper ends of the corresponding 16X16 block may be set as neighboring blocks, and as shown in FIG.
  • Five 4X4 blocks adjacent to the left and the top may be set as neighboring blocks, and three 4X4 blocks adjacent to the left, upper left and top of the 4X4 block corresponding to the case where the coding unit is a 4X4 unit block as shown in FIG. 11 (C).
  • the neighboring block search unit 810 may sequentially search the neighboring blocks set as shown in FIG. 11 based on a Sum of Absolute Difference (SAD) method, for example, in a lower left-> upper-left-> right upper direction.
  • SAD Sum of Absolute Difference
  • the third block X 'having the smallest value can be found.
  • the correlation parameter calculator 830 calculates a correlation parameter between the third block X 'and the fourth block Y' based on the third block X 'and the fourth block Y' corresponding thereto. For example, a parameter for minimizing an MSE value between the third block X 'and the fourth block Y' according to a mean square error (MSE) method may be calculated as a correlation parameter.
  • MSE mean square error
  • the prediction unit 850 may generate the prediction block of the first block Y based on the correlation parameter calculated by the second block X and the correlation parameter calculator 830.
  • Step S950 is a flowchart of a method for extracting correlation parameters between color planes for prediction according to an embodiment of the present invention. As shown in the figure, a neighbor block search step (S910), a correlation parameter calculation step (S930), and a prediction are shown. Step S950, which is applied to the apparatus of FIG. 4 as an example, will be described in parallel with the operation of the apparatus.
  • the neighboring block search unit In operation 810, the second block X of the reconstructed previous plane corresponding to the first block Y to be encoded of the current plane is searched, and among the neighboring blocks of the second block X (FIG. 11 is a hatching block).
  • the third block (assuming X ') having the smallest difference in pixel value from the second block X is searched according to the Sum of Absolute Difference (SAD) method, and the third block X' Search for the restored fourth block Y 'of the corresponding current plane.
  • SAD Sum of Absolute Difference
  • the correlation parameter calculator 830 may select between the third block X 'and the fourth block Y' based on the pixel value of the third block X 'and the pixel value of the fourth block Y'.
  • the linear correlation parameter may be calculated.
  • a parameter for minimizing an MSE value between the third block X 'and the fourth block Y' may be calculated as a correlation parameter according to a Mean Square Error (MSE) method.
  • MSE Mean Square Error
  • the prediction unit 450 generates the prediction block of the first block Y based on the correlation parameter calculated by the second block X and the correlation parameter calculator 830.
  • An embodiment of the present invention is to encode another plane after encoding the base plane, and to perform a linear transformation based on the base plane to create a prediction screen (or image, or block) of another plane, Apply to extract the necessary correlation parameters.
  • the default plane is the green plane and the other planes are the red and blue planes.
  • the above prediction method applied to an embodiment of the present invention is referred to as inter plane prediction or inter color prediction.
  • inter plane prediction or inter color prediction.
  • prediction is performed on a block-by-block basis to predict blue and red signals using a green plane.
  • the prediction screen is obtained based on the following equation (1) in the prediction unit 850 or the prediction step S950. Become.
  • equation (1) can be expressed again as in the following equation (2).
  • the correlation parameters are not transmitted directly from the encoding end, but in the neighboring block search unit 810 or the neighboring block search step S910, the pixels of the neighboring blocks restored with respect to the current block of the current blue plane and the corresponding green plane are restored. These two correlation parameters are found using the pixels of the neighboring block.
  • the block most similar to the green block (X) at the corresponding position of the blue block (Y) to be currently encoded to find these two correlation parameters is selected.
  • Search among neighboring blocks of the adjacent area see FIG. 11).
  • the SAD used in the current motion search is applied as in Equation (3) below, but is not limited thereto.
  • Equation (3) G '(x, y) represents the pixel value of the X block, and G' (x-m, y-n) represents the pixel value of the neighboring block changed by m, n in the X block.
  • the block having the lowest SAD among the neighboring blocks is found and determined as a block for locating an optimal correlation parameter (hereinafter, referred to as an X 'block).
  • an X 'block an optimal correlation parameter
  • a correlation parameter using the correlation between green and blue at the position of the determined X 'block and the corresponding Y' block Wow To calculate.
  • Wow Denotes coordinates having an optimum position, that is, pixel coordinates of the X 'block, and is calculated in the correlation parameter calculator 430 or the correlation parameter calculation step S930.
  • a correlation parameter is calculated based on the found block, which is obtained by the following equations (5) and (6).
  • This correlation parameter is a parameter that minimizes the MSE value between the X 'block and the Y' block in terms of mean square error (MSE).
  • MSE mean square error
  • M and N are the number of pixels in the X and Y axes of the block
  • G '(im *, jn *) is the pixel value of the X' block
  • B '(im *, jn *) is The pixel value of the Y 'block is shown.
  • the prediction unit 850 or the prediction step S950 predicts the blue color from the pre-decoded green, and the correlation parameter obtained in the correlation parameter calculation unit 430 or the correlation parameter calculation step S930. Wow By substituting into Eq. (2) To produce
  • the area of the neighboring block for searching similar blocks is as shown in FIG. 11 as an example.
  • the search area is minimized, for example, in units of 4x4 blocks. That is, similar blocks are found while moving pixel by pixel only in a region of a 4 ⁇ 4 block that is about the minimum block unit searched in an area such as the left, top, and right upper ends of the region to be encoded.
  • the red plane is also encoded by applying the same method as described above.
  • the blue plane is encoded, only the available color difference information is the green plane, but when the red plane information is encoded, the blue plane is also encoded. Therefore, the blue plane information is used in the above-described interplane prediction. Can be used for
  • the method of extracting correlation parameters between color planes for prediction according to the embodiment of the present invention described with reference to FIG. 9 may be implemented as a computer-readable recording medium including program instructions for performing various computer-implemented operations.
  • the computer readable recording medium may include program instructions, local data files, local data structures, etc. alone or in combination.
  • the recording medium may be those specially designed and configured for the embodiments of the present invention, or may be known and available to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical recording media such as CD-ROMs, DVDs, magnetic-optical media such as floppy disks, and ROM, RAM, flash memory, and the like.
  • Hardware devices specifically configured to store and execute the same program instructions are included.
  • the recording medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a local data structure, or the like.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter, as well as machine code such as produced by a compiler.
  • the embodiment of the present invention is applied to the field of image data compression technology, in particular, in inter plane prediction, and uses the specific block having the highest similarity to the current block among the neighboring blocks. Extracting the best correlation parameter and performing the best prediction for the current block based on the best correlation parameter, it is a very useful invention to improve the coding efficiency by increasing the accuracy of the parameter, making an accurate estimation image, and reducing additional information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

본 발명의 실시예는 비디오 부호화에 있어 컬러 플레인(color plane)간의 상관 관계를 이용해서 예측 화면을 만들 시 주변 블록을 이용하여 컬러 플레인간의 최적 상관 파라미터를 추출하는, 예측을 위한 컬러 플레인간의 상관 파라미터 추출 기술에 관한 것으로, 현재 플레인의 부호화 할 제 1 블록에 대응하는 복원된 이전 플레인의 제 2 블록에 대하여, 상기 제 2 블록의 주변 블록 중에서 그 제 2 블록과의 화소값의 차가 가장 작은 제 3 블록을 탐색하는 주변 블록 탐색부 상기 제 3 블록 및 그 제 3 블록에 대응하는 상기 현재 플레인의 복원된 제 4 블록에 근거하여, 상기 제 3 블록과 상기 제 4 블록간의 상관 파라미터를 산출하는 상관 파라미터 산출부 및 상기 제 2 블록 및 상기 산출된 상관 파라미터에 근거하여 상기 제 1 블록을 예측하는 예측부를 포함할 수 있다.

Description

예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법 및 이를 위한 기록 매체
본 발명의 실시예는 영상 데이터압축기술에 관한 것으로서, 보다 상세하게는 비디오 부호화에 있어 컬러 플레인(color plane)간의 상관 관계를이용해서 예측 화면을 만들 시 주변 블록을 이용하여 컬러 플레인간의 최적 상관 파라미터를 추출하는, 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법, 및 이를 위한 기록 매체에 관한 것이다.
일반적으로, 현재 모든 칼라 비디오의 입력 및 출력은 RGB 형태로 이루어 지고 있다. 즉 R(빨강), G(녹색), B (파랑)에 의해 모든 색을 표현할수 있게 된다. 그러나 RGB 형식은 각각의 칼라 채널 간에 상관도가 높아 RGB 형식으로 비디오를 부호화할경우 압축률이 낮다는 문제가 있다. 따라서 현재 일반적인 상용 애플리케이션에서는 비디오의저장, 전송 및 압축 등에서 RGB형식이 아닌 YCbCr 형식으로 된 비디오 형식을 사용하고 있다. 현재 RGB에서 YCbCr로 변환하기 위한 방법이 ITU 나 SMPTE 같은 국제 표준 그룹에 정의되어있다. YCbCr에서 Y는 휘도 성분을 Cb,Cr은 색차 성분이고, 각각의 칼라 채널간의 상관도는 상당히제거되어 있다.
현재 대부분의 상용 애플리케이션에서는 단순히 YCbCr 형식으로 변환한 것뿐만 아니라 4:2:0 형식으로 신호를 사용한다. 도 1은 YCbCr 4:4:4 형식을 나타내는 도면이고, 도 2는 YCbCr 4:4:2 형식을 나타내는 도면이며, 도 3은 YCbCr 4:2:0 형식을 나타내는 도면이다. 4:2:0 형식이란 색차 신호, 즉 Cb, Cr의 정보를 도 3과 같이 가로 및 세로로 1/2만큼씩 서브샘플링(subsampling)하여 색차 신호의정보를 1/4로 줄이는 것이다. 이것은 사람이 색차신호보다 휘도 신호에 대해 더욱 민감한 점을 이용한것이다. 따라서 현재 대부분의 비디오 코덱은, MPEG-2/4, H.263, H.264/MPEG-4 AVC 등은 기본적으로 YCbCr 4:2:0 형식의 비디오 입력에 대하여 부/복호화를 하도록되어 있다.
하지만 이런 경우 원래 영상대비 부호화된영상의 색차 신호의 손실이 크게 발생하게된다. 그래서 프로페셔널 어플리케이션(professional application) 영역인 디지털시네마나, 의료영상, UHDTV에서는 YCbCr 4:2:0이 아닌 RGB 4:4:4 혹은YCbCr 4:4:4 형식을 사용하게 된다.
이를 지원하기 위해서 H.264/AVC AMD에서는 High 4:4:4 Intra/Predictive profiles로 RGB영역에서의 신호처리를 지원하고 있는데 하기의 2가지 방식이 지원된다. 첫째, RGB 신호을 처리할 때 그린(GREEN) 색차 신호의 부호화 시에 결정된 인트라/인터(intra/inter) 모드(mode)를 블루(BLUE)와 레드(RED)에도 적용하는 공통(common)모드의 방식과, 둘째, RGB 각각을 따로 독립적으로 처리하는독립(independent) 모드의 방식이지원된다. 하지만 앞에서 설명했듯이 이럴 경우 RGB간의 높은 상관 관계로 인해 부호화된영상의 압축율이 저하되는 문제가 있다.
따라서, RGB영역은 기본적으로 서로 색차 신호간에 높은 상관 관계가 존재하므로 이를 제거해서 부호기의 효율을높이고자 하는 연구가 진행되어 왔다.
[문헌 1]에서는 각각의 R,G,B 신호간에 선형 관계를보이는 점에 착안하여 G의 신호를 이용하여 R과 B의 신호를 예측하였다. 선형 모델의 기울기와 오프셋(offset)값은 부호기에서 복호기로 전송되며복호화기에서는 전송된 기울기와 오프셋을 이용하여 G의 신호를이용하여 R과 B를 예측한다. 이 방법은 예측 효율은 높일 수 있었지만, 각 매크로블록마다 기울기와 오프셋 값을 전송해야 하므로 부가 정보에 대한 정보량이 많아 그 성능이 제한적이다.
이를 해결하기 위해서 [문헌 2]에서는 매 블록마다 기울기와 오프셋을 이미 복원된 그린과 레드, 블루에서 추정하여 기울기와 오프셋 값을 전송할필요가 없게 하였다. 즉, 복호화기에서 영상의 왼쪽과 위쪽 영역의 샘플 값을 통해서 기울기와 오프셋을 추정함으로써 채널 간에 상관 관계를 알려주기 위한 부가 정보를 제거하여 부호화 효율을 높였다.
또한, [문헌3]에서는 현재 추정하는 블루와 레드 신호의 예측 영상을 만드는데 있어서, 유사한 픽셀이 복호화 완료된 인접영역에 있을 때 높은 큰 가중치 값을 적용하고 유사도가낮은 인접 픽셀은 낮은 가중치값을 적용하는 방법도 연구 되었다. 이때 추정하는영상과 복호화가 완료된 영상간의 유사도를결정하는 기준은 이미 부호화완료된 Green 신호를 통해서 이다.
[문헌 1] Byung Cheol Song, Yun Gu Lee, and Nak Hoon Kim"Block Adaptive Inter-Color Compensation Algorithm for RGB 4:4:4Video Coding,"IEEE CVST., vol. 18, no.10, pp. 1447-1451, Oct, 2008.
[문헌 2] Y.-H. Kim, S.-Y. Jung, B.H. Choi and J.K.Park, "High Fidelity RGB Video coding Using Adaptive Inter-Plane Weighted Prediction," IEEE CVST., vol. 19, No.7, pp1051~1056, July, 2009.
[문헌 3] S.H. Lee, J.W. Moon, J.W. Byun and N.I. Cho, "A New Intra Prediction Method Using Channel Correlations for The H.264/AVC Intra Coding," Picture coding Symposium 2009. march, 2009.
이와 같이, 기존 연구에서는 부호화가 완료된 Green의 신호를 Blue와 Red를 부호화하기 위한 예측 화면을 만드는데 사용 함으로서 부호화 이득을 얻었다.
그러나, 추정하고자 하는 영상내부에 여러 가지의 경계와 색깔이 있고 인접 영역에서도 역시 여러 색깔과 경계가 있는 경우, 기존의 기술과 같이 인접한모든 화소를 이용해서최소의 에러를 갖는 파라메터를 추출하면, 현재 블록을 추정하는데 부정확한 화소도 사용될 수 있으므로 추출된파라미터의 정확도가 떨어져서 정확한 추정 영상을 만들어 내지 못하는 문제가 발생하였다.
본 발명의 실시예는 상술된 종래의 문제점을 해결하기 위한 것으로, 그 목적은 주변 블록 중 현재 블록과 유사도가 가장 높은 특정 블록을 이용하여 컬러 플레인간의 최적 상관 파라미터를 추출함으로써 최적의 예측을 수행할 수 있도록하는, 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법, 및 이를 위한 기록 매체를 제공하는 것이다.
전술한 목적을 달성하기 위하여 본 발명의일 측면에 따른 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치는, 현재 플레인의 부호화 할 제 1 블록에 대응하는 복원된 이전 플레인의 제 2 블록에 대하여, 상기 제 2 블록의 주변 블록 중에서 그 제 2 블록과의 화소값의 차가 가장 작은 제 3 블록을 탐색하는 주변 블록 탐색부 상기 제 3 블록 및 그 제 3 블록에 대응하는 상기 현재 플레인의 복원된 제 4 블록에 근거하여, 상기 제 3 블록과 상기 제 4 블록간의 상관 파라미터를 산출하는 상관 파라미터 산출부 및 상기 제 2 블록 및 상기 산출된 상관 파라미터에 근거하여 상기 제 1 블록을 예측하는 예측부를 포함할수 있다. 상기 주변 블록 탐색부는 SAD(Sum of Absolute Difference) 방식에 따라 상기 제 3 블록을 탐색할 수 있고, 상기 상관 파라미터 산출부는 MSE(Mean Square Error) 방식에 따라 상기 제 3 블록과 상기 제 4 블록간의 MSE값을 최소화는 파라미터를 상기 상관 파라미터로 산출할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 다른 측면에 따른 예측을 위한 컬러 플레인간의 상관 파라미터 추출 방법은, 현재 플레인의 부호화 할 제 1 블록에 대응하는 복원된이전 플레인의 제 2 블록을 탐색하는 단계 상기 제 2 블록의 주변 블록 중에서 그 제 2 블록과의 화소값의 차가 가장 작은제 3 블록을 탐색하는 단계 상기 제 3 블록 및 그 제 3 블록에 대응하는 상기 현재 플레인의 복원된 제 4 블록을 탐색하는 단계 상기 제 3 블록과 상기 제 4 블록간의 상관 파라미터를 산출하는 단계 및 상기 제 2 블록 및 상기 산출된 상관 파라미터에 근거하여 상기 제 1 블록을 예측하는 단계를 포함할 수 있다. 또한, 상기 제 3 블록은 SAD(Sum of Absolute Difference) 방식에 따라 탐색할 수 있고, 상기 상관 파라미터는 MSE(Mean Square Error) 방식에 따라 상기 제 3 블록과 상기 제 4 블록간의 MSE값을 최소화하는 파라미터로 산출할 수 있다.
전술한 목적을 달성하기 위하여 본 발명의 또 다른 측면에 따르면, 상기 예측을 위한 컬러 플레인간의 상관 파라미터 추출 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체가 제공될 수 있다.
이상과 같은 본 발명의 다양한 측면에 의하면, 주변 블록 중 현재 블록과 유사도가 가장 높은 특정 블록을 이용하여 컬러 플레인간의 최적 상관 파라미터를 추출하고, 그 최적 상관 파라미터를 근거로 현재 블록에 대한 최적 예측을 수행하므로, 파라미터의 정확도를 높이고 그 결과 정확한 추정 영상을 만들며 부가 정보를 줄여 코딩 효율을 향상할 수 있다.
즉, 본 발명의 실시예에 따라 RGB 및 YCbCr 4:4:4의 입력 영상을코딩 할 경우에는, 주변 블록 중 현재 블록과가장 유사한 최적 블록을 선택해서 정확한 예측 화면을 생성하므로 압축율을 향상하고 화질열화의 감소시키며, 또한 SAD를 이용한간단한 검색을 통해서 최적 블록을 찾고 색차간의 예측을 수행하므로 부가 정보의추가 없이 보다 효율적인인트라 예측(INTRA Prediction)을 수행할 수 있다.
도 1 내지 도 3은 각각 YCbCr 4:4:4, 4:2:2, 및 4:2:0 형식을 나타내는 도면,
도 4는 기본 플레인을 부호화하는 장치를 개략적으로 도시한 도면,
도 5는 인터플레인 예측을 포함한 부호기를 개략적으로 도시한 도면,
도 6은 기본 플레인을 복호화하는 장치를 개략적으로 도시한 도면,
도 7은 인터플레인 예측을 포함한 복호기를 개략적으로 도시한 도면,
도 8은 본 발명의 실시예에 따른 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치의 블록도,
도 9는 본 발명의 실시예 따른 예측을 위한 컬러 플레인간의 상관 파라미터 추출 방법의 흐름도,
도 10은본 발명의 실시예에 따른 현재 블레인과 복원된 플레인의 관계를 나타내는 도면,
도 11은본 발명의 실시예에 따른 탐색 방향과 영역을 설명하기 위한 도면.
이하, 본 발명의실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록다른 도면상에 표시되더라도 가능한 한 동일한부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을설명함에 있어, 관련된 공지 구성 또는기능에 대한 구체적인 설명이 본 발명의요지를 흐릴수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가"연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 4는 기본 플레인을 부호화하는 장치를 개략적으로 도시한 블록도로서, 기본 플레인(또는 복원된 이전 플레인이라고도 한다)을 부호화하는 장치는 인트라 예측기(410), 변환기(420), 양자화기(430), 엔트로피 부호화기(440) 등을 포함하여 구성되며, 다른 플레인과 상관없이 독립적으로 부호화된다. 도 4의 기본 플레인 부호기를 이용하여 기본 플레인을 생성한 다음, 이를 이용하여 기본 플레인 이외의 플레인은 도 5의 인터 플레인 예측을 포함한 부호기를 이용하여 부호를 수행한다.
도 5는 인터플레인 예측을 포함한 부호기를 개략적으로 도시한 블록도로서, 인트라 예측기(510), 인터 플레인 예측기(520), 변환기(530), 양자화기(540), 엔트로피 부호화기(550) 등을 포함하여 구성될 수 있다. 여기서 인터 플레인 예측기(520)는 본 발명에서 제안한 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치를 포함하며, 주변 블록과 기본 플레인을 입력으로 한다. 도 5에서, 부호기는 인트라 예측과 인터 플레인 예측을 수행한 후, 이 중 적절한 예측 방법으로 현재 블록의 예측을 수행한다. 인트라 예측과 인터 플레인 예측 중, 어느 것을 사용하였는지는 시그널링(signaling) 되어 전송된다. 그 후 예측된 신호와 원 신호의 차이인 잔여신호가 변환기(530), 양자화기(540) 및 엔트로피 부호기(550)에 의해 변환, 양자화 및 엔트로피 부호화되어 최종 출력 스트림을 생성하게 된다.
복호화는 전술한 부호기의 역으로 영상을 복원할 수 있다.
도 6은 기본 플레인의 복호기를 개략적으로 도시한 도면로서 엔트로피 복호기(610), 역양자화기(620), 역변환기(630), 인트라 예측기(640) 등을 포함하여 구성될 수 있으며, 다른 플레인과 상관없이 독립적으로 복호화된다. 도 6의 기본 플레인 복호기를 이용하여 기본 플레인을 생성한 다음, 이를 이용하여 기본 플레인 이외의 플레인은 도 7의 인터 플레인 예측을 포함한 복호기를 이용하여 복호를 수행한다.
도 7은 인터플레인 예측을 포함한 복호기를 개략적으로 도시한 도면으로서, 엔트로피 복호기(710), 역양자화기(720), 역변환기(730), 인트라 예측기(740), 인터 플레인 예측기(750) 등을 포함하여 구성될 수 있다. 여기서 인터 플레인 예측기(750)는 본 발명에서 제안한 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치를 포함하며, 주변 블록과 기본 플레인을 입력으로 한다. 도 7에서, 복호기는 인트라 예측과 인터 플레인 예측 중, 입력 스트림에서 시그널링된 예측 방법으로 예측을 수행하게 된다. 그 후 예측 영상과, 복호된 잔여영상을 더하여 최종 복호 영상을 생성하게 된다.
도 8은 본 발명의 일 실시예에 따른 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치의 블록도로, 동 도면에도시된 바와 같이, 주변 블록 탐색부(810), 상관 파라미터 산출부(830), 및 예측부(850)를 포함한다.
주변 블록 탐색부(810)는 현재 플레인(예를 들어, 도 10의 (B) 참조)의 부호화 할 제 1 블록(예를 들어, 도 10의 Y 블록)에 대응하는 복원된 이전 플레인(또는 기본 플레인 이라 칭함)(예를 들어, 도 6의 (A) 참조)의 제 2 블록(예를 들어, 도 10의 X 블록)에 대하여, 제 2 블록(X)의 주변 블록 중에서 그 제 2 블록과의 화소값의 차가 가장 작은 제 3 블록(예를 들어, 도 10의 X'블록)을 탐색한 후, 그 제 3 블록(X')에 대응하는 현재 플레인의 복원된 제 4 블록(예를 들어 도 10의 Y'블록)을 탐색한다.
본 실시예에 따르면, 제 2 블록(X)의 주변 블록은 도 11의 (A)(B)(C)에 해칭된 블록으로 도시된 바와 같은데, 도 11(A)와 같이 부호화 단위가 16X16 단위 블록인 경우에 해당하는 16X16 블록의 좌측, 상단 및 우상단에 인접한 다수개의 4X4 블록이 주변 블록으로 설정될 수 있고, 도 11(B)와 같이 부호화 단위가 8X8 단위 블록인 경우에 해당하는 8X8 블록의 좌측 및 상단에 인접한 5개의 4X4 블록이 주변 블록으로 설정될 수 있으며, 도 11(C)와 같이 부호화 단위가 4X4 단위 블록인 경우에 해당하는 4X4 블록의 좌측, 좌상단 및 상단에 인접한 3개의 4X4 블록이 주변 블록으로 설정될 수 있으나, 이에 한정되지 않는다. 주변 블록 탐색부(810)는 도 11과 같이 설정된 주변 블록을 예를 들어 좌하단->좌상단->우상단 방향으로SAD(Sum of Absolute Difference) 방식에 근거하여 순차 탐색할 수 있고, 이 탐색 결과 SAD 값이 가장 작은 제 3 블록(X')을 찾을 수 있다.
상관 파라미터 산출부(830)는 제 3 블록(X') 및 이에 대응하는 제 4 블록(Y')에 근거하여, 제 3 블록(X')과 제 4 블록(Y')간의 상관 파라미터를 산출하되, 예를 들어 MSE(Mean Square Error) 방식에 따라 제 3 블록(X')과 제 4 블록(Y')간의 MSE값을 최소화는 파라미터를 상관 파라미터로 산출할 수 있다.
예측부(850)는 제 2 블록(X) 및 상관 파라미터 산출부(830)에 의해 산출된 상관 파라미터에 근거하여 제 1 블록(Y)의 예측 블록을 생성할 수 있다.
도 9는 본 발명의 일 실시예 따른 예측을 위한 컬러 플레인간의 상관 파라미터 추출 방법의 흐름도로, 동 도면에 도시된 바와 같이, 주변 블록 탐색 단계(S910), 상관 파라미터 산출 단계(S930), 및 예측 단계(S950)를 포함하며, 도 4의 장치에일 예로서 적용되므로 그 장치의 동작과 병행하여 설명한다.
주변 블록 탐색 단계(S910)
도 10의 (B)와 같은 레드 또는 블루 플레인 중 하나를 부호화 할 현재 플레인이라 하고, 도 10의 (A)와 같은 그린 플레인을 부호화 후 복원된 이전 플레인으로서의 기본 플레인이라 할 경우, 주변 블록 탐색부(810)는 현재 플레인의 부호화 할 제 1 블록(Y)에 대응하는 복원된 이전 플레인의 제 2 블록(X)을 탐색하고, 제 2 블록(X)의 주변 블록(도 11이 해칭 블록) 중에서 그 제 2 블록(X)과의 화소값의 차가 가장 작은제 3 블록(예를 들어 X'라 가정)을 SAD(Sum of Absolute Difference) 방식에 따라 탐색하고, 그 제 3 블록(X')에 대응하는 현재 플레인의 복원된 제 4 블록(Y')을 탐색한다.
상관 파라미터 산출 단계(S930)
이어 상관 파라미터 산출부(830)는 제 3 블록(X')의 화소값 및 제 4 블록(Y')의 화소값에 근거하여, 제 3 블록(X')과 제 4 블록(Y')간의 선형적 상관 파라미터를 산출하는데, 일 예로MSE(Mean Square Error) 방식에 따라 제 3 블록(X')과 제 4 블록(Y')간의 MSE값을 최소화는 파라미터를 상관 파라미터로 산출할수 있다.
예측 단계(S950)
마지막으로, 예측부(450)는 제 2 블록(X) 및 상관 파라미터 산출부(830)에 의해 산출된 상관 파라미터에 근거하여 제 1 블록(Y)의 예측 블록을 생성한다.
이어, 도 8의 장치의 구체적인 작용에 대해 이에 대응하는 도 9의 방법의 구제적인 과정과 함께 병행하여 설명한다.
본 발명의 실시예는 기본 플레인을 부호화 하고 난 뒤에 다른 플레인을부호화하는데 있어서, 기본 플레인을 기반으로 선형 변환해서 다른 플레인의 예측 화면(또는 영상, 또는 블록이라 칭함)을 만들 때, 그 선형 변환 시 필요한상관 파라미터를 추출하는데 적용한다. 일반적으로 기본 플레인은 그린(Green) 플레인이고 다른 플레인은 레드(red)와 블루(blue) 플레인이다. 본 발명의 실시예에 적용되는 위와 같은 예측 방식을 인터 플레인 프리딕션(Inter plane prediction) 혹은 인터 컬러 프리딕션(Inter color prediction) 이라고 한다. 이후 설명의 편의상 본 발명의 실시예에 대해 그린, 블루, 및 레드의 순서로 부호화하는 경우를 일 예로 설명하되, 순서는 이에 한정되지 않고 바뀔 수 있다. 본 발명의 실시예에 따르면 그린 플레인을이용하여 블루와 레드 신호를예측하기 위해 블록 단위로 예측을 수행한다.
도 10에 도시된바와 같이, 현재 플레인의 블록 Y를 기본 플레인의 블록 X로 예측하려 할 경우, 예측 화면은 예측부(850) 또는 예측 단계(S950)에서 다음의 식 (1)에 근거하여 구해진다.
Figure PCTKR2010008298-appb-I000001
식 (1)
Figure PCTKR2010008298-appb-I000002
은 X를 이용하여 선형 예측된 예측 화면의 값으로,
Figure PCTKR2010008298-appb-I000003
블록을 예측하기 위해 사용된다.
본 실시예에서, 기본 플레인이 그린 플레인이고 예측할려는 플레인이 블루 플레인이라 하면, 식 (1)은 다음의 식(2)와 같이 다시 표현될 수 있다.
Figure PCTKR2010008298-appb-I000004
식(2)
Figure PCTKR2010008298-appb-I000005
는 복원된 그린 플레인의 화소 값을 나타하며, i,j 는 화소의 위치를 나타낸다.
Figure PCTKR2010008298-appb-I000006
은 예측된 블루 플레인의 화소값을 의미한다.
예측부(850) 또는 예측 단계(S950)에서 식(2)를 근거로 예측을 하기 위해서는 선형적 상관 파라미터
Figure PCTKR2010008298-appb-I000007
와
Figure PCTKR2010008298-appb-I000008
가 필요하다.
이 상관 파라미터들은 부호화단에서 직접 전송하는게 아니라, 주변 블록 탐색부(810) 또는 주변 블록탐색 단계(S910)에서는 현재 블루 플레인의 현재 블록에대해 복원된 주변 블록의 화소 및 이에 대응하는 그린 플레인의 복원된주변 블록의 화소를 이용하여 이 두 개의 상관 파라미터를 찾는다.
즉, 주변 블록 탐색부(810) 또는 주변 블록 탐색단계(S910)에서는 이 두 개의 상관 파라미터를 찾기 위해 현재 부호화 하고자 하는 블루 블록(Y)의 대응 위치에 있는 그린 블록(X)과 가장 유사한 블록을 인접 영역의 주변 블록들(도 11 참조) 중에서 탐색한다. 탐색 시, 다음의 식(3)과 같이 현재 움직임 탐색에서 사용되는 SAD를 적용하나, 이에 한정되지 않는다.
[규칙 제26조에 의한 보정 07.02.2011]　
Figure WO-DOC-FIGURE-60
식(3)
식(3)에서 G'(x,y)는 X 블록의 화소값을 나타내고, G'(x-m,y-n)은 X 블록에서 m,n만큼 변경된 주변 블록의화소값을 나타낸다.
[규칙 제26조에 의한 보정 07.02.2011]　
상관 파라미터 산출부(830) 또는 상관 파라미터 산출 단계(S530)에서는 주변 블록 중에서 가장 SAD가 낮은 블록을 찾아 이를 최적의 상관 파라미터를 찾기 위한 블록(이후, X'블록이라고 가정함)으로 결정하고, 이 결정된 X'블록과 이에 대응하는 Y'블록의 위치에서 그린과 블루 사이의 상관 관계를 이용하여 상관 파라미터
Figure WO-DOC-FIGURE-62a
와
Figure WO-DOC-FIGURE-62b
를 산출한다. 다음의 식 (4)에서
Figure WO-DOC-FIGURE-62c
와
Figure WO-DOC-FIGURE-62d
는 최적 위치를 갖는 좌표 즉, X' 블록의 화소 좌표를 나타내는 것으로, 상관 파라미터 산출부(430) 또는 상관 파라미터 산출 단계(S930)에서 산출된다.
[규칙 제26조에 의한 보정 07.02.2011]　
Figure WO-DOC-FIGURE-63
식(4)
상관 파라미터 산출부(430) 또는 상관 파라미터 산출 단계(S530)에서는 탐색된 블록에 기반하여 상관 파라미터를 산출하며, 이는 다음의 식(5) 및 식(6)에 의해 얻어진다. 이 상관 파라미터는 평균제곱오차(MSE: Mean squre error) 관점에서 X'블록과 Y'블록간의 MSE값이 최소화되게 하는 파라미터이다. 식(5)(6)에서, M과 N은 해당블록의 X와 Y축의 화소수, G'(i-m*,j-n*)는 X' 블록의 화소값, B'(i-m*, j-n*)는 Y' 블록의 화소값을 나타낸다.
[규칙 제26조에 의한 보정 07.02.2011]　
Figure WO-DOC-FIGURE-65
식(5)
[규칙 제26조에 의한 보정 07.02.2011]　
Figure WO-DOC-FIGURE-66
식(6)
예측부(850) 또는 예측 단계(S950)에서는 미리 복호화 된 그린에서 블루를 예측하는데, 상관 파라미터 산출부(430) 또는 상관 파라미터 산출 단계(S930)에서 얻어진 상관 파라미터
Figure PCTKR2010008298-appb-I000017
와
Figure PCTKR2010008298-appb-I000018
를 식(2)에 대입하여 예측 영상
Figure PCTKR2010008298-appb-I000019
를 만들어 낸다.
본 발명의 실시예에서, 유사한 블록을 탐색하는 주변 블록의영역은 일 예로 도 11에 도시된 바와 같다. 영상을 부호화 하는데 사용되는 16X16, 8X8, 4X4 크기의 블록에 대해서 연산량의증가를 막기 위해서 탐색 영역은예를 들어 4X4 블록 단위로 최소화 한다. 즉 부호화 하는 영역의좌측, 상단, 우상단 등의 영역에서 검색하는 최소블록 단위 정도의 4X4 블록의 영역에서만 화소 단위로 이동하면서 유사 블록을찾아낸다.
상술된 방법과 동일한 방법을 적용하여 레드 플레인도 부호화 한다. 다만, 블루 플레인을 부호화 할 때는 사용 가능한 색차 정보가 그린 플레인만 있었지만, 레드 플레인 정보를 부호화 할 때에는블루 플레인도 부호화가끝나있으므로, 이 블루 플레인 정보를 상술된 인터 플레인 프리딕션(inter plane prediction) 시에 사용가능 하다.
도 9를 참조하여 설명된 본 발명의 실시예에 따른 예측을 위한 컬러 플레인간의 상관 파라미터 추출 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을포함하는 컴퓨터 판독가능 기록 매체로 구현될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록 매체는 본 발명의실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 기록 매체는 프로그램 명령, 로컬 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터프로그램으로서 구현될수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에불과한 것으로서, 본 발명이속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나 지 않는 범위에서 다양한 수정및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술사상을 한정하기 위한것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와동등한 범위 내에있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상 설명한 바와같이, 본 발명의실시예는 영상데이터 압축 기술 분야, 특히 인터 플레인 프리딕션(inter plane prediction) 시에 적용되어, 주변 블록 중 현재 블록과 유사도가 가장 높은 특정 블록을 이용하여 컬러 플레인간의 최적 상관 파라미터를 추출하고, 그 최적 상관 파라미터를 근거로 현재 블록에대한 최적 예측을 수행하므로, 파라미터의 정확도를 높이고 그 결과 정확한추정 영상을 만들며 부가 정보를 줄여 코딩 효율을 향상하는 매우 유용한발명이다.
CROSS-REFERENCE TO RELATED APPLICATION
본 특허출원은 2009년 11월 24일 한국에 출원한 특허출원번호 제 10-2009-0113628 호 및 2010년 11월 18일 한국에 출원한 특허출원번호 제 10-2010-0114812 호에 대해 미국 특허법 119(a)조(35 U.S.C § 119(a))에 따라 우선권을 주장하면, 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다. 아울러, 본 특허출원은 미국 이외에 국가에 대해서도 위와 동일한 동일한 이유로 우선권을 주장하면 그 모든 내용은 참고문헌으로 본 특허출원에 병합된다.

Claims (15)

  1. 현재 플레인의 부호화 할 제 1 블록에 대응하는 복원된 이전 플레인의 제 2 블록에 대하여, 상기 제 2 블록의 주변 블록 중에서 그 제 2 블록과의 화소값의 차가 가장 작은 제 3 블록을 탐색하는 주변 블록 탐색부;
    상기 제 3 블록 및 그 제 3 블록에 대응하는 상기 현재 플레인의 복원된 제 4 블록에 근거하여, 상기 제 3 블록과 상기 제 4 블록간의 상관 파라미터를 산출하는 상관 파라미터 산출부; 및
    상기 제 2 블록 및 상기 산출된 상관 파라미터에 근거하여 상기 제 1 블록을 예측하는 예측부;
    를 포함하는 것을 특징으로 하는 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치.
  2. 제 1 항에 있어서,
    상기 주변 블록 탐색부는SAD(Sum of Absolute Difference) 방식에 따라 상기 제 3 블록을 탐색하는 것을 특징으로 하는 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치.
  3. 제 1 항에 있어서,
    상기 상관 파라미터 산출부는MSE(Mean Square Error) 방식에 따라 상기 제 3 블록과 상기 제 4 블록간의 MSE값을 최소화는 파라미터를 상기 상관 파라미터로 산출하는 것을 특징으로 하는 예측을위한 컬러 플레인간의 상관 파라미터 추출 장치.
  4. [규칙 제26조에 의한 보정 07.02.2011]　
    제 1 항에 있어서, 상기 상관 파라미터 산출부는 하기 수학식에 따라 상기 상관 파라미터를 산출하되, 상기 상관 파라미터는 선형 파라미터로서 계수
    Figure WO-DOC-FIGURE-41
    와 상수
    Figure WO-DOC-FIGURE-42
    를 포함하고, 하기 수학식에서 M과 N은 해당 블록의 X와 Y축의 화소수, G'(i-m*, j-n*)는 상기 제 3 블록의 화소값, B'(i-m*, j-n*)는 상기 제 4 블록의 화소값을 나타내는 것을 특징으로 하는 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치.
    Figure WO-DOC-FIGURE-43
    Figure WO-DOC-FIGURE-44
  5. 제 1 항에 있어서,
    상기 예측부는 하기 수학식에 따라 상기 제 1 블록의 예측 블록을 구하되, 하기 수학식에서
    Figure PCTKR2010008298-appb-I000024
    는 상기 제 2 블록의 화소값이고,
    Figure PCTKR2010008298-appb-I000025
    는 상기 예측 블록의 화소값을 나타내는 것을 특징으로 하는 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치.
    Figure PCTKR2010008298-appb-I000026
  6. 현재 플레인의 부호화 할 제 1 블록에 대응하는 복원된 이전 플레인의 제 2 블록을 탐색하는 단계;
    상기 제 2 블록의 주변 블록 중에서 그 제 2 블록과의 화소값의 차가 가장 작은 제 3 블록을 탐색하는 단계;
    상기 제 3 블록 및 그 제 3 블록에 대응하는 상기 현재 플레인의 복원된 제 4 블록을 탐색하는 단계;
    상기 제 3 블록과 상기 제 4 블록간의 상관 파라미터를 산출하는 단계; 및
    상기 제 2 블록 및 상기 산출된 상관 파라미터에 근거하여 상기 제 1 블록을 예측하는 단계;
    를 포함하는 것을 특징으로 하는 예측을 위한 컬러 플레인간의 상관 파라미터 추출 방법.
  7. 제 6 항에 있어서,
    상기 제 3 블록은 SAD(Sum of Absolute Difference) 방식에 따라 탐색하는 것을 특징으로 하는 예측을 위한 컬러 플레인간의 상관 파라미터 추출 방법.
  8. 제 6 항에 있어서,
    상기 상관 파라미터는MSE(Mean Square Error) 방식에 따라 상기 제 3 블록과 상기 제 4 블록간의 MSE값을 최소화하는 파라미터로 산출하는 것을 특징으로 하는 예측을 위한 컬러 플레인간의 상관 파라미터 추출 방법.
  9. [규칙 제26조에 의한 보정 07.02.2011]　
    제 6 항에 있어서, 상기 상관 파라미터는 하기 수학식에 따라 산출하되, 선형 파라미터의 계수
    Figure PCTKR2010008298-appb-I000027
    와 상수
    Figure PCTKR2010008298-appb-I000028
    를포함하고, 하기 수학식에서 M과 N은 해당 블록의 X와 Y축의 화소수, G'(i-m*, j-n*)는 상기 제 3 블록의 화소값, B'(i-m*, j-n*)는 상기 제 4 블록의 화소값을 나타내는 것을 특징으로 하는 예측을위한 컬러 플레인간의 상관 파라미터 추출 방법.
    Figure WO-DOC-FIGURE-91
    Figure WO-DOC-FIGURE-92
  10. [규칙 제26조에 의한 보정 07.02.2011]　
    제 9 항에 있어서, 하기 수학식에 따라 상기 제 1 블록의 예측 블록을 구하되, 하기 수학식에서
    Figure WO-DOC-FIGURE-101
    는 상기 제 2 블록의 화소값이고,
    Figure WO-DOC-FIGURE-102
    는 상기 예측 블록의 화소값을 나타내는 것을 특징으로 하는 예측을 위한 컬러 플레인간의 상관 파라미터 추출 방법.
    Figure WO-DOC-FIGURE-103
  11. 제 6 항 내지 제 10 항 중 어느 한 항의 상기 예측을 위한 컬러 플레인간의 상관 파라미터 추출 방법이 프로그램으로 기록된 컴퓨터로 읽을 수 있는 기록 매체.
  12. 영상 부호화 장치에 있어서,
    기본 플레인에 대하여 인트라 예측하는 인트라 예측기;
    주변 블록과 상기 기본 플레인을 입력으로 하여 컬러 플레인간의 상관 파라미터를 추출하는 인터 플레인 예측기;
    상기 인트라 예측기 및 상기 인터 플레인 예측기에 의해 수행된 예측 중 최적의 예측을 선택하며, 예측된 신호와 원신호의 차이인 잔여신호를 변환하는 변환기;
    상기 변환기에 의해 변환된 잔여신호를 양자화하는 양자화기; 및
    상기 양자화기에 의해 양자화된 신호를 엔트로피 부호화하는 엔트로피 부호화기
    를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  13. 영상 부호화 방법에 있어서,
    기본 플레인에 대하여 인트라 예측하는 단계;
    주변 블록과 상기 기본 플레인을 입력으로 하여 컬러 플레인간의 상관 파라미터를 추출하여 인터 플레인 예측하는 단계;
    상기 인트라 예측 및 상기 인터 플레인 예측에 의해 수행된 예측 중 최적의 예측을 선택하며, 예측된 신호와 원신호의 차이인 잔여신호를 변환하는 단계;
    상기 변환단계에 의해 변환된 잔여신호를 양자화하는 단계; 및
    상기 양자화기에 의해 양자화된 신호를 엔트로피 부호화하는 단계;
    를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  14. 영상 복호화 장치에 있어서,
    입력되는 비트스트림으로부터 엔트로피 신호를 복호화하는 엔트로피 복호기;
    복호된 상기 엔트로피 신호를 역양자화하는 역양자화기;
    상기 역양자화된 신호를 역변환하여 잔여신호를 생성하는 역변환기;
    상기 비트스트림으로부터 추출된 신호에 기초하여 인트라 예측 또는 인터 플레인 예측을 수행하는 예측기; 및
    상기 예측기에 의해 수행된 예측 영상에 상기 잔여신호를 가산하여 복호 영상을 생성하는 가산기;
    를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  15. 영상 복호화 방법에 있어서,
    입력되는 비트스트림으로부터 엔트로피 신호를 복호화하는 단계;
    복호된 상기 엔트로피 신호를 역양자화하는 단계;
    상기 역양자화된 신호를 역변환하여 잔여신호를 생성하는 단계;
    상기 비트스트림으로부터 추출된 신호에 기초하여 인트라 예측 또는 인터 플레인 예측을 수행하는 단계; 및
    상기 예측 수행단계에 의해 수행된 예측 영상에 상기 잔여신호를 가산하여 복호 영상을 생성하는 단계;
    를 포함하는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2010/008298 2009-11-24 2010-11-23 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법 및 이를 위한 기록 매체 WO2011065728A2 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/511,336 US9531917B2 (en) 2009-11-24 2010-11-23 Device and method for extracting correlation parameters between colour planes for prediction, and a recording medium for the same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20090113628 2009-11-24
KR10-2009-0113628 2009-11-24
KR1020100114812A KR101767950B1 (ko) 2009-11-24 2010-11-18 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
KR10-2010-0114812 2010-11-18

Publications (2)

Publication Number Publication Date
WO2011065728A2 true WO2011065728A2 (ko) 2011-06-03
WO2011065728A3 WO2011065728A3 (ko) 2011-09-22

Family

ID=44067083

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/008298 WO2011065728A2 (ko) 2009-11-24 2010-11-23 예측을 위한 컬러 플레인간의 상관 파라미터 추출 장치와 방법 및 이를 위한 기록 매체

Country Status (1)

Country Link
WO (1) WO2011065728A2 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058031A (ja) * 2000-08-08 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法及び装置、並びに、画像復号化方法及び装置
KR20050039057A (ko) * 2003-10-23 2005-04-29 삼성전자주식회사 칼라 영상을 위한 인트라 부호화/복호화 방법 및 장치
JP2008278464A (ja) * 2007-04-06 2008-11-13 Canon Inc 多次元データの符号化装置及び復号装置並びにその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002058031A (ja) * 2000-08-08 2002-02-22 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法及び装置、並びに、画像復号化方法及び装置
KR20050039057A (ko) * 2003-10-23 2005-04-29 삼성전자주식회사 칼라 영상을 위한 인트라 부호화/복호화 방법 및 장치
JP2008278464A (ja) * 2007-04-06 2008-11-13 Canon Inc 多次元データの符号化装置及び復号装置並びにその制御方法

Also Published As

Publication number Publication date
WO2011065728A3 (ko) 2011-09-22

Similar Documents

Publication Publication Date Title
US8260069B2 (en) Color image encoding and decoding method and apparatus using a correlation between chrominance components
KR101138392B1 (ko) 색차 성분의 상관관계를 이용한 컬러 영상의 부호화,복호화 방법 및 그 장치
WO2013070006A1 (ko) 스킵모드를 이용한 동영상 부호화 및 복호화 방법 및 장치
KR101266168B1 (ko) 영상의 부호화, 복호화 방법 및 장치
WO2011068331A2 (ko) 비디오 인코딩 장치 및 그 인코딩 방법, 비디오 디코딩 장치 및 그 디코딩 방법, 및 거기에 이용되는 방향적 인트라 예측방법
US20110176614A1 (en) Image processing device and method, and program
WO2011155714A2 (ko) 엣지-적응 변환을 이용한 영상 부호화/복호화 시스템 및 방법
WO2011062392A2 (ko) 후보 예측 움직임 벡터 집합 선택을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2010038961A2 (ko) 복수 개의 움직임 벡터 추정을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
WO2009113791A2 (ko) 영상 부호화장치 및 영상 복호화장치
WO2013002550A2 (ko) 고속 코딩 단위(Ｃｏｄｉｎｇ Ｕｎｉｔ) 모드 결정을 통한 부호화/복호화 방법 및 장치
WO2011019246A2 (en) Method and apparatus for encoding/decoding image by controlling accuracy of motion vector
WO2010044569A2 (ko) 참조 프레임 생성 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
KR20060127155A (ko) 화상 정보 부호화 장치 및 화상 정보 부호화 방법
KR20070096737A (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JP2008154015A (ja) 復号化方法および符号化方法
WO2012033344A2 (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
CN113892270A (zh) 在变换跳过模式和多变换选择之间进行协调的方法和装置
KR20090087767A (ko) 영상의 인트라 예측 부호화 방법
WO2011071254A2 (ko) 쌍예측을 이용한 멀티 플레인 영상의 부호화/복호화 장치와 방법 및 이를 위한 기록매체
WO2012021040A2 (ko) 필터링모드 생략가능한 영상 부호화/복호화 방법 및 장치
WO2011052990A2 (ko) 적응적인 해상도 기반의 영상 부호화/복호화 방법 및 장치
WO2010044559A2 (ko) 동영상 부호화/복호화 장치 및 그를 위한 가변 단위의 적응적 중첩 블록 움직임 보상 장치 및 방법
WO2012033343A2 (ko) 참조 화소들의 특성을 이용하여 예측모드 정보의 전송을 생략할 수 있는 화면 내 예측 부호화/복호화 장치 및 그 방법
WO2011068332A2 (ko) 공간적 예측장치 및 그 예측방법, 그것을 이용한 영상 부호화 장치 및 방법, 및 영상 복호화 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10833540

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13511336

Country of ref document: US

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 30/08/2012)

122 Ep: pct application non-entry in european phase

Ref document number: 10833540

Country of ref document: EP

Kind code of ref document: A2