KR20100020926A - Method for making thumb-nail image of image frame based on h.264 - Google Patents

Method for making thumb-nail image of image frame based on h.264 Download PDF

Info

Publication number
KR20100020926A
KR20100020926A KR1020090074508A KR20090074508A KR20100020926A KR 20100020926 A KR20100020926 A KR 20100020926A KR 1020090074508 A KR1020090074508 A KR 1020090074508A KR 20090074508 A KR20090074508 A KR 20090074508A KR 20100020926 A KR20100020926 A KR 20100020926A
Authority
KR
South Korea
Prior art keywords
block
image
image block
prediction
equation
Prior art date
Application number
KR1020090074508A
Other languages
Korean (ko)
Other versions
KR101052390B1 (en
Inventor
김원하
오형석
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20100020926A publication Critical patent/KR20100020926A/en
Application granted granted Critical
Publication of KR101052390B1 publication Critical patent/KR101052390B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PURPOSE: A method for making thumbnail image of image frame based on h.264 is provided to quickly search specific image through thumbnail images in the multimedia terminal. CONSTITUTION: The prediction mode decision part(110) decides the intra prediction mode of the input N×N image block. The predicted block generating unit(120) creates the predicted block of the spatial domain about the N×N image block. The prediction reference pixel generating unit(180) creates the prediction reference pixel of the image block. The predicted block DC(Direct Current) calculation unit(190) calculates the DC coefficient of the predicted block about the unit image block. The thumbnail image forming unit(197) creates the thumbnail image about the video frame by the combination of the DC coefficient of all N×N image blocks.

Description

H.264 표준의 영상 프레임에서 섬네일 이미지를 생성하는 방법{Method for making thumb-nail image of image frame based on H.264}Method for making thumb-nail image of image frame based on H.264 standard

본 발명은 영상 이미지에 대한 섬네일 이미지를 생성하는 방법에 관한 것으로, 보다 구체적으로 영상 이미지를 구성하는 영상 블록에 대한 예측 블록의 DC 계수를 공간 영역의 영상 블록의 예측 참조 픽셀로부터 직접 계산하고, 계산한 예측 블록의 DC 계수와 영상 블록에 대한 오차 블록의 DC 계수로부터 영상 블록의 DC 계수를 계산하여 영상 이미지의 섬네일 이미지를 생성하는 방법에 관한 것이다. The present invention relates to a method for generating a thumbnail image for a video image. More specifically, the DC coefficient of a predictive block for a video block constituting the video image is directly calculated from a predictive reference pixel of an image block in a spatial domain and calculated. The present invention relates to a method of generating a thumbnail image of an image image by calculating a DC coefficient of an image block from a DC coefficient of a prediction block and an error block of the image block.

비디오 압축은 디지털 TV, 인터넷 스트리밍 비디오 그리고 DVD-비디오와 같은 광범위한 분야에 채택됨으로 인해, 방송 및 오락 매체의 핵심 요소가 되었다. 디지털 TV와 DVD 비디오의 성공은 발표된 지 15년이 지난 MPEG-2 표준안을 기초로 한 것으로, 이 기술의 효용성은 충분히 증명되었지만 이제는 구식의 기술이다. 이제는 프로세싱 능력의 발전을 이용하여 보다 효과적이고 효율적인 기술로 MPEG-2의 자리를 대체해야 할 때인 것이 분명하다. 어떤 기술이 MPEG-2를 대신해야 하는가에 대한 논쟁은 지금도 계속되고 있지만, 이러한 논쟁에서 가장 앞서서 고려되고 있는 기술 중 하나가 H.264/AVC(Advanced VDeo cDing)이다.Video compression has become a key component of broadcast and entertainment media due to its widespread adoption in digital TV, Internet streaming video and DVD-video. The success of digital TV and DVD video is based on the MPEG-2 standard, 15 years after it was published. The utility of this technology has been proven, but it is now outdated. Now is the time to take advantage of advances in processing power to replace MPEG-2 with more effective and efficient technologies. The debate over which technology should replace MPEG-2 continues, but one of the foremost technologies considered in this debate is H.264 / AVC (Advanced VDeo cDing).

H.264/AVC은 시각 정보의 부호화된 표현을 위한 표준안으로, 국제통신위원회(ITU-T: International Telecommunication Union)의 연구 그룹인 Video Coding Experts Group(VCEG)에 의해 개발되었다.H.264 / AVC is a standard for the coded representation of visual information and was developed by the Video Coding Experts Group (VCEG), a research group of the International Telecommunication Union (ITU-T).

H.264/AVC는 코덱(CDEC: enCDer/DECder)을 따로 정의하지 않고 있으며, 단지 인코딩된 비디오 비트스트림의 신택스(syntax)와 이러한 비트스트림을 디코딩하는 방법을 정의하고 있다. 코딩된 픽쳐는 여러 개의 매크로 블록으로 구성되는데, 각 매크로블록은 16×16 휘도 샘플 및 이와 관련된 색차 샘플을 포함한다. 각 픽쳐 내의 매크로블록들은 슬라이스에 배열되는데, 슬라이스에는 매크로블록들이 순차적인 스캔 순서로 존재한다. 매크로블록들은 I 슬라이스, P 슬라이스, B 슬라이스에 포함되는데, I 슬라이스는 인트라(intra) 매크로블록만을 포함하며, P 슬라이스는 인터(inter) 매크로블록과 인트라 매크로블록을 포함하며, B 슬라이스는 인터 매크로블록과 인트라 매크로블록을 포함한다. 이중 인트라 매크로블록은 현재 슬라이스 내에서 디코딩되어 복원된 참조 샘플로부터 인트라 예측을 사용하여 예측된다. H.264 / AVC does not define a codec (enCDer / DECder) separately, but merely defines the syntax of the encoded video bitstream and how to decode such a bitstream. A coded picture consists of several macroblocks, each containing 16 × 16 luma samples and associated color difference samples. Macroblocks within each picture are arranged in a slice, where the macroblocks are present in sequential scan order. Macroblocks are included in I slices, P slices, and B slices, where I slices contain only intra macroblocks, P slices contain inter macroblocks and intra macroblocks, and B slices contain inter macroblocks. Block and intra macroblock. The double intra macroblock is predicted using intra prediction from the reference sample decoded and reconstructed within the current slice.

도 1은 종래 H.264/AVC 인코더에서 수행되는 인트라 예측을 설명하기 위한 기능 블록도를 도시하고 있다. H.264/AVC 인코더는 "순방향" 경로(왼쪽에서 오른쪽)와 "복원" 경로(오른쪽에서 왼쪽)의 두 개의 데이터 흐름 경로를 포함하고 있다. "순방향"경로에서 복원된 참조 블록으로부터 예측 블록을 생성하고, 현재 인코딩하고자 하는 영상 블록을 생성한 예측 블록에서 빼서 오차 픽셀 블록을 생성한다. 한편, "복원" 경로에서는 생성한 오차 픽셀 블록과 예측 블록을 합하여 다음 으로 인코딩하고자 하는 영상 블록의 참조 픽셀 블록을 생성한다. 1 shows a functional block diagram for explaining intra prediction performed in a conventional H.264 / AVC encoder. The H.264 / AVC encoder includes two data flow paths, a "forward" path (left to right) and a "restore" path (right to left). A prediction block is generated from the reference block reconstructed in the "forward" path, and an error pixel block is generated by subtracting from the prediction block that has generated the video block to be currently encoded. Meanwhile, in the "restore" path, the generated error pixel block and the prediction block are added together to generate a reference pixel block of an image block to be encoded next.

도 1을 참고로 "순방향"경로와 "복원"경로를 보다 구체적으로 살펴본다. 먼저, "순방향"경로에 대해 살펴보면 예측 모드 결정부(10)는 입력된 공간 영역의 N×N 영상 블록에 대한 인트라 예측 모드를 결정한다. 예측 블록 생성부(20)는 결정한 인트라 예측 모드에 따라 저장된 참고 블록을 이용하여 입력된 공간 영역의 N×N 영상 블록에 대한 예측 블록을 생성한다.The "forward" path and the "restore" path will be described in more detail with reference to FIG. 1. First, referring to the “forward” path, the prediction mode determiner 10 determines an intra prediction mode for an N × N image block of an input spatial region. The prediction block generator 20 generates a prediction block for the N × N image block of the input spatial region by using the stored reference block according to the determined intra prediction mode.

오차 블록 생성부(30)는 입력된 공간 영역의 N×N 영상 블록과 생성한 예측 블록을 서로 차감하여 N×N 오차 블록을 생성한다. 변환부(40)는 N×N 오차 블록을 블록 기반 변환 방식으로 변환하여 변환 영역의 N×N 오차 계수 블록으로 변환한다. 바람직하게, 블록 기반 변환 방식 중 DCT(Discrete Cosine Transform) 또는 정수 DCT 방식이 사용된다.The error block generator 30 generates an N × N error block by subtracting the input N × N image block and the generated prediction block from each other. The transform unit 40 converts the N × N error block into a block-based transform method and converts the N × N error block into an N × N error coefficient block in the transform domain. Preferably, a discrete cosine transform (DCT) or an integer DCT scheme is used among the block-based transformation schemes.

양자화부(50)는 변환 영역의 N×N 오차 계수 블록을 양자화하며 부호화부(60)는 예측 부호화, 가변 길이 부호화, 산술 부호화 등의 부호화 방식 중 하나의 방식에 따라 양자화된 N×N 오차 계수 블록을 부호화하여 비트스트림을 생성한다.The quantization unit 50 quantizes the N × N error coefficient blocks of the transform domain, and the encoding unit 60 quantizes the N × N error coefficients according to one of coding schemes such as prediction coding, variable length coding, and arithmetic coding. The block is encoded to generate a bitstream.

한편, "복원" 경로에 대해 살펴보면, 양자화부(50)에서 출력되는 양자화된 N×N 오차 계수 블록을 역양자화부(70)에서 역양자화하고, 역변환부(80)는 역양자화된 N×N 오차 계수 블록을 역변환하여 공간 영역의 N×N 오차 블록을 생성한다. 참조 블록 생성부(90)는 N×N 오차 블록과 예측 블록을 합하여 다시 예측 블록을 생성하는데 이용되는 참조 블록을 복원한다.On the other hand, looking at the "restore" path, the quantized N × N error coefficient block output from the quantization unit 50 inverse quantized by the inverse quantizer 70, the inverse transform unit 80 is inverse quantized N × N The error coefficient block is inversely transformed to generate an N × N error block in a spatial domain. The reference block generator 90 reconstructs the reference block used to generate the prediction block by adding the N × N error block and the prediction block.

위에서 살펴본 바와 같이, H.264/AVC 인코더는 N×N 오차 계수 블록을 이용하여 영상 이미지를 압축하도록 규정하고 있는데, N×N 오차 계수 블록을 생성하기 위하여 사용되는 예측 블록은 인코딩하고자 하는 N×N 영상 블록의 인트라 예측 모드를 통해 결정된다. H.264/AVC 인코더에서 휘도 4×4 영상 블록에 대해서는 9개의 인트라 예측 모드가 정의되어 있으며, 휘도 16×16 영상 블록에 대해서는 4개의 인트라 예측 모드가 정의되어 있고, 색차 영상에는 8×8 영상 블록에 대해서는 4개의 인트라 예측 모드가 정의되어 있다.As described above, the H.264 / AVC encoder specifies to compress a video image using N × N error coefficient blocks. The prediction block used to generate the N × N error coefficient blocks is N × to be encoded. It is determined through the intra prediction mode of the N image block. In the H.264 / AVC encoder, nine intra prediction modes are defined for luminance 4 × 4 image blocks, four intra prediction modes are defined for luminance 16 × 16 image blocks, and 8 × 8 images for chrominance images. Four intra prediction modes are defined for the block.

도 2를 참고로 4×4 영상 블록에서 사용되는 9개의 인트라 예측 모드를 보다 구체적으로 살펴보면 다음과 같다.Referring to FIG. 2, the nine intra prediction modes used in the 4 × 4 image block will be described in more detail as follows.

1) 제0 예측 모드(vertical)1) 0th prediction mode (vertical)

- Vertical 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀들을 이용하여 예측하는 모드이다. The vertical mode is a prediction mode using 4 pixels of the upper X image block of the block to be currently encoded.

- A 픽셀은 블록의 첫 column 부분의 4개의 픽셀에 채워지고 B 픽셀은 블록의 두 번째 column 부분의 4개의 픽셀에 채워지며, C, D 픽셀도 각각 블록 column에 해당하는 4개의 픽셀에 채워진다. A pixel is filled with 4 pixels of the first column part of the block, B pixel is filled with 4 pixels of the second column part of the block, and C and D pixels are also filled with 4 pixels corresponding to each block column.

2) 제1 예측 모드(horizontal)2) first prediction mode (horizontal)

- Horizontal 모드는 현재 부호화하고자 하는 블록(가)의 왼쪽 Z 영상 블록의 4픽셀들을 이용하여 예측하는 모드이다. The horizontal mode is a mode for predicting using 4 pixels of the left Z image block of the block to be currently encoded.

- I 픽셀은 블록의 첫 row 부분의 4개의 픽셀에 채워지고 J 픽셀은 블록의 두 번째 row 부분의 4개의 픽셀에 채워지며, K, L 픽셀도 각각 블록 row에 해당하 는 4개의 픽셀에 채워진다. The I pixel is filled with four pixels of the first row portion of the block, the J pixel is filled with four pixels of the second row portion of the block, and the K and L pixels are also filled with four pixels corresponding to each block row. .

3) 제2 예측 모드(DC)3) second prediction mode (DC)

- DC 모드는 현재 부호화하고자 하는 블록(가)의 왼쪽 Z 영상 블록의 4픽셀(I,J,K,L)과 위쪽 X 영상 블록(A,B,C,D)의 4픽셀의 평균값으로 예측되는 모드이다.-DC mode predicts the average value of 4 pixels (I, J, K, L) of the left Z image block and 4 pixels of the upper X image block (A, B, C, D) of the block to be currently encoded. Mode.

4) 제3 예측 모드(diagonal down-left)4) third prediction mode (diagonal down-left)

- Diagonal down-left 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀과 위/오른쪽 Y 영상 블록을 이용하여 예측하는 모드이다.-Diagonal down-left mode is a prediction mode using 4 pixels of the upper X image block and up / right Y image block of the block to be currently encoded.

- 부호화하고자 하는 블록의 좌측 하단과 우측 상단 사이의 45도 각도로 채워진다.It is filled with a 45 degree angle between the lower left and the upper right of the block to be encoded.

5) 제4 예측 모드(diagonal down-right)5) fourth prediction mode (diagonal down-right)

- Diagonal down-right 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀, 위 왼쪽 S 영상 블록의 1픽셀(Q)과 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.Diagonal down-right mode is a prediction mode using 4 pixels of the upper X image block, 1 pixel of the upper left S image block (Q) and 4 pixels of the left Z image block of the block to be encoded. .

- 부호화하고자 하는 블록의 우측 하단 45도 방향으로 채워진다.-Filled in the 45 degree direction at the bottom right of the block to be encoded.

6) 제5 예측 모드(vertical-right)6) fifth prediction mode (vertical-right)

- Vertical-right 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀, 위 왼쪽 S 영상 블록의 1픽셀(Q)과 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.The vertical-right mode is a prediction mode using 4 pixels of the upper X image block, 1 pixel of the upper left S image block (Q) and 4 pixels of the left Z image block to be encoded.

- 수직의 오른쪽 약 26.6도 방향으로 채워진다. (넓이/높이=1/2)-Filled in the direction of about 26.6 degrees to the right of the vertical. (Width / height = 1/2)

7) 제6 예측 모드(horizontal-down)7) sixth prediction mode (horizontal-down)

- Horizontal-down 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀, 위 왼쪽 S 영상 블록의 1픽셀(Q)과 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.-Horizontal-down mode is a prediction mode using 4 pixels of the upper X image block, 1 pixel (Q) of the upper left S image block, and 4 pixels of the left Z image block.

- 수평의 아래 약 26.6도 방향으로 채워진다.-Filled in the direction of about 26.6 degrees below the horizontal.

8) 제7 예측 모드(vertical-left)8) seventh prediction mode (vertical-left)

- Vertical-left 모드는 현재 부호화하고자 하는 블록(가)의 위쪽 X 영상 블록의 4픽셀, 위 오른쪽 Y 영상 블록의 1픽셀(E)을 이용하여 예측하는 모드이다.-The vertical-left mode is a prediction mode using 4 pixels of the upper X image block and 1 pixel E of the upper right Y image block of the block to be currently encoded.

- 수직의 왼쪽 약 26.6도 방향으로 채워진다.-The left side of the vertical is filled in about 26.6 degrees.

9) 제8 예측 모드(horizontal-up)9) eighth prediction mode (horizontal-up)

- Horizontal-up 모드는 현재 부호화하고자 하는 블록(가)의 왼쪽 Z 영상 블록의 4픽셀을 이용하여 예측하는 모드이다.-Horizontal-up mode is a mode for predicting using 4 pixels of the left Z image block of the block to be currently encoded.

- 수평의 위쪽 약 26.6도 방향으로 보간된다.-Interpolate in the direction of about 26.6 degrees above the horizontal.

한편, 핸드폰, 디지털 TV 등과 같은 멀티미디어 단말기는 저장하고 있는 영상 이미지를 미리 보기 위해 작은 사이즈의 이미지(이하, '섬네일 이미지'라 언급한다)를 사용하여 멀티미디어 단말기에 저장되어 있는 영상 데이터를 검색한다. Meanwhile, a multimedia terminal such as a mobile phone or a digital TV searches for image data stored in the multimedia terminal using a small size image (hereinafter referred to as a thumbnail image) to preview the stored image image.

도 3은 핸드폰에서 사용하는 섬네일 이미지의 일 예를 도시하고 있다. 도 3에 도시되어 있는 섬네일 이미지를 참고로 살펴보면, 핸드폰에 저장되어 있는 다수의 영상 또는 동영상 이미지들이 디스플레이부에 섬네일 이미지로 미리 디스플레이된다. 사용자는 디스플레이된 섬네일 이미지를 통해 재생하고자 하는 영상 또는 동영상을 검색하고 검색한 영상 또는 동영상 중 소정 영상을 선택하면, 선택한 영상은 원래 사이즈의 이미지로 재생된다. 3 illustrates an example of a thumbnail image used in a mobile phone. Referring to the thumbnail image illustrated in FIG. 3, a plurality of video or video images stored in the mobile phone are previously displayed as thumbnail images on the display unit. When the user searches for an image or video to be played back through the displayed thumbnail image and selects a predetermined image from the searched video or video, the selected image is played back in the original size image.

원영상 이미지에서 섬네일 이미지를 생성하기 위한 통상적인 방법은 크게 2가지로 나누어 볼 수 있다. 첫 번째 방법은 공간 영역의 영상 이미지를 다운 샘플링하여 영상 이미지의 섬네일 이미지를 생성하는 것이다. 두 번째 방법은 영상 이미지를 구성하는 변환 영역의 각 영상 계수 블록에서 DC 계수만을 추출하여 원영상 이미지의 섬네일 이미지를 생성하는 것이다. 변환 영역의 각 영상 계수 블록에서 상단 좌측에 존재하는 DC 계수는 공간 영역의 각 영상 픽셀 블록에 대한 평균값으로, DC 계수만을 추출하여 생성된 영상 이미지는 원래 영상 이미지의 크기를 1/N만큼 다운 샘플링한 것과 동일하다.Conventional methods for generating thumbnail images from the original image can be divided into two broad categories. The first method is to generate a thumbnail image of the video image by down sampling the video image of the spatial domain. The second method is to generate a thumbnail image of the original image by extracting only DC coefficients from each image coefficient block of the transform region constituting the image. The DC coefficient present at the top left of each image coefficient block in the transform region is an average value for each image pixel block in the spatial domain. The image image generated by extracting only the DC coefficient is downsampled the size of the original image image by 1 / N. Same as did.

위에서 설명한 첫 번째 방법으로 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위해서는 변환 영역의 잔여 영상 블록을 공간 영역으로 역변환하고 역변환된 공간 영역의 잔여 영상 블록과 공간 영역의 예측 블록을 합하여 공간 영역의 복원 블록을 생성한 후, 다시 복원 블록을 다운 샘플링하여 영상 이미지의 섬네일 이미지를 생성한다. 따라서 첫 번째 방법은 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위하여 변환 영역과 공간 영역으로 영상 이미지를 반복하여 변환하여야 한다는 문제점을 가진다. In order to generate a thumbnail image of a video image of the H.264 standard using the first method described above, the inverse transform of the residual image block in the transform region to the spatial region is performed by adding the residual image block of the inverse transformed spatial region to the prediction block of the spatial region. After generating the reconstruction block of the region, the reconstruction block is down sampled again to generate a thumbnail image of the video image. Therefore, the first method has a problem in that the image image must be repeatedly transformed into the transform region and the spatial region in order to generate thumbnail images for the image image of the H.264 standard.

한편, 위에서 설명한 두 번째 방법으로 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위해서는 변환 영역의 오차 계수 블록을 공간 영역으로 역변환하고 역변환된 공간 영역의 오차 픽셀 블록과 공간 영역의 예측 블록을 합하여 공간 영역의 참조 픽셀 블록을 복원한 후, 공간 영역의 참조 픽셀 블록을 다시 변환 영역으로 변환하여 DC 계수를 추출하여야 하므로 긴 프로세스 시간과 복잡한 데이터 처리 과정을 필요로 한다는 문제점을 가진다. Meanwhile, in order to generate a thumbnail image of an H.264 video image by the second method described above, an error coefficient block of the transform domain is inversely transformed into a spatial domain, and an error pixel block of the inverse transformed spatial domain and a prediction block of the spatial domain are transformed. In addition, after restoring the reference pixel block of the spatial domain, the DC coefficient is extracted by converting the reference pixel block of the spatial domain back to the transform domain, which requires a long process time and complicated data processing.

또한 H.264/AVC 인코더에서 인트라 예측 모드에 따라 예측 블록을 생성하는데 사용되는 참조 픽셀은 복원된 참조 픽셀 블록 중 일부만이 사용되고 있다. 그러나 종래 H.264/AVC 인코더에서는 참조 픽셀 블록 전체를 복원하며, 따라서 참조 픽셀 블록 전체를 복원하기 위하여 많은 계산을 수행하여 하드웨어에 큰 부하를 준다. 더욱이, 종래 H.264/AVC 인코더에서는 사용되지 않은 참조 픽셀 블록의 참조 픽셀을 저장하기 위하여 큰 저장 공간을 요구하며 저장 공간에 액세스하는 횟수만을 증가시켜 예측 블록을 생성하는데 오랜 시간이 소요된다는 문제점을 가진다.In addition, only some of the reconstructed reference pixel blocks are used for the reference pixels used to generate the prediction blocks according to the intra prediction mode in the H.264 / AVC encoder. However, in the conventional H.264 / AVC encoder, the entire reference pixel block is reconstructed, and thus, many calculations are performed to reconstruct the entire reference pixel block. Furthermore, the conventional H.264 / AVC encoder requires a large storage space for storing reference pixels of an unused reference pixel block, and it takes a long time to generate a prediction block by increasing the number of times of accessing the storage space. Have

본 발명이 이루고자 하는 목적은 위에서 언급한 종래 섬네일 이미지의 생성 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 섬네일 이미지의 생성에 필요한 영상 블록의 DC 계수만을 적은 계산량으로 계산하고 계산한 영상 블록의 DC 계수로부터 섬네일 이미지를 생성하는 방법을 제공하는 것이다.The object of the present invention is to solve the problems of the above-described conventional thumbnail image generation method, the object of the present invention is to calculate and calculate only the DC coefficient of the image block required for generating the thumbnail image with a small amount of calculation A method of generating thumbnail images from DC coefficients of an image block is provided.

본 발명이 이루고자 하는 다른 목적은 인트라 예측에서 예측 블록을 생성하는데 사용되는 참조 픽셀만을 생성하여 적은 프로세스로 간단하게 섬네일 이미지를 생성할 수 있으며, 예측 블록을 생성하는데 사용되는 참조 픽셀만을 저장하여 작은 저장 공간을 요구하는 섬네일 이미지의 생성 방법을 제공하는 것이다.Another object of the present invention is to generate a thumbnail image with a small process by generating only the reference pixels used to generate the prediction blocks in intra prediction, and to store only the reference pixels used to generate the prediction blocks. It is to provide a method of generating a thumbnail image that requires space.

본 발명이 이루고자 하는 목적을 달성하기 위하여, 본 발명에 따른 영상 프레임을 구성하는 H.264 기반의 N×N 영상 블록들로부터 섬네일 이미지를 생성하는 방법에 있어서, N×N 영상 블록에 대한 예측 참조 픽셀을 추출하는 단계와, N×N 영상 블록의 인트라 예측 모드에 기초하여 추출한 N×N 영상 블록의 예측 참조 픽셀로 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수를 계산하는 단계 및 계산한 각 단위 영상 블록에 대한 예측 블록의 DC 계수와 각 단위 영상 블록에 대한 오차 블록의 DC 계수를 합하여 N×N 영상 블록의 DC 계수를 계산하는 단계 및 영상 프레임을 구성하는 N×N 영상 블록들에 대한 DC 계수를 추 출하여 영상 프레임의 섬네일 이미지를 생성하는 단계를 포함한다.In order to achieve the object of the present invention, in the method for generating a thumbnail image from the H.264-based N × N image blocks constituting the image frame according to the present invention, the prediction reference to the N × N image block Extracting a pixel, and using the predictive reference pixels of the extracted N × N image block based on the intra prediction mode of the N × N image block, DC coefficients of the prediction block for each unit image block constituting the N × N image block Calculating DC coefficients of the N × N image block by adding the DC coefficients of the prediction block for each unit image block and the DC coefficients of the error blocks for each unit image block, and calculating the DC coefficients of the image block, and N constituting the image frame. Extracting DC coefficients for the xN image blocks to generate thumbnail images of the image frames.

여기서 단위 영상 블록에 대한 예측 블록의 DC 계수는 N×N 영상 블록에 대한 예측 참조 픽셀의 조합으로 계산된다. Here, the DC coefficient of the prediction block for the unit image block is calculated by the combination of prediction reference pixels for the N × N image block.

여기서 예측 참조 픽셀은 N×N 영상 블록의 인트라 예측에 사용되는 N×N 영상 블록 주변의 참조 픽셀인 것을 특징으로 한다.The predictive reference pixel may be a reference pixel around the N × N image block used for intra prediction of the N × N image block.

예측 참조 픽셀은 단위 영상 블록의 인트라 예측 모드에 따라 기저장된 단위 영상 블록의 예측 참조 픽셀로부터 예측 픽셀을 계산하는 단계와, 단위 영상 블록의 오차 픽셀을 계산하는 단계와, 계산한 예측 픽셀과 오차 픽셀을 합하여 단위 영상 블록 다음의 단위 영상 블록에 대한 예측 참조 픽셀을 생성하는 단계 및 생성한 단위 영상 블록의 예측 참조 픽셀을 저장하는 단계를 포함하여 N×N 영상 블록을 구성하는 단위 영상 블록 기준으로 생성되는 것을 특징으로 한다.The predictive reference pixel may include calculating a prediction pixel from a prediction reference pixel of a previously stored unit image block according to an intra prediction mode of the unit image block, calculating an error pixel of the unit image block, and calculating the predicted pixel and the error pixel. Generating a reference reference pixel for the unit image block after the unit image block and storing the prediction reference pixel of the generated unit image block based on the unit image block constituting the N × N image block. It is characterized by.

여기서 단위 영상 블록의 오차 픽셀은 단위 영상 블록의 경계에 위치하는 픽셀에 대한 오차 픽셀이며, 바람직하게 단위 영상 블록의 오차 픽셀은 단위 영상 블록의 오른쪽 경계와 아래쪽 경계에 위치하는 픽셀에 대한 오차 픽셀이다. Here, the error pixel of the unit image block is an error pixel of a pixel located at the boundary of the unit image block, and preferably, the error pixel of the unit image block is an error pixel of a pixel located at the right boundary and the bottom boundary of the unit image block. .

바람직하게, N×N 영상 블록의 크기가 4×4 영상 블록인 경우 N×N 영상 블록의 예측 참조 픽셀은 N×N 영상 블록의 인트라 예측에 사용되는 N×N 영상 블록 주변의 13개 참조 픽셀인 것을 특징으로 한다.Preferably, when the size of the N × N image block is a 4 × 4 image block, the prediction reference pixels of the N × N image block are 13 reference pixels around the N × N image block used for intra prediction of the N × N image block. It is characterized by that.

본 발명에 따라 섬네일 이미지의 생성 방법은 종래 섬네일 이미지의 생성 방법과 비교하여 다음과 같은 다양한 효과들을 가진다.According to the present invention, a method of generating a thumbnail image has various effects as compared with the conventional method of generating a thumbnail image.

첫째, 본 발명에 따른 섬네일 이미지의 생성 방법은 영상 블록에 대한 오차 계수 블록의 DC 계수와 영상 블록에 대한 예측 블록의 DC 계수로 직접 영상 블록의 DC 계수를 계산함으로써, 공간 영역과 변환 영역 사이에서 영상 블록을 변환하지 않고 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성할 수 있다.First, the method of generating a thumbnail image according to the present invention calculates the DC coefficient of the image block directly by using the DC coefficient of the error coefficient block for the image block and the DC coefficient of the prediction block for the image block, thereby providing a space between the spatial domain and the transform domain. It is possible to generate thumbnail images for video images of the H.264 standard without converting the video blocks.

둘째, 본 발명에 따른 섬네일 이미지의 생성 방법은 영상 블록에 대한 오차 계수 블록의 DC 계수와 영상 블록에 대한 예측 블록의 DC 계수로 직접 영상 블록의 DC 계수를 계산함으로써, 다수의 영상 이미지들이 저장되어 있는 멀티미디어 단말기에서 섬네일 이미지를 통해 특정 영상 이미지를 빠르게 검색할 수 있다.Second, in the method for generating a thumbnail image according to the present invention, a plurality of image images are stored by directly calculating a DC coefficient of an image block using a DC coefficient of an error coefficient block of the image block and a DC coefficient of a prediction block of the image block. In a multimedia terminal, a thumbnail image can be used to quickly search for a specific video image.

셋째, 본 발명에 따른 섬네일 이미지의 생성 방법은 참조 픽셀 블록의 모든 참조 픽셀을 계산하는 대신 예측 블록의 DC 계수를 계산하는데 사용되는 참조 픽셀 즉, 예측 참조 픽셀만을 계산함으로써, 예측 참조 픽셀을 계산하는데 필요한 계산량과 메모리 액세스 횟수가 적어 빠르게 섬네일 이미지를 생성할 수 있다.Third, the method of generating a thumbnail image according to the present invention calculates a prediction reference pixel by calculating only a reference pixel, that is, a prediction reference pixel used to calculate a DC coefficient of the prediction block, instead of calculating all the reference pixels of the reference pixel block. The amount of computation and memory access required is short, allowing quick thumbnail image creation.

이하 첨부한 도면을 참고로 본 발명에 따른 섬네일 이미지의 생성 방법을 보다 구체적으로 설명한다.Hereinafter, a method of generating a thumbnail image according to the present invention will be described in detail with reference to the accompanying drawings.

도 4는 본 발명의 일 실시예에 따라 H.264 표준의 영상 부호화 장치에서 입력 또는 저장되어 있는 영상 프레임으로부터 섬네일 이미지를 생성하는 장치의 기능 블록도를 도시하고 있다.FIG. 4 is a functional block diagram of an apparatus for generating a thumbnail image from an image frame input or stored in an H.264 standard image encoding apparatus according to an embodiment of the present invention.

도 4를 참고로, 먼저 "순방향"경로에 대해 살펴보면 공간 영역의 N×N 영상 블록이 입력되면 예측 모드 결정부(110)는 입력된 N×N 영상 블록의 인트라 예측 모드를 결정한다. 예측 블록 생성부(120)는 결정한 N×N 영상 블록의 인트라 예측 모드에 기초하여 이전에 복원되어 저장된 참조 픽셀로부터 입력된 N×N 영상 블록에 대한 공간 영역의 예측 블록을 생성한다. 오차 픽셀 블록 생성부(130)는 입력된 N×N 영상 블록과 생성된 예측 블록을 서로 차감하여 공간 영역의 N×N 오차 픽셀 블록을 생성한다. 변환부(140)는 생성된 공간 영역의 N×N 오차 픽셀 블록을 블록 기반 변환 방식으로 변환하여 변환 영역의 N×N 제1 오차 계수 블록을 생성한다. 바람직하게, 블록 기반 변환 방식 중 DCT(Discrete Cosine Transform) 또는 정수 DCT 방식이 사용된다.Referring to FIG. 4, when the “forward” path is first described, when the N × N image block of the spatial domain is input, the prediction mode determiner 110 determines an intra prediction mode of the input N × N image block. The prediction block generator 120 generates a prediction block of a spatial domain for the N × N image block input from the reference pixel previously reconstructed and stored based on the determined intra prediction mode of the N × N image block. The error pixel block generation unit 130 generates N × N error pixel blocks in a spatial domain by subtracting the input N × N image block and the generated prediction block. The transform unit 140 generates the N × N first error coefficient block of the transform domain by converting the generated N × N error pixel block of the spatial domain by a block-based transform scheme. Preferably, a discrete cosine transform (DCT) or an integer DCT scheme is used among the block-based transformation schemes.

양자화부(150)는 N×N 제1 오차 계수 블록을 양자화화며, 부호화부(160)는 예측 부호화, 가변 길이 부호화, 산술 부호화 등의 부호화 방식 중 하나의 방식에 따라 양자화된 N×N 제1 오차 계수 블록을 부호화하여 비트스트림을 생성한다. The quantization unit 150 quantizes the N × N first error coefficient block, and the encoding unit 160 quantizes the N × N first quantized according to one of encoding methods such as prediction encoding, variable length encoding, and arithmetic encoding. An error coefficient block is encoded to generate a bitstream.

한편, "복원" 경로에 대해 살펴보면, N×N 제1 영상 블록 다음으로 입력되는 N×N 제2 영상 블록에 대한 예측 블록을 생성하기 위하여 양자화부(150)에서 출력되는 N×N 오차 계수 블록을 역양자화부(170)에서 역양자화한다. 양자화부(150)에서 출력되는 N×N 제1 오차 계수 블록은 역양자화부(170)에서 역양자화된다.Meanwhile, referring to the “restore” path, an N × N error coefficient block output from the quantization unit 150 to generate a prediction block for the N × N second image block input after the N × N first image block. Inverse quantization in inverse quantization unit 170. The N × N first error coefficient block output from the quantization unit 150 is inversely quantized by the inverse quantization unit 170.

예측 참조 픽셀 생성부(180)는 영상 블록의 예측 참조 픽셀을 생성하는데, 여기서 예측 참조 픽셀이란 영상 블록의 인트라 예측 모드에 따라 영상 블록의 예측 픽셀을 계산하는데 사용되는 영상 블록 주변의 참조 픽셀을 의미한다. 예를 들어 도 7에서 4×4 영상 블록("바")에 대한 예측 참조 픽셀은 4×4 영상 블록("바")에 인접한 참조 픽셀 들 중 4×4 영상 블록("바")의 인트라 예측 모드에 따라 예측 픽셀을 계산하는데 직접 사용되는 13개의 참조 픽셀들(A, B, C, D, E, F, G, H, I, J, K, L, M)이다. The prediction reference pixel generator 180 generates a prediction reference pixel of the image block, wherein the prediction reference pixel means a reference pixel around the image block used to calculate the prediction pixel of the image block according to the intra prediction mode of the image block. do. For example, in FIG. 7, a prediction reference pixel for a 4x4 image block ("bar") is an intra of a 4x4 image block ("bar") among reference pixels adjacent to the 4x4 image block ("bar"). 13 reference pixels (A, B, C, D, E, F, G, H, I, J, K, L, M) that are directly used to calculate the prediction pixel according to the prediction mode.

예측 참조 픽셀 생성부(180)는 영상 블록의 예측 참조 픽셀을 생성하기 위하여 영상 블록의 모든 참조 픽셀을 생성하는 것이 아니라, 예측 참조 픽셀로 사용되는 참조 픽셀만을 생성한다. 즉, 예측 참조 픽셀 생성부(180)는 영상 블록의 경계에 위치하는 참조 픽셀만을 예측 참조 픽셀로 생성하거나, 영상 블록의 오른쪽 경계와 아래쪽 경계에 위치하는 참조 픽셀만을 예측 참조 픽셀로 생성한다. The prediction reference pixel generator 180 does not generate all the reference pixels of the image block in order to generate the prediction reference pixels of the image block, but generates only the reference pixel used as the prediction reference pixel. That is, the prediction reference pixel generator 180 generates only reference pixels positioned at the boundary of the image block as prediction reference pixels, or only reference pixels positioned at the right boundary and the lower boundary of the image block as prediction reference pixels.

예를 들어, 예측 참조 픽셀 생성부(180)는 4×4 영상 블록("바")에서 4×4 영상 블록("바") 전체를 복원하여 4×4 영상 블록("바")의 모든 참조 픽셀을 생성하는 것이 아니라, 예측 참조 픽셀로 사용되는 7개의 참조 픽셀(A', B', C', D', I', J', K')만을 생성한다. 생성한 7개의 참조 픽셀(A', B', C', D', I', J', K')은 다음 영상 블록("사")의 13개의 예측 참조 픽셀들 중 일부로 사용된다. 즉, 생성한 7개의 참조 픽셀(A', B', C', D', I', J', K') 중 참조 픽셀(I', J', K', D')는 기저장된 다음 영상 블록("사")의 또 다른 참조 픽셀(D, E, F, G, H, L, O, P, Q)과 함께 영상 블록("사")의 예측 참조 픽셀로 사용된다.For example, the predictive reference pixel generator 180 reconstructs the entire 4x4 image block ("bar") from the 4x4 image block ("bar") so that all of the 4x4 image block ("bar") can be restored. Instead of generating a reference pixel, only seven reference pixels A ', B', C ', D', I ', J', and K 'used as predictive reference pixels are generated. The generated seven reference pixels A ', B', C ', D', I ', J', and K 'are used as some of the 13 predictive reference pixels of the next image block ("sa"). That is, among the seven reference pixels A ', B', C ', D', I ', J', and K ', the reference pixels I', J ', K', and D 'are prestored. Together with another reference pixel D, E, F, G, H, L, O, P, Q of the image block ("sa"), it is used as the predictive reference pixel of the image block ("sa").

예측 참조 픽셀 생성부(180)는 4×4 영상 블록("바")의 인트라 예측 모드에 따라 4×4 영상 블록("바")의 예측 참조 픽셀(A, B, C, D, E, F, G, H, I, J, K, L, M)을 이용하여 계산된 4×4 영상 블록("바")의 예측 픽셀과 4×4 영상 블록("바")의 오차 블록으로부터 계산된 오차 픽셀을 합하여 4×4 영상 블록("바") 다음의 영상블록("사")에 대한 예측 참조 픽셀(A', B', C', D', I', J', K')을 계산하 다.The predictive reference pixel generator 180 may predict the predicted reference pixels A, B, C, D, E, of the 4x4 image block ("bar") according to the intra prediction mode of the 4x4 image block ("bar"). Calculation from prediction pixels of 4x4 image blocks ("bars") and error blocks of 4x4 image blocks ("bars") calculated using F, G, H, I, J, K, L, M The predicted reference pixels A ', B', C ', D', I ', J', and K 'for the next image block ("four") after the sum of the error pixels. Calculate).

N×N 영상 블록의 예측 참조 픽셀을 생성하는데 사용되는 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 오차 픽셀은 각 단위 영상 블록에 대한 오차 계수 블록을 공간 영역으로 역변환하여 계산되는데, 본 발명에서는 N×N 영상 블록의 예측 참조 픽셀을 생성하는데 필요한 오차 픽셀만을 계산한다. 바람직하게, 본 발명에서 계산량을 줄이기 위하여 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 오차 계수 블록의 오차 계수들로 조합된 변환 요소 값을 사용하여 N×N 영상 블록의 예측 참조 픽셀을 생성하는데 필요한 오차 픽셀만을 계산한다.The error pixel for each unit image block constituting the N × N image block used to generate predictive reference pixels of the N × N image block is calculated by inversely transforming an error coefficient block for each unit image block into a spatial domain. In the present invention, only an error pixel necessary for generating a predictive reference pixel of an N × N image block is calculated. Preferably, in order to reduce the amount of computation in the present invention, the prediction reference pixel of the N × N image block is transformed using a transform element value combined with the error coefficients of the error coefficient block for each unit image block constituting the N × N image block. Compute only the error pixels needed to generate.

이와 동일한 방법으로 영상 프레임을 구성하는 모든 N×N 영상 블록의 예측 참조 픽셀이 차례로 계산되어 예측 참조 픽셀 생성부(180)에 저장된다. 위에서 설명한 예측 참조 픽셀 생성부(180)는 4×4 크기의 영상 블록 단위로, 즉 단위 영상 블록 기준으로 예측 참조 픽셀을 생성한다. In the same manner, the predictive reference pixels of all N × N image blocks constituting the image frame are sequentially calculated and stored in the predictive reference pixel generator 180. The predictive reference pixel generator 180 described above generates a predictive reference pixel in units of 4 × 4 image blocks, that is, in units of unit image blocks.

예측 블록 DC 계산부(190)는 예측 모드 결정부(110)에서 결정한 N×N 영상 블록의 인트라 예측 모드와 N×N 영상 블록의 예측 참조 픽셀을 기반으로 N×N 영상 블록을 구성하는 단위 영상 블록에 대한 예측 블록의 DC 계수를 계산한다. 예측 블록의 DC 계수는 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록을 블록 기반 변환하여 생성되는 각 단위 영상 블록에 대한 예측 블록의 DC 계수로, 본 발명에서 예측 블록의 DC 계수는 N×N 영상 블록의 예측 참조 픽셀로 계산된다. 영상 블록 DC 계산부(195)는 계산한 각 단위 영상 블록에 대한 예측 블록의 DC 계수와 각 단위 영상 블록에 대한 오차 계수 블록의 DC 계수를 합하여 N×N 영상 블록의 DC 계수를 계산한다. 섬네일 이미지 생성부(197)는 영상 프레임을 구성하는 모든 N×N 영상 블록의 DC 계수를 조합하여 영상 프레임에 대한 섬네일 이미지를 생성한다. 위에서 설명한 N×N 영상 블록을 구성하는 단위 영상 블록이란 N×N 영상 블록의 예측 참조 픽셀을 생성하고, DC 계수를 계산하는데 사용되는 영상 블록의 단위 크기로 4×4 영상 블록이다. 따라서 8×8 영상 블록의 경우 8×8 영상 블록을 구성하는 4개의 4×4 단위 영상 블록별로 예측 참조 픽셀을 생성하거나 DC 계수를 계산하며, 16×16 영상 블록의 경우 16개의 4×4 단위 영상 블록별로 예측 참조 픽셀을 생성하거나 DC 계수를 계산한다.The prediction block DC calculator 190 configures a unit image constituting the N × N image block based on the intra prediction mode of the N × N image block determined by the prediction mode determiner 110 and the prediction reference pixels of the N × N image block. Compute the DC coefficients of the predictive block for the block. The DC coefficient of the prediction block is a DC coefficient of the prediction block for each unit image block generated by block-based transforming the prediction block for each unit image block constituting the N × N image block. Is calculated as the predictive reference pixel of the N × N image block. The image block DC calculator 195 calculates the DC coefficient of the N × N image block by adding the calculated DC coefficients of the prediction block for each unit image block and the DC coefficients of the error coefficient block for each unit image block. The thumbnail image generator 197 generates a thumbnail image of the image frame by combining DC coefficients of all N × N image blocks constituting the image frame. The unit image block constituting the N × N image block described above is a 4 × 4 image block as a unit size of an image block used to generate a predictive reference pixel of the N × N image block and calculate a DC coefficient. Therefore, in the case of an 8x8 image block, a prediction reference pixel is generated or a DC coefficient is calculated for each of the 4x4 unit image blocks constituting the 8x8 image block, and in the case of a 16x16 image block, 16 4x4 units A predictive reference pixel is generated or a DC coefficient is calculated for each image block.

도 5는 본 발명의 일 실시예에 따라 H.264 표준의 영상 복호화 장치에서 수신 또는 저장되어 있는 영상 프레임으로부터 섬네일 이미지를 생성하는 장치의 기능 블록도를 도시하고 있다.FIG. 5 is a functional block diagram of an apparatus for generating a thumbnail image from an image frame received or stored in an H.264 standard image decoding apparatus according to an embodiment of the present invention.

도 5를 참고로 보다 구체적으로 살펴보면, 예측 참조 픽셀 생성부(210)는 N×N 영상 블록의 인트라 예측 모드에 기초하여 N×N 영상 블록의 예측 참조 픽셀로부터 N×N 영상 블록을 구성하는 각 단위 영상 블록의 예측 픽셀을 계산하고, 각 단위 영상 블록에 대한 오차 계수 블록의 오차 픽셀을 계산한다. 예측 참조 픽셀 생성부(210)는 계산한 N×N 영상 블록을 구성하는 각 단위 영상 블록의 예측 픽셀과 오차 픽셀을 서로 합하여 각 단위 영상 블록 단위로 예측 참조 픽셀을 생성한다.Referring to FIG. 5, the prediction reference pixel generator 210 configures each N × N image block from the prediction reference pixels of the N × N image block based on the intra prediction mode of the N × N image block. The prediction pixel of the unit image block is calculated, and the error pixel of the error coefficient block for each unit image block is calculated. The predictive reference pixel generator 210 generates a predictive reference pixel in units of each image block by adding the prediction pixels and the error pixels of each unit image block constituting the calculated N × N image block.

예측 블록 DC 계산부(220)는 N×N 영상 블록의 인트라 예측 모드와 기저장된 N×N 영상 블록의 예측 참조 픽셀을 기반으로 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수를 계산한다. 예측 블록의 DC 계수는 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록을 블록 기반 변환하여 생성되는 예측 계수 블록의 DC 계수로, 본 발명에서 예측 블록의 DC 계수는 N×N 영상 블록의 예측 참조 픽셀로 계산된다. 영상 블록 DC 계산부(230)는 계산한 각 단위 영상 블록에 대한 예측 블록의 DC 계수와 오차 계수 블록의 DC 계수를 합하여 입력된 N×N 영상 블록을 구성하는 각 단위 영상 블록의 DC 계수를 계산한다. 즉, 영상 블록 DC 계산부(230)는 N×N 영상 블록 단위로 N×N 영상 블록을 구성하는 각 단위 영상 블록의 DC 계수를 계산한다. 섬네일 이미지 생성부(295)는 모든 영상 블록의 DC 계수를 조합하여 영상 프레임의 섬네일 이미지를 생성한다.The prediction block DC calculator 220 may determine a prediction block for each unit image block constituting the N × N image block based on the intra prediction mode of the N × N image block and the prediction reference pixels of the previously stored N × N image block. Calculate the DC coefficient. The DC coefficient of the prediction block is a DC coefficient of the prediction coefficient block generated by block-based transforming the prediction block for each unit image block constituting the N × N image block. In the present invention, the DC coefficient of the prediction block is N × N image. Computed with the predictive reference pixels of the block. The image block DC calculator 230 calculates the DC coefficient of each unit image block constituting the input N × N image block by adding the calculated DC coefficients of the prediction block and the DC coefficients of the error coefficient block for each unit image block. do. That is, the image block DC calculator 230 calculates the DC coefficient of each unit image block constituting the N × N image block in units of N × N image blocks. The thumbnail image generator 295 generates a thumbnail image of an image frame by combining DC coefficients of all image blocks.

도 6은 본 발명에 따른 예측 참조 픽셀 생성부를 보다 구체적으로 설명하기 위한 기능 블록도이다.6 is a functional block diagram for explaining in more detail the prediction reference pixel generator according to the present invention.

도 6을 참고로 살펴보면, 예측 참조 픽셀 생성부는 변환 요소 계산부(310), 예측 참조 픽셀 계산부(320) 및 예측 참조 픽셀 저장부(330)를 구비하고 있다. 예측 참조 픽셀 생성부는 각 단위 영상 블록의 인트라 예측 모드에 따라 생성한 예측 픽셀과 각 단위 영상 블록의 오차 픽셀을 합하여 예측 참조 픽셀을 생성하는데, 예측 참조 픽셀 생성부는 각 단위 영상 블록의 오차 계수 블록으로부터 각 단위 영상 블록의 오차 픽셀을 계산하는데 필요한 계산량을 줄이기 위하여 변환 요소 값을 사용한다. 변환 요소 계산부(310)는 단위 영상 블록의 각 오차 계수 블록으로부터 단위 영상 블록의 각 오차 픽셀을 계산하는데 사용되는 변환 요소 값(H0, H1, H2, H3, V0, V1, V2, V3)을 아래의 수학식(1) 내지 수학식(8)에 의해 계산한다. Referring to FIG. 6, the predictive reference pixel generator includes a transform element calculator 310, a predictive reference pixel calculator 320, and a predictive reference pixel storage 330. The predictive reference pixel generator generates a predictive reference pixel by adding the prediction pixels generated according to the intra prediction mode of each unit image block and the error pixels of each unit image block, and the predictive reference pixel generator generates a predictive reference pixel from the error coefficient block of each unit image block. The transform element value is used to reduce the amount of computation required to calculate the error pixel of each unit image block. The transform element calculator 310 converts the transform element values H 0 , H 1 , H 2 , H 3 , V 0 , V 1 used to calculate each error pixel of the unit image block from each error coefficient block of the unit image block. , V 2 , V 3 ) is calculated by the following equations (1) to (8).

[수학식 1][Equation 1]

Figure 112009049345503-PAT00001
Figure 112009049345503-PAT00001

[수학식 2][Equation 2]

Figure 112009049345503-PAT00002
Figure 112009049345503-PAT00002

[수학식 3][Equation 3]

Figure 112009049345503-PAT00003
Figure 112009049345503-PAT00003

[수학식 4][Equation 4]

Figure 112009049345503-PAT00004
Figure 112009049345503-PAT00004

[수학식 5][Equation 5]

Figure 112009049345503-PAT00005
Figure 112009049345503-PAT00005

[수학식 6][Equation 6]

Figure 112009049345503-PAT00006
Figure 112009049345503-PAT00006

[수학식 7][Equation 7]

Figure 112009049345503-PAT00007
Figure 112009049345503-PAT00007

[수학식 8][Equation 8]

Figure 112009049345503-PAT00008
Figure 112009049345503-PAT00008

여기서 단위 영상 블록에 대한 변환 영역의 오차 블록(W)은 아래의 수학식(9)와 같다.Here, the error block W of the transform region for the unit image block is expressed by Equation 9 below.

[수학식 9][Equation 9]

Figure 112009049345503-PAT00009
Figure 112009049345503-PAT00009

예측 참조 픽셀 계산부(320)는 예측 참조 픽셀 저장부(330)에 기저장되어 있는 단위 영상 블록의 예측 참조 픽셀로부터 단위 영상 블록의 인트라 예측 모드에 따라 생성된 예측 픽셀과 단위 영상 블록의 오차 픽셀을 합하여 단위 영상 블록 다음의 단위 영상 블록에 대한 예측 참조 픽셀을 계산한다. 즉, 예측 참조 픽셀 계산부(320)는 예측 참조 픽셀로 사용되는 위치의 예측 픽셀과 오차 픽셀만을 합하여 예측 참조 픽셀을 계산한다. The prediction reference pixel calculator 320 is a prediction pixel generated according to the intra prediction mode of the unit image block from the prediction reference pixels of the unit image block previously stored in the prediction reference pixel storage unit 330 and the error pixel of the unit image block. S is calculated to calculate a prediction reference pixel for the unit image block after the unit image block. That is, the prediction reference pixel calculator 320 calculates the prediction reference pixel by adding only the prediction pixel and the error pixel at the position used as the prediction reference pixel.

도 7을 참고로, 4×4 영상 블록의 인트라 예측 모드에 따라 계산된 4×4 영상 블록의 예측 참조 픽셀을 보다 구체적으로 살펴본다. 아래의 수학식(10)은 4×4 휘도 모드에서 제0 모드인 수직 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.Referring to FIG. 7, the prediction reference pixel of the 4x4 image block calculated according to the intra prediction mode of the 4x4 image block will be described in more detail. Equation (10) below is an equation for generating a predictive reference pixel for the 4x4 image block according to the vertical mode which is the 0th mode in the 4x4 luminance mode.

[수학식 10][Equation 10]

A' = ( (A)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/aA '= ((A) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a

B' = ( (B)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/aB '= ((B) * a + V0 + 1/2 * V1-V2-V3 + a / 2) / a

C' = ( (C)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/aC '= ((C) * a + V0-1/2 * V1-V2 + V3 + a / 2) / a

D' = ( (D)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/aD '= ((D) * a + H0-H1 + H2-1/2 * H3 + a / 2) / a

I' = ( (D)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/aI '= ((D) * a + H0 + H1 + H2 + 1/2 * H3 + a / 2) / a

J' = ( (D)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/aJ '= ((D) * a + H0 + 1/2 * H1-H2-H3 + a / 2) / a

K' = ( (D)*a + H0 - 1/2*H1 + H2 + H3 + a/2 )/aK '= ((D) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a

L' = D'L '= D'

한편 수학식(11)은 4×4 휘도 모드에서 제 1 모드인 수평 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.Equation (11) is an equation for generating a predictive reference pixel for a 4x4 image block according to a horizontal mode which is the first mode in the 4x4 luminance mode.

[수학식 11] [Equation 11]

A' = ( (L)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/aA '= ((L) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a

B' = ( (L)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/aB '= ((L) * a + V0 + 1/2 * V1-V2-V3 + a / 2) / a

C' = ( (L)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/aC '= ((L) * a + V0-1/2 * V1-V2 + V3 + a / 2) / a

D' = ( (L)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/aD '= ((L) * a + H0-H1 + H2-1/2 * H3 + a / 2) / a

I' = ( (I)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/aI '= ((I) * a + H0 + H1 + H2 + 1/2 * H3 + a / 2) / a

J' = ( (J)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/aJ '= ((J) * a + H0 + 1/2 * H1-H2-H3 + a / 2) / a

K' = ( (K)*a + H0 - 1/2*H1 + H2 + H3 + a/2 )/aK '= ((K) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a

L' = D'L '= D'

한편 수학식(12)은 4×4 휘도 모드에서 제 2 모드인 DC 모드에 따라 4×4 영 상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.Equation (12) is an equation for generating a predictive reference pixel for the 4x4 image block according to the DC mode which is the second mode in the 4x4 luminance mode.

[수학식 12][Equation 12]

Avg = (A + B + C + D +I + J + K +L)/8 Avg = (A + B + C + D + I + J + K + L) / 8

A' = ( (Avg)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/aA '= ((Avg) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a

B' = ( (Avg)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/aB '= ((Avg) * a + V0 + 1/2 * V1-V2-V3 + a / 2) / a

C' = ( (Avg)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/aC '= ((Avg) * a + V0-1/2 * V1-V2 + V3 + a / 2) / a

D' = ( (Avg)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/aD '= ((Avg) * a + H0-H1 + H2-1/2 * H3 + a / 2) / a

I' = ( (Avg)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/aI '= ((Avg) * a + H0 + H1 + H2 + 1/2 * H3 + a / 2) / a

J' = ( (Avg)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/aJ '= ((Avg) * a + H0 + 1/2 * H1-H2-H3 + a / 2) / a

K' = ( (Avg)*a + H0 - 1/2*H1 + H2 + H3 + a/2 )/aK '= ((Avg) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a

L' = D'L '= D'

한편 수학식(13)은 4×4 휘도 모드에서 제 3 모드인 Diagonal down-left 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.Equation (13) is an equation for generating a predictive reference pixel for a 4x4 image block according to the diagonal down-left mode, which is the third mode in the 4x4 luminance mode.

[수학식 13] [Equation 13]

temp1 = (D + F + 2*E + 2)/4temp1 = (D + F + 2 * E + 2) / 4

A' = ( (temp1)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/aA '= ((temp1) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a

temp2 = (E + G + 2*F + 2)/4temp2 = (E + G + 2 * F + 2) / 4

B' = ( (temp3)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/aB '= ((temp3) * a + V0 + 1/2 * V1-V2-V3 + a / 2) / a

temp3 = (F + H + 2*G + 2)/4temp3 = (F + H + 2 * G + 2) / 4

C' = ( (temp3)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/aC '= ((temp3) * a + V0-1/2 * V1-V2 + V3 + a / 2) / a

temp4 = (G + 3*H + 2)/4temp4 = (G + 3 * H + 2) / 4

D' = ( (temp4)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/aD '= ((temp4) * a + H0-H1 + H2-1/2 * H3 + a / 2) / a

I' = A' I '= A'

J' = B' J '= B'

K' = C' K '= C'

L' = D'L '= D'

한편 수학식(14)은 4×4 휘도 모드에서 제 4 모드인 Diagonal down-right 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.Equation (14) is an equation for generating a predictive reference pixel for a 4x4 image block in a 4 × 4 luminance mode according to a fourth diagonal mode down-right mode.

[수학식 14] [Equation 14]

temp1 = (L + 2*K + J + 2)/4temp1 = (L + 2 * K + J + 2) / 4

A' = ( (temp1)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/aA '= ((temp1) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a

temp2 = (K + 2*J + O + 2)/4temp2 = (K + 2 * J + O + 2) / 4

B' = ( (temp2)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/aB '= ((temp2) * a + V0 + 1/2 * V1-V2-V3 + a / 2) / a

temp3 = (J + 2*I + M+ 2)/4temp3 = (J + 2 * I + M + 2) / 4

C' = ( (temp3)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/aC '= ((temp3) * a + V0-1/2 * V1-V2 + V3 + a / 2) / a

temp4 = (I + 2*M + A + 2)/4temp4 = (I + 2 * M + A + 2) / 4

D' = ( (temp4)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/aD '= ((temp4) * a + H0-H1 + H2-1/2 * H3 + a / 2) / a

temp5 = (B + 2*C + D + 2)/4temp5 = (B + 2 * C + D + 2) / 4

I' = ( (temp5)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/aI '= ((temp5) * a + H0 + H1 + H2 + 1/2 * H3 + a / 2) / a

temp6 = (A + 2*B + C + 2)/4temp6 = (A + 2 * B + C + 2) / 4

J' = ( (temp6)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/aJ '= ((temp6) * a + H0 + 1/2 * H1-H2-H3 + a / 2) / a

temp7 = (M + 2*A + B + 2)/4temp7 = (M + 2 * A + B + 2) / 4

K' = ( (temp7)*a +H0 - 1/2*H1 + H2 + H3 + a/2 )/aK '= ((temp7) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a

L' = D'L '= D'

한편 수학식(15)은 4×4 휘도 모드에서 제 5 모드인 Vertical right 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.Equation (15) is an equation for generating a predictive reference pixel for the 4x4 image block according to the vertical right mode which is the fifth mode in the 4x4 luminance mode.

[수학식 15] [Equation 15]

temp1 = (I + 2*J + K + 2)/4temp1 = (I + 2 * J + K + 2) / 4

A' = ( (temp1)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/aA '= ((temp1) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a

temp2 = (I + 2*M + A + 2)/4temp2 = (I + 2 * M + A + 2) / 4

B' = ( (temp2)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/aB '= ((temp2) * a + V0 + 1/2 * V1-V2-V3 + a / 2) / a

temp3 = (M + 2*A + B + 2)/4temp3 = (M + 2 * A + B + 2) / 4

C' = ( (temp3)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/aC '= ((temp3) * a + V0-1/2 * V1-V2 + V3 + a / 2) / a

temp4 = (A + 2*B + C + 2)/4temp4 = (A + 2 * B + C + 2) / 4

D' = ( (temp4)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/aD '= ((temp4) * a + H0-H1 + H2-1/2 * H3 + a / 2) / a

temp5 = (C + D + 1)/2temp5 = (C + D + 1) / 2

I' = ( (temp5)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/aI '= ((temp5) * a + H0 + H1 + H2 + 1/2 * H3 + a / 2) / a

temp6 = (B + 2*C + D + 2)/4temp6 = (B + 2 * C + D + 2) / 4

J' = ( (temp6)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/aJ '= ((temp6) * a + H0 + 1/2 * H1-H2-H3 + a / 2) / a

temp7 = (B +C + 1)/2temp7 = (B + C + 1) / 2

K' = ( (temp7)*a +H0 - 1/2*H1 + H2 + H3 + a/2 )/aK '= ((temp7) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a

L' = D'L '= D'

한편 수학식(16)은 4×4 휘도 모드에서 제 6 모드인 Horizontal down 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.Equation (16) is an equation for generating a predictive reference pixel for the 4x4 image block according to the horizontal down mode which is the sixth mode in the 4x4 luminance mode.

[수학식 16] [Equation 16]

temp1 = (K + L + 1)/2temp1 = (K + L + 1) / 2

A' = ( (temp1)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/aA '= ((temp1) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a

temp2 = (J + 2*K + L + 2)/4temp2 = (J + 2 * K + L + 2) / 4

B' = ( (temp2)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/aB '= ((temp2) * a + V0 + 1/2 * V1-V2-V3 + a / 2) / a

temp3 = (J + K + 1 )/2temp3 = (J + K + 1) / 2

C' = ( (temp3)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/aC '= ((temp3) * a + V0-1/2 * V1-V2 + V3 + a / 2) / a

temp4 = (I + 2*J + K + 2)/4temp4 = (I + 2 * J + K + 2) / 4

D' = ( (temp4)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/aD '= ((temp4) * a + H0-H1 + H2-1/2 * H3 + a / 2) / a

temp5 = (A + 2*B +C + 2)/4temp5 = (A + 2 * B + C + 2) / 4

I' = ( (temp5)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/aI '= ((temp5) * a + H0 + H1 + H2 + 1/2 * H3 + a / 2) / a

temp6 = (I + 2*M + A + 2)/4temp6 = (I + 2 * M + A + 2) / 4

J' = ( (temp6)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/aJ '= ((temp6) * a + H0 + 1/2 * H1-H2-H3 + a / 2) / a

temp7 = (M +2*I + J + 2)/4temp7 = (M + 2 * I + J + 2) / 4

K' = ( (temp7)*a +H0 - 1/2*H1 + H2 + H3 + a/2 )/aK '= ((temp7) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a

L' = D'L '= D'

한편 수학식(17)은 4×4 휘도 모드에서 제 7 모드인 Vertical down 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.Equation (17) is an equation for generating a predictive reference pixel for the 4x4 image block according to the vertical down mode, which is the seventh mode in the 4x4 luminance mode.

[수학식 17] [Equation 17]

temp1 = (B + 2*C + D + 2)/4temp1 = (B + 2 * C + D + 2) / 4

A' = ( (temp1)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/aA '= ((temp1) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a

temp2 = (C + 2*D + E + 2)/4temp2 = (C + 2 * D + E + 2) / 4

B = ( (temp2)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/aB = ((temp2) * a + V0 + 1/2 * V1-V2-V3 + a / 2) / a

temp3 = (D + 2*E + F + 2)/4temp3 = (D + 2 * E + F + 2) / 4

C' = ( (temp3)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/aC '= ((temp3) * a + V0-1/2 * V1-V2 + V3 + a / 2) / a

temp4 = (E + 2*F + G + 2)/4temp4 = (E + 2 * F + G + 2) / 4

D' = ( (temp4)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/aD '= ((temp4) * a + H0-H1 + H2-1/2 * H3 + a / 2) / a

temp5 = (D + E + 1)/2temp5 = (D + E + 1) / 2

I' = ( (temp5)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/aI '= ((temp5) * a + H0 + H1 + H2 + 1/2 * H3 + a / 2) / a

temp6 = (D + 2*E + F + 2)/4temp6 = (D + 2 * E + F + 2) / 4

J' = ( (temp6)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/aJ '= ((temp6) * a + H0 + 1/2 * H1-H2-H3 + a / 2) / a

temp7 = (E +F + 1)/2temp7 = (E + F + 1) / 2

K' = ( (temp7)*a +H0 - 1/2*H1 + H2 + H3 + a/2 )/aK '= ((temp7) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a

L' = D'L '= D'

한편 수학식(18)은 4×4 휘도 모드에서 제 8 모드인 Horizontal up 모드에 따라 4×4 영상 블록에 대한 예측 참조 픽셀을 생성하기 위한 수학식이다.Equation (18) is an equation for generating a predictive reference pixel for the 4x4 image block according to the horizontal up mode which is the eighth mode in the 4x4 luminance mode.

[수학식 18] Equation 18

A' = ( (L)*a + V0 + V1 + V2 + 1/2*V3 + a/2 )/aA '= ((L) * a + V0 + V1 + V2 + 1/2 * V3 + a / 2) / a

B' = ( (L)*a + V0 + 1/2*V1 - V2 - V3 + a/2 )/aB '= ((L) * a + V0 + 1/2 * V1-V2-V3 + a / 2) / a

C' = ( (L)*a + V0 - 1/2*V1 - V2 + V3 + a/2 )/aC '= ((L) * a + V0-1/2 * V1-V2 + V3 + a / 2) / a

D' = ( (L)*a + H0 - H1 + H2 - 1/2*H3 + a/2 )/aD '= ((L) * a + H0-H1 + H2-1/2 * H3 + a / 2) / a

temp1 = (J +2*K + L + 2)/4temp1 = (J + 2 * K + L + 2) / 4

I' = ( (temp1)*a + H0 + H1 + H2 + 1/2*H3 + a/2 )/aI '= ((temp1) * a + H0 + H1 + H2 + 1/2 * H3 + a / 2) / a

temp2 = (K + 2*L + L + 2)/4temp2 = (K + 2 * L + L + 2) / 4

J' = ( (temp2)*a + H0 + 1/2*H1 - H2 - H3 + a/2 )/aJ '= ((temp2) * a + H0 + 1/2 * H1-H2-H3 + a / 2) / a

K' = ( (L)*a +H0 - 1/2*H1 + H2 + H3 + a/2 )/aK '= ((L) * a + H0-1/2 * H1 + H2 + H3 + a / 2) / a

L' = D'L '= D'

4개의 16×16 휘도 예측 모드와 4개의 8×8 색차 예측 모드는 입력된 16×16 영상 블록 또는 8×8 영상 블록의 휘도 예측 모드 또는 색차 예측 모드가 결정되면, 16×16 영상 블록 또는 8×8 영상 블록을 4×4 영상 블록으로 분할하고 분할한 각 4×4 영상 블록을 결정된 인트라 예측 모드에 따라 위에서 설명한 수학식(10) 내지 수학식(18)을 이용하여 예측 참조 픽셀들을 생성한다.The four 16 × 16 luminance prediction modes and the four 8 × 8 color difference prediction modes are determined as the luminance prediction mode or the color difference prediction mode of the input 16 × 16 image block or 8 × 8 image block. A 4x4 image block is divided into 4x4 image blocks, and each of the divided 4x4 image blocks is generated by using the above-described equations (10) to (18) according to the determined intra prediction mode. .

도 8은 본 발명의 일 실시예에 따른, 예측 참조 픽셀을 생성하는 방법을 설명하기 흐름도이다.8 is a flowchart illustrating a method of generating a predictive reference pixel according to an embodiment of the present invention.

도 8을 참고로 살펴보면, 영상 프레임을 구성하는 4×4 영상 블록이 입력되면(S1), 입력된 4×4 영상 블록의 인트라 예측 모드를 판단한다(S3). 입력된 4×4 영상 블록의 인트라 예측 모드에 따라 기저장된 4×4 영상 블록의 예측 참조 픽셀과 4×4 영상 블록의 오차 픽셀로부터 4×4 영상 블록 다음으로 입력되는 4×4 영상 블록의 예측 참조 픽셀을 생성한다(S5). 4×4 영상 블록 다음으로 입력되는 4×4 영상 블록에 대한 예측 참조 픽셀은 판단한 4×4 영상 블록의 인트라 예측 모드에 따라 다르게 생성된다. S3 단계에서 생성된 예측 참조 픽셀(A', B', C', D', I', J', K', L')은 저장부에 저장되며(S7), 저장된 예측 참조 픽셀(A', B', C', D', I', J', K', L')은 4×4 영상 블록 다음으로 입력되는 4×4 영상 블록에 대한 예측 블록의 DC 계수를 계산하는데 사용된다.Referring to FIG. 8, when a 4 × 4 image block constituting an image frame is input (S1), an intra prediction mode of the input 4 × 4 image block is determined (S3). Prediction of the 4x4 image block input after the 4x4 image block from the prediction reference pixels of the prestored 4x4 image block and the error pixels of the 4x4 image block according to the intra prediction mode of the input 4x4 image block A reference pixel is generated (S5). A prediction reference pixel for the 4x4 image block input after the 4x4 image block is generated differently according to the determined intra prediction mode of the 4x4 image block. The prediction reference pixels A ', B', C ', D', I ', J', K ', and L' generated in step S3 are stored in the storage unit (S7) and the stored prediction reference pixels A ' , B ', C', D ', I', J ', K', L ') are used to calculate the DC coefficients of the predictive block for the 4x4 image block that is input after the 4x4 image block.

도 9는 본 발명의 일 실시예에 따른 H.264 표준의 영상 프레임에 대한 섬네일 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a method of generating a thumbnail image of an image frame of the H.264 standard according to an embodiment of the present invention.

N×N 영상 블록에 대한 예측 참조 픽셀을 추출하고(S11), 추출한 N×N 영상 블록에 대한 예측 참조 픽셀과 판단한 N×N 영상 블록의 인트라 예측 모드에 따라 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수(E)를 계산한다(S13). N×N 영상 블록을 구성하는 각 단위 영상 블록 대한 예측 참조 픽셀은 위에서 설명한 방식과 동일한 방식으로 생성되어 기저장되어 있다. Predicting reference pixels for the N × N image blocks are extracted (S11), and constituting each N × N image block according to the prediction prediction pixels for the extracted N × N image blocks and the intra prediction mode of the determined N × N image blocks. The DC coefficient E of the prediction block for the unit image block is calculated (S13). A prediction reference pixel for each unit image block constituting the N × N image block is generated and stored in the same manner as described above.

N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수(E)와 각 단위 영상 블록에 대한 오차 계수 블록의 DC 계수(W00)를 이용하여 N×N 영상 블록을 구성하는 각 단위 영상 블록의 DC 계수를 계산한다(S15). N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 DC 계수는 아래의 수학식(19)와 같이 계산된다.Comprising an N × N image block by using the DC coefficient (E) of the prediction block for each unit image block constituting the N × N image block and the DC coefficient (W 00 ) of the error coefficient block for each unit image block. The DC coefficient of each unit image block is calculated (S15). The DC coefficient for each unit image block constituting the N × N image block is calculated as shown in Equation (19) below.

[수학식 19][Equation 19]

N×N 영상 블록의 DC 계수= E + W00 DC coefficient of N × N picture block = E + W 00

9개의 4×4 휘도 예측 모드에 따른 4×4 영상 블록에 대한 DC 계수를 계산하는 방식을 보다 구체적으로 살펴보면 아래와 같다.A method of calculating DC coefficients for 4 × 4 image blocks according to nine 4 × 4 luminance prediction modes will be described in detail below.

수학식(20)은 제0 모드인 수직 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.Equation (20) is an equation for calculating DC coefficients for a 4x4 image block according to the vertical mode which is the 0th mode.

[수학식 20][Equation 20]

DC=16*A+16*B+16*C+16*D +W00 DC = 16 * A + 16 * B + 16 * C + 16 * D + W 00

수학식(21)은 제1 모드인 수평 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.Equation (21) is an equation for calculating a DC coefficient for a 4x4 image block according to a horizontal mode that is a first mode.

[수학식 21][Equation 21]

DC=16*I+16*J+16*K+16*L+W00 DC = 16 * I + 16 * J + 16 * K + 16 * L + W 00

수학식(22)은 제2 모드인 DC 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.Equation (22) is an equation for calculating a DC coefficient for a 4x4 image block according to the DC mode, which is the second mode.

[수학식 22][Equation 22]

DC= (A + B + C +D +I + J + K +L)/8 +W00 DC = (A + B + C + D + I + J + K + L) / 8 + W 00

수학식(23)은 제3 모드인 Diagonal down-left 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.Equation (23) is an equation for calculating a DC coefficient for a 4x4 image block according to the third mode, the down-left mode.

[수학식 23]&Quot; (23) "

DC = A+4*B+8*C+12*D+14*E+12*F+8*G+5*H + W00 DC = A + 4 * B + 8 * C + 12 * D + 14 * E + 12 * F + 8 * G + 5 * H + W 00

수학식(24)은 제4 모드인 Diagonal down-right 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.Equation (24) is an equation for calculating DC coefficients for 4 × 4 image blocks according to the fourth mode, Diagonal down-right mode.

[수학식 24][Equation 24]

DC=14*M+12*A+8*B+4*C+D+12*I+8*J+4*K+L + W00 DC = 14 * M + 12 * A + 8 * B + 4 * C + D + 12 * I + 8 * J + 4 * K + L + W 00

수학식(25)은 제5 모드인 Vertical right 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.Equation (25) is an equation for calculating DC coefficients for a 4x4 image block according to a vertical right mode which is a fifth mode.

[수학식 25][Equation 25]

DC=11*M+16*A+15*B+10*C+3*D+5*I+3*J+K+W00 DC = 11 * M + 16 * A + 15 * B + 10 * C + 3 * D + 5 * I + 3 * J + K + W 00

수학식(26)은 제6 모드인 Horizontal down 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.Equation (26) is an equation for calculating DC coefficients for a 4x4 image block according to a horizontal down mode, which is a sixth mode.

[수학식 26][Equation 26]

DC=11*M+5*A+3*B+C+16*I+15*J+10*K+3*L+ W00 DC = 11 * M + 5 * A + 3 * B + C + 16 * I + 15 * J + 10 * K + 3 * L + W 00

수학식(27)은 제7 모드인 Vertical left 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.Equation (27) is an equation for calculating a DC coefficient for a 4x4 image block according to the vertical left mode, which is the seventh mode.

[수학식 27][Equation 27]

DC = 3*A+10*B+15*C+16*D+13*E+6*F+G + W00 DC = 3 * A + 10 * B + 15 * C + 16 * D + 13 * E + 6 * F + G + W 00

수학식(28)은 제8 모드인 Horizontal up 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.Equation 28 is an equation for calculating DC coefficients for a 4x4 image block according to a horizontal up mode which is an eighth mode.

[수학식 28][Equation 28]

DC = 3*I + 10*J + 15*K + 36*L + W00 DC = 3 * I + 10 * J + 15 * K + 36 * L + W 00

한편, 4개의 16×16 휘도 예측 모드에 따른 16×16 영상 블록에 대한 DC 계수를 보다 구체적으로 살펴보면 아래와 같다. 16×16 영상 블록에 대한 DC 계수는 16×16 영상 블록을 구성하는 각 단위 영상 블록 단위로 예측 블록의 DC 계수와 오차 계수를 합하여 각 단위 영상 블록의 DC 계수를 계산하여 16×16 영상 블록 전체의 DC 계수를 계산한다.Meanwhile, the DC coefficients of 16 × 16 image blocks according to four 16 × 16 luminance prediction modes will be described in more detail as follows. The DC coefficients for the 16 × 16 image block are calculated by adding the DC coefficients and the error coefficients of the prediction block to each unit image block constituting the 16 × 16 image block, and calculating the DC coefficients of each unit image block. Calculate the DC coefficient of.

수학식(29)은 제0 모드인 수직 모드에 따라 16×16 영상 블록을 구성하는 단위 영상 블록들 즉, 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.Equation (29) calculates DC coefficients for the unit image blocks constituting the 16x16 image block, that is, the first 4x4 image block to the 16th 4x4 image block according to the vertical mode which is the 0th mode. Expression

[수학식 29][Equation 29]

DC=16*Ai+16*Bi+16*Ci+16*Di +W00ij i=1, 2, 3, 4 j=1, 2, 3, 4DC = 16 * A i + 16 * B i + 16 * C i + 16 * D i + W 00ij i = 1, 2, 3, 4 j = 1, 2, 3, 4

수학식(30)은 제1 모드인 수평 모드에 따라 16×16 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.Equation (30) is an equation for calculating DC coefficients for the first 4x4 image blocks to the sixteenth 4x4 image blocks constituting the 16x16 image block according to the horizontal mode which is the first mode.

[수학식 30]Equation 30

DC=16*Ij+16*Jj+16*Kj+16*Lj+W00ij i=1, 2, 3, 4 j=1, 2, 3, 4DC = 16 * I j + 16 * J j + 16 * K j + 16 * L j + W 00ij i = 1, 2, 3, 4 j = 1, 2, 3, 4

수학식(31)은 제2 모드인 DC 모드에 따라 16×16 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.Equation 31 calculates DC coefficients for the first 4x4 image blocks to the 16th 4x4 image blocks constituting the 16x16 image block according to the DC mode which is the second mode.

[수학식 31]Equation 31

DC= (Ai + Bi + Ci +Di +Ij + Jj + Kj +Lj)/8 +W00ij DC = (A i + B i + C i + D i + I j + J j + K j + L j ) / 8 + W 00ij

i=1, 2, 3, 4 j=1, 2, 3, 4i = 1, 2, 3, 4 j = 1, 2, 3, 4

수학식(32)은 제3 모드인 모드에 따라 16×16 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.Equation (32) is a formula for calculating DC coefficients for the first 4x4 image blocks to the sixteenth 4x4 image blocks constituting the 16x16 image block according to the third mode.

[수학식 32]Equation 32

ih=(A3-C2)+2*(B3-B2)+3*(C3-A2)+4*(D3-D1)+5*(A4-C1)+6*(B4-B1)+7*(C4-A1)+8*(D4-M)ih = (A 3 -C 2 ) + 2 * (B 3 -B 2 ) + 3 * (C 3 -A 2 ) + 4 * (D 3 -D 1 ) + 5 * (A 4 -C 1 ) + 6 * (B 4 -B 1 ) + 7 * (C 4 -A 1 ) + 8 * (D 4 -M)

iv=(I3-K2)+2*(J3-J2)+3*(J3-I2)+4*(J3-L1)+5*(I4-K1)+6*(J4-J1)+7*(J4-I1)+8*(J4-M)iv = (I 3 -K 2 ) + 2 * (J 3 -J 2 ) + 3 * (J 3 -I 2 ) + 4 * (J 3 -L 1 ) + 5 * (I 4 -K 1 ) + 6 * (J 4 -J 1 ) + 7 * (J 4 -I 1 ) + 8 * (J 4 -M)

a=64a = 64

ib = (5*ih+a/2)/aib = (5 * ih + a / 2) / a

ic = (5*iv+a/2)/aic = (5 * iv + a / 2) / a

iaa = 16*(D4+L4)iaa = 16 * (D 4 + L 4 )

이라하면This

4×4 제 1 블록은 DC = 2*iaa - 11*ib -11*ic + a/2 +제1 블록의 W00 4 × 4 first block is DC = 2 * iaa-11 * ib -11 * ic + a / 2 + W 00 of the first block

4×4 제 2 블록은 DC = 2*iaa - 3*ib -11*ic + a/2 +제2 블록의 W00 The 4x4 second block is DC = 2 * iaa-3 * ib -11 * ic + a / 2 + W 00 of the second block

4×4 제 3 블록은 DC = 2*iaa +5*ib -11*ic + a/2 + 제3 블록의 W00 The 4x4 third block is DC = 2 * iaa + 5 * ib -11 * ic + a / 2 + W 00 of the third block

4×4 제 4 블록은 DC = 2*iaa +13*ib -11*ic + a/2 +제4 블록의 W00 4 × 4 fourth block is DC = 2 * iaa + 13 * ib -11 * ic + a / 2 + W 00 of the fourth block

4×4 제 5 블록은 DC = 2*iaa - 11*ib -3*ic + a/2 +제5 블록의 W00 4x4 fifth block is DC = 2 * iaa-11 * ib -3 * ic + a / 2 + W 00 of fifth block

4×4 제 6 블록은 DC = 2*iaa - 3*ib -3*ic + a/2 +제 6 블록의 W00 4 × 4 6th block is DC = 2 * iaa-3 * ib -3 * ic + a / 2 + W 00 of 6th block

4×4 제 7 블록은 DC = 2*iaa +5*ib -3*ic + a/2+ 제 7 블록의 W00 4x4 seventh block is DC = 2 * iaa + 5 * ib -3 * ic + a / 2 + W 00 of the seventh block

4×4 제 8 블록은 DC = 2*iaa +13*ib -3*ic + a/2 + 제 8 블록의 W00 4x4 eighth block is DC = 2 * iaa + 13 * ib -3 * ic + a / 2 + W 00 of the eighth block

4×4 제 9 블록은 DC = 2*iaa - 11*ib +5*ic + a/2+제 9 블록의 W00 4x4 ninth block is DC = 2 * iaa-11 * ib + 5 * ic + a / 2 + W 00 of ninth block

4×4 제 10 블록은 DC = 2*iaa - 3*ib +5*ic + a/2+제 10 블록의 W00 4x4 10th block is DC = 2 * iaa-3 * ib + 5 * ic + a / 2 + W 00 of 10th block

4×4 제 11 블록은 DC = 2*iaa +5*ib +5*ic + a/2+ 제 11 블록의 W00 4 × 4 11th block is W 00 of DC = 2 * iaa + 5 * ib + 5 * ic + a / 2 + 11th block

4×4 제 12 블록은 DC = 2*iaa +13*ib +5*ic + a/2 +제 12 블록의 W00 4x4 12th block is DC = 2 * iaa + 13 * ib + 5 * ic + a / 2 + W 00 of 12th block

4×4 제 13 블록은 DC = 2*iaa - 11*ib +13*ic + a/2 +제 13 블록의 W00 4x4 13th block is DC = 2 * iaa-11 * ib + 13 * ic + a / 2 + W 00 of the 13th block

4×4 제 14 블록은 DC = 2*iaa - 3*ib +13*ic + a/2 +제 14 블록의 W00 4x4 14th block is DC = 2 * iaa-3 * ib + 13 * ic + a / 2 + W 00 of 14th block

4×4 제 15 블록은 DC = 2*iaa +5*ib +13*ic + a/2 +제 15 블록의 W00 4x4 15th block is DC = 2 * iaa + 5 * ib + 13 * ic + a / 2 + W 00 of the 15th block

4×4 제 16 블록은 DC = 2*iaa +13*ib +13*ic + a/2+제 16 블록의 W00 4 × 4 16th block is DC = 2 * iaa + 13 * ib + 13 * ic + a / 2 + W 00 of the 16th block

한편, 4개의 8×8 색차 예측 모드에 따른 8×8 영상 블록에 대한 DC 계수를 보다 구체적으로 살펴보면 아래와 같다. 8×8 영상 블록에 대한 DC 계수는 8×8 영상 블록을 구성하는 각 단위 영상 블록 단위로 예측 블록의 DC 계수와 오차 계수를 합하여 각 단위 영상 블록의 DC 계수를 계산하여 8×8 영상 블록 전체의 DC 계수를 계산한다.Meanwhile, the DC coefficients of 8x8 image blocks according to four 8x8 color difference prediction modes will be described in detail below. The DC coefficients for the 8x8 image block are calculated by adding the DC coefficients and the error coefficients of the prediction block to each unit image block constituting the 8x8 image block to calculate the DC coefficient of each unit image block. Calculate the DC coefficient of.

수학식(33)은 제0 모드인 수직 모드에 따라 8×8 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제4 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.Equation (33) calculates DC coefficients for the first 4x4 image blocks to the fourth 4x4 image blocks constituting the 8x8 image block according to the vertical mode, which is the 0th mode.

[수학식 33] [Equation 33]

DC=16*Ai+16*Bi+16*Ci+16i*D+W00ij i=1, 2 j=1, 2DC = 16 * A i + 16 * B i + 16 * C i +16 i * D + W 00ij i = 1, 2 j = 1, 2

수학식(34)은 제1 모드인 수평 모드에 따라 8×8 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제4 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.Equation (34) calculates DC coefficients for the first 4x4 image blocks to the fourth 4x4 image blocks constituting the 8x8 image block according to the horizontal mode, which is the first mode.

[수학식 34] [Equation 34]

DC=16*Ij+16*Jj+16*Kj+16*Lj+W00ij i=1, 2 j=1, 2DC = 16 * I j + 16 * J j + 16 * K j + 16 * L j + W 00ij i = 1, 2 j = 1, 2

수학식(35)는 제2 모드인 DC 모드에 따라 8×8 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제4 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.Equation (35) calculates DC coefficients for the first 4x4 image blocks to the fourth 4x4 image blocks constituting the 8x8 image block according to the DC mode which is the second mode.

[수학식 35] [Equation 35]

DC= (Ai + Bi + Ci +Di +Ij + Jj + Kj +Lj)/8 +W00ij i=1, 2 j=1, 2DC = (A i + B i + C i + D i + I j + J j + K j + L j ) / 8 + W 00ij i = 1, 2 j = 1, 2

수학식(36)는 제3 모드인 plane 모드에 따라 8×8 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제4 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.Equation (36) calculates DC coefficients for the first 4x4 image blocks to the fourth 4x4 image blocks constituting the 8x8 image block according to the plane mode, which is the third mode.

[수학식 36] [Equation 36]

ih = (A2-C1)+2*(B2-B1)+3*(C2-A1)+4*(D2-M)ih = (A 2 -C 1 ) + 2 * (B 2 -B 1 ) + 3 * (C 2 -A 1 ) + 4 * (D 2 -M)

iv = (I2-K1)+2*(J2-J1)+3*(J2-I1)+4*(J2-M)iv = (I2-K 1 ) + 2 * (J 2 -J 1 ) + 3 * (J 2 -I 1 ) + 4 * (J 2 -M)

a=64a = 64

ib = (17*ih +a/2)/aib = (17 * ih + a / 2) / a

ic = (17*iv+a/2)/aic = (17 * iv + a / 2) / a

iaa = 16*(D2+L2)iaa = 16 * (D 2 + L 2 )

이라 하면This

4×4 제 1 블록은 DC = 2*iaa - 3*ib -3*ic + a/2 + 제1 블록의 W00 4 × 4 first block is DC = 2 * iaa-3 * ib -3 * ic + a / 2 + W 00 of the first block

4×4 제 2 블록은 DC = 2*iaa +5*ib -3*ic + a/2 + 제2 블록의 W00 The 4 × 4 second block is DC = 2 * iaa + 5 * ib -3 * ic + a / 2 + W 00 of the second block

4×4 제 3 블록은 DC = 2*iaa -3*ib +5*ic + a/2 + 제3 블록의 W00 The 4x4 third block is DC = 2 * iaa -3 * ib + 5 * ic + a / 2 + W 00 of the third block

4×4 제 4 블록은 DC = 2*iaa +5*ib +5*ic + a/2 + 제4 블록의 W00 4 × 4 fourth block is DC = 2 * iaa + 5 * ib + 5 * ic + a / 2 + W 00 of the fourth block

과 같이 구해진다.Obtained as

수학식(29) 내지 수학식(32)에서 입력된 16×16 영상 블록에 대한 공간 영역의 예측 참조 픽셀(A1, B1, C1, D1, A2, B2, C2, D2, A3, B3, C3, D3, A4, B4, C4, D4,M I1, J1, K1, L1, I2, J2, K2, L2, I3, J3, K3, L3, I4, J4, K4, L4)과 16×16 영상 블록을 구성하는 제1 4×4 블록 내지 제16 4×4 블록의 순서는 도 11에 되어 있는 것과 같다. Prediction reference pixels A 1 , B 1 , C 1 , D 1 , A 2 , B 2 , C 2 , D in the spatial domain for the 16 × 16 image blocks input in equations (29)-(32). 2 , A 3 , B 3 , C 3 , D 3 , A 4 , B 4 , C 4 , D 4 , MI 1 , J 1 , K 1 , L 1 , I 2 , J 2 , K 2 , L 2 , I 3 , J 3 , K 3 , L 3 , I 4 , J 4 , K 4 , L 4 ) and the first 4 × 4 blocks to 16th 16 × 4 blocks constituting the 16 × 16 image block are shown in FIG. It's like it's in 11.

수학식(33) 내지 수학식(36)에서 입력된 8×8 영상 블록에 대한 공간 영역의 예측 참조 픽셀 (A1, B1, C1, D1, A2, B2, C2, D2, M, I1, J1, K1, L1, I2, J2, K2, L2)과 8×8 영상 블록을 구성하는 제1 4×4 블록 내지 제4 4×4 블록의 순서는 도 12에 도시되어 있다.Prediction reference pixels (A 1 , B 1 , C 1 , D 1 , A 2 , B 2 , C 2 , D in the spatial domain for the 8 × 8 image block input in equations (33) to (36) 2 , M, I 1 , J 1 , K 1 , L 1 , I 2 , J 2 , K 2 , L 2 ) and the first 4 × 4 blocks to fourth 4 × 4 blocks constituting an 8 × 8 image block. The order of is shown in FIG.

수학식 (20) 내지 수학식(36)에서 알 수 있듯이, 4×4 영상 블록에 대한 참조 픽셀 블록을 모두 복원할 필요가 없으며, 4×4 영상 블록에 대한 참조 픽셀 블록을 구성하는 픽셀들 중 4×4 영상 블록의 예측 블록을 계산하는데 사용되는 참조 픽셀들, 즉 예측 참조 픽셀들만 복원하여 4×4 영상 블록의 예측 픽셀을 계산한다. 또한, N×N 영상 블록의 예측 참조 픽셀로부터 직접 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수를 계산하고, 계산한 각 단위 영상 블록에 대한 예측 블록의 DC 계수와 단위 영상 블록에 대한 오차 계수 블록의 DC 계수를 합하여 N×N 영상 블록을 구성하는 각 단위 영상 블록들의 DC 계수를 간단하게 계산한다. As shown in equations (20) to (36), it is not necessary to reconstruct all the reference pixel blocks for the 4x4 image block, and among the pixels constituting the reference pixel block for the 4x4 image block. The prediction pixels of the 4x4 image block are calculated by reconstructing only the reference pixels, that is, the prediction reference pixels used to calculate the prediction block of the 4x4 image block. The DC coefficient of the prediction block for each unit image block constituting the N × N image block is calculated directly from the prediction reference pixel of the N × N image block, and the DC coefficient of the prediction block for each calculated unit image block and The DC coefficients of the unit image blocks constituting the N × N image block are simply calculated by adding the DC coefficients of the error coefficient blocks to the unit image blocks.

바람직하게, 1개의 영상 프레임을 구성하는 영상 블록들 중 첫 영상 블록의 경우에는 첫 영상 블록의 예측 참조 데이터를 128로 설정하고 DC계수는 아래의 수학식(37)와 같이 계산한다.Preferably, in the case of the first image block among the image blocks constituting one image frame, the prediction reference data of the first image block is set to 128, and the DC coefficient is calculated as shown in Equation (37) below.

[수학식 37][Equation 37]

DC계수=(A+B+C+D+I+J+K+L)/8+W00 DC coefficient = (A + B + C + D + I + J + K + L) / 8 + W 00

영상 프레임을 구성하는 모든 N×N 영상 블록에 대하여 DC 계수를 계산하였는지 판단하여(S17), 모든 N×N 영상 블록의 DC 계수를 계산하지 않았으면 다음 N ×N 영상 블록에 대한 DC 계수를 위에서 설명한 S11 단계 내지 S15 단계를 반복하여 모든 N×N 영상 블록의 DC 계수를 계산한다. S17단계에서 영상 프레임을 구성하는 모든 N×N 영상 블록의 DC 계수를 계산하였다고 판단하는 경우, 모든 N×N 영상 블록의 DC 계수를 이용하여 영상 프레임의 섬네일 이미지를 생성한다(S19).It is determined whether the DC coefficients are calculated for all N × N image blocks constituting the image frame (S17). Steps S11 to S15 are repeated to calculate DC coefficients of all N × N image blocks. If it is determined in step S17 that the DC coefficients of all N × N image blocks constituting the image frame are calculated, a thumbnail image of the image frame is generated using the DC coefficients of all N × N image blocks (S19).

도 10은 종래 고속 역DCT(IDCT)를 이용한 예측 참조 픽셀의 생성 방법, 다이렉트 역DCT를 이용한 예측 참조 픽셀의 생성 방법 및 본 발명에 따른 예측 참조 픽셀의 생성 방법에 따라 예측 참조 픽셀을 생성하는데 필요한 계산 횟수와 메모리 액세스 횟수를 비교한 도표이다. 도 10의 도표는 4×4 오차 계수 블록으로부터 예측 참조 픽셀을 생성하는데 필요한 계산 횟수와 메모리 액세스 횟수를 나타낸 결과값이다.10 is required for generating a prediction reference pixel according to a method of generating a prediction reference pixel using a conventional fast inverse DCT (IDCT), a method of generating a prediction reference pixel using a direct inverse DCT, and a method of generating a prediction reference pixel according to the present invention. This chart compares the number of calculations and the number of memory accesses. 10 is a result showing the number of calculations and the number of memory accesses required to generate a predictive reference pixel from a 4x4 error coefficient block.

도 10을 참고로 살펴보면, 고속(fast) 역DCT를 이용하여 예측 블록을 생성하는 방법에서 필요한 참조 픽셀 모두를 복원하는데 소요되는 덧셈 계산 횟수는 96번이며 시프트(shift) 횟수는 48번이며 메모리 액세스 횟수는 192번이다. 한편, 다이렉트 역DCT를 이용하여 예측 참조 픽셀을 생성하는 방법에서 필요한 참조 픽셀 모두를 복원하는데 소요되는 덧셈 계산 횟수는 240번이며 시프트 횟수는 112번이며 메모리 액세스 횟수는 64번이다. 한편, 본 발명에 따라 예측 참조 픽셀을 생성하는 방법에서 예측 블록을 생성하는데 필요한 예측 참조 픽셀만을 생성하기 위하여 소요되는 덧셈 계산 횟수는 59번이며 시프트 횟수는 26번이며 메모리 액세스 횟수는 8번이다. 도 10에서 알 수 있는 것과 같이, 본 발명에 따른 예측 블록의 생성 방법은 종래 고속 역DCT 또는 다이렉트 역DCT를 이용하여 예측 블록을 생성하는 경 우보다 적은 계산량과 적은 메모리 액세스 횟수로 인하여 빠르게 영상 블록을 부호화할 수 있다.Referring to FIG. 10, the number of addition operations required to recover all the reference pixels required in the method of generating the predictive block using fast inverse DCT is 96 times, the number of shifts is 48, and the memory accesses. The number is 192 times. Meanwhile, in the method of generating the predictive reference pixel using the direct inverse DCT, the number of addition calculations required to recover all the reference pixels required is 240, the number of shifts is 112, and the number of memory accesses is 64. Meanwhile, in the method of generating the predictive reference pixel according to the present invention, the number of addition calculations required to generate only the predictive reference pixel required to generate the predictive block is 59, the number of shifts is 26, and the number of memory accesses is 8. As can be seen in Figure 10, the method of generating a prediction block according to the present invention is faster than the case of generating a prediction block using a conventional fast inverse DCT or direct inverse DCCT image block faster due to less computation amount and fewer memory access times Can be encoded.

한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.

상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.The computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, DVD, etc.) and a carrier wave (for example, the Internet). Storage medium).

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

도 1은 종래 H.264/AVC 인코더에서 수행되는 인트라 예측을 설명하기 위한 기능 블록도를 도시하고 있다.1 shows a functional block diagram for explaining intra prediction performed in a conventional H.264 / AVC encoder.

도 2는 4×4 영상 블록에서 사용되는 9개의 인트라 예측 모드를 설명하기 위한 도면이다.FIG. 2 is a diagram for explaining nine intra prediction modes used in a 4x4 image block.

도 3은 핸드폰에서 사용하는 섬네일 이미지의 일 예를 도시하고 있다.3 illustrates an example of a thumbnail image used in a mobile phone.

도 4는 본 발명의 일 실시예에 따라 H.264 표준의 영상 부호화 장치에서 입력 또는 저장되어 있는 영상 프레임으로부터 섬네일 이미지를 생성하는 장치의 기능 블록도를 도시하고 있다.FIG. 4 is a functional block diagram of an apparatus for generating a thumbnail image from an image frame input or stored in an H.264 standard image encoding apparatus according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따라 H.264 표준의 영상 복호화 장치에서 수신 또는 저장되어 있는 영상 프레임으로부터 섬네일 이미지를 생성하는 장치의 기능 블록도를 도시하고 있다.FIG. 5 is a functional block diagram of an apparatus for generating a thumbnail image from an image frame received or stored in an H.264 standard image decoding apparatus according to an embodiment of the present invention.

도 6은 본 발명에 따른 예측 참조 픽셀 생성부를 보다 구체적으로 설명하기 위한 기능 블록도이다.6 is a functional block diagram for explaining in more detail the prediction reference pixel generator according to the present invention.

도 7은 4×4 영상 블록의 인트라 예측 모드에 따라 계산된 4×4 영상 블록의 예측 참조 픽셀을 도시하고 있다.FIG. 7 illustrates predictive reference pixels of a 4x4 image block calculated according to an intra prediction mode of the 4x4 image block.

도 8은 본 발명의 일 실시예에 따른 예측 참조 픽셀을 생성하는 방법을 설명하기 위한 흐름도이다.8 is a flowchart illustrating a method of generating a predictive reference pixel according to an embodiment of the present invention.

도 9는 본 발명의 일 실시예에 따른 H.264 표준의 영상 프레임에 대한 섬네일 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.9 is a flowchart illustrating a method of generating a thumbnail image of an image frame of the H.264 standard according to an embodiment of the present invention.

도 10은 종래 고속 역DCT(IDCT)를 이용한 예측 블록의 생성 방법, 다이렉트 역DCT를 이용한 예측 블록의 생성 방법 및 본 발명에 따른 예측 블록의 생성 방법의 계산 횟수와 메모리 액세스 횟수를 비교한 도표이다.10 is a chart comparing the number of calculations and the number of memory accesses of a method of generating a prediction block using a conventional fast inverse DCT (IDCT), a method of generating a prediction block using a direct inverse DCT, and a method of generating a prediction block according to the present invention. .

도 11은 16×16 영상 블록의 일 예를 도시하고 있다.11 shows an example of a 16x16 image block.

도 12는 8×8 영상 블록의 일 예를 도시하고 있다.12 shows an example of an 8x8 image block.

Claims (9)

영상 프레임을 구성하는 H.264 기반의 N×N 영상 블록들로부터 섬네일 이미지를 생성하는 방법에 있어서,In the method for generating a thumbnail image from the H.264-based N × N image blocks constituting the image frame, (a) 상기 N×N 영상 블록에 대한 예측 참조 픽셀을 추출하는 단계;(a) extracting a predictive reference pixel for the N × N image block; (b) 상기 N×N 영상 블록의 인트라 예측 모드에 기초하여 상기 추출한 N×N 영상 블록의 예측 참조 픽셀로 상기 N×N 영상 블록을 구성하는 각 단위 영상 블록에 대한 예측 블록의 DC 계수를 계산하는 단계; 및(b) calculating DC coefficients of a prediction block for each unit image block constituting the N × N image block with the predicted reference pixels of the extracted N × N image block based on the intra prediction mode of the N × N image block; Doing; And (c) 상기 계산한 각 단위 영상 블록에 대한 예측 블록의 DC 계수와 상기 각 단위 영상 블록에 대한 오차 블록의 DC 계수를 합하여 N×N 영상 블록의 DC 계수를 계산하는 단계를 포함하는 섬네일 이미지의 생성 방법.(c) calculating the DC coefficient of the N × N image block by adding the calculated DC coefficients of the prediction block for each unit image block and the DC coefficients of the error block for each unit image block. How to produce. 제 1 항에 있어서, 상기 영상 프레임을 구성하는 N×N 영상 블록들에 대해 상기 (a) 단계 내지 (c) 단계를 반복하여 실행하고,The method of claim 1, wherein the steps (a) to (c) are repeated for the N × N image blocks constituting the image frame. 상기 영상 프레임을 구성하는 N×N 영상 블록들에 대한 DC 계수를 추출하여 상기 영상 프레임의 섬네일 이미지를 생성하는 단계를 더 포함하는 것을 특징으로 하는 섬네일 이미지의 생성 방법.And generating a thumbnail image of the image frame by extracting DC coefficients for the N × N image blocks constituting the image frame. 제 2 항에 있어서, 상기 각 단위 영상 블록에 대한 예측 블록의 DC 계수는The DC coefficient of the prediction block for each unit image block is 상기 N×N 영상 블록에 대한 예측 참조 픽셀의 조합으로 계산되는 것을 특징 으로 하는 섬네일 이미지의 생성 방법.And calculating a combination of predicted reference pixels for the N × N image block. 제 2 항에 있어서, 상기 예측 참조 픽셀은The method of claim 2, wherein the prediction reference pixel is 상기 N×N 영상 블록의 인트라 예측에 사용되는 상기 N×N 영상 블록 주변의 참조 픽셀인 것을 특징으로 하는 섬네일 이미지의 생성 방법.And a reference pixel around the N × N image block used for intra prediction of the N × N image block. 제 2 항에 있어서, 상기 예측 참조 픽셀은 The method of claim 2, wherein the prediction reference pixel is (a1) 상기 단위 영상 블록의 인트라 예측 모드에 따라 기저장된 상기 단위 영상 블록의 예측 참조 픽셀로부터 예측 픽셀을 계산하는 단계;(a1) calculating a prediction pixel from a predicted reference pixel of the unit image block according to an intra prediction mode of the unit image block; (a2) 상기 단위 영상 블록의 오차 픽셀을 계산하는 단계;(a2) calculating an error pixel of the unit image block; (a3) 상기 계산한 예측 픽셀과 오차 픽셀을 합하여 상기 단위 영상 블록 다음의 단위 영상 블록에 대한 예측 참조 픽셀을 생성하는 단계; 및(a3) generating a prediction reference pixel for the unit image block after the unit image block by adding the calculated prediction pixel and the error pixel; And (a4) 상기 생성한 단위 영상 블록의 예측 참조 픽셀을 저장하는 단계를 포함하여 상기 N×N 영상 블록을 구성하는 단위 영상 블록 기준으로 생성되는 것을 특징으로 하는 섬네일 이미지의 생성 방법.(a4) generating a thumbnail image based on a unit image block constituting the N × N image block, including storing the predicted reference pixel of the generated unit image block. 제 5 항에 있어서, 상기 단위 영상 블록의 오차 픽셀은The method of claim 5, wherein the error pixel of the unit image block is 상기 단위 영상 블록의 경계에 위치하는 픽셀에 대한 오차 픽셀인 것을 특징으로 하는 섬네일 이미지의 생성 방법.And an error pixel for a pixel located at a boundary of the unit image block. 제 6 항에 있어서, 상기 단위 영상 블록의 오차 픽셀은The method of claim 6, wherein the error pixel of the unit image block 상기 단위 영상 블록의 오른쪽 경계와 아래쪽 경계에 위치하는 픽셀에 대한 오차 픽셀인 것을 특징으로 하는 섬네일 이미지의 생성 방법.And an error pixel for pixels located at right and bottom boundaries of the unit image block. 제 7 항에 있어서, 상기 N×N 영상 블록의 크기가 4×4 영상 블록인 경우8. The method of claim 7, wherein the size of the N × N picture block is a 4 × 4 picture block. 상기 N×N 영상 블록의 예측 참조 픽셀은 N×N 영상 블록의 인트라 예측에 사용되는 상기 N×N 영상 블록 주변의 13개 참조 픽셀인 것을 특징으로 하는 섬네일 이미지 생성 방법.The predictive reference pixel of the N × N image block is 13 reference pixels around the N × N image block used for intra prediction of the N × N image block. 제 5 항에 있어서, 상기 단위 영상 블록의 오차 픽셀은 The method of claim 5, wherein the error pixel of the unit image block is 상기 단위 영상 블록에 대한 오차 계수 블록으로부터 계산되는 변환 요소 값을 이용하여 계산되며,Calculated using a transform element value calculated from an error coefficient block for the unit image block, 상기 변환 요소 값(H0, H1, H2, H3, V0, V1, V2, V3)은The conversion element values H 0 , H 1 , H 2 , H 3 , V 0 , V 1 , V 2 , V 3 are 아래의 수학식(1) 내지 수학식(8)에 의해 생성되며.It is generated by the following equations (1) to (8). [수학식 1][Equation 1]
Figure 112009049345503-PAT00010
Figure 112009049345503-PAT00010
[수학식 2][Equation 2]
Figure 112009049345503-PAT00011
Figure 112009049345503-PAT00011
[수학식 3][Equation 3]
Figure 112009049345503-PAT00012
Figure 112009049345503-PAT00012
[수학식 4][Equation 4]
Figure 112009049345503-PAT00013
Figure 112009049345503-PAT00013
[수학식 5][Equation 5]
Figure 112009049345503-PAT00014
Figure 112009049345503-PAT00014
[수학식 6][Equation 6]
Figure 112009049345503-PAT00015
Figure 112009049345503-PAT00015
[수학식 7][Equation 7]
Figure 112009049345503-PAT00016
Figure 112009049345503-PAT00016
[수학식 8][Equation 8]
Figure 112009049345503-PAT00017
Figure 112009049345503-PAT00017
여기서 단위 영상 블록에 대한 변환 영역의 오차 계수 블록(W)은 Here, the error coefficient block (W) of the transform region for the unit image block is [수학식 9][Equation 9]
Figure 112009049345503-PAT00018
Figure 112009049345503-PAT00018
상기 수학식(9)인 것을 특징으로 하는 섬네일 이미지의 생성 방법.Method of generating a thumbnail image, characterized in that the equation (9).
KR1020090074508A 2008-08-13 2009-08-13 How to generate thumbnail images from H.264 standard video frames KR101052390B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080079242 2008-08-13
KR20080079242 2008-08-13

Publications (2)

Publication Number Publication Date
KR20100020926A true KR20100020926A (en) 2010-02-23
KR101052390B1 KR101052390B1 (en) 2011-07-28

Family

ID=42090837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090074508A KR101052390B1 (en) 2008-08-13 2009-08-13 How to generate thumbnail images from H.264 standard video frames

Country Status (1)

Country Link
KR (1) KR101052390B1 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022894A (en) * 2004-09-08 2006-03-13 엘지전자 주식회사 Apparatus and method for generating thumbnail image in mobile terminal
JP2006148615A (en) * 2004-11-22 2006-06-08 Hitachi Ltd Decoding device and program for making computer execute encoding method
KR101004562B1 (en) * 2008-08-13 2011-01-03 경희대학교 산학협력단 Method for making thumb-nail image of image frame based on H.264

Also Published As

Publication number Publication date
KR101052390B1 (en) 2011-07-28

Similar Documents

Publication Publication Date Title
KR102118718B1 (en) Video encoding apparatus for performing intra-prediction based on directionality of neighboring block, video decoding apparatus and video decoding method for performing the same
US9473777B2 (en) Video encoding device and encoding method thereof, video decoding device and decoding method thereof, and directional intra-prediction method to be used thereto
US9491467B2 (en) Method and apparatus for image encoding/decoding
US10034024B2 (en) Method and apparatus for encoding/decoding images considering low frequency components
US9736475B2 (en) Method and apparatus for generating a reference frame and method and apparatus for encoding/decoding image using the same
KR101759461B1 (en) Coding apparatus, decoding apparatus, coding method, decoding method, and computer-readable storage medium
US20110206113A1 (en) Data Compression for Video
US20070047656A1 (en) Apparatus and method for video encoding/decoding and recording medium having recorded thereon program for executing the method
US20070071087A1 (en) Apparatus and method for video encoding and decoding and recording medium having recorded theron program for the method
EP2983362B1 (en) Interlayer video decoding method and apparatus for compensating luminance difference
US8666182B2 (en) Method for generating thumbnail image in image frame of the H.264 standard
KR101052390B1 (en) How to generate thumbnail images from H.264 standard video frames
KR101004562B1 (en) Method for making thumb-nail image of image frame based on H.264
KR101035455B1 (en) Apparatus for making thumbnail-image based on H.264
KR101005394B1 (en) Method for producting intra prediction block in H.264/AVC encoder
US20240214561A1 (en) Methods and devices for decoder-side intra mode derivation
US20240214580A1 (en) Intra prediction modes signaling
KR20110106164A (en) The method for making thumbnail images of 8*8 intra-prediction mode from h.264/avc coded bit stream
KR20100027712A (en) Video encoding/decoding method and apparatus by using selective encoding
Ravi A discrete wavelet transform based low complexity H. 264 encoder for high bit rate applications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150703

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee