KR20110106164A - Ｈ.264/ａｖｃ 표준에 따라 부호화된 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 방법 - Google Patents

Ｈ.264/ａｖｃ 표준에 따라 부호화된 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 방법 Download PDF

Info

Publication number
KR20110106164A
KR20110106164A KR1020100025422A KR20100025422A KR20110106164A KR 20110106164 A KR20110106164 A KR 20110106164A KR 1020100025422 A KR1020100025422 A KR 1020100025422A KR 20100025422 A KR20100025422 A KR 20100025422A KR 20110106164 A KR20110106164 A KR 20110106164A
Authority
KR
South Korea
Prior art keywords
block
image
image block
unit
coefficient
Prior art date
Application number
KR1020100025422A
Other languages
English (en)
Inventor
김원하
오형석
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020100025422A priority Critical patent/KR20110106164A/ko
Publication of KR20110106164A publication Critical patent/KR20110106164A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 이미지에 대한 섬네일 이미지를 생성하는 방법에 관한 것으로, 보다 구체적으로 영상 프레임을 구성하는 단위 영상블록에 대한 예측 블록의 DC 계수를 단위 영상블록의 예측 참조 픽셀로부터 직접 계산하고, 계산한 단위 영상블록에 대한 예측 블록의 DC 계수와 단위 영상블록에 대한 오차 계수 블록의 DC 계수 또는 오차 계수로부터 단위 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하여 영상 이미지의 섬네일 이미지를 생성하는 방법에 관한 것이다.

Description

Ｈ.264/ＡＶＣ 표준에 따라 부호화된 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 방법{The method for making thumbnail images of 8×8 intra-prediction mode from H.264/AVC coded bit stream}
본 발명은 영상 이미지에 대한 섬네일 이미지를 생성하는 방법에 관한 것으로, 보다 구체적으로 영상 프레임을 구성하는 단위 영상블록에 대한 예측 블록의 DC 계수를 단위 영상블록의 예측 참조 픽셀로부터 직접 계산하고, 계산한 단위 영상블록에 대한 예측 블록의 DC 계수와 단위 영상블록에 대한 오차 계수 블록의 DC 계수 또는 오차 계수로부터 단위 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하여 영상 이미지의 섬네일 이미지를 생성하는 방법에 관한 것이다.
비디오 압축은 디지털 TV, 인터넷 스트리밍 비디오 그리고 DVD-비디오와 같은 광범위한 분야에 채택됨으로 인해, 방송 및 오락 매체의 핵심 요소가 되었다. 디지털 TV와 DVD 비디오의 성공은 발표된 지 15년이 지난 MPEG-2 표준안을 기초로 한 것으로, 이 기술의 효용성은 충분히 증명되었지만 이제는 구식의 기술이다. 이제는 프로세싱 능력의 발전을 이용하여 보다 효과적이고 효율적인 기술로 MPEG-2의 자리를 대체해야 할 때인 것이 분명하다. 어떤 기술이 MPEG-2를 대신해야 하는가에 대한 논쟁은 지금도 계속되고 있지만, 이러한 논쟁에서 가장 앞서서 고려되고 있는 기술 중 하나가 H.264/AVC(Advanced VDeo cDing)이다.
H.264/AVC은 시각 정보의 부호화된 표현을 위한 표준안으로, 국제통신위원회(ITU-T: International Telecommunication Union)의 연구 그룹인 Video Coding Experts Group(VCEG)에 의해 개발되었다.
H.264/AVC는 코덱(CDEC: enCDer/DECder)을 따로 정의하지 않고 있으며, 단지 인코딩된 비디오 비트스트림의 신택스(syntax)와 이러한 비트스트림을 디코딩하는 방법을 정의하고 있다. 코딩된 픽쳐는 여러 개의 매크로 블록으로 구성되는데, 각 매크로블록은 16×16 휘도 샘플 및 이와 관련된 색차 샘플을 포함한다. 각 픽쳐 내의 매크로블록들은 슬라이스에 배열되는데, 슬라이스에는 매크로블록들이 순차적인 스캔 순서로 존재한다. 매크로블록들은 I 슬라이스, P 슬라이스, B 슬라이스에 포함되는데, I 슬라이스는 인트라(intra) 매크로블록만을 포함하며, P 슬라이스는 인터(inter) 매크로블록과 인트라 매크로블록을 포함하며, B 슬라이스는 인터 매크로블록과 인트라 매크로블록을 포함한다. 이중 인트라 매크로블록은 현재 슬라이스 내에서 디코딩되어 복원된 참조 샘플로부터 인트라 예측을 사용하여 생성된다.
도 1은 종래 H.264/AVC 인코더에서 수행되는 인트라 예측을 설명하기 위한 기능 블록도를 도시하고 있다. H.264/AVC 인코더는 "순방향" 경로(왼쪽에서 오른쪽)와 "복원" 경로(오른쪽에서 왼쪽)의 두 개의 데이터 흐름 경로를 포함하고 있다. "순방향"경로에서 복원된 참조 블록으로부터 예측 블록을 생성하고, 현재 인코딩하고자 하는 영상 블록을 생성한 예측 블록에서 빼서 오차 블록을 생성한다. 한편, "복원" 경로에서는 생성한 오차 블록과 예측 블록을 합하여 다음으로 인코딩하고자 하는 영상 블록의 참조 블록을 생성한다.
도 1을 참고로 "순방향"경로와 "복원"경로를 보다 구체적으로 살펴본다. 먼저, "순방향"경로에 대해 살펴보면 예측 모드 결정부(10)는 입력된 공간 영역의 N×N 영상 블록에 대한 인트라 예측 모드를 결정한다. 예측 블록 생성부(20)는 결정한 인트라 예측 모드에 따라 저장된 참고 블록을 이용하여 입력된 공간 영역의 N×N 영상 블록에 대한 예측 블록을 생성한다.
오차 블록 생성부(30)는 입력된 공간 영역의 N×N 영상 블록과 생성한 예측 블록을 서로 차감하여 N×N 오차 블록을 생성한다. 변환부(40)는 N×N 오차 블록을 블록 기반 변환 방식으로 변환하여 변환 영역의 N×N 오차 계수 블록을 생성한다. 바람직하게, 블록 기반 변환 방식 중 DCT(Discrete Cosine Transform) 또는 정수 DCT 방식이 사용된다.
양자화부(50)는 변환 영역의 N×N 오차 계수 블록을 양자화하며 부호화부(60)는 예측 부호화, 가변 길이 부호화, 산술 부호화 등의 부호화 방식 중 하나의 방식에 따라 양자화된 N×N 오차 계수 블록을 부호화하여 비트스트림을 생성한다.
"복원" 경로에 대해 살펴보면, 양자화부(50)에서 출력되는 양자화된 N×N 오차 계수 블록을 역양자화부(70)에서 역양자화하고, 역변환부(80)는 역양자화된 N×N 오차 계수 블록을 역변환하여 공간 영역의 N×N 오차 블록을 생성한다. 참조 블록 생성부(90)는 N×N 오차 블록과 예측 블록을 합하여 다시 예측 블록을 생성하는데 이용되는 참조 블록을 복원한다.
한편, 종래 H.264/AVC 디코더는 수신한 비트스트림을 복호화하고, 복호화한 비트스트림을 단위 영상 블록 단위로 역양자화, 역변환하여 오차 블록을 생성하며, 오차 블록과 단위 영상 블록의 인트라 예측 모드에 따라 생성한 예측 블록을 합하여 영상 블록을 복원한다.
위에서 살펴본 바와 같이, H.264/AVC 인코더 또는 디코더는 예측 블록을 이용하여 오차 블록을 생성하거나 영상 블록을 복원하는데 예측 블록은 N×N 영상 블록의 인트라 예측 모드를 통해 결정된다. H.264/AVC에서 휘도 4×4 영상 블록 및 휘도 8×8 영상 블록에 대해 9개의 인트라 예측 모드가 정의되어 있으며 휘도 16×16 영상 블록에 대해 4개의 인트라 예측 모드가 정의되어 있다.
도 2을 참고로 휘도 4×4 영상 블록에서 사용되는 9개의 인트라 예측 모드를 보다 구체적으로 살펴보면 다음과 같다.
1) 제0 예측 모드(vertical)
- 제0 예측 모드는 현재 부호화하고자 하는 도 2의 4×4 영상 블록("가")의 위쪽에 위치하는 영상 블록의 4픽셀들(A, B, C, D)을 이용하여 예측하는 모드이다.
- A 픽셀은 4×4 영상 블록("가")의 첫 column 부분의 4개 픽셀에 채워지고 B 픽셀은 4×4 영상 블록("가")의 두 번째 column 부분의 4개 픽셀에 채워지며, 이와 동일하게 C, D 픽셀들도 각각 4×4 영상 블록("가")의 세 번째, 네 번째 column 부분의 4개 픽셀에 채워진다.
2) 제1 예측 모드(horizontal)
- 제1 예측 모드는 현재 부호화하고자 하는 도 2의 4×4 영상 블록("가")의 왼쪽에 위치하는 영상 블록의 4픽셀들(I, J, K, L)을 이용하여 예측하는 모드이다.
- I 픽셀은 4×4 영상 블록("가")의 첫 row 부분의 4개 픽셀에 채워지고 J 픽셀은 4×4 영상 블록("가")의 두 번째 row 부분의 4개 픽셀에 채워지며, 이와 동일하게 K, L 픽셀들도 각각 4×4 영상 블록("가") 세 번째, 네 번째 row 부분의 4개 픽셀에 채워진다.
3) 제2 예측 모드(DC)
- 제2 예측 모드는 현재 부호화하고자 하는 도 2의 4×4 영상 블록("가")의 왼쪽에 위치하는 영상 블록의 4픽셀(I. J. K. L)과 위쪽에 위치하는 영상 블록(A, B, C, D)의 4픽셀의 평균값으로 예측되는 모드이다.
4) 제3 예측 모드(diagonal down-left)
- 제3 예측 모드는 현재 부호화하고자 하는 도 2의 4×4 영상블록("가")의 위쪽에 위치하는 영상블록의 4픽셀(A, B, C, D)과 위 오른쪽에 위치하는 영상 블록의 4픽셀(E, F, G, H)을 이용하여 예측하는 모드이다.
- 부호화하고자 하는 블록의 좌측 하단과 우측 상단 사이의 45도 각도로 채워진다.
5) 제4 예측 모드(diagonal down-right)
- 제4 예측 모드는 현재 부호화하고자 하는 도 2의 4×4 영상블록("가")의 위쪽에 위치하는 영상 블록의 4픽셀(A, B, C, D)과 위 왼쪽 영상블록의 1픽셀(M)과 왼쪽 영상블록의 4픽셀(I, J, K, L)을 이용하여 예측하는 모드이다.
- 부호화하고자 하는 블록의 우측 하단 45도 방향으로 채워진다.
6) 제5 예측 모드(vertical-right)
- 제5 예측 모드는 현재 부호화하고자 하는 도 2의 4×4 영상블록("가")의 위쪽 영상블록의 4픽셀(A, B, C, D)과 위 왼쪽 블록의 1픽셀(M)과 왼쪽 블록의 4픽셀(I, J, K, L) 이용하여 예측하는 모드이다.
- 수직의 오른쪽 약 26.6도 방향으로 채워진다. (넓이/높이=1/2)
7) 제6 예측 모드(horizontal-down)
- 제6 예측모드는 현재 부호화하고자 하는 도 2의 4×4 영상블록("가")의 위쪽 영상블록의 4픽셀(A, B, C, D)과 위 왼쪽 영상블록의 1픽셀(M)과 왼쪽 영상블록의 4픽셀(I, J, K, L) 이용하여 예측하는 모드이다.
- 수평의 아래 약 26.6도 방향으로 채워진다.
8) 제7 예측 모드(vertical-left)
- 제7 예측 모드는 현재 부호화하고자 하는 도 2의 4×4 영상블록("가")의 위쪽 영상블록의 4픽셀(A, B, C, D)과 위 오른쪽 영상블록의 1픽셀(E)을 이용하여 예측하는 모드이다.
- 수직의 왼쪽 약 26.6도 방향으로 채워진다.
9) 제8 예측 모드(horizontal-up)
- 제8 예측모드는 현재 부호화하고자 하는 도 2의 4×4 영상블록("가")의 왼쪽 영상블록의 4픽셀(I, J, K, L)을 이용하여 예측하는 모드이다.
- 수평의 위쪽 약 26.6도 방향으로 보간된다.
도 3을 참고로 휘도 8×8 영상 블록에서 사용되는 9개의 인트라 예측 모드를 보다 구체적으로 살펴보면 다음과 같다.
1) 제0 예측 모드(vertical)
- 제0 예측 모드는 현재 부호화하고자 하는 도 3의 8×8 영상 블록("가")의 위쪽에 위치하는 영상 블록의 8픽셀들(A, B, C, D, E, F, G, H)을 이용하여 예측하는 모드이다.
- A 픽셀은 8×8 영상 블록("가")의 첫 column 부분의 8개 픽셀에 채워지고 B 픽셀 은 8×8 영상 블록("가")의 두 번째 column 부분의 8개 픽셀에 채워지며, 이와 동일하게 C, D, E, F, G, H 픽셀들도 각각 8×8 영상 블록("가")의 세 번째 내지 여덟 번째 column 부분의 8개 픽셀에 채워진다.
2) 제1 예측 모드(horizontal)
- 제1 예측 모드는 현재 부호화하고자 하는 도 3의 8×8 영상 블록("가")의 왼쪽에 위치하는 영상 블록의 8픽셀들(Q, R, S, T, U, V, W, X)을 이용하여 예측하는 모드이다.
- Q 픽셀은 8×8 영상 블록("가")의 첫 row 부분의 8개 픽셀에 채워지고 R 픽셀은 8×8 영상 블록("가")의 두 번째 row 부분의 8개 픽셀에 채워지며, 이와 동일하게 S, T, U, V, W, X 픽셀들도 각각 8×8 영상 블록("가") 세 번째 내지 여덟 번째 row 부분의 8개 픽셀에 채워진다.
3) 제2 예측 모드(DC)
- 제2 예측 모드는 현재 부호화하고자 하는 도 3의 8×8 영상 블록("가")의 왼쪽에 위치하는 영상 블록의 8픽셀(Q, R, S, T, U, V, W, X)과 위쪽에 위치하는 영상 블록(A, B, C, D, E, F, G, H)의 8픽셀의 평균값으로 예측되는 모드이다.
4) 제3 예측 모드(diagonal down-left)
- 제3 예측 모드는 현재 부호화하고자 하는 도 3의 8×8 영상블록("가")의 위쪽에 위치하는 영상블록의 8픽셀(A, B, C, D, E, F, G, H)과 위 오른쪽에 위치하는 영상 블록의 8픽셀(I, J, K, L, M, N, O, P)을 이용하여 예측하는 모드이다.
- 부호화하고자 하는 블록의 좌측 하단과 우측 상단 사이의 45도 각도로 채워진다.
5) 제4 예측 모드(diagonal down-right)
- 제4 예측 모드는 현재 부호화하고자 하는 도 3의 8×8 영상블록("가")의 위쪽에 위치하는 영상 블록의 8픽셀(A, B, C, D, E, F, G, H)과 위 왼쪽 영상블록의 1픽셀(Z)과 왼쪽 영상블록의 8픽셀(Q, R, S, T, U, V, W, X)을 이용하여 예측하는 모드이다.
- 부호화하고자 하는 블록의 우측 하단 45도 방향으로 채워진다.
6) 제5 예측 모드(vertical-right)
- 제5 예측 모드는 현재 부호화하고자 하는 도 3의 8×8 영상블록("가")의 위쪽 영상블록의 8픽셀(A, B, C, D, E, F, G, H)과 위 왼쪽 블록의 1픽셀(Z)과 왼쪽 블록의 8픽셀(Q, R, S, T, U, V, W, X) 이용하여 예측하는 모드이다.
- 수직의 오른쪽 약 26.6도 방향으로 채워진다. (넓이/높이=1/2)
7) 제6 예측 모드(horizontal-down)
- 제6 예측모드는 현재 부호화하고자 하는 도 3의 8×8 영상블록("가")의 위쪽 영상블록의 8픽셀(A, B, C, D, E, F, G, H)과 위 왼쪽 영상블록의 1픽셀(Z)과 왼쪽 영상블록의 8픽셀(Q, R, S, T, U, V, W, X) 이용하여 예측하는 모드이다.
- 수평의 아래 약 26.6도 방향으로 채워진다.
8) 제7 예측 모드(vertical-left)
- 제7 예측 모드는 현재 부호화하고자 하는 도 3의 8×8 영상블록("가")의 위쪽 영상블록의 8픽셀(A, B, C, D, E, F, G, H)과 위 오른쪽 영상블록의 1픽셀(I)을 이용하여 예측하는 모드이다.
- 수직의 왼쪽 약 26.6도 방향으로 채워진다.
9) 제8 예측 모드(horizontal-up)
- 제8 예측모드는 현재 부호화하고자 하는 도 3의 8×8 영상블록("가")의 왼쪽 영상블록의 8픽셀(Q, R, S, T, U, V, W, X)을 이용하여 예측하는 모드이다.
- 수평의 위쪽 약 26.6도 방향으로 보간된다.
한편, 핸드폰, 디지털 TV 등과 같은 멀티미디어 단말기는 저장하고 있는 영상 이미지를 미리 보기 위해 작은 사이즈의 이미지(이하, '섬네일 이미지'라 언급한다)를 사용하여 멀티미디어 단말기에 저장되어 있는 영상 데이터를 검색한다.
도 4는 핸드폰에서 사용하는 섬네일 이미지의 일 예를 도시하고 있다. 도 4에 도시되어 있는 섬네일 이미지를 참고로 살펴보면, 핸드폰에 저장되어 있는 다수의 영상 또는 동영상 이미지들이 디스플레이부에 섬네일 이미지로 미리 디스플레이된다. 사용자는 디스플레이된 섬네일 이미지를 통해 재생하고자 하는 영상 또는 동영상을 검색하고 검색한 영상 또는 동영상 중 소정 영상을 선택하면, 선택한 영상은 원래 사이즈의 이미지로 재생된다.
원영상 이미지에서 섬네일 이미지를 생성하기 위한 통상적인 방법은 크게 2가지로 나누어 볼 수 있다. 첫 번째 방법은 공간 영역의 영상 이미지를 다운 샘플링하여 영상 이미지의 섬네일 이미지를 생성하는 것이다. 두 번째 방법은 영상 이미지를 구성하는 변환 영역의 각 영상 계수 블록에서 DC 계수만을 추출하여 원영상 이미지의 섬네일 이미지를 생성하는 것이다. 변환 영역의 각 영상 계수 블록에서 상단 좌측에 존재하는 DC 계수는 공간 영역의 각 영상 픽셀 블록에 대한 평균값으로, DC 계수만을 추출하여 생성된 영상 이미지는 원래 영상 이미지의 크기를 1/N만큼 다운 샘플링한 것과 동일하다.
위에서 설명한 첫 번째 방법으로 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위해서는 변환 영역의 오차 계수 블록을 공간 영역으로 역변환하고 역변환된 공간 영역의 오차 블록과 공간 영역의 예측 블록을 합하여 공간 영역의 복원 블록을 생성한 후, 다시 복원 블록을 다운 샘플링하여 영상 이미지의 섬네일 이미지를 생성한다. 따라서 첫 번째 방법은 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위하여 변환 영역과 공간 영역으로 영상 이미지를 반복하여 변환하여야 한다는 문제점을 가진다.
한편, 위에서 설명한 두 번째 방법으로 H.264 표준의 영상 이미지에 대한 섬네일 이미지를 생성하기 위해서는 변환 영역의 오차 계수 블록을 공간 영역으로 역변환하고 역변환된 공간 영역의 오차 블록과 공간 영역의 예측 블록을 합하여 공간 영역의 참조 블록을 복원한 후, 공간 영역의 참조 블록을 다시 변환 영역으로 변환하여 DC 계수를 추출하여야 하므로 긴 프로세스 시간과 복잡한 데이터 처리 과정을 필요로 한다는 문제점을 가진다.
또한 인트라 예측 모드에 따라 예측 블록을 생성하는데 사용되는 참조 픽셀은 복원된 참조 블록 중 일부만이 사용되고 있다. 그러나 종래 H.264/AVC에서는 참조 블록 전체를 복원하며, 따라서 참조 블록 전체를 복원하기 위하여 많은 계산을 수행하여 하드웨어에 큰 부하를 준다. 더욱이, 종래 H.264/AVC에서는 사용되지 않은 참조 블록의 참조 픽셀을 저장하기 위하여 큰 저장 공간을 요구하며 저장 공간에 액세스하는 횟수만을 증가시켜 예측 블록을 생성하는데 오랜 시간이 소요된다는 문제점을 가진다.
본 발명이 이루고자 하는 목적은 위에서 언급한 종래 섬네일 이미지의 생성 방법이 가지는 문제점을 해결하기 위한 것으로, 본 발명이 이루고자 하는 목적은 섬네일 이미지의 생성에 필요한 영상 블록의 DC 계수만을 적은 계산량으로 계산하고 계산한 영상 블록의 DC 계수로부터 섬네일 이미지를 생성하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 목적은 8×8 단위 영상 블록에 대한 DC 계수로부터 섬네일 이미지를 생성하여 4×4 단위 영상 블록에 대한 DC 계수로부터 생성한 섬네일 이미지보다 높은 해상도를 가지는 섬네일 이미지의 생성 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 인트라 모드 예측에서 예측 블록을 생성하는데 사용되는 참조 픽셀만을 생성하여 적은 프로세스로 간단하게 섬네일 이미지를 생성할 수 있으며, 예측 블록을 생성하는데 사용되는 참조 픽셀만을 저장하여 작은 저장 공간을 요구하는 섬네일 이미지의 생성 방법을 제공하는 것이다.
본 발명에 따른, H.264/AVC 표준에 따라 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 방법은 비트스트림에서 영상 프레임을 구성하는 단위 영상블록에 대한 정보를 판단하는 단계와, 판단한 단위 영상블록에 대한 정보에 따라 단위 영상블록의 예측 참조 픽셀을 추출하는 단계와, 추출한 예측 참조 픽셀 및 단위 영상블록에 대한 정보에 기초하여 단위 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하는 단계와, 영상 프레임을 구성하는 모든 단위 영상블록에 대한 8×8 영상 블록의 계수로부터 영상 프레임의 섬네일 이미지를 생성하는 단계를 포함한다.
여기서 단위 영상블록에 대한 정보는 단위 영상블록의 크기 또는 단위 영상블록의 인트라 예측 모드이며, 단위 영상블록의 크기는 4×4 영상블록, 8×8 영상블록 또는 16×16 영상블록 중 어느 하나인 것을 특징으로 한다.
단위 영상블록에 대한 8×8 영상블록의 DC 계수를 계산하는 단계는 단위 영상블록에 대한 예측 참조 픽셀로부터 단위 영상블록에 대한 예측 블록의 DC 계수를 계산하는 단계와, 단위 영상블록에 대한 오차 계수 블록의 DC 계수 또는 오차 계수와 계산한 단위 영상블록에 대한 예측 블록의 DC 계수를 합하여 단위 영상블록의 DC 계수를 계산하는 단계와, 계산한 단위 영상블록의 DC 계수로부터 단위 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하는 단계를 포함한다.
바람직하게, 단위 영상블록의 크기가 4×4인 경우 단위 영상블록에 대한 8×8 영상블록의 DC 계수를 계산하는 단계는 8×8 영상블록을 구성하는 4개의 4×4 영상블록 각각에 대한 예측 참조 픽셀로부터 4개의 4×4 영상블록 각각에 대한 예측 블록의 DC 계수를 계산하는 단계와, 4개의 4×4 영상블록에 대한 오차 계수 블록의 DC 계수와 계산한 4개의 4×4 영상블록에 대한 예측 블록의 DC 계수를 각각 서로 합하여 4×4 영상블록 각각의 DC 계수를 계산하는 단계와, 계산한 4개의 4×4 영상블록 각각의 DC 계수 평균값으로부터 4×4 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하는 단계를 포함한다.
바람직하게, 단위 영상블록의 크기가 16×16인 경우 단위 영상블록에 대한 8×8 영상블록의 DC 계수를 계산하는 단계는 16×16 영상블록에 대한 예측 참조 픽셀로부터 16×16 영상블록을 구성하는 16개의 4×4 영상블록 각각에 대한 예측 블록의 DC 계수를 계산하는 단계와, 16×16 영상블록에 대한 오차 계수와 계산한 16개의 4×4 영상블록에 대한 예측 블록의 DC 계수를 서로 합하여 4×4 영상블록 각각의 DC 계수를 계산하는 단계와, 16×16 영상블록을 4개의 8×8 영상블록으로 분할하고 4개의 8×8 영상블록을 구성하는, 계산한 4개의 4×4 영상블록 각각의 DC 계수 평균값으로부터 16×16 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하는 단계를 포함한다.
본 발명에 따라 섬네일 이미지의 생성 방법은 종래 섬네일 이미지의 생성 방법과 비교하여 다음과 같은 다양한 효과들을 가진다.
첫째, 본 발명에 따른 섬네일 이미지의 생성 방법은 단위 영상블록에 대한 오차 계수 블록의 DC 계수와 단위 영상블록에 대한 예측 블록의 DC 계수로 직접 8×8 영상블록의 DC 계수를 계산함으로써, 공간 영역과 변환 영역 사이에서 영상블록을 변환하지 않고 H.264/AVC 표준의 영상 이미지에 대한 섬네일 이미지를 생성할 수 있다.
둘째, 본 발명에 따른 섬네일 이미지의 생성 방법은 단위 영상블록에 대한 오차 계수 블록의 DC 계수와 단위 영상블록에 대한 예측 블록의 DC 계수로 직접 8×8 영상블록의 DC 계수를 계산함으로써, 다수의 영상 이미지들이 저장되어 있는 멀티미디어 단말기에서 섬네일 이미지를 통해 특정 영상 이미지를 빠르게 검색할 수 있다.
셋째, 본 발명에 따른 섬네일 이미지의 생성 방법은 참조 블록의 모든 참조 픽셀을 계산하는 대신 예측 블록의 DC 계수를 계산하는데 사용되는 참조 픽셀 즉, 예측 참조 픽셀만을 계산함으로써, 예측 참조 픽셀을 계산하는데 필요한 계산량과 메모리 액세스 횟수가 적어 빠르게 섬네일 이미지를 생성할 수 있다.
도 1은 종래 H.264/AVC 인코더에서 수행되는 인트라 예측을 설명하기 위한 기능 블록도를 도시하고 있다.
도 2는 4×4 인트라 예측 모드를 설명하기 위한 도면이다.
도 3은 8×8 인트라 예측 모드를 설명하기 위한 도면이다.
도 4는 섬네일 이미지의 일 예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따라 H.264/AVC 표준의 영상 복호화 장치에서 수신 또는 저장되어 있는 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 장치의 기능 블록도를 도시하고 있다.
도 6은 생성된 4×4 영상블록에 대한 예측 참조 픽셀들의 일 예를 도시하고 있다.
도 7은 생성된 8×8 영상블록에 대한 예측 참조 픽셀들의 일 예를 도시하고 있다.
도 8은 본 발명에 따른 예측 참조 픽셀 생성부의 일 예를 구체적으로 설명하기 위한 기능 블록도이다.
도 9는 본 발명의 일 실시예에 따른 예측 참조 픽셀을 생성하는 방법을 설명하기 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 H.264/AVC 표준의 영상 프레임에 대한 섬네일 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
도 11은 16×16 영상블록에 대한 일 예를 도시하고 있다.
도 12은 16×16 영상블록에 대한 오차 계수 블록을 나타내고 있다.
도 13은 8×8 영상블록에 대한 일 예를 도시하고 있다.
이하 첨부한 도면을 참고로 본 발명에 따른 섬네일 이미지의 생성 방법을 보다 구체적으로 설명한다.
도 5는 본 발명의 일 실시예에 따라 H.264/AVC 표준의 영상 복호화 장치에서 수신 또는 저장되어 있는 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 장치의 기능 블록도를 도시하고 있다. 영상 프레임은 4×4 크기의 영상블록, 8×8 크기의 영상블록, 16×16 크기의 영상블록 단위로 부호화되고 복호화되는데, 여기서 부호화되고 복호화되는 영상 블록, 즉 4×4 크기의 영상블록, 8×8 크기의 영상블록, 16×16 크기의 영상블록을 각각 단위 영상블록이라고 언급한다. 예를 들어 8×8 단위 영상블록은 4개의 4×4 단위 영상블록으로 구성되어 있으며, 16×16 단위 영상블록은 16개의 4×4 단위 영상블록으로 구성되어 있다.
영상블록 정보판단부(110)는 비트스트림에서 단위 영상블록에 대한 정보를 판단한다. 단위 영상블록에 대한 정보는 단위 영상블록의 크기, 단위 영상블록의 인트라 예측 모드에 대한 정보를 포함한다. 예측 참조 픽셀 생성부(120)는 획득한 단위 영상블록에 대한 정보에 기초하여 단위 영상블록의 예측 참조 픽셀을 생성한다. 즉, 단위 영상블록의 인트라 예측 모드와 크기에 기초하여 단위 영상블록에 대한 예측블록을 생성하고, 생성한 예측 블록과 단위 영상블록의 오차 픽셀로부터 예측 참조 픽셀을 생성한다. 여기서 예측 참조 픽셀이란 단위 영상블록의 인트라 예측 모드와 크기에 따라 단위 영상블록의 예측 블록을 계산하는데 사용되는 단위 영상블록 주변의 참조 픽셀을 의미한다.
예를 들어, 도 6에서 4×4 영상블록("바")에 대한 예측 참조 픽셀은 4×4 영상블록("바")에 인접한 참조 픽셀들 중 4×4 영상블록("바")의 인트라 예측 모드에 따라 예측 픽셀을 계산하는데 직접 사용되는 13개의 참조 픽셀들(A, B, C, D, E, F, G, H, I, J, K, L, M)이다. 도 7에서 8×8 영상블록("바")에 대한 예측 참조 픽셀은 8×8 영상블록("바")에 인접한 참조 픽셀 들 중 8×8 영상블록("바")의 인트라 예측 모드에 따라 예측 픽셀을 계산하는데 직접 사용되는 25개의 참조 픽셀들(A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, W, X, Z)이다.
예측 참조 픽셀 생성부(120)는 단위 영상블록 전체를 복원하여 인접한 단위 영상블록의 예측 참조 픽셀을 생성하는 대신, 단위 영상블록의 예측 참조 픽셀로 사용되는 참조 픽셀만을 생성한다. 예를 들어, 도 6에서 예측 참조 픽셀 생성부(120)는 4×4 영상블록("사")에 대한 예측 참조 픽셀로 4×4 영상블록("사")에 인접한 8개의 참조 픽셀(A', B', C', D', I', J', K')만을 생성하며, 도 7에서 에측 참조 픽셀 생성부(120)는 8×8 영상블록("사")에 대한 예측 참조 픽셀로 8×8 영상블록("사")에 인접한 15개의 참조 픽셀(A', B', C', D', E', F', G', H', Q', R', S', T', U', V', W')만 생성한다.
예측 참조 픽셀 생성부(120)는 4×4 영상블록("바")의 인트라 예측 모드에 따라 4×4 영상블록("바")의 예측 참조 픽셀(A, B, C, D, I, E, F, G, H, J, K, L, M)을 이용하여 계산된 4×4 영상 블록("바")의 예측 픽셀과 4×4 영상 블록("바")의 오차 계수 블록으로부터 계산된 오차 픽셀을 합하여 4×4 영상 블록("바")에 인접한 4×4 영상블록("사")에 대한 예측 참조 픽셀(A', B', C', D', I', J, K')을 계산한다.
8×8 영상블록("바")의 인트라 예측 모드에 따라 8×8 영상블록("바")의 예측 참조 픽셀(A, B, C, D, E, F, G, H, I, J, K, L, M, N, O, P, Q, R, S, T, U, V, W, X, Z)을 이용하여 계산된 8×8 영상 블록("바")의 예측 픽셀과 8×8 영상 블록("바")의 오차 계수 블록으로부터 계산된 오차 픽셀을 합하여 8×8 영상 블록("바")에 인접한 8×8 영상블록("사")에 대한 예측 참조 픽셀(A', B', C', D', E', F', G', H', Q', R', S', T', U', V', W')을 계산한다. 이와 동일한 방법으로 영상 프레임을 구성하는 모든 단위 영상 블록의 예측 참조 픽셀이 차례로 계산되어 예측 참조 픽셀 생성부(120)에 저장된다.
예측 블록 DC 계산부(130)는 단위 영상블록의 인트라 예측 모드와 단위 영상블록의 예측 참조 픽셀을 기반으로 단위 영상블록에 대한 예측 블록의 DC 계수를 계산한다. 예측 블록의 DC 계수는 단위 영상블록에 대한 예측 블록을 블록 기반 변환하여 생성되는 예측 블록의 DC 계수로, 본 발명에서 예측 블록의 DC 계수는 단위 영상블록의 예측 참조 픽셀로 계산된다. 영상 블록 DC 계산부(140)는 계산한 단위 영상블록에 대한 예측 블록의 DC 계수와 단위 영상블록에 대한 오차 계수 블록의 DC 계수를 합하여 8×8 영상블록의 DC 계수를 계산한다. 섬네일 이미지 생성부(150)는 계산한 모든 8×8 영상블록의 DC 계수를 조합하여 영상 프레임에 대한 섬네일 이미지를 생성한다.
도 8은 본 발명에 따른 예측 참조 픽셀 생성부(120)의 일 예를 구체적으로 설명하기 위한 기능 블록도이다.
도 8을 참고로 살펴보면, 예측 참조 픽셀 생성부는 오차 픽셀 계산부(121), 예측 참조 픽셀 계산부(123) 및 예측 참조 픽셀 저장부(125)를 구비하고 있다. 예측 참조 픽셀 생성부는 단위 영상블록의 인트라 예측 모드에 따라 생성한 예측 픽셀과 단위 영상블록의 오차 픽셀을 합하여 예측 참조 픽셀을 생성한다.
오차 픽셀 계산부(121)는 단위 영상블록에 대한 오차 계수 블록으로부터 예측 참조 픽셀을 생성하는데 필요한 오차 픽셀을 계산한다. 오차 픽셀 계산부(121)는 단위 영상블록에 대한 오차 계수 블록으로부터 단위 영상블록에 대한 오차 픽셀을 모두 계산하는 것이 아니라, 예측 참조 픽셀에 대응하는 오차 픽셀만을 계산한다. 여기서 단위 영상 블록의 예측 픽셀과 합해지는 오차 픽셀은 단위 영상블록에 대한 오차 계수 블록을 공간 영역으로 역변환하여 계산되는데, 본 발명에서는 단위 영상블록에 대한 예측 참조 픽셀을 생성하는데 필요한 오차 픽셀만을 계산한다. 바람직하게, 본 발명에서 계산량을 줄이기 위하여 단위 영상블록에 대한 오차 계수 블록의 오차 계수들로 조합된 변환 요소 값을 사용하여 단위 영상블록에 대한 예측 참조 픽셀을 생성하는데 필요한 오차 픽셀만을 계산한다. 여기서 변환 요소값이란 오차 계수 블록을 역변환하여 오차 픽셀을 계산하는 경우, 예측 참조 픽셀을 생성하는데 필요한 오차 픽셀을 계산하는데 이용되는 오차 계수의 조합을 의미한다.
예측 참조 픽셀 계산부(123)는 예측 참조 픽셀 저장부(125)에 저장되어 있는 단위 영상블록에 대한 예측 참조 픽셀로부터 단위 영상블록에 대한 예측 블록을 생성하고, 생성한 예측 블록과 계산한 오차 픽셀을 합하여 단위 영상블록에 인접한 주변 단위 영상블록에 대한 예측 참조 픽셀을 계산한다.
도 9는 본 발명의 일 실시예에 따른, 예측 참조 픽셀을 생성하는 방법을 설명하기 흐름도이다.
도 9를 참고로 살펴보면, 영상 프레임의 비트스트림이 입력되면(S1) 영상 프레임의 비트스트림으로부터 영상 프레임을 구성하는 단위 영상블록에 대한 정보를 판단한다(S3). 단위 영상블록에 대한 정보는 단위 영상블록의 인트라 예측 모드와 단위 영상블록의 크기이다. 판단한 단위 영상블록의 인트라 예측 모드에 따라 기저장된 단위 영상 블록의 예측 참조 픽셀로부터 생성한 단위 영상 블록의 예측 픽셀과 단위 영상 블록의 오차 픽셀로부터 단위 영상 블록에 인접한 단위 영상 블록에 대한 예측 참조 픽셀을 생성한다(S5). 인접한 단위 영상 블록에 대한 예측 참조 픽셀은 판단한 단위 영상 블록의 인트라 예측 모드에 따라 다르게 생성된다. S3 단계에서 생성된 인접한 단위 영상 블록에 대한 예측 참조 픽셀은 예측 참조 픽셀 저장부에 저장된다(S7).
도 6과 도 9를 참고로 4×4 크기의 단위 영상블록에 대한 예측 참조 픽셀을 생성하는 방법의 일 예를 살펴보면, 영상 프레임을 구성하는 단위 영상블록의 크기가 4×4인 경우 4×4 영상 블록("바")의 인트라 예측 모드를 판단한다. 4×4 영상 블록("바")의 인트라 예측 모드에 따라 기저장된 4×4 영상 블록("바")의 예측 참조 픽셀(A, B, C, D, E, F, G, H, I, J, K, L, M)로부터 생성한 4×4 영상 블록("바")의 예측 픽셀과 4×4 영상 블록("바")의 오차 픽셀로부터 4×4 영상 블록("바")에 인접한 4×4 영상 블록에 대한 예측 참조 픽셀(A', B', C', D', I, J', K', L')을 생성한다. 인접한 4×4 영상 블록에 대한 예측 참조 픽셀은 판단한 4×4 영상 블록("바")의 인트라 예측 모드에 따라 다르게 생성된다. 생성된 4×4 영상 블록에 대한 예측 참조 픽셀(A', B', C', D', I, J', K', L')은 예측 참조 픽셀 저장부에 저장된다.
도 7과 도 9를 참고로 8×8 크기의 단위 영상블록에 대한 예측 참조 픽셀을 생성하는 방법의 일 예를 살펴보면, 영상 프레임을 구성하는 단위 영상블록의 크기가 8×8인 경우 8×8 영상 블록("바")의 인트라 예측 모드를 판단한다. 8×8 영상 블록("바")의 인트라 예측 모드에 따라 기저장된 8×8 영상 블록("바")의 예측 참조 픽셀(A, B, C, D, E, F, G, H, I, J, K, L, M, O, P, Q, R, S, T, U, V, W, X, Z)로부터 생성한 8×8 영상 블록("바")의 예측 픽셀과 8×8 영상 블록("바")의 오차 픽셀로부터 8×8 영상 블록("바")에 인접한 8×8 영상 블록에 대한 예측 참조 픽셀(A', B', C', D', E', F', G', H', Q', R', S', T', U', V', W')을 생성한다. 8×8 영상 블록에 대한 예측 참조 픽셀은 판단한 8×8 영상 블록("바")의 인트라 예측 모드에 따라 다르게 생성된다. 생성된 8×8 영상 블록에 대한 예측 참조 픽셀(A', B', C', D', E', F', G', H', Q', R', S', T', U', V', W')은 예측 참조 픽셀 저장부에 저장된다.
도 10은 본 발명의 일 실시예에 따른 H.264/AVC 표준의 영상 프레임에 대한 섬네일 이미지를 생성하는 방법을 설명하기 위한 흐름도이다.
도 10을 참고로 보다 구체적으로 살펴보면, 단위 영상블록에 대한 정보를 획득하여 단위 영상블록에 대한 크기와 인트라 예측 모드를 판단한다(S11). 판단한 단위 영상블록 크기에 기초하여 단위 영상블록의 예측 참조 픽셀을 추출한다(S13). 추출한 예측 참조 픽셀과 판단한 단위 영상블록의 인트라 예측 모드에 따라 단위 영상블록에 대한 예측 블록의 DC 계수(E)를 계산한다(S15). 단위 영상블록에 대한 예측 참조 픽셀은 위에서 설명한 방식과 동일한 방식으로 생성되어 기저장되어 있다.
단위 영상블록에 대한 예측 블록의 DC 계수와 단위 영상블록에 대한 오차 계수 블록의 DC 계수를 이용하여 8×8 영상블록의 DC 계수를 계산한다(S17). 영상 프레임을 구성하는 모든 8×8 영상블록에 대한 DC 계수를 계산하고, 계산한 모든 8×8 영상블록에 대한 DC계수로부터 영상 프레임에 대한 섬네일 이미지를 생성한다(S19).
도 6과 도 10을 참고로 단위 영상블록의 크기가 4×4 영상블록인 경우 8×8 영상블록에 대한 DC 계수를 계산하는 방법을 구체적으로 살펴보면, 8×8 영상블록을 구성하는 4개의 4×4 영상블록 각각에 대한 예측 참조 픽셀을 추출한다. 추출한 4개의 4×4 영상블록 각각에 대한 예측 참조 픽셀과 판단한 각 4×4 영상블록의 인트라 예측 모드에 따라 각 4×4 영상블록에 대한 예측 블록의 DC 계수를 계산한다.
4×4 영상블록에 대한 예측 블록의 DC 계수(E)와 4×4 영상블록에 대한 오차 계수 블록의 DC 계수(W00)를 이용하여 8×8 영상블록을 구성하는 4개의 4×4 영상블록 각각의 DC 계수를 계산한다. 계산한 4개의 4×4 영상블록의 DC 계수의 평균값으로부터 8×8 영상블록의 DC 계수를 계산한다. 아래의 수학식(1) 내지 수학식(9)는 4×4 영상블록의 DC계수를 계산하는 수학식이다. 8×8 영상블록을 구성하는 4개의 4×4 영상블록은 각각 아래의 수학식(1) 내지 수학식(9)을 이용하여 4×4 영상블록에 대한 DC 계수를 계산한다.
수학식(1)은 제0 모드인 수직 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 1]
DC 계수=16×A+16×B+16×C+16×D +W00
수학식(2)은 제1 모드인 수평 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 2]
DC 계수=16×I+16×J+16×K+16×L+W00
수학식(3)은 제2 모드인 DC 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 3]
DC 계수= (A + B + C +D +I + J + K + L)/8 +W00
수학식(4)은 제3 모드인 Diagonal down-left 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 4]
DC 계수= A+4×B+8×C+12×D+14×E+12×F+8×G+5×H + W00
수학식(5)은 제4 모드인 Diagonal down-right 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 5]
DC 계수=14×M+12×A+8×B+4×C+D+12×I+8×J+4×K+L + W00
수학식(6)은 제5 모드인 Vertical right 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 6]
DC 계수=11×M+16×A+15×B+10×C+3×D+5×I+3×J+K+W00
수학식(7)은 제6 모드인 Horizontal down 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 7]
DC 계수=11×M+5×A+3×B+C+16×I+15×J+10×K+3×L+ W00
수학식(8)은 제7 모드인 Vertical left 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 8]
DC 계수= 3×A+10×B+15×C+16×D+13×E+6×F+G + W00
수학식(9)은 제8 모드인 Horizontal up 모드에 따라 4×4 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 9]
DC 계수= 3×I + 10×J + 15×K + 36×L + W00
도 7과 도 10을 참고로 단위 영상블록의 크기가 8×8 영상블록인 경우 8×8 영상블록에 대한 DC 계수를 계산하는 방법을 구체적으로 살펴보면, 8×8 영상블록에 대한 예측 참조 픽셀을 추출한다. 추출한 8×8 영상블록에 대한 예측 참조 픽셀과 판단한 8×8 영상블록의 인트라 예측 모드에 따라 8×8 영상블록에 대한 예측 블록의 DC 계수(E)를 계산한다.
8×8 영상블록에 대한 예측 블록의 DC 계수(E)와 8×8 영상블록에 대한 오차 계수 블록의 DC 계수(W00)를 이용하여 8×8 영상블록의 DC 계수를 계산한다. 아래의 수학식(10) 내지 수학식(18)는 8×8 영상블록의 DC계수를 계산하는 수학식이다.
수학식(10)은 제0 모드에 따라 8×8 영상블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 10]
DC 계수=8×A+8×B+8×C+8×D+8×E+8×F+8×G+8×H +W00
수학식(11)은 제1 모드에 따라 8×8 영상블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 11]
DC 계수=8×Q+8×R+8×S+8×T+8×U+8×V+8×W+8×H+ W00
수학식(12)은 제2 모드에 따라 8×8 영상블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 12]
DC 계수=(A+B+C+D+E+F+G+H+Q+R+S+T+U+V+W+X)/16+W00
수학식(13)은 제3 모드에 따라 8×8 영상블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 13]
DC 계수=A/4+B+2×C+3×D+4×E+5×F+6×G+7×H+15×I/2+7×J+6×K+5×L+4×M+3×N+2×O+5×P/4+W00
수학식(14)은 제4 모드에 따라 8×8 영상블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 14]
DC 계수=7×A+6×B+5×C+4×D+3×E+2×F+G+H/4+7×Q+6×R+5×S+4×T+3×U+2×V+W+X/4+15×Z/2+W00
수학식(15)은 제5 모드에 따라 8×8 영상 블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 15]
DC 계수=8×A+8×B+8×C+31×D/4+13×E/2+9×F/2+5×G/2+3×H/4+13×Q/4+11×R/4+9×S/4+7×T/4+5×U/4+3×V/4+W/4+23×Z/4 +W00
수학식(16)은 제6 모드에 따라 8×8 영상블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 16]
DC 계수=13×A/4+11×B/4+9×C/4+7×D/4+5×E/4+3×F/4+G/4+8×Q+8×R+8×S+31×T/4+13×U/2+9×V/2+5×W/2+3×X/4+23×Z/4+W00
수학식(17)은 제7 모드에 따라 8×8 영상블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 17]
DC 계수=3×A/4+5×B/2+9×C/2+13×D/2+31×E/4+8×F+8×G+8×H+29×I/4+11×J/2+7×K/2+3×L/2+M/4+W00
수학식(18)은 제8 모드에 따라 8×8 영상블록에 대한 DC 계수를 계산하는 수학식이다.
[수학식 18]
DC 계수= 3×Q/4+5×R/2+9×S/2+13×T/2+31×U/4+8×V+8×W+26×X+W00
단위 영상블록의 크기가 16×16 영상블록인 경우 16×16 영상블록을 4개의 8×8 영상블록으로 분류하여 8×8 영상블록의 DC 계수를 계산하는데, 4개의 8×8 영상블록 각각을 구성하는 4개의 4×4 영상블록의 각 DC 계수의 평균값을 계산하여 각 8×8 영상블록의 DC 계수를 계산한다.
도 10와 도 11를 참고로 단위 영상블록의 크기가 16×16 영상블록인 경우 8×8 영상블록의 DC 계수를 계산하는 방법을 구체적으로 살펴보면, 16×16 영상블록에 대한 예측 참조 픽셀을 추출한다. 추출한 예측 참조 픽셀로부터 16×16 영상블록의 인트라 예측 모드에 따라 16×16 영상블록을 구성하는 16개의 4×4 영상블록 각각에 대한 예측 블록의 DC 계수를 계산한다.
16×16 영상블록을 구성하는 16개의 4×4 영상블록에 대한 예측 블록의 DC 계수(E)와 16×16 영상블록에 대한 오차 계수 블록의 계수(Wij)를 합하여 16×16 영상블록을 구성하는 16개의 4×4 영상블록 각각의 DC 계수를 계산한다.
계산한 16개의 4×4 영상블록들 중 16×16 영상블록을 구성하는 4개의 8×8 영상블록으로 분류하고, 다시 각 8×8 영상블록을 구성하는 4개 4×4 영상블록의 DC 계수의 평균값으로부터 각 8×8 영상블록의 DC 계수를 계산한다. 아래의 수학식(19) 내지 수학식(22)는 16×16 영상블록의 DC계수를 계산하는 수학식이며 도 12은 16×16 영상블록에 대한 오차 계수 블록을 나타내고 있다.
수학식(19)은 제0 모드인 수직 모드에 따라 16×16 영상 블록을 구성하는 4x4 영상 블록들 즉, 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 19]
DC=16×Ai+16×Bi+16×Ci+16×Di +Wij i=1, 2, 3, 4 j=1, 2, 3, 4
수학식(20)은 제1 모드인 수평 모드에 따라 16×16 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 20]
DC=16×Ij+16×Jj+16×Kj+16×Lj+Wij i=1, 2, 3, 4 j=1, 2, 3, 4
수학식(21)은 제2 모드인 DC 모드에 따라 16×16 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 21]
DC= (Ai + Bi + Ci +Di +Ij + Jj + Kj +Lj)/8 +Wij
i=1, 2, 3, 4 j=1, 2, 3, 4
수학식(22)은 제3 모드인 모드에 따라 16×16 영상 블록을 구성하는 제1 4×4 영상 블록 내지 제16 4×4 영상 블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 22]
ih=(A3-C2)+2×(B3-B2)+3×(C3-A2)+4×(D3-D1)+5×(A4-C1)+6×(B4-B1)+7×(C4-A1)+8×(D4-M)
iv=(I3-K2)+2×(J3-J2)+3×(J3-I2)+4×(J3-L1)+5×(I4-K1)+6×(J4-J1)+7×(J4-I1)+8×(J4-M)
a=64
ib = (5×ih+a/2)/a
ic = (5×iv+a/2)/a
iaa = 16×(D4+L4)
이라하면
제1 4×4 영상블록 DC 계수=2×iaa-11×ib-11×ic+ a/2+W11
제2 4×4 영상블록 DC 계수=2×iaa-3×ib-11×ic+a/2 +W12
제3 4×4 영상블록 DC 계수=2×iaa+5×ib-11×ic+a/2+W13
제4 4×4 영상블록 DC 계수=2×iaa+13×ib-11×ic+a/2 +W14
제5 4×4 영상블록 DC 계수=2×iaa-11×ib-3×ic+a/2 +W21
제6 4×4 영상블록 DC 계수=2×iaa-3×ib-3×ic+a/2+W22
제7 4×4 영상블록 DC 계수=2×iaa+5×ib-3×ic+a/2+W23
제8 4×4 영상블록 DC 계수=2×iaa+13×ib-3×ic+a/2+W24
제9 4×4 영상블록 DC 계수=2×iaa-11×ib+5×ic+a/2+W31
제10 4×4 영상블록 DC 계수=2×iaa-3×ib+5×ic+a/2+W32
제11 4×4 영상블록 DC 계수=2×iaa+5×ib+5×ic+a/2+W33
제12 4×4 영상블록 DC 계수=2×iaa+13×ib+5×ic+a/2+W34
제13 4×4 영상블록 DC 계수=2×iaa-11×ib+13×ic+a/2+W41
제14 4×4 영상블록 DC 계수=2×iaa-3×ib+13×ic+a/2+W42
제15 4×4 영상블록 DC 계수=2×iaa+5×ib+13×ic+a/2+W43
제16 4×4 영상블록 DC 계수=2×iaa+13×ib+13×ic+a/2+W44
한편, 4개의 8×8 색차 예측 모드에 따른 8×8 영상 블록에 대한 DC 계수를 보다 구체적으로 살펴보면 아래와 같다. 8×8 영상블록에 대한 DC 계수는 8×8 영상블록을 구성하는 4개의 4×4 영상블록 각각에 대한 예측 블록의 DC 계수와 오차 계수를 합하여 각 4×4 영상블록의 DC 계수를 계산하고, 계산한 4개의 4×4 영상블록의 DC 계수의 평균값으로부터 8×8 영상블록 전체의 DC 계수를 계산한다. 아래의 수학식(23) 내지 수학식(26)는 4개의 8×8 색차 예측 모드에 따라 8×8 영상블록을 8×8 영상블록울 구성하는 4×4 영상블록의 DC계수를 계산하는 수학식이다.
수학식(23)은 제0 모드에 따라 8×8 영상블록을 구성하는 제1 4×4 영상블록 내지 제4 4×4 영상블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 23]
DC=16×Ai+16×Bi+16×Ci+16i×D+W00ij i=1, 2 j=1, 2
수학식(24)은 제1 모드에 따라 8×8 영상블록을 구성하는 제1 4×4 영상블록 내지 제4 4×4 영상블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 24]
DC=16×Ij+16×Jj+16×Kj+16×Lj+W00ij i=1, 2 j=1, 2
수학식(25)는 제2 모드에 따라 8×8 영상블록을 구성하는 제1 4×4 영상블록 내지 제4 4×4 영상블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 25]
DC= (Ai + Bi + Ci +Di +Ij + Jj + Kj +Lj)/8 +W00ij i=1, 2 j=1, 2
수학식(26)는 제3 모드에 따라 8×8 영상블록을 구성하는 제1 4×4 영상블록 내지 제4 4×4 영상블록 대한 DC 계수를 계산하는 수학식이다.
[수학식 26]
ih = (A2-C1)+2×(B2-B1)+3×(C2-A1)+4×(D2-M)
iv = (I2-K1)+2×(J2-J1)+3×(J2-I1)+4×(J2-M)
a=64
ib = (17×ih +a/2)/a
ic = (17×iv+a/2)/a
iaa = 16×(D2+L2)
이라 하면
4×4 제1 영상블록의 DC = 2×iaa - 3×ib -3×ic + a/2+제1 영상블록의 W00
4×4 제2 영상블록의 DC = 2×iaa +5×ib -3×ic + a/2+제2 영상블록의 W00
4×4 제3 영상블록의 DC = 2×iaa -3×ib +5×ic + a/2+제3 영상블록의 W00
4×4 제4 영상블록의 DC = 2×iaa +5×ib +5×ic + a/2+제4 영상블록의 W00
과 같이 구해진다.
수학식(19) 내지 수학식(22)에서 입력된 16×16 영상 블록에 대한 공간 영역의 예측 참조 픽셀(A1, B1, C1, D1, A2, B2, C2, D2, A3, B3, C3, D3, A4, B4, C4, D4,M I1, J1, K1, L1, I2, J2, K2, L2, I3, J3, K3, L3, I4, J4, K4, L4)과 16×16 영상 블록을 구성하는 제1 4×4 블록 내지 제16 4×4 블록의 순서는 도 12에 되어 있는 것과 같다.
수학식(23) 내지 수학식(26)에서 입력된 8×8 영상 블록에 대한 공간 영역의 예측 참조 픽셀 (A1, B1, C1, D1, A2, B2, C2, D2, M, I1, J1, K1, L1, I2, J2, K2, L2)과 8×8 영상 블록을 구성하는 제1 4×4 블록 내지 제4 4×4 블록의 순서는 도 13에 도시되어 있다.
바람직하게, 영상 프레임을 구성하는 8×8 영상블록들 중 첫 8×8 영상블록의 경우에는 8×8 영상블록의 예측 참조 픽셀 값을 128로 설정하고 DC계수는 4×4 영상블록의 경우에는 아래의 수학식(27)과 같이 계산하고 8×8 영상블록의 경우에는 아래의 수학식(28)와 같이 계산한다.
[수학식 27]
DC계수=(A+B+C+D+I+J+K+L)/8+W00
[수학식 28]
DC계수=(A+B+C+D+E+F+G+H+Q+R+S+T+U+V+W+X)/16+W00
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110: 영상블록 정보판단부 120: 예측참조픽셀 생성부
130: 예측블록 DC 계산부 140: 영상블록 DC 계산부
150: 섬네일 이미지 생성부 121: 오차 픽셀 계산부
123: 예측참조픽셀 계산부 125: 예측참조픽셀 저장부

Claims (10)

  1. H.264/AVC 표준에 따라 부호화된 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 방법에 있어서,
    (a) 상기 비트스트림에서 영상 프레임을 구성하는 단위 영상블록에 대한 정보를 판단하는 단계;
    (b) 상기 판단한 단위 영상블록에 대한 정보에 따라 단위 영상블록의 예측 참조 픽셀을 추출하는 단계;
    (c) 상기 추출한 예측 참조 픽셀 및 상기 단위 영상블록에 대한 정보에 기초하여 상기 단위 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하는 단계; 및
    (d) 상기 영상 프레임을 구성하는 모든 단위 영상블록에 대한 8×8 영상 블록의 계수로부터 상기 영상 프레임의 섬네일 이미지를 생성하는 단계를 포함하는 섬네일 이미지의 생성 방법.
  2. 제 1 항에 있어서, 상기 단위 영상블록에 대한 정보는
    상기 단위 영상블록의 크기 또는 상기 단위 영상블록의 인트라 예측 모드인 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  3. 제 2 항에 있어서, 상기 단위 영상블록의 크기는
    4×4 영상블록, 8×8 영상블록 또는 16×16 영상블록 중 어느 하나인 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  4. 제 3 항에 있어서, 상기 (c) 단계는
    상기 단위 영상블록에 대한 예측 참조 픽셀로부터 상기 단위 영상블록에 대한 예측 블록의 DC 계수를 계산하는 단계;
    상기 단위 영상블록에 대한 오차 계수 블록의 DC 계수 또는 오차 계수와 상기 계산한 단위 영상블록에 대한 예측 블록의 DC 계수를 합하여 상기 단위 영상블록의 DC 계수를 계산하는 단계; 및
    상기 계산한 단위 영상블록의 DC 계수로부터 상기 단위 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하는 단계를 포함하는 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  5. 제 4 항에 있어서, 상기 단위 영상블록에 대한 예측 블록의 DC 계수는
    상기 단위 영상블록에 대한 예측 참조 픽셀의 조합으로 계산되는 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  6. 제 5 항에 있어서, 상기 예측 참조 픽셀은
    상기 단위 영상블록의 인트라 모드 예측에 사용되는 상기 단위 영상블록 주변의 참조 픽셀인 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  7. 제 6 항에 있어서, 상기 예측 참조 픽셀은
    상기 단위 영상블록의 인트라 예측 모드에 따라 기저장된 상기 단위 영상블록의 예측 참조 픽셀로부터 예측 픽셀을 계산하는 단계;
    상기 단위 영상블록의 오차 픽셀을 계산하는 단계;
    상기 계산한 예측 픽셀과 오차 픽셀을 합하여 상기 단위 영상블록 주변의 단위 영상블록에 대한 예측 참조 픽셀을 생성하는 단계; 및
    상기 생성한 단위 영상 블록의 예측 참조 픽셀을 저장하는 단계를 통해 생성되는 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  8. 제 3 항에 있어서, 상기 단위 영상블록의 크기가 4×4인 경우 상기 (c)단계는
    8×8 영상블록을 구성하는 4개의 4×4 영상블록 각각에 대한 예측 참조 픽셀로부터 상기 4개의 4×4 영상블록 각각에 대한 예측 블록의 DC 계수를 계산하는 단계;
    상기 4개의 4×4 영상블록에 대한 오차 계수 블록의 DC 계수와 상기 계산한 4개의 4×4 영상블록에 대한 예측 블록의 DC 계수를 서로 합하여 상기 4×4 영상블록 각각의 DC 계수를 계산하는 단계; 및
    상기 계산한 4개의 4×4 영상블록 각각의 DC 계수 평균값으로부터 상기 4×4 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하는 단계를 포함하는 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  9. 제 3 항에 있어서, 상기 단위 영상블록의 크기가 16×16인 경우 상기 (c)단계는
    16×16 영상블록에 대한 예측 참조 픽셀로부터 16×16 영상블록을 구성하는 16개의 4×4 영상블록 각각에 대한 예측 블록의 DC 계수를 계산하는 단계;
    상기 16×16 영상블록에 대한 오차 계수와 상기 계산한 16개의 4×4 영상블록에 대한 예측 블록의 DC 계수를 서로 합하여 상기 4×4 영상블록 각각의 DC 계수를 계산하는 단계; 및
    상기 16×16 영상블록을 4개의 8×8 영상블록으로 분할하고, 상기 4개의 8×8 영상블록을 구성하는, 상기 계산한 4개의 4×4 영상블록 각각의 DC 계수 평균값으로부터 상기 16×16 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하는 단계를 포함하는 것을 특징으로 하는 섬네일 이미지의 생성 방법.
  10. H.264/AVC 표준에 따라 부호화된 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 장치에 있어서,
    상기 비트스트림에서 영상 프레임을 구성하는 단위 영상블록에 대한 정보를 판단하는 영상블록 정보판단부;
    상기 판단한 단위 영상블록에 대한 정보에 따라 단위 영상블록의 주변 단위 영상블록에 대한 예측 참조 픽셀을 생성하고 상기 생성한 예측참조픽셀을 저장하는 예측참조픽셀 생성부;
    상기 단위 영상블록의 인트라 예측 모드와 단위 영상블록의 예측 참조 픽셀을 기반으로 상기 단위 영상블록에 대한 예측 블록의 DC 계수를 계산하는 예측 블록 DC 계산부;
    상기 계산한 단위 영상블록에 대한 예측 블록의 DC 계수와 상기 단위 영상블록의 오차 계수 블록의 DC 계수 또는 오차 계수를 합하여 상기 단위 영상블록에 대한 8×8 영상 블록의 DC 계수를 계산하는 영상블록 DC 계산부; 및
    상기 영상 프레임을 구성하는 모든 단위 영상블록에 대한 8×8 영상 블록의 계수로부터 상기 영상 프레임의 섬네일 이미지를 생성하는 섬네일 이미지 생성부를 포함하는 섬네일 이미지의 생성 장치.
KR1020100025422A 2010-03-22 2010-03-22 Ｈ.264/ａｖｃ 표준에 따라 부호화된 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 방법 KR20110106164A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100025422A KR20110106164A (ko) 2010-03-22 2010-03-22 Ｈ.264/ａｖｃ 표준에 따라 부호화된 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100025422A KR20110106164A (ko) 2010-03-22 2010-03-22 Ｈ.264/ａｖｃ 표준에 따라 부호화된 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 방법

Publications (1)

Publication Number Publication Date
KR20110106164A true KR20110106164A (ko) 2011-09-28

Family

ID=45426059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100025422A KR20110106164A (ko) 2010-03-22 2010-03-22 Ｈ.264/ａｖｃ 표준에 따라 부호화된 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 방법

Country Status (1)

Country Link
KR (1) KR20110106164A (ko)

Similar Documents

Publication Publication Date Title
KR102447472B1 (ko) 주변 블록이 갖는 방향성을 기초로 인트라 예측을 수행하는 비디오 인코딩 장치, 비디오 디코딩 장치 및 비디오 디코딩 방법
US20230064033A1 (en) Method and device for encoding intra prediction mode for image prediction unit, and method and device for decoding intra prediction mode for image prediction unit
US8818114B2 (en) Method and apparatus for image encoding/decoding
US9473777B2 (en) Video encoding device and encoding method thereof, video decoding device and decoding method thereof, and directional intra-prediction method to be used thereto
US9426491B2 (en) Image encoding/decoding method and apparatus using block transformation
KR100727969B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
TWI816439B (zh) 以區塊為基礎之預測技術
US20120201300A1 (en) Encoding/decoding method and device for high-resolution moving images
KR20130028815A (ko) 화면 내 예측 방법 및 장치
KR20090097689A (ko) 영상의 인트라 예측 부호화/복호화 방법 및 장치
US20080219576A1 (en) Method and apparatus for encoding/decoding image
KR20070029450A (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
EP2983362B1 (en) Interlayer video decoding method and apparatus for compensating luminance difference
US8666182B2 (en) Method for generating thumbnail image in image frame of the H.264 standard
KR101377529B1 (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
KR101052390B1 (ko) Ｈ.264 표준의 영상 프레임에서 섬네일 이미지를 생성하는 방법
KR100667815B1 (ko) 영상 부호화 및 복호화 장치와, 그 방법, 및 이를 수행하기위한 프로그램이 기록된 기록 매체
KR101004562B1 (ko) Ｈ.264 표준의 영상 프레임에 대한 섬네일 이미지를 생성하는 방법
KR20110106164A (ko) Ｈ.264/ａｖｃ 표준에 따라 부호화된 영상 프레임의 비트스트림으로부터 섬네일 이미지를 생성하는 방법
KR101035455B1 (ko) Ｈ.264 표준에서 섬네일 이미지를 생성하는 장치
KR101005394B1 (ko) Ｈ.264/ａｖｃ 인코더에서 인트라 예측 블록을 생성하는 방법
US20240214561A1 (en) Methods and devices for decoder-side intra mode derivation
US20240244192A1 (en) Methods and devices for decoder-side intra mode derivation
WO2023141238A1 (en) Methods and devices for decoder-side intra mode derivation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20120322

Effective date: 20130823