KR100766048B1 - 저주파 영상 프레임 예측 부호화 및 복호화 방법 - Google Patents

Abstract

본 발명은 동영상 부호화 및 복호화 기법에 관한 것으로, 구체적으로는 GOP 단위로 수행되는 동영상 부호화시에 발생하는 저주파 영상 프레임의 예측 부호화 및 이에 따라 부호화된 스트림의 복호화에 관한 것이다.

본 발명에 따른 저주파 영상 프레임 부호화 방법은, 상기 저주파 영상에 대하여 예측 부호화를 수행할지 인트라 프레임 부호화를 수행할지 선택하는 단계와, 예측 부호화가 선택된 경우에, 슬라이스 헤더내에 예측 부호화의 수행여부를 나타내는 비트값을 "1"로 저장하고, 바로 앞의 GOP의 저주파 영상을 이용하여 상기 저주파 영상에 대하여 예측 부호화를 수행하는 단계와, 인트라 프레임 부호화가 선택된 경우에, 상기 슬라이스 헤더내에 예측 부호화의 수행여부를 나타내는 상기 비트값을 "0"으로 저장하고, 상기 저주파 영상에 대하여 인트라 프레임 부호화를 수행하는 단계를 포함하는 것을 특징으로 한다.

GOP, 동영상 부호화, 저주파 영상 예측 부호화, 시간적 해상도

Description

저주파 영상 프레임 예측 부호화 및 복호화 방법{Method of performing predictive encoding/decoding between low frequency image frames}

도 1은 고정된 GOP 단위의 부호화 개념을 도시한 도면.

도 2는 GOP 크기가 16일 경우에 MCTF의 수행 과정을 도시한 도면.

도 3은 16 프레임 크기 GOP 내에서 적응적으로 세분화된 GOP 구조의의 예.

도 4는 SVC의 SVM 3.0 코덱에서 16 프레임의 고정된 크기 GOP에 기반하여 MCTF 부호화가 수행되는 과정을 도시한 도면.

도 5는 16 프레임 크기의 GOP가 [8, 4, 2, 2]의 세부 GOP들로 분할되어 MCTF 부호화가 수행되는 과정을 도시한 도면.

도 6은 Crew 동영상 시퀀스에서, SVC의 SVM 3.0 코덱과 적응적 GOP 모드가 이용된 코덱의 전송 비트량 대 화질을 비교하기 위한 그래프.

도 7은 4_CIF 크기를 갖는 Crew 동영상 시퀀스에서, SVC의 SVM 3.0 코덱과 적응적 GOP 모드가 이용된 코덱의 전송 비트량 대 화질을 비교하기 위한 그래프.

도 8은 Crew 동영상 시퀀스의 부호화 수행시에 선택된 적응적 GOP 구조의 예를 도시한 도면.

도 9는 MCTF 모드에서 16개 프레임의 고정된 크기를 갖는 GOP 단위로 동영상 부호화를 수행하는 경우에 발생하는 저주파 영상 프레임간의 예측 과정의 일예를 도시한 도면.

도 10(a) 및 10(b)는 계층적 B-픽쳐 모드에서 16개 프레임의 고정된 크기를 갖는 GOP 단위로 동영상 부호화를 수행하는 경우에 발생하는 저주파 영상 프레임간의 예측 과정의 일예를 도시한 도면.

도 11은 본 발명에 따라 MCTF 모드에서 16개 영상 프레임 크기의 GOP를 [8,4,2,2]의 세부 GOP들로 세분화하여 부호화를 수행하는 경우에 발생하는 저주파 영상 프레임간의 예측 과정의 일예를 도시한 도면.

도 12(a) 및 (b)는 본 발명에 따라 계층적 B-픽쳐 모드에서 16개 영상 프레임 크기의 GOP를 [8,4,2,2]의 세부 GOP들로 세분화하여 부호화를 수행하는 경우에 발생하는 저주파 영상 프레임간의 예측 과정의 일예를 도시한 도면.

도 13은 적응적 GOP 구조의 사용 여부를 나타내는 비트가 추가된 동영상 시퀀스 헤더 구조의 일예.

도 14는 본 발명의 일실시예에 따라 저주파 영상 프레임의 예측 부호화 여부를 나타내는 비트가 추가된 슬라이스 헤더 구조.

도 15는 본 발명의 일실시예에 따른 저주파 영상 프레임의 예측 부호화 방법을 나타낸 흐름도.

도 16은 본 발명의 일실시예에 따라 예측을 통해 부호화된 저주파 영상 비트스트림의 복호화 방법을 나타낸 흐름도.

도 17은 고정된 GOP 구조에 기반한 동영상 부호화시에 본 발명에 따라 저주파 영상의 예측 부호화 여부를 나타내는 비트"LP-Prediction"가 추가된 슬라이스 헤더 구조의 일예.

도 18은 고정된 GOP 구조에 기반한 동영상 부호화시에 본 발명에 따라 예측 부호화된 저주파 영상 비트스트림을 복호화하는 과정을 도시한 흐름도이다.

도 19는 (8,4,2,2)의 적응적 GOP 모드에서 본 발명에 따라 지원가능한 각 시간적 해상도에 따른 저주파 영상 프레임의 예측 부호화 과정의 도시한 도면.

도 20은 (4,4,4,4)의 적응적 GOP 모드에서 본 발명에 따라 지원가능한 각 시간적 해상도에 따른 저주파 영상 프레임의 예측 부호화 과정을 도시한 도면.

도 21은 16 프레임 크기 GOP 단위 부호화 수행시에 본 발명의 일실시예에 따라 저주파 영상의 예측 모드를 나타내는 고정 길이 비트의"Prediction_mode"정보가 추가된 시퀀스 헤더 구조.

도 22는 16 프레임 크기 GOP 단위 부호화 수행시에 본 발명의 다른 실시예에 따라 저주파 영상의 예측 모드를 나타내는 가변 길이 비트의"Prediction_mode"정보가 추가된 시퀀스 헤더 구조.

도 23은 본 발명에 따라 "Prediction_mode"를 이용하여 저주파 영상의 예측 부호화를 수행하는 과정을 도시한 도면.

도 24는 본 발명의 일실시예에 따라 적응적 GOP 모드에서의 동영상 부호화 과정에서 발생하는 저주파 영상을 "Prediction_mode"에 따라 예측 부호화하는 방법을 나타낸 흐름도.

도 25는 도 24의 저주파 영상 예측 부호화 방법에 따라 부호화된 비 트스트림의 복호화 방법을 나타낸 흐름도.

도 26은 본 발명의 일실시예에 따라 저주파 영상의 예측 모드 및 저주파 영상의 프레임 번호에 따라 예측 부호화 여부를 나타내는"LP_Prediction"값이 설정되는 슬라이스 헤더 구조.

도 27은 본 발명의 일실시예에 따라 적응적 GOP 모드의 사용여부를 나타내는 "variable_gop_size"정보를 포함하고 적응적 GOP 모드가 사용된 경우에 저주파 영상의 예측 모드 정보를 더 포함하는 시퀀스 헤더 구조.

도 28은 본 발명의 다른 실시예에 따라 적응적 GOP 모드의 이용 여부, 저주파 영상의 예측 모드 및 저주파 영상의 프레임 번호에 따라 예측 부호화 여부를 나타내는"LP_Prediction"값이 설정되는 슬라이스 헤더 구조.

도 29는 본 발명에 따라 적응적 GOP 모드의 동영상 부호화시에 1/4 시간적 해상도까지 지원해야 하고 16 프레임 크기 GOP 단위에서 (8,4,2,2)의 적응적 GOP 구조가 선택되고 해당 GOP에서 저주파 영상 L3(0)를 제외하고 나머지 저주파 영상을 모두 예측 부호화할 경우의 부호화 과정을 도시한 도면.

본 발명은 동영상 부호화 및 복호화 기법에 관한 것으로, 구체적으로는 GOP 단위로 수행되는 동영상 부호화시에 발생하는 저주파 영상 프레임의 예측 부호화 및 이에 따라 부호화된 스트림의 복호화에 관한 것이다.

동영상 부호화 기법 중에서 움직임 정보를 이용하여 GOP 단위로 시간 방향 변환을 수행하는 부호화 기법들이 있다. 일예로, 시간 방향으로 웨이블릿 변환(Wavelet Transform)을 수행하여 부호화의 효율성을 향상 시키는 MCTF(Motion Compensated Temporal Filtering)를 이용하는 방식과, MCTF 부호화 수행시 "갱신(Update)"스텝을 제외하고 수행하는 계층적 B_픽쳐(Hierarchical B_Picture) 부호화 방식이 있다. MCTF를 이용한 기존의 부호화 방법은, 도 1에 도시된 바와 같이, 2의 승수의 고정 프레임 크기의 GOP 단위로 수행된다. 이러한 고정된 크기의 GOP에 기반한 부호화는 움직임이 복잡한 영상의 경우에 부호화 효율이 떨어지는 문제점이 있으며, 이를 해결하기 위해 GOP의 크기를 적응적으로 선택하는 방법이 제안되었다.

부호화 효율 측면에서, MCTF 수행과정에서 GOP 크기가 클수록 예측(Prediction) 과정에서 움직임을 예측할 때 참조되는 영상 프레임이 시간적으로 멀리 위치하게 됨에 따라, 현재 예측되는 영상 프레임과의 상관도가 떨어질 가능성이 높아진다. 도 2는 GOP 크기가 16일 경우에 MCTF의 수행 과정을 도시하는데, "H3"과"H4"영상을 예측하는 경우에 참조하는 영상 프레임이 시간적으로 멀리 위치함을 확인할 수 있다 (GOP내의 첫 영상 프레임은 이전의 GOP의 마지막 저주파 영상 프레임으로 참조만 된다).

따라서, 고정된 GOP 크기로 부호화를 수행하지 않고 동영상 시퀀스의 영상 특성에 맞게 GOP의 크기를 적응적으로 세분화하는 방법론이 제안되었다. 예를 들어, 1개의 GOP가 16개 프레임으로 구성되었다고 가정할 때, 도 3에 도시된 바와 같이, 원래 GOP 구조를 [16], [8,8], [8,4,4], [4,4,8], [4,4,4,4], [2,2,4,8], [4,4,2,2,4], [2,2,2,2,8], [2,2,4,4,4], [2,2,2,2,4,4], [2,2,2,2,2,2,2,2] 등의 다양한 적응적 GOP 구조로 변경하여 부호화를 수행함으로써 해당 시퀀스의 부호화 효율을 향상시킬 수 있다.

현재 국제표준화가 진행중인 SVC(Scalable Video Coding)의 SVM(Scalable Video Model) 3.0에서 16 프레임의 고정된 GOP 크기에 기반한 MCTF 부호화 과정을 도 4에 도시하였으며, 16 프레임 크기의 GOP를 [8, 4, 2, 2]의 세부 GOP들로 분할하는 적응적 GOP 모드의 MCTF 부호화 과정을 도 5에 도시하였다.

도 4에서 SVC의 SVM 3.0 코덱의 MCTF 비트스트림은 "L4(0)", "H4(1)", "H3(2)", "H3(3)", "H2(4)", "H2(5)", "H2(6)", "H2(7)", "H1(8)", "H1(9)", "H1(10)", "H1(11)", "H1(12)", "H1(13)", "H1(14)", "H1(15)" 순서로 구성되고, 도 5에서 적응적 GOP 구조 부호화의 MCTF 비트스트림은 "L3(0)", "H3(1)", "H2(2)", "H2(3)", "H1(4)", "H1(5)", "H1(6)", "H1(7)", "L2(8)", "H2(9)", "H1(10)", "H1(11)", "L1(12)", "H1(13)", "L1(14)", "H1(15)"의 순서로 구성된다. 저주파 영상 프레임인 "L" 영상 프레임은 기존 MPEG에서 사용하는 인트라 프레임으로 부호화를 수행하고, 고주파 영상 프레임인 "H" 영상 프레임은 기존 MPEG에서 사용하는 인터 프레임 중에서 양방향 예측을 하는 B_픽쳐 프레임으로 부호화를 수행한다. 여기서 SVC의 SVM 3.0의 고정된 GOP 단위로 부호화를 수행하는 코덱과 적응적 GOP 모드에서 부호화를 수행하는 코덱의 전송 비트스트림의 특성을 비교하면 SVC의 SVM 3.0 코덱에서는 저주파 영상 프레임이 1개 포함되고, 적응적 GOP 모드에서는 저주파 영상 프레임이 4개 포함되어 있음을 볼 수 있다. 대부분의 경우에는 저주파 영상 프레임이 많이 포함되어 있을수록 성능이 떨어지는 것으로 되어 있으나 위와 같은 경우에서는 오히려 적응적 GOP 모드의 동영상 부호화를 통해 저주파 영상으로 부호화를 수행하였을 경우 성능이 좋아지게 된다.

적응형 GOP 모드의 부호화 효율 향상 범위를 살펴보기 위하여 컴퓨터 시뮬레이션을 수행하였는데, SVC의 SVM 3.0 코덱에서 고정된 16 프레임 크기의 GOP에 기반하여 부호화가 수행된 경우와, 동일한 SVM 3.0 코덱에 적응적 GOP 모드가 이용되어 부호화가 수행된 경우에, 전송비트량 대 화질 (bit_rates vs. PSNR(Peak Signal to Noise Ratio))을 비교한 결과가 도 6에 도시되어 있다. 시뮬레이션에 이용된 동영상 시퀀스는 MPEG국제 표준화 회의의 참조 영상 시퀀스인 "Crew" 영상이다. 도 6에서 흰색 원은 SVC의 SVM 3.0 코덱에서 고정된 GOP 크기를 이용하여 부호화된 비트스트림의 복호화 결과이며, 검정색 원은 적응적 GOP 모드에서 부호화된 비트스트림의 복호화한 결과이다. 상기 도면에 나타난 바와 같이, 적응적 GOP 구조를 이용한 복호화 결과가 SVC의 SVM 3.0 코덱의 복호화 결과보다 0.02dB에서 0.45dB까지 성능이 우수함을 보여주고 있다.

도 7은 4_CIF크기를 갖는 Crew 동영상 시퀀스에서 SVC의 SVM 3.0 코덱과 적응적 GOP 모드가 이용된 코덱의 부호화 결과의 비교 그래프이다. 도시된 바와 같이, 적응적 GOP 구조를 이용하는 코덱에서의 복호화 결과가 0.18dB에서 0.43dB까지 성능이 우수함을 보여준다.

도 8은 도 6과 7의 Crew 동영상 시퀀스의 부호화 수행시에 선택된 적응적 GOP 구조를 도시한다.

이와 같은 적응적 GOP 구조를 이용한 동영상 시퀀스의 부호화시에 발생하는 저주파 영상들간에 예측을 수행한다면 부호화 효율이 더욱 향상될 수 있을 것이다.

따라서, 본 발명의 목적은 적응적으로 세분화된 GOP 구조에 기반하여 수행되는 동영상 부호화시에 세부 GOP들의 저주파 영상들간에 예측을 수행함으로써 부호화 효율이 향상시키는 것이다.

전술한 목적을 달성하기 위해, 본 발명의 일특징에 따르면, GOP 단위로 수행되는 동영상 부호화 과정에 발생하는 저주파 영상 프레임을 부호화하는 방법이 제공된다. 상기 방법은, 상기 저주파 영상 프레임에 대하여 예측 부호화를 수행할지 인트라 프레임 부호화를 수행할지 선택하는 단계와, 예측 부호화가 선택된 경우에, 슬라이스 헤더내에 예측 부호화의 수행여부를 나타내는 비트값을 "1"로 저장하고, 바로 이전 GOP의 저주파 영상 프레임을 참조하여 상기 저주파 영상 프레임에 대한 예측 부호화를 수행하는 단계와, 인트라 프레임 부호화가 선택된 경우에, 상기 슬라이스 헤더내에 예측 부호화의 수행여부를 나타내는 상기 비트값을 "0"으로 저장하고, 상기 저주파 영상 프레임에 대한 인트라 프레임 부호화를 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 다른 특징에 따르면, 저주파 영상 프레임의 부호화된 비트스트림을 복호화하는 방법이 제공된다. 상기 방법은, 슬라이스 헤더에 저장된 저주파 영상 프레임의 예측 부호화 여부를 나타내는 비트값을 판독하는 단계와, 상기 비트값 이 예측 부호화가 수행되었음을 나타내면, 상기 저주파 영상 프레임의 비트스트림에 대한 예측 복호화를 수행하는 단계와, 상기 비트값이 예측 부호화가 수행되지 않았음을 나타내면, 상기 저주파 영상 프레임의 비트스트림에 대한 인트라 프레임 복호화를 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또다른 특징에 따른 저주파 영상 프레임의 부호화 방법은 적응적 GOP 구조에 기반하여 동영상 부호화가 수행되는지 판단하는 단계와, 상기 적응적 GOP 구조에 기반하여 부호화되지 않는 것으로 판단되면, 상기 저주파 영상 프레임에 대하여 인트라 프레임 부호화를 수행하는 단계와, 상기 적응적 GOP 구조에 기반하여 부호화되는 것으로 판단되면, 상기 저주파 영상 프레임에 대하여 예측 부호화를 수행할지 인트라 프레임 부호화를 수행할지 선택하는 단계와, 예측 부호화가 선택된 경우에, 슬라이스 헤더내에 예측 부호화의 수행여부를 나타내는 비트값을 "1"로 저장하고, 바로 이전 GOP의 저주파 영상 프레임을 참조하여 상기 저주파 영상 프레임에 대한 예측 부호화를 수행하는 단계와, 인트라 프레임 부호화가 선택된 경우에, 상기 슬라이스 헤더내에 예측 부호화의 수행여부를 나타내는 상기 비트값을 "0"으로 저장하고, 상기 저주파 영상 프레임에 대한 인트라 프레임 부호화를 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또다른 특징에 따른 부호화된 저주파 영상 비트스트림의 복호화 방법은, 상기 저주파 영상의 부호화가 적응적 GOP 구조에 기반하여 수행되었는지 판단하는 단계와, 상기 적응적 GOP 구조에 기반하여 부호화되지 않은 것으로 판단되면, 상기 부호화된 저주파 영상 프레임의 비트스트림에 대하여 인트라 프레임 복 호화를 수행하는 단계와, 상기 적응적 GOP 구조에 기반하여 부호화된 것으로 판단되면, 상기 저주파 영상 프레임의 예측 부호화 여부를 나타내는 비트값을 슬라이스 헤더로부터 판독하는 단계와, 상기 비트값이 예측 부호화가 수행되었음을 나타내면, 상기 저주파 영상 프레임의 비트스트림에 대한 예측 복호화를 수행하는 단계와, 상기 비트값이 예측 부호화가 수행되지 않았음을 나타내면, 상기 저주파 영상 프레임의 비트스트림에 대한 인트라 프레임 복호화를 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또다른 특징에 따르면, GOP 단위로 수행되는 동영상 부호화 과정에서 발생하는 저주파 영상에 대한 예측 부호화 여부를 나타내는 정보가 포함된 것을 특징으로 하는 슬라이스 헤더의 데이터 구조가 제공된다.

본 발명의 또다른 특징에 따르면, GOP 단위로 수행되는 동영상 부호화 과정에서 발생하는 저주파 영상 의 예측 모드 정보가 포함된 것을 특징으로 하는 동영상 시퀀스 헤더의 데이터 구조가 제공된다.

본 발명의 또다른 특징에 따른 저주파 영상 프레임의 부호화 방법은, (a) 동영상 시퀀스 헤더로부터 저주파 영상의 예측 모드 정보를 판독하는 단계와, (b) 상기 저주파 영상 프레임의 프레임 번호가 상기 예측 모드 정보에 연관된 시간적 해상도 레벨을 지원하기 위해 필요한 프레임 번호인지를 판단하는 단계와, (c) 상기 필요한 프레임 번호가 아니라면, 상기 저주파 영상 프레임에 대하여 인트라 프레임 부호화를 수행하는 단계와, (d) 상기 필요한 프레임 번호라면, 상기 저주파 영상 프레임에 대하여 예측 부호화를 수행할지 인트라 프레임 부호화를 수행할지 선택하 는 단계와, (e) 예측 부호화가 선택된 경우에, 슬라이스 헤더내에 저주파 영상 프레임의 예측 부호화 여부를 나타내는 비트값을 "1"로 저장하고, 상기 저주파 영상 프레임에 대한 예측 부호화를 수행하는 단계와, (f) 인트라 프레임 부호화가 선택된 경우에, 상기 슬라이스 헤더내에 저주파 영상 프레임의 예측 부호화 여부를 나타내는 상기 비트값을"0"으로 저장하고, 상기 저주파 영상 프레임에 대한 인트라 프레임 부호화를 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또다른 특징에 따른 부호화된 저주파 영상 비트스트림을 복호화하는 방법은, (a) 동영상 시퀀스 헤더로부터 저주파 영상의 예측 모드 정보를 판독하는 단계와, (b) 상기 저주파 영상 프레임의 프레임 번호가 상기 예측 모드 정보에 연관된 시간적 해상도 레벨을 지원하기 위해 필요한 프레임 번호인지를 판단하는 단계와, (c) 상기 필요한 프레임 번호가 아니라면, 상기 저주파 영상에 대하여 인트라 프레임 복호화를 수행하는 단계와, (d) 상기 필요한 프레임 번호라면, 상기 저주파 영상 프레임의 슬라이스 헤더내에 저주파 영상 예측 부호화 여부를 나타내는 비트값을 판독하는 단계와, (e) 상기 비트값이 예측 부호화가 수행되었음을 나타내면, 상기 저주파 영상 비트스트림에 대한 예측 복호화를 수행하는 단계와, (f) 상기 비트값이 예측 부호화가 수행되지 않았음을 나타내면, 상기 저주파 영상 비트스트림에 대한 인트라 프레임 복호화를 수행하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 또다른 특징에 따르면, GOP 단위의 동영상 부호화가 적응적 GOP 모드로 수행되는지 여부를 나타내는 정보를 포함하고 상기 적응적 모드로 수행되는 경우에 저주파 영상의 예측 모드 정보를 더 포함하는 동영상 시퀀스 헤더의 데이터 구조이 제공된다.

이하에서는, 도 9 내지 도 29를 참조하여, 본 발명을 예시적으로 상세히 설명하겠다. 그러나, 이하의 상세한 설명은 단지 예시적인 목적으로 제공되는 것이며 본 발명의 개념을 임의의 특정 실시예에 한정하는 것으로 해석되어서는 안 될 것이다.

도 9는 MCTF 모드에서 16개 프레임의 고정된 크기를 갖는 GOP 단위로 부호화를 수행하는 경우에 발생하는 저주파 영상 프레임간의 예측 과정의 일예를 도시한다. 도시된 바와 같이, 고정된 크기의 GOP에 기반하여 부호화를 수행하는 경우에 발생하는 저주파 영상 프레임("L4(0)")은 이전 GOP의 마지막 저주파 영상 프레임을 참조하여 예측된다.

도 10(a) 및 10(b)는 계층적 B-픽쳐 모드에서 16개 프레임의 고정된 크기를 갖는 GOP 단위로 부호화를 수행하는 경우에 발생하는 저주파 영상 프레임간의 예측 과정의 일예를 도시한다. 계층적 B-픽쳐 모드에서 도 10(a)와 같이 예측을 수행한 경우에, 도 10(b)에 도시된 바와 같이 "I" 프레임은 "P" 프레임으로 바뀐다.

도 11은 본 발명에 따라 MCTF 모드에서 16개 영상 프레임 크기의 GOP를 [8,4,2,2]의 세부 GOP들로 세분화하여 부호화를 수행하는 경우에 발생하는 저주파 영상 프레임간의 예측 과정의 일예를 도시한다. 도시된 바와 같이, 부호화 과정에서 발생된 4개의 저주파 영상 프레임, L3(0), L2(8), L1(12) 및 L1(14)간에 예측이 수행된다.

도 12(a) 및 (b)는 본 발명에 따라 계층적 B-픽쳐 모드에서 16개 영상 프레임 크기의 GOP를 [8,4,2,2]의 세부 GOP들로 세분화하여 부호화를 수행하는 경우에 발생하는 저주파 영상 프레임간의 예측 과정의 일예를 도시한다.

도 13은 적응적 GOP 구조의 사용 여부를 나타내는 비트가 추가된 동영상 시퀀스 헤더의 구조의 일예를 도시한다. 도 13에 도시된 시퀀스 헤더 구조는 SVC(Scalable Video Coding) 표준화가 진행중인 SVM(Scalable Video Model) 3.0의 시퀀스 헤더 구조로서, 적응적 GOP 구조의 사용 여부를 표시하기 위해 1 비트의"variable_gop_size"정보가 추가된 것을 보여주는 예이다. 이와 같은 시퀀스 헤더가 디코더에 전달되면, 디코더는 상기 비트를 검출하여 적응적 GOP 구조의 사용 여부를 판단하고, 그에 따른 적합한 복호화를 수행하게 된다.

그러나, 적응적 GOP 모드가 기본적으로 탑재된 코덱의 경우에는 항상 적응적 GOP 모드로 동작하므로, "variable_gop_size" 비트를 추가할 필요가 없다.

도 14는 본 발명에 따라 저주파 영상의 예측을 통한 부호화 여부를 나타내는 비트가 추가된 슬라이스 헤더의 구조의 일 예를 도시한다. 도시된 슬라이스 헤더의 구조는 SVC 표준화가 진행중인 SVM 3.0의 슬라이스 헤더 구조로서, GOP가 시작하는 프레임의 슬라이스 헤더에 신택스(syntax) 정보가 삽입된다.

도시된 바와 같이, 시퀀스 헤더에 삽입된 "variable_gop_size" 비트가 "1"로 설정되어 있는 경우에, 세부 GOP의 저주파 영상 프레임을 을 예측을 통해 부호화할 지 인트라 프레임을 통해 부호화할 지를 나타내는 1 비트 정보 "LP-Prediction"의 값을 결정하는 모드 선택 과정이 수행되고, 결정된 "LP-Prediction"의 값은 "1"로서 슬라이스 헤더에 저장된다. 저주파 영상 프레임의 부호화시에,"LP-Prediction"이 "1"인 경우에는 인터 프레임중에서 P-프레임 영상을 이용하는 예측 부호화를 수행하고, "0"인 경우에는 인트라 프레임 부호화를 수행한다.

도 15는 본 발명의 일실시예에 따른 저주파 영상 프레임의 예측 부호화 방법을 나타낸 흐름도이다. 도시된 바와 같이, 단계(S1510)에서, 동영상 시퀀스 헤더로부터"variable_gop_size"비트를 검출하여 그 값이 "1"과 동일한지 판단한다. 다른 실시예에서, 적응적 GOP 모드가 기본적으로 탑재된 코덱이 이용되는 경우에는 "variable_gop_size" 비트가 필요없기 때문에, 단계(S1510)가 생략된다.

단계(S1510)에서 그 값이 "1"이 아닌 것으로 판단되면 (즉, 적응적 GOP 모드가 이용되지 않은 것으로 판단되면), 저주파 영상에 대하여 인트라 프레임 부호화를 수행한다(S1520).

반면에, "variable_gop_size"비트값이 "1"이라면, 저주파 영상의 예측 부호화를 수행할지 인트라 프레임 부호화를 수행할지를 결정하는 모드 선택 과정을 수행하고, 예측 부호화가 선택된 경우에는 "LP_prediction" 값을 "1"로 설정하여 슬라이스 헤더에 저장한다(S1530).

단계(S1540)에서"LP_prediction"의 값이 "1"과 동일한지 비교한다. 그 값이 "1"과 동일하다면, 바로 앞의 GOP의 저주파 영상 프레임을 이용하여 저주파 영상 프레임의 예측 부호화를 수행한다. 일예로, 현재 국제 표준인 AVC(Advanced Video Coding)의 P_프레임 부호화 방식에 따라 부호화를 수행할 수 있다. 반면에, 그 값 이 "1"이 아니면, 인트라 프레임 부호화를 수행한다. 일예로, 현재 국제 표준인 AVC(Advanced Video Coding)의 I_프레임 부호화 방법으로 부호화를 수행할 수 있다.

도 16은 본 발명의 일실시예에 따라 예측을 통해 부호화된 저주파 영상 비트스트림의 복호화 방법을 나타낸 흐름도이다. 도시된 바와 같이, 단계(S1610)에서 동영상 시퀀스 헤더로부터"variable_gop_size"값을 판독하고 그 값이 1과 동일한지 비교한다. 전술한 부호화 과정과 마찬가지로, 적응적 GOP 모드가 기본적으로 탑재된 코덱이 이용되는 경우에는 "variable_gop_size" 비트가 필요 없기 때문에, 단계(S1610)가 생략된다.

"variable_gop_size" 비트값이 1이 아니면, 부호화된 저주파 영상 비트스트림에 대하여 인트라 프레임 복호화를 수행한다(S1620).

다음, 단계(S1630)에서, 저주파 영상의 슬라이스 헤더로부터 "LP_prediction" 비트값을 검출하여 그 값이 "1"과 동일한지 비교하고, 동일하다면, 바로 앞의 GOP의 저주파 영상 프레임을 이용하여 부호화된 저주파 영상 비트스트림을 예측 복호화다(S1640). 일예로, 현재 국제 표준인 AVC(Advanced Video Coding)의 P_프레임 복호화 방식에 따라 복호화를 수행할 수 있다.

반면에, "LP_prediction"비트값이 "1"이 아니면, 부호화된 저주파 영상 비트스트림을 인트라 프레임 복호화한다(S1650). 일예로, 현재 국제 표준인 AVC(Advanced Video Coding)의 I_프레임 복호화 방법에 따라 복호화를 수행할 수 있다.

도 15 및 도 16은 적응적 GOP 구조에 따른 동영상 부호화/복호화 과정에서 발생하는 저주파 영상 프레임의 부호화/복호화 방법에 관한 것이지만, 다른 실시예에서는 적응적 GOP 구조가 아닌 고정된 GOP 구조에서도 저주파 영상간의 예측을 수행할 수 있다. 이를 위해, 저주파 영상을 예측을 통해 부호화를 할지 인트라 프레임으로 부호화를 할지를 결정하는 1 비트 정보인 "LP_Prediction"을 슬라이스 헤더에 추가하여 디코더에 전달한다.

도 17은 고정된 GOP 구조에 기반한 동영상 부호화시에 본 발명에 따라 저주파 영상의 예측 부호화 여부를 나타내는 비트"LP-Prediction"가 추가된 슬라이스 헤더의 구조의 일예를 도시한다. 슬라이스 헤더의 기본 구조는 SVC 표준화가 진행중인 SVM 3.0의 슬라이스 헤더 구조로서, GOP가 시작하는 프레임의 슬라이스 헤더에 신택스(syntax) 정보가 삽입된다. 도시된 바와 같이,"LP-Prediction"이 "1"인 경우에는 인터 프레임중에서 P-프레임 영상을 이용하여 저주파 영상 프레임을 부호화하며, "0"인 경우에는 인트라 프레임을 이용하여 부호화한다.

도 18은 고정된 GOP 구조에 기반한 동영상 부호화시에 본 발명에 따라 예측 부호화된 저주파 영상 비트스트림을 복호화하는 과정을 도시한 흐름도이다. 도시된 바와 같이, 저주파 영상 프레임의 슬라이스 헤더로부터 "LP_prediction"정보를 판독하고 그 값이 1과 같은지 비교해서(S1810), 동일하면 바로 이전 GOP의 저주파 영상 프레임을 이용하여 예측 복호화를 수행한다(S1820). 일예로, 현재 국제 표준인 AVC(Advanced Video Coding)의 P_프레임 복호화 방식에 따라 복호화를 수행할 수 있다. 반면에, 동일하지 않으면, 인트라 프레임 복호화를 수행한다(S1830). 일예 로, 현재 국제 표준인 AVC(Advanced Video Coding)의 I_프레임 복호화 방식에 따라 복호화를 수행할 수 있다.

한편, 적응적 GOP 모드에서 저주파 영상의 예측을 통해 동영상을 부호화하는 경우에 현재 표준화가 진행중인 MPEG_21의 SVC(Scalable Video Coding)에서 주장하는 시간적 해상도(Temporal Resolution)를 만족시킬 수 있어야 한다. 예를 들어, 도 5에 도시된 바와 같이 (8,4,2,2)의 적응적 GOP 구조에 기반하여 16개 프레임의 동영상 시퀀스가 부호화된 경우에 각각의 시간적 해상도에 따른 비트스트림 구성은 다음과 같다.

■ 완전 해상도(Full Resolution): L3(0), H3(1), H2(2), H2(3), H1(4), H1(5), H1(6), H1(7), L2(8), H2(9), H1(10), H2(11), L1(12), H1(13), L1(14), H1(15)

■ 1/2 해상도: L3(0), H3(1), H2(2), H2(3), L2(8), H2(9), L1(12), L1(14)

■ 1/4 해상도: L3(0), H3(1), L2(8), L1(14)

■ 1/8 해상도: L3(0), L1(14)

■ 1/16 해상도: L1(14)

전술한 해상도별 비트스트림에 대해 저주파 영상 프레임간 예측을 수행하고자 하는 경우에 1/4 해상도에서는 L1(12)로부터 L1(14)를 예측해야 하는데 L1(12)가 없으므로 예측 부호화를 수행할 수 없게 되며, 1/8 해상도에서는 L2(8)로부터 L1(12)를 예측하고 L1(12)로부터 L1(14)를 예측해야 하는데 L2(8)과 L1(12)가 없으므로 예측 부호화를 수행할 수 없게 되며, 1/16 해상도에서는 L3(0)으로부터 L2(8)을 예측하고 L2(8)로부터 L1(12)를 예측하고 L1(12)로부터 L1(14)를 예측해야 하는 데 L3(0), L2(8), 및 L1(12)이 없으므로 예측 부호화를 수행할 수 없게 된다.

따라서, 본 발명의 일실시예에서, 디코더에서 지원되는 최대 시간적 해상도의 레벨까지 예측 부호화가 사용되도록 하기 위해서 시퀀스 헤더에 "Prediction_mode" 정보를 추가한다. SVC의 추출기 또는 복호화기는 시퀀스 헤더의"Prediction_mode" 정보를 검출함으로써 저주파 영상의 예측 모드를 알 수 있다. 본 발명은 시퀀스 헤더의 "Prediction_mode"에 따라 GOP내의 저주파 영상 프레임의 예측 부호화를 수행하는 방법을 제안한다.

도 19는 (8,4,2,2)의 적응적 GOP 모드에서 본 발명에 따라 지원가능한 각 시간적 해상도에 따른 저주파 영상 프레임의 예측 부호화 과정을 도시한다. 도시된 바와 같이, 1/16 해상도까지 지원할 경우에 저주파 영상 프레임 "L1(14)"은 이미 부호화된 이전 GOP의 저주파 영상 프레임 "LN"을 참조하여 예측 부호화된다(1910). 1/8 해상도까지 지원할 경우에 저주파 영상 프레임"L3(0)" 은 이미 부호화된 이전 GOP의 저주파 영상 프레임"LN"을 참조하여 예측 부호화되고, 저주파 영상 프레임"L1(14)"는 "L3(0)"을 참조하여 예측 부호화된다(1920). 1/4 해상도까지 지원할 경우에 저주파 영상 프레임 "L3(0)"은 이미 부호화된 이전 GOP의 저주파 영상 프레임"LN"을 참조하여 예측 부호화되고, 저주파 영상 프레임 "L2(8)"은 "L3(0)"를 참조하여 예측 부호화되고, 저주파 영상 프레임 "L1(14)"은 "L2(8)"을 참조하여 예측 부호화된다(1930). 1/2 해상도 또는 완전(full) 해상도를 지원할 경우는 저주파 영상 프레임"L3(0)"이 이미 부호화된 이전 GOP의 저주파 영상 "LN"을 참조하여 예측 부호화되고, 저주파 영상 프레임"L2(8)"은 "L3(0)"를 참조하여 예측 부호화되 고, 저주파 영상 프레임 "L1(12)"는 "L2(8)"을 참조하여 예측 부호화되고, 저주파 영상 프레임 L1(14)은 L1(12)를 참조하여 예측 부호화된다(1940).

다른 예에서, 적응적 GOP 구조의 부호화 결과 16개 프레임 크기의 GOP가 (4,4,4,4)의 적응적 GOP 구조로 세분된 경우에 시간적 해상도에 따른 비트스트림의 구성은 다음과 같다.

■ 완전(Full): L2(0), H2(1), H1(2), H1(3), L2(4), H2(5), H1(6), H1(7), L2(8), H2(9), H1(10), H1(11), L2(12), H2(13), H1(14), H1(15)

■ 1/2 : L2(0), H2(1), L2(4), H2(5), L2(8), H2(9), L2(12), H2(13)

■ 1/4 : L2(0), L2(4), L2(8), L2(12)

■ 1/8 : L2(4), L2(12)

■ 1/16: L2(12)

도 20은 전술한 (4,4,4,4)의 적응적 GOP 모드에서 본 발명에 따라 지원가능한 각 시간적 해상도에 따른 저주파 영상의 예측 부호화 과정을 도시한다. 도시된 바와 같이, 1/16 해상도까지 지원할 경우에 저주파 영상 L2(12)은 이미 부호화된 이전 GOP의 저주파 영상 LN을 참조하여 예측 부호화된다(2010). 1/8 해상도까지 지원할 경우에 저주파 영상 L2(4)은 이미 부호화 된 이전 GOP의 저주파 영상 LN을 참조하여 예측 부호화되고, 저주파 영상 L2(12)은 L2(4)를 참조하여 예측 부호화된다(2020). 1/4 해상도, 1/2 해상도 또는 완전 해상도를 지원할 경우에 저주파 영상 L2(0)는 이미 부호화된 이전 GOP의 저주파 영상 LN을 참조하여 예측 부호화되고, 저주파 영상 L2(4)는 L2(0)을 참조하여 예측 부호화되고, L2(8)은 L2(4)를 참조하 여 예측 부호화되고, L2(12)는 L2(8)을 참조하여 예측 부호화된다.

본 발명의 일 실시예에서,"Prediction_mode"는 고정 길이(fixed length) 부호화를 통해 표현될 수 있다. 일 예로서, 16 프레임 크기 GOP 단위 부호화 경우에 "Prediction_mode"는 표 1에 나타난 바와 같이 2 비트로 표현될 수 있다. 동영상 부호화시에 지원하고자 하는 시간적 해상도의 최대 허용 레벨을 정해서 "Prediction_mode"으로 표현 및 부호화하고 이를 시퀀스 헤더내에 기록함으로써 SVC 추출기 또는 복호화기가 알 수 있도록 해준다.

Prediction_mode	해상도
00	full, 1/2
01	1/4
10	1/8
11	1/16

도 21은 본 발명에 따라 16 프레임 크기 GOP 단위 부호화를 수행할 때 저주파 영상 프레임의 예측 모드를 나타내는 고정 2 비트의"Prediction_mode"정보가 추가된 시퀀스 헤더 구조의 일예를 도시한다. 도 21에 도시된 시퀀스 헤더의 기본 구조는 SVC 표준화가 진행중인 SVM 3.0의 시퀀스 헤더 구조로서, 저주파 영상간의 예측 모드를 나타내는 고정 2 비트의"Prediction_mode"정보가 추가되어 있다.

다른 실시예에서,"Prediction_mode"는 가변 길이(variable length) 부호화를 통해 표현될 수 있다. 일 예로서, 16 프레임 크기 GOP 단위로 부호화를 수행할 때에, 보통 완전 해상도 또는 1/2 해상도가 실제 응용에서 많이 사용되기 때문에 이러한 해상도에 적은 부호를 할당하면 표 2와 같이 나타낼 수 있다. 부호화시에 지원하려는 해상도를 정해서 "Prediction_mode"를 부호화해준다.

Prediction_mode	해상도
0	full, 1/2
10	1/4
110	1/8
111	1/16

도 22는 본 발명에 따라 16 프레임 크기 GOP 단위 부호화를 할 때 예측 모드를 나타내는 가변 길이 비트의"Prediction_mode"정보가 추가된 시퀀스 헤더 구조의 일예를 도시한다. 도 22에 도시된 시퀀스 헤더의 기본 구조는 SVC 표준화가 진행중인 SVM 3.0의 시퀀스 헤더 구조로서, 저주파 영상 프레임의 예측 모드를 나타내는 가변 길이 비트의"Prediction_mode"정보가 추가되어 있다.

도 23은 본 발명에 따라 "Prediction_mode"를 이용하여 저주파 영상의 예측 부호화를 수행하는 과정을 도시한다. 도 23에서의 숫자 박스는 부호화 된 비트스트림의 원 영상의 시퀀스 순서에 따라 배열한 것이다. 완전 해상도(Full resolution) 및 1/2 해상도일 경우는 "1", "3", "5", "7", "9", "11", "13", "15"번째 프레임 비트스트림이 저주파 영상이라면 예측 부호화를 수행하고(2310), 1/4 해상도일 경우는 "3", "7", "11", "15"번째 프레임 비트스트림이 저주파 영상이라면 예측 부호화를 수행하고(2320), 1/8 해상도일 경우는 "7", "15"번째 프레임 비트스트림이 저주파 영상이라면 예측 부호화를 수행하고(2330), 1/16 해상도 일 경우는 "15"번째 프레임 비트스트림이 저주파 영상이라면 예측 부호화를 수행한다(2340).

도 24는 본 발명의 일실시예에 따라"Prediction_mode"를 이용하여 16 프레임 크기 GOP 단위의 동영상 부호화시에 적응적 GOP 모드가 이용된 경우에 저주파 영상 예측 부호화를 수행하는 방법을 도시한 흐름도이다. 상기 방법에서, "Prediction_mode"는 고정 길이 부호화를 통해 표현된 것으로 가정한다.

① "Prediction_mode"의 값을 판단하고(2410),

A. "00"일 경우(full 해상도, 1/2 해상도)에, 프레임 번호가 1, 3, 5, 7, 9, 11, 13, 15중 하나인지를 판단하고(2420), 그렇다면 ③의 과정을 수행하고, 같지 않다면 ②의 과정을 수행한다.

B. "01"일 경우(1/4 해상도)에, 프레임 번호가 3, 7, 11, 15중 하나인지를 판단하고(2430), 그렇다면 ③의 과정을 수행하고, 그렇지 않다면 ②의 과정을 수행한다.

C. "10"일 경우(1/8 해상도)에, 프레임 번호가 7 또는 15중 하나인지를 판단하고(2440), 그렇다면 ③의 과정을 수행하고, 같지 않다면 ②의 과정을 수행한다.

D. "11"일 경우(1/16) 해상도)에, 프레임 번호가 15와 같은지를 판단하고(2450), 그렇다면 ③의 과정을 수행하고, 같지 않다면 ②의 과정을 수행한다.

② 기존의 인트라 프레임 부호화를 수행한다.

③ 모드 선택과정을 통해 저주파 영상의 예측 부호화를 수행할지 인트라 프레임 부호화를 수행할지를 결정한다. "LP_prediction" 1비트 정보를 슬라이스 헤더에 부호화 한다.

④ "LP_prediction"이 1과 동일한지 비교해서,

A. 같으면 저주파 영상 예측 부호화를 수행한다(2480). 일예로 현재 국제 표준인 AVC(Advanced Video Coding)의 P_프레임 부호화 방법으로 부호화를 수행할 수 있다. "Prediction_mode"가 "00" 일 때는 16 단위 GOP에서 1, 3, 5, 7, 9, 11, 13, 15번째 프레임 중에 바로 전의 저주파 영상 프레임을 참조영상 프레임으로 한다 (해당하는 영상 프레임이 없을 경우에는 현재 16 단위 GOP의 이전 16단위 GOP의 15번째 프레임을 참조영상 프레임으로 한다). "Prediction_mode"가 "01" 일 때는 16 단위 GOP에서 3, 7, 11, 15번째 프레임 중에 바로 전의 저주파 영상 프레임을 참조영상 프레임으로 한다(해당하는 영상 프레임이 없을 경우에는 현재 16 단위 GOP의 이전 16단위 GOP의 15번째 프레임을 참조영상 프레임으로 한다). "Prediction_mode"가 "10" 일 때는 16 단위 GOP에서 7, 15번째 프레임 중에 바로 전의 저주파 영상 프레임을 참조영상 프레임으로 한다(해당하는 영상 프레임이 없을 경우에는 현재 16 단위 GOP의 이전 16단위 GOP의 15번째 프레임을 참조영상 프레임으로 한다). "Prediction_mode"가 "11" 일 때는 현재 16 단위 GOP의 이전 16단위 GOP의 15번째 프레임을 참조영상 프레임으로 한다.

B. 같지 않다면 인트라 프레임 부호화를 수행한다(2490). 일 예로 현재 국제 표준인 AVC(Advanced Video Coding)의 I_프레임 부호화 방법으로 부호화를 수행할 수 있다.

도 25는 도 24의 저주파 영상 예측 부호화 방법에 따라 부호화된 비트스트림의 복호화 방법을 도시한 흐름도이다.

① 시퀀스 헤더에 포함된"Prediction_mode"값을 판독 및 복호화하여 저주파 여상 프레임의 예측 모드를 판단하고(2510), 그 값이,

A. "00"일 경우(full 해상도, 1/2 해상도)에, 프레임 번호가 1, 3, 5 ,7, 9, 11, 13, 15중 하나와 같은지 판단하고(2520), 같다면 ③의 과정을 수행하고, 같지 않다면 ②의 과정을 수행한다.

B. "01"일 경우(1/4 해상도)에, 프레임 번호가 3, 7, 11, 15중 하나와 같은지 판단하고(2530), 같다면 ③의 과정을 수행하고, 같지 않다면 ②의 과정을 수행한다.

C. "10"일 경우(1/8 해상도)에, 프레임 번호가 7 또는 15와 같은지 판단하고(2540), 같다면 ③의 과정을 수행하고, 같지 않다면 ②의 과정을 수행한다.

D. "11"일 경우(1/16) 해상도)에, 프레임 번호가 15와 같은지 판단하고(2550), 같다면 ③의 과정을 수행하고, 같지 않다면 ②의 과정을 수행한다.

② 저주파 영상 프레임에 대하여 인트라 프레임 복호화를 수행한다(2560).

③ "LP_prediction"이 1과 같은지 비교해서,

A. 같으면, 저주파 영상 프레임에 대하여 예측 복호화를 수행한다(2570). 일예로 현재 국제 표준인 AVC(Advanced Video Coding)의 P_프레임 복호화 방식에 따라 복호화를 수행할 수 있다. "Prediction_mode"가 "00" 일 때는 16 단위 GOP에서 1, 3, 5, 7, 9, 11, 13, 15번째 프레임 중에 바로 이전 저주파 영상 프레임을 참조영상 프레임으로 한다 (해당하는 영상 프레임이 없을 경우에는 현재 16 단위 GOP의 이전 16단위 GOP의 15번째 프레임을 참조영상 프레임으로 한다). "Prediction_mode"가 "01" 일 때는 16 단위 GOP에서 3, 7, 11, 15번째 프레임 중에 바로 이전 저주파 영상 프레임을 참조영상 프레임으로 한다 (해당하는 영상 프레임이 없을 경우에는 현재 16 단위 GOP의 이전 16단위 GOP의 15번째 프레임을 참조영상 프레임으로 한다). "Prediction_mode"가 "10" 일 때는 16 단위 GOP에서 7, 15번째 프레임 중에 바로 이전 저주파 영상 프레임을 참조영상 프레임으로 한다 (해당하는 영상 프레임이 없을 경우에는 현재 16 단위 GOP의 이전 16단위 GOP의 15번째 프레임을 참조영상 프레임으로 한다). "Prediction_mode"가 "11" 일 때는 현재 16 단위 GOP의 이전 16단위 GOP의 15번째 프레임을 참조영상 프레임으로 한다.

B. 같지 않다면 저주파 영상 프레임에 대하여 인트라 프레임 복호화를 수행한다(2580). 일예로, 현재 국제 표준인 AVC(Advanced Video Coding)의 I_프레임 복호화 방식에 따라 복호화를 수행할 수 있다.

도 26은 SVM 3.0의 슬라이스 헤더 구조에 본 발명에 따른 "Prediction_mode" 및 "LP_Prediction"정보가 함께 추가된 일예를 도시한다. "LP_prediction"이 "1"일 경우는 저주파 영상을 인터 프레임 중에서 P_프레임 영상으로 부호화를 수행하며 "LP_prediction"이 "0"일 경우는 인트라 프레임 부호화를 수행한다. 시퀀스 헤더 정보의 "Prediction_mode"에 따른 저주파 영상의 16프레임 크기 단위 GOP내의 프레임 번호가 해당 모드의 프레임번호와 일치할 경우에, 저주파 영상의 예측 부호화여부를 결정하여 "LP_prediction"값을 설정한다.

도 27은 본 발명의 일실시예에 따라 적응적 GOP 모드의 사용여부를 나타내는 1 비트의"variable_gop_size" 정보와 시간적 해상도에 따른 예측 모드를 나타내는 고정길이 2 비트의 "Prediction_mode" 정보가 추가된 시퀀스 헤더 구조를 도시한다. "Prediction_mode"는 적응적 GOP 모드에서만 사용되기 때문에 "variable_gop_size"가 "1" 인 경우에 "Prediction_mode" 값이 설정 및 고정길이 부호화된다.

도 28은 본 발명에 따라 적응형 GOP 구조의 사용여부를 나타내는 1 비트의"variable_gop_size" 정보, 시간적 해상도에 따른 저주파 영상 프레임의 예측 모드를 나타내는 고정길이 2 비트의 "Prediction_mode" 정보 및 저주파 영상 프레임의 프레임 번호에 따라 저주파 영상 프레임의 예측 부호화 여부를 나타내는"LP_Prediction"의 값이 설정되는 슬라이스 헤더 정보의 일예를 도시한다. 도시된 바와 같이, "variabl_gop_size"가 "1"일 경우에 "Prediction_mode"의 값에 따라 세부_GOP의 저주파 영상들을 예측을 통해 부호화를 할지 인트라 프레임으로 부호화를 할지를 나타내는"LP_Prediction"값을 슬라이스 헤더에 추가하여 디코더에 전달한다. "LP_prediction"이 "1"일 경우는 저주파 영상 프레임을 인터 프레임 중에서 P_프레임 영상으로 부호화하며 "LP_prediction"이 "0"일 경우는 인트라 프레임 부호화한다. GOP가 시작하는 프레임의 슬라이스 헤더에, Syntax 정보가 들어가며, 시퀀스 헤더 정보의 "Prediction_mode"에 따른 저주파 영상의 16프레임 크기의 GOP내에서의 프레임 번호가 해당 모드의 프레임 번호와 일치할 경우에, 슬라이스헤더의 "LP_prediction"값을 설정한다.

반면에,"variabl_gop_size"가 "0"일 경우에는 고정된 16 프레임 크기의 GOP 단위 부호화를 수행시에 저주파 영상의 예측 부호화 여부를 결정하여 1 비트 정보인 "LP_Prediction"의 값을 슬라이스 헤더에 설정 하여 디코더에 전달한다.

일예에서, 본 발명에 따라 적응적 GOP 구조에 기반한 동영상 부호화시에 (8,4,2,2)의 적응적 GOP 모드가 선택된 경우에 1/4 시간적 해상도까지 지원하도록 부호화를 수행하되 저주파 영상 L3(0)에 대해서는 인트라 프레임 부호화를 수행하고 나머지 저주파 영상에 대해서는 예측 부호화를 수행하는 것으로 가정한다. 이러한 경우에, "variable_gop_size", 고정 길이의 "Prediction_mode" 및 "LP_prediction"의 정보는 다음과 같이 부호화된다.

① 시퀀스 헤더에서 "variable_gop_size"를 "1"로 부호화한다.

② 1/4 해상도를 지원하기 위해,"Prediction_mode"를 "01"로 부호화한다.

③ L3(0) 프레임 부호화시에, "Prediction_mode"가 "01"이므로 16 프레임 크기 GOP 안에의 프레임 번호가 3, 7, 11, 또는 15인지 검사한다. 7번째 프레임이므로 인터 프레임 부호화를 할지 인트라 프레임 부호화를 할지 결정하여야 하는데, 상기 예에서는 인트라 프레임 부호화하는 것이 효율면에서 우수한 것으로 가정되었으므로, L3(0) 슬라이스 헤더의 "LP_prediction"을 "0"으로 부호화한다.

④ L2(8) 프레임을 부호화할 시, "Prediction_mode"가 "01"이므로 16 프레임 크기 GOP 안에의 프레임 번호가 3, 7, 11, 15인지 검사한다. 11번째 프레임이므로 인터 프레임 부호화를 할지 인트라 프레임 부호화를 할지 결정하여야 하는데, 인터 프레임 부호화를 하는 것이 효율이 더 좋은 것으로 가정되어 있기 때문에 L2(8) 슬라이스 헤더의 인터 프레임 부호화가 수행되도록 "LP_prediction"을 "1"로 부호화한다.

⑤ L1(12) 프레임을 부호화할 시, "Prediction_mode"가 "01"이므로 16 프레임 크기 GOP 안에의 프레임 번호가 3, 7, 11, 15인지 검사한다. L1(12) 프레임은 프레임 번호가 13이기 때문에 기존의 인트라 프레임 부호화를 이용하여 부호화된다.

⑥ L1(14) 프레임을 부호화할 시, "Prediction_mode"가 "01"이므로 16 프레임 크기 GOP 안에의 프레임 번호가 3, 7, 11, 15인지 검사한다. 15번째 프레임이므로 결정하여야 하는데, 인터 프레임 부호화를 하는 것이 효율이 더 좋은 것으로 가정되어 있기 때문에 L2(8) 슬라이스 헤더의 "LP_prediction"을 "1"로 부호화한다.

전술한 방식으로 부호화되었을 때에 복호화는 다음과 같다.

① "variable_gop_size"가 "1"이므로 적응적 GOP 구조임을 알 수 있고, "Prediction_mode"를 복호화한다. 복호화된 값이"01"이므로 1/4 해상도까지 지원함을 알 수 있다.

② L3(0) 프레임 복호화시에, "Prediction_mode"가 "01"이므로 16 프레임 크기 GOP 안에의 프레임 번호가 3, 7, 11, 15인지 검사한다. 7번째 프레임이므로 "LP_prediction"을 복호화한다. 그 값이 "0"이므로 인트라 프레임 부호화를 수행한다.

③ L2(8) 프레임 복호화시에, "Prediction_mode"가 "01"이므로 16 프레임 크기 GOP 안에의 프레임 번호가 3, 7, 11, 15인지 검사한다. 11번째 프레임이므로 "LP_prediction"을 복호화한다. 그 값이 "1"이므로 인터 프레임 부호화를 수행한다.

④ L1(12) 프레임 복호화시에, "Prediction_mode"가 "01"이므로 16 프레임 크기 GOP 안에의 프레임 번호가 3, 7, 11, 15인지 검사한다. 프레임 번호가 13이기 때문에 기존의 인트라 복호화를 수행한다.

⑤ L1(14) 프레임을 복호화시에, "Prediction_mode"가 "01"이므로 16 프레임 크기 GOP 안에의 프레임 번호가 3, 7, 11, 15인지 검사한다. 15번째 프레임이므로 "LP_prediction"을 복호화한다. 그 값이 "1"이므로 인터 프레임 부호화를 수행한다.

도 29는 본 발명에 따라 적응적 GOP 구조 부호화에서 1/4 시간적 해상도까지 지원해야 하고 16프레임 크기 GOP 단위에서 (8,4,2,2) 모드가 선택되었고, 해당 GOP에서 저주파 영상 L3(0)를 제외하고 나머지 저주파 영상을 모두 예측 부호화 할 경우의 일예를 도시한다.

이제까지는, 발명의 이해를 돕기 위해서 GOP의 크기가 16인 경우에서의 부호화/복호화 과정을 설명하였으나, 본 발명이 이에 한정되는 것은 아님을 본 기술 분야의 당업자들은 이해할 수 있을 것이다. 즉, GOP의 크기가 16에 한정되는 것은 아니며, 4, 8, 16, 32, 64 등의 2의 배수인 임의의 값인 경우에도 본 발명이 적용될 수 있다.

본 발명에 따르면, 일정한 프레임 크기 단위의 GOP 부호화에서 GOP의 크기를 적응적으로 선택하여 발생하는 저주파 영상들 간에 예측을 수행함으로써 부호화 효율이 향상된다.

Claims (17)

1. GOP 단위로 수행되는 동영상 부호화 과정에 발생하는 저주파 영상 프레임을 부호화하는 방법에 있어서,

   상기 저주파 영상 프레임에 대하여 예측 부호화를 수행할지 인트라 프레임 부호화를 수행할지 선택하는 단계와,

   예측 부호화가 선택된 경우에, 슬라이스 헤더내에 예측 부호화의 수행여부를 나타내는 비트값을 "1"로 저장하고, 바로 이전 GOP의 저주파 영상 프레임을 참조하여 상기 저주파 영상 프레임에 대한 예측 부호화를 수행하는 단계와,

   인트라 프레임 부호화가 선택된 경우에, 상기 슬라이스 헤더내에 예측 부호화의 수행여부를 나타내는 상기 비트값을 "0"으로 저장하고, 상기 저주파 영상 프레임에 대한 인트라 프레임 부호화를 수행하는 단계

   를 포함하는 것을 특징으로 하는 저주파 영상 프레임 부호화 방법.
2. 저주파 영상 프레임의 부호화된 비트스트림을 복호화하는 방법에 있어서,

   슬라이스 헤더에 저장된 저주파 영상 프레임의 예측 부호화 여부를 나타내는 비트값을 판독하는 단계와,

   상기 비트값이 예측 부호화가 수행되었음을 나타내면, 상기 저주파 영상 프레임의 비트스트림에 대한 예측 복호화를 수행하는 단계와,

   상기 비트값이 예측 부호화가 수행되지 않았음을 나타내면, 상기 저주파 영상 프레임의 비트스트림에 대한 인트라 프레임 복호화를 수행하는 단계

   를 포함하는 것을 특징으로 하는 저주파 영상 프레임의 부호화된 비트스트림 복호화 방법.
3. GOP 단위로 수행되는 동영상 부호화 과정에 발생하는 저주파 영상 프레임을 부호화하는 방법에 있어서,

   적응적 GOP 구조에 기반하여 동영상 부호화가 수행되는지 판단하는 단계와,

   상기 적응적 GOP 구조에 기반하여 부호화되지 않는 것으로 판단되면, 상기 저주파 영상 프레임에 대하여 인트라 프레임 부호화를 수행하는 단계와,

   상기 적응적 GOP 구조에 기반하여 부호화되는 것으로 판단되면, 상기 저주파 영상 프레임에 대하여 예측 부호화를 수행할지 인트라 프레임 부호화를 수행할지 선택하는 단계와,

   예측 부호화가 선택된 경우에, 슬라이스 헤더내에 예측 부호화의 수행여부를 나타내는 비트값을 "1"로 저장하고, 바로 이전 GOP의 저주파 영상 프레임을 참조하여 상기 저주파 영상 프레임에 대한 예측 부호화를 수행하는 단계와,

   인트라 프레임 부호화가 선택된 경우에, 상기 슬라이스 헤더내에 예측 부호화의 수행여부를 나타내는 상기 비트값을 "0"으로 저장하고, 상기 저주파 영상 프레임에 대한 인트라 프레임 부호화를 수행하는 단계

   를 포함하는 것을 특징으로 하는 저주파 영상 프레임 부호화 방법.
4. 제3항에 있어서, 상기 동영상 부호화가 적응적 GOP 구조에 기반하여 수행되는지 판단하는 단계는 동영상 시퀀스 헤더에 포함된 적응적 GOP 구조의 이용 여부를 나타내는 비트값에 기반하여 판단하는 단계를 포함하는 것을 특징으로 하는 저주파 영상 프레임 부호화 방법.
5. 부호화된 저주파 영상 비트스트림의 복호화 방법에 있어서,

   상기 저주파 영상의 부호화가 적응적 GOP 구조에 기반하여 수행되었는지 판단하는 단계와,

   상기 적응적 GOP 구조에 기반하여 부호화되지 않은 것으로 판단되면, 상기 부호화된 저주파 영상 프레임의 비트스트림에 대하여 인트라 프레임 복호화를 수행하는 단계와,

   상기 적응적 GOP 구조에 기반하여 부호화된 것으로 판단되면, 상기 저주파 영상 프레임의 예측 부호화 여부를 나타내는 비트값을 슬라이스 헤더로부터 판독하는 단계와,

   상기 비트값이 예측 부호화가 수행되었음을 나타내면, 상기 저주파 영상 프레임의 비트스트림에 대한 예측 복호화를 수행하는 단계와,

   상기 비트값이 예측 부호화가 수행되지 않았음을 나타내면, 상기 저주파 영상 프레임의 비트스트림에 대한 인트라 프레임 복호화를 수행하는 단계

   를 포함하는 것을 특징으로 하는 부호화된 저주파 영상 비트스트림의 복호화 방법.
6. GOP 단위로 수행되는 동영상 부호화 과정에서 발생하는 저주파 영상에 대한 예측 부호화 여부를 나타내는 정보가 포함된 슬라이스 헤더의 데이터 구조를 가진 데이터가 기록된 컴퓨터 판독가능 매체.
7. 제6항에 있어서, 상기 정보는 1 비트 길이인 것을 특징으로 하는 슬라이스 헤더의 데이터 구조를 가진 데이터가 기록된 컴퓨터 판독가능 매체.
8. GOP 단위로 수행되는 동영상 부호화 과정에서 발생하는 저주파 영상의 예측 모드 정보가 포함된 것을 특징으로 하는 동영상 시퀀스 헤더의 데이터 구조를 가진 데이터를 가진 데이터가 기록된 컴퓨터 판독가능 매체.
9. 제8항에 있어서, 상기 저주파 영상의 예측 모드 정보는 고정길이 부호화되는 것을 특징으로 하는 동영상 시퀀스 헤더의 데이터 구조를 가진 데이터가 기록된 컴퓨터 판독가능 매체.
10. 제9항에 있어서, 상기 GOP의 크기가 16인 경우에 상기 저주파 영상의 예측 모드 정보는, 시간적 해상도 레벨에 따라, "00","01","10" 및 "11"로 2비트 고정 길이 부호화되는 것을 특징으로 하는 동영상 시퀀스 헤더의 데이터 구조를 가진 데이터가 기록된 컴퓨터 판독가능 매체.
11. 제8항에 있어서, 상기 저주파 영상의 예측 모드 정보는 가변길이 부호화되는 것을 특징으로 하는 동영상 시퀀스 헤더의 데이터 구조를 가진 데이터가 기록된 컴퓨터 판독가능 매체.
12. 제11항에 있어서, 상기 GOP의 크기가 16인 경우에 상기 저주파 영상의 예측 모드 정보는, 시간적 해상도 레벨에 따라, "0","10","110" 및 "111"로 가변 길이 부호화되는 것을 특징으로 하는 동영상 시퀀스 헤더의 데이터 구조를 가진 데이터가 기록된 컴퓨터 판독가능 매체.
13. GOP 단위로 수행되는 동영상 부호화 과정에 발생하는 저주파 영상 프레임을 부호화하는 방법에 있어서,

    (a) 동영상 시퀀스 헤더로부터 저주파 영상의 예측 모드 정보를 판독하는 단계와,

    (b) 상기 저주파 영상 프레임의 프레임 번호가 상기 예측 모드 정보에 연관된 시간적 해상도 레벨을 지원하기 위해 필요한 프레임 번호인지를 판단하는 단계와,

    (c) 상기 필요한 프레임 번호가 아니라면, 상기 저주파 영상 프레임에 대하여 인트라 프레임 부호화를 수행하는 단계와,

    (d) 상기 필요한 프레임 번호라면, 상기 저주파 영상 프레임에 대하여 예측 부호화를 수행할지 인트라 프레임 부호화를 수행할지 선택하는 단계와,

    (e) 예측 부호화가 선택된 경우에, 슬라이스 헤더내에 저주파 영상 프레임의 예측 부호화 여부를 나타내는 비트값을 "1"로 저장하고, 상기 저주파 영상 프레임에 대한 예측 부호화를 수행하는 단계와,

    (f) 인트라 프레임 부호화가 선택된 경우에, 상기 슬라이스 헤더내에 저주파 영상 프레임의 예측 부호화 여부를 나타내는 상기 비트값을"0"으로 저장하고, 상기 저주파 영상 프레임에 대한 인트라 프레임 부호화를 수행하는 단계

    를 포함하는 것을 특징으로 하는 저주파 영상 프레임 부호화 방법.
14. 제13항에 있어서, 16 프레임 크기의 GOP 단위로 동영상 부호화가 수행되는 경우에, 상기 (b) 단계는,

    (b1) 상기 예측 모드 정보가 "00"인 경우에 상기 저주파 영상 프레임 번호가 1, 3, 5, 7, 9, 11중 하나인지를 판단하는 단계와,

    (b2) 상기 예측 모드 정보가 "01"인 경우에 상기 저주파 영상 프레임 번호가 3,7, 11, 15중 하나인지를 판단하는 단계와,

    (b3) 상기 예측 모드 정보가 "10"인 경우에 상기 저주파 영상 프레임 번호가 7 또는 15인지를 판단하는 단계와,

    (b4) 상기 예측 모드 정보가 "11"인 경우에 상기 저주파 영상 프레임 번호가 15인지를 판단하는 단계

    를 포함하는 것을 특징으로 하는 저주파 영상 프레임 부호화 방법.
15. 제13항에 있어서, 16 프레임 크기의 GOP 단위로 동영상 부호화가 수행되는 경우에, 상기 (e) 단계는,

    (e1) 상기 예측 모드 정보가 "00"인 경우에, 1, 3, 5, 7, 9, 11, 13, 15번째 프레임중 바로 이전 저주파 영상 프레임을 참조하고 해당하는 이전 저주파 영상 프레임이 없는 경우에는 이전 GOP의 15번째 프레임을 참조하여 상기 저주파 영상 프레임을 예측 부호화하는 단계와,

    (e2) 상기 예측 모드 정보가 "01"인 경우에 3, 7, 11, 15번째 프레임중 바로 이전 저주파 영상 프레임을 참조하고 해당하는 이전 저주파 영상 프레임이 없는 경우에는 이전 GOP의 15번째 프레임을 참조하여 상기 저주파 영상 프레임을 예측 부호화하는 단계와,

    (e3) 상기 예측 모드 정보가 "10"인 경우에 7, 15번째 프레임중 바로 이전 저주파 영상 프레임을 참조하고 해당하는 이전 저주파 영상 프레임이 없는 경우에는 이전 GOP의 15번째 프레임을 참조하여 상기 저주파 영상 프레임을 예측 부호화하는 단계와,

    (e4) 상기 예측 모드 정보가 "11"인 경우에 이전 GOP의 15번째 프레임을 참조하여 상기 저주파 영상 프레임을 예측 부호화하는 단계

    를 포함하는 것을 특징으로 하는 저주파 영상 프레임 부호화 방법.
16. 부호화된 저주파 영상 비트스트림을 복호화하는 방법에 있어서,

    (a) 동영상 시퀀스 헤더로부터 저주파 영상의 예측 모드 정보를 판독하는 단계와,

    (b) 상기 저주파 영상 프레임의 프레임 번호가 상기 예측 모드 정보에 연관된 시간적 해상도 레벨을 지원하기 위해 필요한 프레임 번호인지를 판단하는 단계와,

    (c) 상기 필요한 프레임 번호가 아니라면, 상기 저주파 영상에 대하여 인트라 프레임 복호화를 수행하는 단계와,

    (d) 상기 필요한 프레임 번호라면, 상기 저주파 영상 프레임의 슬라이스 헤더내에 저주파 영상 예측 부호화 여부를 나타내는 비트값을 판독하는 단계와,

    (e) 상기 비트값이 예측 부호화가 수행되었음을 나타내면, 상기 저주파 영상 비트스트림에 대한 예측 복호화를 수행하는 단계와,

    (f) 상기 비트값이 예측 부호화가 수행되지 않았음을 나타내면, 상기 저주파 영상 비트스트림에 대한 인트라 프레임 복호화를 수행하는 단계

    를 포함하는 것을 특징으로 하는 부호화된 저주파 영상 비트스트림의 복호화 방법.
17. GOP 단위의 동영상 부호화가 적응적 GOP 모드로 수행되는지 여부를 나타내는 정보를 포함하고 상기 적응적 모드로 수행되는 경우에 저주파 영상의 예측 모드 정보를 더 포함하는 동영상 시퀀스 헤더의 데이터 구조를 가진 데이터가 기록된 컴퓨터 판독가능 매체.

Images