KR100786132B1 - 적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법 - Google Patents

적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법 Download PDF

Info

Publication number
KR100786132B1
KR100786132B1 KR1020050102737A KR20050102737A KR100786132B1 KR 100786132 B1 KR100786132 B1 KR 100786132B1 KR 1020050102737 A KR1020050102737 A KR 1020050102737A KR 20050102737 A KR20050102737 A KR 20050102737A KR 100786132 B1 KR100786132 B1 KR 100786132B1
Authority
KR
South Korea
Prior art keywords
gop
size
bitstream
encoding
picture
Prior art date
Application number
KR1020050102737A
Other languages
English (en)
Other versions
KR20060052346A (ko
Inventor
정세윤
김규헌
홍진우
박광훈
박민우
Original Assignee
한국전자통신연구원
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020050031714A external-priority patent/KR20060045797A/ko
Application filed by 한국전자통신연구원, 경희대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20060052346A publication Critical patent/KR20060052346A/ko
Application granted granted Critical
Publication of KR100786132B1 publication Critical patent/KR100786132B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 적응적으로 세분화된 GOP(Group of Picture) 구조를 이용하여 동영상 시퀀스에 대한 계층적 B 픽쳐-기반 부호화 및 복호화를 수행하기 위한 방법을 제공한다. 상기 부호화 방법은, 상기 동영상 시퀀스의 선정된 2N 프레임 크기 GOP 각각에 대하여, (a) 상기 최대 2N 크기부터 최소 2M(M은 1 이상이고 N보다는 작은 정수임) 크기의 상이한 GOP 단위 각각에 기반하여 부호화를 수행하고 계층적 B 픽쳐 예측을 수행하여 도출된 프레임과 상기 부호화 후에 재구성된 프레임간의 차이값을 구하는 단계와, (b) 상기 상이한 GOP 단위 각각의 부호화 결과로부터 구해진 상기 차이값에 기반하여 적어도 1개 이상의 세부 GOP를 선택하는 단계와, (c) 상기 선택된 적어도 1개 이상의 세부 GOP에 근거하여 상기 선정된 2N 프레임 크기의 GOP를 부호화함으로써 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다. 본 발명에 따르면, 계층적 B-픽쳐를 이용한 동영상 부호화시에 GOP 크기를 성능에 따라 적응적으로 세분하여 부호화함으로써 높은 부호화 효율을 얻을 수 있다.
계층적 B-픽쳐 기반 부호화(hierarchical B-picture_based encoding), 동영상 부호화, 적응적 GOP 구조.

Description

적응적으로 세분화된 ＧＯＰ 구조를 이용한 계층적 Ｂ픽쳐-기반 동영상 부호화 및 복호화 방법{Method for encoding/decoding a video sequence based on hierarchical B-picture using adaptively-adjusted GOP structure}
도 1은 GOP 크기가 8인 경우의 영상 시퀀스의 부호화 개념을 도시한 도면.
도 2는 크기가 16인 GOP 내에서 계층적 B-픽쳐 구조로 예측하는 과정을 도시한 도면.
도 3은 Foreman QCIF 15Hz 영상 시퀀스의 일부분(GOP=8)을 도시한 도면.
도 4는 축구 QCIF 15Hz 영상 시퀀스의 일부분(GOP=8)을 도시한 도면.
도 5는 다량의 인트라 블록이 포함된 양방향 예측 영상의 예를 도시한 도면.
도 6은 축구 QCIF 7.5Hz 영상을 GOP를 변경시키며 부호화한 결과 그래프.
도 7은 축구 QCIF 15Hz 영상을 GOP를 변경시키며 부호화한 결과 그래프.
도 8은 축구 QCIF 15Hz 영상 16-24 프레임의 계층적 B-픽처 구성 과정(GOP=8).
도 9는 축구 QCIF 15Hz 영상 16-24 프레임의 계층적 B-픽처 구성 과정(GOP=4).
도 10은 축구 QCIF 15Hz 영상 16-24 프레임의 계층적 B-픽처 구성 과정(GOP=2).
도 11은 Foreman QCIF 15Hz 영상을 GOP를 변경시키며 부호화한 결과 그래프.
도 12는 축구 QCIF 15Hz 영상 17~24프레임의 PSNR 그래프.
도 13은 Foreman QCIF 15Hz 영상 137~144프레임의 PSNR 그래프.
도 14는 Foreman QCIF 15Hz 영상 97~104프레임의 PSNR 그래프.
도 15는 Foreman QCIF 15Hz 영상 97~112프레임의 PSNR와 목표 성능치를 도시한 그래프.
도 16은 본 발명의 일실시예에 따른 적응적 GOP 구조 기반 동영상 부호화 알고리즘을 나타낸 흐름도.
도 17은 도 16에 도시된 모드 결정 과정을 좀더 구체적으로 도시한다.
도 18은 16 프레임 크기의 GOP 내에서 각 GOP 단위의 MSE값을 취하는 위치를 개념적으로 도시한다.
도 19는 본 발명의 일실시예에 따라 MSE값에 기반하여 16 프레임 크기의 GOP를 적응적으로 세분화하는 실제 과정을 개념적으로 나타낸 도면이다.
도 20은 도 19에서 세분화된 GOP 구조에 기반하여 부호화한 경우의 프레임 단위 PSNR 결과 그래프를 도시한다.
도 21은 본 발명의 일실시예에 따른 모드 결정 과정을 나타낸 흐름도이다.
도 22는 탑승원 영상 시퀀스에 대한 HHI 코덱의 부호화 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 비교 그래프 (QCIF, CIF).
도 23은 탑승원 영상 시퀀스에 대한 4CIF의 HHI 코덱의 부호화 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 비교 그래프.
도 24는 탑승원 QCIF 15Hz영상 시퀀스에 대하여 본 발명에 따라 적응적으로 세분화된 GOP 구조를 도시한다.
도 25는 탑승원 영상(64-80 프레임)에 대하여 HHI 코덱과 본 발명에 따른 적응적 GOP 구조 기반 계층적 B-픽쳐 구성 결과를 도시한다.
도 26은 탑승원 영상(241 프레임)에 대한 HHI 코덱과 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 주관적인 화질 비교를 나타낸다.
도 27은 탑승원 영상(279 프레임)에 대한 HHI 코덱 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 주관적인 화질 비교를 나타낸다.
도 28은 탑승원 영상(298 프레임)에 대한 HHI 코덱 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 주관적인 화질 비교를 나타낸다.
도 29는 축구 영상 시퀀스에 대한 HHI의 코덱 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 비교 그래프(QCIF, CIF).
도 30는 축구 영상 시퀀스에 대한 HHI의 코덱과 지능형 GOP 선택 부호화의 결과 비교 그래프(4CIF).
도 31은 축구 QCIF 15Hz 영상 시퀀스에 대하여 본 발명에 따라 적응적으로 세분화된 GOP 구조를 도시한다.
도 32는 축구 영상 시퀀스에 대한 HHI의 코덱 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 비교 그래프(QCIF, CIF).
도 33은 축구 QCIF 15Hz 영상 시퀀스에 대하여 본 발명에 따란 적응적으로 세분화된 GOP 구조를 도시한다.
도 34는 본 발명의 일실시예에 따라 “gop_divide_bit”가 추가된 GOP 비트스트림의 구성을 도시한다.
도 35는 GOP 크기가 16인 경우에, 본 발명에 따라 GOP가 (2,2,4,8)로 세분화되어 부호화된 비트스트림의 예를 도시한다.
도 36은 도 35에 도시된 비트스트림을 본 발명의 일실시예에 따라 복호화하는 과정을 도시한다.
도 37은 16 프레임 크기 GOP에 대하여 본 발명에 따라 적응적으로 세분화된 GOP 구조의 예를 도시한다.
도 38은 본 발명에 따라 16 프레임 크기의 GOP가 (8,4,2,2)로 세분화되어 부호화되는 과정을 도시한다.
도 39는 본 발명의 일실시예에 따른 시간적 스케일러블 기능을 제공하기 위해 디코더측 비트스트림 추출기(extractor)에서 수행되는 1/L 해상도 지원 알고리즘의 흐름도를 도시한다.
도 40은 본 발명에 따라 변경된 JSVM(Joint Scalable Video Model) 2.0의 스케일러빌리티 정보(Scalability Information) SEI 메시지의 신택스(syntax)를 나타낸다.
본 발명은 동영상 부호화/복호화에 관한 것으로, 구체적으로는 지능적으로 세분화된 GOP 구조를 이용하여 계층적 B 픽쳐(hierarchical B-picture)에 기반한 동영상 부호화 방법 및 이에 따라 부호화된 비트스트림을 복호화하기 위한 방법에 관한 것이다.
계층적 B-픽쳐를 이용한 기존의 동영상 부호화 방법은 MPEG-1, MPEG-2, MPEG-4 Part 2 Visual, MPEG-4 Part 10 AVC(Advance Video Coding) 또는 ITU-T H.264 등 기존의 동영상 국제 표준에서 사용되는 블록 단위 동영상 부호화 기법에서 블록 단위 MCTF(Motion Compensated Temporal Filtering) 방식과 같은 방식으로 시간적 스케일러빌티(Temporal Scalability) 기능을 추가하기 위해 기존의 양방향에서 움직임을 예측하는 B Picture를 이용해 계층적(Hierarchical)으로 예측을 수행하여 부호화하는 방식이다. 이에 따라 부호화된 비트스트림은 기존의 동영상 국제 표준 시스템에서 복호화 가능하다.
계층적 B-픽쳐를 이용한 기존의 동영상 부호화는 보통 2의 승수 단위로 고정된 GOP(Group of Picture) 단위로 수행된다. 도 1은 영상 시퀀스의 GOP 크기가 8인 경우의 부호화 개념을 보여준다.
도 2는 크기가 16인 GOP 내에서 계층적 B-픽쳐 구조로 예측하는 방법을 도시한다. 먼저 양쪽의 인트라 영상 "I"로부터 양방향 예측 영상 "B1"을 예측하고 "I"와 "B1"을 이용하여 양방향 예측 영상 "B2"를 예측하고 "I"와 "B2", "B1"과 "B2"를 이용하여 양방향 예측 영상 "B3"를 예측하고 "I"와 "B3", "B1"과 "B3", "B2"와 "B3"를 이용하여 양방향 예측 영상 "B4"를 구하는 것이다. 이와 같이 계층적으로 예측한 후에 기존의 동영상 국제 표준을 이용하여 비트스트림을 생성한다. "I"와 "B1"과 "I"를 이용한 것을 기본 계층(Base Layer)으로 하고 "B2", "B3", "B4"를 각각의 강화 계층(Enhancement Layer)으로 하여 MCTF와 같은 시간적 스케일러빌리티 기능을 구현할 수 있다.
도 2와 같이 계층적 B-픽쳐 구조를 구성하는 과정에서 "B1" 영상이나 "B2" 영상을 예측할 경우 참조 영상이 시간적으로 멀리 위치하기 때문에 예측의 효율이 떨어질 가능성이 높다. 예측 효율은 영상 시퀀스의 특성 중에 움직임의 정도와 관련이 높다.
도 3은 Foreman QCIF 15Hz 영상 시퀀스의 일부분을 8크기의 GOP로 나누고 그것을 계층적인 B-픽쳐 부호화를 수행한 후의 데이터를 보여준다. 영상은 GOP 내에서 움직임이 거의 없음을 확인할 수 있고, 부호화 데이터를 통해 좋은 예측이 되고 있음을 확인할 수 있다. 이와 같이 움직임이 정적인 영상에서의 계층적 B-픽쳐 구조에서 좋은 예측 결과를 보여준다.
한편, 도 4는 축구 QCIF 15Hz 영상 시퀀스의 일부분을 8크기의 GOP로 나누어서 계층적 B-픽쳐 부호화를 수행한 후의 데이터를 보여준다. 도시된 바와 같이, 하나의 GOP 내에서 영상 변화가 심하게 일어나고 있음을 볼 수 있다. 이와 같이, 움직임이 역동적인 영상에서 계층적 B-픽쳐 구조의 예측은 잘 이루어지지 않음을 확인할 수 있으며, 특히 "B1"영상에서 인트라 블록이 많이 발생함을 확인할 수 있다. 즉, 영상안에서의 움직임 정도에 따라 부호화 효율이 변하는 것을 확인할 수 있다.
도 5는 축구 QCIF 15Hz 영상 시퀀스에 대하여 계층적 B-픽쳐 구조 부호화를 수행한 경우에 예측 영상에서 다량의 인트라 블록이 포함된 예를 보여준다.
움직임이 역동적인 영상 시퀀스에서 GOP 크기가 클수록 예측 영상의 예측 효율이 떨어지는 것이라는 사실을 바탕으로 영상의 GOP 크기를 변경하면서 실험하였다. 도 6과 도 7은 각각 축구 QCIF 7.5 Hz 영상과 축구 QCIF 15Hz 영상을 GOP 크기를 8, 4, 2, 1로 변경하면서 부호화한 결과를 그래프로 도시한 것이다. 도시된 바와 같이, GOP 크기가 작을수록 부호화 효율이 증가함을 알 수 있다.
도 8 내지 10 각각은 축구 QCIF 15Hz 영상 16에서 24프레임까지의 GOP 단위를 8, 4, 2로 변경하였을 때 계층적 B-픽쳐 구성을 보여준다. 그 결과, GOP 크기를 작게 하였을 경우에 하나의 GOP 내에서 인트라 영상이 증가되지만 부호화 효율은 더욱 향상됨을 확인할 수 있다. 이에 따라, 움직임이 역동적인 영상 시퀀스에서는 GOP 크기를 작게 할수록 부호화 효율이 증가한다는 것을 예측할 수 있다.
한편, 이와 반대로 움직임이 많지 않은 정적인 Foreman QCIF 15Hz 영상 시퀀스에 대하여 GOP 크기를 각각 8, 4, 2, 1로 변경하면서 부호화한 결과 그래프가 도 11에 도시되어 있다. 도시된 바와 같이, 정적인 영상 시퀀스에서는 GOP 크기가 클수록 부호화 효율이 높은 것을 그래프를 통해 확인할 수 있다.
도 12는 축구 QCIF 15Hz 영상 17에서 24프레임까지의 같은 비트율에서 각각의 GOP 크기(8, 4, 2)에 따른 PSNR 수치를 그래프로 나타낸 것이다. 이 결과를 통해 현재 GOP 내에서는 세 가지 GOP 크기 중에 GOP가 2일 경우에 가장 좋은 성능을 나타냄을 확인할 수 있다.
도 13은 Foreman QCIF 15Hz 영상 시퀀스의 137에서 144프레임까지 같은 비트 율에서 GOP 크기를 각각 8, 4, 2로 계층적 B-픽쳐 부호화한 결과를 프레임 단위의 PSNR 수치를 그래프로 표현한 것이다. 이 그래프를 통해, 현재의 GOP 내에서는 세 가지 GOP 크기로 부호화한 결과중에 GOP 크기가 8인 경우에 가장 좋은 성능을 보여줌을 확인할 수 있다.
상기에서는 GOP 크기와 부호화 성능간의 관계를 설명하기 위해 대표적으로 움직임이 많은 역동적인 영상 시퀀스와 움직임이 많지 않은 정적인 영상 시퀀스를 예로 들어 설명하였으나, 통상적으로, 하나의 영상 시퀀스 안에는 다양한 움직임을 포함하고 있다. 예를 들어, Foreman 영상 시퀀스 안에서도 움직임 정도가 다양함을 도 14의 그래프를 통하여 확인할 수 있다. 도 14의 Foreman QCIF 15Hz 영상 시퀀스의 97에서 104프레임까지 같은 비트율에서 GOP를 각각 8, 4, 2로 계층적 B-픽쳐 기반 부호화한 결과를 프레임 단위의 PSNR 수치를 그래프로 표현한 것이다. 이 그래프를 통해 GOP 크기가 8일 때보다 4나 2인 경우에 부호화 효율이 높은 것을 확인할 수 있다. 이 그래프는 Foreman 영상 시퀀스의 전체의 결과와 정반대의 결과를 보여주고 있다. GOP 크기를 4 또는 2로 하여 부호화를 할 때 전체적인 부호화의 효율을 좀 더 높일 수 있을 것이다. 그리고 하나의 GOP 내에서도 GOP 크기를 4 또는 2로 할 경우 앞의 4개 프레임은 GOP 크기를 2로 할 때 가장 성능이 좋고, 뒤의 4개의 프레임은 GOP 크기를 4로 할 때 부호화 효율이 좋아질 것이라는 예측을 할 수 있다.
도 15의 Foreman QCIF 15Hz 영상 97에서 112까지 프레임의 PSNR 수치를 보면 도 14의 경우와 같이 맨 앞의 4개의 프레임은 GOP 크기를 2로, 그 다음의 4개의 프 레임은 GOP크기를 4로, 그 다음 8개 프레임은 8로 부호화한다면 목표로 하는 최적의 부호화 효율을 얻을 수 있을 것이다.
이와 같이, 기존의 계층적 B-픽쳐를 이용한 동영상 부호화시에 GOP 크기를 성능에 따라 지능적으로 선택할 수 있는 방법을 사용하면 높은 부호화 효율을 얻는 것이 확실하다.
따라서, 본 발명의 목적은 계층적 B-픽쳐를 이용한 동영상 부호화시에 GOP 크기를 성능에 따라 적응적으로 세분화하기 위한 방법을 제공하는 것이다.
본 발명의 다른 목적은 2N개 프레임 크기의 GOP 단위로 이루어지는 계층적 B-픽쳐 기반 동영상 부호화시에 GOP를 성능에 따라 적응적으로 세분하여 부호화하는 방법을 제공하는 것이다.
본 발명의 또다른 목적은 적응적 GOP　구조에 기반하여 계층적 B-픽쳐 부호화된 동영상의 비트스트림을 복호화하기 위한 방법을 제공하는 것이다.
본 발명의 또다른 목적은 적응적 GOP　구조에 기반하여 부호화된 동영상의 비트스트림을 복호화시에 시간적 스케일러빌리티(temporal scalability)를 지원하는 방법을 제공하는 것이다.
전술한 본 발명의 목적을 달성하기 위해, 본 발명의 일 특징에 따르면, 동영상 시퀀스에 대한 계층적 B 픽처-기반 부호화를 수행하기 위한 방법이 제공된다. 상기 방법은, 상기 동영상 시퀀스의 선정된 2N 프레임 크기 GOP 각각에 대하여, (a) 상기 최대 2N 크기부터 최소 2M(M은 1 이상이고 N보다는 작은 정수임) 크기의 상이한 GOP 단위 각각에 기반하여 부호화를 수행하고 계층적 B-픽처 예측을 수행하여 도출된 프레임과 상기 부호화 후에 재구성된 프레임간의 차이값을 구하는 단계와, (b) 상기 상이한 GOP 단위 각각의 부호화 결과로부터 구해진 상기 차이값에 기반하여 적어도 1개 이상의 세부 GOP를 선택하는 단계와, (c) 상기 선택된 적어도 1개 이상의 세부 GOP에 근거하여 상기 선정된 2N 프레임 크기의 GOP를 부호화함으로써 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다.
일실시예에서, 상기 (b) 단계는, (b1) 상기 2N 크기에서 상기 2M에 이르는 상이한 GOP 단위 부호화 각각으로부터 구해진 상기 차이값을 비교하여, 상기 2N 크기의 GOP 단위 부호화 결과로부터 구해진 상기 차이값이 가장 작은 경우에 상기 2N 크기의 GOP를 세부 GOP로 선택하는 단계와, (b2) 상기 2N 크기 GOP 부호화 결과로부터 구해진 상기 차이값이 가장 작지 않다면, N을 1만큼 감소시키고(N=N-1), (b2-i) 상기 감소된 N과 M 값이 같다면 2M 크기의 GOP 2개를 세부 GOP로 선택하는 단계와, (b2-ii) 상기 감소된 N과 M값이 서로 같지 않다면 앞쪽의 2N 개 프레임과 뒤쪽의 2N 개 프레임 각각에 대하여 상기 (b1) 내지 (b2)단계를 반복하는 단계를 포함하는 것 을 특징으로 한다.
일실시예에서, 상기 차이값은, MSE(Mean Square Error), SAD(Sum of Absolute Difference), SSE(Sum of Squared Errors), SAD +λSADR(R은 GOP 단위의 비트수), SSE +λSSER를 포함하는 그룹에서 선택될 수 있다.
다른 실시예에서, 상기 (b) 단계는, (b1) 상기 2N 크기에서 상기 2M에 이르는 상이한 GOP 단위 부호화 각각으로부터 구해진 상기 차이값을 비교하여, 상기 2N 크기의 GOP 단위 부호화 결과로부터 구해진 상기 차이값이 가장 작은 경우에 상기 2N 크기의 GOP를 세부 GOP로 선택하고, 상기 GOP 비트스트림의 앞에 삽입되는 GOP 분할여부 비트를"0"으로 설정하는 단계와, (b2) 상기 2N 크기 GOP 부호화 결과로부터 구해진 상기 차이값이 가장 작지 않다면, 상기 GOP 비트스트림의 앞에 삽입되는 GOP 분할여부 비트를"1"로 설정하고, 상기 N을 1만큼 감소시킨(N=N-1) 후에,(b2-i) 상기 감소된 N과 M 값이 같다면 2M 크기의 GOP 2개를 세부 GOP로 선택하는 단계와,(b2-ii) 상기 감소된 N과 M값이 서로 같지 않다면 앞쪽의 2N 개 프레임과 뒤쪽의 2N 개 프레임 각각에 대하여 상기 (b1) 내지 (b2) 단계를 반복하는 단계를 포함하는 것을 특징으로 한다.
다른 실시예에서, 상기 선택된 적어도 1개 이상의 세부 GOP 정보를 GOP의 첫 번째 프레임 헤더 정보내에 표시하여 디코더에 전송한다.
본 발명의 다른 특징에 따르면, 계층적 B 픽쳐-기반 동영상 부호화를 수행하기 위한 방법이 제공된다. 상기 방법은, (a) 동영상 시퀀스의 선정된 2N 프레임 크기 GOP 각각에 대하여, (a-1) 상기 최대 2N 크기부터 최소 2M(M은 1 이상이고 N보다는 작은 정수임) 크기의 상이한 GOP 단위 각각에 기반하여 부호화를 수행하고 상기 부호화 결과를 이용하여 적어도 1개 이상의 세부 GOP를 선택하는 단계와,(a-2) 상기 선택된 적어도 1개 이상의 세부 GOP에 근거하여 상기 선정된 2N 프레임 크기의 GOP를 부호화함으로써 비트스트림을 생성하는 단계와, (b) 상기 생성된 비트스트림에 시간적 스케일러빌리티 범위 정보를 삽입하는 단계를 포함하는 것을 특징으로 한다.
일실시예에서, 상기 시간적 스케일러빌리티 범위는 상기 (a) 단계에서 선택된 상기 세부 GOP의 최소 크기(2M)에 기반한 것을 특징으로 한다.
본 발명의 또다른 특징에 따르면, 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화하기 위한 방법이 제공된다. 상기 방법은, 선정된 2N 크기 GOP 비트스트림 각각에 대하여,(a) 상기 GOP 분할여부를 나타내는 비트값을 판독하여 검사하는 단계와, (b) 상기 비트값이 "0"인 경우에 상기 GOP 비트스트림을 복호화하는 단계와, (c) 상기 비트값이 "1"인 경우에 상기 GOP 비트스트림을 절반 크기의 앞쪽 GOP 비트스트림과 뒤쪽 GOP 비트스트림으로 분할하는 단계와, (d) 상기 앞쪽 GOP 비트스트림과 상기 뒤쪽 GOP 비트스트림 각각에 대하여 상기 (a) 내지 (d) 단계를 반복 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또다른 특징에 따르면, 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화하기 위한 방법이 제공된다. 상기 방법은, 상기 방법은, 소정 크기의 GOP 비트스트림에 대하여, (a) GOP 분할여부를 결정하는 단계,(b) GOP의 분할이 없는 경우에, 상기 GOP 비트스트림을 복호화하는 단계, (c) GOP의 분할이 있는 경우에, 상기 GOP 비트스트림을 분할하는 단계; 및 (d) 상기 분할된 GOP 비트스트림을 복호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또다른 특징에 따르면, 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화하기 위한 방법이 제공된다. 상기 방법은, 선정된 2N 크기 GOP 비트스트림 각각에 대하여, 상기 GOP 비트스트림으로부터 상기 적응적으로 세분화된 GOP 구조 정보를 판독하는 단계와, 상기 GOP 구조 정보에 따라 상기 GOP 비트스트림을 복호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또다른 특징에 따르면, 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화하기 위한 방법이 제공된다. 상기 방법은,상기 방법은, 소정 크기 GOP 비트스트림에 대하여,상기 GOP 비트스트림으로부터 가변 GOP 구조 정보를 판독하는 단계와, 상기 가변 GOP 구조 정보에 따라 상기 GOP 비트스트림을 복호화하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또다른 특징에 따르면, 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화시에 1/L 시간적 스케일러빌리티를 제공하기 위한 방법이 제공된다. 상 기 방법은, 선정된 2N 프레임 크기의 GOP 비트스트림 각각에 대하여,(a) k(k는 정수)값을 0으로 초기화하는 단계와, (b) FrameNum 값을 2N 으로 초기화하는 단계와, (c) FrameNum번째 프레임의 비트스트림으로부터 역방향으로 L번째까지의 프레임내에 저주파 영상이 있는지 검색하고, FrameNum을 L만큼 감소시키는 단계와, (d) 상기 (c) 단계의 검색 결과에 따라, (d-1) 저주파 영상이 존재하지 않는 경우에, k값을 1 증가시키는 단계와,(d-2) 저주파 영상이 존재하는 경우에, 역방향으로 제일 먼저 검색된 저주파 영상을 선택하고, k값이 0이 아닌 경우에는 k개의 후속 고주파 영상을 또한 선택하고 k를 0으로 재초기화하는 단계와, (e) FrameNum이 0이 될 때까지 상기 (c) 내지 (d) 단계를 반복적으로 수행함으로써, 최종적으로 2N /L 개의 프레임을 선택하는 단계를 포함하는 것을 특징으로 한다.
이하에서는, 도 16 내지 도 40을 참조하여, 본 발명을 예시적으로 상세히 설명하겠다. 그러나, 이하의 상세한 설명은 단지 예시적인 목적으로 제공되는 것이며 본 발명의 개념을 임의의 특정 실시예에 한정하는 것으로 해석되어서는 안 될 것이다.
도 16을 참조하면, 본원 발명의 일실시예에 따른 적응적 GOP 구조 기반 동영상 부호화 방법을 개략적으로 나타낸 흐름도가 도시되어 있다. 2N 프레임 크기의 GOP 단위로 부호화가 수행되며 선택가능한 최소 GOP 크기가 2M이라 가정하면(N, M은 정수이고, 0 < M < N), 적응적 GOP 구조 기반 동영상 부호화 방법은 다음 과정에 따라 수행된다.
① 1개 GOP 단위 영상 프레임 시퀀스에 대해, 최대 2N 크기의 GOP부터 최소 2M 크기의 GOP까지 상이한 GOP 단위 각각에 기반하여 부호화를 수행함으로써 프레임마다 계층적 B-픽쳐 예측 수행 결과 도출된 서브밴드(subband)별로 구성된 영상과 부호화 후에 재구성된 영상의 MSE(Mean Square Error) 값을 각각 구한다(S1610-S1630). MSE값을 기준으로 취하는 것은 일예에 불과하며, 대안적으로는, SAD(Sum of Absolute Difference), SSE(Sum of Squared Errors), SAD +λSADR(R은 GOP 단위의 비트수), SSE +λSSER 중에서 하나를 기준으로 취할 수 있다. 이들에 관하여는 후술하기로 한다.
② ① 과정에서 구해진 GOP 크기별 MSE값에 기반하여, 상기 2N 크기의 GOP를 적어도 1개 이상의 세부 GOP들로 분할한다(S1640). 본 명세서에서, 최소 MSE값을 산출하는 세부 GOP들을 선택함으로써 상기 2N 크기의 GOP를 세분화하는 과정을 "모드 결정(Mode decision)" 과정이라 지칭한다.
③ 분할된 세부 GOP 구조에 기반하여 상기 2N 프레임 크기의 영상 시퀀스에 대한 연속된 비트스트림을 생성한다(S1650).
④ 다음 GOP의 영상 프레임 시퀀스에 대하여 ① 내지 ③ 과정을 반복한다.
상기 실시예에서, 모드 결정 과정시에, 각 프레임의 MSE 값은 다음 수식에 따라 구해질 수 있다.
Figure 112005062166897-pat00001
상기 수식에서, k는 한 프레임의 픽셀 개수를 나타내며, F(i)는 계층적 B-픽쳐 예측을 수행하여 도출된 서브밴드별 프레임 픽셀의 실제값을 나타내고 G(i)는 부호화 후 재구성된 프레임 픽셀의 실제값을 나타낸다.
도 17은 도 16에 도시된 모드 결정 과정을 좀더 구체적으로 도시한다(GOP 크기가 16(즉, N은 4)이고, 최소 선택가능한 GOP 크기는 2(즉, M은 1)인 경우임). 도시된 바와 같이, GOP 크기가 16개 프레임인 경우에 GOP의 적응적 세분화는 다음과 같이 이루어진다.
① 16개의 프레임에 대해 GOP 크기가 16(N=4), 8(N=3), 4(N=2), 2(N=M=1)인 경우 각각에 대하여 부호화를 수행한 결과로부터 산출된 MSE 값 각각을 비교한다(1702).
비교 결과에 따라,
A. 16 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 16 프레임 크기의 GOP를 선택하고 선택 과정을 종료한다(1704).
B. 16 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 앞쪽의 8프레임 단위는 ②로 분기하고(1706), 뒤쪽의 8프레임 단위는 ③으로 각각 분기한다(1708).
② 앞쪽 8 프레임 단위에서 각각의 부호화의 MSE 값을 비교해서,
A. 8 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 8 프레임 크기의 GOP를 선택한다(1710).
B. 8 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 앞쪽의 4프레임 단위는 ④로 분기하고(1714), 뒤쪽의 4프레임 단위는 ⑤로 각각 분기한다(1716).
③ 뒤쪽 8 프레임 단위에서 각각의 부호화의 MSE 값을 비교해서,
A. 8 프레임 크기의 GOP 부호화 결과의 MSE가 가장 작을 경우에는 8 프레임 크기의 GOP를 선택하고 모드 결정 과정을 종료한다(1712).
B. 8 프레임 크기의 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 앞쪽의 4 프레임 단위는 ⑥으로 분기하고(1718), 뒤쪽의 4 프레임 단위는 ⑦로 각각 분기한다(1720).
④ 앞쪽 4 프레임 단위에서 각각의 부호화 MSE 값을 비교해서,
A. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 4 프레임 크기의 GOP를 선택한다(1722).
B. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 2 프레임 크기의 GOP 2개를 선택한다(1724).
⑤ 뒤쪽 4 프레임 단위에서 각각의 부호화 결과의 MSE 값을 비교해서,
A. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 4 프레임 크기의 GOP를 선택한다(1726).
B. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 2 프레임 크기의 GOP 2개를 선택한다(1728).
⑥ 앞쪽 4 프레임 단위에서 각각의 부호화 결과의 MSE 값을 비교해서,
A. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 4 프레임 크기의 GOP를 선택한다(1730).
B. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 2 프레임 크기의 GOP 2개를 선택한다(1732).
⑦ 뒤쪽 4 프레임 단위에서 각각의 부호화 결과의 MSE 값을 비교해서,
A. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 4 프레임 크기의 GOP를 선택 및 모드 결정 과정을 종료한다(1734).
B. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 2 프레임 크기의 GOP 2개를 선택 및 모드 결정 과정을 종료한다(1736).
전술한 도 17의 알고리즘을 의사 코드(Pseudo Code)로 나타내면 다음과 같다.
gop_mode = min MSE_16, (MSE_8_1 + MSE_8_2)/2, (MSE_4_1 + MSE_4_2 + MSE_4_3 + MSE_4_4)/4,
(MSE_2_1 + MSE_2_2 + MSE_2_3 + MSE_2_4 + MSE_2_5 + MSE_2_6 + MSE_2_7 + MSE_2_8)/8
If (gop_mode == MSE _16)
16크기 GOP 선택
mode Decision 끝
Else
gop_mode = min MSE_8_1, (MSE_4_1 + MSE_4_2)/2, (MSE_2_1 + MSE_2_2 + MSE_2_3 + MSE_2_4)/4
If (gop_mode == MSE_8_1)
8크기 GOP 선택
Else
gop_mode = min MSE_4_1, (MSE_2_1 + MSE_2_2)/2
If (gop_mode == MSE_4_1)
4크기 GOP 선택
Else
2 크기 GOP 선택
2 크기 GOP 선택
gop_mode = min MSE_4_2, (MSE_2_3 + MSE_2_4)/2
If (gop_mode == MSE_4_2)
4크기 GOP 선택
Else
2 크기 GOP 선택
2 크기 GOP 선택
gop_mode = min MSE_8_2, (MSE_4_3 + MSE_4_4)/2, (MSE_2_5 + MSE_2_6 + MSE_2_7 + MSE_2_8)/4
If (gop_mode == MSE_8_1)
8크기 GOP 선택
mode decision 끝
Else
gop_mode = min MSE_4_3, (MSE_2_5 + MSE_2_6)/2
If (gop_mode == MSE_4_3)
4크기 GOP 선택
Else
2 크기 GOP 선택
2 크기 GOP 선택
gop_mode = min MSE_4_4, (MSE_2_7 + MSE_2_8)/2
If (gop_mode == MSE_4_4)
4크기 GOP 선택
mode decision 끝
Else
2 크기 GOP 선택
2 크기 GOP 선택
mode decision 끝
도 18은 16 프레임 크기의 GOP 내에서 각 GOP 단위의 MSE값을 취하는 위치를 개념적으로 도시한다.
도 19는 GOP 크기가 16 프레임인 영상 시퀀스의 일예로서 Foreman QCIF 15Hz 영상의 81에서 96까지의 프레임에 대하여 본 발명에 따라 GOP를 적응적으로 세분화하는 과정에서 GOP 크기가 16, 8, 4, 2 각각인 경우의 부호화 결과 산출된 MSE의 값을 보여주고 있으며 실제 선택된 세부 GOP 크기는 음영으로 표시하였다. 세부 GOP 크기는 다음과 같은 과정을 통해 결정된다.
① 먼저 16 프레임 단위의 비교에서 16 프레임 크기 GOP 부호화 결과가 가장 작지 않으므로 앞쪽의 8 프레임 단위와 뒤쪽의 8 프레임 단위 비교를 각각 수행한다.
② 앞쪽의 8 프레임 단위 비교에서 8 프레임 크기 GOP 부호화 결과가 가장 작으므로 8 프레임 크기의 GOP를 선택한다.
③ 뒤쪽의 8 프레임 단위 비교에서 8 프레임 크기 GOP 부호화 결과가 가장 작지 않으므로 앞쪽의 4 프레임 단위와 뒤쪽의 4 프레임 단위 비교를 각각 수행한다.
④ 앞쪽의 4 프레임 단위 비교에서 4 프레임 크기 GOP 부호화 결과가 가장 작으므로 4 프레임 크기의 GOP를 선택한다.
⑤ 뒤쪽의 4 프레임 단위 비교에서 4 프레임 크기 GOP 부호화 결과가 가장 작지 않으므로 2 프레임 크기의 GOP 2개를 선택하고 종료한다.
도 20은 도 19에 따라 적응적으로 세분화된 GOP 구조에 기반하여 계층적 B-픽쳐 부호화한 경우의 프레임 단위 PSNR 결과 그래프를 도시한다. 여기서 점선은 현재 국제 표준화가 진행중인 SVC(Scalable Video Coding)에 HHI가 제안한 SVM(Scalable Video Model) 3.0에 따른 PSNR(영상화질)이고, 실선은 해당 SVM 3.0에 본 발명에서 제안한 지능형 GOP선택을 적용한 경우의 PSNR로서, PSNR의 비교 결과를 통해 성능이 향상됨을 확인할 수 있다.
도 21은 본 발명의 일실시예에 따른 모드 결정 과정을 나타낸 흐름도이다. 도시된 바와 같이, 단계(S2110)에서, 2N 프레임 크기의 영상 시퀀스에 대해 상기 최대 2N 크기의 GOP부터 최소 2M 크기의 GOP 까지 상이한 GOP 단위의 부호화 결과 각각으로부터 구해진 차이값들을 비교한다. 비교 결과, 2N 크기의 GOP 단위 부호화 로부터 구해진 차이값이 가장 작은지를 판단하고(S2120), 그렇다면 2N 크기의 GOP를 선택한다(S2130).
그렇지 않다면, N을 1만큼 감소시키고(S2140), 상기 감소된 N과 M 값을 비교한 후에(2150), 비교 결과 서로 값이 같다면 2M 크기 GOP 2개를 선택한다(S2160).
상기 감소된 N과 M값이 서로 같지 않다면, 앞쪽의 2N 크기의 시퀀스와 뒤쪽의 2N 크기의 시퀀스 각각에 대하여 전술한 단계(S2110-S2160)를 반복한다.
상기 실시예에서는, GOP 크기 선택시에 비교되는 값으로서 MSE를 이용하였으나, 전술한 바와 같이, 대안적으로는 입력된 시퀀스의 영상과 부호화후 재구성된 영상의 SAD(Sum of Absolute Difference) 또는 SSE(Sum of Squared Error)를 이용할 수도 있다. 이는 모드 결정시에, 계산 복잡도를 충실하게 고려하는 경우이다.
또다른 실시예에서, 모드 결정 과정에서, 기본 국제 동영상 표준인 AVC(Advanced Video Coding)에서 사용한 Lagrangian 최적화 기법을 사용할 수도 있다. 이는 SAD 또는 SSE와 함께 비트 수와 Lagrangian 계수의 곱의 합으로 표현되는 값을 이용하는 것이다. Lagrangian 계수는 양자화 계수(Qp) 값에 따라 다음 식과 같이 정의 된다.
Figure 112005062166897-pat00002
비교하는 값이 되는 J는 이하의 식에 따라 구해질 수 있다. SAD를 사용할 경우는
Figure 112005062166897-pat00003
와 같고, SSE를 사용할 경우는
Figure 112005062166897-pat00004
과 같다. (R은 GOP를 부호화하였을 경우의 GOP 단위의 비트 수를 나타낸다)
즉, (1) 계산 복잡도를 고려하거나, (2) 전송 비트량을 예측하는데 계산 복잡도를 어느 정도 고려한 최적화 방법을 이용하거나, (3) 실제 전송 비트량을 예측하거나 구하여서 모드 결정이 이루어질 수 있다.
도 22는 탑승원 QCIF 및 CIF 영상 시퀀스에 대하여 SVC (Scalable Video Coding)에 HHI가 제안한 SVM (Scalable Video Model) 3.0 코덱의 부호화 결과 해당 SVM 3.0에 본 발명에서 제안한 적응적 GOP 구조 기반 부호화의 비트율과 PSNR(비트율 대 화질)의 결과 비교 그래프이다. 상기 예에서 본 발명에 따른 적응적 GOP 구조 기반 부호화는 GOP 크기가 16일 경우의 실험 결과로서 도 16의 알고리즘에서 N=4, M=1의 경우의 예이며, GOP 크기 결정시에 프레임마다 계층적 B-픽쳐 예측을 수행하여 도출된 서브밴드별로 구성된 영상과 부호화 후 재구성된 영상의 MSE (Mean Square Error)를 사용하였다. 상기 결과 그래프는 본 발명에 따른 적응적 GOP 구조 기반 부호화가 기존의 SVM 3.0 부호화에 비해 0.02dB에서 0.45dB 정도 성능이 우수함을 보여준다.
도 23은 탑승원 4CIF 영상 시퀀스에 대하여 HHI의 코덱과 본 발명에 따른 적응적 GOP 구조 기반 부호화의 결과 비교 그래프이다. 본 발명에 따른 부호화 방식이 0.18dB에서 0.43dB 정도까지 성능이 우수함을 보여준다.
도 24는 탑승원 QCIF 15Hz 영상 시퀀스에 대하여 본원 발명에 따라 적응적으로 세분된 GOP 구조를 도시한다. 움직임의 상황에 따라 GOP 크기가 세분되었으며 부호화 효율이 향상되었음을 확인할 수 있다.
도 25는 탑승원 영상의 64-80 프레임에 대하여 HHI 코덱과 본 발명의 적응적 GOP 구조를 갖는 계층적 B-픽쳐 구성 결과를 도시한다.
도 26은 탑승원 영상의 241번째 프레임으로 HHI 코덱과 본 발명에 따른 적응적 GOP 구조 기반 계층적 B-픽쳐 부호화에 따른 결과 영상간의 주관적 화질 비교를 나타낸 도면으로서, 좌측 그림에 나타난 바와 같이, HHI 코덱의 결과 영상의 왼쪽 하이라이트에서 손 부분이 뭉개지는 현상을 발견할 수 있고 오른쪽 하이라이트 부분에서는 색이 번지고 있음을 확인할 수 있다. 반면, 우측 그림에 나타난 바와 같이, 본 발명에 따른 적응적 GOP 구조 기반 부호화의 결과 영상에서는 손의 뭉개짐이 심하지 않고 색이 번지지 않고 있음을 확인할 수 있다.
도 27은 탑승원 영상의 279 프레임에 대하여 HHI 코덱과 본 발명의 적응적 GOP 구조 기반 부호화에 따른 결과 영상간의 주관적 화질 비교를 나타낸 도면으로 서, 좌측 그림에 나타난 바와 같이, HHI의 코덱의 결과 영상의 하이라이트 되어있는 부분에 블록킹 현상이 심하게 발생하고 있음을 확인할 수 있다.
도 28은 탑승원 영상의 298 프레임에 대하여 HHI 코덱과 본 발명의 적응적 GOP 구조 기반 부호화에 따른 결과 영상간의 주관적 화질 비교를 나타낸 도면으로서, 좌측 그림에 도시된 바와 같이, HHI의 코덱의 결과 영상의 하이라이트되어 있는 부분에 색 번짐 현상이 심하게 일어나고 있음을 확인할 수 있다.
도 29는 축구 영상 시퀀스의 QCIF와 CIF에 대하여 HHI의 코덱과 본 발명에 따른 적응적 GOP 구조 기반 부호화에 따른 결과 비교 그래프이다. 도시된 바와 같이, 본 발명에 따른 부호화 결과가 0.01dB에서 0.15dB까지 성능이 우수함을 보여준다.
도 30은 축구 영상 시퀀스의 4CIF에 대하여 HHI의 코덱과 본 발명에 따른 적응적 GOP 구조 기반 부호화에 따른 결과 비교 그래프이다. 도시된 바와 같이, 본 발명에 따른 부호화 결과가 0.06dB에서 0.14dB까지 성능이 우수함을 보여준다.
도 31은 축구 QCIF 15Hz 영상 시퀀스에 대하여 본 발명에 따라 적응적으로 세분화된 GOP의 구조를 도시한다. 움직임의 상황에 따라 GOP 크기가 세분되었으며 부호화 효율의 향상되었음을 확인할 수 있다.
도 32은 축구 영상 시퀀스의 QCIF와 CIF의 HHI의 코덱과 본 발명에 따른 적응적 GOP 구조 기반 부호화의 결과 비교 그래프이다. 본 발명에 따른 부호화 결과가 0.15dB에서 0.65dB까지 성능이 우수함을 보여준다.
도 33은 축구 QCIF 15Hz 영상 시퀀스에 대하여 본 발명에 따라 적응적으로 세분화된 GOP의 구조를 도시한다. 움직임의 상황에 따라 GOP 크기가 세분되었으며 부호화 효율의 향상되었음을 확인할 수 있다.
전술한 본 발명의 일실시예에 따른 적응적 GOP 구조 기반 부호화 방법에 따라 부호화된 비트스트림을 복호화하기 위해, 일 실시예에서는, 현재 국제 동영상 표준인 AVC(Advanced Video Coding) 방식을 이용하는 방법이다. RPLR(reference picture list reordering) 명령을 통해 가장 높은 레벨의 B-픽쳐(16크기의 GOP 부호화시에 "B4")는 "비-참조 픽쳐(non reference picture)"라는 것을 부호화해서 보내주며, MMCO(memory management control operation) 명령을 통해 인트라 프레임에 부호화해서 보내주어 이전의 GOP의 B-픽쳐들은 "unused for reference"라 마크하고 복호화된 픽쳐 버퍼에서 제거한다.
또다른 실시예에서는, GOP가 시작하는 프레임의 헤더에 GOP 크기 정보를 코딩하여 전달함으로써 적응적으로 세분된 GOP를 복호화할 수 있다. 디코더 구현의 일 예로서, 비트스트림의 헤더 부분에 “Variable-GOP-Size”라는 1 비트를 두어서 디코더에서 가변된 GOP 크기를 이용한다는 것을 통지해서 해당 조건에 맞게 복호화를 수행하게 할 수도 있다.
본 발명의 다른 실시예에 따르면, 디코더측에서의 비트스트림 복호화을 위해, 인코더는 각 GOP 단위의 비트스트림 앞쪽에 1개의 비트 플래그(flag)로서 GOP의 분할 여부를 나타내는“gop_divide_bit”를 추가하여 디코더에 전송할 수 있다. 이는 도 21에 도시된 GOP의 적응적 세분화 방식을 약간 변형하여 수행함으로써 가 능하다. 즉, 2N 프레임 크기의 영상 시퀀스에 대해 상기 최대 2N 크기의 GOP부터 최소 2M 크기의 GOP 까지 상이한 GOP 단위 부호화 각각으로부터 구해진 상기 차이값을 비교한 결과, 2N 크기의 GOP 단위 부호화로부터 구해진 상기 차이값이 가장 작다면(2120), 2N 크기의 GOP를 선택함과 동시에(2130) "gop_divide_bit"를 "0"으로 설정하고, 그렇지 않다면 "gop_divide_bit"를 "1"로 설정함으로써, GOP가 분할됨을 표시해준다. 다른 단계(2140) 내지 단계(2160)는 동일하게 수행될 것이다.
도 34는 본 발명의 일실시예에 따라 "gop_divide_bit”가 추가된 GOP 비트스트림의 구성을 도시하고, 도 35는 선정된 GOP 크기가 16(N=4, M=1)일 때, 본 발명의 적응적 GOP 구조 기반 코딩 결과 GOP가 (2, 2, 4, 8)의 세부 GOP로 세분화되었을 때 구성된 비트스트림의 예을 나타낸다.
전술한 바와 같이,"gop_divide_bit"가 추가되어 코딩된 비트스트림에 대한 복호화 알고리즘은 다음과 같다. 이 경우는 분할전의 GOP 크기의 승수인 N값이 함께 전달될 것이다.
① 2N 프레임 크기에 대응하는 비트스트림의"gop_divide_bit"값을 검사하여,
A. “0”이라면 2N 프레임 크기의 GOP를 복호화하고,
B. “1”이라면 N을 1 감소시킨다(N=N-1).
② 앞쪽의 2N 프레임 크기의 GOP와 뒤쪽의 2N 프레임 크기의 GOP에 대해 ①과정을 반복한다.
도 36은 도 35에 도시된 비트스트림을 본 발명의 일실시예에 따라 복호화하는 과정의 예을 도시한다. 도시된 바와 같이,
① 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “1”이므로 16크기의 GOP가 분할된 것으로 판단한다. 이에 따라, 앞쪽의 8 프레임 단위는 ② 과정으로 분기하고, 뒤쪽의 8 프레임 단위는 ③ 과정으로 분기한다.
② 8 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “1”이므로 8 프레임 크기의 GOP가 분할된 것으로 판단한다. 이에 따라, 앞쪽의 4 프레임 단위는 ④ 과정으로 분기하고, 뒤쪽은 4 프레임 단위는 ⑤과정으로 분기한다.
③ 8 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “0”이므로 8 프레임 크기의 GOP 비트스트림을 복호화하여 복호화 영상을 얻는다.
④ 4 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “1”이므로 4 프레임 크기의 GOP가 분할된 것으로 판단한다. 이에 따라, 앞쪽의 2 프레임 단위는 ⑥ 과정으로 분기하고, 뒤쪽의 2 프레임 단위는 ⑦과정으로 분기한다.
⑤ 4 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “0”이므로 4 프레임 크기의 GOP 비트스트림을 복호화하여 복호화 영상을 얻는다.
⑥ 2 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “0”이므로 2 프레임 크기의 GOP 비트스트림을 복호화하여 복호화 영상을 얻는다.
⑦ 2 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “0”이므로 2 프레임 크기의 GOP 비트스트림을 복호화하여 복호화 영상을 얻는다.
본 발명의 또다른 실시예에 따르면, 본 발명에 따른 적응적 GOP 구조 기반 동영상 부호화를 수행하는 인코더는 일정한 GOP 크기 단위 안에서 적응적으로 세분된 세부 GOP 정보를 함께 부호화하여 디코더에 전송할 수 있다. 도 37은 16 프레임 크기 GOP 단위 안에서 지능적으로 선택된 GOP 모드의 예를 나타낸다.
일 예에서, 16 프레임 크기의 일정한 GOP 단위 부호화의 경우에(N=4, M=1), 시퀀스 헤더에 일정한 단위 GOP 크기 정보를 부호화하며, 16 프레임 단위 각각의 GOP의 첫 프레임의 슬라이스 헤더내에 16 프레임 단위 내에서 적응적으로 세분된 세부 GOP 정보를 부호화한다. 세부 GOP 정보는 2의 승수로 나타내며 일정한 GOP 단위(16 프레임 크기)의 2의 승수인 4로 차분해주어 각각을 고정 2비트로 부호화한다. 예를 들어, 16 프레임 크기 GOP가 선택되었다면 “00b”, 8 프레임 크기 GOP가 선택되었다면 “01b”, 4 프레임 크기 GOP가 선택되었다면 “10b”, 2 프레임 크기 GOP가 선택되었다면 “11b”로 각각 부호화된다. 16 프레임 크기 내에서 선택된 GOP 들의 크기의 합이 16이 되면 선택된 GOP 정보 부호화를 마친다. 일예로서, GOP가 8,4,4 크기로 결정되었다면, 01-10-10의 총 6비트가 소요되며, GOP가 16 크기라면, 00의 2비트가 소요되고, 또한 4,2,2,8의 크기로 결정되었다면, 10-11-11-01의 총 8비트가 소요되고, 2,2,2,2,2,2,2,2라면 11-11-11-11-11-11-11-11의 총 16비트가 소요되어, GOP정보를 표시할 수 있다. 이와 같이, 인코더측에서 세부 GOP 정보를 비트스트림과 함께 전송하는 경우에, 디코더에서는 수신된 세부 GOP 정보에 근거하여 각각의 GOP를 복호화할 것이다.
한편, 디코더가 시간적 스케일러블(temporal scalable) 기능을 제공하는 경우에, 본 발명에 따른 지능형 GOP 선택 기반 동영상 부호화 방식에 따른 비트스트림은 기존의 일정한 프레임 크기 단위로 고정된 GOP에서의 계층적 B-픽쳐 부호화와 비트스트림 구조가 상이하기 때문에, 프레임 순서를 맞추어 복호화를 수행하여야 한다.
예를 들어, 도 38에 도시된 바와 같이, 16 프레임 크기의 GOP에서 세부 GOP 크기가 (8,4,2,2)로 선택되어 부호화된 경우에, 각각의 시간적 해상도에 따라 비트스트림 순서는 다음과 같다.
전체 해상도: I(0), B1(1), B2(2), B2(3), B3(4), B3(5), B3(6), B3(7), I(8), B1(9), B2(10), B2(11), I(12), B1(13), I(14), B1(15)
1/2 해상도: I(0), B1(1), B2(2), B2(3), I(8), B1(9), I(12), I(14)
1/4 해상도: I(0), B1(1), I(8), I(14)
1/8 해상도: I(0), I(14)
1/16 해상도: I(14)
도 39는 본 발명의 일실시예에 따라 시간적 스케일러블 기능을 제공하기 위해 디코더측 비트스트림 추출기(Extractor)에서 수행되는 1/L 해상도 지원 알고리즘을 도시한다. 본 발명의 적응적 GOP 구조 기반 부호화 방식에 따라 부호화된 비트스트림의 1/L 해상도 지원을 위한 영상 추출 알고리즘은 다음과 같다. GOP 크기가 2N이라 할 때,
① k(k는 정수)값을 0으로 초기화한다(S3910).
② FrameNum 값을 2N 으로 초기화한다(S3920).
③ FrameNum번째 프레임의 비트스트림으로부터 역방향으로 L번째까지의 프레임내에 저주파 영상이 있는지 검색하고(S3930), FrameNum을 L만큼 감소시킨다(S3940).
④ ③ 단계의 검색 결과에 따라(S3950),
(i) 저주파 영상이 존재하지 않는 경우에, k값을 1 증가시키고(S3970),
(ii) 저주파 영상이 존재하는 경우에, 역방향으로 제일 먼저 검색된 저주파 영상을 선택하고, k값이 0이 아닌 경우에는 k개의 후속 고주파 영상 을 또한 선택한 후에 k값을 0으로 재초기화한다(S3960).
⑤ FrameNum이 0이 될 때까지 상기 ③ 내지 ④ 단계를 반복적으로 수행함으로써(S3980), 최종적으로 2N /L 개의 영상 프레임을 선택한다.
예를 들어, 16 프레임 크기의 GOP에서 세부 GOP 크기가 (8,4,2,2))로 선택되어 부호화된 비트스트림에서 1/8 해상도 지원을 위해 전술한 알고리즘은 다음과 같이 적용될 것이다. 전체 비트스트림의 구성이"I(0), B1(1), B2(2), B2(3), B3(4), B3(5), B3(6), B3(7), I(8), B1(9), B2(10), B2(11), I(12), B1(13), I(14), B1(15)"이라 할 때,
① k는 0으로 초기화한다.
② FrameNum은 16으로 초기화한다.
③ FrameNum(=16)번째 비트스트림 B1(15)부터 역방향으로 저주파 영상을 검색하고, FrameNum은 8 감소시킨다(FrameNum = FrameNum-8).
④ 상기 검색결과, 저주파 영상 I(14)이 존재하기 때문에 I(14)을 선택한다.
⑤ FrameNum(=8)번째 비트스트림 B3(7)부터 역방향으로 저주파 영상을 검색하고, FrameNum을 8 감소시킨다(FrameNum = FrameNum-8).
⑥ ⑤의 검색 결과 저주파 영상 I(0)이 존재하기 때문에 I(0)을 선택한다.
⑦ FrameNum이 0이기 때문에 알고리즘을 종료한다. 알고리즘 수행 결과, 1/8 해상도 지원을 위해, I(0), I(14) 프레임이 선택되었음을 알 수 있다.
1/4 해상도를 지원하는 경우의 예는 다음과 같다.
① k값은 0으로 초기화한다.
② FrameNum은 16으로 초기화한다.
③ FrameNum(=16)번째 비트스트림 B1(15)부터 역방향으로 저주파 영상을 검색하고, FrameNum은 4 감소시킨다(FrameNum = FrameNum-4).
④ 검색 결과, 저주파 영상 I(14)가 존재하기 때문에 I(14)를 선택한다.
⑤ FrameNum(=12)이 0이 아니므로, 12번째 비트스트림 B2(10)부터 역방향으로 저주파 영상을 검색하고, FrameNum은 4 감소시킨다(FrameNum = FrameNum-4).
⑥ 검색 결과, I(8)이 존재하기 때문에 I(8)을 선택한다.
⑦ FrameNum(=8)이 0이 아니므로, 8번째 비트스트림 B3(7)부터 역방향으로 저주파 영상을 검색하고, FrameNum은 4 감소시킨다(FrameNum = FrameNum-4).
⑧ 검색 결과, 저주파 영상이 존재하지 않기 때문에 k를 1 증가시킨다.
⑨ FrameNum(=4)이 0이 아니므로, 4번째 비트스트림 B2(3)부터 역방향으로 저주파 영상을 검색하고, FrameNum은 4 감소시킨다(FrameNum = FrameNum-4).
⑩ 검색 결과, 저주파 영상 I(0)이 존재하기 때문에 I(0)를 선택하고, k가 1이기 때문에 바로 다음 프레임인 B1(1)을 선택하고, k를 0으로 재초기화한다.
⑪ FrameNum이 0이므로, 알고리즘을 종료한다. 상기 알고리즘 수행 결과, 1/4 해상도 지원을 위해, I(0), B1(1), I(8), I(14) 프레임이 선택되었음을 알 수 있다.
본 발명의 다른 실시예에 따르면, 인코더는 적응적 GOP 구조에 기반한 동영상 부호 화시에, 모드 결정 과정에서 선택되는 세부 GOP의 레벨(즉, 선택가능한 세부 GOP의 최소 크기)을 조정하여 원하는 시간적 스케일러빌리티를 제공할 수 있다. 일 예로서, GOP 크기가 2N (일반적으로, N??4)일 경우에, 1/2N-3 이상의 시간적 스케일러빌리티를 제공하기 위해 2N 크기의 세부 GOP, 2N-1 크기의 세부 GOP, 2N-2 크기의 세부 GOP, 2N-3 크기의 세부 GOP 단위에 기반한 부호화 결과값을 비교하여 모드 결정을 수행하는 경우를 "Level_1"이라 하고, 1/2N-2 이상의 시간적 스케일러빌리티를 제공하기 위해 2N 크기의 세부 GOP, 2N-1 크기의 세부 GOP, 2N-2 크기의 세부 GOP 단위에 기반한 부호화 결과값을 비교하여 모드 결정을 수행하는 경우를 "Level_2"라 하고, 1/2N-1 이상의 시간적 스케일러빌리티를 제공하기 위해 2N 크기의 세부 GOP, 2N-1 크기의 세부 GOP 단위에 기반한 부호화 결과값을 비교하여 모드 결정을 수행하는 경우를 "Level_3"이라 한다. 인코더는 모드 결정의 레벨 정보를 코딩하여 디코더(추출기)측에 전달함으로써 지원가능한 시간적 스케일러빌리티 범위를 알려줄 수 있다. 다음의 표 1은 모드 결정의 레벨에 따라 제공될 수 있는 시간적 스케일러빌리티 범위를 나타낸다.
Level 지원가능한 시간적 스케일러빌리티
Level_1 1/2N-3 이상
Level_2 1/2N-2 이상
Level_3 1/2N-1 이상
위와 같은 방법의 구체적인 일 예로 N이 4일 경우는 다음과 같다. 15Hz 인 영상에서 24 프레임 크기 GOP 단위의 부호화를 수행하는 경우에, 7.5Hz(1/24-3=1/2)이상의 시간적 스케일러빌리티를 제공하기 위해 24 프레임 크기 GOP, 23 프레임 크기 GOP, 22 프레임 크기 GOP, 21 프레임 크기의 GOP 단위 부호화 결과값을 비교하는 것을 Level_1이라하고, 3.75(1/24-2=1/4)Hz이상의 시간적 스케일러빌리티를 제공하기 위해 24 프레임 크기 GOP, 23 프레임 크기 GOP, 22 프레임 크기 GOP 단위의 부호화 결과값을 비교하는 것을 Level_2이라하며, 1.875Hz(1/24-1=1/8)이상의 시간적 스케일러빌리티를 제공하기 위해 24 프레임 크기 GOP, 23 프레임 크기 GOP 단위의 부호화 결과값을 비교하는 것을 Level_3으로 하여, 상기 레벨 정보를 부호화하여 전송한다.
즉, 인코더는, 세 가지의 시간적 스케일러빌리티 단계 중 특정한 시간적 스케일러빌리티를 제공할 경우 해당하는 레벨을 부호화하여 디코더측에 전송한다 (일 예로써, SVC 경우에 세 가지의 시간적 스케일러빌리티 중 특정한 시간적 스케일러빌리티를 제공하는 경우에, 이에 해당하는 레벨 정보를 부호화하여 추출기에 전송한다). 일 예로, Level_1을 "0"으로, Level_2를 "10"으로, Level_1을 "11"로 코딩할 수도 있다. 다른 일 예로 Level_1을 "1"로 Level_2를 "010"으로 Level_3을 "011"로 코딩할 수도 있다. 레벨 정보는 이외에도 다양한 방식으로 코딩될 수 있으며, 본 발명이 전술한 방식에만 국한되는 것은 아님을 당업자들은 용이하게 이해할 수 있을 것이다.
전술한 바와 같이, 지원가능한 시간적 스케일러빌리티 레벨 정보를 디코더의 추출기에 전송하기 위해, 도 40에 도시된 바와 같이, JSVM(Joint Scalable Video Model) 2.0의 스케일러빌리티 정보(Scalability Information) SEI 메시지의 신택스(syntax)에 항목을 추가할 수 있다.
도 40의 빗금친 영역에서,"use_adaptive_gop_structure_flag"는 동영상 부호화시에 적응적 GOP 구조의 이용여부를 나타내는 플래그로서, 그 값이 1이라면 적응적 GOP 구조가 이용되었음을 의미한다. "sub_gop_level"은 적응적 GOP 구조의 세부 GOP 레벨을 나타내는 것으로서, 추출기에 지원가능한 시간적 스케일러빌리티 레벨을 알려주기 위한 값이다.
전술한 본 발명은 하나 이상의 제조물상에 구현된 하나 이상의 컴퓨터 판독가능 매체로서 제공될 수 있다. 제조물은, 플로피 디스크, 하드 디스크, CD ROM, 플래시 메모리 카드,PROM, RAM, ROM, 또는 자기 테이프를 들 수 있다. 일반적으로, 컴퓨터 판독가능 프로그램은 임의의 프로그래밍 언어로 구현될 수 있다. 사용될 수 있는 언어의 일부 예에는 C, C++, 또는 JAVA가 포함된다.
이상에서, 특정 실시예와 관련하여 본 발명을 설명하였으나, 본 발명은 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 여러 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
본 발명에 따르면, 계층적 B-픽쳐를 이용한 동영상 부호화시에 GOP 크기를 성능에 따라 적응적으로 세분하여 부호화함으로써 높은 부호화 효율을 얻을 수 있다.

Claims (20)

  1. 동영상 시퀀스에 대한 계층적 B 픽쳐-기반 부호화를 수행하기 위한 방법에 있어서, 상기 방법은, 상기 동영상 시퀀스의 선정된 2N 프레임 크기 GOP 각각에 대하여,
    (a) 상기 최대 2N 크기부터 최소 2M(M은 1 이상이고 N보다는 작은 정수임) 크기의 상이한 GOP 단위 각각에 기반하여 부호화를 수행하고 계층적 B 픽쳐 예측을 수행하여 도출된 프레임과 상기 부호화 후에 재구성된 프레임간의 차이값을 구하는 단계와,
    (b) 상기 상이한 GOP 단위 각각의 부호화 결과로부터 구해진 상기 차이값에 기반하여 적어도 1개 이상의 세부 GOP를 선택하는 단계와,
    (c) 상기 선택된 적어도 1개 이상의 세부 GOP에 근거하여 상기 선정된 2N 프레임 크기의 GOP를 부호화함으로써 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는 계층적 B 픽쳐-기반 동영상 부호화 방법.
  2. 제1항에 있어서, 상기 (b) 단계는,
    (b1) 상기 2N 크기에서 상기 2M에 이르는 상이한 GOP 단위 부호화 각각으로부터 구해진 상기 차이값을 비교하여, 상기 2N 크기의 GOP 단위 부호화 결과로부터 구 해진 상기 차이값이 가장 작은 경우에 상기 2N 크기의 GOP를 세부 GOP로 선택하는 단계와,
    (b2) 상기 2N 크기 GOP 부호화 결과로부터 구해진 상기 차이값이 가장 작지 않다면, N을 1만큼 감소시키고(N=N-1),
    (b2-i) 상기 감소된 N과 M 값이 같다면 2M 크기의 GOP 2개를 세부 GOP로 선택하는 단계와,
    (b2-ii) 상기 감소된 N과 M값이 서로 같지 않다면 앞쪽의 2N 개 프레 임과 뒤쪽의 2N 개 프레임 각각에 대하여 상기 (b1) 내지 (b2) 단계를 반복 하는 단계
    를 포함하는 것을 특징으로 하는 계층적 B 픽쳐-기반 동영상 부호화 방법.
  3. 제1항에 있어서, 상기 차이값은, MSE(Mean Square Error), SAD(Sum of Absolute Difference), SSE(Sum of Squared Errors), SAD +λSADR(R은 GOP 단위의 비트수), SSE +λSSER를 포함하는 그룹에서 선택되는 것을 특징으로 하는 계층적 B 픽쳐-기반 동영상 부호화 방법.
  4. 제3항에 있어서, 상기 MSE 값은 수학식 5에 따라 계산되는 것을 특징으로 하 는 계층적 B 픽쳐-기반 동영상 부호화 방법.
    Figure 112005062166897-pat00005
    여기서, k는 한 프레임의 픽셀 개수를 나타내며, F(i)는 계층적 B-픽쳐 예측을 수행하여 도출된 프레임의 픽셀값을 나타내고 G(i)는 상기 부호화후에 재구성된 프레임의 픽셀값을 나타냄.
  5. 제1항에 있어서, 상기 (b) 단계는,
    (b1) 상기 2N 크기에서 상기 2M에 이르는 상이한 GOP 단위 부호화 각각으로부터 구해진 상기 차이값을 비교하여, 상기 2N 크기의 GOP 단위 부호화 결과로부터 구해진 상기 차이값이 가장 작은 경우에 상기 2N 크기의 GOP를 세부 GOP로 선택하고, 상기 GOP 비트스트림의 앞에 삽입되는 GOP 분할여부 비트를"0"으로 설정하는 단계와,
    (b2) 상기 2N 크기 GOP 부호화 결과로부터 구해진 상기 차이값이 가장 작지 않다면, 상기 GOP 비트스트림의 앞에 삽입되는 GOP 분할여부 비트를"1"로 설정하고, 상기 N을 1만큼 감소시킨(N=N-1) 후에,
    (b2-i) 상기 감소된 N과 M 값이 같다면 2M 크기의 GOP 2개를 세부 GOP로 선택하는 단계와,
    (b2-ii) 상기 감소된 N과 M값이 서로 같지 않다면 앞쪽의 2N 개 프레 임과 뒤쪽의 2N 개 프레임 각각에 대하여 상기 (b1) 내지 (b2) 단계를 반복 하는 단계
    를 포함하는 것을 특징으로 하는 계층적 B 픽쳐-기반 동영상 부호화 방법.
  6. 제1항에 있어서, 상기 선택된 적어도 1개 이상의 세부 GOP 정보를 GOP의 첫 번째 프레임 헤더 정보내에 표시하여 디코더에 전송하는 단계를 더 포함하는 계층적 B 픽처-기반 동영상 부호화 방법.
  7. 동영상 시퀀스에 대한 계층적 B 픽쳐-기반 부호화를 수행하기 위한 방법에 있어서, 상기 방법은,
    (a) 동영상 시퀀스의 선정된 2N 프레임 크기 GOP 각각에 대하여,
    (a1) 상기 최대 2N 크기부터 최소 2M(M은 1 이상이고 N보다는 작은 정수임) 크기의 상이한 GOP 단위 각각에 기반하여 부호화를 수행하고 상기 부호화 결과를 이용하여 적어도 1개 이상의 세부 GOP를 선택하는 단계와,
    (a2) 상기 선택된 적어도 1개 이상의 세부 GOP에 근거하여 상기 선 정된 2N 프레임 크기의 GOP를 부호화함으로써 비트스트림을 생성하는 단계 와,
    (b) 상기 생성된 비트스트림에 시간적 스케일러빌리티 범위 정보를 삽입하는 단계
    를 포함하는 것을 특징으로 하는 계층적 B 픽쳐-기반 동영상 부호화 방법.
  8. 제7항에 있어서, 상기 시간적 스케일러빌리티 범위는 상기 (a) 단계에서 선택된 상기 세부 GOP의 최소 크기(2M)에 기반한 것을 특징으로 하는 계층적 B 픽쳐-기반 동영상 부호화 방법.
  9. 제7항에 있어서, 상기 지원가능한 시간적 스케일러빌리티 범위는 1/2N-1 이상 , 1/2N-2 이상 및 1/2N-3 이상중 하나인 것을 특징으로 하는 계층적 B 픽쳐-기반 동영상 부호화 방법.
  10. 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화하기 위한 방법에 있어서, 상기 방법은, 선정된 2N 크기 GOP 비트스트림 각각에 대하여,
    (a) 상기 GOP 분할여부를 나타내는 비트값을 판독하여 검사하는 단계와,
    (b) 상기 비트값이 "0"인 경우에 상기 GOP 비트스트림을 복호화하는 단계와,
    (c) 상기 비트값이 "1"인 경우에 상기 GOP 비트스트림을 절반 크기의 앞쪽 GOP 비트스트림과 뒤쪽 GOP 비트스트림으로 분할하는 단계와,
    (d) 상기 앞쪽 GOP 비트스트림과 상기 뒤쪽 GOP 비트스트림 각각에 대하여 상기 (a) 내지 (c) 단계를 반복 수행하는 단계
    를 포함하는 것을 특징으로 하는 계층적 B 픽쳐-기반 부호화된 비트스트림의 복호화 방법.
  11. 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화하기 위한 방법에 있어서, 상기 방법은, 소정 크기의 GOP 비트스트림에 대하여,
    (a) GOP 분할여부를 결정하는 단계,
    (b) GOP의 분할이 없는 경우에, 상기 GOP 비트스트림을 복호화하는 단계, (c) GOP의 분할이 있는 경우에, 상기 GOP 비트스트림을 분할하는 단계; 및
    (d) 상기 분할된 GOP 비트스트림을 복호화하는 단계
    를 포함하는 것을 특징으로 하는 계층적 B 픽쳐-기반 부호화된 비트스트림의 복호화 방법.
  12. 제11항에 있어서, 상기 (d) 단계의 수행전에 상기 (c) 단계에서 분할된 GOP 비트스트림 각각에 대해 상기 (a) 내지 (c) 단계를 반복수행하는 것을 특징으로 하는 계층적 B 픽쳐-기반 부호화된 비트스트림의 복호화 방법.
  13. 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화하기 위한 방법에 있어서, 상기 방법은, 선정된 2N 크기 GOP 비트스트림 각각에 대하여,
    상기 GOP 비트스트림으로부터 적응적으로 세분화된 GOP 구조 정보를 판독하는 단계와,
    상기 GOP 구조 정보에 따라 상기 GOP 비트스트림을 복호화하는 단계
    를 포함하는 것을 특징으로 하는 계층적 B 픽쳐-기반 부호화된 비트스트림의 복호화 방법.
  14. 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화하기 위한 방법에 있어서, 상기 방법은, 소정 크기 GOP 비트스트림에 대하여,
    상기 GOP 비트스트림으로부터 가변 GOP 구조 정보를 판독하는 단계와,
    상기 가변 GOP 구조 정보에 따라 상기 GOP 비트스트림을 복호화하는 단계
    를 포함하는 것을 특징으로 하는 계층적 B 픽쳐-기반 부호화된 비트스트림의 복호화 방법.
  15. 계층적 B 픽쳐-기반으로 부호화된 비트스트림에 있어서,
    가변 GOP 크기에 관한 정보를 비트스트림의 헤더에 포함하는 것을 특징으로 하는 비트스트림 데이터 구조.
  16. 계층적 B 픽쳐-기반으로 부호화된 비트스트림에 있어서,
    각 GOP의 분할여부를 나타내는 정보를 포함하는 것을 특징으로 하는 비트스트림 데이터 구조.
  17. 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화시에 1/L 시간적 스케일러빌리티를 제공하기 위한 방법에 있어서, 상기 방법은, 선정된 2N 프레임 크기의 GOP 비트스트림 각각에 대하여,
    (a) k(k는 정수)값을 0으로 초기화하는 단계와,
    (b) FrameNum 값을 2N 으로 초기화하는 단계와,
    (c) FrameNum번째 프레임의 비트스트림으로부터 역방향으로 L번째까지의 프레임내에 저주파 영상이 있는지 검색하고, FrameNum을 L만큼 감소시키는 단계와,
    (d) 상기 (c) 단계의 검색 결과에 따라,
    (d1) 저주파 영상이 존재하지 않는 경우에, k값을 1 증가시키는 단 계와,
    (d2) 저주파 영상이 존재하는 경우에, 역방향으로 제일 먼저 검색된 저주파 영상을 선택하고, k값이 0이 아닌 경우에는 k개의 후속 고주파 영상 을 또한 선택하고 k를 0으로 재초기화하는 단계와,
    (e) FrameNum이 0이 될 때까지 상기 (c) 내지 (d) 단계를 반복적으로 수행함으로써, 최종적으로 2N /L 개의 프레임을 선택하는 단계
    를 포함하는 것을 특징으로 하는 1/L 시간적 스케일러빌리티 제공 방법.
  18. 제1항 내지 제9항중 어느 하나의 항에 따른 계층적 B 픽쳐-기반 부호화 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터에 의해 판독가능한 기록매체.
  19. 제10항 내지 제14항중 어느 하나의 항에 따른 계층적 B 픽쳐-기반 부호화된 비트스트림을 복호화하기 위한 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터에 의해 판독가능한 기록매체.
  20. 제17항에 따른 1/L 해상도 지원 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터에 의해 판독가능한 기록매체.
KR1020050102737A 2004-11-01 2005-10-31 적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법 KR100786132B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
KR1020040087801 2004-11-01
KR20040087801 2004-11-01
KR20050002242 2005-01-10
KR1020050002242 2005-01-10
KR1020050031714A KR20060045797A (ko) 2004-11-01 2005-04-16 계층적 ｂ 픽쳐를 이용한 동영상 부호화시에 ｇｏｐ를적응적으로 세분하기 위한 방법 및 장치
KR1020050031714 2005-04-16
KR1020050068497 2005-07-27
KR20050068497 2005-07-27

Publications (2)

Publication Number Publication Date
KR20060052346A KR20060052346A (ko) 2006-05-19
KR100786132B1 true KR100786132B1 (ko) 2007-12-21

Family

ID=36319387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050102737A KR100786132B1 (ko) 2004-11-01 2005-10-31 적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법

Country Status (3)

Country Link
US (1) US8184702B2 (ko)
KR (1) KR100786132B1 (ko)
WO (1) WO2006049412A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060043050A (ko) * 2004-09-23 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
FR2889017A1 (fr) * 2005-07-19 2007-01-26 France Telecom Procedes de filtrage, de transmission et de reception de flux video scalables, signal, programmes, serveur, noeud intermediaire et terminal correspondants
US7809057B1 (en) * 2005-09-27 2010-10-05 Ambarella, Inc. Methods for intra beating reduction in video compression
ZA200900857B (en) 2006-07-06 2010-05-26 Thomson Licensing Method and apparatus for decoupling frame number and/or picture order count (POC) for multi-view video encoding and decoding
US20090304068A1 (en) 2006-07-06 2009-12-10 Purvin Bibhas Pandit Method and Apparatus for Decoupling Frame Number and/or Picture Order Count (POC) for Multi-View Video Encoding and Decoding
KR100846512B1 (ko) * 2006-12-28 2008-07-17 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR100914514B1 (ko) * 2007-10-09 2009-09-02 전자부품연구원 비디오 코딩 장치 및 방법
KR20110017719A (ko) 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR101522850B1 (ko) * 2010-01-14 2015-05-26 삼성전자주식회사 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US9426477B2 (en) * 2010-02-25 2016-08-23 International Business Machines Corporation Method and apparatus for encoding surveillance video
US9338474B2 (en) 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
ITMI20130785A1 (it) * 2013-05-13 2014-11-14 Sky Italia S R L Codifica near-real time di un segnale lineare
JP6221606B2 (ja) * 2013-10-08 2017-11-01 ソニー株式会社 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム
US20160261869A1 (en) * 2015-03-04 2016-09-08 Ati Technologies Ulc Content-adaptive b-picture pattern video encoding
US10446188B2 (en) * 2015-12-10 2019-10-15 Cine Design Group Llc Method and apparatus for low latency non-linear media editing using file-based inserts into finalized digital multimedia files
CN105357531B (zh) * 2015-12-15 2018-07-20 北京网博视界科技股份有限公司 基于视频局部编码快速切割封装方法
CN112019850B (zh) * 2020-08-27 2022-08-23 广州市百果园信息技术有限公司 基于场景切换的图像组划分方法、视频编码方法及装置
CN113542804B (zh) * 2021-07-09 2023-10-27 杭州当虹科技股份有限公司 基于码流统计特征检测静帧序列的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990067723A (ko) * 1998-01-20 1999-08-25 포만 제프리 엘 비디오 프레임 시퀀스의 인코딩 방법 및 시스템과, 제조 물품
JPH11289546A (ja) 1998-03-31 1999-10-19 Sanyo Electric Co Ltd ビットレート算出方法、及びデータ処理装置
WO2004025965A1 (en) 2002-09-11 2004-03-25 Koninklijke Philips Electronics N.V. Video coding method and device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE425638T1 (de) * 1997-04-01 2009-03-15 Sony Corp Verfahren und vorrichtung zur bildkodierung und - dekodierung sowie verteilungsmedien dazu
US6058215A (en) * 1997-04-30 2000-05-02 Ricoh Company, Ltd. Reversible DCT for lossless-lossy compression
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990067723A (ko) * 1998-01-20 1999-08-25 포만 제프리 엘 비디오 프레임 시퀀스의 인코딩 방법 및 시스템과, 제조 물품
JPH11289546A (ja) 1998-03-31 1999-10-19 Sanyo Electric Co Ltd ビットレート算出方法、及びデータ処理装置
WO2004025965A1 (en) 2002-09-11 2004-03-25 Koninklijke Philips Electronics N.V. Video coding method and device

Also Published As

Publication number Publication date
US8184702B2 (en) 2012-05-22
US20070247549A1 (en) 2007-10-25
WO2006049412A1 (en) 2006-05-11
KR20060052346A (ko) 2006-05-19

Similar Documents

Publication Publication Date Title
KR100786132B1 (ko) 적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법
US8208557B2 (en) Video encoding and decoding method and apparatus using weighted prediction
KR101041823B1 (ko) 기준 픽쳐를 이용하여 비디오 신호를 인코딩/디코딩하는 방법 및 장치
US8054882B2 (en) Method and system for providing bi-directionally predicted video coding
US8625670B2 (en) Method and apparatus for encoding and decoding image
US7848428B2 (en) System and method for reducing visible artifacts in video coding using multiple reference pictures
JP5271271B2 (ja) 動きベクトル・トラッキングを利用した映像の符号化、復号化方法及び装置
US20060209961A1 (en) Video encoding/decoding method and apparatus using motion prediction between temporal levels
JP2008543161A (ja) 映像信号の階層間予測に対する情報の提供及び利用方法
JP2022515031A (ja) ビデオコーディングのための方法、機器及びコンピュータ・プログラム
US20090103613A1 (en) Method for Decoding Video Signal Encoded Using Inter-Layer Prediction
KR100883603B1 (ko) 기준 픽쳐를 이용하여 비디오 신호를 디코딩하는 방법 및장치
JP2008167449A (ja) 映像の符号化、復号化方法及び装置
US20130128973A1 (en) Method and apparatus for encoding and decoding an image using a reference picture
JP2008079326A (ja) スケーラブルビデオコーディング及びデコーディング方法、並びにその装置
CN113228667A (zh) 用于视频编码的方法及装置
KR100969908B1 (ko) 편집 장치 및 방법, 그리고 기록 매체
KR100809603B1 (ko) 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법
US7646811B2 (en) Method of determining reference picture, method of compensating for motion and apparatus therefor
KR100714071B1 (ko) 적응적으로 세분화된 ｇｏｐ 구조를 이용한 ｍｃｔｆ-기반동영상 부호화 및복호화 방법
US8594195B2 (en) Method and apparatus for encoding and decoding at least one image frame that is artificially inserted into image sequence
KR20060045797A (ko) 계층적 ｂ 픽쳐를 이용한 동영상 부호화시에 ｇｏｐ를적응적으로 세분하기 위한 방법 및 장치
CN112399180A (zh) 视频解码方法、装置及存储介质
KR101102393B1 (ko) 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치
US20060133488A1 (en) Method for encoding and decoding video signal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee