KR20060045797A - 계층적 ｂ 픽쳐를 이용한 동영상 부호화시에 ｇｏｐ를적응적으로 세분하기 위한 방법 및 장치 - Google Patents

계층적 ｂ 픽쳐를 이용한 동영상 부호화시에 ｇｏｐ를적응적으로 세분하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20060045797A
KR20060045797A KR1020050031714A KR20050031714A KR20060045797A KR 20060045797 A KR20060045797 A KR 20060045797A KR 1020050031714 A KR1020050031714 A KR 1020050031714A KR 20050031714 A KR20050031714 A KR 20050031714A KR 20060045797 A KR20060045797 A KR 20060045797A
Authority
KR
South Korea
Prior art keywords
gop
size
encoding
frame
picture
Prior art date
Application number
KR1020050031714A
Other languages
English (en)
Inventor
박광훈
박민우
정세윤
김규헌
홍진우
Original Assignee
한국전자통신연구원
학교법인 경희대학교
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 학교법인 경희대학교 filed Critical 한국전자통신연구원
Priority to KR1020050102737A priority Critical patent/KR100786132B1/ko
Priority to US11/577,329 priority patent/US8184702B2/en
Priority to PCT/KR2005/003630 priority patent/WO2006049412A1/en
Publication of KR20060045797A publication Critical patent/KR20060045797A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D1/00—Containers having bodies formed in one piece, e.g. by casting metallic material, by moulding plastics, by blowing vitreous material, by throwing ceramic material, by moulding pulped fibrous material, by deep-drawing operations performed on sheet material
    • B65D1/02—Bottles or similar containers with necks or like restricted apertures, designed for pouring contents
    • B65D1/0223—Bottles or similar containers with necks or like restricted apertures, designed for pouring contents characterised by shape
    • B65D1/0292—Foldable bottles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D1/00—Containers having bodies formed in one piece, e.g. by casting metallic material, by moulding plastics, by blowing vitreous material, by throwing ceramic material, by moulding pulped fibrous material, by deep-drawing operations performed on sheet material
    • B65D1/02—Bottles or similar containers with necks or like restricted apertures, designed for pouring contents
    • B65D1/0223—Bottles or similar containers with necks or like restricted apertures, designed for pouring contents characterised by shape
    • B65D1/023—Neck construction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D21/00—Nestable, stackable or joinable containers; Containers of variable capacity
    • B65D21/08—Containers of variable capacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65D—CONTAINERS FOR STORAGE OR TRANSPORT OF ARTICLES OR MATERIALS, e.g. BAGS, BARRELS, BOTTLES, BOXES, CANS, CARTONS, CRATES, DRUMS, JARS, TANKS, HOPPERS, FORWARDING CONTAINERS; ACCESSORIES, CLOSURES, OR FITTINGS THEREFOR; PACKAGING ELEMENTS; PACKAGES
    • B65D85/00—Containers, packaging elements or packages, specially adapted for particular articles or materials
    • B65D85/70—Containers, packaging elements or packages, specially adapted for particular articles or materials for materials not otherwise provided for
    • B65D85/72—Containers, packaging elements or packages, specially adapted for particular articles or materials for materials not otherwise provided for for edible or potable liquids, semiliquids, or plastic or pasty materials

Abstract

본 발명은 2N 개의 프레임 시퀀스로 이루어진 GOP(Group of Picture) 단위로 수행되는 계층적 B-픽쳐 기반 동영상 부호화시에 GOP를 적응적으로 세분하여 부호화하는 방법에 관한 것이다. 상기 방법은, 상기 GOP 단위의 프레임 시퀀스에 대하여, (a) 최대 2N 크기부터 최소 2M( M은 1 이상이고 N보다는 작은 정수임) 크기의 상이한 세부 GOP 단위 각각에 대하여 계층적 B-픽쳐 기반 부호화를 수행하여 서브밴드별로 구성된 원본 영상과 부호화 후에 재구성된 영상간의 차이값을 각각 구하는 단계와, (b) 상기 상이한 세부 GOP 단위의 부호화 각각의 결과로부터 구해진 상기 차이값에 기반하여 적어도 1개 이상의 세부 GOP 크기를 선택하는 단계와, (c) 상기 선택된 적어도 1개 이상의 세부 GOP 단위로 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 계층적 B-픽쳐를 이용한 동영상 부호화시에 GOP 크기를 성능에 따라 적응적으로 세분하여 부호화함으로써 높은 부호화 효율을 얻을 수 있다.
계층적 B-픽쳐 기반 부호화(hierarchical B-picture_based coding), 동영상 부호화, 적응적 GOP 구조.

Description

계층적 Ｂ 픽쳐를 이용한 동영상 부호화시에 ＧＯＰ를 적응적으로 세분하기 위한 방법 및 장치{Method and Apparatus for adaptively dividing the size of GOP in video coding based on hierarchical B-picture}
도 1은 GOP 크기가 8인 경우의 영상 시퀀스의 부호화 개념을 도시한 도면.
도 2는 크기가 16인 GOP 내에서 계층적 B-픽쳐 구조로 예측하는 과정을 도시한 도면.
도 3은 Foreman QCIF 15Hz 영상 시퀀스의 일부분(GOP=8)을 도시한 도면.
도 4는 축구 QCIF 15Hz 영상 시퀀스의 일부분(GOP=8)을 도시한 도면.
도 5는 다량의 인트라 블록이 포함된 양방향 예측 영상의 예를 도시한 도면.
도 6은 축구 QCIF 7.5Hz 영상을 GOP를 변경시키며 부호화한 결과 그래프.
도 7은 축구 QCIF 15Hz 영상을 GOP를 변경시키며 부호화한 결과 그래프.
도 8은 축구 QCIF 15Hz 영상 16-24 프레임의 MCTF 과정(GOP=8).
도 9는 축구 QCIF 15Hz 영상 16-24 프레임의 MCTF 과정(GOP=4).
도 10은 축구 QCIF 15Hz 영상 16-24 프레임의 MCTF 과정(GOP=2).
도 11은 Foreman QCIF 15Hz 영상을 GOP를 변경시키며 부호화한 결과 그래프.
도 12는 축구 QCIF 15Hz 영상 17~24프레임의 PSNR 그래프.
도 13은 Foreman QCIF 15Hz 영상 137~144프레임의 PSNR 그래프.
도 14는 Foreman QCIF 15Hz 영상 97~104프레임의 PSNR 그래프.
도 15는 Foreman QCIF 15Hz 영상 97~112프레임의 PSNR와 목표 성능치를 도시한 그래프.
도 16은 본 발명의 일실시예에 따른 적응적 GOP 구조 기반 동영상 부호화 알고리즘을 나타낸 흐름도.
도 17은 도 16에 도시된 부호화 알고리즘 수행시에 GOP 크기가 16(즉, N은 4)이고, 최소 선택가능한 GOP 크기가 2(즉, M은 1)인 경우의 구체적인 예를 도시한다.
도 18은 16 프레임 크기의 GOP 내에서 각 GOP 단위의 MSE값을 취하는 위치를 개념적으로 도시한다.
도 19는 본 발명의 일실시예에 따라 MSE값에 기반하여 16 프레임 크기의 GOP를 적응적으로 세분화하는 실제 과정을 개념적으로 나타낸 도면이다.
도 20은 도 19에서 세분화된 GOP 구조에 기반하여 부호화한 경우의 프레임 단위 PSNR 결과 그래프를 도시한다.
도 21은 본 발명의 일실시예에 따른 GOP의 적응적 세분화 방법을 나타낸 흐름도이다.
도 22는 탑승원 영상 시퀀스에 대한 HHI 코덱의 부호화 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 비교 그래프 (QCIF, CIF).
도 23은 탑승원 영상 시퀀스에 대한 4CIF의 HHI 코덱의 부호화 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 비교 그래프.
도 24는 탑승원 QCIF 15Hz영상 시퀀스에 대한 본발명에 따라 적응적으로 세분화된 GOP 구조를 도시한다.
도 25는 탑승원 영상(64-80 프레임)에 대한 HHI 코덱과 본 발명에 따른 적응적 GOP 구조 기반 계층적 B-픽쳐 구성 결과를 도시한다.
도 26은 탑승원 영상(241 프레임)에 대한 HHI 코덱과 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 주관적인 화질 비교를 나타낸다.
도 27은 탑승원 영상(279 프레임)에 대한 HHI 코덱 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 주관적인 화질 비교를 나타낸다.
도 28은 탑승원 영상(298 프레임)에 대한 HHI 코덱 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 주관적인 화질 비교를 나타낸다.
도 29는 축구 영상 시퀀스에 대한 HHI의 코덱 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 비교 그래프(QCIF, CIF).
도 30는 축구 영상 시퀀스에 대한 HHI의 코덱과 지능형 GOP 선택 부호화의 결과 비교 그래프(4CIF).
도 31은 축구 QCIF 15Hz 영상 시퀀스에 대하여 본 발명에 따라 적응적으로 세분화된 GOP 구조를 도시한다.
도 32는 축구 영상 시퀀스에 대한 HHI의 코덱 결과와 본 발명에 따른 적응적 GOP 구조 기반 부호화 결과의 비교 그래프(QCIF, CIF).
도 33은 축구 QCIF 15Hz 영상 시퀀스에 대하여 본 발명에 따란 적응적으로 세분화된 GOP 구조를 도시한다.
도 34는 본 발명의 일실시예에 따라 “gop_divide_bit”가 추가된 GOP 비트스트림의 구성을 도시한다.
도 35는 GOP 크기가 16인 경우에, 본 발명에 따라 GOP가 (2,2,4,8)로 세분화되어 부호화된 비트스트림의 예를 도시한다.
도 36은 도 35에 도시된 비트스트림을 본 발명의 일실시예에 따라 복호화하는 과정을 도시한다.
도 37은 16 프레임 크기 GOP에 대하여 본 발명에 따라 적응적으로 세분화된 GOP 구조의 예를 도시한다.
도 38은 본 발명에 따라 16 프레임 크기의 GOP가 (8,4,2,2)로 세분화되어 부호화되는 과정을 도시한다.
도 39는 본 발명의 일실시예에 따른 시간적 스케일러블 기능을 제공하기 위해 디코더측 비트스트림 추출기(extractor)에서 수행되는 1/n 해상도 지원 알고리즘의 흐름도를 도시한다.
본 발명은 동영상 부호화 방법에 관한 것으로, 구체적으로는 계층적 B-픽쳐(Hierarchical B-picture)를 이용한 동영상 부호화시에 GOP(Group Of Picture) 크기를 성능에 따라 지능적으로 세분하기 위한 방법에 관한 것이다.
MPEG-1, MPEG-2, MPEG-4 Part 2 Visual, MPEG-4 Part 10 AVC(Advance Video Coding) 또는 ITU-T H.264 등 기존의 동영상 국제 표준에서 사용되는 블록 단위 동영상 부호화 기법에서 블록 단위 MCTF(Motion Compensated Temporal Filtering)방법과 같은 방법으로 시간적 스케일러블(Temporal Scalability) 기능을 추가하기 위해 기존의 양방향에서 움직임을 예측하는 B Picture를 이용해 계층적(Hierarchical)으로 예측을 수행하여 구현하는 것이다. 이와 같이 부호화 된 비트스트림은 기존의 동영상 국제 표준 시스템으로 복호화하여 사용할 수 있게 된다.
계층적 B-픽쳐를 이용한 기존의 동영상 부호화 방법은 보통 2의 승수 단위로 고정되어 있는 GOP(Group of Picture) 단위로 부호화를 수행한다. 도 1은 영상 시퀀스의 GOP 크기가 8인 경우의 부호화 개념을 보여준다.
도 2는 크기가 16인 GOP 내에서 계층적 B-픽쳐 구조로 예측하는 방법을 도시한다. 먼저 양쪽의 인트라 영상 "I"로부터 양방향 예측 영상 "B1"을 예측하고 "I"와 "B1"을 이용하여 양방향 예측 영상 "B2"를 예측하고 "I"와 "B2", "B1"과 "B2"를 이용하여 양방향 예측 영상 "B3"를 예측하고 "I"와 "B3", "B1"과 "B3", "B2"와 "B3"를 이용하여 양방향 예측 영상 "B4"를 구하는 것이다. 이와 같이 계층적으로 예측한 후에 기존의 동영상 국제 표준을 이용하여 비트스트림을 생성한다. "I"와 "B1"과 "I"를 이용한 것을 기본 계층(Base Layer)으로 하고 "B2", "B3", "B4"를 각각의 강화 계층(Enhancement Layer)으로 하여 MCTF와 같은 시간적 스케일러블 기능을 구현할 수 있다.
도 2와 같이 계층적 B-픽쳐 구조를 구성하는 과정에서 "B1" 영상이나 "B2" 영상을 예측할 경우 참조 영상이 시간적으로 멀리 위치하기 때문에 예측의 효율이 떨 어질 가능성이 높다. 예측 효율은 영상 시퀀스의 특성 중에 움직임의 정도와 관련이 높다.
도 3은 Foreman QCIF 15Hz 영상 시퀀스의 일부분을 8크기의 GOP로 나누고 그것을 계층적인 B-픽쳐 부호화를 수행한 후의 데이터를 보여준다. 영상은 GOP 내에서 움직임이 거의 없음을 확인할 수 있고, 부호화 데이터를 통해 좋은 예측이 되고 있음을 확인할 수 있다. 이와 같이 움직임이 정적인 영상에서의 계층적 B-픽쳐 구조에서 좋은 예측 결과를 보여준다.
한편, 도 4는 축구 QCIF 15Hz 영상 시퀀스의 일부분을 8크기의 GOP로 나누어서 계층적 B-픽쳐 부호화를 수행한 후의 데이터를 보여준다. 도시된 바와 같이, 하나의 GOP 내에서 영상 변화가 심하게 일어나고 있음을 볼 수 있다. 이와 같이, 움직임이 역동적인 영상에서 계층적 B-픽쳐 구조의 예측은 잘 이루어지지 않음을 확인할 수 있으며, 특히 "B1"영상에서 인트라 블록이 많이 발생함을 확인할 수 있다. 즉, 영상안에서의 움직임 정도에 따라 부호화 효율이 변하는 것을 확인할 수 있다.
도 5는 축구 QCIF 15Hz 영상 시퀀스에 대하여 계층적 B-픽쳐 구조 부호화를 수행한 경우에 예측 영상에서 다량의 인트라 블록이 포함된 예를 보여준다.
움직임이 역동적인 영상 시퀀스에서 GOP 크기가 클수록 예측 영상의 예측 효율이 떨어지는 것이라는 사실을 바탕으로 영상의 GOP 크기를 변경하면서 실험하였다. 도 6과 도 7은 각각 축구 QCIF 7.5 Hz 영상과 축구 QCIF 15Hz 영상을 GOP 크기를 8, 4, 2, 1로 변경하면서 부호화한 결과를 그래프로 도시한 것이다. 도시된 바와 같이, GOP 크기가 작을수록 부호화 효율이 증가함을 알 수 있다.
도 8 내지 10 각각은 축구 QCIF 15Hz 영상 16에서 24프레임까지의 GOP 단위를 8, 4, 2로 변경하였을 때 계층적 B-픽쳐 구성을 보여준다. 그 결과, GOP 크기를 작게 하였을 경우에 하나의 GOP 내에서 인트라 영상이 증가되지만 부호화 효율은 더욱 향상됨을 확인할 수 있다. 이에 따라, 움직임이 역동적인 영상 시퀀스에서는 GOP 크기를 작게 할수록 부호화 효율이 증가한다는 것을 예측할 수 있다.
한편, 이와 반대로 움직임이 많지 않은 정적인 Foreman QCIF 15Hz 영상 시퀀스에 대하여 GOP 크기를 각각 8, 4, 2, 1로 변경하면서 부호화한 결과 그래프가 도 11에 도시되어 있다. 도시된 바와 같이, 정적인 영상 시퀀스에서는 GOP 크기가 클수록 부호화 효율이 높은 것을 그래프를 통해 확인할 수 있다.
도 12는 축구 QCIF 15Hz 영상 17에서 24프레임까지의 같은 비트율에서 각각의 GOP 크기(8, 4, 2)에 따른 PSNR 수치를 그래프로 나타낸 것이다. 이 결과를 통해 현재 GOP 내에서는 세 가지 GOP 크기 중에 GOP가 2일 경우에 가장 좋은 성능을 나타냄을 확인할 수 있다.
도 13은 Foreman QCIF 15Hz 영상 시퀀스의 137에서 144프레임까지 같은 비트율에서 GOP 크기를 각각 8, 4, 2로 계층적 B-픽쳐 부호화한 결과를 프레임 단위의 PSNR 수치를 그래프로 표현한 것이다. 이 그래프를 통해, 현재의 GOP 내에서는 세 가지 GOP 크기로 부호화한 결과중에 GOP 크기가 8인 경우에 가장 좋은 성능을 보여줌을 확인할 수 있다.
상기에서는 GOP 크기와 부호화 성능간의 관계를 설명하기 위해 대표적으로 움직임이 많은 역동적인 영상 시퀀스와 움직임이 많지 않은 정적인 영상 시퀀스를 예로 들어 설명하였으나, 통상적으로, 하나의 영상 시퀀스 안에는 다양한 움직임을 포함하고 있다. 예를 들어, Foreman 영상 시퀀스 안에서도 움직임 정도가 다양함을 도 14의 그래프를 통하여 확인할 수 있다. 도 14의 Foreman QCIF 15Hz 영상 시퀀스의 97에서 104프레임까지 같은 비트율에서 GOP를 각각 8, 4, 2로 계층적 B-픽쳐 기반 부호화한 결과를 프레임 단위의 PSNR 수치를 그래프로 표현한 것이다. 이 그래프를 통해 GOP 크기가 8일 때보다 4나 2인 경우에 부호화 효율이 높은 것을 확인할 수 있다. 이 그래프는 Foreman 영상 시퀀스의 전체의 결과와 정반대의 결과를 보여주고 있다. GOP 크기를 4 또는 2로 하여 부호화를 할 때 전체적인 부호화의 효율을 좀 더 높일 수 있을 것이다. 그리고 하나의 GOP 내에서도 GOP 크기를 4 또는 2로 할 경우 앞의 4개 프레임은 GOP 크기를 2로 할 때 가장 성능이 좋고, 뒤의 4개의 프레임은 GOP 크기를 4로 할 때 부호화 효율이 좋아질 것이라는 예측을 할 수 있다.
도 15의 Foreman QCIF 15Hz 영상 97에서 112까지 프레임의 PSNR 수치를 보면 도 14의 경우와 같이 맨 앞의 4개의 프레임은 GOP 크기를 2로, 그 다음의 4개의 프레임은 GOP크기를 4로, 그 다음 8개 프레임은 8로 부호화한다면 목표로 하는 최적의 부호화 효율을 얻을 수 있을 것이다.
이와 같이, 기존의 계층적 B-픽쳐를 이용한 동영상 부호화시에 GOP 크기를 성능에 따라 지능적으로 선택할 수 있는 방법을 사용하면 높은 부호화 효율을 얻는 것이 확실하다.
따라서, 본 발명의 목적은 계층적 B-픽쳐를 이용한 동영상 부호화시에 GOP 크기를 성능에 따라 적응적으로 세분화하기 위한 방법을 제공하는 것이다.
본 발명의 다른 목적은 2N개 프레임 크기의 GOP 단위로 이루어지는 계층적 B-픽쳐 기반 동영상 부호화시에 GOP를 성능에 따라 적응적으로 세분하여 부호화하는 방법을 제공하는 것이다.
본 발명의 또다른 목적은 적응적 GOP　구조에 기반하여 계층적 B-픽쳐 부호화된 동영상의 비트스트림을 복호화하기 위한 방법을 제공하는 것이다.
전술한 본 발명의 목적을 달성하기 위해, 본 발명의 일 특징에 따르면, 2N 개의 프레임 시퀀스로 이루어진 GOP(Group of Picture) 단위로 수행되는 계층적 B-픽쳐를 이용한 동영상 부호화시에 GOP를 적응적으로 세분하여 부호화하는 방법이 제공된다. 상기 방법은, 상기 GOP 단위의 프레임 시퀀스에 대하여, (a) 최대 2N 크기부터 최소 2M( M은 1 이상이고 N보다는 작은 정수임) 크기의 상이한 세부 GOP 단위 각각에 대하여 계층적 B-픽쳐 부호화를 수행하여 서브밴드별로 구성된 원본 영상과 부호화 후에 재구성된 영상간의 차이값을 각각 구하는 단계와, (b) 상기 상이한 세부 GOP 단위의 부호화 각각의 결과로부터 구해진 상기 차이값에 기반하여 적어도 1개 이상의 세부 GOP 크기를 선택하는 단계와,(c) 상기 선택된 적어도 1개 이상의 세부 GOP 단위로 비트스트림을 생성하는 단계를 포함하는 것을 특징으로 한다. 일 실시예에서, 상기 (b) 단계는, ① 상기 최대 2N 크기부터 최소 2M 크기의 GOP까지 상이한 세부 GOP 단위 부호화 각각으로부터 구해진 상기 차이값을 비교하여, 상기 2N 크기의 세부 GOP 단위 부호화로부터 구해진 상기 차이값이 가장 작은 경우에 상기 2N 크기의 세부 GOP를 선택하는 단계와, ② 상기 2N 크기 GOP 부호화로부터 구해진 상기 차이값이 가장 작지 않다면, N을 1만큼 감소시키고(N=N-1), (i) 상기 감소된 N과 M 값이 같다면 2M 크기의 세부 GOP 2개를 선택는 단계와, (ii) 상기 감소된 N과 M값이 서로 같지 않다면 앞쪽의 2N 크기의 프레임과 뒤쪽의 2N 크기의 프레임 각각에 대하여 상기 ① 내지 ② 단계를 반복하는 단계를 포함한다. 상기 차이값은, MSE(Mean Square Error), SAD(Sum of Absolute Difference), SSE(Sum of Squared Errors), SAD +λSADR(R은 GOP 단위의 비트수), SSE +λSSER를 포함하는 그룹에서 선택될 수 있다.
본 발명의 다른 특징에 따르면, 2N 개의 프레임 시퀀스로 이루어진 GOP 단위로 수행되는 계층적 B-픽쳐를 이용한 동영상 부호화시에 GOP를 적응적으로 세분하여 부호화하는 부호화기가 제공된다. 상기 부호화기는, 상기 GOP 단위의 프레임 시퀀스 각각에 대하여, (a) 최대 2N 크기부터 최소 2M( M은 1 이상이고 N보다는 작은 정수임) 크기의 상이한 세부 GOP 단위 각각에 대하여 계층적 B-픽쳐 부호화를 수행하여 서브밴드별로 구성된 원본 영상과 부호화 후에 재구성된 영상간의 차이값을 각각 구하는 위한 수단과,(b) 상기 상이한 세부 GOP 단위의 부호화 각각의 결과로부터 구해진 상기 차이값에 기반하여 적어도 1개 이상의 세부 GOP 크기를 선택하기 위한 수단과, (c) 상기 선택된 적어도 1개 이상의 세부 GOP 단위로 비트스트림을 생성하기 위한 수단을 포함한다.
본 발명의 또다른 특징에 따르면, 계층적 B-픽쳐를 이용한 동영상 부호화 방식에 기반하여 2N개의 프레임 시퀀스에 대하여 생성된 비트스트림의 복호화시에 1/L 해상도를 지원하기 위한 방법이 제공된다. 상기 방법은 ① k(k는 정수)값을 0으로 초기화하는 단계와, ② FrameNum 값을 2N으로 초기화하는 단계와, ③ FrameNum번째 프레임의 비트스트림으로부터 역방향으로 L번째까지의 프레임내에 저주파 영상이 있는지 검색하고, FrameNum을 L만큼 감소시키는 단계와, ④ 상기 ③ 단계의 검색 결과에 따라, (i) 저주파 영상이 존재하지 않는 경우에, k값을 1 증가시키는 단계와, (ii) 저주파 영상이 존재하는 경우에, 역방향으로 제일 먼저 검색된 저주파 영상을 선택하고, k값이 0이 아닌 경우에는 k개의 후속 고주파 영상을 또한 선택하고 k를 0으로 재초기화하는 단계와, ⑥ FrameNum이 0이 될 때까지 상기 ③ 내지 ⑤ 단계를 반복적으로 수행함으로써, 최종적으로 2N /L 개의 영상 프레임을 선택하는 단계를 포함한다.
이하에서는, 도 16 내지 도 38을 참조하여, 본 발명을 예시적으로 상세히 설 명하겠다. 그러나, 이하의 상세한 설명은 단지 예시적인 목적으로 제공되는 것이며 본 발명의 개념을 임의의 특정 실시예에 한정하는 것으로 해석되어서는 안 될 것이다.
도 16을 참조하면, 본원발명의 일실시예에 따른 적응적 GOP 구조 기반 동영상 부호화 방법을 개략적으로 나타낸 흐름도가 도시되어 있다. 2N 프레임 크기의 GOP 단위로 부호화가 수행되며 선택가능한 최소 GOP 크기가 2M이라 가정하면(N, M은 정수이고, 0 <M < N), 적응적 GOP 구조 기반 동영상 부호화 방법은 다음 과정에 따라 수행된다.
① 1개 GOP 단위 영상 프레임 시퀀스에 대해, 최대 2N 크기의 GOP부터 최소 2M 크기의 GOP까지 상이한 GOP 단위 각각에 기반하여 부호화를 수행함으로써 프레임마다 계층적 B-픽쳐 수행 결과 도출된 서브밴드(subband)별로 구성된 원본 영상과 부호화 후에 재구성된 영상의 MSE(Mean Square Error) 값을 각각 구한다(S1610-S1630). MSE값을 기준으로 취하는 것은 일예에 불과하며, 대안적으로는, SAD(Sum of Absolute Difference), SSE(Sum of Squared Errors), SAD +λSADR(R은 GOP 단위의 비트수), SSE +λSSER 중에서 하나를 기준으로 취할 수 있다. 이들에 관하여는 후술하기로 한다.
② ① 과정에서 구해진 GOP 크기별 MSE값에 기반하여, 상기 2N 크기의 GOP를 적어도 1개 이상의 세부 GOP들로 분할한다(S1640).
③ 분할된 세부 GOP 구조에 기반하여 상기 2N 프레임 크기의 영상 시퀀스에 대한 연속된 비트스트림을 생성한다(S1650).
④ 다음 GOP의 영상 프레임 시퀀스에 대하여 ① 내지 ③ 과정을 반복한다.
상기 실시예에서, GOP 크기 선택시에 기준이 된 각 프레임의 MSE 값은 다음 수식에 따라 구해질 수 있다.
Figure 112005019878136-PAT00001
상기 수식에서, k는 한 프레임의 픽셀 개수를 나타내며, F(i)는 계층적 B-픽쳐 부호화를 수행하여 도출된 서브밴드별 원본 프레임 픽셀의 실제값을 나타내고 G(i)는 부호화 후 재구성된 프레임 픽셀의 실제값을 나타낸다.
도 17은 도 16에 도시된 부호화 알고리즘 수행시에 GOP 크기가 16(즉, N은 4)이고, 최소 선택가능한 GOP 크기는 2(즉, M은 1)인 경우의 구체적인 예를 도시한 것이다. 도시된 바와 같이, GOP 크기가 16개 프레임인 경우에 GOP의 적응적 세분화는 다음과 같이 이루어진다.
① 16개의 프레임에 대해 GOP 크기가 16(N=4), 8(N=3), 4(N=2), 2(N=M=1)인 경우 각각에 대하여 부호화를 수행한 결과로부터 산출된 MSE 값 각각을 비교한다(1702).
비교 결과에 따라,
A. 16 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 16 프레임 크기의 GOP를 선택하고 선택 과정을 종료한다(1704).
B. 16 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 앞쪽의 8프레임 단위는 ②로 분기하고(1706), 뒤쪽의 8프레임 단위는 ③으로 각각 분기한다(1708).
② 앞쪽 8 프레임 단위에서 각각의 부호화의 MSE 값을 비교해서,
A. 8 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 8 프레임 크기의 GOP를 선택한다(1710).
B.8 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 앞쪽의 4프레임 단위는 ④로 분기하고(1714), 뒤쪽의 4프레임 단위는 ⑤로 각각 분기한다(1716).
③ 뒤쪽 8 프레임 단위에서 각각의 부호화의 MSE 값을 비교해서,
A. 8 프레임 크기의 GOP 부호화 결과의 MSE가 가장 작을 경우에는 8 프레임 크기의 GOP를 선택하고 선택 과정을 종료한다(1712).
B. 8 프레임 크기의 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 앞쪽의 4 프레임 단위는 ⑥으로 분기하고(1718), 뒤쪽의 4 프레임 단위는 ⑦로 각각 분기한다(1720).
④ 앞쪽 4 프레임 단위에서 각각의 부호화 MSE 값을 비교해서,
A. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 4 프레임 크기의 GOP를 선택한다(1722).
B. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 2 프레임 크기의 GOP 2개를 선택한다(1724).
⑤ 뒤쪽 4 프레임 단위에서 각각의 부호화 결과의 MSE 값을 비교해서,
A. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 4 프레임 크기의 GOP를 선택한다(1726).
B. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 2 프레임 크기의 GOP 2개를 선택한다(1728).
⑥ 앞쪽 4 프레임 단위에서 각각의 부호화 결과의 MSE 값을 비교해서,
A. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 4 프레임 크기의 GOP를 선택한다(1730).
B. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 2 프레임 크기의 GOP 2개를 선택한다(1732).
⑦ 뒤쪽 4 프레임 단위에서 각각의 부호화 결과의 MSE 값을 비교해서,
A. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작을 경우에는 4 프레임 크기의 GOP를 선택 및 종료한다(1734).
B. 4 프레임 크기 GOP 부호화 결과의 MSE가 가장 작지 않을 경우는 2 프레임 크기의 GOP 2개를 선택 및 종료한다(1736).
전술한 도 17의 알고리즘을 의사 코드(Pseudo Code)로 나타내면 다음과 같다.
gop_mode = min MSE_16, (MSE_8_1 + MSE_8_2)/2, (MSE_4_1 + MSE_4_2 + MSE_4_3 + MSE_4_4)/4,
(MSE_2_1 + MSE_2_2 + MSE_2_3 + MSE_2_4 + MSE_2_5 + MSE_2_6 + MSE_2_7 + MSE_2_8)/8
If (gop_mode == MSE _16)
16크기 GOP 선택
mode Decision 끝
Else
gop_mode = min MSE_8_1, (MSE_4_1 + MSE_4_2)/2, (MSE_2_1 + MSE_2_2 + MSE_2_3 + MSE_2_4)/4
If (gop_mode == MSE_8_1)
8크기 GOP 선택
Else
gop_mode = min MSE_4_1, (MSE_2_1 + MSE_2_2)/2
If (gop_mode == MSE_4_1)
4크기 GOP 선택
Else
2 크기 GOP 선택
2 크기 GOP 선택
gop_mode = min MSE_4_2, (MSE_2_3 + MSE_2_4)/2
If (gop_mode == MSE_4_2)
4크기 GOP 선택
Else
2 크기 GOP 선택
2 크기 GOP 선택
gop_mode = min MSE_8_2, (MSE_4_3 + MSE_4_4)/2, (MSE_2_5 + MSE_2_6 + MSE_2_7 + MSE_2_8)/4
If (gop_mode == MSE_8_1)
8크기 GOP 선택
mode decision 끝
Else
gop_mode = min MSE_4_3, (MSE_2_5 + MSE_2_6)/2
If (gop_mode == MSE_4_3)
4크기 GOP 선택
Else
2 크기 GOP 선택
2 크기 GOP 선택
gop_mode = min MSE_4_4, (MSE_2_7 + MSE_2_8)/2
If (gop_mode == MSE_4_4)
4크기 GOP 선택
mode decision 끝
Else
2 크기 GOP 선택
2 크기 GOP 선택
mode decision 끝
도 18은 16 프레임 크기의 영상 시퀀스에 대하여 GOP 크기가 16, 8, 4, 2 각각으로 부호화된 결과로서, 계층적 B-픽쳐를 수행하여 도출된 서브밴드별로 구성된 원본 영상과, 부호화 이후에 재구성된 영상의 GOP 단위로 MSE값을 취하는 위치를 개념적으로 도시한다.
도 19는 GOP 크기가 16 프레임인 영상 시퀀스의 일예로서 Foreman QCIF 15Hz 영상의 81에서 96까지의 프레임에 대하여 본 발명에 따라 GOP를 적응적으로 세분화하는 과정에서 GOP 크기가 16, 8, 4, 2 각각인 경우의 부호화 결과 산출된 MSE의 값을 보여주고 있으며 실제 선택된 세부 GOP 크기는 음영으로 표시하였다. 세부 GOP 크기는 다음과 같은 과정을 통해 결정된다.
① 먼저 16 프레임 단위의 비교에서 16 프레임 크기 GOP 부호화 결과가 가장 작지 않으므로 앞쪽의 8 프레임 단위와 뒤쪽의 8 프레임 단위 비교를 각각 수행한다.
② 앞쪽의 8 프레임 단위 비교에서 8 프레임 크기 GOP 부호화 결과가 가장 작으므로 8 프레임 크기의 GOP를 선택한다.
③ 뒤쪽의 8 프레임 단위 비교에서 8 프레임 크기 GOP 부호화 결과가 가장 작지 않으므로 앞쪽의 4 프레임 단위와 뒤쪽의 4 프레임 단위 비교를 각각 수행한다.
④ 앞쪽의 4 프레임 단위 비교에서 4 프레임 크기 GOP 부호화 결과가 가장 작으므로 4 프레임 크기의 GOP를 선택한다.
⑤ 뒤쪽의 4 프레임 단위 비교에서 4 프레임 크기 GOP 부호화 결과가 가장 작지 않으므로 2 프레임 크기의 GOP 2개를 선택하고 종료한다.
도 20은 도 19에 따라 적응적으로 세분화된 GOP 구조에 기반하여 계층적 B-픽쳐 부호화한 경우의 프레임 단위 PSNR 결과 그래프를 도시한다. 여기서 점선은 현재 국제 표준화가 진행중인 SVC(Scalable Video Coding)에 HHI가 제안한 SVM(Scalable Video Model) 3.0에 따른 PSNR(영상화질)이고, 실선은 해당 SVM 3.0에 본 발명에서 제안한 지능형 GOP선택을 적용한 경우의 PSNR로서, PSNR의 비교 결 과를 통해 성능이 향상됨을 확인할 수 있다.
도 21은 본 발명의 일실시예에 따른 GOP의 적응적 세분화 방법을 나타낸 흐름도이다. 도시된 바와 같이, 단계(S2110)에서, 2N 프레임 크기의 영상 시퀀스에 대해 상기 최대 2N 크기의 GOP부터 최소 2M 크기의 GOP 까지 상이한 GOP 단위의 부호화 결과 각각으로부터 구해진 차이값들을 비교한다. 비교 결과, 2N 크기의 GOP 단위 부호화로부터 구해진 차이값이 가장 작은지를 판단하고(S2120), 그렇다면 2N 크기의 GOP를 선택한다(S2130).
그렇지 않다면, N을 1만큼 감소시키고(S2140), 상기 감소된 N과 M 값을 비교한 후에(2150), 비교 결과 서로 값이 같다면 2M 크기 GOP 2개를 선택한다(S2160).
상기 감소된 N과 M값이 서로 같지 않다면, 앞쪽의 2N 크기의 시퀀스와 뒤쪽의 2N 크기의 시퀀스 각각에 대하여 전술한 단계(S2110-S2160)를 반복한다.
상기 실시예에서는, GOP 크기 선택시에 비교되는 값으로서 MSE를 이용하였으나, 전술한 바와 같이, 대안적으로는 입력된 시퀀스의 원본 영상과 부호화후 재구성된 영상의 SAD(Sum of Absolute Difference) 또는 SSE(Sum of Squared Error)를 이용할 수도 있다.
또다른 실시예에서, GOP 크기 선택시에 비교되는 값으로서, 기본 국제 동영 상 표준인 AVC(Advanced Video Coding)에서 사용한 Lagrangian 최적화 기법을 사용할 수도 있다. 이는 SAD 또는 SSE와 함께 비트 수와 Lagrangian 계수의 곱의 합으로 표현되는 값을 이용하는 것이다. Lagrangian 계수는 양자화 계수(Qp) 값에 따라 다음 식과 같이 정의 된다.
Figure 112005019878136-PAT00002
비교하는 값이 되는 J는 이하의 식에 따라 구해질 수 있다. SAD를 사용할 경우는
Figure 112005019878136-PAT00003
와 같고, SSE를 사용할 경우는
Figure 112005019878136-PAT00004
과 같다. (R은 GOP를 부호화하였을 경우의 GOP 단위의 비트 수를 나타낸다)
도 22는 탑승원 QCIF 및 CIF 영상 시퀀스에 대하여 SVC (Scalable Video Coding)에 HHI가 제안한 SVM (Scalable Video Model) 3.0 코덱의 부호화 결과 해당 SVM 3.0에 본 발명에서 제안한 적응적 GOP 구조 기반 부호화의 비트율과 PSNR(비트율 대 화질)의 결과 비교 그래프이다. 상기 예에서 본 발명에 따른 적응적 GOP 구조 기반 부호화는 GOP 크기가 16일 경우의 실험 결과로서 도 16의 알고리즘에서 N=4, M=1의 경우의 예이며, GOP 크기 결정시에 프레임마다 계층적 B-픽쳐를 수행하여 도출된 서브밴드별로 구성된 원본 영상과 부호화 후 재구성된 영상의 MSE (Mean Square Error)를 사용하였다. 상기 결과 그래프는 본 발명에 따른 적응적 GOP 구조 기반 부호화가 기존의 SVM 3.0 부호화에 비해 0.02dB에서 0.45dB 정도 성능이 우수함을 보여준다.
도 23은 탑승원 4CIF 영상 시퀀스에 대하여 HHI의 코덱과 본 발명에 따른 적응적 GOP 구조 기반 부호화의 결과 비교 그래프이다. 본 발명에 따른 부호화 방식이 0.18dB에서 0.43dB 정도까지 성능이 우수함을 보여준다.
도 24는 탑승원 QCIF 15Hz 영상 시퀀스에 대하여 본원 발명에 따라 적응적으로 세분된 GOP 구조를 도시한다. 움직임의 상황에 따라 GOP 크기가 세분되었으며 부호화 효율이 향상되었음을 확인할 수 있다.
도 25는 탑승원 영상의 64-801 프레임에 대하여 HHI 코덱과 본 발명의 적응적 GOP 구조를 갖는 계층적 B-픽쳐 구성 결과를 도시한다.
도 26은 탑승원 영상의 241번째 프레임으로 HHI 코덱과 본 발명에 따른 적응적 GOP 구조 기반 계층적 B-픽쳐 부호화에 따른 결과 영상간의 주관적 화질 비교를 나타낸 도면으로서, 좌측 그림에 나타난 바와 같이, HHI 코덱의 결과 영상의 왼쪽 하이라이트에서 손 부분이 뭉개지는 현상을 발견할 수 있고 오른쪽 하이라이트 부분에서는 색이 번지고 있음을 확인할 수 있다. 반면, 우측 그림에 나타난 바와 같이, 본 발명에 따른 적응적 GOP 구조 기반 부호화의 결과 영상에서는 손의 뭉개짐이 심하지 않고 색이 번지지 않고 있음을 확인할 수 있다.
도 27은 탑승원 영상의 279 프레임에 대하여 HHI 코덱과 본 발명의 적응적 GOP 구조 기반 부호화에 따른 결과 영상간의 주관적 화질 비교를 나타낸 도면으로서, 좌측 그림에 나타난 바와 같이, HHI의 코덱의 결과 영상의 하이라이트 되어있는 부분에 블록킹 현상이 심하게 발생하고 있음을 확인할 수 있다.
도 28은 탑승원 영상의 298 프레임에 대하여 HHI 코덱과 본 발명의 적응적 GOP 구조 기반 부호화에 따른 결과 영상간의 주관적 화질 비교를 나타낸 도면으로서, 좌측 그림에 도시된 바와 같이, HHI의 코덱의 결과 영상의 하이라이트되어 있는 부분에 색 번짐 현상이 심하게 일어나고 있음을 확인할 수 있다.
도 29는 축구 영상 시퀀스의 QCIF와 CIF에 대하여 HHI의 코덱과 본 발명에 따른 적응적 GOP 구조 기반 부호화에 따른 결과 비교 그래프이다. 도시된 바와 같이, 본 발명에 따른 부호화 결과가 0.01dB에서 0.15dB까지 성능이 우수함을 보여준다.
도 30은 축구 영상 시퀀스의 4CIF에 대하여 HHI의 코덱과 본 발명에 따른 적응적 GOP 구조 기반 부호화에 따른 결과 비교 그래프이다. 도시된 바와 같이, 본 발명에 따른 부호화 결과가 0.06dB에서 0.14dB까지 성능이 우수함을 보여준다.
도 31은 축구 QCIF 15Hz 영상 시퀀스에 대하여 본 발명에 따라 적응적으로 세분화된 GOP의 구조를 도시한다. 움직임의 상황에 따라 GOP 크기가 세분되었으며 부호화 효율의 향상되었음을 확인할 수 있다.
도 32은 축구 영상 시퀀스의 QCIF와 CIF의 HHI의 코덱과 본 발명에 따른 적응적 GOP 구조 기반 부호화의 결과 비교 그래프이다. 본 발명에 따른 부호화 결과 가 0.15dB에서 0.65dB까지 성능이 우수함을 보여준다.
도 33은 축구 QCIF 15Hz 영상 시퀀스에 대하여 본 발명에 따라 적응적으로 세분화된 GOP의 구조를 도시한다. 움직임의 상황에 따라 GOP 크기가 세분되었으며 부호화 효율의 향상되었음을 확인할 수 있다.
전술한 본 발명의 일실시예에 따른 적응적 GOP 구조 기반 부호화 방법에 따라 부호화된 비트스트림을 복호화하기 위해, 일 실시예에서는, 현재 국제 동영상 표준인 AVC(Advanced Video Coding) 방식을 이용하는 방법이다. RPLR(reference picture list reordering) 명령을 통해 가장 높은 레벨의 B-픽쳐(16크기의 GOP 부호화시에 "B4")는 "비-참조 픽쳐(non reference picture)"라는 것을 부호화해서 보내주며, MMCO(memory management control operation) 명령을 통해 인트라 프레임에 부호화해서 보내주어 이전의 GOP의 B-픽쳐들은 "unused for reference"라 마크하고 복호화된 픽쳐 버퍼에서 제거한다.
또다른 실시예에서는, GOP가 시작하는 프레임의 헤더에 GOP 크기 정보를 코딩하여 전달함으로써 적응적으로 세분된 GOP를 복호화할 수 있다. 디코더 구현의 일 예로서, 비트스트림의 헤더 부분에 “Variable-GOP-Size”라는 1 비트를 두어서 디코더에서 가변된 GOP 크기를 이용한다는 것을 통지해서 해당 조건에 맞게 복호화를 수행하게 할 수도 있다.
본 발명의 다른 실시예에 따르면, 디코더측에서의 비트스트림 복호화을 위해, 인코더는 각 GOP 단위의 비트스트림 앞쪽에 1개의 비트 플래그(flag)로서 GOP의 분할 여부를 나타내는“gop_divide_bit”를 추가하여 디코더에 전송할 수 있다. 이는 도 21에 도시된 GOP의 적응적 세분화 방식을 약간 변형하여 수행함으로써 가능하다. 즉, 2N 프레임 크기의 영상 시퀀스에 대해 상기 최대 2N 크기의 GOP부터 최소 2M 크기의 GOP 까지 상이한 GOP 단위 코딩 각각으로부터 구해진 상기 차이값을 비교한 결과, 2N 크기의 GOP 단위 코딩으로부터 구해진 상기 차이값이 가장 작다면(2120), 2N 크기의 GOP를 선택함과 동시에(2130) "gop_divide_bit"를 "0"으로 설정하고, 그렇지 않다면 "gop_divide_bit"를 "1"로 설정함으로써, GOP가 분할됨을 표시해준다. 다른 단계(2140) 내지 단계(2160)는 동일하게 수행될 것이다.
도 34는 본 발명의 일실시예에 따라 "gop_divide_bit”가 추가된 GOP 비트스트림의 구성을 도시하고, 도 35는 선정된 GOP 크기가 16(N=4, M=0)일 때, 본 발명의 적응적 GOP 구조 기반 코딩 결과 GOP가 (2, 2, 4, 8)의 세부 GOP로 세분화되었을 때 구성된 비트스트림의 예을 나타낸다.
전술한 바와 같이,"gop_divide_bit"가 추가되어 코딩된 비트스트림에 대한 복호화 알고리즘은 다음과 같다. 이 경우는 분할전의 GOP 크기의 승수인 N값이 함께 전달될 것이다.
① 2N 프레임 크기에 대응하는 비트스트림의"gop_divide_bit"값을 검사하여,
A. “0”이라면 2N 프레임 크기의 GOP를 복호화하고,
B. “1”이라면 N을 1 감소시킨다(N=N-1).
② 앞쪽의 2N 프레임 크기의 GOP와 뒤쪽의 2N 프레임 크기의 GOP에 대해 ①과정을 반복한다.
도 36은 도 35에 도시된 비트스트림을 본 발명의 일실시예에 따라 복호화하는 과정의 예을 도시한다. 도시된 바와 같이,
① 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “1”이므로 16크기의 GOP가 분할된 것으로 판단한다. 이에 따라, 앞쪽의 8 프레임 단위는 ② 과정으로 분기하고, 뒤쪽의 8 프레임 단위는 ③ 과정으로 분기한다.
② 8 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “1”이므로 8 프레임 크기의 GOP가 분할된 것으로 판단한다. 이에 따라, 앞쪽의 4 프레임 단위는 ④ 과정으로 분기하고, 뒤쪽은 4 프레임 단위는 ⑤과정으로 분기한다.
③ 8 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “0”이므로 8 프레임 크기의 GOP 비트스트림을 복호화하여 복호화 영상을 얻는다.
④ 4 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “1”이므로 4 프레임 크기의 GOP가 분할된 것으로 판단한다. 이에 따라, 앞쪽의 2 프레임 단위는 ⑥ 과정으로 분기하고, 뒤쪽의 2 프레임 단위는 ⑦과정으로 분기한다.
⑤ 4 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하 여 판독한다. 그 결과 “0”이므로 4 프레임 크기의 GOP 비트스트림을 복호화하여 복호화 영상을 얻는다.
⑥ 2 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “0”이므로 2 프레임 크기의 GOP 비트스트림을 복호화하여 복호화 영상을 얻는다.
⑦ 2 프레임 단위의 GOP의 비트스트림에서 “gop_divide_bit” 비트를 복호화하여 판독한다. 그 결과 “0”이므로 2 프레임 크기의 GOP 비트스트림을 복호화하여 복호화 영상을 얻는다.
본 발명의 또다른 실시예에 따르면, 본 발명에 따른 적응적 GOP 구조 기반 동영상 부호화를 수행하는 인코더는 일정한 GOP 크기 단위 안에서 적응적으로 세분된 세부 GOP 정보를 함께 부호화하여 디코더에 전송할 수 있다. 도 37은 16 프레임 크기 GOP 단위 안에서 지능적으로 선택된 GOP 모드의 예를 나타낸다.
일 예에서, 16 프레임 크기의 일정한 GOP 단위 부호화의 경우에(N=4, M=1), 시퀀스 헤더에 일정한 단위 GOP 크기 정보를 부호화하며, 16 프레임 단위 각각의 GOP의 첫 프레임의 슬라이스 헤더내에 16 프레임 단위 내에서 적응적으로 세분된 세부 GOP 정보를 부호화한다. 세부 GOP 정보는 2의 승수로 나타내며 일정한 GOP 단위(16 프레임 크기)의 2의 승수인 4로 차분해주어 각각을 고정 2비트로 부호화한다. 예를 들어, 16 프레임 크기 GOP가 선택되었다면 “00b”, 8 프레임 크기 GOP가 선택되었다면 “01b”, 4 프레임 크기 GOP가 선택되었다면 “10b”, 2 프레임 크기 GOP가 선택되었다면 “11b”로 각각 부호화된다. 16 프레임 크기 내에서 선택된 GOP 들의 크기의 합이 16이 되면 선택된 GOP 정보 부호화를 마친다. 일예로서, GOP가 8,4,4 크기로 결정되었다면, 01-10-10의 총 6비트가 소요되며, GOP가 16 크기라면, 00의 2비트가 소요되고, 또한 4,2,2,8의 크기로 결정되었다면, 10-11-11-01의 총 8비트가 소요되고, 2,2,2,2,2,2,2,2라면 11-11-11-11-11-11-11-11의 총 16비트가 소요되어, GOP정보를 표시할 수 있다. 이와 같이, 인코더측에서 세부 GOP 정보를 비트스트림과 함께 전송하는 경우에, 디코더에서는 수신된 세부 GOP 정보에 근거하여 각각의 GOP를 복호화할 것이다.
한편, 디코더가 시간적 스케일러블temporal scalable) 기능을 제공하는 경우에, 본 발명에 따른 지능형 GOP 선택 기반 동영상 부호화 방식에 따른 비트스트림은 기존의 일정한 프레임 크기 단위로 고정된 GOP에서의 계층적 B-픽쳐 부호화와 비트스트림 구조가 상이하기 때문에, 프레임 순서를 맞추어 복호화을 수행하여야 한다.
예를 들어, 도 38에 도시된 바와 같이, 16 프레임 크기의 GOP에서 세부 GOP 크기가 (8,4,2,2)로 선택되어 부호화된 경우에, 각각의 시간적 해상도에 따라 비트스트림 순서는 다음과 같다.
전체 해상도: I(0), B1(1), B2(2), B2(3), B3(4), B3(5), B3(6), B3(7), I(8), B1(9), B2(10), B2(11), I(12), B1(13), I(14), B1(15)
1/2 해상도: I(0), B1(1), B2(2), B2(3), I(8), B1(9), I(12), I(14)
1/4 해상도: I(0), B1(1), I(8), I(14)
1/8 해상도: I(0), I(14)
1/16 해상도: I(14)
도 38은 본 발명의 일실시예에 따라 시간적 스케일러블 기능을 제공하기 위디코더측 비트스트림 추출기(Extractor)에서 수행되는 1/L 해상도 지원 알고리즘을 도시한다. 본 발명의 적응적 GOP 구조 기반 부호화 방식에 따라 부호화된 비트스트림의 1/L 해상도 지원을 위한 영상 추출 알고리즘은 다음과 같다. GOP 크기가 16이라 할 때,
① k(k는 정수)값을 0으로 초기화한다(S3910).
② FrameNum 값을 2N 으로 초기화한다(S3920).
③ FrameNum번째 프레임의 비트스트림으로부터 역방향으로 L번째까지의 프레임내에 저주파 영상이 있는지 검색하고(S3930), FrameNum을 L만큼 감소시킨다(S3940).
④ ③ 단계의 검색 결과에 따라(S3950),
(i) 저주파 영상이 존재하지 않는 경우에, k값을 1 증가시키고(S3970),
(ii) 저주파 영상이 존재하는 경우에, 역방향으로 제일 먼저 검색된 저주파 영상을 선택하고, k값이 0이 아닌 경우에는 k개의 후속 고주파 영상 을 또한 선택한 후에 k값을 0으로 재초기화한다(S3960).
⑥ FrameNum이 0이 될 때까지 상기 ③ 내지 ⑤ 단계를 반복적으로 수행함으로써(S3980), 최종적으로 2N /L 개의 영상 프레임을 선택한다.
예를 들어, 16 프레임 크기의 GOP에서 세부 GOP 크기가 (8,4,2,2))로 선택되어 부호화된 비트스트림에서 1/8 해상도 지원을 위해 전술한 알고리즘은 다음과 같이 적용될 것이다. 전체 비트스트림의 구성이"I(0), B1(1), B2(2), B2(3), B3(4), B3(5), B3(6), B3(7), I(8), B1(9), B2(10), B2(11), I(12), B1(13), I(14), B1(15)"이라 할 때,
① k는 0으로 초기화한다.
② FrameNum은 16으로 초기화한다.
③ FrameNum(=16)번째 비트스트림 B1(15)부터 역방향으로 저주파 영상을 검색하고, FrameNum은 8 감소시킨다(FrameNum = FrameNum-8).
④ 상기 검색결과, 저주파 영상 I(14)이 존재하기 때문에 I(14)을 선택한다.
⑤ FrameNum(=8)번째 비트스트림 B3(7)부터 역방향으로 저주파 영상을 검색하고, FrameNum을 8 감소시킨다(FrameNum = FrameNum-8).
⑥ ⑤의 검색 결과 저주파 영상 I(0)이 존재하기 때문에 I(0)을 선택한다.
⑦ FrameNum이 0이기 때문에 알고리즘을 종료한다. 알고리즘 수행 결과, 1/8 해상 도 지원을 위해, I(0), I(14) 프레임이 선택되었음을 알 수 있다.
1/4 해상도를 지원하는 경우의 예는 다음과 같다.
① k값은 0으로 초기화한다.
② FrameNum은 16으로 초기화한다.
③ FrameNum(=16)번째 비트스트림 B1(15)부터 역방향으로 저주파 영상을 검색하고, FrameNum은 4 감소시킨다(FrameNum = FrameNum-4).
④ 검색 결과, 저주파 영상 I(14)가 존재하기 때문에 I(14)를 선택한다.
⑥ FrameNum(=12)이 0이 아니므로, 12번째 비트스트림 B2(10)부터 역방향으로 저주파 영상을 검색하고, FrameNum은 4 감소시킨다(FrameNum = FrameNum-4).
⑦ 검색 결과, I(8)이 존재하기 때문에 I(8)을 선택한다.
⑧ FrameNum(=8)이 0이 아니므로, 8번째 비트스트림 B3(7)부터 역방향으로 저주파 영상을 검색하고, FrameNum은 4 감소시킨다(FrameNum = FrameNum-4).
⑨ 검색 결과, 저주파 영상이 존재하지 않기 때문에 k를 1 증가시킨다.
⑩ FrameNum(=4)이 0이 아니므로, 4번째 비트스트림 B2(3)부터 역방향으로 저주파 영상을 검색하고, FrameNum은 4 감소시킨다(FrameNum = FrameNum-4).
⑪ 검색 결과, 저주파 영상 I(0)이 존재하기 때문에 I(0)를 선택하고, k가 1이기 때문에 바로 다음 프레임인 B1(1)을 선택하고, k를 0으로 재초기화한다.
⑫ FrameNum이 0이므로, 알고리즘을 종료한다. 상기 알고리즘 수행 결과, 1/4 해상도 지원을 위해, I(0), B1(1), I(8), I(14) 프레임이 선택되었음을 알 수 있다.
본 발명에 따르면, 계층적 B-픽쳐를 이용한 동영상 부호화시에 GOP 크기를 성능에 따라 적응적으로 세분하여 부호화함으로써 높은 부호화 효율을 얻을 수 있다.

Claims (10)

  1. 2N 개의 프레임 시퀀스로 이루어진 GOP(Group of Picture) 단위로 수행되는 계층적 B-픽쳐 기반 동영상 부호화시에 GOP를 적응적으로 세분하여 부호화하는 방법에 있어서, 상기 방법은, 상기 GOP 단위의 프레임 시퀀스 각각에 대하여,
    (a) 최대 2N 크기부터 최소 2M( M은 1 이상이고 N보다는 작은 정수임) 크기의 상이한 세부 GOP 단위 각각에 대하여 계층적 B-픽쳐 부호화를 수행하여 서브밴드별로 구성된 원본 영상과 부호화 후에 재구성된 영상간의 차이값을 각각 구하는 단계와,
    (b) 상기 상이한 세부 GOP 단위의 부호화 각각의 결과로부터 구해진 상기 차이값에 기반하여 적어도 1개 이상의 세부 GOP 크기를 선택하는 단계와,
    (c) 상기 선택된 적어도 1개 이상의 세부 GOP 단위로 비트스트림을 생성하는 단계
    를 포함하는 것을 특징으로 하는 동영상 부호화 방법.
  2. 제1항에 있어서, 상기 (b) 단계는,
    ① 상기 최대 2N 크기부터 최소 2M 크기의 GOP까지 상이한 세부 GOP 단위 부호화 각각으로부터 구해진 상기 차이값을 비교하여, 상기 2N 크기의 세부 GOP 단위 부호화로부터 구해진 상기 차이값이 가장 작은 경우에 상기 2N 크기의 세부 GOP를 선택하는 단계와,
    ② 상기 2N 크기 GOP 부호화로부터 구해진 상기 차이값이 가장 작지 않다면, N을 1만큼 감소시키고(N=N-1),
    (i) 상기 감소된 N과 M 값이 같다면 2M 크기의 세부 GOP 2개를 선택하는 단계와,
    (ii) 상기 감소된 N과 M값이 서로 같지 않다면 앞쪽의 2N 크기의 프 레임과 뒤쪽의 2N 크기의 프레임 각각에 대하여 상기 ① 내지 ② 단계를 반복하는 단계
    를 포함하는 것을 특징으로 하는 동영상 부호화 방법.
  3. 제1항에 있어서, 상기 차이값은, MSE(Mean Square Error), SAD(Sum of Absolute Difference), SSE(Sum of Squared Errors), SAD +λSADR(R은 GOP 단위의 비트수), SSE +λSSER를 포함하는 그룹에서 선택되는 것을 특징으로 하는 동영상 부호화 방법.
  4. 제3항에 있어서, 상기 MSE 값은 수학식 5에 따라 계산되는 것을 특징으로 하 는 동영상 부호화 방법.
    Figure 112005019878136-PAT00005
    여기서, k는 한 프레임의 픽셀 개수를 나타내며, F(i)는 계층적 B-픽쳐를 수행하여 도출된 서브밴드별 원본 프레임 픽셀의 실제값을 나타내고 G(i)는 부호화후 재구성된 프레임 픽셀의 실제값을 나타냄.
  5. 제2항에 있어서, 상기 2N 크기 GOP 부호화로부터 구해진 상기 차이값이 가장 작지 않다면, GOP 헤더 정보내에 상기 GOP가 세분되었음을 나타내는 비트를 1로 설정하는 단계를 더 포함하는 것을 특징으로 하는 동영상 부호화 방법.
  6. 제1항에 있어서, 상기 선택된 적어도 1개 이상의 세부 GOP 정보를 GOP의 첫 번째 프레임 헤더 정보내에 표시하여 디코더에 전송하는 단계를 더 포함하는 동영상 부호화 방법.
  7. 계층적 B-픽쳐 기반 동영상 부호화 방식에 기반하여 2N개의 프레임 시퀀스에 대하여 생성된 비트스트림의 복호화시에 1/L 해상도를 지원하기 위한 방법에 있어서,
    ① k(k는 정수)값을 0으로 초기화하는 단계와,
    ② FrameNum 값을 2N 으로 초기화하는 단계와,
    ③ FrameNum번째 프레임의 비트스트림으로부터 역방향으로 L번째까지의 프레임내에 저주파 영상이 있는지 검색하고, FrameNum을 L만큼 감소시키는 단계와,
    ④ 상기 ③ 단계의 검색 결과에 따라,
    (i) 저주파 영상이 존재하지 않는 경우에, k값을 1 증가시키는 단계 와,
    (ii) 저주파 영상이 존재하는 경우에, 역방향으로 제일 먼저 검색된 저주파 영상을 선택하고, k값이 0이 아닌 경우에는 k개의 후속 고주파 영상 을 또한 선택하고 k를 0으로 재초기화하는 단계와,
    ⑥ FrameNum이 0이 될 때까지 상기 ③ 내지 ⑤ 단계를 반복적으로 수행함으로써, 최종적으로 2N /L 개의 영상 프레임을 선택하는 단계
    를 포함하는 것을 특징으로 하는 1/L 해상도 지원 방법.
  8. 2N 개의 프레임 시퀀스로 이루어진 GOP 단위로 수행되는 계층적 B-픽쳐 기반 동영상 부호화시에 GOP를 적응적으로 세분하여 부호화하는 부호화기에 있어서, 상기 부호화기는, 상기 GOP 단위의 프레임 시퀀스 각각에 대하여,
    (a) 최대 2N 크기부터 최소 2M( M은 1 이상이고 N보다는 작은 정수임) 크기 의 상이한 세부 GOP 단위 각각에 대하여 계층적 B-픽쳐 부호화를 수행하여 서브밴드별로 구성된 원본 영상과 부호화 후에 재구성된 영상간의 차이값을 각각 구하는 위한 수단과,
    (b) 상기 상이한 세부 GOP 단위의 부호화 각각의 결과로부터 구해진 상기 차이값에 기반하여 적어도 1개 이상의 세부 GOP 크기를 선택하기 위한 수단과,
    (c) 상기 선택된 적어도 1개 이상의 세부 GOP 단위로 비트스트림을 생성하기 위한 수단
    을 포함하는 것을 특징으로 하는 동영상 부호화기.
  9. 제1항 내지 제6항중 어느 하나의 항에 따른 동영상 부호화방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능 기록매체.
  10. 제7항에 따른 1/L 해상도 지원 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능 기록매체.
KR1020050031714A 2004-11-01 2005-04-16 계층적 ｂ 픽쳐를 이용한 동영상 부호화시에 ｇｏｐ를적응적으로 세분하기 위한 방법 및 장치 KR20060045797A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020050102737A KR100786132B1 (ko) 2004-11-01 2005-10-31 적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법
US11/577,329 US8184702B2 (en) 2004-11-01 2005-10-31 Method for encoding/decoding a video sequence based on hierarchical B-picture using adaptively-adjusted GOP structure
PCT/KR2005/003630 WO2006049412A1 (en) 2004-11-01 2005-10-31 Method for encoding/decoding a video sequence based on hierarchical b-picture using adaptively-adjusted gop structure

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20040087801 2004-11-01
KR1020040087801 2004-11-01
KR20050002242 2005-01-10
KR1020050002242 2005-01-10

Publications (1)

Publication Number Publication Date
KR20060045797A true KR20060045797A (ko) 2006-05-17

Family

ID=37149369

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050031714A KR20060045797A (ko) 2004-11-01 2005-04-16 계층적 ｂ 픽쳐를 이용한 동영상 부호화시에 ｇｏｐ를적응적으로 세분하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR20060045797A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259902A (zh) * 2016-12-28 2018-07-06 三星电子株式会社 视频数据编码和被配置为执行视频数据编码的视频编码器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259902A (zh) * 2016-12-28 2018-07-06 三星电子株式会社 视频数据编码和被配置为执行视频数据编码的视频编码器
CN108259902B (zh) * 2016-12-28 2022-07-05 三星电子株式会社 视频数据编码和被配置为执行视频数据编码的视频编码器

Similar Documents

Publication Publication Date Title
KR100786132B1 (ko) 적응적으로 세분화된 ｇｏｐ 구조를 이용한 계층적ｂ픽쳐-기반 동영상 부호화 및 복호화 방법
JP4763548B2 (ja) スケーラブルビデオコーディング及びデコーディング方法と装置
KR100772882B1 (ko) 인트라 ｂｌ 모드를 고려한 디블록 필터링 강도 결정 방법, 및 장치
KR100597402B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
US8054882B2 (en) Method and system for providing bi-directionally predicted video coding
KR100596706B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
US20070098067A1 (en) Method and apparatus for video encoding/decoding
JP5271271B2 (ja) 動きベクトル・トラッキングを利用した映像の符号化、復号化方法及び装置
US20090161759A1 (en) Method and apparatus for video coding on pixel-wise prediction
JP4685849B2 (ja) スケーラブルビデオコーディング及びデコーディング方法、並びにその装置
KR20060109249A (ko) 영상신호의 엔코딩/디코딩시에 베이스 레이어 픽처의모션벡터를 사용하여 영상블록을 위한 모션벡터를 예측하는방법 및 장치
US20070171970A1 (en) Method and apparatus for video encoding/decoding based on orthogonal transform and vector quantization
US20090103613A1 (en) Method for Decoding Video Signal Encoded Using Inter-Layer Prediction
JP2008167449A (ja) 映像の符号化、復号化方法及び装置
US20130128973A1 (en) Method and apparatus for encoding and decoding an image using a reference picture
US20100303151A1 (en) Method for decoding video signal encoded using inter-layer prediction
KR100809603B1 (ko) 화소 단위 기반 영상 부호화 및 복호화 장치 및 방법
KR20060063608A (ko) 영상신호의 엔코딩/디코딩시에 영상블록에 대한 레지듀얼예측을 수행하는 방법 및 장치
US8654844B1 (en) Intra frame beating effect reduction
KR100714071B1 (ko) 적응적으로 세분화된 ｇｏｐ 구조를 이용한 ｍｃｔｆ-기반동영상 부호화 및복호화 방법
KR20060045797A (ko) 계층적 ｂ 픽쳐를 이용한 동영상 부호화시에 ｇｏｐ를적응적으로 세분하기 위한 방법 및 장치
KR101102393B1 (ko) 에러 파급을 방지하는 영상신호의 엔코딩 및 디코딩 방법과장치
KR20060045796A (ko) Ｍｃｔｆ를 이용한 동영상 부호화시에 ｇｏｐ를 적응적으로세분하기 위한 방법 및 장치
JPH05344492A (ja) フレーム間予測符号化方式
KR20060063604A (ko) 영상 신호의 인코딩 및 디코딩 방법