KR20100066292A - Ｓｖｃ 비디오 기반의 디지털 위성 방송을 위한 계층 분리형 ｐｅｓ 패킷 생성 및 처리 방법 - Google Patents

Abstract

본 발명은 SVC 비디오 기반의 디지털 위성 방송을 위한 계층 분리형 PES 패킷 생성 및 처리 방법에 관한 것으로, 보다 상세하게는 SVC 비디오를 디지털 위성 방송 시스템에 적용하는 경우, 송신측에서는 SVC 비디오의 계층적 구조를 고려하여 계층 분리형 PES 패킷을 생성하고 수신측에서는 수신한 계층 분리형 PES 패킷을 효율적으로 처리할 수 있도록 하는 기술에 관한 것이다.

디지털 위성 방송, SVC, DVB-S2, 계층 분리형, PES 패킷

Description

ＳＶＣ 비디오 기반의 디지털 위성 방송을 위한 계층 분리형 ＰＥＳ 패킷 생성 및 처리 방법 {METHOD FOR GENERATING AND PROCESSING HIERARCHICAL PES PACKET FOR DIGITAL SATELLITE BROADCASTING BASED ON SVC VIDEO}

본 발명은 SVC 비디오 기반의 디지털 위성 방송을 위한 계층 분리형 PES 패킷 생성 및 처리 방법에 관한 것으로, 보다 상세하게는 SVC 비디오를 디지털 위성 방송 시스템에 적용하는 경우, 송신측에서는 SVC 비디오의 계층적 구조를 고려하여 계층 분리형 PES 패킷을 생성하고 수신측에서는 수신한 계층 분리형 PES 패킷을 효율적으로 처리할 수 있도록 하는 기술에 관한 것이다.

본 발명은 지식경제부 및 정보통신연구진흥원의 IT성장동력기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2007-S-008-02, 과제명: 21GHz대역 위성방송 전송기술개발].

H.264의 확장형 인코딩 기술인 SVC (Scalable Video Coding)는 기존의 MPEG-2, MPEG-4 등에서 시도한 계층 인코딩 기반의 스케일러빌리티가 갖는 문제점인 낮은 압축효율, 복합 스케일러빌리티 지원 불가, 높은 구현 복잡도의 문제를 해결하 기 위해 2007년 말에 개발된 확장형 인코딩 기법이다.

SVC는 여러 개의 비디오 계층을 하나의 비트스트림으로 인코딩하는데, SVC의 계층은 하나의 기본계층(Base Layer; BL)과 기본계층 위에 연속적으로 쌓일 수 있는 복수의 향상계층(Enhancement Layer; EL)으로 구성된다. 각각의 향상계층은 하위계층 정보를 기반으로 각 계층에 주어진 최대의 비트율(bit-rate), 프레임율(frame rate), 해상도(resolution)까지 표현할 수 있다.

SVC에서는 향상계층을 많이 쌓을수록 다양한 비트율, 프레임율, 해상도를 지원할 수 있으므로, 이종의 망 환경에서 발생하는 대역폭의 다양성 문제, 수신 단말기 성능과 해상도의 다양성 문제, 콘텐츠 소비자 선호도의 다양성 문제 등을 복합적으로 해결할 수 있다. 따라서, UMA (Universal Multimedia Access) 환경의 멀티미디어 콘텐츠 서비스에 적합한 인코딩 기술이다.

한편, 디지털 위성 방송은 서비스 환경 측면에서 강우에 의한 기상 조건에 많은 영향을 받게 되므로 이 문제를 해결하기 위한 방안이 마련되어야 한다. 이에 따라, DVB-S2 기반의 디지털 위성 방송 시스템에 다양한 환경에 적응적 비디오 서비스를 제공할 수 있는 SVC 인코딩 기법을 적용하기 위한 시도가 이루어지고 있다.

이를 위해, SVC 비디오의 계층적 구조를 고려하여 효율적으로 PES 패킷을 생성하고 이를 처리하기 위한 기술이 요구된다.

따라서 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, SVC 비디오를 디지털 위성 방송 시스템에 적용하는 경우, 송신측에서 SVC 비디오의 계층적 구조를 고려하여 계층 분리형 PES 패킷을 생성하는 방법과, 수신측에서 수신한 계층 분리형 PES 패킷을 처리하는 방법을 제공하기 위한 것이다.

상기한 목적을 달성하기 위한 본 발명의 일 측면에 의한 계층 분리형 PES 패킷 생성 방법은, 하나의 GOP(Group of Picture) 내에 포함되는 복수의 기본계층 NAL (Network Abstraction Layer) 유닛들을 그룹화하여 기본계층 PES 패킷을 생성하는 단계; 및 상기 복수의 기본계층 NAL 유닛들 각각에 연관된 향상계층 NAL 유닛들을 그룹화하여 복수의 향상계층 PES 패킷을 생성하는 단계를 포함하며, 상기 복수의 기본계층 NAL 유닛들에는 추출된 순서에 따라 인덱스 번호가 할당되고, 상기 복수의 기본계층 NAL 유닛들 각각에 연관된 복수의 향상계층 PES 패킷에는 연관된 기본계층 NAL 유닛과 동일한 인덱스 번호가 할당된다.

이때, 상기 기본계층 PES 패킷의 페이로드에는, GOP의 식별 정보를 저장하는 GOP ID 필드; PES 페이로드의 계층 정보를 저장하는 계층 ID 필드; 추가되는 헤더의 길이를 저장하는 BL 헤더 길이 필드; 기본계층 NAL 유닛의 크기를 저장하는 BL 크기 필드; 및 기본계층 NAL 유닛의 인덱스 정보를 저장하는 BL 인덱스 필드를 포 함하는 헤더가 추가된다.

또한, 상기 향상계층 PES 패킷의 페이로드에는, GOP의 식별 정보를 저장하는 GOP ID 필드; PES 페이로드의 계층 정보를 저장하는 계층 ID 필드; 및 상기 향상계층 PES 패킷과 연관된 기본계층 NAL 유닛과 동일한 인덱스 정보를 저장하는 BL 인덱스 필드를 포함하는 헤더가 추가된다.

한편, 본 발명의 타 측면에 의한 계층 분리형 PES 패킷 처리 방법은, 기본계층 PES 패킷이 재구성되면, 상기 기본계층 PES 패킷으로부터 각각의 기본계층 NAL 유닛들을 분리하는 단계; 분리된 기본계층 NAL 유닛들을 인덱스 번호 순서에 따라 버퍼에 저장하는 단계; 인덱스 N을 갖는 향상계층 PES 패킷이 재구성되면, 상기 버퍼에서 상기 인덱스 N을 갖는 기본계층 NAL 유닛을 디코더로 전달하는 단계; 및 상기 인덱스 N을 갖는 향상계층 PES 패킷으로부터 향상계층 NAL 유닛들을 순서대로 추출하여 상기 디코더로 전달하는 단계를 포함한다.

이때, 상기 기본계층 NAL 유닛을 디코더로 전달하는 단계 및 상기 향상계층 NAL 유닛들을 순서대로 추출하여 상기 디코더로 전달하는 단계는, 인덱스 1을 갖는 향상계층 PES 패킷을 시작으로 하여 하나의 GOP에 대한 SVC 비디오 디코딩이 완료될 때까지 인덱스 번호 순으로 반복 수행된다.

본 발명에 의하면, SVC 비디오의 계층적 구조를 고려하여 기본계층과 향상계 층의 NAL 유닛들을 분리하여 PES 패킷화함으로써, LDPC 인코딩율을 계층별로 차별화할 수 있고, 이로써 차등화된 패킷 보호가 가능해져 가용도가 향상된 디지털 위성 방송 시스템을 구현할 수 있게 된다.

또한, 디지털 위성 방송 시스템의 송신측에서는 기본계층과 향상계층을 분리하여 PES 패킷을 생성하는 오버헤드를 최소화할 수 있고, 수신측에서 SVC 디코딩을 위해 NAL 유닛들을 디코딩 순서에 맞게 재배치할 필요가 없게 되어 처리 지연 시간을 감축시킬 수 있다.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

도 1은 SVC 비디오 기반의 디지털 위성 방송 시스템의 구성도이다.

도 1을 참조하면, SVC(Scalable Video Coding) 비디오 기반의 디지털 위성 방송 시스템에서는, 우선 압축된 SVC 비트스트림으로부터 기본계층(Base Layer) 및 향상계층(Enhancement Layer)에 속하는 NAL(Network Abstraction Layer) 유닛을 구 분하여 추출한 후, 추출한 NAL 유닛들로부터 각 계층별로 PES (Packetized Elementary Stream) 패킷을 생성한다(10). 이때, 기본계층은 저해상도 방송 서비스 제공을 위해 CIF (Common Image Format) (352픽셀x 288라인) 규격의 해상도를 표현할 수 있고, 향상계층은 고해상도 방송 서비스를 위해 4CIF (704픽셀x 576라인) 규격의 해상도를 표현할 수 있다.

이후, PES 패킷은 MPEG-2 TS(Transport Stream) 패킷으로 나눠진 후 BB (Base Band) 프레임으로 만들어지고(20), BB 프레임은 LDPC(Low Density Parity Check) 인코딩을 거쳐 송신된다(30).

이때, LDPC 인코딩은 위성 방송 서비스 도중의 강우 현상이나 구름에 의한 가용도 저하 문제에 대처하기 위한 오류 정정 기법으로, 본 발명에서는 LDPC 인코딩을 통해 기본계층과 향상계층 비디오에 대한 차등화된 패킷 보호(Unequal Error Protection; UEP)를 수행하기 위해 송신측에서 SVC 비디오가 기본계층과 향상계층으로 분리되어 PES 패킷화 되도록 한다.

구체적으로 설명하면, 향상계층은 기본계층이 없으면 아무런 쓸모없는 계층이기 때문에 기본계층의 정보는 향상계층의 정보보다 어느 경우에나 그 중요도가 높다고 할 수 있다. 따라서, 기본계층과 향상계층에 LDPC 인코딩을 차등화하여 적용하면 위성 방송 서비스의 가용도를 효과적으로 높일 수 있다. 이를 위해, SVC 비디오는 기본계층과 향상계층이 서로 분리된 형태로 PES 패킷화 되어야 한다.

이하, 도 2 내지 도 5를 참조하여 본 발명에 의한 계층 분리형 PES 패킷 생 성 및 처리 방법을 보다 상세히 설명한다. 이때, 본 발명에 의한 계층 분리형 PES 패킷 생성 방법 및 처리 방법은 각각 도 1에 도시된 'PES 인코딩'과 'PES 디코딩'에서 수행되는 것이다.

도 2는 SVC 추출 후 1 GOP (Group of Picture) 내의 NAL 유닛의 순서를 나타내는 도면이다.

하나의 GOP에 포함되는 각각의 픽처는 기본계층에 속하는 하나의 NAL 유닛과 향상계층에 속하는 복수의 NAL 유닛들로 구성된다. 이때, 기본계층에 속하는 NAL 유닛 (BL NAL 유닛)은 NAL 타입이 "1" 또는 "5"이며, 향상계층에 속하는 NAL 유닛 (EL NAL 유닛)은 NAL 타입이 "20"이다. 또한, NAL 타입이 "5"인 NAL 유닛은 IDR (Instantaneous Decoding Refresh) 픽처에 속하는 BL NAL 유닛을 나타내고, NAL 타입이 "1"인 NAL 유닛은 IDR 픽처가 아닌 픽처에 속하는 BL NAL 유닛을 나타낸다.

도 2에 도시된 바와 같이, SVC 추출 후에는, 각각의 BL NAL 유닛 다음에 동일한 픽처에 속하는 복수의 EL NAL 유닛이 위치하게 된다. 그러나, 이와 같은 순서로 추출된 NAL 유닛들로부터 BL NAL 유닛과 EL NAL 유닛들을 서로 분리한 후 PES 패킷화하여 전송할 경우, 수신측에서는 SVC 비디오 디코딩을 수행하기 전에 도 2에 도시된 바와 같은 원래의 순서로 NAL 유닛들을 재배치하는 과정이 필요하고 이에 따라 오버헤드 및 처리 지연이 야기된다.

따라서, 본 발명에서는 수신측에서의 NAL 유닛 재배치 과정에 따른 오버헤드 및 처리 지연을 최소화하기 위한 계층 분리형 PES 패킷 생성 및 처리 방법을 제시 하고자 한다.

도 3은 본 발명에 따라 송신측에서 GOP 단위별로 기본계층과 향상계층 NAL 유닛을 분리하여 PES 패킷을 생성하는 방법을 나타내는 도면이다.

본 발명에 따르면, NAL 타입이 "1" 또는 "5"인 BL NAL 유닛들을 별도로 그룹화하여 기본계층 PES 패킷(BL PES packet)을 생성하고, 하나의 BL NAL 유닛에 연관된(associated) EL NAL 유닛들을 하나로 그룹화하여 향상계층 PES 패킷(EL PES packet)을 생성한다. 이때, 특정 기본계층에 연관된 EL NAL 유닛들을 그룹화한 EL PES 패킷을 식별하기 위해서 인덱스를 사용한다.

다시 말해, 각각의 BL NAL 유닛과 연관된 EL NAL 유닛들에는 BL NAL 유닛과 동일한 인덱스 번호가 할당되어 EL PES 패킷으로 구성된다. 이때, BL PES 패킷과 EL PES 패킷의 PES 페이로드의 빗금친 부분에는 도 4에 도시된 바와 같은 헤더 정보가 추가된다.

예를 들어, BL PES 패킷에서 인덱스 1을 갖는 BL NAL 유닛과 인덱스 1을 갖는 EL PES 패킷에 포함된 EL NAL 유닛들은 서로 동일한 픽처에 속하는 NAL 유닛들이다. 따라서, PES 디코딩시 '인덱스 1' 정보를 기반으로 BL NAL 유닛과 EL NAL 유닛들이 서로 계층적 연관성을 가질 수 있게 된다.

도 4는 본 발명에 따라 생성된 계층 분리형 PES 패킷에 추가되는 헤더의 구성을 나타내는 도면으로, 도 4의 (a)는 BL PES 패킷에 추가되는 헤더의 구성을 나 타내고, 도 4의 (b)는 EL PES 패킷에 추가되는 헤더의 구성을 나타낸다.

도 4에 도시된 바와 같이, BL PES 패킷에 추가되는 헤더는 GOP ID(4 bit), 계층 ID(4 bit), BL 헤더 길이(16 bit), BL 크기(16 bit), BL 인덱스(8 bit) 필드를 포함하고, EL PES 패킷에 추가되는 헤더는 GOP ID(4 bit), 계층 ID(4 bit), BL 인덱스(8 bit) 필드를 포함하며, 각각의 필드에 저장되는 정보는 다음과 같다.

GOP ID : GOP의 식별 정보

계층 ID : PES 페이로드의 계층 정보

BL 헤더 길이 : 추가되는 헤더의 길이 (bytes)

BL 크기 : BL NAL 유닛의 크기 (bytes)

BL 인덱스 : BL NAL 유닛의 인덱스 정보

상기와 같은 방법에 따라 생성된 계층 분리형 PES 패킷들은 BL PES 패킷을 시작으로 인덱스 번호 순서에 따라 EL PES 패킷들이 차례대로 MPEG-2 TS 패킷으로 생성된다. 계층에 따라 별도의 PES 패킷으로 분리된 기본계층 데이터와 향상계층 데이터는 LDPC 인코딩 단계에서 각각의 중요도에 따라 상이한 부호화율을 적용 받아 차등화된 패킷 보호가 가능해진다.

한편, 수신측에서는 수신한 TS 패킷들로부터 본 발명에 따른 계층 분리형 PES 패킷을 재구성하고, 재구성된 계층 분리형 PES 패킷으로부터 NAL 유닛들을 추출하여 SVC 비디오 디코딩부로 전달해 준다.

도 5는 본 발명에 따라 수신측에서 재구성된 계층 분리형 PES 패킷으로부터 NAL 유닛을 추출하는 순서를 나타내는 도면이다.

우선, BL PES 패킷이 재구성되면, BL PES 패킷의 페이로더에 추가된 헤더 정보를 이용하여 BL PES 패킷으로부터 각각의 BL NAL 유닛을 분리한 후 인덱스 번호의 순서에 따라 BL NAL 유닛을 BL 버퍼에 저장한다.

다음으로, 인덱스 1인 EL PES 패킷이 재구성되면, BL 버퍼에서 인덱스 1인 BL NAL 유닛을 SVC 비디오 디코딩부로 전달한 후, 인덱스 1인 EL PES 패킷으로부터 EL NAL 유닛들을 순서대로 추출하여 SVC 비디오 디코딩부로 전달한다.

이후, 인덱스 2, 3, ... 에 대해서도 인덱스 1과 동일하게 처리된다. 다시 말해, 인덱스 2인 EL PES 패킷이 재구성되면, BL 버퍼에서 인덱스 2인 BL NAL 유닛을 SVC 비디오 디코딩부로 전달한 후, 인덱스 2인 EL PES 패킷으로부터 EL NAL 유닛들을 순서대로 추출하여 SVC 비디오 디코딩부로 전달한다.

계층 분할된 하나의 GOP에 대한 SVC 비디오 디코딩이 완료될 때까지 인덱스 번호 순으로 상기와 같은 NAL 유닛 추출 과정을 반복 수행하게 된다.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

도 1은 SVC 비디오 기반의 디지털 위성 방송 시스템의 구성도,

도 2는 SVC 추출 후 1 GOP 내의 NAL 유닛의 순서를 나타내는 도면,

도 3은 본 발명에 따라 송신측에서 GOP 단위별로 기본계층과 향상계층 NAL 유닛을 분리하여 PES 패킷을 생성하는 방법을 나타내는 도면,

도 4는 본 발명에 따라 생성된 계층 분리형 PES 패킷에 추가되는 헤더의 구성을 나타내는 도면, 그리고

도 5는 본 발명에 따라 수신측에서 재구성된 계층 분리형 PES 패킷으로부터 NAL 유닛을 추출하는 순서를 나타내는 도면이다.

Claims (5)

1. 하나의 GOP(Group of Picture) 내에 포함되는 복수의 기본계층 NAL (Network Abstraction Layer) 유닛들을 그룹화하여 기본계층 PES 패킷을 생성하는 단계; 및

   상기 복수의 기본계층 NAL 유닛들 각각에 연관된 향상계층 NAL 유닛들을 그룹화하여 복수의 향상계층 PES 패킷을 생성하는 단계를 포함하며,

   상기 복수의 기본계층 NAL 유닛들에는 추출된 순서에 따라 인덱스 번호가 할당되고, 상기 복수의 기본계층 NAL 유닛들 각각에 연관된 복수의 향상계층 PES 패킷에는 연관된 기본계층 NAL 유닛과 동일한 인덱스 번호가 할당되는 것을 특징으로 하는 계층 분리형 PES 패킷 생성 방법.
2. 제 1 항에 있어서,

   상기 기본계층 PES 패킷의 페이로드에는,

   GOP의 식별 정보를 저장하는 GOP ID 필드;

   PES 페이로드의 계층 정보를 저장하는 계층 ID 필드;

   추가되는 헤더의 길이를 저장하는 BL 헤더 길이 필드;

   기본계층 NAL 유닛의 크기를 저장하는 BL 크기 필드; 및

   기본계층 NAL 유닛의 인덱스 정보를 저장하는 BL 인덱스 필드를 포함하는 헤더가 추가되는 것을 특징으로 하는 계층 분리형 PES 패킷 생성 방법.
3. 제 1 항에 있어서,

   상기 향상계층 PES 패킷의 페이로드에는,

   GOP의 식별 정보를 저장하는 GOP ID 필드;

   PES 페이로드의 계층 정보를 저장하는 계층 ID 필드; 및

   상기 향상계층 PES 패킷과 연관된 기본계층 NAL 유닛과 동일한 인덱스 정보를 저장하는 BL 인덱스 필드를 포함하는 헤더가 추가되는 것을 특징으로 하는 계층 분리형 PES 패킷 생성 방법.
4. 기본계층 PES 패킷이 재구성되면, 상기 기본계층 PES 패킷으로부터 각각의 기본계층 NAL 유닛들을 분리하는 단계;

   분리된 기본계층 NAL 유닛들을 인덱스 번호 순서에 따라 버퍼에 저장하는 단계;

   인덱스 N을 갖는 향상계층 PES 패킷이 재구성되면, 상기 버퍼에서 상기 인덱스 N을 갖는 기본계층 NAL 유닛을 디코더로 전달하는 단계; 및

   상기 인덱스 N을 갖는 향상계층 PES 패킷으로부터 향상계층 NAL 유닛들을 순서대로 추출하여 상기 디코더로 전달하는 단계를 포함하는 것을 특징으로 하는 계층 분리형 PES 패킷 처리 방법.
5. 제 4 항에 있어서,

   상기 기본계층 NAL 유닛을 디코더로 전달하는 단계 및 상기 향상계층 NAL 유닛들을 순서대로 추출하여 상기 디코더로 전달하는 단계는,

   인덱스 1을 갖는 향상계층 PES 패킷을 시작으로 하여 하나의 GOP에 대한 SVC 비디오 디코딩이 완료될 때까지 인덱스 번호 순으로 반복 수행되는 것을 특징으로 하는 계층 분리형 PES 패킷 처리 방법.

Images