KR100805805B1 - 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리장치 및 그 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야

본 발명은, 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치 및 그 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 스케일러블 비디오 스트리밍 서비스 시 비트스트림 추출(Extracting) 과정에서 동적으로 변경되는 스트림의 스케일러블 정보를 갱신함으로써, 보다 효율적으로 스트리밍 서비스를 제공하기 위한, 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치 및 그 방법을 제공하는데 그 목적이 있음.

3. 발명의 해결방법의 요지

본 발명은, 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 있어서, 메시지 및 SVC(Scalable Video Coding) 스트림을 입력받는 입력단계; 추출 파라미터에 따라 상기 입력 SVC 스트림의 스케일러빌리티 레벨을 변경하는 단계; 상기 레벨 변경에 따른 스케일러빌리티 레벨 변경 정보를 이용하여 상기 메시지를 갱신하는 메시지 갱신 단계; 및 상기 레벨 변경된 SVC 스트림 및 상기 갱신된 메시지를 전송하는 전송단계를 포함함.

4. 발명의 중요한 용도

본 발명은 SVC 스트리밍 서비스 등에 이용됨.

스케일러블 비디오 부호화, SI-SEI 메시지, 추출기, 스케일러빌리티 레벨

Description

스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치 및 그 방법{Apparatus and method of dynamic processing of scalable information for scalable video coding}

도 1 은 종래의 단일 네트워크 환경에서 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 대한 일실시예 설명도,

도 2 는 종래의 이종 네트워크 환경에서 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 대한 일실시예 설명도,

도 3 은 본 발명에 따른 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 대한 일실시예 설명도,

도 4 는 본 발명에 따른 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치에 대한 일실시예 구성도,

도 5 는 본 발명에 따른 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 대한 일실시예 흐름도,

도 6 은 본 발명이 적용되는 다중 경로를 지원하는 스트리밍 서비스의 일실시예 설명도이다.

* 도면의 주요 부분에 대한 부호의 설명

41 : 입력부 42 : 레벨 변경부

43 : 메시지 갱신부 44 : 전송부

본 발명은 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 스케일러블 비디오 스트리밍 서비스 시 비트스트림 추출(Extracting) 과정에서 동적으로 변경되는 스트림의 스케일러블 정보를 갱신함으로써, 보다 효율적으로 스트리밍 서비스를 제공하기 위한, 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치 및 그 방법에 관한 것이다.

H.264/AVC(Advanced Video Coding) 기반 스케일러블 비디오 부호화(이하, "SVC(Scalable Video Coding)"라 함) 표준에 의하면, 부호화 스트림의 스케일러빌티 정보는 부호화 과정에서만 생성되어 비트스트림 추출기(Extractor)에서 사용된다. 즉, 스케일러빌리티 정보는 SI-SEI(Scalable Information - Supplemental Enhancement Information) 메시지로 기록되며, 단말 또는 네트워크에서 요구하는 스케일러빌리티에 맞게 비트스트림을 선택적으로 추출/처리하는 비트스트림 추출기에서 사용된다.

통상, SI-SEI 메시지는 부호화 과정에서 생성되어 비트스트림 추출기의 추출 과정에서만 사용되므로, 비트스트림 추출기는 추출/처리 후에 변경된 스케일러빌리티 정보를 갱신하지 않는다. 즉, SI-SEI 메시지에는 추출/처리 후에 변경된 스케일러빌리티 정보가 기록되어 있지 않다.

이를 도 1을 참조하여 좀 더 상세히 살펴보기로 한다.

도 1 은 종래의 단일 네트워크 환경에서 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 대한 일실시예 설명도이다.

도 1에 도시된 바와 같이, 종래의 단일 네트워크 환경에서 SVC 스트리밍 서비스 시스템의 SVC 추출기(12)는 SVC 서버(11)로부터 SVC 스트림과 SI-SEI 메시지를 전달받아 네트워크 환경에 따른 추출 파라미터에 따라 SVC 스트림의 스케일러빌리티를 변경한 후 네트워크를 통해 클라이언트로 전송한다.

이때, SVC 추출기(12)는 변경된 스케일러빌리티 정보를 SI-SEI 메시지에 기록하지 않는다.

따라서 이종 네트워크(Heterogenous network)와 같이 네트워크 상태(트래픽)에 따라 서로 다른 추출 과정을 요구하는 환경에서는 효율적인 스트리밍 서비스를 제공할 수 없다.

즉, SVC 서버(11)와 클라이언트 사이에 다양한 네트워크가 위치하고 있는 이종 네트워크에서, 각 네트워크 상태에 따른 서로 다른 추출 파라미터로 인하여 추출 과정이 여러 번 필요한 경우, 각 추출 과정에서 변경된 스케일러빌리티 정보를 기록하지 않기 때문에 효율적인 SVC 스트리밍 서비스를 제공할 수 없다.

이를 도 2를 참조하여 좀 더 상세히 살펴보기로 한다.

도 2 는 종래의 이종 네트워크 환경에서 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 대한 일실시예 설명도이다.

도 2에 도시된 바와 같이, 제 1 SVC 추출기(21)에서 출력되어 제 1 네트워크(22)를 통과한 SVC 스트림은, 네트워크 에러가 없을 경우 상기 제 1 SVC 추출기(21)의 출력과 동일하지만, SVC 서버(20)의 스트림과는 다른 스케일러빌리티를 갖는다. 이는 제 1 SVC 추출기(21)가 추출 파라미터에 따라 스케일러빌리티 레벨 이상의 스트림을 제외하였기 때문이다.

그러나 SI-SEI 메시지는 추출 과정에서 정보가 갱신되지 않으므로, 최초 부호화 과정에서 생긴 정보가 그대로 유지되고, 제 2 네트워크(24)를 위한 제 2 SVC 추출기(23)에서 그대로 사용되며, 이후의 네트워크상의 SVC 추출기에서도 그대로 사용된다.

따라서 매우 비효율적으로 SVC 스트리밍 서비스를 제공할 수밖에 없다.

일예로, P2P와 같은 환경에서 서버로부터 SVC 스트림을 스트리밍을 통해 제공받은 후 이를 다시 다른 단말로 스트리밍 서비스할 경우, 네트워크 문제로 인하여 제공받은 스트림과 SI-SEI 메시지의 스케일러빌리티 정보가 서로 완전히 일치를 하지 않음에 따라 비록 스트리밍 서비스 자체에 에러가 발생하지는 않지만, 단말에 스트림에 대한 잘못된 정보를 제공할 수 있다.

다른 예로, 네트워크 상태는 시간에 따라 계속 변하기 때문에 일반적으로 SVC 스트리밍 서비스에서 SVC 추출기는 현재 네트워크 상태 변화에 대응하여 스케일러빌리티를 동적으로 변경하며 적용하게 된다. 즉, 네트워크 상태에 따라 서로 다른 추출 파라미터를 적용하여 SVC 스트림의 스케일러빌리티 레벨을 동적으로 변경한다.

따라서 SI-SEI 메시지가 실질적인 스트림의 스케일러빌리티 정보를 포함하지 않고, 실제 스트림에 더 이상 필요없는 정보를 보유하고 있기 때문에 특정 응용에서 비효율적인 문제점이 있다.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 스케일러블 비디오 스트리밍 서비스 시 비트스트림 추출(Extracting) 과정에서 동적으로 변경되는 스트림의 스케일러블 정보를 갱신함으로써, 보다 효율적으로 스트리밍 서비스를 제공하기 위한, 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

상기 목적을 달성하기 위한 본 발명의 장치는, 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치에 있어서, 메시지 및 SVC(Scalable Video Coding) 스트림을 입력받기 위한 입력수단; 추출 파라미터에 따라 상기 입력 SVC 스트림의 스케일러빌리티 레벨을 변경하기 위한 레벨 변경수단; 상기 레벨 변경에 따른 스케일러빌리티 레벨 변경 정보를 이용하여 상기 입력 메시지를 갱신하기 위한 메시지 갱신수단; 및 상기 레벨 변경된 SVC 스트림 및 상기 갱신된 메시지를 전송하기 위한 전송수단을 포함한다.

상기 목적을 달성하기 위한 본 발명의 방법은, 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 있어서, 메시지 및 SVC(Scalable Video Coding) 스트림을 입력받는 입력단계; 추출 파라미터에 따라 상기 입력 SVC 스트림의 스케일러빌리티 레벨을 변경하는 단계; 상기 레벨 변경에 따른 스케일러빌리티 레벨 변경 정보를 이용하여 상기 메시지를 갱신하는 메시지 갱신 단계; 및 상기 레벨 변경된 SVC 스트림 및 상기 갱신된 메시지를 전송하는 전송단계를 포함한다.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.

도 3 은 본 발명에 따른 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 대한 일실시예 설명도이다.

먼저, SVC 추출기(32)는 SVC 서버(31)로부터 SI-SEI 메시지와 SVC 스트림을 입력받는다.

이후, SVC 추출기(32)는 추출 파라미터에 따라 SVC 스트림의 스케일러빌리티 레벨을 변경한 후 변경된 스케일러빌리티 정보를 이용하여 SI-SEI 메시지를 갱신한다.

여기서, SVC 스트림의 입력단위는 AU(Access Unit)이다. SVC 스트림은 계층(Layer)으로 구성되어 있다. AU는 동일시간을 갖는 모든 계층(Layer)의 데이터들을 포함한다. 각 계층(Layer)의 데이터들은 NAL(Network Abstraction Layer) 헤더들로 표현되며, 어떤 계층(Layer) 데이터인지 NAL 헤더에 계층(Layer) 정보를 기록하고 있다.

또한, SE-SEI 메시지의 갱신은 AU 단위로 수행하는 것이 가장 정확하게 SVC 스트림의 스케일러빌리티 정보를 표현할 수 있지만, 데이터량이 늘어나는 단점이 있다.

따라서 입력받은 모든 AU를 대상으로 SI-SEI 메시지를 갱신하는 것보다 IDR(Instantaneous Decoding Refresh) AU(스케일러빌리티 레벨이 바뀐 AU)인 경우에 대해서만 갱신하는 것이 바람직하다. 여기서, IDR은 랜덤 억세스가 가능한 부분이므로, IDR에서 다음 IDR이전까지가 디코딩 가능한 비트스트림의 최소 단위이다.

결국, 디코딩 가능한 IDR 구간마다 SI-SEI 메시지를 출력하는 것이 바람직하다.

도 4 는 본 발명에 따른 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치에 대한 일실시예 구성도이다.

도 4에 도시된 바와 같이, 본 발명에 따른 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치(일예로, SVC 추출기)는, SVC 서버(31)로부터 SI-SEI 메시지 및 AU(Access Unit) 단위의 SVC 스트림을 입력받기 위한 입력부(41), 추출 파라미터에 따라 상기 입력 SVC 스트림의 스케일러빌리티 레벨을 변경하기 위한 레벨 변경부(42), 상기 레벨 변경에 따른 스케일러빌리티 레벨 변경 정보를 이용하여 SI-SEI 메시지를 갱신하기 위한 메시지 갱신부(43), 및 상기 레벨 변경된 SVC 스트림 및 상기 갱신된 SI-SEI 메시지를 단말 또는 타 SVC 추출기로 전송하기 위한 전송부(44)를 포함한다.

여기서, 상기 메시지 갱신부(43)는 IDR 단위로 SEI-SI 메시지를 갱신한다.

또한, 상기 메시지 갱신부(43)는 상기 SI-SEI 메시지 갱신 여부를 'valid_flag[i]' 필드를 통해 기록한다.

또한, 상기 전송부(44)는 상기 레벨 변경부(42)에서 스케일러빌리티 레벨이 변경된 SVC 스트림을 단말 또는 타 SVC 추출기로 전송하고, 상기 메시지 갱신부(43)에서 갱신된 SI-SEI 메시지를 IDR 단위로 단말 또는 타 SVC 추출기로 전송한다.

도 5 는 본 발명에 따른 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 대한 일실시예 흐름도이다.

먼저, SVC 서버로부터 SI-SEI 메시지 및 AU(Access Unit) 단위의 SVC 스트림을 입력받는다(501).

이후, 추출 파라미터에 따라 상기 SVC 스트림의 스케일러빌리티 레벨을 변경한다(502). 여기서, SVC 스트림의 스케일러빌리티 레벨 변경 과정은 SVC 레퍼런스 소프트웨어(Reference S/W)에서 처리하는 과정과 동일하다.

이후, 상기 레벨 변경에 따른 스케일러빌리티 레벨 변경 정보를 이용하여 SI-SEI 메시지를 갱신한다(503).

이후, 상기 레벨 변경된 SVC 스트림 및 상기 갱신된 SI-SEI 메시지를 단말 또는 타 SVC 추출기로 전달한다(504).

여기서, 상기 SI-SEI 메시지는 하기의 [표 1]과 같다.

JSVM(JavaSript Virtual Machine) S/W의 SVC 부호화 과정에서 SI-SEI 메시지는 처음에 한 번만 생성하고, SVC 스트림의 앞에 한 번만 기록한다.

본 발명에서는 SI-SEI 메시지를 IDR 단위로 정보를 갱신하며 출력한다. 첫 번째 SVC 추출기는 입력된 SI-SEI 메시지를 IDR마다 갱신하고 갱신된 정보를 내부에 유지한다. 두 번째 SVC 추출기는 첫 번째 SVC 추출기에서 IDR 단위로 SI-SEI 메시지를 전송하므로 IDR 단위로 SI-SEI 메시지를 입력받는다.

즉, IDR AU에 SI-SEI 정보가 있으면 이 정보를 사용하고, 없으면 이전에 입력된 SI-SEI 정보를 갱신하여 IDR AU앞에 붙여서 출력한다.

SI-SEI 갱신 과정에서 각 계층에 대해 추출 과정에서 통과(extracting)되었는지 통과되지 못했는지(discard)에 대해 'valid_flag' 값에 의해 갱신된다.

즉, valid_flag[i]가 1인 i번째 계층은 SVC 추출기를 통과해서 네트워크의 다음 단으로 전송되었음을 의미하고, valid_flag[i]가 0인 i번째 계층은 SVC 추출기를 통과하지 못해서 다음 단으로 전송되지 않았음을 의미한다.

SVC 추출기의 각 계층의 출력 여부는 SVC 추출기에 입력된 추출 파라미터에 의해 결정된다. AU의 각 계층 NAL데이터에 대한 추출 과정은 'JSVM Extractor S/W' 동작과 동일하게 처리된다.

도 6 은 본 발명이 적용되는 다중 경로를 지원하는 스트리밍 서비스의 일실시예 설명도이다.

도 6에 도시된 바와 같이, 서버(61)는 화면 크기를 4CIF, CIF, QCIF로 3단계 공간 스케일러빌리티를 갖는 스트림을 제공할 수 있다. 따라서 라우터 A(62)는 서버(61)로부터 QCIF+CIF 데이터를 전송받아 단말(64)과 라우터 C(65)로 전달할 수 있다. 이때, 라우터 B(63)는 서버(61)로부터 4CIF 데이터만 전송받는다.

이는, 유료 서비스에서 인증된 사용자에게만 4CIF를 전달하는 경우 유료 데이터를 다른 경로로 보내는 경우의 일 예다.

라우터 B(63)는 유료서비스 사용자 단말(64)에 4CIF 데이터만을 보내고, 단체 유료서비스 가입자의 개인 라우터(Private Router)인 라우터 C(65)에 4CIF 데이터만을 보낸다. 개인 가입자 단말(64)은 라우터 A(62)로부터 무료 데이터를 받고 라우터 B(63)로부터 유료 4CIF 데이터를 받아 서비스를 이용하고 있고, 단체 가입자 단말(66)은 개인 라우터 C(65)로부터 모든 데이터를 받는다.

본 발명에서 제안한 SI-SEI 메시지 갱신을 통해 도 6과 같은 서비스를 쉽고 용이하게 할 수 있다. 즉, SVC 추출기가 항상 조건보다 낮은 스케일러빌리티를 출력하는 경우 이외, 도 6처럼 특정 스트림별로 출력하는 일반화된 경우, SI-SEI 메시지가 이를 정확하게 기술하고 있으므로, 도 6에 도시된 바와 같은 경로 또는 더 복잡한 다중 경로를 지원하는 서비스에 쉽게 적용할 수 있다.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

상기와 같은 본 발명은, 스케일러블 비디오 스트리밍 서비스 시 비트스트림 추출(Extracting) 과정에서 동적으로 변경되는 스트림의 스케일러블 정보를 갱신함으로써, 보다 효율적으로 스트리밍 서비스를 제공할 수 있는 효과가 있다.

Claims (8)

1. 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치에 있어서,

   메시지 및 SVC(Scalable Video Coding) 스트림을 입력받기 위한 입력수단;

   추출 파라미터에 따라 상기 입력 SVC 스트림의 스케일러빌리티 레벨을 변경하기 위한 레벨 변경수단;

   상기 레벨 변경에 따른 스케일러빌리티 레벨 변경 정보를 이용하여 상기 입력 메시지를 갱신하기 위한 메시지 갱신수단; 및

   상기 레벨 변경된 SVC 스트림 및 상기 갱신된 메시지를 전송하기 위한 전송수단

   을 포함하는 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치.
2. 제 1 항에 있어서,

   상기 입력수단은,

   외부의 SVC 서버로부터 SI-SEI(Scalable Information - Supplemental Enhancement Information) 메시지를 입력받고,

   AU(Access Unit) 단위의 SVC 스트림을 입력받는 것을 특징으로 하는 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치.
3. 제 2 항에 있어서,

   상기 메시지 갱신수단은,

   IDR(Instantaneous Decoding Refresh) 단위로 상기 SI-SEI 메시지를 갱신하는 것을 특징으로 하는 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치.
4. 제 3 항에 있어서,

   상기 메시지 갱신수단은,

   상기 SI-SEI 메시지의 갱신 여부를 'valid_flag[i]' 필드를 통해 기록하는 것을 특징으로 하는 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치.
5. 제 3 항에 있어서,

   상기 전송수단은,

   상기 IDR 단위로 상기 SI-SEI 메시지를 전송하는 것을 특징으로 하는 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 장치.
6. 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법에 있어서,

   메시지 및 SVC(Scalable Video Coding) 스트림을 입력받는 입력단계;

   추출 파라미터에 따라 상기 입력 SVC 스트림의 스케일러빌리티 레벨을 변경하는 단계;

   상기 레벨 변경에 따른 스케일러빌리티 레벨 변경 정보를 이용하여 상기 메시지를 갱신하는 메시지 갱신 단계; 및

   상기 레벨 변경된 SVC 스트림 및 상기 갱신된 메시지를 전송하는 전송단계

   를 포함하는 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법.
7. 제 6 항에 있어서,

   상기 입력단계는,

   SI-SEI(Scalable Information - Supplemental Enhancement Information) 메시지를 입력받고,

   AU(Access Unit) 단위로 SVC 스트림을 입력받는 것을 특징으로 하는 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법.
8. 제 7 항에 있어서,

   상기 메시지 갱신 단계는,

   IDR(Instantaneous Decoding Refresh) 단위로 상기 SI-SEI 메시지를 갱신하고,

   상기 전송단계는,

   상기 IDR 단위로 상기 SI-SEI 메시지를 전송하는 것을 특징으로 하는 스케일러블 비디오 스트림의 동적 스케일러블 정보 처리 방법.

Images