KR20050071568A

KR20050071568A - Ｉｐ망 위에서 ｆｇｓ 인코딩된 비디오를 스트리밍하기위해 에러 복구를 제공하기 위한 시스템 및 방법

Info

Publication number: KR20050071568A
Application number: KR1020057006304A
Authority: KR
Inventors: 퀴옹 리; 마하일 반 데르 스카알; 리차드 첸
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2002-10-15
Filing date: 2003-09-19
Publication date: 2005-07-07
Also published as: AU2003263485A1; JP2006503516A; DE60310249D1; EP1554812B1; WO2004036760A1; DE60310249T2; US20060005101A1; ATE347753T1; ES2278226T3; EP1554812A1

Abstract

시스템 및 방법은 실질적인 아키텍쳐를 제공하며 적합하고 효율적인 보호를 수행하는데 필요한 프로토콜을 상술한여, 어플리케이션이 여러 가지 보호 전략 사이에서 다이내믹하게 스위칭하는 것을 가능하게 한다. 보호는 미디어 데이터 스트림(202, 204)로부터 분리된 스트림으로서 보호 트랙(206, 208,210)을 제공함으로써만 달성된다. 이 방식으로, 보호 데이터를 변경하는 것이 보호 레벨 또는 전략을 변경할 수 있으나, 보호 절차는 동일하다. 나아가, 방법은 IGMP(Internet Group Management Protocol) 대신 실시간 전송 프로토콜(RTSP)을 사용하여 더욱 빠른 보호를 달성할 수 있고 어플리케이션에 더욱 많은 유연성을 제공할 수 있다.

Description

ＩＰ망 위에서 ＦＧＳ 인코딩된 비디오를 스트리밍하기 위해 에러 복구를 제공하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING ERROR RECOVERY FOR STREAMING FGS ENCODED VIDEO OVER AN IP NETWORK}

본 청구된 발명은 미디어 데이터, 특히 스캐일 가능하게(scalably) 인코딩된 데이터를 스트리밍하는 분야에 대한 것이다. 더욱 상세하게는 본 발명은 그러한 데이터의 보호(protection)에 대한 것이다.

ISDN망 또는 인터넷과 같은 통신망 내에서의 비디오 전송 또는 비디오 스트리밍이 그러한 통신망의 중요한 어플리케이션(application)이 되어 왔다. 앞으로, GPRS(General Packet Radio Service) 및 UMTS(Universal Mobile Telecommunications Standard/System)와 같은 패킷 지향의 모바일 망이 모바일 사용자를 상기의 ISDN망 또는 인터넷과 같은 고정된 통신망에 연결하는데 일반적으로 사용될 것이다. 그러므로 무선 레디오 망에 고품질의 비디오 스트리밍의 효율적이고 지능적인 지원을 하는 것이 중요하다.

무선 채널상에서 압축된 비디오의 전달(delivery)에 대한 늘어나는 관심 때문에 비디오 통신에서 에러 잠복(error concealment)의 문제점이 더욱더 중요해지고 있다. 몇 가지 패킷-지향의 전송 방식이 EGPRS(Enhanced General Packet Radio Service) 또는 UMTS와 같은 차세대 무선 표준으로 제안되어 왔다. 이들 무선 표준은 거의 동일한 원리를 기초로 한다: 긴 메시지 블록, 일반적으로는 망의 무선 부분에 속하는 IP 패킷은 바람직한 길이의 세그먼트로 갈라지며, 고정된 크기의 링크 레이어 패킷으로 멀티플렉싱될 수 있다. 패킷은 그 다음에 무선 링크를 통해 연속적으로 전송되고, 재조립되며, 다음 망 요소 상으로 통과된다. 그러나, 오늘날의 고정망 또는 유선망의 다소의 양호한 채널 특성과 비교될 때, 무선 링크는 일반적으로 심각한 페이딩, 노이즈, 및 간섭 조건을 겪어, 검출 및 디코딩 후에 비교적 높은 잔류 비트 에러율을 야기한다.

에러 복구 방법의 두 가지 타입이 일반적으로 유선 및 무선망 모두에서 비디오 스트리밍을 지원하는데 사용된다: 즉, 재전송 및 전방향 에러 정정법(FEC). FEC 코딩은 데이터 통신에서 에러 정정 및 검출을 달성하기 위해 잘 알려진 기술이다. FEC는 전송 오버헤드를 증가시켜 페이로드 데이터(payload data)에 대해 이용 가능한 대역폭을 감소시키는 단점을 갖고 있다. 따라서, 비디오 서비스가 대역폭을 매우 요구하나 일정 정도의 손실을 허용할 수 있기 때문에 일반적으로 비디오 서비스에서 적절하게 사용된다. 재전송 방법은 높은 대역폭 사용의 장점을 갖고 있으나, 엄격한 지연 제한이 있는 어플리케이션에 대해 허용할 수 없는 긴 복구 지연을 겪는다.

과거에, 하나 또는 다른 하나의 방법을 사용하는 사이에 명확한 경계(distinct line)가 있었다. 어플리케이션 구성은 재전송 또는 FEC를 선택한다. 그러나, IP 기반망은 이종이며 변화하고 있다. 어플리케이션이 완전히 다른 망 환경에서 작동할 수 있어 망 상태를 예견하기 어렵게 만들 수 있다는 것이 인식 가능하다. 이 상황은 모든 가능한 작동 시나리오에 대해 올바른 에러-복구 방법을 선택하는 것을 어렵게 한다.

에러-복구에 대한 이상적인 해결책은 재전송 및 FEC를 결합하여 어플리케이션으로 하여금 다이내믹하게 하나 또는 다른 하나를 선택하는 것을 가능하게 하는 것, 정확히 말하면 인식된 망 상태에 따라 실시간으로 이들 재전송 및 FEC를 결합하는 것일 수 있다.

하이브리드 ARQ 및 적합한 FEC는 재전송 및 FEC의 장점을 결합하는 두 가지 방법이다. 하이브리드 ARQ에서, 비디오 데이터는 Reed-Solomon 코딩 구조와 같은 어떤 FEC 코딩 구조에 의해 사전에 인코딩되고, 그 다음에 송신기 및 수신기는 보호를 수행하기 위해 특별히 구성된 ARQ-같은 프로토콜을 사용한다. 적합한 FEC에서, FEC 데이터가 원래의 미디어 스트림으로부터 분리되어, "합류(join)"/"이탈(leave)"커맨드가 적합한 보호를 달성하는데 사용된다. 그러나, 적합한 FEC는 두 가지 방식으로 제한된다. 첫째, 그것은 합류/이탈 동작을 시그널링하는데 IGMP(Intenet Group Management Protocol)를 사용하여, 시그널링 공정에서 매우 긴 레이턴시를 유도할 수 있어 결국 재전송과 같은 보호 목적을 좌절시킬 수 있다. 둘째, 적합한 FEC는 FEC 코딩 알고리즘을 강조하는 반면, 적합한 FEC의 목표를 수행할 아키텍쳐 및 프로토콜이 부족하다.

적합하고 효율적인 보호를 수행하는데 필요한 프로토콜을 특정하는 실질적인 아키텍쳐를 제공하여 어플리케이션으로 하여금 상이한 보호 전략간에 다이내믹하게 스위칭하는 것을 가능하게 하기 위한 기술 분야에 진전이 있을 것이다.

도 1은 본 발명이 구현될 수 있는 스트리밍 미디어의 엔드-투-엔드 전송을 수행하기 위한 예시적인 망을 나타내는 도면.

도 2는 예로써, 발명의 보호 구조를 구현하기 위한 아키텍쳐 및 관련 프로토콜을 나타내는 도면.

본 발명의 특정 측면에 따르면, 수신 디바이스(클라이언트)로 하여금 보호 데이터를 수신하고 수신될 보호 데이터 타입을 결정하기 위해 다이내믹하게 선택하는 것을 가능하게 하는 방법 및 장치가 제공된다.

예컨대, 본 발명의 특정한 예시적인 구현에 따르면, 서버 및 서버와 통신하는 대응하는 수신 디바이스에서의 사용을 위해 방법이 제공된다. 상기 방법은 다음의 행위를 포함한다: 즉, 프레임 예측(prediction) 코딩 기술을 사용하여 비트 스트림으로부터 인코딩된 베이스 레이어를 생성하기 위한 제1 코딩 행위; FGS(Fine Granular Scalable) 코딩 기술을 사용하여 비트 스트림으로부터 인코딩된 증진 레이어(enhancement layer)를 생성하기 위한 제2 코딩 행위; 적어도 하나의 보호 비트 스트림을 생성하기 위한 제1 생성 행위; 비트 스트림을 힌팅(hinting)하여 제1 베이스 레이어를 생성하기 위한 제2 생성 행위; 비트 스트림을 힌팅하여 제1 증진 레이어를 생성하기 위한 제3 생성 행위; 및 비트 스트림을 힌팅하여 제1 보호를 생성하기 위한 제4 생성 행위를 포함한다.

다른 측면에 따르면, 본 발명은 다음을 포함하는 시스템이다; 즉, 프레임 예견(prediction) 코딩 기술을 사용하여 비트 스트림으로부터 인코딩된 베이스 레이어를 생성하기 위한 수단; FGS 코딩 기술을 사용하여 비트 스트림으로부터 인코딩된 증진 레이어를 생성하기 위한 수단; 적어도 하나의 보호 비트 스트림을 생성하기 위한 수단; 비트 스트림을 힌팅하여 제1 베이스 레이어를 생성하기 위한 수단; 비트 스트림을 힌팅하여 제1 증진 레이어를 생성하기 위한 수단; 및 비트 스트림을 힌팅하여 제1 보호를 생성하기 위한 수단을 포함한다.

여기에 주문형 보호(on-demand protection)로서 언급된 제안된 에러 보호 방법 및 장치는 종래 기술에 대해 다음을 포함하는 다수의 장점을 제공한다: 즉, (1)방법은 전체 FGS 스트리밍 아키텍쳐에 유리하게 적합화될 수 있다;(2)방법은 멀티캐스트 및 유니캐스트 어플리케이션 모두를 지원한다;(3)방법은 MPEG-4 파일 포맷을 충분히 이용하여 범용 MPEG-4 서버가 스트리밍 어플리케이션에 적응된 에러 방지(error protection)를 수행하는 것을 허용한다;(4)보호 데이터(protection data)는 보호된 데이터(protected data)와 분리된다. 이로써, 보호 데이터를 변경하는 것은 보호 레벨 또는 전략을 변경할 수 있으나, 보호 절차는 동일하게 유지된다;(5)방법은 어플리케이션이 재전송-같은 보호 또는 FEC-같은 보호 또는 하이브리드 ARQ 사이에서 다이내믹하게 선택하는 것을 허용하여, 더욱 양호한 보호 성능을 획득한다;(6)방법은 IGMP 대신 실시간 전송 프로토콜(RTP: Real-time Transport Protocol)을 사용하여 더욱 빠른 보호를 달성하여 어플리케이션에 더욱 많은 유연성을 제공할 수 있다.

이제 도면을 참조하면 같은 종류의 참조 번호는 전체에 걸쳐서 대응하는 부분을 나타낸다.

다음 용어들은 본 발명을 보다 잘 이해하도록 정의된다:

스트리밍 미디어 - 기본적으로 중요한 컨텐트(critical content)(예컨대, 오디오 및/또는 비디오 데이터)의 가입되어 있는 사용자(subscribing user)의 클라이언트 디바이스 또는 디바이스들로의 실시간 또는 실시간에 가까운 전달을 의미한다.

RTP 프로토콜 - 많은 환경에서 표준 실시간 기반의 패킷화 방법으로서 사용되며 UDP(User Datagram Protocol)/IP(Internet Protocol)와 같은 프로토콜 스택내의 전송 레이어 위에 존재한다. 일반적으로, RTP는 실시간 데이터에 대한 전송 프로토콜이며, 타임스탬프, 시퀀스 번호, 데이터 손실 검출, 보호, 컨텐트 확인, 및 실시간 데이터 전달과 관련된 다른 데이터를 제공한다. RTP는 유니캐스트 또는 멀티캐스트 환경에서 사용될 수 있다.

RTSP 프로토콜 - 실시간 세션 프로토콜(RTSP: Real Time Session Protocol)을 나타내는 어플리케이션-레벨 프로토콜은 또한 세션 협상 및 컨텐트 설명 메커니즘을 제공하기 위해 개발되어 왔다. RTSP는 컨텐트를 서버로부터 클라이언트로 스트리밍하는 법을 설명한다. 스트리밍은 컨텐트를 서버와 클라이언트 사이에서 전송을 받아들일 수 있는(매개 망 특성에 대해) 크기를 갖는 패킷으로 쪼개는 것을 포함한다.

FEC - 순방향 에러 정정법(Forward error collection)은 전송 디바이스가 수신 디바이스에 수신 데이터의 에러를 검출하고 수정하기 위해 수신 디바이스에 의해 후속적으로 사용될 수 있는 추가적인 FEC 데이터를 제공하는 메커니즘을 제공하는 잘 알려진 에러 정정 기술이다. 따라서, FEC를 지원하기 위해 전송 디바이스는 일반적으로 FEC 인코더를 포함하고 수신 디바이스는 일반적으로 FEC 디코더를 포함한다. FEC는 여러 가지 인코딩 레벨을 허용한다. 여러 가지 인코딩 레벨은 제공된 데이터 량에 대해 생성된 FEC 데이터 량을 기초로 한 밀도 비율(density ratio)에 의해 표현될 수 있다. 따라서, 예컨대, 특정 시스템에서 데이터 패킷 마다 하나의 FEC 패킷 비율로 존재할 때 FEC 인코딩 레벨은 "높을" 수 있다. 다른 시스템에서, 네 개의 데이터 패킷마다 하나의 FEC 패킷 비율로 존재하도록 FEC 인코딩 레벨은 "보다 낮게" 될 수 있다.

후술하는 설명에서, 제한보다는 설명의 목적을 위해, 본 발명의 철저한 이해를 제공하기 위해 특정 아키텍쳐, 인터페이스, 기술, 등과 같은 상세한 세부 묘사가 나타난다. 단순화 및 명료화의 목적을 위해, 불필요한 세부 묘사로 본 발명의 설명을 모호하게 하지 않도록 잘 알려진 디바이스, 회로, 및 방법의 상세한 설명은 생략된다.

RTP 및 RTSP는 클라이언트로의 컨텐트의 전달의 기초가 된다는 것이 여기서 전제되는데, 이들 프로토콜은 잘 알려져 있기 때문이다. 이들 프로토콜은 숙련공에 의한 넓은 이해로 인해 여기서는 예시적인 목적으로만 검토되며 이에 의거해 시그널링 특성을 제공하는 임의의 프로토콜이 사용될 수 있다는 것이 당업자에 의해 인식될 것이다.

하나의 측면에 있어서, 본 발명은 관련 미디어 데이터 스트림과 무관한 적어도 하나의 미디어 데이터 보호 스트림을 제공하고, 나아가 망 위에서 미디어 데이터 스트림의 전송을 용이하게 하는 적어도 하나의 미디어 데이터 힌트 트랙 및 망을 통해 적어도 하나의 미디어 데이터 보호 스트림의 전송을 용이하게 하기 위해 적어도 하나의 보호 데이터 스트림을 제공하기 위한 시스템 및 관련 방법에 대한 것이다.

관련 측면에 있어서, 본 발명은 어플리케이션에게 요구가 있는 대로 에러 방지 구조를 다이내믹하게 선택할 자유를 주기 위한 시스템 및 관련 방법에 대한 것이다.

후술하는 내용이 특히 MPEG-4 FGS에 대해 나타남에도 불구하고, 본 발명이 임의의 스캐일 가능한 코딩 구조에 유리하게 적용될 수 있다는 것은 당업자에게 명백할 것이다.

IP 망 위에서 에러-방지 구조를 제공하기 위한 방법 및 시스템의 원리 및 작동이 도면 및 첨부된 설명을 참조해 보다 잘 이해될 수 있다.

아래 검토되는 도 1 및 2와 이 특허 문서에서 본 발명의 원리를 설명하기 위해 사용되는 다양한 실시예는 단지 예시적인 것이며 본 발명의 범위를 제한하기 위한 어떠한 방식으로 해석되어서는 아니된다. 당업자는 본 발명의 원리가 임의의 적절히 배열된 비디오 인코더 및 디코더로 구현될 수 있다는 것을 이해할 것이다.

본 발명은 후술하는 바와 같이, 도 1에 나타나는 하나와 같은 망에서의 사용을 위한 적응되고 효율적인 에러 방지 구조를 제공하여 어플리케이션이 여러 가지 에러 방지 전략 사이에서 다이내믹하게 스위칭하는 것을 허용하는 능력을 제공하기 위해 신규한 아키텍쳐 및 특정 프로토콜을 제공한다.

도 1은 본 발명을 통합하는 시스템(100)의 일 실시예의 간략화된 표현을 나타낸다. 나타난 바와 같이, 클라이언트(130) 및 서버(118)는 망(120) 위에서 통신한다. 예시적인 시스템(100)은 적절한 시스템의 하나의 예일 뿐이며 여기에 설명된 개선된 방법 및 장치의 사용 또는 기능의 범위에 대해 어떤 제한을 시사하기 위해 의도되는 것은 아니다.

설명 목적을 위해, 후술하는 설명은 오디오 또는 비디오 신호가 디지털 데이터 스트림(미디어 스트림)으로 변환되어 망 내에서 서버(118)를 통해 소스 노드(110)로부터 목적지 노드(즉, 클라이언트)(130)로 전송된다는 것을 가정할 것이다. 설명은 나아가 디지털 데이터 스트림, 또는 페이로드가 프레임 또는 페이로드 패킷의 시퀀스로 나누어진다는 것을 예로써 가정할 것이다. 본 발명의 실시예에 따르면, 비디오 인코더(소스 노드)(110)는 비디오 프레임 소스(112)를 포함하며, 비디오 인코더는 기본 레이어 인코더(114a) 및 증진 레이어 인코더(114b) 및 인코더 버퍼(116)를 포함한다. 비디오 프레임 소스(112)는 압축되지 않은 비디오 프레임의 시퀀스를 생성할 수 있는 임의의 디바이스로서, 텔레비전 안테나 및 수신기 유닛, 비디오 카세트 플레이어, 비디오 카메라, "가공되지 않은(raw)" 비디오 클립을 저장할 수 있는 디스크 저장 디바이스 등을 포함할 수 있다. 비디오 프레임 소스(112)로부터 공급된 압축되지 않은 비디오 프레임은 일정한 화상 속도(picture rate)(또는 "스티리밍 속도")로 비디오 인코더(114)로 들어가며 MPEG-4 인코더 같은 임의의 알려진 압축 알고리즘 또는 디바이스에 따라 압축된다. 비디오 인코더(114)는 그 다음에 서버(118)를 경유해 데이터망(120)을 통해 전송하는 것에 대비하여 버퍼링하기 위해 압축된 비디오 프레임을 인코더 버퍼(116)에 전송한다. 비디오 인코더(110)는 범용 서버(118)의 외부 또는 내부 중 어느 한쪽에서 실행하고 있을 수 있다는 것이 주목된다.

데이터망(120)은 임의의 적합한 망일 수 있으며 인터넷과 같은 공중 데이터 망(PDN) 및 기업 소유의 랜(LAN), 도시망(MAN: Metropolitan Area Network) 또는 광역망(WAN)과 같은 사설 데이터망 양자의 일부를 포함할 수 있다.

어플리케이션에 따라, 스트리밍 미디어를 수신하는 목적지 노드(클라이언트)(130)는 컴퓨터, 핸드헬드 엔터테인먼트 디바이스, 셋-톱 박스, 텔레비전, ASIC(Application Specific IC) 등을 포함하는 많은 여러 가지 방식으로 구현될 수 있다. 목적지 노드(클라이언트)(130)는 디코더 버퍼(132), 비디오 디코더(134) 및 비디오 디스플레이(136)를 포함한다.

도 2는 예로써, A1-A5로 나타내는 행위 1-5를 구비하는 본 발명의 보호 구조를 이행하기 위한 아키텍쳐 및 관련 프로토콜을 나타낸다.

행위 1:

FGS 인코딩된 .mp4 파일은 도 2의 행위 1에 나타난다. 상기 .mp4 파일은 비디오 인코더(114)(도 1 참조)에서 FGS 기술을 사용하여 인코딩될 수 있는데, 비디오 데이터의 일부는 우선 기본 레이어(BL)(202)를 생성하기 위해 사용된다. 증진 레이어(EL)(204)가 그 다음에 동작 보상된 잔류 이미지(motion compensated residual image)를 사용하여 생성된다. 동작 보상된 잔류 이미지는 그 다음에 파인 그래뉼라(fine granular) 코딩 기술을 사용하여 비디오 데이터 및 기본 레이어(BL)(202)로부터 생성된다. 기술분야에 잘 알려진 바와 같이, FGS 인코딩은 비디오 스캐일러비러티(scalability)의 한 타입을 나타낸다. 이 타입의 스캐일러비러티로 코드화된 이미지는 점진적으로 디코딩될 수 있다. 다시 말하면, 디코더는 이미지를 코드화하는데 사용되는 모든 데이터를 수신할 필요 없이 이미지를 디코딩하여 디스플레이 하기 시작할 수 있다. 더욱 많은 데이터가 수신될 때, 전체 정보가 수신되어 디코딩되고 디스플레이될 때까지 디코딩된 이미지의 품질은 점진적으로 개선된다.

FGS 기본 레이어(202) 및 증진 레이어(204)를 생성하는 것에 덧붙여, 본 발명의 원리에 따르면, 복수의 보호 데이터 스트림이 생성되어, 각 스트림은 요구 중인 클라이언트에 의해 다이내믹하게 선택할 수 있다. 각각이 .mp4 파일과 관련된 분리된 그리고 독립적인 보호 데이터 스트림이 나타난다. 제1 보호 트랙(EP1)(206)이 예컨대 FEC 에러 방지 원리에 따라 구축될 수 있다. 제2 보호 트랙(EP2)(208)이 예컨대, 재전송 에러 방지 원리에 따라 구축될 수 있다. 제3 보호 트랙(EP3)(210)이 예컨대, FEC 에러 방지 및 재전송 에러 방지의 특성을 통합하는 하이브리드 구조에 따라 구축될 수 있다. 3 가지 보호 구조 각각은 요구 중인 클라이언트에 의해 다이내믹하게 선택할 수 있다.

행위 2:

복수의-트랙 힌팅 원리가 "IP 망 위에서 스캐일 가능한 코드화된 비디오를 전송하기 위한 시스템 및 방법"이라는 제목으로 2003년 3월 4일 출원된 공동 계류중인 US 특허 출원 시리얼 번호 60/451,916에 나타나 전체가 여기에 참고 문헌으로 병합된다. 여기에 나타난 복수의 트랙 힌팅 원리에 따르면, 현재의 MPEG-4 미디어 파일 포맷 표준과 후방 호환성이 있고(backward compatible) 복수의 트랙 힌팅으로 언급된 사전 처리 방법은 채널 특성, 복잡성 제한(complexity constraints) 및 사용자 선호도를 변경하는 것에 따라 레이어된 비디오를 효율적으로 스트리밍하기 위해 범용 MPEG-4 스트리밍 서버를 사용하는 것을 가능하게 한다. 즉, 서버는 전송될 스캐일 가능한 레이어의 수를 조정함으로써 중요한 변경 없이 자동으로 복수의 채널(즉, RTP 연결)을 사용할 수 있어서 망 상태(예컨대, 이용 가능한 대역폭)에 적응하기 위한 유연성을 스트리밍 시스템에 제공한다. 이용 가능한 망 대역폭이 감소할 때, 비디오 스트림의 보다 작은 부분이 감소된 대역폭에 따르도록 스캐일 가능하게 전송되기 때문에 서버에 의해 보다 적은 힌트 트랙이 요구된다.

도 2에 나타난 바와 같이, 힌터 모듈(214)은 예컨대, 데이터망(120)과 같은 데이터망을 통해 FGS 인코딩된 기본 레이어(202)의 전송을 용이하게 하기 위해 힌트 트랙(즉, 힌트 트랙 1)(216a)을 생성한다. 또한, 힌터 모듈(214)은 복수의 힌트 트랙 (즉, 힌트 트랙 2-5)(216b-e)을 생성하는데, 각 트랙은 증진 레이어(EL)(204)와 관련된다.

본 발명의 한 가지 특성은 보호 트랙 즉, EP1, EP2 및 EP3 각각이 복수의-트랙 힌팅 방법을 유리하게 이용할 수 있어서 우세한 망 상태에 따라 에러 방지를 제공한다. 즉, 위에서 참조된 공동 계류중인 출원 60/451,916에 설명된 바와 같이, 복수의 힌트 트랙이 .mp4 부모(parent) 데이터 파일에 대해 수행되는 것과 동일한 방식으로 복수의 RTP 연결을 통해 보호 트랙을 스트리밍하는데 사용될 수 있다. 망을 통해 보호 트랙을 스트리밍하는데 있어서의 이 유연성이 도 2에 예로써 나타나는데 예컨대, EP1-3의 보호 트랙 각각과 관련된 복수의 힌트 트랙이 나타난다. 특히, 제1 보호 트랙(EP1)(206)에 대해, 힌터 모듈(214)은 216f 및 216g로 표시된 힌트 트랙 6 및 7을 생성한다. 보호 트랙(EP2)(208)에 대해, 힌터 모듈(214)가 각각 216h, 216i 및 216j로 표시된 힌트 트랙 8, 9 및 10을 생성한다. 보호 트랙(EP3)(210)과 관련된 힌터 모듈(214)은 216k인 단일 힌트 트랙 11을 생성한다.

본 관계에서, 위에서 참조된 공동 계류중인 출원 60/451,916의 가르침은 사실이나, 또한, 힌트 트랙은 망을 통해 전송되는 데이터 스트림을 보호하기 위한 보호 트랙을 전송하는데 사용된다. 특히, 보호 데이터 스트림은 측정된 망 상태에 따라 망을 통해 스캐일 가능하게 전송될 수 있다. 그러나, 본 관계에서 주목할 망 상태는 비디오 데이터 스트림에 대해서는 사실인 대역폭이 아니라 오히려 측정된 패킷 손실율이다. 패킷 손실율이 증가되고 있는 것으로 결정될 때 요구 또는 증가된 에러 방지가 존재한다. 따라서, 보호 데이터 스트림의 전송을 용이하기 위해 초기에 사용된 수 이상의 추가적인 힌트 트랙이 패킷 손실율에서 측정된 증가에 대해 보상하기 위해 사용될 것이다.

특정 예로서, EP2(208)와 동시에 생성되는 3개의 힌트 트랙 8-10(216h-j)과 관련있는 예시적인 보호 트랙(EP2)(208)이 참조된다. 3개의 힌트 트랙의 서브셋만이, 필요한 보호 데이터 스트림(EP2)(208)의 스캐일 가능한 부분 예컨대, 힌트 트랙 8(216h)로 하여금 기결정된 패킷 손실 임계치를 만족시키는 것을 용이하게 하는데 초기에 필요한 정도인 것으로 초기에 측정된 패킷 손실율을 가정하라. 이제 패킷 손실율이 일정 시점에 증가한다는 것을 가정하라. 그 다음에 나빠진 망 상태(즉, 패킷 손실율의 증가)를 보상하기 위해 보호 데이터 스트림(EP2)(208)과 관련된 하나 이상의 추가적인 힌트 트랙을 사용하는 것이 필요할 수 있다. 예컨대, 일정 시점에 세 개의 힌트 트랙 8-10(216h-j) 모두를 이용하여 보호 데이터 스트림(EP2)(208)의 가장 높은 스캐일 가능한 부분을 제공하는 것이 필요할 수 있다.

상기 설명은 발명의 하나의 특성을 나타내는데 제공된다. 즉, 부모 비디오 스트림의 특성을 구비하는 부모 비디오 데이터 스트림이 망 대역폭 내에서 측정된 변화에 따라 스캐일 가능하게 변경되는 것과 동일한 방식으로 신규한 보호 데이터 스트림이 망을 통해 스캐일 가능하게 전송될 수 있는 반면, 보호 데이터 스트림은 패킷 손실율 내에서 측정된 변화에 따라 스캐일 가능하게 변경될 수 있다. 전자의 경우에 있어서, 대역폭이 감소될 때, 보다 적은 힌트 트랙이 필요하다. 유사하게, 후자의 경우에 있어서, 패킷 손실율이 감소될 때, 보다 적은 힌트 트랙이 필요하다.

행위 3:

본 발명의 원리에 따르면, 클라이언트(130)는 임의의 시점에 보호 채널을 수신하기 위해 다이내믹하게 가입하거나 탈퇴할 수 있다. 따라서, 클라이언트(130)는 수신 품질을 모니터하여 필요할 때 보호 채널을 능동적으로 트리거할 필요가 있다. 본 발명의 방법에 따라 에러 방지를 개시하기 위해, 클라이언트는 우선 서버에서 이용 가능한 에러 방지 타입을 인지하고 있어야 한다. 그로써, 서버로부터 이용 가능한 에러 방지 타입의 이용 가능성과 설명을 클라이언트에게 통보하는 메커니즘이 요구된다. 이 메커니즘은 바람직하게는 초기에 클라이언트와 서버간에 SDP(Session Description Protocol)를 수행함으로써 실행된다.

일반적으로, SDP는 세션 공고, 세션 초대, 및 멀티미디어 세션 초기의 다른 형태의 목적을 위해 멀티미디어 세션을 설명하는데 요구되는 프로토콜이다. 상기 SDP는 또한 IETF에 의해 유지되며, SDP를 고려하는 추가적인 정보는 인터넷상의 일반적으로 www.ietf.org, 및 특히 www.ietf.org/rfc/rfc2327.txt에 위치된다. 본 발명은 서버로부터 이용 가능한 에러 방지의 이용 가능성 및 특성에 관심있는 클라이언트에 추가적인 정보를 전달하는 프로토콜을 포함하도록 SDP의 기능을 확장한다.

작동에 있어, SDP 프로토콜은 예컨대, .mp4 파일과 같은 비디오 데이터 파일에 대한 가입 요청을 하기 전에 클라이언트와 서버 사이에서 수행된다. 가장 중요하게는, 클라이언트는 에러 방지에 대해 이용 가능한 견해(option)에 대해 인지하고 있다. 즉, 이용 가능한 에러 방지 타입, 트랙 번호 등에 대해 인지하고 있다. 클라이언트가 이 정보를 저장하여 그 다음에 클라이언트가 비디오 소스 파일을 전송하는 동안 일정 시점에 에러 방지가 보증된다는 것을 결정하여야 하는 경우에 이 정보는 이후에 사용될 수 있다.

에러 방지가 보증된다고 클라이언트가 결정하는 경우에, 클라이언트는 우선 RTSP 프로토콜을 사용하여 서버에 가입 요청을 함으로써 에러 방지를 요청한다. 위에서 설명된 바와 같이, RTSP 프로토콜은 어플리케이션-레벨 프로토콜로서, 세션 협상 및 컨텐트 설명 메커니즘을 제공한다. 즉, RTSP 프로토콜은 서버로부터 클라이언트에 컨텐트를 스트리밍하는 법을 설명한다. 요청은 전송 제어 프로토콜(TCP: Transport Control Protocol)과 같은 공통 IP 기반의 패킷 교환 기술을 사용하여 IP 망(120)을 통해 전송된다. 기술분야에 잘 알려진 바와 같이, TCP 프로토콜은 망 프로토콜 시스템으로서, 컴퓨터 또는 망의 운영 체제 및 아키텍쳐상의 차이와 무관하다. 클라이언트와 서버간에 기 존재하는 통신 채널이 없다고 가정하면, 서버는 클라이언트 가입 요청을 수신한다. 예제적인 클라이언트 가입 요청은 다음과 같은 형태를 가질 수 있다:

클라이언트->서버

1. SET_PARAMETER rtsp://130.140.67.83/sample.mp4RTSP/1.0

2. CSeq: 32

3. Session: 3453643

4. Content-length: 35

5. Content-type: text/bool/integer

6. Track11: 1 // the 11^thtrack is set to be 1(ACTIVE)

7. Range: 34521-34570 //50 packets are required, (start seq. #- end seq. #)//

라인 6 및 7이 위의 가입 요청에 있어 특별히 주목되는 라인이다. 특히, 클라이언트는 패킷 식별자 34521 - 34570에 의해 나타나는 패킷의 범위에 대해 보호 트랙 11을 활성화시키기 위해 가입 요청을 한다. 즉, 클라이언트는 지정된 패킷의 특정 범위가 손상되거나 드롭되는지 결정하며 보호 채널 11을 통해 상기 패킷을 검색하기를 바란다. 보호 채널 11은 FEC 에러 방지, 재전송 에러 방지, 또는 하이브리드 구조를 포함하는 서버에 의해 제공되는 임의의 수의 에러 방지 구조와 동의어일 수 있다.

계속해서 도 2를 참조해서, 보호 채널 11은 예컨대, 보호 트랙(EP1 또는 EP2 또는 EP3)과 동의어일 수 있다.

클라이언트 기반의 가입 요청에 응답해서, 서버는 다음과 같은 형태를 가질 수 있는 승인(acknowledgment)과 함께 응답할 수 있다:

서버 -> 클라이언트

1. RTSP/1.0 200OK

2. CSeq: 32

3. Date: 28 Jan 2002 15:33:10 GMT

위에서 가입 요청 라인 6에서 강조된 바와 같이, 본 발명의 하나의 특성은 클라이언트가 서버로부터 이용 가능한 복수의 에러 방지 선택권 중에서 하나의 보호 구조를 다이내믹하게 선택하는 것을 허용하는데 있어 제공되는 유연성이다. 이 유연성은 클라이어트가 단일의 변경 불가능한 에러 방지 방법만을 예컨대, 재전송 또는 FEC 보안만을 선택하도록 제한하는 종래 기술의 접근법과 대조적이다. 유리하게는, 대응하는 데이터 스트림과 별도로 분리된 별개의 데이터 스트림(separate distinct data stream)으로서 보호 채널을 유지함으로써, 다수의 에러 방지 옵션이 요구 중인 클라이언트에 이용 가능해진다. 나아가, 보호 데이터를 보안된 데이터와 구별함으로써, 보호 데이터를 변경하는 것이 보안 레벨이나 전략을 변경할 수 있으나, 보안 절차는 동일하다.

다음에, 클라이언트가 서버에서 이용 가능하게 형성된 보호 구조로부터 어떻게 보호 구조를 선택하는지에 대해 더욱 상세하게 설명될 것이다.

일 실시예에 따라, 보호 구조는 범위 파라미터를 통해 클라이언트에 의해 선택될 수 있다(위에서 라인 7 즉, 범위: 34521 - 34570 참조). 즉, 범위내의 마지막 시퀀스 번호 예컨대, 34570이 요청 부분으로서 무한대로 지정될 때마다, 서버는 클라이언트가 예컨대, FEC 타입 에러 방지 방식을 원한다고 가정할 수 있다. 대안적으로, 마지막 시퀀스 번호가 시작하는 시퀀스 번호 + 1과 같을 때마다, 클라이언트가 재전송 타입 보안 방식을 원한다고 가정될 수 있다. 이들 두 가지 옵션 중 어느 것도 선택되지 않는 경우, 위의 예에서 나타난 바와 같이(즉, 마지막 시퀀스 번호 > 1 + 시작하는 시퀀스 번호이고 무한대와 같지 않은), 클라이언트가 하이브리드 전송 방식(예컨대, FEC와 재전송의 조합)을 원한다고 가정된다.

여기에 명시적으로 상술되지 않은 보호 구조를 선택하는 다른 방식이 또한 본 발명의 의도 내에 있다.

계속해서 도 2를 참조해서, 클라이언트 가입 요청에 응답해서 승인을 보내는 것에 후속해서, 서버가 적절한 힌트 트랙을 로드하여 각 힌트 트랙에 대한 RTP 연결을 생성한다. 나타난 예에서, RTP 연결(218a)은 힌트 트랙 1(216a)에 대해 생성되고, RTP 연결(218b-e)은 힌트 트랙(216b-e)에 대해 각각 생성된다. 설명 목적을 위해 보호 트랙 EP1이 클라이언트(130)에 의해 선택되는 것으로 가정하라. 이 경우에, 힌트 트랙 6 및 7(216f 및 216g) 각각이 로드되어 RTP 연결(218f 및 218g)이 생성된다. 추가적인 전용 RTP 연결 예컨대 218f 및 218g가 보호 데이터의 전송을 용이하게 하기 위해 생성된다는 것이 인식되어야 한다.

행위 4:

행위 4에서, 클라이언트(130)가 비디오 데이터 및 대응하는 보호 트랙 데이터의 전송을 용이하게 하기 위해 행위 3에서 위에서 설명된 것들에 대응하는 RTP 연결을 생성한다.

행위 5:

행위 5에서, 전송된 FGS 인코딩된 비디오 데이터 스트림 즉, BL(202) 및 EL (204)가 디코딩되어 디스플레이된다.

본 발명의 특정 실시예에 대한 앞에서의 설명은 도해 및 설명의 목적을 위해 나타내었다. 이들 설명이 발명을 총망라하거나 개시된 정확한 형태로 제한하기 위해 의도되는 것이 아니며, 명백히 많은 변경 및 변형이 위의 가르침에 비추어 가능하다. 실시예는 본 발명의 원리 및 실질적인 어플리케이션을 가장 잘 설명하여 당업자가 발명, 및 의도된 특별한 사용에 대해 적합화된 다양한 변경이 있는 다양한 실시예를 가장 잘 이용하는 것을 가능하게 하기 위해 선택되어 설명되었다. 발명의 범위는 여기에 첨부된 청구 범위 및 그와 등가의 것에 의해 정해지는 것이 의도된다.

본 청구된 발명은 미디어 데이터, 특히 스캐일 가능하게(scalably) 인코딩된 데이터의 보안에 대해 이용 가능하다.

Claims

송신 디바이스(114)로부터 수신 디바이스(130)에 망(120)을 통해 비트 스트림(202, 204)을 전송하는 방법으로서,

채널 코딩 기술을 사용하여 상기 비트 스트림으로부터 적어도 하나의 보호 비트 스트림(206, 208, 210)을 생성하기 위한 코딩 단계; 및

상기 보호 비트 스트림(206, 208, 210)으로부터 적어도 하나의 힌트 트랙(216f - 216l)을 생성하기 위한 생성 단계로서, 상기 적어도 하나의 힌트 트랙(216f - 216l)은 다대일 관계로 상기 적어도 하나의 보호 비트 스트림(206, 208, 210)과 관련되는 생성 단계를 포함하는 송신 디바이스로부터 수신 디바이스에 망을 통해 비트 스트림을 전송하는 방법.
제1 항에 있어서,

상기 적어도 하나의 보호 비트 스트림(206,208,210) 및 상기 적어도 하나의 힌트 트랙(216f - 216l)을 저장 매체에 저장하기 위한 저장 단계를 더 포함하는 송신 디바이스로부터 수신 디바이스에 망을 통해 비트 스트림을 전송하는 방법.
제1 항에 있어서,

상기 수신 디바이스(130)로부터 에러 방지를 위해 에러 정정 요청을 수신하는 단계; 및

상기 적어도 하나의 힌트 트랙(216f - 216l)으로부터 관련 힌트 트랙(216f,216g)에 따라 상기 적어도 하나의 보호 비트 스트림(206,208,210)으로부터 제1 보호 비트 스트림(206)을 출력하는 단계

를 더 포함하며, 상기 제1 보호 비트 스트림(206)은 상기 코딩 단계에서 생성되고 상기 관련 힌트 트랙(216f,216g)은 상기 생성 단계에서 생성되는 송신 디바이스로부터 수신 디바이스에 망을 통해 비트 스트림을 전송하는 방법.
제3 항에 있어서,

망 상태의 변화에 응답해서 에러 방지에 대한 변경된 에러 정정 요청을 후속적으로 상기 수신 디바이스(130)로부터 수신하는 단계; 및

관련 힌트 트랙(216h - 216l)에 따라 상기 코딩 단계에서 생성된 상기 적어도 하나의 보호 비트 스트림(206,208,210)으로부터 적어도 하나의 변경된 보호 비트 스트림(208,210)을 출력하는 단계

를 더 포함하며, 상기 적어도 하나의 변경된 보호 비트 스트림(208,210)은 상기 코딩 단계에서 생성되며 상기 관련 힌트 트랙( 216h- 216l)은 상기 생성 단계에서 생성되는 송신 디바이스로부터 수신 디바이스에 망을 통해 비트 스트림을 전송하는 방법.
제1 항에 있어서,

상기 비트 스트림(202,204)은 소스 코딩 방법에 따른 데이터 스트림 출력인송신 디바이스로부터 수신 디바이스에 망을 통해 비트 스트림을 전송하는 방법.
제1 항에 있어서,

상기 적어도 하나의 보호 비트 스트림(206,208,210)은 데이터 보호 코딩 방법에 따라 생성되는 데이터 스트림인 송신 디바이스로부터 수신 디바이스에 망을 통해 비트 스트림을 전송하는 방법.
제1 항에 있어서,

상기 적어도 하나의 힌트 트랙(216a - 216l)은 힌팅 알고리즘에 따라 생성되는 데이터 스트림인 송신 디바이스로부터 수신 디바이스에 망을 통해 비트 스트림을 전송하는 방법.
제7 항에 있어서,

상기 힌팅 알고리즘은 적어도 망 상태, 망 프로토콜 및 망 타입에 따라 최적화되는 송신 디바이스로부터 수신 디바이스에 망을 통해 비트 스트림을 전송하는 방법.
제1 항에 있어서,

상기 수신 디바이스(130)는 클라이언트 디바이스이며 상기 송신 디바이스(114)는 서버 디바이스인 송신 디바이스로부터 수신 디바이스에 망을 통해 비트 스트림을 전송하는 방법.
에러 방지를 수행하기 위한 명령어를 저장하는 컴퓨터 판독 가능 매체로서,

상기 명령어는 제1 항의 방법의 단계를 수행하기 위해 하나 이상의 프로세서에 의한 실행시에 준비되는 에러 방지를 수행하기 위한 명령어를 저장하는 컴퓨터 판독 가능 매체.
에러 방지 시스템으로서,

채널 코딩 기술을 사용하여 상기 비트 스트림(202,204)으로부터 적어도 하나의 보호 비트 스트림(206,208,210)을 생성하기 위한 수단; 및

상기 적어도 하나의 보호 비트 스트림(206,208,210)으로부터 적어도 하나의 힌트 트랙(216f - 216l)을 생성하기 위한 수단으로서, 상기 적어도 하나의 힌트 트랙(216f- 216l)은 다대일 관계로 상기 적어도 하나의 보호 비트 스트림(206,208,210)과 관련되는 생성 수단을 포함하는 에러 방지 시스템.
제11 항에 있어서,

상기 적어도 하나의 보호 비트 스트림(206,208,210) 및 상기 적어도 하나의 힌트 트랙(216f - 216l)을 저장 매체에 저장하기 위한 수단을 더 포함하는 에러 방지 시스템.
제12 항에 있어서,

상기 수신 디바이스(130)로부터 에러 방지를 위해 에러 정정 요청을 수신하기 위한 수단; 및

상기 적어도 하나의 힌트 트랙(216f - 216l)으로부터 관련 힌트 트랙(216f,216g)에 따라 상기 적어도 하나의 보호 비트 스트림(206,208,210)으로부터 제1 보호 비트 스트림(206)을 출력하기 위한 수단

을 더 포함하며, 상기 제1 보호 비트 스트림(206)은 코딩시에 생성되고 상기 관련 힌트 트랙(216f,216g)은 생성 수단에서 생성되는 에러 방지 시스템.
제13 항에 있어서,

망 상태의 변화에 응답해서 에러 방지에 대한 변경된 에러 정정 요청을 후속적으로 상기 수신 디바이스(130)로부터 수신하기 위한 수단; 및

관련 힌트 트랙(216h - 216l)에 따라 상기 코딩시에 생성된 상기 적어도 하나의 보호 비트 스트림(206,208,210)으로부터 적어도 하나의 변경된 보호 비트 스트림(208,210)을 출력하기 위한 수단

을 더 포함하며, 상기 변경된 보호 비트 스트림(208,210)은 코딩시에 생성되며 상기 관련 힌트 트랙( 216h- 216l)은 생성 수단에서 생성되는 에러 방지 시스템.
제1 항에 있어서,

상기 비트 스트림(202,204)은 소스 코딩 방법에 따른 데이터 스트림 출력인송신 디바이스로부터 수신 디바이스에 망을 통해 비트 스트림을 전송하는 방법.
제13 항에 있어서,

상기 적어도 하나의 보호 비트 스트림(206,208,210)은 데이터 보호 코딩 방법에 따라 생성되는 데이터 스트림인 에러 방지 시스템.
제13 항에 있어서,

상기 적어도 하나의 힌트 트랙(216a - 216l)은 힌팅 알고리즘에 따라 생성되는 데이터 스트림인 에러 방지 시스템.
제13 항에 있어서,

상기 힌팅 알고리즘은 적어도 망 상태, 망 프로토콜 및 망 타입에 따라 최적화되는 에러 방지 시스템.
제13 항에 있어서,

상기 수신 디바이스(130)는 클라이언트 디바이스이며 상기 송신 디바이스(114)는 서버 디바이스인 에러 방지 시스템.