KR20130094160A

KR20130094160A - 스트리밍 서비스를 제공하는 방법 및 장치

Info

Publication number: KR20130094160A
Application number: KR1020120111998A
Authority: KR
Inventors: 황성희; 명세호; 양현구
Original assignee: 삼성전자주식회사
Priority date: 2012-01-20
Filing date: 2012-10-09
Publication date: 2013-08-23
Also published as: JP6535718B2; US20140359392A1; JP2015504288A; WO2013109113A1; US9485297B2; JP2018011365A; CN104137455B; EP2806589B1; CN104137455A; JP6504820B2; EP2806589A1; EP2806589A4

Abstract

본 발명의 일 실시 예에 따르는 스트리밍 데이터 인코딩 방법은 순방향 오류 정정(Forward Error Correction, FEC) 소스 블록을 1개 이상의 FEC 서브 블록으로 나누는 단계; 상기 1개 이상의 FEC 서브 블록을 FEC 인코딩 하는 제1인코딩 단계; 상기 FEC 소스 블록을 인코딩 하는 제2인코딩 단계; 및 상기 제1인코딩 단계에서 인코딩 된 제1인코딩 데이터 및 상기 제2인코딩 단계에서 인코딩 된 제2인코딩 데이터를 포함하는 제3인코딩 데이터를 생성하는 단계를 포함한다. 본 발명의 일 실시 예에 따르면 다양한 환경 또는 이동 및 통신 상태의 변경에 따라 통신 환경이 변하는 다수의 사용자에게 스트리밍 서비스를 원활하게 제공할 수 있다. 또한 복수의 패러티 정보를 전송하여 보다 신뢰도 높은 데이터 복구가 가능한 스트리밍 서비스를 제공할 수 있는 효과가 있다.

Description

스트리밍 서비스를 제공하는 방법 및 장치 {METHOD AND APPARATUS FOR STREAMING SERVICE}

본 발명은 스트리밍 서비스를 제공하기 위한 방법 및 장치에 관한 것이다. 보다 구체적으로 다양한 통신 환경에 있는 사용자에게 보다 품질 높은 스트리밍 서비스를 제공하기 위한 방법 및 장치에 관한 것이다.

일반적으로 스트리밍 서비스를 위해서는 Block (N,K) code가 사용되어지는데 동일한 Code Rate (= K/N)에서 채널 상황이 동일한 PLR(Packet Loss Rate)을 가진다 하더라도 N을 크게 하면 Code Rate을 높일 수 있다. 반면 N을 작게 하면 Code Rate이 낮아져야 한다.

또한 동일한 PLR이라 하더라도 Random loss에서는 작은 N을 Burst loss에서는 큰 N을 필요로 하게 된다. 여기서 N을 크게 한다는 의미는 순방향 에러 정정(Forward Error Correction, FEC) Block 주기가 길어진다는 의미로 수신 단에서의 delay를 유발하게 된다.

이는 패킷(Packet) 단위로 전송되는 네트워크(Network) 특성에 기인한 것으로 N개의 Packet으로 구성된 FEC Block내의 손실된 packet을 복구하기 위해서는 FEC Block내의 적어도 K개 이상의 packet을 수신한 이후 복구가 가능하기 때문에 수신단에서 FEC 디코딩(decoding)을 위해 FEC Block 주기 내외에 해당하는 시간을 기다려야 하기 때문이다.

일반적으로 단일 사용자에게 전송하는 유니캐스트(Unicast) 환경에서는 좋은 채널 환경에 있는 사용자들에게는 FEC Block의 크기를 작게 하여 딜래이(Delay)를 최소화하여 전송함으로써 사용자는 스트리밍 서비스 감상을 빨리 할 수 있다. 하지만 통신 환경이 나쁜 채널 환경에 있는 사용자들에게는 빠른 서비스를 제공하기 위해서는 상대적으로 낮은 Code Rate이 필요하다. 이와 같이 낮은 Code Rate확보를 위해서 전송 효율에 부담이 발생할 수 있으므로 FEC Block의 크기를 크게 하여 전송 효율을 높이다. 다만 FEC Block의 크기를 크개 할 경우 상대적으로 긴 딜레이(Delay)로 서비스를 감상하게 한다.

스트리밍 전송 서비스가 다수의 사용자에게 멀티케스트(multicast) 또는 브로드케스트(broadcast) 될 때 사용자들은 각각 좋은 채널 환경(예를 들어 PLR 1%)에서 서비스를 수신하고 다른 사용자들은 상대적으로 나쁜 채널 환경(예를 들어 PLR 10%)에서 서비스를 수신하게 된다. 또는 일부의 사용자는 랜덤 패킷 로스(random packet loss) 환경 다른 사용자들은 버스트 패킷 로스(burst packet loss) 환경에서 각각 서비스를 수신하게 된다. 이와 같은 경우에 각 사용자를 위해 데이터를 효율적으로 전송할 수 있는 방법이 요구된다.

본 발명은 상술한 문제점을 해결하기 위하여 제안된 것으로 다양한 환경에 위치하는 다수의 사용자 또는 이동에 따라 통신 상태가 변하는 다수의 사용자에게 스트리밍 서비스를 용이하게 제공하는 방법 및 장치를 제공하는데 그 목적이 있다.

상술한 과제를 달성하기 위하여, 본 발명의 일 실시 예에 따르는 스트리밍 데이터 인코딩 방법은 순방향 오류 정정(Forward Error Correction, FEC) 소스 블록을 1개 이상의 FEC 서브 블록으로 나누는 단계; 상기 1개 이상의 FEC 서브 블록을 FEC 인코딩 하는 제1인코딩 단계; 상기 FEC 소스 블록을 인코딩 하는 제2인코딩 단계; 및 상기 제1인코딩 단계에서 인코딩 된 제1인코딩 데이터 및 상기 제2인코딩 단계에서 인코딩 된 제2인코딩 데이터를 포함하는 제3인코딩 데이터를 생성하는 단계를 포함한다.

본 발명의 다른 실시 예에 따르는 스트리밍 데이터 디코딩하는 단말에서의 방법은 스트리밍 데이터를 수신하는 단계; 상기 단말의 통신 환경을 판단하는 단계; 상기 판단된 단말의 통신 환경에 따라 상기 수신한 스트리밍 데이터를 디코딩할 방법을 결정하는 단계; 및 상기 결정된 디코딩 방법으로 상기 수신된 스트리밍 데이터를 디코딩하는 단계를 포함한다.

본 발명의 일 실시 예에 따르면 다양한 환경 또는 이동 및 통신 상태의 변경에 따라 통신 환경이 변하는 다수의 사용자에게 스트리밍 서비스를 원활하게 제공할 수 있다. 또한 복수의 패러티 정보를 전송하여 보다 신뢰도 높은 데이터 복구가 가능한 스트리밍 서비스를 제공할 수 있는 효과가 있다.

도 1은 실시 예에 따른 인코딩 방법을 나타내는 블록도이다.
도 2는 본 발명의 제1실시 예에 따른 디코딩 방법을 나타내는 도면이다.
도 3은 본 발명의 제2실시 예에 따른 디코딩 방법을 나타내는 도면이다.
도 4는 본 발명의 실시 예에 따른 인코딩시 데이터의 흐름을 나타내는 도면이다.
도 5a는 본 발명의 실시 예에 따른 디코딩 방법을 나타내는 순서도이다.
도 5b는 본 발명의 실시 예에 따른 디코딩시 데이터의 흐름을 나타내는 도면이다.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.

마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 이하, 본 발명의 실시 예들에 의하여 휴대 단말기를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.

스트리밍 서비스가 멀티케스트 혹은 브로드케스트 될 때 상기 스트리밍 서버스를 수신하는 사용자 그룹 중 어떤 사용자들은(이하 사용자 그룹 A) 상대적으로 좋은 채널 환경(예를 들어 PLR 1%)에서 서비스를 수신하고 나머지 사용자들은 (이하 사용자 그룹 B) 상기 사용자 그룹 A에 비해 상대적으로 나쁜 채널 환경(예를 들어 PLR 10%)에서 서비스를 수신할 수 있다. 또는 사용자 그룹 A는 랜덤 패킷 로스(random packet loss), 사용자 그룹 B는 버스트 패킷 로스(burst packet loss) 환경에서 각각 서비스를 수신할 수 있다. 떠한 사용자 그룹 A의 사용자가 채널 상태의 변화 또는 사용자의 위치 이동 등으로 인해 좋은 채널환경에서 나쁜 채널환경으로 통신 채널 환경이 변하게 됨으로써 사용자 그룹 B에 해당하게 될 수 있다. 일 예로 일 그룹의 사용자가 좋은 채널 상태(낮은 PLR 및 random loss)에서 스트리밍 서비스를 수신하다가 데이터 컨제스쳔(data congestion)등의 이유로 상기 일 그룹중 일부 또는 전부의 사용자가 상대적으로 나쁜 (높은 PLR 및 burst loss) 환경으로 이동하게 되는 경우를 고려해볼 수도 있다. 또한 무선 이동 통신 환경에서 기지국(Base Station)의 셀(Cell)이 커버하는 통신 반경이 있고, 상기 반경 안에 위치하는 사용자들 중, 기지국에 비교적 가까이 있는 사용자들을 사용자 그룹 A로 분류할 수 있고, 상기 셀이 커버하는 반경의 경계에 있는 사용자들을 사용자 그룹 B로 분류할 수 있다.

이와 같이 다수의 사용자가 동일한 스트리밍 서비스를 수신하는 상황에서 각 사용자 그룹의 통신 환경이 다양할 경우 일 그룹의 사용자에 맞춰 스트리밍 코드를 조절하기 어려울 수 있다. 보다 구체적으로 Unicast와 달리 Multicast나 Broadcast에서는 사용자 그룹 A와 사용자 그룹 B에 하나의 방식으로 스트리밍 서비스를 전송해야 하므로 상기의 Unicast와 같이 사용자의 상태에 따라 다른 코드레이트를 적용하는 등의 사용자 기반 서비스를 제공할 수 없다는 문제점이 있다.

만약 사용자 그룹 A 및 사용자 그룹 B에게 동일하게 스트리밍 서비스를 제공하는 경우를 가정해본다. 이때 작은 FEC Block으로 스트리밍 서비스를 하게 되면 사용자 그룹 B를 위해 낮은 Code Rate을 사용해야 하므로 전송 효율이 낮을 수 밖에 없다. 또한 큰 FEC Block으로 스트리밍 서비스를 하게 되면 사용자 그룹 A는 서비스를 딜레이이 따라 빨리 감상할 수 있는 채널 환경에 있음에도 불구하고 큰 FEC Block으로 인해 서비스를 제공하는데 딜레이가 발생할 수 있다.

또한 스트리밍 서비스가 멀티캐스트나 브로드캐스트로 사용자들에게 서비스 되는 상황을 가정한다. 이 때 서비스 제공자는 일반적인 채널 상태를 가정하여 Code Rate 및 FEC Block크기를 결정하여 전송하게 된다. 이 때 사용자의 이동으로 채널 상태가 예상보다 나빠지거나 또는 서비스 전송 도중 네트워크단에서 데이터 컨제스쳔(data congestion)으로 인하여 버스트 패킷 로스(burst packet loss)가 발생하는 경우를 가정해 볼 수 있다. 이와 같은 경우 발생한 상기 버스트 패킷 로스로 인하여, 기 전송된 FEC Block내의 packet loss를 복구하지 못하고 스트리밍 서비스 도중에 화면이 개지거나 멈추는 현상이 발생할 수 있다. 따라서 이후 나쁜 채널 상태가 지속되는 경우 사용자는 서비스를 원활하게 수신할 수 없게 된다.

도 1은 실시 예에 따른 인코딩 방법을 나타내는 블록도이다.

도 1을 참고 하면 스트리밍 서비스제공을 위해 FEC 인코딩 시 동일한 FEC 소스 블록(Source Block)(100)을 복수개의 인코더(120, 130)를 통해 인코딩 할 수 있다.

이와 같은 인코딩 환경에서 가능한 인코딩 환경은 아래와 같다.

1. Case 0: No coding

2. Case 1: 1단계(One Stage) FEC coding (FEC 2 인코더(130) 제외(skipped))

3. Case 2: 1단계(One Stage) FEC coding (FEC 1 인코더(120) 제외(skipped))

4. Case 3: 2단계(Two Stages) FEC coding (FEC 1, 2 인코드(120, 130)모두 인코딩 진행)

참고로 FEC 1 인코더(120) 및 FEC 2(130)은 각기 동일한 코드를 사용하여 인코딩을 진행할 수 있다. 또한 경우에 따라 각기 다른 코드레이트를 적용하여 인코딩을 진행할 수도 있다.

FEC Source Block(100)은 스트리밍 서비스에 제공될 데이터를 포함하는 블록이다. FEC Source Block(100)을 M개의 FEC Sub-Block(112, 114, 116)으로 분할 할 수 있다. 상기 Sub-Block들은 통신 상황에 따라 그 크기가 달라질 수 있다. 일 예로 1개의 FEC Sub-Block이 재생시 기 설정된 시간 내외로 재생될 수 있도록 설정할 수 있으며, 보다 바람직하게는 나누어진 FEC Sub-Block에 해당하는 데이터가 동일한 시간동안 재생될 수 있도록 Sub-Block의 크기를 조절할 수 있다. 또한 일반적인 통신환경을 고려하여 사용자가 수신할 때 필요한 코드 레이트에 따라 전송 부하를 최소화 할 수 있또록 FEC Sub-Block의 크기를 조절할 수도 있다. 상기 FEC 1 인코더(120)가 인코딩 시 사용하는 코드를 FEC 1 code라 칭할 수 있고, 상기 FEC 2 인코더(130)가 인코딩 시 사용하는 코드를 FEC 2 code라 칭할 수 있다.

상기 제1 내지 제M FEC Sub-Block은 FEC 1 인코더(120)를 통해 인코딩 될 수 있다. 상기 제1인코더에 의해 인코딩된 데이터는 제1 내지 제M FEC Sub-Block(141, 143, 145)을 포함할 수 있다. 상기 제1 내지 제M FEC Sub-Block(141, 143, 145)은 상기 제1내지 제M FEC Sub-Block 과 동일한 내용일 수도 다른 내용일 수도 있다. 또한 FEC 1 인코더(120)의 인코딩 결과에 따라 제1 내지 제M FEC Sub-Block(141, 143, 145)각각의 Sub-Block의 복구를 위한 제1 내지 제M P1(패러티 페이로드1)(142, 144, 146)을 포함할 수 있다.

일 예로 제1 FEC Sub-Block(141)을 수신한 사용자는 수신한 제1 FEC Sub-Block(141)에 어느 정도 손실이 있는 경우에도 제1 P1(142)를 통해 오류를 복구 할 수 있다.

또한 FEC Source Block(100)을 FEC 2 인코더(130)을 통해 인코딩을 진행할 수 있다. 도면 상에는 FEC Source Block(100) 전체를 FEC 2 인커더(130)가 인코딩하는 것으로 도시되었으나, 실시 예에 따라 FEC 1 인코더(120)가 인코딩 하는 Sub-Block 보다 큰 사이즈의 Sub-Block으로 FEc Source Block(100)을 분할하여 인코딩 할 수도 있다.

FEC 2 인코더(130)에 인코딩 된 FEC Source Block(100)의 P2(패러티 페이로드2)(150)이 전송되는 데이터에 첨부될 수 있다. 실시 예에서 상기 2개의 인코더(120, 130)에 의해 인코딩 된 데이터(141 내지 150)를 사용자에게 전송할 수 있다. 상기 P2(150)를 통해 사용자는 수신된 FEC Source Block에 일정 수준의 손실이 있는 경우에도 P2(150)를 통해 오류를 복구하는 것이 가능하다.

실시예에 따르면 도 1에 해당하는 인코딩 방법에 의해 데이터를 수신한 사용자는 아래와 같은 방법으로 스트리밍 서비스를 재생하는 것이 가능하다.

1. 사용자 그룹 A는 FEC 1 인코더(120)의 code를 이용하여 손실된 packet을 복구하여 비교적 낮은 delay (fast start-up)로 서비스를 감상하고

2. 사용자 그룹 B는 FEC 1 인코더(120)의 code를 이용한 손실된 packet 복구 실패 시 FEC 2 인코더(130)의 code를 이용하여 복구할 수 있다. 또한 상황에 따라 바로 FEC 2 인코더(130)의 code를 이용하여 손실된 packet을 복구하여 서비스를 감상한다. 이는 사용자 그룹 B가 채널 상황 측정 등을 통해 자신의 통신 환경을 모니터한 경우에 제안 될 수 있는 방법이다.

3. 사용자 그룹 A에 있는 사용자가 사용자 그룹 B로 전환되는 경우 2에 의한 decoding 방법으로 손실된 packet을 복구하여 서비스를 감상할 수 있다.

4. 사용자 그룹 B에 있는 사용자는 2에 의한 decoding 방법으로 손실된 packet을 복구하여 서비스를 감상한 이후 사용자 그룹 A로 전환되더라도 2에 의한 decoding 방법을 계속 유지하여 서비스를 감상할 수 있다.

MMT 패키지(Package)는 MMT-CI, MMT ADC, MMT Asset(Video), MMT Asset(Audio)를 포함한다. 각각의 Asset은 1개 이상의 MPU(Media Processing Unit)로 구성되어 있다.

Video MMT Asset을 구성하는 MPU들은 MMT Payload Format에 따라 전송 순서에 맞게 MMT Payload로 패킷화(Packetization)되어 MMT Payload들의 stream으로 구성되고, Audio MMT Asset을 구성하는 MPU들도 MMT Payload Format에 따라 전송 순서에 맞게 MMT Payload로 Packetization되어 MMT Payload들의 stream으로 구성된다.

Video를 위한 MMT Payload stream과 Audio를 위한 MMT Payload stream은 서로 다중화(Multiplexing)된 후 각각의 MMT Payload에 MMT Packet Header를 추가하여 MMT Packet으로 구성된 stream을 구성한다.

또는 Video를 위한 MMT Payload stream에서 각각의 MMT Payload에 MMT Packet Header를 추가하여 MMT Packet으로 구성된 Video Stream과 Audio도 마찬가지로 MMT Packet으로 구성된 Audio Stream을 구성한 이후 다중화(Multiplexing)하여 MMT Packet Stream을 구성한다. 여기서 다중화(Multiplexing)이라 함은 MMT payload by MMT payload 또는 MMT Packet by MMT Packet으로 서로 섞는 절차를 포함할 수 있다.

MMT Packet을 FEC Source Payload라 부르면, 상기 MMT Packet Stream 즉, FEC Source Payload Stream은 소정 개수로 구성된 FEC Source Block(100)으로 나누어 지고 각각의 FEC Source Block(100)은 상기 도 1에서 제안된 Case 3와 같은 방법에 의해 FEC encoding될 수 있다. 이때, FEC Source Block(100)은 M개의 FEC Sub-Block(112, 114, 116)으로 나누어 질 수 있다.

또한 각각의 FEC Sub-Block 역시 소정 개수의 FEC Source Payload를 포함할 수 있다. 각각의 FEC Sub-Block은 FEC 1 인코더(120)의 code를 이용하여 소정개수의 FEC Parity Payload를 생성하고 FEC Source Block(100)은 FEC 2 인코더(130)의 code를 이용하여 소정개수의 FEC Parity Payload(도면상의 P2(150))를 생성한다.

그 이후 생성된 각각의 FEC Parity Payload는 MMT Packet Header를 추가하여 MMT 패킷화 한다. 그리고 MMT FEC Payload ID를 각각의 MMT Packet에 추가하여 FEC Packet (Source Payload를 위한 FEC Packet을 FEC Source Packet이라 하고 Parity Payload를 위한 FEC Packet을 FEC Parity Packet이라 한다.)화 하여 최종적으로 하위 레이어(Layer)에 전송할 수 있다.

상기의 MMT FEC Payload ID는 FEC Source Payload를 위한 MMT FEC Payload ID와 Parity Payload를 위한 MMT FEC Payload ID로 구분될 수도 있는데, 이는 수신단에서 FEC Block간의 구분을 위한 Block ID 정보 해당 FEC Block 내의 FEC Source Payload의 개수 정보 FEC Parity Payload의 개수 정보 FEC Source Payload와 FEC Parity Payload들의 FEC Block내의 순서를 나타내는 ID(or Sequence Number) 정보 등을 포함할 수 있다. 상기 ID는 수신단에서 FEC Packet Block 및 FEC Packet Sub-Block내의 수신된 Packet들로부터 FEC decoding을 가능하게 하기 위한 정보들이다.

또한 송신단에서 적용한 FEC coding structure를 수신단이 알게 하기 위해 상기 도 1의 case 3와 같이 FEC encoding되어 있다는 정보를 메시지를 통해 수신단에 미리 전달할 수 있다. 상기 메시지는 FEC Block내의 FEC Source Payload와 FEC Parity Payload를 위한 MMT Packet과는 다른 MMT Packet내에 저장하거나, 같은 MMT Packet내에 저장할 수 있다. 또한 상기 메시지를 전송하여 수신단이 미리 송신단에서 적용한 FEC coding structure를 알게 한다. 상기와 같이 FEC Block내의 FEC Source Payload와 FEC Parity Payload를 위한 MMT Packet과는 다른 MMT Packet내에 저장하여 전송하는 정보로는 FEC coding structure외에 FEC 1 code ID, FEC 2 code ID, 그리고 FEC Source Block이 FEC Information Block으로 전환된 Mode 정보등 FEC 관련 message들을 포함할 수 있다. 또 다를 별도의 MMT Packet으로 MMT-CI, MMT-ADC등의 전송 및 content 소비 관련 정보가 전송된다.

이 후 수신 단에서는 별도의 MMT Packet으로 전송된 전송 및 content 소비 관련 정보 및 FEC 관련 Message를 습득하고 수신된 MMT Packet들의 MMT FEC Payload ID로부터 FEC Block ID 및 FEC Decoding 관련 정보를 습득하여 해당 FEC Packet Block 및 FEC Packet Sub-Block내의 손실된 Packet을 복구할 수 있다.

이 때 사용자 그룹 A는 FEC 1 code에 의해 encoding된 FEC Packet Sub-Block내의 FEC Source Packet과 그와 관련된 FEC Parity Packet들로부터 FEC Block을 재생성하여 이로부터 FEC decoding을 수행함에 의해 손실된 FEC Source Payload를 복구하고 사용자 그룹 B는 FEC 1 code에 의한 FEC decoding 실패 시 FEC 2 code에 의해 encoding된 FEC Packet Block내의 FEC Source Packet과 그와 관련된 FEC Parity Packet들로부터 FEC Block을 재 생성하여 이로부터 FEC decoding을 수행하여 손실된 FEC Source Payload를 복구할 수 있다.

또한 도면 상으로 2개의 FEC 인코더가 개시되었으나, 상기의 인코딩 절차는 동일한 인코더에서 병렬적으로 처리될 수 있다.

도 2는 사용자 그룹 A에 의한 FEC 버퍼링 모델(buffering model) 및 디코딩 블록도(decoding block diagram)를 나타내고, 도 3은 사용자 그룹 B에 의한 FEC buffering model 및 decoding block diagram을 나타낸다.

도 2 및 도 3을 참조하면 사용자 그룹 A에 속해 있는 사용자의 경우 AL-FEC decoding buffer(240)는 각각의 FEC Packet Sub-Block(210 내지 224)에 포함되어 있는 수신된 FEC Source Payload와 FEC Parity Payload를 MMT FEC Payload ID에서 가리키고 있는 순서대로 저장할 수 있다. 이 때 수신되지 않는 FEC Source payload의 자리는 비워둘 수 있으며 실시 예에 따라 복수개의 버퍼를 통해 FEC Source payload를 동시에 수신할 수 있다.

AL-FEC decoding buffer(240)는 해당 FEC Block의 적어도 FEC Source Payload 개수 이상의 Payload를 확보하여 Decoding 준비가 되면 이를 FEC 1 디코더(250)에 전송하는데 수신하지 못한 FEC Source 또는 Parity Payload는 삭제(Erasure)처리를 하여 전송할 수 있다.

FEC 1 디코더(250)는 입력되는 FEC Source Payload와 FEC Parity Payload, Erasure 위치 정보를 이용하여 FEC 1 decoding을 수행하여 복구된 FEC Source Payload를 AL-FEC decoding buffer(240)에 저장할 수 있다. 해당 FEC block의 decoding이 끝나면 AL-FEC decoding buffer(240)는 FEC Source Payload를 De-packetizer(MPU에서 MMT Payload를 거쳐 MMT Packet화 된 과정의 역순)하여 비디오 디코딩 버퍼(260) 및 모디오 디코딩 버퍼(270)로 전송할 수 있다.

그 이후 각각의 Media decoding buffer는 media decoding을 수행 한 후 display하여 최종적으로 사용자에게 스트리밍 서비스를 제공한다. 이와 같이 사용자 그룹 A는 FEC Packet Block(205)을 AL-FEC decoding buffer(240)에 저장하는 것이 아니라 FEC Packet Sub-Block단위로 저장하여 FEC decoding을 수행하기 때문에 FEC에 의한 낮은 delay로 contents를 재생할 수 있다.

도 3을 참조하면 사용자 그룹 B에 속해 있는 사용자의 경우 AL-FEC decoding buffer(340)는 FEC Packet Sub-Block(310 내지 324) 순서대로 각각의 FEC Packet Sub-Block 포함되어 있는 수신된 FEC Source Payload와 FEC Parity Payload를 MMT FEC Payload ID에서 가리키고 있는 순서대로 저장하고 사용자 그룹 A처럼 FEC 1 디코더를 이용한 FEC decoding을 수행한다. 만일 FEC Packet Block내의 모든 FEC Packet Sub-Block 모두 FEC 1 디코더를 이용한 디코딩을 성공하면 Source Block에 해당하는 Source Payload들을 De-packetizer하여 각각의 Media Decoding buffer(360, 370)에 전송하여 최종적으로 사용자에게 스트리밍 서비스를 제공할 수 있다.

만일 FEC Packet Block내의 적어도 하나의 FEC Packet Sub-Block이 FEC decoding 실패하게 되면 FEC Source Block(305)을 위한 FEC Parity Payload(345)를 이용하여 미쳐 복구하지 못한 FEC Source Payload를 추가적으로 복구한다.

상기 추가적인 복구 후 AL-FEC Decoding buffer(340)는 FEC Source Block(305)에 해당하는 Source Payload들을 De-packetizer하여 각각의 Media Decoding buffer(360, 370)에 전송하여 사용자에게 최종적으로 스트리밍 서비스를 제공할 수 있다.

실시 예에 따라, 사용자 그룹 A에 있는 사용자가 FEC Packet Sub-Block에 대한 FEC decoding이 빈번히 실패하여 사용자에 불편을 초래할 것으로 판단되면 사용자 그룹 B로 전환하기 위해 자신의 AL-FEC Decoding Buffer를 도 3과 같이 확장하여 사용자 그룹 B에 있는 사용자처럼 FEC decoding을 수행하여 서비스를 제공하면 된다. 이러한 예로는 사용자 그룹 A에서 FEC decoding을 수행하는 도중 갑자기 채널에서 burst packet loss가 발생해서 FEC 1 디코더를 이용한 decoding이 불가한 경우 사용자 그룹 B로 전환함에 의해 양질의 서비스를 제공할 수 있다.

상기 디코딩을 하는 단말은 FEC 디코딩을 할 수 있는 1개 이상의 디코더와 상기 디코더를 제어하는 제어부를 포함할 수 있다.

도 4는 본 발명의 실시 예에 따른 인코딩시 데이터의 흐름을 나타내는 도면이다.

도 4를 참고하면, Streaming 서비스를 위해 비디오 인코더(410)와 오디오 인코더(415)는 생성된 각각의 비디오 컨텐츠(Video content)와 오디오 컨텐츠(Audio content)를 인코딩(encoding)하여 출력하게 되고 이로부터 비디오는 하나 또는 그 이상의 MPU들로 구성된 비디오 에셋(Video Asset)420)을 오디오는 하나 또는 그 이상의 MPU들로 구성된 오디오 에셋(Audio Asset)을 생성하고 각각의 MPU들은 MMT Payload Format에 맞게 MMT Payload로 패킷화(Packetizer)되어 MMT Payload Stream(430, 435)을 생성한다. 이후 각각의 MMT Payload에 MMT 패킷 헤더(Packet Header)를 추가하여 MMT 패킷 스트림(Packet Stream)(440, 445)을 생성한다. 생성된 Video MMT Packet Stream(440)과 Audio MMT Packet Stream(445)은 다중화(Multiplexing)된 후 하나의 다중화된 MMT Packet Stream(450)으로 구성된다.

다중화된 MMT Packet Stream(450)은 이후 FEC encoding을 위해 소정 개수의 MMT Packet으로 구성된 Source Block으로 나누어 진다. 상기 나눠진 각각의 Source Block은 도 1의 Case 3와 FEC 1 인코더 및 FEC 2 인코더에 의해 인코딩되어(460) Parity Payload들을 생성할 수 있다.

상기 FEC 프로텍션(Protection)된 MMT Packet 각각에 MMT FEC Payload ID를 추가하고, Parity Payload에는 MMT FEC Payload ID 및 MMT Packet Header를 추가하여 FEC Packet Stream(470)을 만들어 사용자에게 전송하게 된다.

도 5a는 본 발명의 실시 예에 따른 디코딩 방법을 나타내는 순서도이다.

도 5a를 참조하면, 수신측의 단말기는 Streaming 서비스의 FEC decoding을 위해 FEC 메시지를 수신한다(500). 상기 단말기는 수신한 FEC 메시지를 기반으로 수신된 FEC Packet stream의 인코딩 방식을 판단할 수 있다(502). 만약 상기 수신한 FEC Packet Stream이 본 발명의 Case 3과 같은 방식으로 인코딩 되었을 경우 단계 506으로 진행하고, 그렇지 않을 경우 단계 504에서 기존의 방식과 같이 디코딩을 수행할 수 있다.

단계 506에서 단말은 현재 단말의 통신 환경이 사용자 그룹 A 또는 B에 해당하는지 판단할 수 있다. 상기 단말은 채널 환경 측정을 통해 통신 환경을 판단할 수 있다. 또한 수신한 FEC Packet Stream을 디코딩 한 후 디코딩 성공 여부에 따라 상기 단말의 통신 환경을 판단할 수도 있다. 또한 수신 단이 사용자 그룹 A에 속하는지 사용자 그룹 B에 속하는지 판단하는 일 예는 수신된 MMT Packet들의 Sequence들로부터 손실된 MMT Packet들의 비율을 예측하고 또한 FEC message의 FEC encoding 관련 정보(예를 들어 FEC Packet Sub-Block의 FEC Source Packet 및 FEC Parity Packet의 개수 정보)를 바탕으로 판단하거나 또는 Feedback channel을 위한 자신이 처해 있는 채널 상황을 알 수 있다.

만약 상기 단말의 통신 환경이 사용자 그룹 A에 있다고 판단될 경우, 상기 단말은 FEC 1 디코더가 FEC Packet Sub-Block단위로 decoding을 수행할 수 있도록 FEC Decoding buffer를 준비할 수 있다(508).

만약 상기 단말의 통신 환경이 사용자 그룹 B에 있다고 판단되면 FEC 1 디코더 및 FEC 2 디코더가 FEC Packeet Sub-Block 및 FEC Packet Block단위로 decoding을 수행하기 위한 FEC Decoding buffer를 준비할 수 있다(510).

도 5b는 본 발명의 실시 예에 따른 디코딩시 데이터의 흐름을 나타내는 도면이다.

도 5b를 참조하면, 단말은 FEC message의 수신 이후 FEC decoding 준비가 되면 FEC 패킷 스트림(Packet Stream)을 수신(520)한다.

각각의 FEC Packet내의 MMT FEC Payload ID 정보를 획득하여 각각의 FEC Block에 해당하는 수신된 FEC Source Payload (MMT Packet)와 FEC Parity Payload를로부터 FEC decoding을 수행한다(530). 상기 디코딩 방식은 도 2 및 도 3에서 기술된 디코딩 방식을 통해 이루어 질 수 있다.

FEC 디코딩을 통해 손실된 FEC Source Payload를 복원하여 복원된 다중화된 MMT 패킷 스트림(Multiplexed MMT Packet Stream)을 생성한다(540).

Multiplexed MMT Packet stream을 비디오 MMT 패킷 스트림(550) 및 오디오 MMT 페킷 스트림(555)으로 나누어서

또한 비디오 MMT Payload Stream(560) 및 오디오 MMT Payload Stream(565)을 구분하고 MMT Header 및 De-packetizing을 수행하여 MPU들로 구성된 Video Asset(570)과 Audio Asset(575)을 각각 생성한다. 각각의 MPU들의 비디오 디코더(580)와 오디오 디코더(585)에 입력되어 압축을 푼 후 재생된다.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

한편, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims

스트리밍 데이터 인코딩 방법에 있어서,
순방향 오류 정정(Forward Error Correction, FEC) 소스 블록을 1개 이상의 FEC 서브 블록으로 나누는 단계;
상기 1개 이상의 FEC 서브 블록을 FEC 인코딩 하는 제1인코딩 단계;
상기 FEC 소스 블록을 인코딩 하는 제2인코딩 단계; 및
상기 제1인코딩 단계에서 인코딩 된 제1인코딩 데이터 및 상기 제2인코딩 단계에서 인코딩 된 제2인코딩 데이터를 포함하는 제3인코딩 데이터를 생성하는 단계를 포함하는 방법.
제1항에 있어서,
상기 1개 이상의 FEC 서브 블록으로 나누는 단계는
상기 나누어진 FEC 서브 블록에 포함되는 데이터의 재생 시간이 기 설정된 범위 내의 시간이 될 수 있도록 상기 FEC 서브 블록을 나누는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
제3인코딩 데이터를 생성하는 단계는 상기 제1인코딩 데이터 및 상기 제2인코딩 단계에서 생성된 FEC 소스 블록에 대한 패러티 패킷을 포함하는 데이터를 생성하는 단계를 포함하는 방법.
제1항에 있어서,
상기 1개 이상의 FEC 서브 블록으로 나누는 단계는
상기 스트리밍 데이터가 전송되는 환경에 따라 FEC 서브 블록의 크기를 유동적으로 결정하는 단계를 포함하는 방법.
제1항에 있어서,
상기 제1인코딩 단계 및 상기 제2인코딩 단계에서 사용되는 인코딩 방법은 동일한 것을 특징으로 하는 방법.
스트리밍 데이터 디코딩하는 단말에서의 방법에 있어서,
스트리밍 데이터를 수신하는 단계;
상기 단말의 통신 환경을 판단하는 단계;
상기 판단된 단말의 통신 환경에 따라 상기 수신한 스트리밍 데이터를 디코딩할 방법을 결정하는 단계; 및
상기 결정된 디코딩 방법으로 상기 수신된 스트리밍 데이터를 디코딩하는 단계를 포함하는 디코딩 방법.
제6항에 있어서,
상기 스트리밍 데이터를 수신하는 단계는 순방향 오류 정정(Forward Error Correction, FEC) 메시지를 수신하는 단계를 포함하고,
상기 수신한 FEC 메시지를 기반으로 디코딩 방법의 집합을 선택하는 단계를 포함하는 것을 특징으로 하는 방법.
제6항에 있어서,
상기 단말의 통신 환경을 판단하는 단계는
상기 단말이 측정하거나, 보고 받은 통신 채널 환경 기반으로 상기 단말의 통신 환경을 판단하는 단계를 포함하는 것을 특징으로 하는 방법.
제6항에 있어서,
상기 수신된 스트리밍 데이터를 디코딩하는 단계는,
상기 결정된 디코딩 방법을 통해 디코딩이 실패 할 경우, 상기 결정된 디코딩 방법과 다른 디코딩 방법을 통해 디코딩 하는 단계를 포함하는 것을 특징으로 하는 방법.
제9항에 있어서,
상기 다른 디코딩 방법은 수신된 스트리밍 데이터의 FEC 패킷 블록의 패러티 패킷을 기반으로 상기 수신된 스트리밍 데이터를 디코딩하는 것을 특징으로 하는 방법.