KR20130086552A

KR20130086552A - 점진 열화 순방향 오류 정정 방법 및 이를 수행하는 장치

Info

Publication number: KR20130086552A
Application number: KR1020130004438A
Authority: KR
Inventors: 원석호; 권선형; 김호겸; 임종수; 권오형
Original assignee: 한국전자통신연구원
Priority date: 2012-01-25
Filing date: 2013-01-15
Publication date: 2013-08-02
Also published as: US20150006991A1

Abstract

점진 열화 순방향 오류 정정 방법 및 이를 수행하는 장치가 개시된다. 점진 열화 순방향 오류 정정 방법은, 시간에 따라 연속적으로 입력되는 데이터 스트림에 대해 미리 설정된 개수의 시간 구간으로 구성된 부호화 단위 데이터 그룹을 결정하고, 부호화 단위 데이터 그룹의 각 시간 구간에서 패리티 프레임의 생성에 이용할 기준 데이터 집합을 결정한 후, 결정된 적어도 하나의 기준 데이터 집합을 이용하여 패리티 프레임을 생성하고, 생성한 패리티 프레임을 미리 설정된 규칙에 기초하여 부호화 단위 데이터 그룹을 구성하는 시간 구간들을 포함하는 복수의 시간 구간 중 적어도 하나의 시간 구간에 배치시킨다. 따라서, 연속적인 긴 구간의 패킷이 손실된 경우에도 손실된 패킷을 복구할 수 있고, 이를 통해 끊김없는 서비스를 제공할 수 있다.

Description

점진 열화 순방향 오류 정정 방법 및 이를 수행하는 장치{METHOD FOR GRACEFUL DEGRADATION FORWARD ERROR CORRECTION AND APPARATUS FOR PERFORMING THE SAME}

본 발명은 오류 정정 기술에 관한 것으로, 더욱 상세하게는 멀티미디어 브로드캐스트 및 멀티캐스트 서비스(MBMS: Multimedia Broadcast Multicast Service)에 적용될 수 있는 점진 열화 순방향 오류 정정 방법 및 이를 수행하는 장치에 관한 것이다.

이동 통신망을 통한 멀티미디어 패킷 통신에서는 이동통신 환경의 특성상 패킷 손실이 발생할 수 있다. 예를 들어, 단말기가 건물 뒤 또는 터널 등과 같은 음영지역을 지나는 경우 단말기는 데이터를 수신할 수 없게 되어 버스트(burst)한 패킷 손실이 발생할 수 있다.

이와 같은 패킷 손실에 대한 보완책으로 ARQ(Automatic Repeat Request) 또는 HARQ(Hybrid ARQ)를 이용한 패킷 재전송 방법이 사용될 수 있으나, 패킷 재전송으로 인한 지연으로 인하여 서비스 품질이 저하될 수 있다. 즉, 미리 저장된 비디오의 재생과 같은 비실시간 서비스의 경우에는 지연이 문제가 되지 않지만, 대화형 비디오 또는 비디오 화상회의와 같은 실시간 서비스에서는 지연이 서비스 품질에 상당히 큰 영향을 미친다.

상기한 바와 같은 상황을 고려하여 재전송 없이 손실된 패킷을 복구하기 위한 방법으로 응용 계층의 순방향 오류 정정 방법(AL-FEC: Application Layer-Forward Error Correction)이 사용되고 있다.

AL-FEC 기법은 패킷 손실이 증가함에 따라 코딩율을 증가시키기 위하여 중복(redundancy)도 증가시킨다. 또한, 중복을 증가시키기 위하여 파운틴 코드(Fountain Code)와 같은 레이트리스 코드(rateless code)를 이용하여 수신단에서 채널에 적응적으로 코드율을 정하거나, 채널의 상태를 수신 어플리케이션 계층 또는 크로스 계층(cross layer) 개념을 도입하여 하위 계층에서 송신단으로 피드백함으로써 송신단의 AL-FEC 중복을 조절하는 방법을 사용한다.

그러나, AL-FEC 기법을 적용하는 경우에도 AL-FEC를 통해서 복구할 수 없는 긴 구간에서 패킷이 손실될 수 있고, 이와 같은 경우 지연을 최소화하면서 끊김없는(seamless) 서비스를 제공하기 위한 손실 패킷 복구 방법이 필요하다.

상술한 문제를 해결하기 위한 본 발명의 목적은 지연을 최소화하면서 연속적인 데이터 손실을 복구할 수 있는 점진 열화 순방향 오류 정정 방법을 제공하는 것이다.

또한, 본 발명의 다른 목적은 상기한 점진 열화 순방향 오류 정정 방법을 수행하는 점진 열화 순방향 오류 정정 장치를 제공하는 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 점진 열화 순방향 오류 정정 방법은 시간에 따라 연속적으로 입력되는 데이터 스트림에 대해 미리 설정된 개수의 시간 구간으로 구성된 부호화 단위 데이터 그룹을 결정하는 단계와, 상기 부호화 단위 데이터 그룹의 각 시간 구간에서 패리티 프레임의 생성에 이용할 기준 데이터 집합을 결정하는 단계와, 결정된 적어도 하나의 상기 기준 데이터 집합을 이용하여 패리티 프레임을 생성하는 단계 및 생성한 패리티 프레임을 미리 설정된 규칙에 기초하여, 상기 부호화 단위 데이터 그룹을 구성하는 시간 구간들을 포함하는 복수의 시간 구간 중 적어도 하나의 시간 구간에 배치시키는 패리티 프레임 배치 단계를 포함한다.

여기서, 상기 기준 데이터 집합을 결정하는 단계는 상기 부호화 단위 데이터 그룹의 각 시간 구간에 포함된 데이터 유형들 중 미리 설정된 복원 우선순위가 가장 높은 기준 데이터 유형들의 시간 길이를 비교하는 단계와, 상기 각 시간 구간에 포함된 기준 데이터 유형들 중 시간 길이가 가장 긴 기준 데이터 유형의 데이터 크기를 상기 기준 데이터 집합의 크기로 결정하는 단계 및 결정된 상기 기준 데이터 집합의 크기에 기초하여 상기 각 시간 구간에서 미리 설정된 복원 우선순위에 따라 적어도 하나의 데이터 유형을 포함하는 상기 기준 데이터 집합을 결정하는 단계를 포함할 수 있다.

여기서, 상기 패리티 프레임을 생성하는 단계는 상기 기준 데이터 집합을 연접하여 소스 데이터를 구성하는 단계 및 상기 소스 데이터에 대해 부호화를 수행하여 상기 패리티 프레임을 생성하는 단계를 포함할 수 있다.

여기서, 상기 소스 데이터에 대해 부호화를 수행하여 상기 패리티 프레임을 생성하는 단계는, 상기 소스 데이터를 입력으로 하여 RaptorQ-like 인코딩을 수행하여 상기 패리티 프레임을 생성할 수 있다.

여기서, 상기 패리티 프레임을 생성하는 단계는 상기 기준 데이터 집합 단위로 구성되는 미리 설정된 주기에 따라 상기 패리티 프레임을 생성할 수 있다.

여기서, 상기 패리티 프레임 배치 단계는 미리 설정된 규칙에 따라 상기 패리티 프레임을 상기 부호화 단위 데이터 그룹을 구성하는 시간 구간들 이전의 시간 구간에 배치하거나, 상기 부호화 단위 데이터 그룹을 구성하는 시간 구간들 중 적어도 하나의 시간 구간에 배치할 수 있다. 또한, 상기 패리티 프레임 배치 단계는 상기 패리티 프레임을 분할하여 각각 특정 길이를 가지는 두 개 이상의 분할 패리티 프레임을 생성하는 단계 및 상기 두 개 이상의 분할 패리티 프레임을 상기 부호화 단위 데이터 그룹을 구성하는 시간 구간들 이전의 시간 구간들에 배치하거나, 상기 부호화 단위 데이터 그룹을 구성하는 시간 구간들 중 두 개 이상의 시간 구간에 배치할 수 있다.

여기서, 상기 분할 패리티 프레임을 생성하는 단계는 복수의 상기 기준 데이터 집합들 중 복구하고자 하는 기준 데이터 집합의 수 및 각 기준 데이터 집합의 크기에 기초하여 상기 분할 패리티 프레임의 크기를 결정할 수 있다.

여기서, 상기 부호화 단위 데이터 그룹을 결정하는 단계는 시간에 따라 연속적으로 입력되는 픽처(picture)들에 대해 미리 설정된 길이를 가지는 상기 시간 구간별로 픽처 그룹(GoP: Group of Picture)을 결정하는 단계 및 미리 설정된 개수의 상기 픽처 그룹으로 구성되는 상기 부호화 단위 데이터 그룹을 결정하는 단계를 포함할 수 있다.

여기서, 상기 기준 데이터 집합을 결정하는 단계는 상기 부호화 단위 데이터 그룹을 구성하는 복수의 픽처 그룹 각각에 포함된 픽처 유형들 중 I 픽처의 길이를 비교하는 단계와, 상기 복수의 픽처 그룹에 각각에 포함된 I 픽처의 길이가 가장 긴 I 픽처의 길이를 상기 기준 데이터 집합의 크기로 결정하는 단계 및 결정한 상기 기준 데이터 집합의 크기에 기초하여 상기 각 픽처 그룹에서 미리 설정된 복원 우선순위에 따라 적어도 하나의 픽처 유형을 포함하는 상기 기준 데이터 집합을 결정하는 단계를 포함할 수 있다.

또한, 본 발명의 목적을 달성하기 위한 본 발명의 다른 측면에 따른 점진 열화 순방향 오류 정정 방법은 멀티 미디어 데이터를 전송하는 전송 장치에서 수행되는 점진 열화 순방향 오류 정정 방법으로, 수신한 데이터 스트림에 대해 미리 설정된 개수의 시간 구간으로 구성된 부호화 단위 데이터 그룹을 결정하는 단계와, 결정된 부호화 단위 데이터 그룹에 포함된 각 시간 구간에서 패리티 프레임의 생성에 이용할 기준 데이터 집합을 결정하는 단계와, 결정된 적어도 하나의 상기 기준 데이터 집합을 이용하여 패리티 프레임을 생성하는 단계 및 상기 생성된 패리티 프레임을 상기 미리 설정된 부호화 단위 데이터 그룹에 포함된 데이터를 전송하기 이전에 전송하는 단계를 포함한다.

여기서, 상기 패리티 프레임을 생성하는 단계는 상기 기준 데이터 집합을 연접하여 소스 데이터를 구성하는 단계 및 상기 소스 데이터에 대해 RaptorQ-like 인코딩을 수행하여 상기 패리티 프레임을 생성하는 단계를 포함할 수 있다.

여기서, 상기 생성된 패리티 프레임을 상기 미리 설정된 부호화 단위 데이터 그룹에 포함된 데이터를 전송하기 이전에 전송하는 단계는, 상기 수신한 데이터 스트림이 버퍼링된 시간 구간 동안 상기 생성된 패리티 프레임을 전송할 수 있다.

여기서, 상기 수신한 패킷 스트림에 대해 미리 설정된 개수의 시간 구간으로 구성된 부호화 단위 데이터 그룹을 결정하는 단계는, 특정 프로토콜의 파일 분할 처리 단위 시간 구간과 동일한 시간 구간으로 상기 부호화 단위 데이터 그룹의 시간 구간을 결정할 수 있다.

여기서, 상기 수신한 패킷 스트림에 대해 미리 설정된 개수의 시간 구간으로 구성된 부호화 단위 데이터 그룹을 결정하는 단계는, FLUTE(File Delivery over Unidirectional Transport) 프로토콜의 파일 세그먼트 구간(file segment duration)과 동일한 시간 구간으로 상기 부호화 단위 데이터 그룹의 시간 구간을 결정할 수 있다.

여기서, 상기 점진 열화 순방향 오류 정정 방법은, 상기 FLUTE 프로토콜의 파일 세그먼트 구간에 포함된 세그먼트 파일을 나눈 세그먼트 패킷 유닛(segment packet unit) 단위로 인터리빙을 수행하는 단계를 더 포함할 수 있다.

또한, 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 점진 열화 순방향 오류 정정 장치는 입력된 멀티미디어 데이터에 대해 점진 열화 순방향 오류 정정 처리를 수행하는 제1 부호화 처리 계층과, 점진 열화 순방향 오류 정정 처리가 수행된 데이터에 대해 전송 프로토콜 처리를 수행하는 전송 프로토콜 처리 계층 및 전송 프로토콜 처리가 수행된 데이터에 대해 응용 계층의 순방향 오류 정정 처리를 수행하는 제2 부호화 처리 계층을 포함한다.

여기서, 상기 제1 부호화 처리 계층은 입력된 멀티미디어 데이터의 유형을 구분하여 상기 점진 열화 순방향 오류 정정 처리를 수행할 수 있다.

상술한 바와 같은 점진 열화 순방향 오류 정정 방법 및 이를 수행하는 장치에 따르면, AL-FEC가 복구할 수 없는 연속적인 긴 구간의 패킷이 손실된 경우에도 손실된 패킷을 복구할 수 있고, 이를 통해 끊김없는 서비스를 제공할 수 있다.

또한, 손실된 데이터를 복구하기 위해 추가되는 중복(redundancy) 데이터의 크기를 최소화함으로써 부호화 이득을 향상시킬 수 있고, 이를 통해 전송 효율을 향상시킬 수 있다.

또한, 점진 열화 순방향 오류 정정 부호화 및 복호화로 인한 지연시간을 최소화함으로써 손실 보상 효율을 향상시킬 수 있고, 서비스 품질을 보장할 수 있다.

도 1은 본 발명의 일 실시예에 따른 제1 유형 GD-FEC 방법을 나타내는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 제2 유형 GD-FEC 방법을 나타내는 개념도이다.
도 3은 본 발명의 일 실시예에 따른 제3 유형 GD-FEC 방법을 나타내는 개념도이다.
도 4는 도 3에 도시한 제3 유형 GD-FEC 방법의 프레임 구성 타이밍도를 보다 상세하게 나타낸 것이다.
도 5은 본 발명의 일 실시예에 따른 제4 유형 GD-FEC 방법을 나타내는 개념도이다.
도 6은 도 5에 도시한 제4 유형 GD-FEC 방법의 프레임 구성 타이밍도를 보다 상세하게 나타낸 것이다.
도 7은 본 발명의 일 실시예에 따른 점진 열화 순방향 오류 정정 방법에 사용되는 패리티 프레임의 헤더 구성을 나타낸다.
도 8은 본 발명의 일 실시예에 따른 점진 열화 순방향 오류 정정 방법의 처리 순서를 설명하기 위한 개념도이다.
도 9는 3GPP 전송 프로토콜 구조에서 본 발명의 일 실시예에 따른 순방향 오류 정정 방법이 포함되는 위치를 나타낸다.
도 10은 본 발명의 일 실시예에 따른 점진 열화 순방향 오류 정정 방법이 수행된 후 처리되는 AL-FEC 처리 절차를 나타낸다.
도 11은 본 발명의 일 실시예에 따른 점진 열화 순방향 오류 정정 방법의 복호화 지연을 최소화하기 위한 방법을 나타낸다.
도 12는 본 발명의 다른 실시예에 따른 점진 열화 순방향 오류 정정 방법의 복호화 지연을 최소화하기 위한 방법을 나타낸다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

본 발명의 실시예에 따른 점진 열화 순방향 오류 정정 방법에서는 버스트한 패킷 손실을 해결하기 위한 최적화된 패리티 프레임 발생 방법을 제공하고, 필연적으로 발생하는 지연의 영향을 분산시켜 서비스에 영향을 미치지 않게 하는 방법으로서의 점진 열화 순방향 오류 정정 기법과 페이로드 포맷팅 기법의 조합으로 코딩 이득 및 패킷 손실 보상 효율을 향상시킨다.

본 발명의 구성 및 동작에 대한 설명을 용이하게 하기 위하여 먼저 본 발명의 실시예에 따른 다양한 유형의 점진 열화 순방향 오류 정정(Graceful Degradation-Forward Error Correction, 이하, 'GD-FEC'라 지칭함) 방법 각각에 대한 형태, 타이밍도, 부호화 방법, 패리티 비트 발생 방법, 프레임 구성 및 분산 방법, 그리고 특히 전송 지연과 수신 지연을 고려한 패리티 프레임 배치 방법 등에 대해 설명한다.

이하에서 기술되는 다양한 유형의 GD-FEC 방법 설명에서는 비디오 데이터를 예를 들어 설명하였으나, 본 발명의 실시예에 따른 GD-FEC 방법이 비디오 데이터에만 적용되는 것은 아니다. 즉, 본 발명의 실시예에 따른 GD-FEC 방법은 비디오 데이터 뿐만 아니라, 오디오, DIMS(Dynamic and Interactive Multimedia Scenes), 텍스트 등의 멀티미디어 데이터에 적용될 수 있다.

제1 유형 GD-FEC

도 1은 본 발명의 일 실시예에 따른 제1 유형 GD-FEC 방법을 나타내는 개념도로서, 제1 유형 GD-FEC 방법의 타이밍도, 인코딩, 패리티 프레임의 구성, 분배, 배치 방법을 나타낸 것이다.

도 1을 참조하면, 하나의 GD-FEC 부호화에 참여하는 GoP(Group of Picture)의 그룹을

라 하고,

의 원소의 개수를 L이라 하면, L개의 GoP 별로 버스트 패킷 손실 발생시 복구하고자 하는 I 프레임들의 길이(또는 데이터 크기)를 비교하여 가장 긴 프레임을 선정하고, 선정된 I 프레임의 크기를 마크로 프레임(Macro frame, Mfr)의 크기로 정한다. 여기서, GoP는 복수의 픽처(또는, 프레임)로 구성된 그룹을 의미하며, 본 발명의 실시예들에서는 GoP가 4개의 프레임 시간(frame time)으로 구성된 것으로 가정하였다. I 프레임은 전후의 픽처(또는 프레임)와는 상관없이 하나의 픽처 내 정보만을 이용하여 부호화된 프레임을 의미한다. 또한, 마크로 프레임은 GD-FEC의 패리티 프레임을 생성시키기 위해 포함되는 비트들을 구성하는 소정 크기를 가지는 프레임 그룹을 의미한다.

한편,

를 구성하는 원소들인 각각의 GoP에서, I 프레임을 우선적으로 선정한 후 미리 설정된 우선 순위에 따라 보호하고자 하는 프레임 순서대로 마크로 프레임(Mfr)의 길이에 맞추어 각 GoP에 해당하는 마크로 프레임(Mfr)을 구성한다. 여기서, 우선 순위는 버스트 패킷 손실이 발생하는 경우 복원 우선 순위를 의미할 수 있고, 예를 들어, I, P, B 프레임 순으로 우선 순위가 설정될 수 있다. P 프레임은 픽처간의 순방향 예측 부호화를 통해 얻어지는 픽처를 의미하고, B 픽처는 픽처간 양방향 예측 부호화를 통해 얻어지는 픽처를 의미한다.

이후, 마크로 프레임들을 연접하여 소스 심볼을 구성한 후, 구성된 소스 심볼을 대상으로 GD-FEC 부호화를 수행하여 부호화 결과로 패리티 프레임(Parity frame, Pfr)을 획득한다.

제1 유형 GD-FEC에서 패리티 프레임의 생성 절차는 수학식 1과 같이 표현할 수 있다.

수학식 1에서, 연산자 '<~'는

내의 마크로 프레임(Mfr)들을 연접하여 구성한 소스 심볼을 RaptorQ-like 인코딩의 입력으로 하여 획득한 출력을

내의 각 GoP에 삽입하는 패리티 프레임(Pfr)을 생성하는 함수를 의미한다. 또한, F는 RaptorQ-like 인코딩 함수를 의미하고, i는 프레임 시간(frame time)을 의미한다. 패리티 프레임(Pfr)의 길이는 후술할 수학 정리 1 및 따름 정리 1에 의해 결정된다.

본 발명의 일 실시예에 따른 제1 유형 GD-FEC의 매개변수는 L=4, D=1, G=1 이다. 여기서, D는 GD-FEC 인코딩 결과로 획득한 패리티 프레임(Pfr)이 나누어 실리는 GoP의 개수를 의미하고, 도 1에 도시한 제1 유형 GD-FEC에서는 1개의 GoP에 1개의 패리티 프레임(Pfr)이 실리므로 D=1이 된다. 또한, G는

의 각 해당 마크로 프레임을 연접하여 함수 F를 통해 발생되는 패리티 프레임(Pfr)의 생성 주기를 의미하고, 도 1에 도시한 바와 같이 G=1인 경우 매 GoP 마다 패리티 프레임(Pfr)이 발생된다. 여기서, 매개변수 L, D, G 값은 예를 들어 나타낸 것으로, 상기한 값들에 한정되는 것은 아니며, 전송 지연 또는 수신 지연 요구에 따라 다르게 설정될 수 있다. 또한, 본 발명의 실시예에에서는 패리티 프레임이 각 GoP 구간의 가장 마지막 프레임 시간에 위치하는 것으로 예를 들어 설명하였으나, 패리티 프레임의 위치가 각 GoP 구간의 가장 마지막 프레임 시간에 위치하는 것으로 한정되는 것은 아니다. 또한, 각 패리티 프레임을 생성하기 위해 선택되는 마크로 프레임의 선택 방법 역시 다양하게 구성될 수 있다.

수학식 1을 참조하여 도 1에 도시한 제1 유형 GD-FEC의 구성을 보다 상세하게 설명하면, 먼저 4개의 GoP(GoP-2, GoP-3, GoP-4, GoP-5)에 각각 포함된 4개의 마크로 프레임 Mfr5, Mfr9, Mfr13, Mfr17을 연접하여 소스 심볼을 구성하여 RaptorQ-like 인코딩(즉, 함수 F)을 수행한 후 그 결과로 생성되는 패리티 프레임(Pfr4)를 프레임 시간(frame time) t4에 위치시킨다.

한편, 제1 유형 GD-FEC는 매개변수로 G=1로 가정하고, 하나의 GoP는 4개의 프레임 시간으로 구성된 것으로 예를 들었으므로, 두 번째 패리티 프레임(Pfr8)은 프레임 시간 t8에 위치하게 되고, 수학식 1에 나타낸 바와 같이 4개의 GoP(GoP-3, GoP-4, GoP-5, GoP-6)에 각각 포함된 4개의 마크로 프레임 Mfr9, Mfr13, Mfr17, Mfr21을 연접하여 소스 심볼을 구성하여 RaptorQ-like 인코딩을 수행하여 패리티 프레임(Pfr8)를 생성한다.

제2 유형 GD-FEC

도 2는 본 발명의 일 실시예에 따른 제2 유형 GD-FEC 방법을 나타내는 개념도로서, 제2 유형 GD-FEC 코드의 타이밍도, 인코딩, 패리티 프레임의 구성, 분배, 배치 방법을 나타낸 것이다.

이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 제2 유형 GD-FEC의 구성 및 방법을 설명한다.

도 2에 도시한 바와 같이 제2 유형 GD-FEC의 매개변수는 L=4, D=1, G=2로 설정될 수 있고, 하나의 GoP는 4개의 프레임 시간으로 구성될 수 있다. 여기서, 매개변수 L, D, G의 의미와 마크로 프레임(Mfr)의 생성방법은 도 1을 통해 상술한 바와 동일하다.

제2 유형 GD-FEC는 L=4 이므로, 하나의

에 4개의 GoP가 포함되고, 4개의 GoP 각각에 포함된 마크로 프레임(Mfr)이 연접되어 소스 심볼로 구성된 후 RaptorQ-like 인코딩의 입력으로 제공되어 패리티 프레임(Pfr)을 생성하게 된다.

한편, 제2 유형 GD-FEC에서는 G=2이므로 패리티 프레임(Pfr)은 2개의 GoP 마다 한 개씩 생성되고, D=1 이므로 생성된 하나의 패리티 프레임(Pfr)은 하나의 GoP에 실리게 된다.

제2 유형 GD-FEC에서 패리티 프레임의 생성 절차는 수학식 2과 같이 표현할 수 있다.

수학식 2에서, 연산자 '<~', F 및 i 각각의 의미는 수학식 1에서 설명한 바와 동일하다.

수학식 2에 나타낸 바와 같이 제2 유형 GD-FEC의 첫 번째 패리티 프레임(Pfr 4)의 생성 방법 및 적용 위치는 제1 유형 GD-FEC와 동일하나, 제2 유형 GD-FEC는 G=2 이므로, 두 번째 패리티 프레임(Pfr 12)의 생성 방법 및 적용 위치가 제1 유형 GD-FEC와 다르다.

즉, 제2 유형 GD-FEC에서는 G=2 이므로, 두 번째 패리티 프레임(Pfr 12)의 적용 위치는 GoP-3이 위치하는 프레임 시간 t12가 될 수 있고, GoP-3 바로 다음에 위치하는 GoP-4 부터 연속으로 위치하는 4개의 GoP(즉, GoP-4, GoP-5, GoP-6, GoP-7)에 각각 포함된 4개의 마크로 프레임(Mfr 13, Mfr 17, Mfr 21, Mfr 25)에 기초하여 패리티 프레임(Pfr 12)이 생성될 수 있다.

도 2에 도시한 제2 유형 GD-FEC의 구성에서 매개변수 L, D, G 값은 예를 들어 나타낸 것으로, 상기한 값들에 한정되는 것은 아니며, 전송 지연 또는 수신 지연 요구에 따라 다르게 설정될 수 있다. 또한, 본 발명의 실시예에에서는 패리티 프레임이 각 GoP 구간의 가장 마지막 프레임 시간에 위치하는 것으로 예를 들어 설명하였으나, 패리티 프레임의 위치가 각 GoP 구간의 가장 마지막 프레임 시간에 위치하는 것으로 한정되는 것은 아니다. 또한, 각 패리티 프레임을 생성하기 위해 선택되는 마크로 프레임의 선택 방법 역시 다양하게 구성될 수 있다.

제3 유형 GD-FEC

도 3은 본 발명의 일 실시예에 따른 제3 유형 GD-FEC 방법을 나타내는 개념도로서, 제3 유형 GD-FEC 코드의 타이밍도, 인코딩, 패리티 프레임의 구성, 분배, 배치 방법을 나타낸 것이다. 또한, 도 4는 도 3에 도시한 제3 유형 GD-FEC 방법의 프레임 구성 타이밍도를 보다 상세하게 나타낸 것이다.

이하, 도 3 및 도 4를 참조하여 본 발명의 일 실시예에 따른 제3 유형 GD-FEC 방법을 보다 구체적으로 설명한다.

도 3에서 L은 GD-FEC 부호화되는 소스 정보 입력 그룹을 나타내는 것으로, 하나의 GD-FEC 부호화에 참여하는 GoP의 그룹을

라 하고,

의 원소의 개수를 L이라 하면, L개의 GoP 별로 버스트 패킷 손실 발생시 복구하고자 하는 I 프레임들의 길이를 비교하여 가장 긴 프레임을 선정하고, 선정된 I 프레임의 크기를 마크로 프레임(Mfr)의 크기로 정한다.

예를 들어, 도 3에 도시한 각 GoP가 도 4에 도시한 바와 같이 구성되는 경우, 하나의 GoP 그룹

에 포함된 GoP-3, GoP-4, GoP-5, GoP-6 중 가장 긴 길이를 가지는 I 프레임은 프레임 I41이 되고, 프레임 I41의 길이가 마크로 프레임(Mfr)의 크기로 결정된다.

또한,

를 구성하는 원소들인 각각의 GoP에서, I 프레임을 우선적으로 선정한 후 미리 설정된 우선 순위에 따라 보호하고자 하는 프레임 순서대로 마크로 프레임(Mfr)의 길이에 맞추어 각 GoP에 해당하는 마크로 프레임(Mfr)을 구성한다. 여기서, 우선 순위는 버스트 패킷 손실이 발생하는 경우 복원 우선 순위를 의미할 수 있고, 예를 들어, I, P, B 프레임 순으로 우선 순위가 설정될 수 있다.

예를 들어, 도 4에 도시한 바와 같이 GoP-3, GoP-4, GoP-5 및 GoP-6에 각각 포함된 I 프레임 중 가장 길이가 긴 프레임 I41의 길이에 기초하여 마크로 프레임(Mfr 9)의 크기가 결정되면, 마크로 프레임(Mfr 9)의 크기에 따라 GoP-4, GoP-5 및 GoP-6 각각에서 마크로 프레임(Mfr 9)에 상응하는 크기를 가지는 마크로 프레임 Mfr 13, Mfr 17, Mfr 21을 구성한다.

즉, 도 4에 예시한 바와 같이 미리 설정된 우선 순위에 따라 GoP-4에서는 I 프레임(I41)과 P 프레임(P41)의 일부로 구성된 마크로 프레임(Mfr 13)이 결정될 수 있고, GoP-5에서는 I 프레임(I51), P 프레임(P51), B 프레임(B51)의 일부로 구성된 마크로 프레임(Mfr 17)이 결정될 수 있다. 또한, GoP-6에서는 I 프레임(I61)과 I 프레임(P62)로 구성된 마크로 프레임(Mfr 21)이 결정될 수 있다.

상기한 바와 같이,

에 포함된 GoP들 각각에서 마크로 프레임이 결정되면, 결정된 마크로 프레임들을 연접하여 소스 심볼을 구성한 후, 구성된 소스 심볼을 대상으로 GD-FEC 부호화를 수행하여 그 결과로 분할 패리티 프레임(Divided Parity frame, DPfr)을 획득한다. 여기서, 분할 패리티 프레임은 L개로 구성되는 GoP 그룹의 마크로 프레임(Mfr)들을 연접하여 GD-FEC 부호화하여 발생된 패리티 프레임(Pfr)을 각 GoP의 적당한 위치(예를 들면, 각 GoP 구간의 마지막 프레임 시간)에 추가하기 위해 소정의 크기로 분할된 프레임을 지칭한다.

이후, 획득한 분할 패리티 프레임(DPfr)을 해당 GoP에 추가한다.

제3 유형 GD-FEC에서 분할 패리티 프레임(DPfr)의 생성 및 추가 절차는 수학식 3과 같이 표현할 수 있다.

수학식 3에서, 연산자 '<~'는

내의 각 GoP에 삽입하는 분할 패리티 프레임(DPfr)을 생성하는 함수를 의미한다. 또한, 연산자 '//'는 RaptorQ-like 인코딩 결과로 생성된 패리티 프레임의 길이를 D 등분하여 분할 패리티 프레임(DPfr)를 생성하는 것을 의미한다. 또한, F는 RaptorQ-like 인코딩 함수를 의미하고, i는 프레임 시간(frame time)을 의미한다. 분할 패리티 프레임(DPfr)의 길이는 후술할 따름 정리(Corollary) 2에 의해 결정된다.

본 발명의 일 실시예에 따른 제3 유형 GD-FEC의 매개변수는 L=4, D=2, G=2로 주어질 수 있다. 여기서, 매개변수 D 및 G의 의미는 도 1에서와 동일하다.

한편, 제3 유형 GD-FEC에서는 G=2이므로 패리티 프레임(Pfr)은 2개의 GoP 마다 한 개씩 생성되고, D=2 이므로 생성된 하나의 패리티 프레임(Pfr)은 두 개의 분할 패리티 프레임(DPfr)로 분할되고 각각의 분할 패리티 프레임(DPfr)은 한 개의 GoP에 분할되어 위치하게 되어, 결과적으로 하나의 패리티 프레임(Pfr)이 두 개의 GoP에 위치하게 된다.

도 3 및 도 4에 도시한 제3 유형 GD-FEC의 구성에서 매개변수 L, D, G 값은 예를 들어 나타낸 것으로, 상기한 값들에 한정되는 것은 아니며, 전송 지연 또는 수신 지연 요구에 따라 다르게 설정될 수 있다. 또한, 본 발명의 실시예에에서는 분할 패리티 프레임이 각 GoP 구간의 가장 마지막 프레임 시간에 위치하는 것으로 예를 들어 설명하였으나, 분할 패리티 프레임의 위치가 각 GoP 구간의 가장 마지막 프레임 시간에 위치하는 것으로 한정되는 것은 아니다. 또한, 각 패리티 프레임을 생성하기 위해 선택되는 마크로 프레임의 선택 방법 역시 다양하게 구성될 수 있다.

제4 유형 GD-FEC

도 5은 본 발명의 일 실시예에 따른 제4 유형 GD-FEC 방법을 나타내는 개념도로서, 제4 유형 GD-FEC 코드의 타이밍도, 인코딩, 패리티 프레임의 구성, 분배, 배치 방법을 나타낸 것이다. 또한, 도 6은 도 5에 도시한 제4 유형 GD-FEC 방법의 프레임 구성 타이밍도를 보다 상세하게 나타낸 것이다.

이하, 도 5 및 도 6을 참조하여 본 발명의 일 실시예에 따른 제4 유형 GD-FEC 방법을 보다 구체적으로 설명한다.

도 5에서 L은 GD-FEC 부호화되는 소스 정보 입력 그룹을 나타내는 것으로, 하나의 GD-FEC 부호화에 참여하는 GoP의 그룹을

라 하고,

의 원소의 개수를 L이라 하면, L개의 GoP 별로 버스트 패킷 손실 발생시 복구하고자 하는 I 프레임들의 길이를 비교하여 가장 긴 프레임을 선정하고, 선정된 I 프레임의 크기를 마크로 프레임(Mfr)의 크기로 정한다. 도 5에 도시한 제4 유형 GD-FEC에서는 매개 변수 L 및 5를 각각 5로 설정한 경우를 예를 들어 도시하였다. 그러나, 매개 변수 L 및 5의 값은 상기한 값들에 한정되는 것은 아니며, 전송 지연 또는 수신 지연 요구 등에 따라 다르게 설정될 수 있다.

도 5에 도시한 각 GoP가 도 6에 도시한 바와 같이 구성되는 경우, 하나의 GoP 그룹

에 포함된 GoP-1, GoP-2, GoP-3, GoP-4, GoP-5 중 가장 긴 길이를 가지는 I 프레임은 프레임 I21이 되고, 프레임 I21의 길이가 마크로 프레임(Mfr)의 크기로 결정된다.

또한,

예를 들어, 도 6에 도시한 바와 같이 GoP-1, GoP-2, GoP-3, GoP-4 및 GoP-5에 각각 포함된 I 프레임 중 가장 길이가 긴 프레임 I21의 길이에 기초하여 마크로 프레임(Mfr 5)의 크기가 결정되면, 마크로 프레임(Mfr 5)의 크기에 따라 GoP-1, GoP-3, GoP-4 및 GoP-5 각각에서 마크로 프레임(Mfr 5)에 상응하는 크기를 가지는 마크로 프레임 Mfr 1, Mfr 9, Mfr 13 및 Mfr 17을 구성한다.

즉, 도 6에 예시한 바와 같이 미리 설정된 우선 순위에 따라 GoP-1에서는 I 프레임(I11)과 P 프레임(P11)의 일부로 구성된 마크로 프레임(Mfr 1)이 결정될 수 있고, GoP-3에서는 I 프레임(I31)과 P 프레임(P31)의 일부로 구성된 마크로 프레임(Mfr 9)이 결정될 수 있다. 또한, GoP-4에서는 I 프레임(I41), P 프레임(P 41) 및 B 프레임(B41)의 일부로 구성된 마크로 프레임(Mfr 13)이 결정될 수 있고, GoP-5에서는 I 프레임(I51)과 I 프레임(I52)로 구성된 마크로 프레임(Mfr 17)이 결정될 수 있다.

상기한 바와 같이,

에 포함된 GoP들 각각에서 마크로 프레임이 결정되면, 결정된 마크로 프레임들을 연접하여 소스 심볼을 구성한 후, 구성된 소스 심볼을 대상으로 GD-FEC 부호화를 수행하여 그 결과로 분할 패리티 프레임(DPfr)을 획득한다.

제4 유형 GD-FEC에서 분할 패리티 프레임(DPfr)의 생성 및 추가 절차는 수학식 4와 같이 표현할 수 있다.

수학식 4에서, 연산자 '<~'는

내의 각 GoP에 삽입하는 분할 패리티 프레임(DPfr)을 생성하는 함수를 의미한다. 또한, 연산자 '//'는 RaptorQ-like 인코딩 결과로 생성된 패리티 프레임의 길이를 (D-T) 등분하여 분할 패리티 프레임(DPfr)를 생성하는 것을 의미한다. 또한, F는 RaptorQ-like 인코딩 함수를 의미하고, T는 마크로 프레임(Mfr)의 연접 손실 발생시 복구 가능한 GoP의 수, 즉 복구 가능한 마크로 프레임(Mfr)의 수를 의미하며, i는 프레임 시간(frame time)을 의미한다. 분할 패리티 프레임(DPfr)의 길이는 후술할 따름 정리(Corollary) 2에 의해 결정된다.

이하에서는 따름 정리들을 도출하기 위해 수학 정리를 먼저 정의하고, 따름 정리 1 및 따름 정리 2에 대해 정의한다.

수학 정리(Theorem) 1

채널 용량 C를 채널 사용당 B 비트라 가정하면, 전송률 R은 R=Bk/(k+m)≤C=B의 관계가 성립한다. 여기서, k는 메시지 길이를 의미하고, m은 패리티 길이를 의미한다.

또한, 베어러 전송 절차 중 메시지의 α비율 만큼 손실이 발생한 것으로 가정하면, 손실이 발생하지 않은 메시지의 남은 부분의 길이는 (1-α)k가 되며, m>αk의 관계가 성립한다.

수학 정리(Theorem) 1의 증명(proof)

수학정리 1에서 손실된 메시지는 이원 소실 통신로(Binary Erasure Channel, BEC)를 통과하는 동안 소실된 것으로 해석할 수 있다. 따라서, 수학식 5에 나타낸 바와 같은 부등식이 성립하고, 이에 따라 수학식 6에 나타낸 바와 같은 부등식이 성립해야 한다.

만약 m=αk 이라고 가정하면, R'=1이 되어 결과적으로 C'보다 큰 값을 가지므로 가정에 위배된다. 따라서, 수학식 6에 나타낸 부등식은 m>αk인 경우에만 성립한다.

따름 정리(Corollary) 1

수학 정리 1에 의해 k 비트의 길이를 가지는 메시지에서 α만큼 손실된 경우, 필요한 패리티의 길이는 손실된 비트보다는 더 많이 필요함을 알 수 있다. 이 때, 완전 손실 복원 코드에 가까운 코드(예를 들면, RaptorQ 코드)를 사용하여 손실 복원을 수행하는 경우, 패리티의 길이를 손실된 비트 길이에 근접하도록 구성할 수 있다. 따라서, 충분히 작은 양의 수 ε에 대해 m=αk+ε가 성립한다.

따름 정리(Corollary) 2

분할 패리티 프레임의 길이는 수학식 7과 같이 산출할 수 있다.

상기한 수학 정리 1 및 따름 정리 1에 의해, 복구하고자 하는 정보 비트의 양보다 패리티 비트의 양을 크게 설정해야 한다. 이는 연속적인 GoP 들이 손실되어 모든 프레임들이 손실된 경우 I 프레임의 비트만이라도 복원하기 위해서는 I 프레임의 비트양 보다 많은 패리티 비트를 생성시켜야 한다는 것을 의미한다.

결론적으로, αk 만큼의 비트가 손실된 경우, 이를 복구할 수 있는 패리티의 길이는 m=αk+ε가 되어야 하므로, 손실된 T개의 마크로 프레임(Mfr)을 복구하기 위해서는 [Tㅇlength(Mfr)+ ε] 길이의 패리티가 필요하다. 또한,

내에서 T개의 GoP가 모두 손실된 경우에는 D-T 개의 GoP를 이용하여 RaptorQ-like 디코딩을 수행하여 필요한 정보를 복원할 수 있기 때문에 최종적으로 손실을 복원하기 위해 필요한 분할 패리티 프레임의 길이는 수학식 7과 같이 주어진다.

도 7은 본 발명의 일 실시예에 따른 점진 열화 순방향 오류 정정 방법에 사용되는 패리티 프레임의 헤더 구성을 나타내는 것으로, GD-FEC 부호화를 통해 생성된 패리티 프레임의 헤더 구성을 나타낸 것이다.

도 7을 참조하면, 패리티 프레임의 헤더는 프레임의 수(Num frames) 필드, 프레임 번호(Frame nums) 필드, 각 프레임의 길이(Frame n Length, 여기서, n은 자연수) 필드를 포함할 수 있다.

여기서, 패리티 프레임의 헤더는 중복되는 필드를 생략할 수도 있고, 헤더 압축도 가능하다. 또한, 패리티 프레임의 헤더에 포함되지 않은 다른 파라미터 정보들은 대역외 시그널링(out of band signaling)을 통해 전송될 수 있다.

이하에서는 본 발명에 따른 점진 열화 순방향 오류 정정 방법의 처리 순서에 대해 개념적인 설명으로부터 시작하여 3GPP(3^rd Generation Partnership Project)의 전송 프로토콜 구조를 참조하여 순차적으로 구체화시켜 설명한다.

도 8은 본 발명의 일 실시예에 따른 점진 열화 순방향 오류 정정 방법의 처리 순서를 설명하기 위한 개념도이다.

도 8을 참조하면, 일반적으로 오디오, 비디오, DIMS(Dynamic and Interactive Multimedia Scenes), 텍스트 등의 멀티미디어 데이터는 미디어 장비(810)로부터 전송 장비(820)로 전송된 후, 전송 장비(820)에서 네트워크(830)를 통해 사용자 단말(840)로 제공된다.

여기서, 미디어 장비(810)는 예를 들어 컨텐츠 서버가 될 수 있고, 전송 장비(820)는 예를 들어 BM-SC(Broadcast Multicast Service Center)로 구성될 수 있다. 또한, 네트워크(830)는 MBMS(Multimedia Broadcast and Multicast Service)를 지원하는 이동 통신망이 될 수 있다.

본 발명의 일 실시예에 따른 GD-FEC와 AL-FEC 방법은 멀티미디어 데이터 전송의 신뢰도 및 강건성을 향상시킬 수 있는 방법이지만, 이를 위한 패리티 데이터는 미디어 장비(810)의 측면에서는 불필요한 중복(redundancy) 데이터이다. 따라서, 멀티미디어 제공을 위한 범용의 미디어 장비(810)에서는 GD-FEC 및 AL-FEC 방법이 수행되서는 안되며, 전송 장비(820)가 미디어 장비(810)로부터 제공된 오디오, 비디오, DIMS, 텍스트 등의 멀티미디어 데이터에 대해 GD-FEC 및 AL-FEC를 수행한다.

그러나, AL-FEC와 달리 본 발명의 일 실시예에 따른 GD-FEC는 부호화 및 복호화시 I 프레임을 구분해야 하므로, 전송 장비(820)에 입력된 데이터가 인터리빙(interleaving), 암호화 등의 수행으로 데이터 종류나 우선순위 등을 구분할 수 없게 되기 전에 처리되어야 한다.

도 9는 3GPP 전송 프로토콜 구조에서 본 발명의 일 실시예에 따른 점진 열화 순방향 오류 정정 방법이 포함되는 위치를 나타낸 것으로, MBMS 전송을 수행하는 프로토콜 구조를 예를 들어 도시하였다. 또한, 도 10은 본 발명의 일 실시예에 따른 점진 열화 순방향 오류 정정 방법이 수행된 후 처리되는 AL-FEC 처리 절차를 나타낸 것이다. 도 9 및 도 10에 도시한 GD-FEC 및 AL-FEC 방법은 전송 장비에서 수행될 수 있다.

도 9에 도시한 바와 같이 본 발명의 일 실시예에 따른 GD-FEC 부호화 처리는 프로토콜 계층 중 입력된 멀티 미디어 데이터를 맨 처음 처리하는 계층에서 수행될 수 있다.

즉, 본 발명의 일 실시예에 따른 GD-FEC 부호화 처리는 도 9에 도시한 바와 같이 프로토콜 계층 중 제일 상위 계층 또는 적어도 전송 기능을 수행하는 계층 이전의 상위 계층에서 수행될 수 있다.

반면, AL-FEC는 RTP(Realtime Transport Protocol) & RTCP(Realtime Transport Control Protocol) 및 SRTP(Secure RTP) 계층 바로 아래 계층에서 수행된다. AL-FEC 처리를 수행하는 계층에 입력되는 데이터는 RTP 또는 SRTP 계층에서 이미 인터리빙 및 암호화가 수행된 데이터가 될 수 있고, AL-FEC를 처리하는 계층은 데이터의 종류나 우선순위 등에 무관하게 모두 동일한 우선순위를 가지는 심볼로 그룹핑하여 인코딩을 수행한다.

즉, 도 10에 도시한 바와 같이 AL-FEC는 입력된 소스 파일 또는 스트림(S1010)을 소스 블록으로 분할하여(S1020), 분할된 소스 블록 단위로 소스 심볼을 구성하고(S1030), 구성된 소스 심볼에 대해 인코딩을 수행하여 패리티 심볼을 생성한 후(S1040), 소스 심볼에 상응하는 패킷과 패리티 심볼에 상응하는 패킷으로 인코딩하여 인코딩된 블록을 생성한다(S1050).

상술한 바와 같이 본 발명의 일 실시예에 따른 GD-FEC 방법을 수행하는 전송 장비는 위에서부터 GD-FEC 처리 계층, RTP & RTCP 계층, SRTP 계층 및 FEC 계층 및 UDP(User Datagram Protocol) 계층 순서로 프로토콜 계층 구조를 가질 수 있다.

한편, GD-FEC 부호화된 데이터의 복호화 지연은 스위칭 시간 지연 등의 시스템에 여러가지 문제를 야기할 수 있다.

이하에서는 본 발명의 일 실시예에 따른 점진 열화 순방향 오류 정정 방법의 지연을 최소화하기 위한 방법을 설명한다.

도 11은 본 발명의 일 실시예에 따른 점진 열화 순방향 오류 정정 방법의 복호화 지연을 최소화하기 위한 방법을 나타내는 것으로, 스트리밍 서비스를 위한 FLUTE(File Delivery over Unidirectional Transport) 프로토콜에 적용되는 GD-FEC 방법의 일 예를 나타낸다.

구체적으로, 도 12를 참조하면 소스 패킷 스트림이 수신되면 전송 장비는 전술한 바와 같이 미리 설정된 매개 변수(예를 들면, L=4)에 따라 소정 개수의 시간 구간을 포함하는 부호화 그룹을 설정하고(S1110), 설정된 부호화 그룹별로 각 시간 구간에 포함된 패킷(예를 들면, 오디오 패킷)에 대해 GD-FEC 부호화를 수행하여 패킷 손실시 손실된 패킷의 복구를 위한 복원 패킷을 생성한 후, 생성된 복원 패킷을 미리 설정된 규칙에 따라 각 시간 구간에 분산시켜 배치한다.

여기서, 상기 복원 패킷들은 패리티 프레임을 의미하며, 도 1 내지 도 6에서 설명한 바와 같이 미리 설정된 우선 순위에 따라 각 시간 구간에서 GD-FEC 부호화에 이용할 기준 데이터 집합을 먼저 결정한 후 결정된 기준 데이터 집합들을 RaptorQ-link 인코딩의 입력으로 이용하여 복원 패킷을 생성할 수 있다.

또한, 수신된 소스 패킷 스트림은 전송 장비 내에서 버퍼링된 후 버퍼링된 수신 소스 패킷들에 대한 GD-FEC 부호화가 수행될 수 있고, 이에 따라 GD-FEC를 수행하는 시간만큼 전송 지연(또는 버퍼링 지연)이 발생할 수 있다.

상기한 바와 같이 GD-FEC 부호화를 수행한 후, 전송 장비는 GD-FEC 부호화의 수행을 통해 획득한 복원 패킷을 네트워크를 통해 먼저 전송한다(S1120).

복원 장비는 전송 장비로부터 전송된 복원 패킷을 먼저 수신한다(S1130). 여기서, 복원 장비는 소정 시간(즉, 네트워크를 통한 전송 지연 시간)이 지난 후 복원 패킷을 수신할 수 있고, 복원 장비는 일부 복원 패킷이 소실된 복원 패킷을 수신할 수 있다.

이후, 복원 장비는 수신된 복원 패킷을 버퍼링한 후, 버퍼링한 복원 패킷을 이용하여 오디오 패킷을 복원한다(S1140).

즉, 본 발명의 일 실시예에서는 전송 장비가 패킷 스트림을 전송하기 위해 버퍼링한 시간 구간 동안 GD-FEC 부호화를 수행하여 복원 패킷을 획득하고, 획득한 복원 패킷을 상기 버퍼링 시간 구간 동안 네트워크를 통해 복원 장비로 먼저 전송함으로써, 복원 장비가 복원 패킷을 이용하여 패킷을 먼저 복원함으로써 GD-FEC 부호화를 수행하여 소스 패킷을 전송하는 경우에도 네트워크 전송 지연만 발생할 뿐 GD-FEC 복호화를 위한 지연은 발생하지 않게 된다.

도 12는 본 발명의 다른 실시예에 따른 점진 열화 순방향 오류 정정 방법의 복호화 지연을 최소화하기 위한 방법을 나타내는 것으로, 스트리밍 서비스를 위한 FLUTE 프로토콜에 적용되는 GD-FEC 방법의 다른 예를 나타낸다.

도 12를 참조하면, 본 발명의 다른 실시예에서는 GD-FEC 부호화 그룹의 구간(duration)을 FLUTE 파일 세그먼트 구간(file segment duration)과 동일하게 설정한다.

따라서, FLUTE 파일 세그먼트의 처리 시간 동안 GD-FEC 부호화를 수행할 수 있고, 이를 통해 GD-FEC 부호화를 위한 추가적인 지연이 발생하지 않는다.

또한, 본 발명의 다른 실시예에서는 FLUTE 파일 세그먼트의 처리 시간 동안 GD-FEC 복호화를 수행할 수 있기 때문에 GD-FEC 복호화로 인한 추가적인 지연도 발생하지 않는다.

한편, 본 발명의 실시예에서 특히 유의할 점은 인터리빙의 수행을 통해 GD-FEC의 성능을 개선시킬 수 있는데, 인터리빙 시간 단위를 FLUTE 세그먼트 패킷 단위로 설정함으로써 인터리빙으로 인한 추가적인 지연을 방지할 수 있다.

또한, 인터리빙을 별도로 처리하지 않고, FLUTE 세그먼트 파일을 전송을 위해 더욱 세밀하게 나눈 세그먼트 패킷 유닛 단위로 미리 설정한 순서에 따라 전송함으로써 인터리빙을 수행한 효과를 갖도록 구현할 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

810 : 미디어 장비 820 : 전송 장비
830 : 네트워크 840 : 사용자 단말

Claims

시간에 따라 연속적으로 입력되는 데이터 스트림에 대해 미리 설정된 개수의 시간 구간으로 구성된 부호화 단위 데이터 그룹을 결정하는 단계;
상기 부호화 단위 데이터 그룹의 각 시간 구간에서 패리티 프레임의 생성에 이용할 기준 데이터 집합을 결정하는 단계;
결정된 적어도 하나의 상기 기준 데이터 집합을 이용하여 패리티 프레임을 생성하는 단계; 및
생성한 패리티 프레임을 미리 설정된 규칙에 기초하여, 상기 부호화 단위 데이터 그룹을 구성하는 시간 구간들을 포함하는 복수의 시간 구간 중 적어도 하나의 시간 구간에 배치시키는 패리티 프레임 배치 단계를 포함하는 점진 열화 순방향 오류 정정 방법.
청구항 1에 있어서, 상기 기준 데이터 집합을 결정하는 단계는,
상기 부호화 단위 데이터 그룹의 각 시간 구간에 포함된 데이터 유형들 중 미리 설정된 복원 우선순위가 가장 높은 기준 데이터 유형들의 시간 길이를 비교하는 단계;
상기 각 시간 구간에 포함된 기준 데이터 유형들 중 시간 길이가 가장 긴 기준 데이터 유형의 데이터 크기를 상기 기준 데이터 집합의 크기로 결정하는 단계; 및
결정된 상기 기준 데이터 집합의 크기에 기초하여 상기 각 시간 구간에서 미리 설정된 복원 우선순위에 따라 적어도 하나의 데이터 유형을 포함하는 상기 기준 데이터 집합을 결정하는 단계를 포함하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 1에 있어서, 상기 패리티 프레임을 생성하는 단계는,
상기 기준 데이터 집합을 연접하여 소스 데이터를 구성하는 단계; 및
상기 소스 데이터에 대해 부호화를 수행하여 상기 패리티 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 3에 있어서, 상기 소스 데이터에 대해 부호화를 수행하여 상기 패리티 프레임을 생성하는 단계는,
상기 소스 데이터를 입력으로 하여 RaptorQ-like 인코딩을 수행하여 상기 패리티 프레임을 생성하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 1에 있어서, 상기 패리티 프레임을 생성하는 단계는,
상기 기준 데이터 집합 단위로 구성되는 미리 설정된 주기에 따라 상기 패리티 프레임을 생성하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 1에 있어서, 상기 패리티 프레임 배치 단계는,
미리 설정된 규칙에 따라 상기 패리티 프레임을 상기 부호화 단위 데이터 그룹을 구성하는 시간 구간들 이전의 시간 구간에 배치하거나, 상기 부호화 단위 데이터 그룹을 구성하는 시간 구간들 중 적어도 하나의 시간 구간에 배치하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 1에 있어서, 상기 패리티 프레임 배치 단계는
상기 패리티 프레임을 분할하여 각각 특정 길이를 가지는 두 개 이상의 분할 패리티 프레임을 생성하는 단계; 및
상기 두 개 이상의 분할 패리티 프레임을 상기 부호화 단위 데이터 그룹을 구성하는 시간 구간들 이전의 시간 구간들에 배치하거나, 상기 부호화 단위 데이터 그룹을 구성하는 시간 구간들 중 두 개 이상의 시간 구간에 배치하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 7에 있어서, 상기 분할 패리티 프레임을 생성하는 단계는,
복수의 상기 기준 데이터 집합들 중 복구하고자 하는 기준 데이터 집합의 수 및 각 기준 데이터 집합의 크기에 기초하여 상기 분할 패리티 프레임의 크기를 결정하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 1에 있어서, 상기 부호화 단위 데이터 그룹을 결정하는 단계는,
시간에 따라 연속적으로 입력되는 픽처(picture)들에 대해 미리 설정된 길이를 가지는 상기 시간 구간별로 픽처 그룹(GoP: Group of Picture)을 결정하는 단계; 및
미리 설정된 개수의 상기 픽처 그룹으로 구성되는 상기 부호화 단위 데이터 그룹을 결정하는 단계를 포함하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 9에 있어서, 상기 기준 데이터 집합을 결정하는 단계는,
상기 부호화 단위 데이터 그룹을 구성하는 복수의 픽처 그룹 각각에 포함된 픽처 유형들 중 I 픽처의 길이를 비교하는 단계;
상기 복수의 픽처 그룹에 각각에 포함된 I 픽처의 길이가 가장 긴 I 픽처의 길이를 상기 기준 데이터 집합의 크기로 결정하는 단계; 및
결정한 상기 기준 데이터 집합의 크기에 기초하여 상기 각 픽처 그룹에서 미리 설정된 복원 우선순위에 따라 적어도 하나의 픽처 유형을 포함하는 상기 기준 데이터 집합을 결정하는 단계를 포함하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
멀티 미디어 데이터를 전송하는 전송 장치에서 수행되는 점진 열화 순방향 오류 정정 방법에 있어서,
수신한 데이터 스트림에 대해 미리 설정된 개수의 시간 구간으로 구성된 부호화 단위 데이터 그룹을 결정하는 단계;
상기 결정된 부호화 단위 데이터 그룹에 포함된 각 시간 구간에서 패리티 프레임의 생성에 이용할 기준 데이터 집합을 결정하는 단계;
결정된 적어도 하나의 상기 기준 데이터 집합을 이용하여 패리티 프레임을 생성하는 단계; 및
상기 생성된 패리티 프레임을 상기 미리 설정된 부호화 단위 데이터 그룹에 포함된 데이터를 전송하기 이전에 전송하는 단계를 포함하는 점진 열화 순방향 오류 정정 방법.
청구항 11에 있어서, 상기 패리티 프레임을 생성하는 단계는,
상기 기준 데이터 집합을 연접하여 소스 데이터를 구성하는 단계; 및
상기 소스 데이터에 대해 RaptorQ-like 인코딩을 수행하여 상기 패리티 프레임을 생성하는 단계를 포함하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 11에 있어서, 상기 생성된 패리티 프레임을 상기 미리 설정된 부호화 단위 데이터 그룹에 포함된 데이터를 전송하기 이전에 전송하는 단계는,
상기 수신한 데이터 스트림이 버퍼링된 시간 구간 동안 상기 생성된 패리티 프레임을 전송하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 11에 있어서, 상기 수신한 패킷 스트림에 대해 미리 설정된 개수의 시간 구간으로 구성된 부호화 단위 데이터 그룹을 결정하는 단계는,
특정 프로토콜의 파일 분할 처리 단위 시간 구간과 동일한 시간 구간으로 상기 부호화 단위 데이터 그룹의 시간 구간을 결정하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 11에 있어서, 상기 수신한 패킷 스트림에 대해 미리 설정된 개수의 시간 구간으로 구성된 부호화 단위 데이터 그룹을 결정하는 단계는,
FLUTE(File Delivery over Unidirectional Transport) 프로토콜의 파일 세그먼트 구간(file segment duration)과 동일한 시간 구간으로 상기 부호화 단위 데이터 그룹의 시간 구간을 결정하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
청구항 15에 있어서, 상기 점진 열화 순방향 오류 정정 방법은,
상기 FLUTE 프로토콜의 파일 세그먼트 구간에 포함된 세그먼트 파일을 나눈 세그먼트 패킷 유닛(segment packet unit) 단위로 인터리빙을 수행하는 단계를 더 포함하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 방법.
입력된 멀티미디어 데이터에 대해 점진 열화 순방향 오류 정정 처리(GD-FEC: Graceful Degradation-Forward Error Correction)를 수행하는 제1 부호화 처리 계층;
점진 열화 순방향 오류 정정 처리가 수행된 데이터에 대해 전송 프로토콜 처리를 수행하는 전송 프로토콜 처리 계층; 및
전송 프로토콜 처리가 수행된 데이터에 대해 응용 계층의 순방향 오류 정정 처리(AL-FEC : Application Layer-Forward Error Correction))를 수행하는 제2 부호화 처리 계층을 포함하는 점진 열화 순방향 오류 정정 장치.
청구항 17에 있어서,
상기 제1 부호화 처리 계층은 입력된 멀티미디어 데이터의 유형을 구분하여 상기 점진 열화 순방향 오류 정정 처리를 수행하는 것을 특징으로 하는 점진 열화 순방향 오류 정정 장치.