KR20130021318A - Method for payload formatting and deformatting for burst loss recovery - Google Patents

Method for payload formatting and deformatting for burst loss recovery Download PDF

Info

Publication number
KR20130021318A
KR20130021318A KR1020120035202A KR20120035202A KR20130021318A KR 20130021318 A KR20130021318 A KR 20130021318A KR 1020120035202 A KR1020120035202 A KR 1020120035202A KR 20120035202 A KR20120035202 A KR 20120035202A KR 20130021318 A KR20130021318 A KR 20130021318A
Authority
KR
South Korea
Prior art keywords
gop
packet
fec
base layer
layer packet
Prior art date
Application number
KR1020120035202A
Other languages
Korean (ko)
Other versions
KR101839500B1 (en
Inventor
원석호
권선형
김호겸
임종수
권오형
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/585,745 priority Critical patent/US9167279B2/en
Publication of KR20130021318A publication Critical patent/KR20130021318A/en
Application granted granted Critical
Publication of KR101839500B1 publication Critical patent/KR101839500B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0078Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0083Formatting with frames or packets; Protocol or part of protocol for error control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041Arrangements at the transmitter end
    • H04L1/0042Encoding specially adapted to other signal generation operation, e.g. in order to reduce transmit distortions, jitter, or to improve signal shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045Arrangements at the receiver end
    • H04L1/0047Decoding adapted to other signal detection operation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823Errors, e.g. transmission errors
    • H04L43/0829Packet loss

Abstract

PURPOSE: A payload formatting and de-formatting method for the recovery of burst data loss are provided to improve performance as much as an XOR(eXclusive OR) coding gain, to offer a UEP(Unequal Error Protection) function providing resistance to loss, and to offer a seamless service by providing a method capable of recovering the most important data even when all the data in the GoP(Group of Picture) section are lost. CONSTITUTION: A payload formatting method implemented at a transmitter includes the following steps: a step of generating an XOR operation packet(S110), by executing XOR operations based on a base layer packet and one of the enhanced layer packets of a GoP containing the base layer packet and the enhanced layer packets; a step of adding the generated XOR operation packet to the GoP(S120); a step of removing the base layer packet from the GoP(S130); a step of generating an FEC(Forward Error Correction) packet of the GoP(S140), by adding base layer packets of the front and rear GoPs separated by a predefined time interval from the GoP, and executing FEC encoding; and a step of adding the generated FEC packet(S150). [Reference numerals] (AA) Start; (BB) End; (S110) Generating an XOR operation packet by using a base layer packet in a GoP and a first enhanced layer packet; (S120) Adding the XOR operation packet generated on the GoP; (S130) Removing the base layer packet from the GoP; (S140) Generating an FEC packet for the GoP by using base layer packet of the front or rear GoP; (S150) Adding the set FEC packet to the GoP

Description

버스트 데이터 손실 복구를 위한 페이로드 포맷팅 및 디포맷팅 방법 {METHOD FOR PAYLOAD FORMATTING AND DEFORMATTING FOR BURST LOSS RECOVERY}Payload formatting and deformatting method for burst data loss recovery {METHOD FOR PAYLOAD FORMATTING AND DEFORMATTING FOR BURST LOSS RECOVERY}

본 발명은 통신 시스템의 데이터 손실 복구에 관한 것으로, 더욱 상세하게는 멀티미디어 데이터 전송시 발생하는 에러 및 손실을 복구하기 위한 페이로드 포맷팅 방법 및 디포맷팅 방법에 관한 것이다.The present invention relates to data loss recovery of a communication system, and more particularly, to a payload formatting method and a deformatting method for recovering errors and losses in multimedia data transmission.

이동통신 서비스 환경 특성상, 단말기가 건물 뒤 혹은 터널 등 음영지역을 지날 때 데이터를 수신하지 못한다. 따라서 버스트 손실을 겪을 수밖에 없는 경우가 있다. 이러한 경우 손실 복구를 위하여 사용하는 방법으로 전방 오류 정정 (Forward Error Correction: FEC) 패킷을 페이로드에 구성하는 방법이 있다.Due to the nature of the mobile communication service environment, the terminal does not receive data when it passes a shadow area such as a building or a tunnel. As a result, burst loss is inevitable. In this case, there is a method of configuring a Forward Error Correction (FEC) packet in the payload as a method used for loss recovery.

순방향 오류정정 기법은 변조(corruption)로부터 데이터를 보호하는데 쓰이는 기술로서 데이터를 수신한 측에서 오류를 복구하는 기술이다. 많은 통신시스템에서 전송 형태는 단방향 채널을 사용하고 역방향 채널이 없는 경우가 많아 재전송을 요구할 수 없고, 재전송이 가능하더라도 지연시간이 존재하므로, 오류가 발생하였을 경우 수신 측에서 능동적으로 교정할 수 있는 FEC를 사용한다.The forward error correction technique is used to protect data from corruption, and is a technique for recovering errors at the receiving side of the data. In many communication systems, the transmission type uses a unidirectional channel and there is no reverse channel, so retransmission cannot be requested, and even if retransmission is possible, there is a delay time. Use

그러나 기존의 버스트 손실을 복구하기 위한 기능을 갖는 전방 오류 정정 방법을 이용한 페이로드 포맷은 채널 상황이 좋은 경우에는 전송 대역폭만 늘이게 되고, 버스트 오류와 같이 한 무리의 데이터에 집단적 오류가 발생하는 경우에 완벽하게 손실을 복구하지 못하는 문제가 있다.However, payload format using the forward error correction method that has the function to recover the conventional burst loss only increases the transmission bandwidth when the channel condition is good, and when a group error occurs in a group of data such as burst error. There is a problem that cannot fully recover the loss.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 재전송 없이 버스트 손실을 효과적으로 복구할 수 있는 페이로드 포맷팅 방법을 제공하는 데 있다.An object of the present invention for solving the above problems is to provide a payload formatting method that can effectively recover burst loss without retransmission.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 재전송 없이 버스트 손실을 효과적으로 복구할 수 있는 페이로드 디포맷팅 방법을 제공하는 데 있다.Another object of the present invention for solving the above problems is to provide a payload deformatting method that can effectively recover burst loss without retransmission.

상기 목적을 달성하기 위한 본 발명의 일 실시예는, 송신기에서 수행되는 페이로드 포맷팅 방법으로, 베이스 계층 패킷 및 적어도 하나의 증강 계층 패킷을 포함하는 픽쳐그룹(group of picture, GoP)의 증강 계층 패킷 중 어느 하나의 패킷과 베이스 계층 패킷을 기초로 XOR(exclusive or) 연산을 수행함으로써 XOR 연산 패킷을 생성하는 단계 및 상기 XOR 연산 패킷을 상기 GoP에 추가하는 단계를 포함하는 페이로드 포맷팅 방법을 제공한다.An embodiment of the present invention for achieving the above object is a payload formatting method performed in a transmitter, an enhancement layer packet of a group of picture (GoP) including a base layer packet and at least one enhancement layer packet. Providing an XOR operation packet by performing an exclusive or (XOR) operation based on any one of the packet and the base layer packet, and adding the XOR operation packet to the GoP. .

여기서, 상기 페이로드 포맷팅 방법은, 상기 GoP로부터 상기 베이스 계층 패킷을 제거하는 단계를 더 포함하는 것을 특징으로 한다.The payload formatting method may further include removing the base layer packet from the GoP.

또한, 여기서, 상기 베이스 계층 패킷은 상기 GoP내에서 가장 중요한 프레임과 관련되고, 상기 XOR 연산에 이용되는 증강 계층 패킷은 상기 GoP내에서 두번째로 중요한 프레임과 관련되는 것을 특징으로 한다.Here, the base layer packet is associated with the most important frame in the GoP, and the enhancement layer packet used for the XOR operation is characterized in that associated with the second most important frame in the GoP.

또한 여기서, 상기 페이로드 포맷팅 방법은, 상기 GoP에 대한 FEC(forward error correction) 패킷을 생성하되, 상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 전방 또는 후방 GoP의 베이스 계층 패킷을 추가하여 FEC(forward error correction)인코딩을 수행함으로써 상기 GoP의 FEC 패킷을 생성하는 단계 및 상기 생성된 FEC 패킷을 상기 GoP에 추가하는 단계를 더 포함하는 것을 특징으로 한다.Also, the payload formatting method may generate a forward error correction (FEC) packet for the GoP, but adds a base layer packet of a forward or backward GoP separated by a predetermined time interval from the GoP to forward error. generating an FEC packet of the GoP by adding an encoding, and adding the generated FEC packet to the GoP.

또한 여기서, 상기 페이로드 포맷팅 방법은, 상기 GoP에 대한 FEC(forward error correction) 패킷을 생성하되, 상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 전방 및 후방 GoP의 베이스 계층 패킷을 추가하여 FEC(forward error correction)인코딩을 수행함으로써 상기 GoP의 FEC 패킷을 생성하는 단계 및 상기 생성된 FEC 패킷을 상기 GoP에 추가하는 단계를 더 포함하는 것을 특징한다.In addition, the payload formatting method may generate a forward error correction (FEC) packet for the GoP, but adds base layer packets of forward and backward GoPs separated by a predetermined time interval from the GoP to forward error. generating an FEC packet of the GoP by adding an encoding, and adding the generated FEC packet to the GoP.

상기 다른 목적을 달성하기 위한 본 발명의 일 실시예는, 수신기에서 수행되는 페이로드 디포맷팅 방법으로, 베이스 계층 및 제1 증강 계층 패킷을 기초로 XOR연산하여 생성된 XOR 패킷, 상기 제1 증강 계층 패킷을 포함하는 적어도 하나의 증강 계층 패킷 및 FEC 패킷을 포함하는 GoP의 패킷들을 수신하는 단계, 상기 GoP의 패킷들에 대한 손실 여부를 확인하는 단계 및 상기 확인 결과 손실 패킷이 없거나 상기 제1 증강 계층 패킷과 상기 XOR 패킷 이외의 패킷이 손실된 것으로 판단되는 경우, 상기 XOR 패킷과 상기 제1 증강 계층 패킷을 기초로 XOR 연산을 수행하여 상기 GoP의 베이스 계층 패킷을 복원하는 제1 단계를 포함하는 페이로드 디포맷팅 방법을 제공한다.One embodiment of the present invention for achieving the above another object is a payload deformatting method performed in a receiver, an XOR packet generated by XOR operation based on a base layer and a first enhancement layer packet, the first enhancement layer Receiving packets of a GoP including at least one enhancement layer packet including a packet and a FEC packet, checking whether the packets of the GoP are lost or not and if there is no lost packet or the first enhancement layer If it is determined that a packet other than the packet and the XOR packet is lost, a first step of recovering the base layer packet of the GoP by performing an XOR operation based on the XOR packet and the first enhancement layer packet. Provides a load deformatting method.

여기서, 상기 GoP의 FEC 패킷은 상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 전방 또는 후방 GoP의 베이스 계층 패킷을 추가하여 FEC(forward error correction)인코딩을 수행함으로써 생성되는 패킷인 것을 특징으로 한다.Here, the FEC packet of the GoP is characterized in that the packet is generated by performing forward error correction (FEC) encoding by adding a base layer packet of the forward or backward GoP separated by a predetermined time interval from the GoP.

또한 여기서, 상기 GoP의 패킷들을 수신하여 버퍼에 저장하는 단계를 더 포함하고, 상기 버퍼에는 상기 GoP로부터 미리 정해진 시간 간격 이내의 모든 전방 또는 후방 GoP의 패킷들이 저장되는 것을 특징으로 한다.The method may further include receiving and storing packets of the GoP in a buffer, wherein the buffer stores all the packets of the front or rear GoP within a predetermined time interval from the GoP.

또한 여기서, 상기 페이로드 디포맷팅 방법은 상기 확인 결과 상기 제1 증강 계층 패킷 또는 상기 XOR 패킷이 손실된 것으로 판단되는 경우 상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 전방 GoP의 패킷들에 기초하여 FEC 디코딩을 수행함으로써 상기 GoP의 베이스 계층 패킷을 복원하는 제 2 단계를 더 포함하는 것을 특징으로 한다.In addition, the payload deformatting method may further include FEC decoding based on packets of a forward GoP separated by a predetermined time interval from the GoP when it is determined that the first enhancement layer packet or the XOR packet is lost. And performing a second step of restoring the base layer packet of the GoP.

또한 여기서, 상기 GoP의 베이스 계층 패킷을 복원하는 제2 단계는 버퍼에 저장된 상기 미리 정해진 시간 간격만큼 떨어진 전방 GoP의 패킷들을 이용하는 것을 특징으로 한다.In this case, the second step of restoring the base layer packet of the GoP is characterized by using the packets of the forward GoP separated by the predetermined time interval stored in a buffer.

또한 여기서, 상기 페이로드 디포맷팅 방법은, 상기 확인 결과 상기 제1 증강 계층 패킷 또는 상기 XOR 패킷이 손실된 것으로 판단되는 경우, 상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 후방 GoP의 패킷들에 대하여 FEC 디코딩을 수행함으로써 상기 GoP의 베이스 계층 패킷을 복원하는 제 3단계를 더 포함하는 것을 특징으로 한다.Also, in the payload deformatting method, when it is determined that the first enhancement layer packet or the XOR packet is lost as a result of the checking, the payload deformatting method may perform FEC on packets of a rear GoP that are separated by a predetermined time interval from the GoP. The method may further include recovering the base layer packet of the GoP by performing decoding.

상기와 같은 본 발명에 따른 버스트 데이터 손실 복구를 위한 페이로드 포맷팅 및 디포맷팅 방법을 이용할 경우에는 XOR(Exclusive OR) 연산을 이용하는 FEC 코딩(Forward Error Correction Coding)을 하므로 XOR 코딩 이득만큼 성능 향상을 기대할 수 있다. 또한 본 발명에 따른 방법은 베이스 계층 데이터나 제1 증강 계층 데이터와 같은 중요 데이터를 위주로 XOR 코딩하여 손실에 강인하게 하는 UEP (Unequal Error Protection) 기능을 제공한다.In case of using the payload formatting and deformatting method for burst data loss recovery according to the present invention as described above, FEC coding using XOR (Exclusive OR) operation is performed, and thus performance is expected to be improved by XOR coding gain. Can be. In addition, the method according to the present invention provides a UEP (Unequal Error Protection) function that is robust to loss by XOR coding mainly important data such as base layer data or first enhancement layer data.

또한 본 발명은 특정 GoP 구간 내의 전 패킷이 손실되더라도 해당 GoP의 가장 중요한 데이터 부분을 전방 또는 후방 GoP 구간의 FEC 계산시 추가함으로써, GoP 구간내의 모든 데이터가 손실되더라도 가장 중요한 데이터는 복구할 수 있는 방법을 제공함으로써 끊임 없는 서비스 제공을 가능하게 하는 장점이 있다.In addition, the present invention adds the most important data portion of the corresponding GoP to the FEC calculation of the forward or backward GoP interval even if all the packets in the specific GoP interval are lost, so that the most important data can be recovered even if all the data in the GoP interval is lost. There is an advantage to enable the continuous service provision by providing a.

도 1은 본 발명의 일 실시예에 따른 버스트 손실 복구를 위한 페이로드 포매팅 과정을 보여주는 흐름도이다.
도 2는 스케일러블 비디오 데이터의 구조 및 본 발명의 일 실시예에 따라 XOR 연산에 따라 재구성된 페이로드 구조를 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 페이로드 구조에 따라 구성된 GoP의 패킷들을 시간 구간별로 보여주는 블록도이다.
도 4는 본 발명의 일 실시예 따른 버스트 손실 복구를 위한 FEC 인코딩 및 페이로드 포매팅 방법을 보여주는 블록도이다.
도 5는 본 발명의 일 실시예에 따른 버스트 손실 복구를 위한 페이로드 디포매팅 과정을 보여주는 흐름도이다.
도 6은 본 발명의 일 실시예 따른 버스트 손실 복구를 위한 FEC 디코딩 및 페이로드 디포매팅 방법을 보여주는 블록도이다.
1 is a flowchart illustrating a payload formatting process for burst loss recovery according to an embodiment of the present invention.
2 is a block diagram illustrating a structure of scalable video data and a payload structure reconstructed according to an XOR operation according to an embodiment of the present invention.
3 is a block diagram showing packets of a GoP configured according to a payload structure according to an embodiment of the present invention for each time interval.
4 is a block diagram illustrating a FEC encoding and payload formatting method for burst loss recovery according to an embodiment of the present invention.
5 is a flowchart illustrating a payload deformatting process for burst loss recovery according to an embodiment of the present invention.
6 is a block diagram illustrating a method of FEC decoding and payload deformatting for burst loss recovery according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. The terms first, second, A, B, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

이하, 본발명에 따른 바람직한 실시예를 첨부한 도면들을 참조하여 상세하게 설명한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the present invention, the same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

이하 본 발명에 따른 버스트 손실 복구를 위한 페이로드 포맷팅 및 디포맷팅 방법이 개시된다. 본 발명은 재전송 없이 손실된 패킷을 복구하고, 모든 패킷이 손실되더라도, 가장 중요한 데이터를 갖는 베이스 계층 패킷의 데이터만이라도 복구하여 중단 없는 서비스를 제공할 수 있는 방법을 제공한다. 이는 오류정정 기법과 페이로드 포맷팅 기법의 조합으로 코딩이득 및 고효율의 손실보상을 이룰 수 있게 한다.
Hereinafter, a method of payload formatting and deformatting for burst loss recovery according to the present invention is disclosed. The present invention provides a method for recovering a lost packet without retransmission, and providing a service without interruption by recovering only the data of the base layer packet having the most important data even if all the packets are lost. This is a combination of error correction technique and payload formatting technique to achieve loss of coding gain and high efficiency.

도 1은 본 발명의 일 실시예에 따른 버스트 손실 복구를 위한 페이로드 포매팅 과정을 보여주는 흐름도이다.1 is a flowchart illustrating a payload formatting process for burst loss recovery according to an embodiment of the present invention.

도 1을 참조하면 본 발명의 일 실시예에 따른 버스트 손실 복구를 위한 페이로드 포매팅 과정은 데이터 송신기 측에서 수행될 수 있으며, XOR 연산 패킷 생성단계(S110), XOR 연산 패킷 추가단계(S120), 베이스 계층 패킷 제거단계(S130), FEC 패킷 생성단계(S140) 및 FEC 패킷 추가 단계(S150)를 포함하여 구성될 수 있다.Referring to FIG. 1, a payload formatting process for burst loss recovery according to an embodiment of the present invention may be performed at a data transmitter, and may include an XOR operation packet generation step (S110), an XOR operation packet addition step (S120), It may include a base layer packet removal step (S130), FEC packet generation step (S140) and FEC packet addition step (S150).

또한, 도 1을 참조하면 본 발명의 일 실시예에 따른 버스트 손실 복구를 위한 페이로드 포매팅 과정의 각 단계는 다음과 같이 설명될 수 있다.In addition, referring to Figure 1, each step of the payload formatting process for burst loss recovery according to an embodiment of the present invention can be described as follows.

XOR 연산 패킷 생성단계(S110)는 베이스 계층 패킷 및 적어도 하나의 증강 계층 패킷을 포함하는 픽쳐그룹(group of picture, GoP)에 대하여, 상기 GoP의 증강 계층 패킷 중 가장 중요한 증강 계층 패킷과 베이스 계층 패킷을 기초로 XOR(Exclusive OR) 연산을 수행한 결과로써 XOR 연산 패킷을 생성하는 단계일 수 있다. XOR operation packet generation step (S110) is for the group of pictures (GoP) including a base layer packet and at least one enhancement layer packet, the most important enhancement layer packet and base layer packet of the enhancement layer packet of the GoP. It may be a step of generating an XOR operation packet as a result of performing an exclusive OR (XOR) operation based on the.

한편 XOR 연산 패킷 생성단계(S110)에서 생성되는 XOR 연산 패킷은 GoP에 추가되고(S130) 베이스 계층 패킷이 GoP로부터 제거되어(S130) 상기 GoP의 패킷들이 전송될 수 있다.
Meanwhile, the XOR operation packet generated in the XOR operation packet generation step (S110) may be added to the GoP (S130), and the base layer packet may be removed from the GoP (S130) so that the packets of the GoP may be transmitted.

이하 도면을 참조하여 스케일러블 비디오 데이터 구조에서 상술한XOR 연산 패킷 구성의 예를 설명한다.Hereinafter, an example of the XOR operation packet configuration described above in the scalable video data structure will be described with reference to the drawings.

도 2는 스케일러블 비디오 데이터의 구조 및 본 발명의 일 실시예에 따라 XOR 연산에 따라 재구성된 페이로드 구조를 보여주는 블록도이다.2 is a block diagram illustrating a structure of scalable video data and a payload structure reconstructed according to an XOR operation according to an embodiment of the present invention.

도 2의 (a)를 참조하면 스케일러블 비디오의 데이터는 베이스 계층 패킷(Base_n,0)(211), 제1 증강 계층 패킷(Enh_n,1)(212), 제2 증강 계층 패킷(Enh_n,2)(213)을 포함하여 구성될 수 있다. Referring to (a) of FIG. 2, the scalable video data includes a base layer packet (Base_n, 0) 211, a first enhancement layer packet (Enh_n, 1) 212, and a second enhancement layer packet (Enh_n, 2). (213) can be configured to include.

또한 도2를 참조하면 베이스 계층 패킷(Base_n,0)(211)에서, n은 n 번째 픽쳐그룹(Group of Picture, GoP)을 의미하는 시간 인덱스이고, 0은 가장 중요도가 높음을 나타내는 인덱스일 수 있다. 이와 같이 베이스 계층 패킷은 실제 비디오 코딩 데이터 그룹에서 가장 중요한 패킷 또는 가장 중요한 프레임을 지칭할 수 있다. Also, referring to FIG. 2, in the base layer packet (Base_n, 0) 211, n is a time index indicating an n-th group of pictures (GoP), and 0 is an index indicating the highest importance. have. As such, the base layer packet may refer to the most important packet or the most important frame in the actual video coding data group.

예를 들면, H.264/AVC의 경우 한 GoP내에 가장 중요한 한 개의 IDR(Instantaneous Decoding Refresh) 프레임(I 프레임)과 수개의 P 및 B 프레임이 존재할 수 있다. 이 경우는 베이스 계층 (Base_n,0)(211)은 IDR 프레임을 의미할 수 있다. 또한 H.264/SVC의 경우라면 한 GoP내에 베이스 계층과 적어도 하나의 증강 계층으로 구성될 수 있고, 각 계층에 I, P, 및 B 프레임들이 존재하는데, 이 경우에는 베이스 계층 패킷(Base_n,0)(211)은 베이스 계층의 전체 데이터 그룹을 의미하거나 베이스 계층을 구성하는 I, P, B 프레임들 중에서 I 프레임만을 지칭할 수도 있다. 또한, 제1 증강 계층 패킷(Enh_n, 1)(212)에서 n은 시간 인덱스 이고 1은 0 다음의 중요도를 가짐을 나타낼 수 있다.For example, in the case of H.264 / AVC, there may be one Instantaneous Decoding Refresh (IDR) frame (I frame) and several P and B frames that are most important in one GoP. In this case, the base layer (Base_n, 0) 211 may mean an IDR frame. In addition, in the case of H.264 / SVC, a base layer and at least one enhancement layer may be configured in one GoP, and I, P, and B frames exist in each layer, in which case the base layer packet (Base_n, 0). ) 211 may mean an entire data group of the base layer or may refer to only an I frame among I, P, and B frames constituting the base layer. In addition, in the first enhancement layer packet (Enh_n, 1) 212, n may represent a time index and 1 may have an importance after 0.

한편, 도 2의 (b)를 참조하면, 본 발명의 일 실시예의 XOR 연산에 따라 재구성된 페이로드의 구조를 보여주는데, 한 GoP내에 XOR연산 패킷 (X_n,0)(221), 제1 증강 계층 패킷(Enh_n,1)(222), 제2 증강 계층 패킷(Enh_n,2)(223)을 포함하여 구성될 수 있다.On the other hand, referring to Figure 2 (b), shows a structure of the payload reconstructed according to the XOR operation of an embodiment of the present invention, the XOR operation packet (X_n, 0) 221, a first enhancement layer in a GoP Packet (Enh_n, 1) 222 and a second enhancement layer packet (Enh_n, 2) 223.

이때 XOR연산 패킷 (X_n,0)(221)은 비트 단위로(bit by bit) 도 2의(a)의 베이스 계층 패킷(Base_n,0)(211)과 제1 증강 계층 패킷(Enh_n,1)(212)을 XOR(Exclusive OR) 연산하여 생성되는 새로운 패킷이며, 다음 수학식으로 표현될 수 있다.In this case, the XOR operation packet (X_n, 0) 221 is a bit by bit, and the base layer packet (Base_n, 0) 211 and the first enhancement layer packet (Enh_n, 1) of FIG. A new packet generated by performing an exclusive OR (XOR) operation 212 may be represented by the following equation.

[[ 수학식Equation 1] One]

{X_3,0}={Base_3,0} XOR {Enh_3,1}{X_3,0} = {Base_3,0} XOR {Enh_3,1}

여기서 { }는 비트 와이즈(bit-wise) 연산임을 나타낸다.Where {} represents a bit-wise operation.

따라서, 수학식 1의 결과 값 X_3,0을 이용하면 Base_3,0 이나 Enh_3,1 중 어느 하나만 손실 없이 갖고 있다면, 나머지 하나를 복구할 수 있는 장점이 있다.
Therefore, using the resultant value X_3,0 of Equation 1, if only one of Base_3,0 or Enh_3,1 is lost, there is an advantage that the other one can be recovered.

도 3은 본 발명의 일 실시예에 따른 페이로드 구조에 따라 구성된 GoP의 패킷들을 시간 구간별로 보여주는 블록도이다.3 is a block diagram showing packets of a GoP configured according to a payload structure according to an embodiment of the present invention for each time interval.

도 3을 참조하면 본 발명의 일 실시예에 따른 구간별 GoP내의 베이스 계층 패킷과 증강 계층 패킷을 기초로 XOR연산을 수행하여 생성되는 XOR패킷들(311, 321, 331)이 각 GoP(310, 320, 330)내에 추가되어 전송 될 수 있으며, 이 경우 해당 GoP내의 베이스 계층 패킷이 제거되고 전송될 수 있다.Referring to FIG. 3, XOR packets 311, 321, and 331 generated by performing an XOR operation based on a base layer packet and an enhancement layer packet in a section-specific GoP according to an embodiment of the present invention are each GoP 310, 320 and 330 may be added and transmitted. In this case, the base layer packet in the corresponding GoP may be removed and transmitted.

FEC 패킷 생성단계(S140)는 상기 GoP에 대한 FEC(forward error correction) 패킷을 생성하되, 상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 전방 또는 후방 GoP의 베이스 계층 패킷을 FEC 소스블록에 추가하고, 해당 FEC 소스블록을 기초로 FEC(forward error correction)인코딩을 수행하여 상기 GoP의 FEC 패킷을 생성하는 단계일 수 있다. 이때, FEC 인코딩은 XOR 연산을 이용할 수 있다.The FEC packet generation step (S140) generates a forward error correction (FEC) packet for the GoP, but adds a base layer packet of a forward or backward GoP separated by a predetermined time interval from the GoP to the FEC source block. It may be a step of generating an FEC packet of the GoP by performing forward error correction (FEC) encoding based on an FEC source block. In this case, FEC encoding may use an XOR operation.

이와 같이 생성되는 FEC 패킷은 상기 GoP에 추가되어(S150) 전송될 수 있다. 또한, GoP의 패킷들이 전송되는 경우, 상기 FEC 인코딩 시 추가되는 전방 또는 후방 GoP의 베이스 계층 패킷은 제거되고 전송될 수 있다.The generated FEC packet may be added to the GoP (S150) and transmitted. In addition, when packets of the GoP are transmitted, base layer packets of the front or rear GoP added during the FEC encoding may be removed and transmitted.

이하 도면을 참조하여 상술한 FEC 패킷의 구성 및 페이로드 포맷을 예를 들어 설명한다.Hereinafter, the configuration and payload format of the above-described FEC packet will be described with reference to the drawings.

도 4는 본 발명의 일 실시예 따른 버스트 손실 복구를 위한 FEC 인코딩 및 페이로드 포매팅 방법을 보여주는 블록도이다. 4 is a block diagram illustrating a FEC encoding and payload formatting method for burst loss recovery according to an embodiment of the present invention.

도 4를 참조하면 하나의 GoP당 비디오 데이터는 베이스 계층 패킷(411, 431, 451), 제1 증강 계층 패킷(412, 432, 452) 및 제2 증강 계층 패킷(413, 433, 453)으로 구성되는 것으로 가정할 수 있다. 또한 각 GoP 주기당 FEC 소스 블록이 생성될 수 있지만, 본 예에 한정되지는 않는다. 또한, 버스트 손실 복구를 위한 최대 보호구간 L은 2 GoP로 설정하였으나 이는 설계에 따라서 변경 가능하다.Referring to FIG. 4, video data per GoP includes a base layer packet 411, 431, and 451, a first enhancement layer packet 412, 432, and 452, and a second enhancement layer packet 413, 433, and 453. Can be assumed. In addition, an FEC source block may be generated for each GoP period, but is not limited to this example. Also, the maximum protection interval L for burst loss recovery is set to 2 GoP, but this can be changed according to design.

SVC 베이스 계층과 같은 저속의 데이터를 보호 하기 위하여 L 거리만큼 떨어져 있는 데이터를 불러서 현재의 소스 블록에 중복(redundancy)으로 추가한 후 FEC 데이터를 생성할 수 있다. In order to protect low-speed data such as the SVC base layer, data that is separated by an L distance may be loaded and added to the current source block as redundancy, and then FEC data may be generated.

예를 들면, GoP-3(430)에 있는 베이스 계층 패킷(Base3,0)(431)과 제1 증강 계층 패킷(Enh3,1)(432)을 XOR 연산하여 새로운 XOR 패킷(X3,0)(434)을 만들 수 있다. For example, the base layer packet (Base3, 0) 431 and the first enhancement layer packet (Enh3, 1) 432 in the GoP-3 430 may be XORed to obtain a new XOR packet (X3,0) ( 434).

한편 베이스 계층 패킷(Base3,0)(431)은 GoP-1(410)의 전방의 FEC 블록-1(416)에 삽입하여 다음 수학식 2과 같이 계산하여 FEC-1(415)을 생성할 수 있다.
Meanwhile, the base layer packet (Base3, 0) 431 may be inserted into the FEC block-1 416 in front of the GoP-1 410 and calculated as shown in Equation 2 to generate the FEC-1 415. have.

[[ 수학식Equation 2] 2]

FEC-1= f{Base_3,0, X_1,0, Enh_1,1, Enh_1,2},FEC-1 = f {Base_3,0, X_1,0, Enh_1,1, Enh_1,2},

여기서 f{}는 내부의 매개변수가 지시하는 데이터 패킷들이 송수신 중에 수신단에서 일부 손실되는 경우, 손실된 비트(Erased bit)를 복구하기 위한 FEC의 패러티(parity)를 발생시키기 위한 인코딩 함수로 정의될 수 있다. Here, f {} may be defined as an encoding function for generating parity of FEC for recovering erased bits when data packets indicated by internal parameters are partially lost at the receiving end during transmission and reception. Can be.

예를 들면, 시스테매틱 리드 솔로본 부호(Systematic Reed-Solomon Code)나 시스테매틱 랩터 부호(Systematic Raptor code) 등의 경우, 정보 비트들은 f{} 함수의 내부 매개변수가 지칭하는 패킷 데이터 그룹들이 되며, 인코딩 과정은 함수 f{}의 기능이 되어, 그 결과로 발생되는 중복 패러티(redundancy parity)로 구성되는 패킷은 FEC-1(415)이 될 수 있다.For example, in the case of the Systematic Reed-Solomon Code or the Systematic Raptor Code, the information bits may be a packet data group referred to by an internal parameter of the f {} function. The encoding process becomes a function of the function f {} so that the packet consisting of the resulting redundancy parity may be the FEC-1 415.

또한 후방의 FEC 블록-5(456)에 해당하는 FEC는 다음 수학식 3과 같이 계산하여 FEC-3(455)을 생성할 수 있다.In addition, the FEC corresponding to the back FEC block-5 456 may be calculated as in Equation 3 to generate the FEC-3 455.

[[ 수학식Equation 3] 3]

FEC-3= f{Base_3,0, X_5,0, Enh_5,1, Enh_5,2},FEC-3 = f {Base_3,0, X_5,0, Enh_5,1, Enh_5,2},

이와 유사한 방법으로 필요 시 2L의 버스트 손실을 보호하기 위하여 이 두 방법을 함께 사용할 수도 있다. 여기서, 중복으로서 추가되는 베이스 계층 패킷(Base3, 0)(417, 458)은 FEC 계산에만 사용되고, 비디오 프레임(패킷)들과 FEC 데이터가 전송될 때는 제거되고 전송될 수 있다. 따라서 본 발명에 따른 방법은 전송 데이터 율을 증가시키지 않는다. FEC 코딩율(=k/n)은 삽입되었던 베이스 계층 패킷 때문에 약간 증가할 수 있지만, XOR 코딩과 버스트 손실 복구율로서 충분히 보상된다.
Similarly, these two methods can be used together to protect the 2L burst loss if necessary. Here, base layer packets (Base3, 0) 417 and 458 added as duplicates are used only for FEC calculation, and may be removed and transmitted when video frames (packets) and FEC data are transmitted. Thus the method according to the invention does not increase the transmission data rate. The FEC coding rate (= k / n) may increase slightly because of the base layer packet that was inserted, but is sufficiently compensated by the XOR coding and burst loss recovery rate.

도 5는 본 발명의 일 실시예에 따른 버스트 손실 복구를 위한 페이로드 디포매팅 과정을 보여주는 흐름도이다.5 is a flowchart illustrating a payload deformatting process for burst loss recovery according to an embodiment of the present invention.

도 5를 참조하면 본 발명의 일 실시예에 따른 버스트 손실 복구를 위한 페이로드 디포매팅 과정은 패킷 수신단계(S510), 패킷의 손실 여부 확인 단계(S520), XOR 패킷을 이용한 베이스 계층 패킷 복원 단계(S530), FEC 디코딩을 이용한 베이스 계층 패킷 복원 단계(S540)을 포함하여 구성될 수 있다.Referring to FIG. 5, the payload deformatting process for burst loss recovery according to an embodiment of the present invention includes a packet receiving step (S510), a packet loss checking step (S520), and a base layer packet recovery step using an XOR packet. (S530), it may be configured to include a base layer packet reconstruction step (S540) using FEC decoding.

또한 도 5를 참조하면 본 발명의 일 실시예에 따른 버스트 손실 복구를 위한 페이로드 디포매팅 과정의 각 단계는 다음과 같이 설명될 수 있다.5, each step of the payload deformatting process for burst loss recovery according to an embodiment of the present invention may be described as follows.

패킷 수신단계(S510)는 멀티미디어 데이터의 한 GoP를 구성하는 패킷들을 수신하는 단계일 수 있다. 예를 들면, 본 발명의 페이로드 포매팅 방법에 따라 구성되는 GoP, 즉 베이스 계층 및 제1 증강 계층 패킷에 기초하여 생성된 XOR 패킷, 적어도 하나의 증강 계층 패킷 및 FEC 패킷을 포함하는 GoP의 패킷들을 수신할 수 있다.The packet receiving step S510 may be a step of receiving packets constituting a GoP of multimedia data. For example, GoPs configured according to the payload formatting method of the present invention, that is, packets of a GoP including an XOR packet generated based on a base layer and a first enhancement layer packet, at least one enhancement layer packet, and an FEC packet, may be used. Can be received.

패킷의 손실 여부 확인 단계(S520)에서는 수신한 GoP내의 패킷들에 대하여 패킷의 전부 또는 일부의 데이터가 전송 도중 손실되지 않았는지 여부를 확인할 수 있다. 이때, 패킷이 손실된 경우 어떤 패킷이 손실되었는지에 따라 디포매팅 방법이 달라질 수 있다.In the step of checking whether the packet is lost (S520), it is possible to check whether all or part of data of the packet has not been lost during transmission with respect to the packets in the received GoP. In this case, when a packet is lost, the deformatting method may vary depending on which packet is lost.

예를 들면, 확인 결과 손실 패킷이 없는 경우에는 GoP에 포함되는 XOR 패킷과 제1 증강 계층 패킷을 기초로 XOR 연산을 수행하여 베이스 계층 패킷을 복원(S530)할 수 있다. 따라서 복원된 베이스 계층 패킷과 함께, 본래 GoP를 구성하는 모든 데이터 패킷을 이용하여 데이터를 재생할 수 있다.For example, if there is no lost packet as a result of the check, the base layer packet may be restored by performing an XOR operation based on the XOR packet and the first enhancement layer packet included in the GoP (S530). Therefore, the data can be reproduced using all the data packets constituting the original GoP together with the restored base layer packets.

또한, 패킷이 손실되었다고 하더라도, 제1 증강 계층 패킷이나 XOR 패킷이 손실된 것이 아니라면, 예를 들면 제2 증강 계층 패킷이 손실되었다면, 위와 동일하게 XOR 패킷과 제1 증강 계층 패킷을 기초로 XOR 연산을 수행하여 베이스 계층 패킷을 복원(S530)할 수 있다. 이 경우, 제2 증강 계층 패킷이 없더라도 최소한, 가장 중요한 데이터인 베이스 계층 패킷과 제1 증강 계층 패킷을 모두 이용하여 데이터를 재생할 수 있게 된다.Also, even if the packet is lost, if the first enhancement layer packet or the XOR packet is not lost, for example, if the second enhancement layer packet is lost, the XOR operation is performed based on the XOR packet and the first enhancement layer packet as above. In operation S530, the base layer packet may be restored. In this case, even if there is no second enhancement layer packet, data can be reproduced using at least both the base layer packet and the first enhancement layer packet which are the most important data.

한편, 제1 증강 계층 패킷 또는 상기 XOR 패킷이 손실된 경우에는 상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 전방 또는 후방 GoP의 패킷들에 대하여 FEC 디코딩을 수행함으로써 상기 GoP의 베이스 계층 패킷을 복원할 수 있다(S540). FEC 디코딩에 전방 GoP의 패킷을 이용할지 후방 GoP의 패킷을 이용할 지는 송신기에서 수행한 FEC 인코딩 방법에 따라 결정될 수 있다. 예를 들면 수신기에서 FEC 인코딩시 2L 전방 GoP의 베이스 패킷을 추가하여 FEC 인코딩하였다면, 송신기에서는 베이스 패킷을 복원하기 위하여 2L후방 GoP의 패킷을 이용하여 FEC 디코딩 해야 할 수 있다.
Meanwhile, when the first enhancement layer packet or the XOR packet is lost, the base layer packet of the GoP may be restored by performing FEC decoding on the packets of the forward or backward GoP separated by a predetermined time interval from the GoP. There is (S540). Whether the packet of the front GoP or the packet of the rear GoP is used for FEC decoding may be determined according to the FEC encoding method performed by the transmitter. For example, if the receiver performs FEC encoding by adding 2L forward GoP base packets during FEC encoding, the transmitter may need to perform FEC decoding using packets of 2L backward GoP to recover the base packet.

본 발명에 따른 페이로드 디포매팅 방법은 이하 도면을 참조하여 예를 들어 좀 더 상세하게 설명한다.The payload deformatting method according to the present invention will be described in more detail with reference to the drawings below.

도 6은 본 발명의 일 실시예 따른 버스트 손실 복구를 위한 FEC 디코딩 및 페이로드 디포매팅 방법을 보여주는 블록도이다.6 is a block diagram illustrating a method of FEC decoding and payload deformatting for burst loss recovery according to an embodiment of the present invention.

도6을 참조하면 GoP-3 구간(630)에서 버스트 손실이 발생했을 경우의 복구 과정을 보여주는데, 이때 비디오 프레임의 버퍼 저장기간을 적어도 L 구간 이상 갖는다고 가정한다. 단, 전방과 후방을 모두 사용할 경우 2L을 저장할 수 있어야 한다.6 shows a recovery process when a burst loss occurs in the GoP-3 section 630. It is assumed that the buffer storage period of the video frame has at least L sections. However, if you use both front and rear, you should be able to store 2L.

1) 손실된 패킷이 없는 경우1) If no packets are lost

GoP-3 구간(630)내에 손실된 패킷이 없다면,다음의 수학식 4와 같이 FEC 블록-3(636)의 XOR 패킷(X3,0)(634)과 제1 증강 계층 패킷(Enh_3,1)(637)을 비트와이즈 연산으로 XOR 연산하여 Base_3,0, 즉 베이스 계층 패킷을 구할 수 있다.If there is no lost packet in the GoP-3 section 630, the XOR packet (X3,0) 634 and the first enhancement layer packet (Enh_3,1) of the FEC block-3 (636) as shown in Equation 4 below. XOR operation 637 may be performed using a bitwise operation to obtain Base_3,0, that is, a base layer packet.

[[ 수학식Equation 4] 4]

{Base_3,0} = {X_3,0} XOR {Enh_3,1}, {Base_3,0} = {X_3,0} XOR {Enh_3,1},

여기서 { }는 비트 와이즈 연산임을 나타낸다.Where {} indicates a bitwise operation.

위의 수학식 4를 통하여 구한 베이스 계층 패킷과 함께, 제1 증강 계층 패킷(Enh_3,1)(637)과 제2 증강 계층 패킷(Enh_3,2)(638)을 모두 갖추어서 해당 GoP가 디스플레이될 수 있다
Along with the base layer packet obtained through Equation 4 above, the GoP is displayed by including both the first enhancement layer packet (Enh_3,1) 637 and the second enhancement layer packet (Enh_3,2) 638. Can

2) 제 2 증강 계층 패킷이 손실된 경우2) when the second enhancement layer packet is lost

GoP-3 구간(630) 내의 제 2 증강 계층 패킷(Enh3,2)(633)이 손실되었다면, 위의 수학식 4와 동일하게 FEC 블록-3(636)의 XOR 패킷(X3,0)(634)과 제1 증강 계층 패킷(Enh_3,1)(637)을 비트와이즈 연산으로 XOR 연산하여 Base_3,0, 즉 베이스 계층 패킷을 구할 수 있다.If the second enhancement layer packet (Enh3,2) 633 in the GoP-3 interval 630 is lost, the XOR packet (X3,0) 634 of the FEC block-3 636 is equal to Equation 4 above. ) And the first enhancement layer packet (Enh_3,1) 637 may be obtained by performing an XOR operation on the bitwise operation to obtain Base_3,0, that is, the base layer packet.

한편 수학식 4를 통해 구한 베이스 계층 패킷과 함께, 제1 증강 계층 패킷(Enh_3,1)(637)만을 갖추고 제2 증강 계층 패킷(Enh_3,2)(638)은 없이 갖추어서 해당 GoP가 디스플레이될 수 있다
Meanwhile, with the base layer packet obtained through Equation 4, only the first enhancement layer packet (Enh_3,1) 637 is provided and the second enhancement layer packet (Enh_3,2) 638 is not provided and the corresponding GoP is displayed. Can

3) 제 1 증강 계층 패킷이 손실된 경우3) when the first enhancement layer packet is lost

GoP-3 구간(630)내의 제1 증강 계층 패킷(Enh3,1)(632)이 손실된 경우에는 XOR 패킷(X3,0)(634)으로부터 베이스 계층 패킷을 구할 수 없다. 따라서, GoP-3 구간(630)의 베이스 계층 패킷을 포함하여 인코딩된 GoP-1 구간(610)의 FEC 패킷(FEC-1)(615)이 이용될 수 있다.If the first enhancement layer packet (Enh3,1) 632 in the GoP-3 section 630 is lost, the base layer packet cannot be obtained from the XOR packet (X3,0) 634. Accordingly, the FEC packet (FEC-1) 615 of the GoP-1 interval 610 encoded including the base layer packet of the GoP-3 interval 630 may be used.

즉 버퍼로부터 FEC 블록-1(616)이 생성될 수 있는데, 여기에는 Base3,0의 패킷도 포함하고 있으므로 다음 수학식 5를 이용하여 이를 구한다.
That is, the FEC block-1 616 may be generated from the buffer. Since the packet includes Base3,0 packets, it is obtained by using Equation 5 below.

[[ 수학식Equation 5] 5]

Base_3,0 = {X_1, 0, Enh_1, 1, Enh_1, 2, FEC-1},Base_3,0 = {X_1, 0, Enh_1, 1, Enh_1, 2, FEC-1},

여기서 f의 역함수 {}는 {} 내부의 매개 변수가 지칭하는 데이터 패킷들 예를 들면, FEC 블록-1(616)내의 XOR 패킷(X1,0)(614), 제1 증강 계층 패킷(Ehn1,1)(617), 제2 증강 계층 패킷(Ehn1,2)(618), FEC 패킷(FEC-1)(615)을 이용하여 함수의 결과 데이터 비트열들을 복원하기 위한 FEC 디코딩 과정일 수 있다.
Here, the inverse function {} of f denotes data packets indicated by parameters within {}, for example, XOR packets (X1,0) 614 in FEC block-1 616, first enhancement layer packet Ehn1, 1) 617, the second enhancement layer packet (Ehn1, 2) 618, and the FEC packet (FEC-1) 615 may be an FEC decoding process for reconstructing the result data bit strings of the function.

따라서, 상기 수학식 5를 통하여 구한 베이스 계층 패킷(Base_3,0)(619)과 XOR패킷(634)을 이용하여, 다음 수학식 6과 같이 손실된 제1 증강 계층 패킷(Enh_3,1)(632)을 구할 수 있다. Therefore, using the base layer packets (Base_3, 0) 619 and the XOR packet 634 obtained through Equation 5, the first enhancement layer packets Enh_3, 1 632 lost as shown in Equation 6 below. ) Can be obtained.

[[ 수학식Equation 6] 6]

{Enh_3,1} = {X_3,0} XOR {Base_3,0},{Enh_3,1} = {X_3,0} XOR {Base_3,0},

또한 후방 GoP구간(650)을 이용하는 경우에는 FEC Block-5(656)이 생성될 수 있을 때까지 기다린 후에 상기와 동일한 동작을 수행할 수 있다.
In addition, when using the rear GoP section 650, the same operation as described above may be performed after waiting until the FEC Block-5 656 can be generated.

이와 같이 수학식 5를 통해 구한 베이스 계층 패킷(Base_3,0)(619)과 수학식 6을 통해 구한 제1 증강 계층 패킷(Enh_3,1)(637)과 더불어, 제2 증강 계층 패킷(Enh_3,2)(638)을 모두 갖추어서 해당 GoP가 디스플레이될 수 있다.
In addition to the base layer packets (Base_3,0) 619 obtained through Equation 5 and the first enhancement layer packets Enh_3,1 637 obtained through Equation 6, the second enhancement layer packets Enh_3, 2) 638 can be provided so that the corresponding GoP can be displayed.

4) XOR 패킷이 손실된 경우4) XOR packet is lost

GoP-3 구간(630)내의 XOR패킷(Enh3,1)(634)이 손실된 경우에는, 상술한 바와 같이 제1 증강 계층 패킷이 손실된 경우와 마찬가지로, 베이스 계층 패킷을 구하기 위하여 GoP-1 구간(610)의 FEC 패킷(FEC-1)(615)이 이용될 수 있다.If the XOR packets (Enh3,1) 634 in the GoP-3 section 630 are lost, as in the case where the first enhancement layer packet is lost as described above, the GoP-1 section is used to obtain the base layer packet. The FEC packet (FEC-1) 615 of 610 may be used.

즉 상기의 수학식 5를 이용하여 구한 베이스 계층 패킷(Base_3,0)(619)과 함께, 손실되지 않은 제1 증강 계층 패킷(Enh_3,1)(637) 및 제2 증강 계층 패킷(Enh_3,2)(638)이 디스플레이될 수 있다.
That is, together with the base layer packets (Base_3, 0) 619 obtained using Equation 5, the first enhancement layer packets Enh_3,1 637 and the second enhancement layer packets Enh_3,2 not lost. 638 may be displayed.

4) 모든 패킷이 손실된 경우4) All packets lost

GoP-3 구간(630)내의 모든 패킷이 손실된 경우에는, 버퍼로부터 FEC 블록-1(616)이 생성되고, 이로부터 상기 수학식 5를 이용하여 베이스 계층 패킷(Base_3,0)(619)이 구해질 수 있다. When all packets in the GoP-3 section 630 are lost, the FEC block-1 616 is generated from the buffer, from which the base layer packets (Base_3, 0) 619 are generated using Equation 5 above. Can be saved.

이와 같이 구해진 베이스 계층 패킷이 디스플레이 될 수 있다.The base layer packet thus obtained may be displayed.

상술한 바와 같이 모든 패킷이 손실되더라도 가장 중요한 베이스 계층 패킷은 복원이 가능하다.
As described above, even if all packets are lost, the most important base layer packet can be recovered.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

Claims (15)

송신기에서 수행되는 페이로드 포맷팅 방법으로,
베이스 계층 패킷 및 적어도 하나의 증강 계층 패킷을 포함하는 픽쳐그룹(group of picture, GoP)의 증강 계층 패킷 중 어느 하나의 패킷과 베이스 계층 패킷을 기초로 XOR(exclusive or) 연산을 수행함으로써 XOR 연산 패킷을 생성하는 단계; 및
상기 XOR 연산 패킷을 상기 GoP에 추가하는 단계를 포함하는 페이로드 포맷팅 방법.
A payload formatting method performed at the transmitter,
XOR operation packet by performing an exclusive or (XOR) operation based on any one packet of a enhancement layer packet of a group of picture (GoP) and a base layer packet including a base layer packet and at least one enhancement layer packet. Generating a; And
Adding the XOR operation packet to the GoP.
제 1항에 있어서, 상기 페이로드 포맷팅 방법은,
상기 GoP로부터 상기 베이스 계층 패킷을 제거하는 단계를 더 포함하는 것을 특징으로 하는 페이로드 포맷팅 방법.
The method of claim 1, wherein the payload formatting method comprises:
And removing the base layer packet from the GoP.
제 1항 또는 제 2항에 있어서,
상기 베이스 계층 패킷은 상기 GoP내에서 가장 중요한 프레임과 관련되고, 상기 XOR 연산에 이용되는 증강 계층 패킷은 상기 GoP내에서 두번째로 중요한 프레임과 관련되는 것을 특징으로 하는 페이로드 포맷팅 방법.
3. The method according to claim 1 or 2,
Wherein the base layer packet is associated with the most significant frame in the GoP, and the enhancement layer packet used for the XOR operation is associated with the second most important frame in the GoP.
제 1항에 있어서, 상기 페이로드 포맷팅 방법은,
상기 GoP에 대한 FEC(forward error correction) 패킷을 생성하되, 상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 전방 또는 후방 GoP의 베이스 계층 패킷을 추가하여 FEC(forward error correction)인코딩을 수행함으로써 상기 GoP의 FEC 패킷을 생성하는 단계; 및
상기 생성된 FEC 패킷을 상기 GoP에 추가하는 단계를 더 포함하는 것을 특징으로 하는 페이로드 포맷팅 방법.
The method of claim 1, wherein the payload formatting method comprises:
Generates a forward error correction (FEC) packet for the GoP, but performs forward error correction (FEC) encoding by adding a base layer packet of a forward or backward GoP separated by a predetermined time interval from the GoP to perform FEC of the GoP. Generating a packet; And
The method further comprises adding the generated FEC packet to the GoP.
제 1항에 있어서, 상기 페이로드 포맷팅 방법은,
상기 GoP에 대한 FEC(forward error correction) 패킷을 생성하되, 상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 전방 및 후방 GoP의 베이스 계층 패킷을 추가하여 FEC(forward error correction)인코딩을 수행함으로써 상기 GoP의 FEC 패킷을 생성하는 단계; 및
상기 생성된 FEC 패킷을 상기 GoP에 추가하는 단계를 더 포함하는 것을 특징으로 하는 페이로드 포맷팅 방법.
The method of claim 1, wherein the payload formatting method comprises:
Generates a forward error correction (FEC) packet for the GoP, but performs forward error correction (FEC) encoding by adding base layer packets of forward and backward GoPs separated by a predetermined time interval from the GoP to perform FEC of the GoP. Generating a packet; And
The method further comprises adding the generated FEC packet to the GoP.
제 4항 또는 제 5항에 있어서,
상기 GoP의 패킷들을 전송하는 경우, 상기 FEC 인코딩 시 추가되는 전방 또는 후방 GoP의 베이스 계층 패킷은 제거하고 전송하는 것을 특징으로 하는 페이로드 포맷팅 방법.
The method according to claim 4 or 5,
When transmitting the packets of the GoP, payload formatting method characterized in that the base layer packets of the forward or backward GoP added during the FEC encoding is removed and transmitted.
제 4항 또는 제 5항에 있어서,
상기 FEC 인코딩은 XOR 연산을 이용하는 것을 특징으로 하는 페이로드 포맷팅 방법.
The method according to claim 4 or 5,
And the FEC encoding uses an XOR operation.
수신기에서 수행되는 페이로드 디포맷팅 방법으로,
베이스 계층 및 제1 증강 계층 패킷을 기초로 XOR연산하여 생성된 XOR 패킷, 상기 제1 증강 계층 패킷을 포함하는 적어도 하나의 증강 계층 패킷 및 FEC 패킷을 포함하는 GoP의 패킷들을 수신하는 단계;
상기 GoP의 패킷들에 대한 손실 여부를 확인하는 단계; 및
상기 확인 결과 손실 패킷이 없거나 상기 제1 증강 계층 패킷과 상기 XOR 패킷 이외의 패킷이 손실된 것으로 판단되는 경우, 상기 XOR 패킷과 상기 제1 증강 계층 패킷을 기초로 XOR 연산을 수행하여 상기 GoP의 베이스 계층 패킷을 복원하는 제1 단계를 포함하는 페이로드 디포맷팅 방법.
A payload deformatting method performed at the receiver.
Receiving packets of a GoP including an XOR packet generated by XOR operation based on a base layer and a first enhancement layer packet, at least one enhancement layer packet including the first enhancement layer packet, and an FEC packet;
Confirming whether or not the packets of the GoP are lost; And
If it is determined that there is no loss packet or that packets other than the first enhancement layer packet and the XOR packet are lost, the base of the GoP is performed by performing an XOR operation based on the XOR packet and the first enhancement layer packet. A payload deformatting method comprising the first step of recovering a layer packet.
제 8항에 있어서,
상기 GoP의 FEC 패킷은 상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 전방 또는 후방 GoP의 베이스 계층 패킷을 추가하여 FEC(forward error correction)인코딩을 수행함으로써 생성되는 패킷인 것을 특징으로 하는 페이로드 디포맷팅 방법.
The method of claim 8,
The FEC packet of the GoP is a payload deformatting method characterized in that the packet is generated by performing forward error correction (FEC) encoding by adding a base layer packet of a forward or backward GoP separated by a predetermined time interval from the GoP. .
제 8항에 있어서, 상기 페이로드 디포맷팅 방법은,
상기 GoP의 패킷들을 수신하여 버퍼에 저장하는 단계를 더 포함하고,
상기 버퍼에는 상기 GoP로부터 미리 정해진 시간 간격 이내의 모든 전방 또는 후방 GoP의 패킷들이 저장되는 것을 특징으로 하는 페이로드 디포맷팅 방법.
The method of claim 8, wherein the payload deformatting method comprises:
Receiving the packets of the GoP and storing them in a buffer;
And the buffer stores all forward or backward GoP packets within a predetermined time interval from the GoP.
제 8항에 있어서, 상기 페이로드 디포맷팅 방법은,
상기 확인 결과 상기 제1 증강 계층 패킷 또는 상기 XOR 패킷이 손실된 것으로 판단되는 경우,
상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 전방 GoP의 패킷들에 기초하여 FEC 디코딩을 수행함으로써 상기 GoP의 베이스 계층 패킷을 복원하는 제 2 단계를 더 포함하는 것을 특징으로 하는 페이로드 디포맷팅 방법.
The method of claim 8, wherein the payload deformatting method comprises:
If it is determined that the first enhancement layer packet or the XOR packet is lost,
And reconstructing the base layer packet of the GoP by performing FEC decoding based on packets of the forward GoP separated by a predefined time interval from the GoP.
제 11항에 있어서,
상기 GoP의 베이스 계층 패킷을 복원하는 제2 단계는 버퍼에 저장된 상기 미리 정해진 시간 간격만큼 떨어진 전방 GoP의 패킷들을 이용하는 것을 특징으로 하는 페이로드 디포맷팅 방법.
12. The method of claim 11,
And recovering the base layer packet of the GoP comprises using packets of a forward GoP separated by the predetermined time interval stored in a buffer.
제 8항에 있어서, 상기 페이로드 디포맷팅 방법은,
상기 확인 결과 상기 제1 증강 계층 패킷 또는 상기 XOR 패킷이 손실된 것으로 판단되는 경우,
상기 GoP로부터 미리 정의된 시간 간격만큼 떨어진 후방 GoP의 패킷들에 대하여 FEC 디코딩을 수행함으로써 상기 GoP의 베이스 계층 패킷을 복원하는 제 3단계를 더 포함하는 것을 특징으로 하는 페이로드 디포맷팅 방법.
The method of claim 8, wherein the payload deformatting method comprises:
If it is determined that the first enhancement layer packet or the XOR packet is lost,
And reconstructing the base layer packet of the GoP by performing FEC decoding on packets of the rear GoP separated by a predefined time interval from the GoP.
제 13항에 있어서,
상기 GoP의 베이스 계층 패킷을 복원하는 제 3 단계는 상기 미리 정해진 시간 간격만큼 떨어진 후방 GoP의 패킷들을 수신한 후 수행하는 것을 특징으로 하는 페이로드 디포맷팅 방법.
The method of claim 13,
And a third step of recovering the base layer packet of the GoP is performed after receiving the packets of the backward GoP separated by the predetermined time interval.
제 8항에 있어서,
상기 베이스 계층 패킷은 상기 GoP내에서 가장 중요한 프레임과 관련되고,
상기 제1 증강 계층 패킷은 상기 GoP내에서 두번째로 중요한 프레임과 관련되는 것을 특징으로 하는 페이로드 디포맷팅 방법.
The method of claim 8,
The base layer packet is associated with the most important frame in the GoP,
And wherein the first enhancement layer packet is associated with a second most important frame in the GoP.
KR1020120035202A 2011-08-22 2012-04-05 Method for payload formatting and deformatting for burst loss recovery KR101839500B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/585,745 US9167279B2 (en) 2011-08-22 2012-08-14 Method for payload formatting and deformatting for burst loss recovery

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110083505 2011-08-22
KR1020110083505 2011-08-22

Publications (2)

Publication Number Publication Date
KR20130021318A true KR20130021318A (en) 2013-03-05
KR101839500B1 KR101839500B1 (en) 2018-03-19

Family

ID=48174296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120035202A KR101839500B1 (en) 2011-08-22 2012-04-05 Method for payload formatting and deformatting for burst loss recovery

Country Status (1)

Country Link
KR (1) KR101839500B1 (en)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201223170A (en) 2010-11-18 2012-06-01 Ind Tech Res Inst Layer-aware Forward Error Correction encoding and decoding method, encoding apparatus, decoding apparatus and system thereof

Also Published As

Publication number Publication date
KR101839500B1 (en) 2018-03-19

Similar Documents

Publication Publication Date Title
KR102133930B1 (en) Apparatus and method for transmitting and receiving data packet
KR101159432B1 (en) Scalable information signal, apparatus and method for encoding a scalable information content, and apparatus and method for error correcting a scalable information signal
US7676735B2 (en) Forward error-correcting (FEC) coding and streaming
JP3798387B2 (en) Variable length packet transmission method and reception method based on FEC encoding method
CN103023813B (en) Wobble buffer
KR101983032B1 (en) Apparatus and method for transmitting and receiving packet in broadcasting and communication system
US8683301B2 (en) Error correction coding for recovering multiple packets in a group in view of limited bandwidth
CN110943800A (en) Method, device and system for sending data packet, storage medium and electronic device
US9705640B2 (en) Method and apparatus for decoding received packets in broadcasting and communication system
KR102383892B1 (en) Coding and decoding method, apparatus, system and medium of self-adapting system code FEC based on media content
CN112804028B (en) Data packet transmission method, equipment and storage medium
Tsai et al. MAC-level forward error correction mechanism for minimum error recovery overhead and retransmission
CA2909801C (en) Apparatus and method for transmitting and receiving forward error correction packet
US9167279B2 (en) Method for payload formatting and deformatting for burst loss recovery
KR101967884B1 (en) Apparatus and method for transmitting and receiving packet in broadcasting and communication system
JP6504820B2 (en) Method and apparatus for providing streaming service
Dufaux et al. JPWL-an extension of JPEG 2000 for wireless imaging
KR101839500B1 (en) Method for payload formatting and deformatting for burst loss recovery
JP5595260B2 (en) Receiving machine
JP5247358B2 (en) Information processing apparatus and method, program, and recording medium
Xiao et al. A new network coding design for reliable video multicast
KR20130034569A (en) Method for uep/ulp with xor-fec and harq for burst loss recovery
JP2010136279A (en) Encoding device, decoding device, method of creating generator matrix, and computer program
Karande et al. The utility of hybrid error-erasure LDPC (HEEL) codes for wireless multimedia
Chan et al. Robust multiple description coding—Joint Coding for source and storage

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant