KR101353128B1 - 부가적인 네트워크 추상화 계층 (ｎａｌ) 들을 사용하여 멀티미디어 데이터를 보호하는 방법 - Google Patents

부가적인 네트워크 추상화 계층 (ｎａｌ) 들을 사용하여 멀티미디어 데이터를 보호하는 방법 Download PDF

Info

Publication number
KR101353128B1
KR101353128B1 KR1020087025446A KR20087025446A KR101353128B1 KR 101353128 B1 KR101353128 B1 KR 101353128B1 KR 1020087025446 A KR1020087025446 A KR 1020087025446A KR 20087025446 A KR20087025446 A KR 20087025446A KR 101353128 B1 KR101353128 B1 KR 101353128B1
Authority
KR
South Korea
Prior art keywords
nal
redundancy
data
information
error
Prior art date
Application number
KR1020087025446A
Other languages
English (en)
Other versions
KR20080106357A (ko
Inventor
까뜨린 라미-베르고
시릴 베흐쥬롱
Original Assignee
탈레스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 탈레스 filed Critical 탈레스
Publication of KR20080106357A publication Critical patent/KR20080106357A/ko
Application granted granted Critical
Publication of KR101353128B1 publication Critical patent/KR101353128B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L7/00—Arrangements for synchronising receiver with transmitter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0083—Formatting with frames or packets; Protocol or part of protocol for error control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0057—Block codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0072—Error control for data other than payload data, e.g. control data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0075—Transmission of coding parameters to receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

H.264 표준에 의해 인코딩된 멀티미디어 데이터를 보호하는 방법으로서, 그 데이터는 네트워크 추상화 계층, 즉, NAL 타입의 구조로 캡슐화되며, 그 방법은, 그 데이터를 송신하는데 사용되는 에러-정정 코드를 포함하는 적어도 하나의 리던던시 NAL을 사용자가 삽입하는 것을 특징으로 한다.
네트워크 추상화 계층, 멀티미디어 데이터 보호

Description

부가적인 네트워크 추상화 계층 (ＮＡＬ) 들을 사용하여 멀티미디어 데이터를 보호하는 방법{METHOD FOR PROTECTING MULTIMEDIA DATA USING ADDITIONAL NETWORK ABSTRACTION LAYERS (NAL)}
본 발명은 특히 부가적인 네트워크 추상화 계층들을 스트림에 삽입함으로써 멀티미디어 데이터를 보호하는 것을 가능하게 하는 방법에 관한 것이다.
더 상세하게, 본 발명은, 네트워크 애플리케이션들에 의해 용이하게 적응가능하고 합당한 사용의 복잡도를 가지면서 이전의 비디오 표준들 (예를 들어, H.263, MPEG-2) 보다 더 효율적인 압축을 제공하는 비디오 표준인 H.264 또는 MPEG-4 AVC (Advanced Video Coding) 로 지칭되는 ITU-T 의 비디오 코딩 그룹 (VCEG) 및 ISO MPEG 에 의해 공동으로 정의된 표준을 사용하는 애플리케이션들에 적용할 수도 있다.
2003년 5월에 확립된 ITU-T 레퍼런스 문서 (JVT-G050r1) 의 최종 버전은, 현재까지 알려진 가장 효율적인 툴의 비디오 코딩의 양태들만을 특정한다. H.264에 의해 타겟팅된 주요 애플리케이션들은 다음과 같다.
Figure 112008072338218-pct00001
1Mb/s 보다 작은 비트 레이트를 갖는, 케이블 또는 무선 (UMTS 등) 을 통한 실시간 듀플렉스 음성 서비스 (화상전화 (videophony)).
Figure 112012019779538-pct00002
1Mb/s 내지 8Mb/s 의 비트 레이트를 갖는 DVD, xDSL, 또는 위성을 통한 통상의 또는 고품질 비디오 서비스.
Figure 112008072338218-pct00003
인터넷과 같이 더 낮은 비트 레이트 (＜2Mb/s) 를 갖는 저품질 비디오.
특히 고해상도 텔레비전 (높은 프로파일) 또는 스케일러빌리티 (scalability) 기능 (SVC 또는 스케일러블 비디오 코딩 그룹) 의 삽입을 위하여, 표준에 대한 확장이 현재 연구되고 있다.
송신 및 디코딩 동안 직면하는 에러들의 타입은, 기존의 민간 채널들 (예를 들어, UMTS, WiFi, WiMax 를 통한 송신) 로부터 군용 채널들 (예를 들어, HF) 까지의 무선 채널들의 군 (family) 과 같은 송신 채널에 의해 도입된 에러들에 대응할 수도 있다. 이러한 에러들은, "패킷 손실" 타입 (비트들 또는 바이트들의 시퀀스의 손실), "비트 에러" (랜덤 또는 버스트로 하나 이상의 비트들 또는 바이트들의 가능한 반전), "삭제" (비트들 또는 바이트들 중 하나, 수개 또는 그 시퀀스의 공지된 사이즈 및/또는 위치의 손실) 일 수도 있거나, 그 밖에, 이러한 다양한 사건들의 혼합으로부터 기인할 수도 있다.
특히, 동기화 마커 (marker) 들이 NAL (네트워크 추상화 계층) 들의 시작부에만 존재하는, H.264/AVC 와 같은 표준에 있어서, 가변-길이 코드들의 에러 민감도는 널리 공지되어 있으며, 그의 최악의 작동은 악명이 높다. 송신 채널들은 송신된 스트림들에서 잡음 및 페이딩을 유발하여, 특히, 에러들에 이르게 한다.
너무 많은 에러 전파를 방지하는 양호한 방식은, 그 에러 전파를 검출하고, 가능하다면, 그 에러 전파가 발생한 경우 단순히 마스킹하는 것이 아니라 그 에러 전파를 정정할 수 있는 것이다.
에러들의 존재로부터 기인하는 문제들을 완화시키기 위하여 종래 기술에 의해 사용된 방법은 주로 다음에 기초한다.
- 부가적인 리던던시가 소스 (다중 디스크립션 (description) 에 의한 인코딩, 분산 인코딩, "리던던트 (redundant) 슬라이스들" 의 사용) 에 존재하는지, 네트워크 (ARQ 타입의 반복, FEC 리던던시의 부가) 상에 존재하는지, 또는 무선 액세스 (FEC) 에 존재하는지를 불문하고, 제 2 채널 또는 제 2 스트림을 통한 그 부가적인 리던던시의 송신.
- (더 드물게는, 학문적인 작업 또는 이론적인 작업에서 더 가능성있게 존재하는) 호환성 문제를 고려하지 않고, 초기 스트림에서의 리던던시의 직접적인 부가.
따라서, 상이한 레퍼런스 포인트들 또는 압축 계수들을 갖는 압축 인코딩에 기초하지만 에러-정정 인코딩의 원리에는 기초하지 않는 다중 디스크립션 인코딩 (multiple description encoding) 또는 "리던던트 슬라이스들" 에 의해 획득된 리던던트 슬라이스들을 부가하는 것이 가능하다.
따라서, 에러가 존재하면, 리던던트 슬라이스의 사용은 손상된 화상의 복제물을 디코딩함으로써 그 손상된 화상을 (다소 효과적으로) 디코딩하는 것을 실제로 가능하게 할 것이다. 한편, 이것은, 에러들이 패킷 에러인지 또는 비트 에러인지를 불문하고, 나타날 수도 있는 에러들을 정정하는 것을 가능하게 하지는 않을 것이다.
본 발명은, 송신된 정보 구조가, 사용된 데이터의 캡슐화의 구조의 형태인 송신 시스템에서 데이터를 보호하는 방법에 관한 것이고, 그 캡슐화의 구조는 동기화 정보를 전송하는 새로운 구조들을 생성하기 위한 기초로서 기능할 수 있으며, 그 방법은, 사용자가 데이터 스트림에 적어도 하나의 부가적인 NAL (네트워크 추상화 계층) 을 부가하는 단계를 포함하는 것을 특징으로 하며, 그 데이터 스트림에 있어서의 그 NAL의 콘텐츠 및 위치는, 동기화가 발생하는 길이를 증가시키기 위하여 디코더에 공지되어 있다.
예를 들어, 송신된 정보의 구조는, 사용된 데이터의 캡슐화의 구조의 형태이며, 그 구조는 에러-정정 정보를 전송하는 새로운 구조들을 생성하기 위한 기초로서 사용될 수도 있으며, 그 방법은, 사용자가 적어도 하나의 부가적인 구조를 부가하는 단계를 포함하며, 적어도 하나의 부가적인 구조는,
Figure 112012019779538-pct00004
리던던시 구조로서의 부가적인 구조의 식별,
Figure 112012019779538-pct00005
리던던시가 관련하는 초기 데이터 구조들의 식별, 및
Figure 112008072338218-pct00006
데이터를 송신하는데 사용되는 에러-정정 코드
에 필요한 정보 및 리던던시를 포함하는 것을 특징으로 한다.
예를 들어, 데이터는 H.264 표준에 의해 인코딩된 멀티미디어 데이터이며, 그 데이터는 네트워크 추상화 계층, 즉, NAL 타입의 구조로 캡슐화되고, 사용자는,
Figure 112012019779538-pct00007
리던던시 NAL로서의 NAL 타입의 구조의 식별,
Figure 112012019779538-pct00008
리던던시가 관련하는 초기 데이터 구조들의 식별, 및
Figure 112008072338218-pct00009
데이터를 송신하는데 사용되는 에러-정정 코드
에 필요한 정보를 포함하는 적어도 하나의 리던던시 NAL을 삽입한다.
리던던시 NAL은 초기 압축 인코딩 동작 동안 부가될 수도 있다.
예를 들어, 리던던시 NAL은 송신될 데이터가 트랜스코더 (transcoder) 에 입력될 경우 부가된다.
리던던시 NAL은 (비디오 데이터의) 정보의 NAL 이전에 배치될 수도 있고, 그 리던던시 NAL의 헤더는 사용된 에러-정정 코드를 나타내는 필드를 포함한다.
예를 들어, 리던던시 NAL 헤더에서, 사용자는, 리던던시가 적용되는 비디오 NAL의 번호를 나타내는 필드를 포함한다.
리던던시 NAL이 적용되는 다양한 NAL 번호들을 나타내는 필드를 리던던시 NAL 헤더에 부가하는 것이 가능하다.
예를 들어, 리드-솔로몬 (Reed-Solomon) 코드가 에러-정정 코드로서 사용된다.
또한, 본 발명은, 송신된 정보 구조가, 사용된 데이터의 캡슐화의 구조의 형태인 송신 시스템에서 데이터를 보호하는 디바이스에 관한 것이고, 그 구조는 동기화 정보를 전송하는 새로운 구조들을 생성하기 위한 기초로서 사용될 수도 있으며, 그 디바이스는, 상기 특정된 방법의 단계들을 실행시키는데 적합한 프로세서를 포함한 적어도 하나의 인코더를 포함하는 것을 특징으로 한다.
본 발명은 특히 다음의 이점들을 갖는다.
Figure 112008072338218-pct00010
사용자가 더 이상 낮은 계층들에 의존하지 않으므로, 사용된 비디오 표준과의 호환 및 나머지 송신 체인과의 호환을 유지하면서, 애플리케이션 레벨에서의 보호를 허용하며, 따라서, 비디오 인코딩 장비에 가능한 근접한 보호를 허용한다.
Figure 112008072338218-pct00011
해당 비디오 표준 (H.264 AVC) 과의 호환성을 보장한다.
Figure 112008072338218-pct00012
기존의 솔루션들에 비해 투명성 및 설치의 용이함을 제공한다.
Figure 112008072338218-pct00013
에러에 대한 증가된 보호를 허용한다.
본 발명의 다른 특성들 및 이점들은, 제한이 아닌 예시로서 제공된 예시적인 실시형태의 설명을 도면과 함께 판독할 시에 더 명확하게 나타날 것이다.
도 1은 "블랭크 (blank)" NAL의 부가에 의해 리던던시를 증가시키기 위하여, 본 발명에 따른 방법에 의해 사용되는 타입 12 NAL의 포맷이다.
도 2는 리드-솔로몬 (RS) 코드의 경우에서의 페이로드/리던던시 데이터의 분포이다.
도 3은 RS 코드에 대한 인덱스 테이블의 일 예이다.
도 4는 RS 코드를 통해 보호를 삽입하는 일 예이다.
도 5는 RS 코드에 의한 보호의 사용에 의한 디코딩의 일 예이다.
도 6 내지 도 9는 RS 코드에 의한 보호로 획득되는 결과 커브들이다.
도 10은 하나의 비디오 NAL/하나의 리던던시 NAL 보호의 일 예이다.
도 11a, 도 11b, 및 도 11c는 N개의 비디오 NAL 및 M개의 리던던시 NAL의 조합의 경우에서의 애플리케이션의 2개의 예들이다.
본 발명은 특히 H.264/AVC 표준에 의해 압축된 데이터의 에러에 대한 보호에 관한 것이다.
본 발명은, 특히 비디오 표준과의 호환성을 유지하면서, 잔류 에러들에 대해 스트림을 보호하기 위하여 리던던시를 삽입하는 H.264/AVC 표준의 네트워크 추상화 계층 또는 NAL 구조를 사용하는 것을 수반한다.
또한, 본 발명은, 인코딩 콘텍스트 또는 최종 렌더링의 조건에 따르면서, 특히, 비트들을 구별할 수 있는 특성 (예를 들어, 비주얼 임펙트 (visual impact)) 을 갖는 멀티미디어 표준 또는 방법에도 적용된다.
본 발명은, 에러에 대해 더 강인하게 스트림을 렌더링하는 것을 가능하게 하는 동기화 정보 및 리던던시 정보를 전송하는 새로운 구조들을 생성하기 위한 기초로서 재사용될 수도 있는 적어도 하나의 페이로드 데이터 캡슐화 구조를 갖는 모든 표준들에 적용될 수도 있다.
요약하면, 예를 들어, 본 발명은 다음의 2개의 형태를 갖는다.
1. 패딩을 위해 초기에 제공된 통상적으로 타입 12 NAL들과 같은 특별한 정보가 없는, 또는 "블랭크" 인 NAL들의 사용.
2. 리던던시를 운반하는 부가적인 NAL들의 부가 (사용된 인코더의 정보를 포함하고, 송신측상에서 생성된 리던던시를 페이로드로서 운반하는 새로운 타입의 NAL의 도입).
(어떠한 타입이든) 리던던시의 이러한 부가는, 초기 압축 인코딩 동작 동안 직접 수행될 수도 있거나, 트랜스코더에의 입력 동안 부가될 수도 있다. 상세하게, 비트 스트림의 구조를 해석할 수 있는 트랜스코더는, 필요하다면, 스트림의 해상도, 포맷, 및 비트 레이트를 변화시키기 위해 그 구조를 변경하는 것을 또한 가능하게 하는 툴이다. 따라서, 그러한 툴은, 리던던시를 부가하거나 그 리던던시를 제거하기 위해 본 발명의 콘텍스트에서 또한 사용될 수도 있다. 리던던시의 이러한 부가는 다음의 같이 수개의 타입일 수도 있다.
a) 비트 손실 또는 삭제에 대항하기 위한 NAL 단위의 리던던시. 그 후, 정보 NAL은 리던던시 NAL에 의해 보호된다.
b) 패킷 손실에 대항하기 위한 NAL들에 걸친 리던던시.
NAL 신택스
H.264/AVC 비트 스트림은, 포맷 0x00 ... 0x00 0x01 (적어도 3 바이트) 을 갖는 시작 코드에 의해 분리된 수개의 네트워크 추상화 계층들 즉, NAL들로 분할된다. 스트림의 첫번째 2개의 NAL들은 디코딩될 비디오에 대한 일반적인 정보를 포함하며, 제 1 NAL은 SPS (시퀀스 파라미터 세트) 이고, 제 2 NAL은 화상 파라미터에 관한 PPS (화상 파라미터 세트) 이다.
SPS NAL은 나머지 시퀀스를 디코딩하는데 필요한 정보, 즉, 매크로 블록 프레임 또는 필드, 레퍼런스 화상들의 버퍼 메모리 사이즈, 화상 순서 카운터 타입, 레벨 및 프로파일 IDC 를 포함한다.
PPS NAL은 디코딩하는데 필요한 나머지 값들, 즉, 압축의 타입 (산술 또는 가변 길이 코딩), 가능한 레퍼런스 화상들의 수, 가중된 예측 플래그, 초기 및 채도 오프셋 양자화 파라미터를 포함한다. 인코딩 동안, 수개의 타입의 파라미터 세트들이 사용될 수도 있으며 (항상 화상들의 그룹, 즉, GOP의 시작부에서 변화가 발생한다), 이는 각각의 새로운 파라미터 세트가 식별되어야 한다는 것을 의미한다. 간략화를 위하여 및 일반화의 손실없이, 아래에 주어진 예들은, 단지 하나의 SPS 계층 및 하나의 PPS 계층만이 시퀀스의 시작부에서 생성되어 있는 경우를 고려한다.
이러한 첫번째 2개의 NAL들을 디코딩한 이후, 디코더는 화상들의 일부들, 즉, "슬라이스들" 에 대응하는 실제 비디오 데이터를 수신한다. 이러한 데이터는, (슬라이스가 타입 2, 3, 및/또는 4 NAL 모두에 대응하는 데이터 분할 모드에 사용자가 있는 경우, 종래의 언어의 잘못된 사용에 의한) 슬라이스에서의 코딩된 매크로 블록들을 포함한 슬라이스 데이터 및 슬라이스 헤더를 포함하는, 타입 5 NAL (IDR), 또는 타입 1 (미분할된 비-IDR 비디오 데이터), 또는 분할된 비디오 데이터에 대한 타입 2, 3, 및/또는 4 NAL에 포함된다.
헤더는, 데이터를 해석하는 것을 가능하게 하는 정보를 포함한다. 그 정보는, 제 1 매크로 블록의 수, 디코딩될 슬라이스의 타입 (I, P, SI/SP, 또는 B), 사용될 화상 파라미터 세트, 현재 프레임의 번호, 현재 프레임의 타입 (예를 들어, IDR 프레임인가) 및 POC를 제공한다. 그 후, 슬라이스의 타입에 의존하는 데이터가 후속한다.
따라서, 슬라이스 헤더 I는 특히 롱 텀 레퍼런스 (long term reference) 로서 해당 프레임의 가능한 사용에 대한 정보를 포함한다. 유사하게, 슬라이스 헤더 P는 특히 레퍼런스 정보, 즉, 레퍼런스 화상 리스트를 재순서화할 필요가 있는지 여부를 나타내는 레퍼런스 이미지들 및 플래그들의 수, 및 숏 텀 레퍼런스 (short term reference) 화상을 롱 텀 레퍼런스 화상으로 스위칭하는 기능을 갖는 적응성 레퍼런스 버퍼 메모리의 사용 여부를 포함한다. 최종적으로, 슬라이스 헤더 (I 및 P 양자) 의 중요한 신택스 엘리먼트들 중 하나는 전체 슬라이스에 대해 유효한 부가적인 양자화 파라미터 (Slice_QP_Delta) 이다.
슬라이스들의 부가: "블랭크" NAL들의 경우
본 발명의 사상은, 특히 상관 기술들이 적용되는 메시지의 길이를 증가시키기 위해 (하나 이상의 리던던트 NAL들이 부가적인 유용한 정보를 운반하지 않는다는 의미에서) 하나 이상의 리던던트 NAL들을 사용하는 것이다.
예를 들어, 이것은, "페이로드" 부분이 1로 채워지는 패딩 NAL들로서 H.264 표준에서 정의되는 타입 12 NAL들을 사용함으로써 행해질 수 있다. 그 후, NAL이 완전하게 공지되므로 (그 NAL의 헤더는 표준이고, 데이터 부분은 1로 채워진다), 그 NAL은 임의의 비디오 데이터 NAL 및 어셈블리 NAL 12 의 앞부분에 배치될 수 있으며, 따라서, 데이터 NAL의 시작 워드 (시작 코드) 는 상관이 수행될 수 있는 수퍼 시작 워드 (또는 "수퍼 시작-코드") 로서 간주될 수 있다. 3 또는 4 바이트 (통상의 시작 코드의 사이즈) 가 아니라 10 바이트 정도에 관해 상관을 생성하면, 잡음이 존재하는 경우의 오경보의 위험은 매우 감소되며, 따라서, 바이너리 에러들에 의해 중단된 비디오 데이터 NAL들의 시작의 검출을 개선시키는 것이 가능하다.
이것은, 예약된 값들로부터 선택된 다른 타입의 NAL의 사용으로 일반화될 수 있다. 실제로, 이러한 부가적인 NAL에 의해 다른 정보 (예를 들어, 리던던시 정보) 를 전송하는 것이 바람직하지 않다면, 미리 정의된 (이에 따라 인코더 및 디코더에 공지되어 있는) NAL을 사용하는 것이 바람직하며, 이는 약한 인코더의 오작동의 위험 (예를 들어, 정의되지 않은 NAL 값을 직면한 이후의 작동중지 (crash)) 을 방지한다.
NAL 자체의 사이즈는 자유롭게 결정될 수 있으며, (도입된 효율의 손실에 관해 획득하는 것이 바람직한 상관 능력에 적응하는) 송신 조건들에 적응될 수 있다. 그 NAL의 사이즈는 디폴트에 의해 고정될 수 있거나, 예를 들어, NAL의 길이와 다음 NAL의 타입 사이의 링크를 확립함으로써 부가적인 정보를 운반하는데 사용될 수 있다.
FEC: 리드-솔로몬 코드들에 의해 코드를 정정하는 예
에러-정정 코드는 많은 애플리케이션, 예를 들어, 저장부 애플리케이션 (예를 들어, CD-ROM) 또는 본질적으로, 에러-민감 송신 채널을 통해 행해진 무선 송신분야에서 사용되는 기술이다. 그 원리는 데이터에 리던던시를 부가하는 것이며, 이는 디코더로 하여금, 데이터가 손상되었는지 여부, 손실된 비트들이 존재하는지 여부, 그 밖에 비트들의 값이 변경되었는지의 여부 (0에서 1로의 반전 또는 1에서 0으로의 반전) 를 확인하게 한다. 이러한 사상은 디코딩에 대하여 에러있는 비트 및 에러있는 패킷의 영향을 감소시키는 것이다.
또한 순방향 에러 정정 (FEC) 으로 지칭되는 에러-정정 코드가 수개의 레벨에서 도입될 수 있다. 일반적으로, 그 코드는 송신 채널 또는 네트워크상에서 구현되지만, 또한, 애플리케이션 레벨에서 (통상적으로, 소스 인코딩 동작에서) 포함될 수도 있다. 이것은, 보호될 데이터와 직접적으로 링크된 에러 정정 FEC를 적용하는 것이 바람직할 경우에 특히 가치가 있다.
FEC 코드의 널리 공지된 예는, 디지털 통신 (무선 및 위성 통신, DVB, 즉, 디지털 비디오 브로드캐스팅, ADSL) 및 저장부 (CD, DVD, 바 코드) 에서 사용되는 리드-솔로몬 코드이다. 이러한 코드들은 BCH 코드들의 서브어셈블리이며, 선형 블록 코드들이다. 리드-솔로몬 코드는 m-비트 심볼을 갖는 RS(n,k) 코드로서 특정된다.
이것은, 코더가 m 비트의 k개의 데이터 심볼들을 각각 취하며, n개의 심볼들의 코드 워드를 생성하기 위해 패러티 심볼들을 부가한다는 것을 의미한다. 각각 m 비트의 (n-k) 개의 패러티 심볼들이 존재한다. 리드-솔로몬 디코더는, 2t=n-k 인 코드 워드에서 에러들을 포함하는 t개의 심볼들 (t는 정수) 까지 정정할 수 있다.
슬라이스들의 부가: "채워진" NAL들의 경우
상술된 바와 같이, 또한 비디오 코딩 계층 (VCL) 으로 지칭되는 비디오 데이터는, 네트워크 추상화 계층, 즉, NAL을 생성하기 위해 NAL 헤더에 의해 캡슐화된다. 일반적으로, 이러한 헤더는 다음을 포함하는 단일 바이트로 구성된다.
Figure 112008072338218-pct00014
0과 동일해야만 하는 금지된 비트 (forbidden bit).
Figure 112008072338218-pct00015
NAL에 포함된 VCL에 대한 정보를 제공하는 2개의 비트. 그 비트가 0과 같으면, 슬라이스는 레퍼런스로서 사용되지 않을 것이다.
Figure 112008072338218-pct00016
NAL 타입이 인코딩되며, IDR, 데이터 분할, 시퀀스 파라미터, 화상 파라 미터 세트를 포함하는 슬라이스의 타입에 대한 정보를 제공하는 5비트.
표준과의 호환성을 유지하고 리던던트 정보를 전송하기 위해, 표준에 의해 정의된 예약된 값 중 하나인 타입 24 인 것으로서 일반화의 손실없이 이하 넘버링될 새로운 타입의 NAL이 생성될 수도 있다.
사용되는 에러-정정 코드 및 이러한 리던던시가 관련하는 본래의 비디오 프레임을 나타내기 위해, 도 10에 도시된 바와 같이, 사용자는, 이러한 일반적인 NAL 헤더 직후, 하나 이상의 바이트들을 부가하며, 그에 의해, 본 발명에 따른 리던던시 NAL 포맷의 특정 NAL 헤더를 생성한다. 리던던시 NAL이 모노-슬라이스 모드 (프레임 당 하나의 슬라이스) 에서 단일의 본래 프레임을 보호하는 예를 취하면, 하나의 바이트가 특정 NAL 헤더를 인코딩하는데 충분할 수도 있으며, 상세하게, 이러한 바이트는 사용된 코드의 사이즈, 즉 (4 비트에 관해 frame_num 필드 또는 POC를 복사함으로써) 이러한 리던던시 NAL이 관련하는 페이로드 데이터의 프레임의 번호를 나타내는 RS 테이블의 인덱스를 인코딩하는 것이 가능하다. 따라서, 송신측 및 수신측 양자에 그 테이블이 공지되어 있다고 가정하면, 4 비트에 관해 인덱스를 인코딩함으로써, 사용자는 16개의 상이한 RS 코드들의 선택을 갖는다.
사이즈 및 포맷이 애플리케이션에 따라 선택된다. 예를 들어, 리던던시의 양 N 과 비교하여 소스 데이터의 양 K 에 대응하는 비트 레이트 K/N 에 의해 정정의 능력이 주어진다.
그러한 솔루션의 이점은, 보호될 NAL 타입에 따라 에러-정정 코드의 출력을 단순히 변경함으로써 UEP (Unequal Error Protection) 을 적용하는 가능성을 제공하는 것이다.
사용의 예: 리던던시 NAL이 단일 초기 데이터 NAL을 보호하는 경우
그 후, RS 인코더는 비트 스트림을 K 바이트의 수개의 블록들로 분할함으로써 시작할 수 있다. 비트 스트림의 길이 L이 K의 배수가 아니면, 최종 블록은 0으로 패딩된다. 그 후, 이러한 블록들 각각은, 소스 블록들 및 N-K 리던던시 바이트를 생성하는 RS 인코더로 전송된다. 이러한 바이트들은 각각의 인코딩된 블록에 대해 저장되며, 그들의 획득된 길이 (N-K)·((L/K)+1) 의 스트림은, RS 코드에 의한 보호의 삽입의 일 예를 제공하는 도 4에 도시된 바와 같이, RS NAL 내부에서 캡슐화된다.
디코더의 측면에서, 표준 디코더는 부가적인 프레임들을 고려하지 않을 것이므로, 그들의 존재에 의해 방해받지 않을 것이다.
한편, 본 발명의 정보를 갖고 있고 이에 따라 부가적인 NAL들의 잠재적인 존재를 인식하는 디코더는 정정 코드를 이용할 수 있다. 상세하게, NAL의 수신시에, 디코더는 이러한 NAL의 타입을 체크할 것이고, 그 NAL이 비디오 데이터에 대응하는 것을 확인할 것이다 (즉, NAL 5: IDR, NAL 1: I, P, 등). 이러한 경우라면, 다음의 NAL은 비트 스트림으로부터 추출 (검색) 되며, 그의 타입 및 그의 특정 헤더는, 그것이 해당 비디오 데이터의 NAL에 관한 정보를 포함한다는 것을 보장하기 위해 체크될 것이다. 무선 송신의 경우, 채널은 어떠한 지연도 도입하지 않으므로, 2개의 NAL들은 그들의 송신 순서로 도달할 것이다. (예를 들어, 패킷-스위칭 송신 네트워크를 통해 전달하여) 지연이 도입될 수도 있는 송신의 경우, 버퍼 메모리에서의 배치의 프로세스는 필요한 재순서화를 획득하는 것을 가능하게 한다. 따라서, 2개의 NAL들은 동시에 프로세싱될 수 있으며, 본래의 RS 심볼들을 재생성하기 위해 정확한 사이즈의 블록들로 분리될 수 있고, 따라서, 리던던시는 데이터 스트림의 사이즈 K의 블록들로 연접되는 블록들로 분할된다. 그 후, 획득된 사이즈 N의 블록들은, 사이즈 K의 정정된 디코딩 워드들을 출력부에 공급하는 리드-솔로몬 디코더에 의해 디코딩된다. 그 후, 도 6에 도시된 바와 같이, 이러한 워드들은 정정된 비디오 데이터 NAL을 생성하기 위해 리어셈블리될 수도 있으며, 그 후, 이러한 재구성된 비트 스트림은 표준 디코딩 프로그램에 의해 최종적으로 디코딩될 수 있다.
획득된 결과들의 예
리드-솔로몬 코드들 RS(128,43), RS(128,64), RS(128,85) 및 RS(128,120) 을 사용하여, 수개의 시뮬레이션들이 행해졌다. 3개의 레퍼런스 비디오 시퀀스들 ('포어맨 (Foreman)', '모바일 캘린더 (Mobile Calendar)' 및 '아키요 (Akiyo)' ITU-T 시퀀스들) 은 각각의 시퀀스에 대해 255개의 프레임들을 갖는다. '아키요' 는 프레임들 사이에서 매우 작은 이동을 갖는 "머리 및 어깨" 타입으로 명칭된 비디오이지만, '모바일 캘린더' 는 오브젝트들의 매우 많은 움직임 및 출현을 포함한다. '포어맨' 시퀀스는 이 2개의 시퀀스들 사이에서의 절충이다. GOP에 대해 선택된 사이즈는 15 프레임이며, 최대 5개의 프레임들이 레퍼런스로서 사용될 수도 있다. 비디오들은 송신 채널용으로 고정된 비트 레이트를 획득하도록 인코딩되었고, 즉, '포어맨' 및 '아키요' 는 128kb/s 이고 '모바일 캘린더' 는 256kb/s 이다. 따라서, 평균 리던던시 레벨이 변할 경우, 고려된 소스 비트 레이트 또한 변하며, 즉, 인코딩 출력이 증가하면 압축의 출력은 작아지고, 인코딩 출력이 감소하면 압축의 출력은 증가하며, 이는, 높은 신호-대-잡음 비에 있어서, 에러가 존재하지 않을 경우, PSNR 값들은 동일하지 않음을 설명한다. 최종적으로, 3개의 상이한 타입의 채널들, 즉, 바이너리 대칭 채널 (BSC), 부가적인 백색 가우시안 잡음 (AWGN) 채널 및 길버트-앨리엇 채널 (무선 채널을 통한 프레임에 의한 송신을 나타낸다) 에 대하여, 주어진 결과들이 제공된다. 에러-보호 코드를 배제한 성능은, 가능하다면 사실상 완전한 채널 상을 제외하고, 리던던시 NAL들의 부가로 획득된 성능보다 열악하다는 것이 관측된다. 따라서, 이러한 경우에서, 많지 않은 잡음을 갖는 채널에 대한 매우 높은 FEC 인코딩 출력 (예를 들어, RS(128,120)), 또는 좀 더 많은 잡음 (BER＞10-3) 을 갖는 채널에 대한 평균 FEC 인코딩 출력 (예를 들어, RS(128,85)) 의 사용을 권장하는 것이 가능하다.
최종적으로, 도 9는 에러-정정 코드 보호와 (여기에서는 완전한 것으로 시뮬레이션된) 시작-코드의 사용을 결합함으로써 획득된 결과를 도시하며, 즉, 획득된 결과들과 도 8의 결과들과의 비교는 시작-코드 보호의 값을 나타낸다.
본 발명에 따른 가능한 보호 모드들
상기 제공된 예들은, 비디오 데이터 NAL이 리던던시 NAL에 의해 직접 보호되는 경우에서 상세히 설명되며, 상기 리던던시는 리드-솔로몬 코드에 의해 생성된다. 본 발명의 콘텍스트를 벗어나지 않고, 본 방법은 다른 FEC 코드들의 사용에 적용된다. 또한, 도입된 리던던시의 양을 최적화하거나 송신 제약들에 적응하기 위하여, 상이한 타입의 에러에 대항하는 것을 가능하게 할 수 있는 다른 보호 방식으로 또한 일반화될 수 있다.
Figure 112008072338218-pct00017
1 정보 NAL - 1 리던던시 NAL (상세히 상술된 경우임)
또 다른 실시형태에 따르면, 다음의 방식을 사용하는 것이 또한 가능하다.
Figure 112008072338218-pct00018
1 정보 NAL - M 개의 리던던시 NAL
이러한 경우는, 특히 FEC 코드의 출력이 1/2 보다 작으므로 리던던시 NAL이 데이터 NAL의 사이즈를 초과하는 경우에, 사이즈를 이유로 고려될 수 있으며, 그 사이즈는 송신 네트워크 (예를 들어, IP 네트워크를 통한 송신에 대한 MTU (Maximum Transfer Unit) 사이즈) 상에 존재하는 제약들의 함수로서 고정될 수도 있다. 이러한 경우, 상기 설명된 모델은, 리던던시가 적용된 비디오 NAL의 번호 이외에, 상기 리던던시의 시퀀스 번호를 나타내는 필드를 리던던시 NAL의 부가적인 헤더에서 정의함으로써 용이하게 일반화된다.
Figure 112008072338218-pct00019
N 개의 정보 NAL - 1 리던던시 NAL
이러한 경우는, 특히 사용이 매우 높은 출력 리던던시로 구성되고 이에 따라 리던던시 NAL들이, 가능하다면, 후속하는 송신 (예를 들어, 높은 레이트의 패딩을 생성할 수 있는 RTP 패킷에서의 배치) 에 그리 적합하지 않은 매우 작은 사이즈를 갖을 경우에 고려될 수도 있다. 이러한 경우, 상기 설명된 모델은, 해당 프레임의 번호가 아니라 다양한 번호들 및 연접된 리던던시들 각각에 대한 사이즈 또는 위치에 대한 가능한 정보를 나타내는 필드를 리던던시 NAL의 부가적인 헤더에서 정 의함으로써 용이하게 일반화된다.
Figure 112008072338218-pct00020
N 개의 정보 NAL - M 개의 리던던시 NAL
블록 인코딩 방식과 유사하게, 이러한 경우는, NAL 단위가 아닌 횡단 방식으로 리던던시를 생성하기 위해 주의가 취해지면 패킷 에러에 대한 대항을 허용하는 값을 갖는다. 이러한 경우, 상기 설명된 모델은, 리던던시를 생성하고, FEC 인코더의 입력부에 열로 판독될 매트릭스에서 라인으로 데이터 NAL들을 배열하며, 그 후, 디코딩의 역동작에 필요한 정보, 즉, 매트릭스의 사이즈, 리던던시 NAL의 시퀀스 번호, 매트릭스에서의 비디오 데이터 NAL들의 각각의 위치 (또는 사이즈) 를 각각의 리던던시 NAL의 부가적인 NAL 헤더에서 정의함으로써 일반화될 수도 있다. 필요하다면, 송신을 간략화하고 리던던시 NAL 헤더들의 사이즈를 감소시키기 위해, 리던던시 매트릭스를 설명하는 정보 (사용된 FEC 코드, 매트릭스 사이즈, 매트릭스에서의 데이터 NAL들의 수 및 위치 또는 사이즈) 가 (필요하다면, 손실에 대항하기 위하여 CRC에 의해 보호되고/되거나 반복되는) 특정 리던던시 NAL에서 송신되며, 그와 같은 리던던시 데이터가 부가적인 시퀀스 번호 정보와 함께 상술된 종래의 타입의 리던던시 NAL들에서 송신된다는 것을 제안하는 것이 또한 가능하다.
도 10은 본 발명에 따른 특정 NAL 헤더를 나타낸다. 그 헤더의 사이즈는, 1 비디오 NAL/1 리던던시 NAL이 존재하는 경우 또는 N개의 정보 NAL들이 M개의 리던던시 NAL들에 의해 보호되는 경우에 대해 고려되는지 여부에 매우 의존하여 변동되기 때문에, 그에 따라 가변적이다. 모든 경우에서, NAL 24의 특정 헤더는, 예를 들어, 그 자체가 3 또는 4 바이트일 수도 있는 "시작 코드" 이후에 위치되는 표준 NAL 헤더 (1 바이트) 이후에 배치된다.
NAL 24는, 사용된 코드 및 인코딩 파라미터들을 포함하는 부분 I, 해당 페이로드 데이터의 동기화/식별의 정보를 포함하는 부분 II, 생성된 리던던시의 동기화/식별의 정보 (부분 III), 및 부분 IV 또는 체크섬으로 구성되며, 후자의 2 개의 부분들은 옵션적이다.
1 비디오 NAL/1 리던던시 NAL이 존재하는 특정 경우에서, 생성된 리던던시의 동기화를 위해 필요한 임의의 정보를 사용된 코드로부터 추론하는 것이 가능하다. 그 후, 도표가 다음과 같이 주어질 수도 있다 (상술된 바와 같이, 1 바이트가 충분할 수도 있다).
Figure 112008072338218-pct00021
실제로, 데이터 NAL 직후에 리던던시 NAL을 배치하도록 선택하고, 그에 의해 프레임 번호 (임의의 경우에 있어서, "멀티-슬라이스" 인코딩의 경우에서 잡음있거나 불충분할 수 있는 정보) 를 공급하는 것을 회피하며, 그에 의해, 코드 가능성의 수 (예를 들어, 8 비트가 취해지면, 256 인덱스 값들) 를 증가시키는 것이 또한 가능하다. 본질적으로, 간략화된 경우의 이러한 타입에서, 인코더 및 디코더는 먼저 특정 헤더의 다양한 비트들의 의미에 합의해야만 한다.
이러한 동일한 타입 24 NAL 로 수개의 보호 모드를 제안하는 가능성을 유지하는 것이 바람직한 경우, 사용자는 후속할 신택스를 특정하는 시그널링 필드를 도입한다. 이러한 방식으로, 디코더는 기대되어야 하는 것 및 데이터를 프로세싱하는 방법을 알게 된다. 서브타입이 2비트에 대해 존재하는 아래에 고려된 경우에서, 경우 N=1/M=1 은 서브타입 '11' 로서 주어질 수 있다. 그 후, 사용된 코드를 나타내는 필드 (필드 I, 예를 들어, 6비트) 가 후속하며, 필요하다면, 데이터 NAL을 식별하는 것을 가능하게 하는 프레임 번호 필드 (필드 II) 가 존재할 수도 있다.
Figure 112008072338218-pct00022
최종적으로, 에러-정정 디코딩 동작을 수행하는데 사용되는 값들을 확신하기 위해, 리던던시 NAL의 연장된 헤더를 검증하는 것을 가능하게 하는 CRC (필드 IV 옵션적임) 를 부가하는 것이 또한 가능하다.
이는 다음의 다이어그램으로 유도된다.
Figure 112008072338218-pct00023
도 11a, 도 11b 및 도 11c는 N개의 비디오 NAL들/M개의 리던던시 NAL들의 경우에 대응한다.
하나 이상의 (M＞＝) 리던던트 데이터 슬라이스들을 생성하기 위해 수개의 (N＞＝1) 비디오 데이터 슬라이스들이 고려되는 더 일반적인 경우에서, 사용자는 제 1 시간에서 페이로드 데이터 프로세싱 모드를 선택한다.
도 11a는, 예를 들어, 열에 의해 데이터를 재판독하고 그에 의해 모든 N개의 슬라이스들에 걸쳐 분포된 횡단 리던던시를 생성하는 것을 가능하게 하는, 예를 들어, 라인에 의한 페이로드 데이터의 매트릭스 배열 방법을 나타낸다.
따라서, 출력 코드 K/N 에 의해 생성된 리던던시 비트들은, 그 후, M개의 리던던시 NAL들로 재그룹화될 수도 있다. 예를 들어, 재그룹화의 선택은 이러한 리던던시 NAL들의 평균 타겟 사이즈에 대해 행해진다. 가능한 충분히 에러의 효과를 분배하는 것을 가능하게 하기 위해, 이러한 리던던시는 라인 단위로 재판독될 것이다.
따라서, 이는, 다음의 동기화/식별 정보를 시그널링할 필요성을 나타낸다.
Figure 112008072338218-pct00024
각각에 대한 시작-NAL 라인+열 어드레스인 매트릭스의 상부에서의 N개의 비디오 데이터 NAL들의 위치결정.
Figure 112008072338218-pct00025
N의 값 (매트릭스에서의 데이터 NAL 위치들의 수) 의 정보 및 M의 값 (리던던시 수 카운터) 의 정보를 본질적으로 갖는 매트릭스의 저부 매트릭스에서의 M개의 리던던시 NAL들의 위치결정 (또는, 실제로, 사용자가 라인들의 시작부에서 그러한 정렬된 NAL들을 생성하기 위해 그 자신을 제약하면, 일 라인은 각각의 리던던시 NAL에 대해 어드레싱한다).
또한, 예를 들어, 2개의 상이한 매트릭스들에 속하는 프레임들을 차등화시키는 것을 가능하게 하기 위해, 제 1 슬라이스의 프레임 번호 (frame_num) 를 정보에 대해 나타내는 것이 가능하다.
실용적인 이유로, N의 값, 출력 N/K 및 이에 따른 해당 매트릭스의 사이즈에 의존하여,
Figure 112008072338218-pct00026
손실된 패킷의 사이즈 및 손실된 워드들의 정확한 위치가 다양한 NAL들의 어드레스들의 차이에 의해 간단하고 완전하게 공지되므로, 패킷 손실들을 매우 용이하게 프로세싱하는 것을 가능하게 하는, 매트릭스를 설명하는 완전한 정보를 (예를 들어, 서브타입 01로 지칭되는) M개의 리던던시 NAL들의 각각에 배치하거나,
Figure 112008072338218-pct00027
예를 들어, 리던던시 워드들을 포함하지 않지만, 그 후, 리던던시를 포함하는 (예를 들어, 서브타입 10으로 지칭되는) 각각의 NAL에서 리던던시 시그널링 그 자체 및 인코딩 파라미터들의 반복을 공급할 (예를 들어, 서브타입 00으로 지칭되는) 제 1 NAL에서 모든 데이터 시그널링을 배치함으로써, 사용된 비트들의 관점에서 가장 근접하게 매트릭스 설명 정보를 분배하는 것이 바람직할 수 있다.
획득된 포맷은 도 11b 및 도 11c에 제공된다.
상술된 단계들은, 상술된 단계들을 실행할 수 있는 프로세서를 제공받는 적어도 하나의 인코더 및 메시지를 디코딩하는데 적합한 프로세서와 함께 피트되는 디코더를 포함하는 송신 시스템에서 특히 적용된다.

Claims (11)

  1. 송신되는 정보의 구조가 데이터 캡슐화의 구조의 형태를 갖는 송신 시스템에서, 데이터를 보호하는 방법으로서,
    상기 데이터 캡슐화의 구조는 정보를 전송하는 새로운 구조들을 생성하기 위한 기초로서 기능할 수 있으며, 상기 방법은,
    사용자가 데이터 스트림에 적어도 하나의 부가적인 네트워크 추상화 계층, 즉, NAL을 부가하는 단계를 포함하며,
    상기 데이터 스트림에 있어서의 상기 NAL의 콘텐츠 및 위치는, 동기화가 발생하는 길이를 증가시키기 위하여 디코더에 공지되어 있고,
    상기 부가적인 NAL은 리던던시 (redundancy) NAL이고,
    상기 리던던시 NAL은 리던던시의 리던던시 NAL 헤더를 포함하며,
    상기 리던던시는, 상기 데이터 스트림을 분할함으로써 획득되는 블록들로부터, 상기 리던던시 NAL 헤더에서 결정되는 포맷에 따라 생성되는 것을 특징으로 하는 데이터 보호 방법.
  2. 제 1 항에 있어서,
    상기 새로운 구조들은 동기화 정보를 전송하며,
    상기 방법은, 상기 리던던시로부터 분리된 블록들과 접속함으로써, 상기 데이터 스트림을 분할함으로써 획득되는 블록들을 정정하고, 정정된 데이터 스트림을 재구성하는 단계를 포함하는 것을 특징으로 하는 데이터 보호 방법.
  3. 제 1 항에 있어서,
    상기 새로운 구조들은 에러 정정 정보를 전송하며,
    상기 방법은, 상기 사용자가 적어도 하나의 부가적인 구조를 부가하는 단계를 포함하고,
    상기 적어도 하나의 부가적인 구조는 :
    Figure 112013095058117-pct00028
    리던던시 구조로서의 상기 적어도 하나의 부가적인 구조의 식별,
    Figure 112013095058117-pct00029
    리던던시가 관련하는 초기 데이터 구조들의 식별, 및
    Figure 112013095058117-pct00030
    상기 데이터를 송신하는데 사용되는 에러-정정 코드
    에 필요한 정보 및 상기 리던던시를 포함하며,
    상기 에러 정정 정보는 상기 리던던시 NAL에 의해 전송되는 것을 특징으로 하는 데이터 보호 방법.
  4. 제 3 항에 있어서,
    상기 데이터는 H.264 표준에 의해 인코딩된 멀티미디어 데이터이고, 상기 네트워크 추상화 계층, 즉, NAL 타입의 구조로 캡슐화되며,
    상기 사용자는,
    Figure 112012019779538-pct00031
    리던던시 NAL로서의 상기 NAL 타입의 구조의 식별,
    Figure 112012019779538-pct00032
    상기 리던던시가 관련하는 초기 데이터 구조들의 식별, 및
    Figure 112012019779538-pct00033
    상기 데이터를 송신하는데 사용되는 에러-정정 코드
    에 필요한 정보를 포함하는 적어도 하나의 리던던시 NAL을 삽입하는 것을 특징으로 하는 데이터 보호 방법.
  5. 제 4 항에 있어서,
    상기 리던던시 NAL은 초기 압축 인코딩 동작 동안에 부가되는 것을 특징으로 하는 데이터 보호 방법.
  6. 제 4 항에 있어서,
    상기 리던던시 NAL은, 송신될 상기 데이터가 트랜스코더 (transcoder) 에 입력될 경우에 부가되는 것을 특징으로 하는 데이터 보호 방법.
  7. 제 4 항에 있어서,
    상기 리던던시 NAL은 (비디오 데이터의) 정보의 NAL 이전에 배치되며,
    상기 리던던시 NAL의 헤더는 상기 사용된 에러-정정 코드를 나타내는 필드를 포함하는 것을 특징으로 하는 데이터 보호 방법.
  8. 제 7 항에 있어서,
    상기 사용자는, 상기 리던던시가 적용되는 비디오 NAL의 번호를 나타내는 필드를 상기 리던던시 NAL의 헤더에 포함시키는 것을 특징으로 하는 데이터 보호 방법.
  9. 제 4 항에 있어서,
    상기 사용자는, 상기 리던던시 NAL이 적용되는 다양한 NAL 번호들을 나타내는 필드를 상기 리던던시 NAL의 헤더에 부가하는 것을 특징으로 하는 데이터 보호 방법.
  10. 제 4 항에 있어서,
    상기 에러-정정 코드로서 리드-솔로몬 (Reed-Solomon) 코드가 사용되는 것을 특징으로 하는 데이터 보호 방법.
  11. 송신되는 정보의 구조가 데이터 캡슐화의 구조의 형태를 갖는 송신 시스템에서, 데이터를 보호하는 디바이스로서,
    상기 데이터 캡슐화의 구조는 동기화 정보를 전송하는 새로운 구조들을 생성하기 위한 기초로서 사용될 수도 있으며, 상기 디바이스는,
    제 1 항 내지 제 10 항 중 어느 한 항에 기재된 데이터 보호 방법의 단계들을 실행하기 위한 프로세서를 포함한 적어도 하나의 인코더를 포함하는 것을 특징으로 하는 데이터 보호 디바이스.
KR1020087025446A 2006-03-17 2007-03-13 부가적인 네트워크 추상화 계층 (ｎａｌ) 들을 사용하여 멀티미디어 데이터를 보호하는 방법 KR101353128B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0602380A FR2898754B1 (fr) 2006-03-17 2006-03-17 Procede de protection de donnees multimedia au moyen de couches d'abstraction reseau (nal) supplementaires
FR06/02380 2006-03-17
PCT/EP2007/052363 WO2007107482A1 (fr) 2006-03-17 2007-03-13 Procede de protection de donnees multimedia au moyen de couches d'abstraction reseau (nal) supplementaires

Publications (2)

Publication Number Publication Date
KR20080106357A KR20080106357A (ko) 2008-12-04
KR101353128B1 true KR101353128B1 (ko) 2014-01-17

Family

ID=37397443

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087025446A KR101353128B1 (ko) 2006-03-17 2007-03-13 부가적인 네트워크 추상화 계층 (ｎａｌ) 들을 사용하여 멀티미디어 데이터를 보호하는 방법

Country Status (7)

Country Link
US (1) US8769383B2 (ko)
EP (1) EP1997254B1 (ko)
JP (1) JP5374768B2 (ko)
KR (1) KR101353128B1 (ko)
CA (1) CA2646870C (ko)
FR (1) FR2898754B1 (ko)
WO (1) WO2007107482A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
US8332736B2 (en) * 2007-11-29 2012-12-11 Texas Instruments Incorporated Decoder with resiliency to handle errors in a received data stream
EP2150022A1 (en) * 2008-07-28 2010-02-03 THOMSON Licensing Data stream comprising RTP packets, and method and device for encoding/decoding such data stream
US8767840B2 (en) * 2009-02-11 2014-07-01 Taiwan Semiconductor Manufacturing Company, Ltd. Method for detecting errors and recovering video data
US11991280B2 (en) 2009-04-20 2024-05-21 Pure Storage, Inc. Randomized transforms in a dispersed data storage system
US10447474B2 (en) * 2009-04-20 2019-10-15 Pure Storage, Inc. Dispersed data storage system data decoding and decryption
US9462316B2 (en) * 2009-12-29 2016-10-04 International Business Machines Corporation Digital content retrieval utilizing dispersed storage
US9313514B2 (en) 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
KR101803970B1 (ko) 2011-03-16 2017-12-28 삼성전자주식회사 컨텐트를 구성하는 장치 및 방법
US9338465B2 (en) 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US9060173B2 (en) * 2011-06-30 2015-06-16 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US11647197B2 (en) 2011-06-30 2023-05-09 Velos Media, Llc Context initialization based on slice header flag and slice type
US9143802B2 (en) 2011-10-31 2015-09-22 Qualcomm Incorporated Fragmented parameter set for video coding
US9141468B2 (en) * 2011-12-12 2015-09-22 Cleversafe, Inc. Managing memory utilization in a distributed storage and task network
KR20160033790A (ko) * 2012-01-20 2016-03-28 소니 주식회사 크로마 양자화 파라미터 확장
US9510002B2 (en) 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
CN104754341B (zh) * 2013-12-31 2019-02-26 华为技术有限公司 一种视频数据编码、解码的方法和装置
US10812818B2 (en) 2018-12-14 2020-10-20 Tencent America LLC Network abstraction unit layer type classes in network abstraction layer unit header

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005107123A1 (en) * 2004-04-29 2005-11-10 Thomson Licensing Sa Method of transmitting digital data packets and device im­plementing the method

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69429654T2 (de) * 1993-11-22 2002-06-13 Motorola Inc Verfahren und system zur synchronisierung von kodierern und dekodierern in kommunikationsnetzwerken, wenn fehler detektiert werden
US6819658B1 (en) * 1997-07-15 2004-11-16 Comsat Corporation Method and apparatus for segmentation, reassembly and inverse multiplexing of packets and ATM cells over satellite/wireless networks
EP1175047B1 (de) * 2000-07-14 2007-05-02 Siemens Aktiengesellschaft Verfahren und Anordnung zum Schutz gegen Paketverlusten bei einer paketorientierten Datenübertragung
WO2003063499A2 (en) * 2002-01-22 2003-07-31 Microsoft Corporation Methods and systems for start code emulation prevention and data stuffing
JP2004048497A (ja) * 2002-07-12 2004-02-12 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置
JP2004159015A (ja) * 2002-11-05 2004-06-03 Matsushita Electric Ind Co Ltd データ多重化方法、データ逆多重化方法
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US8213769B2 (en) * 2003-08-06 2012-07-03 Broadcom Corporation Frame indexing technique to improve personal video recording functionality and security of transmitted video
JP2005229587A (ja) * 2004-01-15 2005-08-25 Matsushita Electric Ind Co Ltd 多重化方式変換装置
EP1592160B1 (en) * 2004-04-29 2008-03-26 Matsushita Electric Industrial Co., Ltd. Superframe error coding in digital audio broadcasting systems
US20050254526A1 (en) * 2004-05-12 2005-11-17 Nokia Corporation Parameter sets update in streaming applications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005107123A1 (en) * 2004-04-29 2005-11-10 Thomson Licensing Sa Method of transmitting digital data packets and device im­plementing the method

Also Published As

Publication number Publication date
FR2898754A1 (fr) 2007-09-21
KR20080106357A (ko) 2008-12-04
JP2009530881A (ja) 2009-08-27
EP1997254A1 (fr) 2008-12-03
CA2646870C (en) 2015-11-24
US20090177949A1 (en) 2009-07-09
WO2007107482A1 (fr) 2007-09-27
EP1997254B1 (fr) 2018-11-28
FR2898754B1 (fr) 2008-06-13
US8769383B2 (en) 2014-07-01
JP5374768B2 (ja) 2013-12-25
CA2646870A1 (en) 2007-09-27

Similar Documents

Publication Publication Date Title
KR101353128B1 (ko) 부가적인 네트워크 추상화 계층 (ｎａｌ) 들을 사용하여 멀티미디어 데이터를 보호하는 방법
US7751324B2 (en) Packet stream arrangement in multimedia transmission
EP1303917B1 (en) Unequal error protection for packets with variable length
US6317462B1 (en) Method and apparatus for transmitting MPEG video over the internet
KR100941336B1 (ko) 멀티미디어 스트리밍에서 최적화된 오류 관리를 위한디코더 아키텍쳐
US6490705B1 (en) Method and apparatus for receiving MPEG video over the internet
US7779336B2 (en) Assembling forward error correction frames
KR100926017B1 (ko) 대역외 디렉토리 정보를 이용한 에러 복원의 개선
US7039837B2 (en) Signal coding
JPH10234040A (ja) ビデオ情報をパケット化する方法
WO2009039903A1 (en) Scalable information signal, apparatus and method for encoding a scalable information content, and apparatus and method for error correcting a scalable information signal
EP2783475B1 (en) Interleaving for layer-aware forward error correction
WO2007094630A1 (en) Method and system for data partitioning and encoding for transmission of uncompressed video over wireless communication channels
Martini et al. Proportional unequal error protection for MPEG-4 video transmission
Argyropoulos et al. Robust transmission of multi-view video streams using flexible macroblock ordering and systematic LT codes
Zhuo et al. Adaptive forward error correction for streaming stored MPEG-4 FGS video over wireless channel
Hemami Robust image communication over wireless channels
Lamy-Bergot et al. Embedding protection inside H. 264/AVC and SVC streams
Varnica et al. Multi-resolution adaptation of the SPIHT algorithm for multiple description
Cho et al. Error resilience and recovery in streaming of embedded video
Martini et al. Joint source-channel error detection with standard compatibility for wireless video transmission
KR20070079603A (ko) 배타적 논리합 기반 잉여 픽쳐 슬라이스 생성 방법 및 이를 이용한 손실 슬라이스 복원 방법
Bakker et al. Priority-based error protection for the scalable extension of H. 264/SVC
Baruffa et al. Error correction and concealment for JPEG 2000 video transmitted over wireless networks
Robie et al. The use of steganography to enhance error detection and correction in MPEG-2 video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee