JP5523321B2 - 情報信号、情報コンテンツを符号化するための装置及び方法、並びに情報信号の誤り訂正のための装置及び方法 - Google Patents

情報信号、情報コンテンツを符号化するための装置及び方法、並びに情報信号の誤り訂正のための装置及び方法 Download PDF

Info

Publication number
JP5523321B2
JP5523321B2 JP2010525214A JP2010525214A JP5523321B2 JP 5523321 B2 JP5523321 B2 JP 5523321B2 JP 2010525214 A JP2010525214 A JP 2010525214A JP 2010525214 A JP2010525214 A JP 2010525214A JP 5523321 B2 JP5523321 B2 JP 5523321B2
Authority
JP
Japan
Prior art keywords
information
portions
level
information content
information signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010525214A
Other languages
English (en)
Other versions
JP2010539832A (ja
Inventor
トーマス ウィーガント
コルネリウス ヘルゲ
トーマス シーアル
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2010539832A publication Critical patent/JP2010539832A/ja
Application granted granted Critical
Publication of JP5523321B2 publication Critical patent/JP5523321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0001Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/007Unequal error protection

Description

本願は、情報信号に関し、例えば、この種の情報信号のメディア信号、情報コンテンツのエンコードおよび誤り訂正に関する。
メディア送信は、サービスの質(QoS)なしでは、多くの送信チャンネルの送信エラーのための情報損失による影響を受ける。
メディアストリームの1つの実施例は、ビデオ・ビットストリームである。H.264/AVCまたは特にH.264/AVC(SVC)のスケーラブル拡張(非特許文献1参照)のような現在のビデオ・コーデックの空間的、および時間的依存構造のために、復号化されたビデオ品質の損失の効果は、主に、ビットストリームのどの部分が影響を受けるかに依存する。
一方向チャンネル前方誤り訂正(FEC)において、技術は、この損失に有効に用いることができる。多くの保護機構(スキーム)は、不均一誤り保護(UEP:unequal error protection)(非特許文献5参照)または優先エンコーディング送信(PET:priority encoding transmission)(非特許文献11参照)のようなこの問題に対処して提案されている。両者のアプローチは、より多くの保護を下位のより重要なレイヤに与える。しかし、まず、非特許文献2において、上位レイヤの冗長シンボルと同様にすべてに依存しているレイヤにわたる保護を生成することは、下位のレイヤのための保護の増加を助けることを実現している。これは、スケーラブルビデオストリームの複数のレイヤが、例えば階層化マルチキャスト(非特許文献6)のような同時に送信される伝送方式において、非常に有益でありうる。
さまざまな依存構造が考慮される。1つの特定の重要な依存構造は、動き補正によって導入される。ここで、参照用画像は、他の画像を予測するために用いられる。参照された画像またはその参照用画像のスライスが失われる場合、それを参照している画像およびスライスもまた影響を受ける。従って、お互いを参照するその画像の順序で、チェーンにおける第1の画像は、最も重要である。数ポイントの損失は、概して、何らかの方法で全ての続いて起こる画像に影響を及ぼす。それゆえ、この種の依存チェーンにおいて、できるだけ多くの画像を保護することが望ましい。
Figure 0005523321
前方誤り訂正(FEC)は、非QoSチャンネル上のメディア送信の信頼性を強化するために使用される。拡張階層の現今のスキームによって使用されるものとして独立のEFC保護は、レイヤの関係を考慮にいれない。この種のスキームにおいて、多くのkソース・シンボル、多くのp=n−kが生成される。pより小さいかまたは等しいシンボルの消去が打開されるように、最大距離分離(MDS)FECコードの使用を仮定する。たとえ、より重要な下位レイヤ(これは、不均一誤り訂正として知られる)のための強いFEC保護(より冗長なシンボル)を使用した場合でも、いくつかの誤り条件において、比較的強く保護されたレイヤの復元が、より強くない保護されたレイヤよりも高い確率であるような保証がない。
Figure 0005523321
ITU−T and ISO/IEC JTC 1、「オーディオビジュアルサービス全般のための高度ビデオ符号化方式(Advanced video coding for generic audiovisual services)」、ITU−T Recommendation H.264 and ISO/IEC 14496−10(MPEG−4 AVC)、Version 1:2003年5月、Version 2:2004年5月、Version 3:2005年3月、Version 4:2005年9月、Version 5 and Version 6:2006年6月、Version 7:2007年4月、Version 8(SVC拡張を含む):2007年7月承認 A.Bouabdallah(A.ブアブダラ) and J.Lacan(J.ラカン)、「依存を意識した不均一消去保護コード(Dependency−aware unequal erasure protection codes)」、浙江大学のジャーナル 科学 A(Journal of Zhejiang University SCIENCE A)、2006年7月(Suppl.I)、p27−33 H.Schwarz(H.シュヴァルツ),D.Marpe(D.マルペー) and T.Wiegand(T.ウィーガント)、「H.264/AVCのスケーラブルビデオ符号化拡張の概説(Overview of the Scalable Video Coding Extension of H.264/AVC)」、ビデオテクノロジーのための回路及びシステムにおけるIEEE Transaction(IEEE Transactions on Circuits and Systems for Video Technology)、SVC特集号(Special Issue on SVC)、2007年10月 Y.−K. Wang(Y.−K.ワング),M.M. Hannuksela(M.M.ハウンクセラ),S.Pateux(S.パトゥー) and A. Eleftheriadis(A.エルフトリアド)、「SVCに接続するためのシステム及びトランスポートインターフェース(System and Transport Interface to SVC)」、ビデオテクノロジーのための回路及びシステムにおけるIEEE Transaction(IEEE Transactions on Circuits and Systems for Video Technology)、SVC特集号(Special Issue on SVC)、2007年10月 B.Girod(B.ジロー),U.Horn(U.ホルン) and B.Belzer(B.ベルツァー)、「マルチスケールの動き補正及び不均一誤り保護を有するスケーラブルビデオ符号化(Scalable Video Coding With Multiscale Motion Compensation And Unequal Error Protection)」、マルチメディアコミュニケーション及びビデオ符号化における国際シンポジウムの国際会議(in Proc.International Symposium on Multimedia Communications and Video Coding)、ニューヨーク、1995年10月 S.McCanne(S.マカニー),V.Jacobson(V.ヤコブソン) and M.Vetterli(M.ベッテリ)、「受信者駆動型階層化マルチキャスト(Receiver−driven layered multicast)」、ACM SIGCOMM(Special Interest Group on Data Communications)‘96の国際会議(In Proc.of ACM SIGCOMM‘96)、コネチカット州、スタンフォード、1996年8月、p117−130 M.Luby(M.ルビー)、「LT−codes」、情報科学の基礎におけるACNシンポジウムの国際会議(in Proceedings of the ACM Symposium on Foundation of Computer Science(FOCS))、2002年 M.Luby(M.ルビー),A.Shokrollahi(A.ショクロライ),M.Watson(M.ワットソン) and T.Stockhammer(T.ストックハマー)、「オブジェクト配信のためのラプター前方誤り訂正スキーム(Paptor Forward Error Correction Scheme for Object Delivery)」、draft−ietf−rmt−bb−fec−raptor−object−09(処理中)、2007年6月28日 R.G.Gallager(R.G.ギャラガー)、「低密度パリティ・チェックコード(Low−Density Parity−Check Codes)」、IRE Trans.情報理論(Inform.Theory)、1962年1月、第IT−8巻、p21−28 Mattia C.O.Bogino(マッティア C.O.ボギーノ),Pasquale Cataldi(パスクワーレ カタルディ),Marco Grangetto(マルコ グランゲット),Enrico Magli(エンリコ マリ) and Gabriella Olmo(ガブリエラ オルモ)、「マルチメディアコンテンツのストリーミングのためのスライディングウィンドウのデジタルファウンテンコード(Sliding−Window Digital Fountain Codes for Streaming of Multimedia Contents)」、IEEE、2007年 A.Albanese(A.アルバネーゼ),J.Blomer(J.ブローマー),J.Edmonds(J.エドモンド),M.Luby(M.ルビー) and M.Sudan(M.スーダン)、「優先エンコーディング送信(Priority encoding transmission)」、IEEE Trans.情報理論(on Information Theory)、1996年、第42巻(6)、p1737−1744 A.Shokrollahi(A.ショクロライ)、「ラプターコード(Raptor codes)」、デジタルファウンテン社(Digital Fountain) 技術レポートDR2003−06−001、2003年6月 M.Luby(M.ルビー),M.Watson(M.ワットソン),T.Gasiba(T.ガシバ),T.Stockhammer(T.ストックハマー) and W.Xu(W.シュー)、「ワイヤレス放送システムにおける信頼性のあるダウンロード配信のためのラプターコード(Raptor Codes for Reliable Download Delivery in Wireless Broadcast Systems)」、IEEE CCNC、ネバダ州、ラスベガス、2006年1月 ETSI TS 102 468 (V1.1.1)、デジタル・ビデオ ブロードキャスティング(Digital Video Broadcasting:DVB);DVB−HによるIPデータ放送(IP Datacast over DVB−H): 第1段階の仕様書一式(Set of Specifications for Phase 1)、2006年4月 ETSI TS 102 005 (V1.2.1)、デジタル・ビデオ ブロードキャスティング(Digital Video Broadcasting:DVB);IPプロトコルにより直接的に実現されたDVBサービスにおける映像及び音声の符号化のための仕様書(Specification for the use of Video and Audio Coding in DVB services delivered directly over IP Protocols)、2006年4月 E.N.Gilbert(E.N.ギルバート)、「バースト雑音チャンネルのキャパシティ(Capacity of a burst−noise channel)」、ベル・システム技術雑誌(Bell Systems Technical Journal)、1960年、第3巻、p1253−1265 M.Hannuksela(M.M.ハウンクセラ),V.Vadakital(V.バダキタル) and S.Jumislo−Pyykk(S.ユミスロ−ピク)、「DVB−Hによるオーディオ・ビデオ放送における誤り保護の方法の比較(Comparison of Error Protection Methods for Audio−Video Broadcast over DVB−H)」、EURASIP(The European Association for Signal Processing) 信号処理における進展におけるジャーナル Vol.2007、論文 ID 71801、12ページ
したがって、本発明の目的は、スケーラブル情報信号の保護のより効果的で及び/または、安全さを考慮する前方誤り訂正を提供することである。
実施例によれば、情報信号は、その部分が複数の次元のレベルの異なる一群における情報コンテンツを表すような複数の次元においてスケーラブルであって、前記情報信号は、以下のように構成され、
少なくとも、前記第2の部分と重なり、第2の前記複数の部分のうちの1つでの前記第1の次元におけるレベルよりも高い第1の前記複数の次元のうちの1つのレベルでの前記情報コンテンツを表す第1の前記複数の部分のうちの1つは、前記情報コンテンツを表し、
少なくとも、前記第1の部分と異なり、および前記第4の部分と重なり、第4の前記複数の部分のうちの1つでの前記第2の次元におけるレベルよりも高い第2の前記複数の次元のうちの1つのレベルでの前記情報コンテンツを表す、第3の前記複数の部分のうちの1つは、前記情報コンテンツを表し、そして、
前記情報信号は、関連付けられた冗長情報を有する前記異なる各一群によってFEC保護され、ここで、
各冗長情報は、前記それぞれの一群における前記情報コンテンツを表す前記それぞれの部分に依存され、
前記情報コンテンツを表す前記第1の部分の前記一群に関連する前記冗長情報が、前記第2の部分と重なっている部分を含む前記第1の部分に依存され、
前記情報コンテンツを表す前記第3の部分の前記一群に関連する前記冗長情報が、前記第4の部分と重なっている部分を含む前記第3の部分に依存される。
更なる実施例によれば、情報コンテンツを情報信号に符号化することは、その部分が前記複数の次元のレベルの異なる一群における前記情報コンテンツを表すような複数の次元においてスケーラブルであって、情報コンテンツを情報信号に符号化することは、
少なくとも、前記第2の部分と重なり、第2の前記複数の部分のうちの1つでの前記第1の次元におけるレベルよりも高い第1の前記複数の次元のうちの1つのレベルにおける前記情報コンテンツを表す第1の前記複数の部分のうちの1つは、前記情報コンテンツを表し、そして、少なくとも、前記第1の部分とは異なり、および前記第4の部分と重なり、第4の前記複数の部分のうちの1つでの前記第2の次元におけるレベルよりも高い第2の前記複数の次元のうちの1つのレベルにおける前記情報コンテンツを表す第3の前記複数の部分のうちの1つは、前記情報コンテンツを表すような、前記複数の部分を生成するステップ、および、
前記異なる各一群に冗長情報を関連付けることによる前記情報信号をFEC保護するステップであって、ここで、
前記冗長情報は、前記それぞれの一群における前記情報コンテンツを表す前記それぞれの部分に依存され、
前記情報コンテンツを表す前記第1の部分の前記一群に関連する前記冗長情報が、前記第2の部分と重なっている部分を含む前記第1の部分に依存され、
前記情報コンテンツを表す前記第3の部分の前記一群に関連する前記冗長情報が、前記第4の部分と重なっている部分を含む前記第3の部分に依存される、ことを含む。
更なる実施例によれば、情報信号は、情報コンテンツを表し、スケーラブルであって、その部分は、品質の異なるレベルにおいて前記情報コンテンツの時刻を表し、前記情報信号は、以下のように構成され、
少なくとも、前記第2の部分と重なり、第2の前記複数の部分のうちの1つでの第2の前記異なるレベルのうちの1つよりも高い第1の前記異なるレベルのうちの1つにおける前記情報コンテンツを表す第1の前記複数の部分のうちの1つは、前記情報コンテンツを表し、
前記情報信号は、関連付けられた冗長情報を有する前記異なる各レベルによってFEC保護され、ここで、
各冗長情報は、前記それぞれのレベルにおける前記情報コンテンツを表す前記それぞれの部分に依存され、
前記第1のレベルに関連する前記冗長情報は、前記第2の部分と重なっている部分を含む前記第1の部分に依存される。
更なる実施例によれば、情報コンテンツを情報信号に符号化することは、前記情報コンテンツを表し、そしてスケーラブルであって、その部分は、品質の異なるレベルにおいて前記情報コンテンツの時刻を表し、前記情報信号は、
少なくとも、前記第2の部分と重なり、第2の前記複数の部分のうちの1つでの前記第2の前記異なるレベルのうちの1つよりも高い第1の前記異なるレベルのうちの1つにおける前記情報コンテンツを表す第1の前記複数の部分のうちの1つは、前記情報コンテンツを表すような前記複数の部分を生成するステップ、および
前記異なる各レベルに冗長情報を関連付けることによる前記情報信号をFEC保護するステップであって、ここで、
各冗長情報は、前記それぞれのレベルにおける前記情報コンテンツを表す前記それぞれの部分に依存され、
前記第1のレベルに関連する前記冗長情報は、前記第2の部分と重なっている部分を含む前記第1の部分に依存されるように、構成される。
更なる誤り訂正の実施例によれば、情報信号は、その部分が品質の異なるレベルにおいて情報信号を表すようにスケーラブルであって、ここで、少なくとも、前記第2の部分と重なり、第2の前記複数の部分のうちの1つでの第2の前記異なるレベルよりも高い第1の前記異なるレベルのうちの1つにおける前記情報コンテンツを表す第1の前記複数の部分のうちの1つは、前記情報コンテンツを表し、ここで、前記情報信号は、関連付けられた冗長情報を有する前記異なる各レベルによってFEC保護され、ここで、
各冗長情報は、前記それぞれのレベルにおける前記情報コンテンツを表す前記それぞれの部分に依存され、そして、前記第1のレベルに関連する前記冗長情報は、前記第2の部分と重なっている部分を含む前記第1の部分に依存される、装置は、
第1および第2のレベル、ならびに前記第2の部分と共通の要素を持たない前記第1の部分の部分に関連する前記冗長情報の使用によって前記第2の部分の範囲内の前記情報信号の誤りを訂正し、
前記第1の部分の部分を切り捨てるとともに、前記誤りが訂正された部分から品質の前記第2のレベルにおいて前記情報コンテンツを導出するために構成される、装置である。
更なる実施例によれば、情報信号は、3Dおよび/またはオーディオ情報コンテンツを表し、およびスケーラブルであって、その部分は、品質の異なるレベルにおいて情報コンテンツを表し、前記情報信号は、以下のように構成され、
少なくとも、前記第2の部分と重なり、第2の前記複数の部分のうちの1つでの前記第2の異なるレベルのうちの1つより高い第1の前記異なるレベルのうちの1つにおける前記情報コンテンツを表す第1の前記複数の部分のうちの1つは、前記情報コンテンツを表し、
前記情報信号は、関連付けられた冗長情報を有する前記異なる各レベルによってFEC保護され、ここで、
各冗長情報は、前記それぞれのレベルにおける前記情報コンテンツを表す前記それぞれの部分に依存され、
前記第1のレベルに関連する前記冗長情報が、前記第2の部分と重なっている部分を含む前記第1の部分に依存される。
更なる実施例によれば、3Dおよび/またはオーディオ情報コンテンツを情報信号に符号化することは、その部分は、品質の異なるレベルにおいて前記3Dおよび/またはオーディオ情報コンテンツを表すように前記3Dおよび/またはオーディオ情報コンテンツを表し、およびスケーラブルであって、3Dおよび/またはオーディオ情報コンテンツを情報信号に符号化することは、
少なくとも、前記第2の部分と重なり、第2の前記複数の部分のうちの1つでの第2の前記異なるレベルのうちの1つより高い第1の前記異なるレベルうちの1つにおける前記情報コンテンツを表す第1の前記複数の部分のうちの1つは、前記情報コンテンツを表すような、前記複数の部分を生成し、
前記異なる各レベルに冗長情報を関連づけることによる前記情報信号をFEC保護し、ここで、
各冗長情報は、前記それぞれのレベルにおける前記情報コンテンツを表す前記それぞれの部分に依存され、
前記第1のレベルに関連する前記冗長情報は、前記第2の部分と重なっている部分を含む前記第1の部分に依存されるように、構成される。
本発明は、スケーラブルな情報信号が、情報信号のFEC保護において情報信号の範囲内で異なるレベルの複数の部分の中の相互関連性を採用することによって、より効率的な及び/または安全な方法で保護される発見に基づく。特に、より高いレベルにおける情報コンテンツを表している情報信号の部分は、単に下位レベルの部分で重なっているそれぞれに共通の要素を持たないこの部分の部分のみならず依存している冗長情報にそれとともに関連付けられる。むしろ、冗長情報は、受信側における下位レベル部分の範囲内での誤りを訂正している前方誤りの成功の可能性を増加させえるために後段の部分にも依存されなければならない。
さらに、上記の結果を複数のスケーラブルな情報信号を1つのスケーラブルな次元へと転送する場合に、訂正確率の増加の効果は、強化される。
換言すれば、冗長情報の量を増加することなしに、品質の可能なレベルのいずれかにおける情報コンテンツの誤りのない再構築の確率は、増加される。さらに換言すれば、情報信号の範囲内で、冗長情報の必要な量の減少と共に、適当な再構築の維持をすることは、可能である。
以下に、本発明の好適な実施形態が添付図面を参照してより詳細に説明される。
図1aないし図1cは、説明の便宜上、2次元のスケーラブルな情報信号のための異なる実施例の概略図を示す。 図2は、実施例による符号化装置のブロック図を示す。 図3は、実施例による訂正方法のフローチャートを示す。 図4は、更なる実施例による誤り訂正のための方法のフローチャートを示す。 図5は、実施例による複数の階層化情報の異なるレイヤの中の相互関連性の間の相互関係である一方、および異なる部分部分における冗長情報の依存である他方を例示している概略図を示す。 図6は、XORingコードを用いて2つのレイヤを有する階層化されたFECの例を符号化することを例示している概略図を示す。 図7は、典型的なL依存層を有する可能な階層化されたFECを例示している概略図を示す。 図8は、XORingコードを用いて2つのレイヤを有する階層化されたFECの例を復号化することを例示している概略図を示す。 図9は、SVC信号の可能な依存構造を例示している概略図を示す。 図10は、実施例による階層化されたFECおよび多次元の依存構造の可能な一群の復号化することを例示している概略図を示す。 図11は、典型的に発生するエラーバーストを例示することに関する情報信号の概略図を示す。 図12は、階層化されたLT−エンコーディングのための可能な生成行列の実施例を示す。 図13は、階層化された組織的なラプターコードのための可能なプレ符号化マトリックスを示す。 図14は、LT−コード符号化マトリックスGLTのための実施例を示す。 図15は、ラプターコードのプレ符号化マトリックスGpSysを示す。 図16は、2つの依存層のための可能な階層化されたLT符号化マトリックスGLT0およびGlayeredLT(1)を示す。 図17は、2つの依存層のための可能な階層化されたプレ符号化マトリックスGpSys(0)およびGlayeredpSys(1)を示す。 図18は、k=1200のソース・シンボル及びサイズt=48バイトのn=20の符号化シンボルを有するラプターコードのパフォーマンスを例示しているヒストグラムプロットを示す。 図19は、下位レイヤにおける参照を失うための復号可能な拡張階層を例示している概略図を示す。
実施例の以下の詳細な説明は、図1a−1cに関して可能な2次元のスケーラブル情報信号の表現から始める。これらの例示する情報信号を参照することによって、エンコーダ側における情報信号保護および受信側における可能な誤り訂正のための実施例は、図2−4に関して記載されている。一方、図2−18に関して以下に記載されている実施例は、2次元のスケーラブル情報信号に制限されない。むしろ、情報信号は、2つ以上のスケーラブルな次元または単に1つのスケーラブルな次元さえのみ、提示することができる。
むしろ、情報信号は、2つ以上のスケーラビリティ次元または単に1つのスケーラビリティ次元さえだけ提示することができる。
図1−4の以下の説明において、情報信号のための実施例は、例えば、ビデオ、オーディオ等のいかなるアプリケーションにも制限されない。一般に、これらの実施例は、以下に詳細に記載されるように、スケーラブルを示している情報信号の多くのタイプに適用できる。したがって、図5−18の次の説明は、時々、スケーラブルなビデオ符号化に集中するが、さらに、これらの図面に関して記載されている大部分の態様は、情報信号のほかの種類に転用可能である。さらに、図1−4の説明において、情報信号のスケーラビリティは、品質の異なるレベルにおける情報コンテンツを表すために情報信号の特性が記載されている。実質的に、スケーラブルな情報信号は、表現の品質の特定のレベルに対応する各レイヤを有する階層化された情報信号として考えられえる。したがって、図5−18の次の説明において、図1−4に関して記載されている原理のいくつかは、「階層化されたFEC」によって参照される。
図1aは、その部分が、品質の異なるレベルにおける情報信号を表すように、情報信号の実施例を示す。情報信号10は、図1aの左手側に例示される。特に、情報信号は、長方形として例示される。長方形によって制限される領域は、情報信号の範囲内でデータ量に対応する。一方、情報信号10が、2次元領域として例示されているが、情報信号は、この例示の種類によって制限されない。むしろ、情報信号は、パケット化または非パケット化のフォーマットにおける線形データストリームでもよい。図1aにおける情報信号10の2次元表現が、2つのスケーラブルな次元において、情報信号10が、情報コンテンツのスケーラブルな表現に対して提供方法を例示するために、単に用いられるにすぎない。
特に、情報信号10の4つの異なる部分は、図1aに示される。全体の情報信号を含んでいるこの部分10は、実線10によって示される。他の3つの部分10a、10bおよび10cは、情報信号10の真部分集合である。しかしながら、これらのサブの部分10a−10cの各々は、全体の情報信号と比較して品質の減少されたレベルにおける情報コンテンツの表現の再構築を可能にさせる。特に、サブの部分10aは、第1のスケーラブルな次元12に沿って、レベル0における情報コンテンツを表す。このレベルは、全体の情報信号10が情報コンテンツを表し、同じスケーラブルな次元においてレベル1よりも低い。同様に、全体の情報信号に基づいて再構築された場合、サブの部分10bは、情報コンテンツが表現されたレベル1より低い第2のスケーラブルな次元14におけるレベル0での情報コンテンツの表現を可能にさせる。
一方の全体の情報信号と他方のサブの部分10aおよび10dの間の関係と同様に、サブの部分10cは、2つのスケーラルブな次元12および14のいくつかにおいて、それぞれサブの部分10aおよび10bのいくつかを使用することによって達成可能であるより低いレベルにおいて情報コンテンツの再構築を可能にさせる。特に、図1aの実施例によれば、全体の情報信号は、両方のスケーラブルな次元12および14における1より高いレベルにおける情報コンテンツの再構築を可能にさせる。その一方で、サブの部分10cは、単に、両方のスケーラブルな次元12および14におけるレベル0より低い情報コンテンツの再構築を可能にさせるだけである。図1aの右手側に例示されるように、スケーラブルな次元12および14のうちの1つにおける1のレベルより高く、他の両方のスケーラブルな次元12および14におけるレベルより低い情報コンテンツの再構築を可能にさせるという点で、サブの部分10aおよび10bがその間において存在する。
図1aにおいて示されるように、サブの部分10cは、両方の部分10aおよび10bの真部分集合である。この指標によって、部分10cの範囲内におけるより低い品質データは、部分10cに関連して、スケーラブルな次元12および14のいくつかにおいて、より高いレベルでの情報コンテンツの再構築を可能にするために、このより低い品質データを洗練するために、より高いレベル部分10a、10bおよび10cにおいて再使用される。このため、部分10cの範囲内のデータは、この部分10c以外のデータよりもより重要と考えられる。特に、部分10cの範囲内のデータが、どういうわけか壊された場合、情報コンテンツは、2つの次元12および14において、レベルの最も低い一群でさえ、情報コンテンツは、正確に再構築されない。部分部分10cに範囲内でのデータへのそれらの依存のため、これは、より高いレベルに対しても真である。しかしながら、部分10cの外側のデータ損失は、少なくとも、最も低いコンステレーション00における情報コンテンツの再構築を妨げない。
完全性だけのために、各部分が、それぞれの外側のデータにおけるいくつかの情報も必要とすることなしにそれぞれの品質の一群での情報コンテンツの再構築をするために自己内蔵型であるという点において、上述された部分10および10a−10cの各々が、情報信号の個々に復号可能な部分に表すことができることに注意されたい。さらに、部分10、10a、10bおよび10cは、それぞれの部分の範囲内におけるいかなるデータ損失も、それぞれの部分の品質の一群と比較して情報コンテンツの誤った再構築に至るように、定義される。
図1aの実施例において、情報信号10は、他の次元において提供された完全なスケーラビリティにおいてある次元において再構築された情報コンテンツでの各々のレベルのために2つの次元においてスケーラブルである。しかしながら、このようなニーズが、必ずしも実情であるというわけではない。
例えば、図1bは、他のスケーラブルな次元14におけるレベルの数の異なるスケーラブルな次元12におけるレベルの数の情報信号の実施例を示す。より正確であるために、図1aの中で、4つの一群のポイント10、01、00および11に対応する4つの部分10および10a−10cは、図1aの右手に示されると共に、図1bの情報信号は、図1bの右手側に示される一群のポイント11、01、02、11および12に対応する5つの部分を有する。
図1bにおいて、第2のスケーラブルな次元14のより高いレベルでの各々の一群のポイントは、第1のスケーラブルな次元12に沿って同じレベルにおける一分のポイントを有するけれども、第2のスケーラブルな次元14における下位レベル0において、これも必要がない。例えば、図1cは、第1のスケーラブルな次元12においてレベル0を提供する部分のみである両方のスケーラブルな次元12および14に沿ってレベル0(例えば、コンステレーション00)における情報コンテンツを表す最も小さいサブの部分のケースを示す。同様に、コンステレーション11は、第1のスケーラブルな次元12に沿ったレベル1での一群のポイントのみである。
図1a−1cを注目することによって、一方の例えば、10、10aおよび10bのようなより高いレベルの部分と他方の10cのような下位レベルの部分との間の交差が必ずしも等しい必要があるというわけではないことが明らかになる。むしろ、図1cにおいて示されるように例えば、交点自体は、情報信号の複数の部分の一部分でなくてもよい。さらに、スケーラブルな次元のうちの少なくとも1つにおける他の部分のそれよりも下位レベルの部分が、それぞれ、最も小さい部分に関して、図1a〜1cにおいて共通に示されるように、必ずしも後の部分の真部分集合である必要があるというわけではないことに注意されたい。むしろ、より高いレベルの部分と下位レベルの部分との間の交差は、下位レベルの部分が、単に部分的にそれぞれのよりより高いレベルの部分と重複するだけのようなものでもよい。
図2−4に関して後述する実施例は、情報信号の受け取ったバージョンにおける情報信号を保護しおよび前方誤り訂正を実行することそれぞれにおいて、FECにおけるスケーラブルな情報信号の部分における上記に概説された依存を採用する。一般に、より高いレベルまたはより高いレイヤ(すなわち、少なくとも1つのスケーラブルな次元におけるより高いレベルでの情報コンテンツを表している部分)の部分は、下位レベルの部分に重なることに共通の要素を持たない各部の部分の部分に依存しているだけではなく、後の部分と重なっている部分にも依存している、それぞれの冗長情報と関連する。
図2は、情報コンテンツを符号化するための装置20を示す。装置20は、情報コンテンツを受信するための入力22および保護されたスケーラブルな情報信号のための出力24を含む。内部的には、装置20は、入力22および出力24の間に記載の命令において、連続的に接続される、情報信号の部分を生成するための手段を表す部分発生器26、情報信号FEC保護するための手段を表すFEC保護装置28、およびマルチプレクサ30を含む。
部分発生器26は、情報コンテンツ22を、図1a−1cにおいて、しかしながら、保護されていないフォーマットにおいて示される情報信号データのようなスケーラブルなデータに符号化するために構成される。例えば、部分発生器26は、例えば、x00のような最も低いレベル、または最も下位レイヤの部分のデータ32aを得るために情報コンテンツ22を損失性圧縮するために構成される。この目的で、部分発生器26は、例えば、情報コンテンツ22の品質を減らして、その後、減らされたその品質において情報コンテンツを符号化した。この場合、部分発生器26は、共通の要素を持たないより高いレベルの部分のデータ32bによってこの最も下位レイヤ32aを添付するために構成される。共通の要素を持たないより高いレベルの部分のデータ32は、特定のレベルまたは、最も下位レベルの部分のデータ32aと結合して、1つのまたはいくつかのスケーラブルな次元の再構成可能な品質の増加を可能にする。理解の容易のために、手本となって、図1aの構成に対応するこれらの部分については、4つの異なる部分は、部分発生器26による出力であることを示す。しかしながら、図1a−1cの表現と異なって、部分発生器26による部分データ出力は、非オーバラップであると理解できる。つまり、部分発生器26により出力された部分データx01は、最も下位レベルの部分x00(すなわち、図1aの長方形10の右上角)のより下位レベル部分のデータに共通の要素を持たない一群x01のために必要なデータの部分のみを含む。同様に部分発生器26により出力された一群x10の部分データは、より下位レイヤの部分10cに重ならない図1aの部分10bの範囲内のデータのみを含む。そして、部分発生器26によって出力された最も高いレベルの部分x11は、順に、サブ部分のいずれによっても含まれて居ない図1a−1cの情報信号のデータを含むだけである。
複数の保護されていない共通の要素を持たない部分は、FEC保護装置28によってFEC保護がされる。特に、FEC保護装置28は、複数のモジュール28a−dを含み、各モジュール28a−dは、部分発生器26によって出力された異なる部分の1つに、または部分の一致する品質レベル/レイヤの異なる部分の1つに独自に関連する。各モジュール28a−dは、その各部のデータにおいてFEC保護を実行する。しかしながら、それぞれの共通の要素を持たない部分のデータに加えて、各モジュール28a−dは、それぞれの品質レベルのために、貢献しているか、または必要な下位レベルのデータを受信する。例えば、モジュール28bは、品質の一群x01と関連付けられており、最も下位レベルの部分32aと共に部分発生器26によって出力された共通の要素を持たない部分データx01を受信する。この量によって、モジュール28dは、全体の部分データ10a(図1a)を受信する。このように、各モジュール28a−dは、モジュールが割当てられるデータの部分に関連する品質のそれぞれのレベルでの情報コンテンツを再構築するために必要な全てのデータにおいてFEC保護を実行する。換言すれば、モジュール28a−dの各々は、実質的に、部分発生器26によって出力された保護されていない情報信号がスケーラブルであるユニットにおいて品質のレベルまたは一群の品質の1つの相違に関連する。そして、これらのモジュールの各々は、関係する全てのデータにおいてFEC保護を実行するか、または品質のレベルもしくは一群の品質のそれぞれのために必要である。したがって、例えば、より高いレベルの部分データx01に関連するモジュール28bの冗長情報は、例えば、より下位レベルの部分データ32aに依存し、そして保護される。
各モジュール28a−dは、それぞれのFEC保護によって得られたそれぞれの冗長情報とともにそれぞれの共通の要素を持たない部分データを出力する。FEC保護装置28によって使用されたFEC保護のための実施例が、更に詳細に以下の説明に記載されるが、例えば、FEC保護装置28およびそのモジュール28a−dのそれぞれは、冗長情報の生成のためのシステマティックコードを使用することができることに注意されたい。しかしながら、FECモジュール28a−dは、非システマティックな方法において、冗長情報によって混乱したそれぞれのモジュールに関連したそれぞれの部分のデータを表しているより下位の部分のデータが符号化された符号語を生成するために使用するように受信されたデータをそれらがマップするという点において、非システマティックコードを使用することは、可能である。この種の非システマティックなコードのための実施例は、LTコードによって以下において挙げられる。
保護された方法以外で、保護されない情報信号が部分発生器26によって出力する場合、マルチプレクサ30は、FEC保護装置28から保護された部分を受信し、同じスケーラビリティを提供している保護された情報信号24にそれらを多重送信する。これらの保護された共通の要素を持たない部分の各々は、保護された下位のレベルの共通の要素を持たない部分の保護も冗長情報を有する。また、異なるレベルでの再構成を可能にする出力24での保護された情報信号のさまざまの重なっている部分は、保護された情報信号の残りからのいかなる情報を必要とすることなしにそれぞれのレベルでの情報コンテンツの再構成を可能にするために個々に復号化可能である。保護された情報信号24は、データストリームとして連続的な時間フレームで配列される。ここで、各保護された共通の要素を持たない部分は、それぞれの冗長情報がそれぞれの共通の要素を持たない部分に接近するように、このデータストリームの連続的な部分を仮定する。
このように、装置20によって生成された保護された情報信号は、図3に示される方法を使用することによって、受信サイトでの訂正される誤りでもよい。
図3の方法は、ステップ50から開始される。ここで、レベル部分は、その関連する冗長情報とともに保護された情報信号から抽出される。例えば、最初のステップ50が実行され、最も下位レベルの保護された部分は、保護された情報信号(すなわち、その冗長情報とともに図1aの部分10c)から抽出される。その後、ステップ52において、前方誤り検出または前方誤り訂正は、関連する冗長情報に基づいて抽出された部分において実行される。ステップ50において抽出されるデータにおいて発生している誤りの厳しさに応じて、ステップ52における前方誤り訂正は、成功するかどうかである。ステップ54において、ステップ52における前方誤り訂正が成功しているかどうかに関する点検が行われる。成功していない場合は、処理は、ステップ56を開始する。ここで、抽出された部分に依存、または保護しているさらなる冗長情報が、より高いレベルの部分から可能かどうかに関する点検が行われる。例えば、現在抽出された部分が図1aにおける10cである場合、ステップ56における点検は、部分10aおよび10bの冗長情報が、部分10cも保護することを明らかにする。さらに、この種の冗長情報が存在する場合、さらに前方誤り訂正の試行は、ステップ56において確認される更なる冗長情報およびより高いレベルの部分をさらに使用することにより、ステップ58において実行される。その後、ステップ54における点検が再び実行される。ステップ56において、冗長情報が存在しないと決定される場合、訂正は失敗し、方法が誤り60で終了する。
しかしながら、条件試行58は、抽出された部分の成功した誤り訂正の確率を上昇させる。ステップ54における点検が成功した訂正を明らかにする場合、方法は、ステップ62へ進む。ここで、品質のより高いレベルが、受信器での、例えばユーザまたは既定の設定によって要請されるかどうかに関して点検される。「はい(Yes)」の場合、方法は、すなわち、次のレベルの部分を抽出することによって、ステップ50を続行する。当然、この抽出は、次のレベルの部分(すなわち、以前に抽出されている以前の部分に共通の要素を持たない次のレベル部分の部分)の共通の要素を持たない部分に制限される。さらに、この抽出は、ステップ58において、既に実行される。この場合、再抽出は、スキップされる。しかしながら、ステップ62における点検がより高いレベルが要請されないことが明らかである場合、情報コンテンツは、ステップ64において、抽出され、そして要請されたレベルでの前方誤り訂正部分から導出される。すると、方法は、ステップ66において首尾よく終了する。
図3によると、下位レベルの部分の誤り訂正は、第1に、関連する冗長情報に制限される。換言すれば、第1の試行は、それに関連する冗長情報のみを使用することによりこの部分の誤り訂正をするために実行される。単にミスだけの場合には、より高いレベルの部分の冗長情報がさらに使用される。言うまでも無く、図4に示されるより単純なアプローチによると、より高いレベルの部分の冗長情報は、より下位レベルの部分の誤り検出および誤り訂正において加えるために即時に使用される。図4は、この種の手順を示す。ステップ70において、要請されたレベルの部分の範囲内における情報信号の誤りは、より高いレベルに関連する冗長情報とともに要請されたレベルに関連する冗長情報を使用することによって訂正され、そして、より高いレベルの部分の部分は、要請されたレベル部分と共通の要素を持たない。例えば、図1aにおける部分10cの範囲内において誤り訂正するために、ステップ70において、誤り訂正は、部分10cに関連する冗長情報だけでなく、より下位レベル部分10cを共通の要素にもたず、それぞれより高いレベル部分10aおよび10bの部分における部分10aおよび/または10bに関連する冗長情報を使用することによって実行される。その後、ステップ72において、要請されたレベルでの情報コンテンツは、要請されたレベル部分と共通の要素を持たないより高いレベル部分の部分を切り捨てることによって、誤り訂正された部分から導出される。
以下の図の説明から始める前に、図2−4の実施例に適用できるスケーラブルな情報信号が、FECデータの供給において使用されるか、または採用されるより高い次元数のスケーラビリティを示すことができる点に注意される。換言すれば、FECデータを作成することが、単に情報信号のスケーラブルな次元の真部分集合だけを含むことができる場合は、情報信号の依存が採用された。図1a〜1cを参照することによって、例えば、上記および以下に詳細に記載される階層化されたFECは、2つの次元12および14のうちのわずか1つに制限されている。
上述の実施例は、いかなる種類のアプリケーション(例えば、映像符号化等)にも、規制されることなく記載されていた。さらに、個々の品質レベルを保護するために使用される前方誤り訂正は、詳細には述べていない。同様のことは、スケーラブルなまたは異なる可能性にスケーラブルな次元に適用する。これらの条件のための実施例は、以下の実施例から導出される。そして、その説明は、時々図1−4のいずれかを参照する。特に、以下の実施例は、メディアストリーム、特に、ビデオ・ビットストリームに戻すことによって時々例示される。以下において記載されている実施例は、スケーラブルなビデオ・コーデックの各より高いレイヤに対するFEC保護が連結されるという点において、上記で概説される階層化前方誤り訂正を使用する。しかしながら、以下の実施例が、単にスケーラブルな映像符号化に参照するだけにもかかわらず、同じ実施例は、スケーラブルなオーディオ、コンピュータグラフィックスデータ、およびシーンの記述を含むいかなるデータ表現にも適用される。ここで、データのサブセットは、データの他のサブセットの正当性に依存する。
図5は、例えば、メディアストリームの従属構造のための実施例を示す。メディアストリームは、図5において示されるように、時間フレーム0,tおよび2tで、連続的な時間フレームで配置される。メディアストリームは、マルチレイヤで示される。特に、メディアストリームは、L依存層を有する。最も低い依存層0は、図1bの縦軸14にそってレベル0に対応し、依存層1は、この軸に沿ってレベル1に対応し、依存層2は、レベル2に対応する。図5によれば、拡張階層のための冗長シンボルは、図5におけるFEC構造の例において表現されるような全てのソース・シンボルを通じて算出される。すなわち、すべてのレイヤのために、追加の保護は、全体のメディアストリームのFEC冗長符号の全体の量を増加させることなしに、より下位レイヤに加えられる。図5における両頭矢印は、どの層がFEC冗長符号生成のために使用されるかについて示す。依存層の最大数は、この例においてLである。
最も下位レイヤのレイヤ0(FEC0)に対するFEC冗長符号は、いくつかのコーディング技術Tによって与えられ生成される。FEC1(レイヤ1)シンボルは、レイヤ0およびレイヤ1のソース・シンボルを超えて生成される。FEC2(レイヤ2)シンボルは、レイヤ0、レイヤ1およびレイヤ2などのソース・シンボルを超えて生成される。FEC L−1に至るまでは、全てのレイヤ0からL−1を超えて生成される。これらのFECシンボルの生成は、図2において示されるモジュールによって実行される。
Figure 0005523321
したがって、図5の階層化されたFECは、関連したレイヤのためのFEC冗長符号の生成のために使用されたレイヤを示す二重矢印については、図5における実施例であるFEC構造において表されるようなすべての下にある参照レイヤのソース・シンボル上の拡張階層のための冗長符号を算出することによって、l>0を有する包括的な冗長または同等のシンボルのレイヤを生成するためにビットストリームにおける既存の依存を利用する。
記載されているように、L依存層に分割されているメディアビットストリームについては、最も下位レイヤl=1の冗長符号(FEC0)が、FEC符号化技術によって与えられ生成される。FEC1(レイヤ1)シンボルは、レイヤ0およびレイヤ1のソース・シンボル上に生成される。さらに、FEC2(レイヤ2)シンボルは、レイヤ0、レイヤ1およびレイヤ2のソース・シンボルを上に生成され、そして、FEC L−1等までは、全ての下のレイヤ0からL−1までのソース・シンボル上に生成される。FECシンボルの可能な符号化および復号化のスキームは、n−k=2冗長ビットを有するビットレベルにおける2つのレイヤ上のXORingコードを用いて例示される。ここで、kは、ソース/保護されていないビットの数であり、nは、ベイロード・データおよび冗長を含む保護されたビットの数である。しかしながら、上記の階層化FEC保護は、他のいかなるFEC技術(例えば、冗長符号を生成するためのXOR結合を使用する技術)によっても用いられることができることに注意されたい。
Figure 0005523321
Figure 0005523321
階層化FECアプローチの付加的なXORing結合のために、異なるレイヤの冗長符号(ビット)は、一群に含まれる全てのレイヤのソース・シンボルにおいて消去箇所を訂正するために結合される。
Lが依存層の数である場合、図7は、利用可能なレイヤLに依存するコンステレーション0からL−1の符号化および復号化の全ての可能性を表す。
レイヤ0において誤りがある場合、各コンステレーションは、誤り訂正(ステップ70を参照)のために使用される。より低い計算複雑さのために、最も下位のコンステレーション0は、誤りの訂正(図6を参照)のために最初に実行される。それが失敗した場合(ステップ54)、次のコンステレーション1が実行等される(ステップ58)。最後のコンステレーションL−1も失敗した場合、レイヤ0における誤りは、訂正されない(ステップ60)。一方、レイヤ0が再構築された場合、データは、より高い一群を復号化するために使用されるが、下位から上位のレイヤまでのXORing接続でないため、いかなる保護ゲインを獲得する。換言すれば、レイヤ0が再構築される場合、コンステレーション1におけるデータは、レイヤ1を再構築するために使用される。
Figure 0005523321
Figure 0005523321
拡張階層l>0の保護の増加は、下位レイヤの保護が用いられることができない同じ方法で復号化されることができ、そして、下位レイヤの成功した復号化が要件である。
Figure 0005523321
このように、記載されている階層化FECは、上位レイヤの等価ビットにおいてさらなる依存を加える。しかし、レイヤ依存のため、正しく受信されたより上位の拡張階層は、正しい下位レイヤなしで価値がない。
以下に、スケーラブルなメディアストリームを有する多次元の階層化FECのための実施例が示される。上述した階層化FECがスケーラブルなメディアの異なる次元と同時に異なる階層化FECの符号化を許容することによって延長される場合、これは、以下の多次元の階層化FEC(MDL FEC)と呼ばれる。SVC(非特許文献1、非特許文献3及び非特許文献4を参照)のような現代のスケーラブルなメディア符号化規格のスケーラブルなオプションのため、メディアストリームの範囲内の依存は、複数のスケーラブルな次元を有する。例えば、SVCメディアストリーム、SNR品質のため、復号化可能なビデオの決定と同様にフレームレートは、レイヤを加えるかまたは取り除くことによって、同時に変えることができる。図9は、ビデオ信号が、時間軸分解度、4つのレベルにおけるスケーラビリティ、4つのレベルにおけるビットレートまたはSNRスケーラビリティ、および空間解像度のスケーラビリティを供給するようにSVCの依存構造の可能性を例示する。示される個々のブロックは、SVC信号の共通の要素を持たない部分を示す。ここで、それらの間の矢印は、第1のそれに依存することからより高いレベルの部分からより下位レベルの部分を指し示す。
Figure 0005523321
Figure 0005523321
例えば、ベースレイヤにおいて誤りが発生する場合、コンステレーション000からはじめている連続した一群は、訂正のために検証される。コンステレーション000が、2つの連続したレイヤを有する一群に失敗する場合、図10において示されるように、コンステレーション100、010、011等が使用される。
MDL FECを有するスケーラブルなメディアストリームの送信は、効果を提供することができる。例えば、不均一誤り保護(非特許文献5を参照)または階層化マルチキャスト(非特許文献6を参照)のようないくつかのシナリオにおいて、別々にレイヤを送信することは意味がある。この種の場合、MDL FECは、次元の下位レイヤのための復号化の確率を増加させる。図11は、階層化FECを有する2つの依存層の実施例を表す。エラーバーストは、下位レイヤにおいて発生することを示す。
下位レイヤがそのようなエラーバーストによって影響を受ける場合、影響を受けないより高い拡張階層が、追加の冗長符号の範囲外で下のレイヤを復号化するためにさらに使用される。
上記の実施例は、図12の右手側に表されるように、マトリックス拡張の符号化および復号化とともにLTコードによって使用される(非特許文献7を参照)。SSsは、例えば、図2の部分発生器26によって出力としての保護されていない情報信号のソース・シンボルであり、そして、ESsは、例えば、図2における出力24で出力された保護された情報信号において含まれるような符号化シンボルである。
符号化シンボルは、図12の符号化マトリックスにおける1を有する1つのラインにおける全てのSSsのXORingによって算出される。図12において、左手側のマトリックスは、図19において示されるスキームの範囲内で使用可能であるような、生成行列を示す。そして、それは、共通の要素を持たないレイヤの各々の部分は、個別にFEC保護される。このように、左手側のマトリックスは、単に比較の理由のために示されるだけである。右手側の生成行列は、レイヤ0および1のシンボルが、レイヤ1の保護された共通の要素を持たないレイヤデータを形成するための符号化シンボルESを達成するために結合され、そして、レイヤ0、1および2が、レイヤ2の保護された共通の要素を持たないレイヤデータを形成するための符号化シンボルESを達成するために結合されることを示す。
実質的に、図12に示される生成行列は、図2において示されるFEC保護装置28によって実施される。ここで、各モジュール28a−28dは、右手側における「レイヤ0」、「レイヤ1」または「レイヤn」によって示されるこの生成行列のラインのいずれかに対応する。特に、レイヤ−nモジュールは、0≦m<nにおいて、レイヤ−mの部分の範囲内で、これらのkm符号語の間の異なる合計または他の結合を実行する。それは、nn>mnにおいて、nnを導出するために、図12のマトリックスにおいて「ones」によって表示され、符号化された符号語は、非体系的な方法において、レイヤ−nの部分のペイロードデータと同様に両方の冗長情報を表す。
上記の実施例は、図12において示される符号化および復号化マトリックス拡張並びに図13において示される追加のプレ符号化マトリックスを有する非体系的および体系的なラプターコード(非特許文献8と比較)を使用することも可能である。ここで、再び、図13において、左手側のマトリックスは、図19において示されるスキームの範囲内で使用可能であるような、可能なプレ符号化マトリックスを示す。そして、それは、共通の要素を持たないレイヤの各々の部分は、個別に保護されているFECである。ここで、左手側のマトリックスは、ラプターコードを使用することによって階層化FECを実装するときに用いられる。念のため、図13は、レイヤの数は2であると仮定している点に注意する。ここで、図12において、レイヤの数は3である。以上のように、図13のプレ符号化マトリックスによって、より高いレイヤのシンボルは、下位レイヤのシンボルと結合することによってプレ符号化される。慎重に、プレ符号化マトリックス(図13における右手側のマトリックスの下の左手部分)の結合の部分を設定することは、図12の右手側のマトリックスを適用する場合、体系的なコードを結果として得る。以上のように、図13のマトリックスの結合領域のA1*の部分のみが、設定されなければならず、残りの部分は、ゼロに設定される。
さらに、上記の実施例は、LTコードの拡張された符号化マトリックス、または線形ブロックコード(例えば、非特許文献2を参照)と類似の拡張された等価マトリックスを有するLDPC−コード(Low−Density Parity−Check Codes:低密度パリティ・チェックコード)(非特許文献9を参照)によって使用される。
上記の実施例は、スケーラブルなメディアコーデックと結合される。スケーラブルなメディアコーデックは、例えば、スケーラブルな映像および音声のコーデックでもよく、1次元または多次元の依存構造を有するスケーラブルなメディアコーデックと結合される。後者の場合、多次元の依存構造は、上述したように、MDL FECを形成するために採用される。一般に、上述の実施例は、コンピュータ・グラフィックス、シーンの記述、メタデータ、意味的データを含むいくつかのデータ・セットの保護のために適用される。ここで、データの1つのサブセットの有用性は、データの他のサブセットの正当性に依存する。
さらに詳細に、レートレス符号を使用している実施例を記載する前に、以下のセクションは、ルビートランスフォームコード(LTコード)およびラプターコードに焦点を有するレートレス符号上の概要を与える。また、スケーラブルなビデオ符号化は、図示するアプリケーションの実施例として使用される。そして、階層化FECアプローチに対するレートレスコードの拡張は、いくつかの選択された結果の表現とともに説明される。
レートレスまたはファウンテンコード(レートレスコードおよびファウンテンコードは同じ概念を表す)は、パケット損失を有する環境において主に使用される誤り訂正コードである。それは、スパース符号化行列のための低い複雑さを有する符号化シンボル(ESs)の理論的な無限数nを作り出すことができる。成功した復号化のために、受信されたシンボルErecの数は、k+λより高くなければならない。ここで、λは、必要な復号化オーバーヘッドを表し、そして、FEC技術Tを使用することに依存するもとのソース・シンボルkの約3%〜5%である。レートレス符号のデザインの問題点が、一方側のλと他方側の値に影響している複雑さのソース・シンボルの範囲とスパースマトリックス配分との間のバランスを提供するXOR結合のユニークなセットの理論的な無限数を作り出すために、アルゴリズムの発達にある。
レートレスコードの第1の現実的な解決方法は、ルビートランスフォーム(LT)コード(非特許文献7を参照)を有するルビー・マイケルによって2002年に提案された。
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
Figure 0005523321
上記の階層化FECラプターコードに基づいて得られる選択されたシミュレーションの結果は、以下に示される。一般に、ラプターコードのパフォーマンスは、成功した復号化のために必要な付加的なシンボルのオーバーヘッドAによって測られる。以下の結果は、提案された階層化レートレスラプターが標準ラプターより同じ復号化確率を有することを示す。シミュレーションのために、非特許文献8において提案されたインプリメンテーションに記載のラプター符号化しているソフトウェアは、階層化FECアプローチに拡張されている。
標準ラプター符号化のために、入力データは、サイズt=48バイトのk=1200のソース・シンボルから構成される。図18に示されるように、リペアシンボルp=20の追加のオーバーヘッドによって、不規則な損失は、いかなるラプターシンボルも下げる。図18において、x軸で、付加的なリペアシンボルの残数がプロットされる。ここで、y軸は、3000のテストランの成功した符号化しているパーセンテージを示す。
一般に、レートレスコードのパフォーマンスは、元のシンボルを再構築するために、必要なソース・シンボルよりわずかに受信されることを意図する非特許文献8におけるアウトラインのようなうまく復号化するために必要な追加的なシンボルオーバーヘッドnによって測られる。各ラプターシンボルは、ランダムなソース・シンボルの固有の数のXOR結合である。復号化は、受信したシンボルのXOR結合を構築した線形方程式系を解析することによって行われる。そして、受信されたシンボルが、十分に線形独立な方程式によって生成する場合、方程式系のみ解析される。
上記の実施例による階層化FECアプローチは、より高いレイヤ符号化において付加的なXOR結合をより下位レイヤに加える。したがって、複数の階層化FECレイヤを復号化する場合、利用可能な下位レイヤのためのより多くの方程式があり、そして、利用可能な十分な線形独立な方程式があるという確率が増加する。
図18において、2つのレイヤは、階層化FECアプローチによって、およびなしでシミュレーションされる。各レイヤに対するソース・シンボルの数は、シンボル・サイズt=48でk=1024である。第2のレイヤは、第1のレイヤに依存する。最も下位のレイヤ復号化の確率は、付加的な受信されたラプターシンボルの数(残留するシンボル)n=r−kを超えて、y軸で示される。最も下位のレイヤのための付加的なXOR結合のために、復号化の確率が階層化FECアプローチによって増加することを示す。同様な効果は、非特許文献10において示される。
特に、特定の無線マルチキャスト環境における階層化送信のための選択されたシミュレーションが結果として得ることが表される。アプリケーションレイヤでの階層化レートレスFECによって保護されたSVCの階層化送信は、DVB−H(非特許文献14および非特許文献15を参照)のビデオ・サービスに適用される。MPE−FEC保護は、使用されないままであり、そして、ギルバート−エリオット(GE:Gilbert−Elliot)モデル(非特許文献16を参照)は、DVB−H伝送パケットの損失のシミュレーションのための確率的モデルとして使用していた。GEは、無線チャンネルにおける誤りの良好な表現を実現する一方、その単純性のため、広く使用されている。GEは、2つの状態、良好な状態gおよび悪い状態bを有しており、そして、これらの状態の間に推移確率において定義される。したがって、式(10)において送信マトリックスTにおいて表される4つの確率がある。
Figure 0005523321
Figure 0005523321
損失パターンは、MPE−FECを使用することなしに16QAM変調および8kFFTモードを使用している実際のDVB−Hチャンネルから測定される。異なるドップラー周波数での異なる受信特性は、異なる損失挙動に結果として測定されていた。
階層化FECの効果を示すために、我々は、SVCを有する2つの異なる解像度を送信することにより比較した。ベースレイヤは、25fpsでQVGAの解像度を有し、拡張レイヤは、25fpsでVGAの解像度も提供する。ベースレイヤは、典型的な体系的ラプターコードおよびコードレートc0によって制御された、いくつかの付加的な冗長符号によって符号化される。より高いVGAレイヤは、うまく受信されたQVGAレイヤに依存する。したがって、階層化FECは、下位レイヤも保護しているコードレートc1によって制御された付加的な冗長符号を有するこのレイヤに適用される。最も高いレイヤが、送信誤りのために失われる場合、VGA受信器は、高級なQVGAの解像度を受信してシミュレーションされる。標準および階層化されたFECを有する3つのFEC保護が比較される。第1は、均一誤り保護を有し、第2は、UEPおよびより下位レイヤにおけるより高い保護を有し、第3は、階層化FECの影響を示すための上位レイヤにおけるより高い保護を有している。コードレートは、すべての保護スキームの総ビットレートは等しくなるように調整される。
換言すれば、上記の実施例は、階層化FECをレートレスコード、特に体系的なラプターコードに導入するためのアプローチを示す。総合的なFEC生成の依存層を達成すること、ならびに符号化およびプレ符号化マトリックスの体系的な挙動を維持することは、同時に拡張されていた。シミュレーションの結果は、階層化ラプターFECのパフォーマンスが、一定のパフォーマンスを有し、そして、標準FEC保護よりパフォーマンスが優れていることを示している。上記の実施例は、最新の階層化またはスケーラブルなビデオ符号化技術において使用できる。それは、他のレイヤの参照のための様々な中間層に依存するビデオ・ビットストリームを生じている。既存の依存構造のラインに沿って、前方誤り修正コードを連結する方法は、レートレスコードに採用される。いわゆる階層化FECは、FEC冗長符号の全体の量を増加させることなく、下位およびより重要なレイヤの保護を増加させる。加えて、上記の実施例は、レートレスLT−およびラプター−コードに採用される。階層化FECのパフォーマンスの向上は、スケーラブル映像符号化(SVC)を使用している階層化マルチキャスト送信を有するシミュレーション結果に示される。
しかしながら、また、上記の実施例が、映像符号化またはLTおよびラプターコードに関して特別な実施例によって制限されないことに注意されたい。例えば、デジタルファウンテン(DF)コード(非特許文献10を参照)を用いることができる。十分なパケットが受け取られると仮定すると、ソース・データが符号化されたパケットのサブセットからも再生することができるという点で、この種のファウンテンコードは、鍵となる特性を有するスパースグラフ・コードである。ソース・データから生成されたシンボルの数は、潜在的に無限であり、そして、その場で決定できるという点で、DF−コードは、レートレスである。DF−コードは、符号化および復号化の効率の良さの影響なく、1ビットバイナリシンボルから一般的なLビットといった具合に、これらのコードに対するシンボル長さが任意であるという点で一般的である。DF−コードの実施例は、LT−コードである。さらに、LTおよびラプターコードの他に、LDPCコードまたはオンライン・コードが使用できる。下位レベルデータに関するFEC訂正における増加に関する上記の効果が結果として得られるため、上記の実施例に従って、同じことが、階層化FECの保護されたデータを訂正することによって過剰に決定された方程式系を得るために可能にするように、使用されるFECコードは設計される。例えば、スケーラブルな次元に関しては、それらは、時間的サンプリング解像度、空間的サンプリング解像度、視野数、音声チャンネル数、実体鏡学/非実体鏡学、および標本値ビット深度から選択される。
実際の実施要件によっては、本発明の方法は、ハードウェアまたはソフトウェアで実施することができる。したがって、本発明は、電子的に読み出し可能な媒体、例えば、CD、ディスクまたは他のいかなるデータキャリアにも保存することができる。したがって、本発明は、コンピュータに実行される場合に、上記の図と関連する発明の方法を実行するプログラムコードを有するコンピュータ・プログラムでもある。
さらにまた、フローチャートに示す全てのステップまたは機能が、エンコーダにおけるそれぞれの手段によって実行され、そして、実施要件が、CPU、ASICの回路部分等において動作している部分的ルーチンから構成されることに注意されたい。
以上、それぞれの実施例に関して、本発明は記載されているが、本発明の範囲内に含まれる変更、置換および同等のものである。また、本発明の方法および構成を実行する多くの別の方法があることに注意されたい。したがって、本発明の真の趣旨および領域の範囲内に含まれるようなすべてのこの種の変更、置換および同等のものを含むように解釈される付加的な主張に従って意図される。

Claims (28)

  1. 情報信号を誤り訂正するための装置は、前記情報信号の複数の部分(10a,10b,10c)が品質(12,14)の異なるレベル(x00,x01)での情報コンテンツを表すようにスケーリングされ、ここで、少なくとも、前記複数の部分のうちの第1の部分(10a)は、前記複数の部分のうちの前記第2の部分(10c)の一部を含むように前記第2の部分と重なり、前記複数の部分のうちの第2の部分(10c)が前記情報コンテンツを表している前記異なるレベルのうちの第2のレベル(x00)よりも重要度の低い前記異なるレベルのうちの第1のレベル(x01)での前記情報コンテンツを表し、ここで、前記情報信号は、各冗長情報が前記それぞれのレベルでの前記情報コンテンツを表す前記それぞれの部分に依存するようにそれに関連する冗長情報を有する前記各異なるレベル(x00,x01)によってFEC保護され、そして、前記異なるレベルのうちの前記第1のレベル(x01)に関連する前記冗長情報は、前記複数の部分のうちの前記第2の部分(10c)と重なっているその領域、および前記複数の部分のうちの前記第2の部分と共通の要素を持たない前記第1の部分の領域のいずれ含んでいる前記複数の部分のうちの前記第1の部分(10a)に依存し、前記装置は、
    前記複数の部分のうちの前記第2の部分の誤り訂正されたバージョンを得るために、前記複数のレベルのうちの前記第1および第2のレベル(x00,x01)に関連する前記冗長情報、ならびに前記複数の部分のうちの前記第2の部分と共通の要素を持たない前記複数の部分のうちの前記第1の部分の領域の使用により、前記複数の部分のうちの前記第2の部分(10c)の範囲内における前記情報信号の誤りを訂正するための訂正器(70)と、
    前記複数の部分のうちの前記第2の部分(10c)と共通の要素を持たない前記複数の部分のうちの前記第1の部分(10a)の前記領域を切り捨てるとともに、前記複数の部分のうちの前記第2の部分の前記誤り訂正されたバージョンから前記複数のレベルのうちの前記第2のレベル(x00)での前記情報コンテンツを導出するための導出器(72)と
    を含む、装置。
  2. 前記情報信号は、前記情報信号の前記複数の部分(10a,10b,10c)が複数の次元のそれぞれのレベルの異なる一群(x10,x11,x00,x01)における前記情報コンテンツを表すために前記複数の次元においてスケーラブルであって、前記情報信号は、
    ここで、品質の前記異なるレベルは、前記複数の次元のうちの第1の次元の前記レベルであり、
    ここで、少なくとも、前記複数の部分のうちの第3の部分(10b)は、前記複数の部分のうちの前記第1の部分と異なり、および前記複数の部分のうちの前記第2の部分(10c)が、前記情報コンテンツを表している前記第2の次元におけるレベルよりも重要度の低い前記複数の次元のうちの第2の次元のレベルでの前記情報コンテンツを表し、さらに、前記複数の部分のうちの前記第2の部分(10c)と重なり、
    ここで、前記情報信号は、関連付けられた冗長情報を有する前記異なる各一群によってFEC保護され、ここで、
    各冗長情報は、前記それぞれの一群における前記情報コンテンツを表す前記それぞれの部分に依存し、
    前記複数の部分のうちの前記第3の部分(10b)が前記情報コンテンツを表している前記一群に関連する前記冗長情報が、前記複数の部分のうちの前記第2の部分と重なる前記複数の部分のうちの前記第3の部分の領域を含む前記複数の部分のうちの前記第3の部分に依存される、請求項1に記載の装置。
  3. 前記複数の部分のうちの前記第2の部分は、前記複数の部分のうちの前記第1の部分の真部分集合であり、そして、前記複数の部分のうちの前記第3の部分の真部分集合である、請求項2に記載の装置。
  4. 前記各部分のために、前記それぞれの冗長情報は、前記複数の部分の他のいずれかと重なっているそれぞれの部分の領域に依存する、請求項2に記載の装置。
  5. 各部分は、前記複数の部分の他のどの部分からも独立しており、前記それぞれの一群での前記情報コンテンツを得るために、個々に復号化可能である、請求項2に記載の装置。
  6. 各部分のために、前記それぞれの冗長情報は、組織的なコードを介して前記それぞれの部分に関連付けられる、請求項2に記載の装置。
  7. 各部分のために、前記それぞれの冗長情報は、非組織的なコードを介して前記それぞれの部分に関連付けられる、請求項2に記載の装置。
  8. 前記情報信号は、連続的な時間フレームのデータストリームとして配列され、ここで、各時間フレームの範囲内において、前記複数の部分のうち前記第1の部分が前記情報コンテンツを表している前記一群に関連する冗長情報に関係する前記データストリームの領域は、前記複数の部分のうちの前記第2の部分に関係する前記データストリームの領域の後に続き、および前記複数の部分のうちの前記第2の部分が前記情報コンテンツを表している前記一群に関連する冗長情報に関係する前記データストリームの領域は、前記複数の部分のうちの前記第2の部分と共通の要素を持たない前記複数の部分のうちの前記第1の部分の領域と関係する前記データストリームの領域に先行し、ならびに、前記複数の部分のうちの前記第3の部分が前記情報コンテンツを表している前記一群に関連する冗長情報に関係する前記データストリームの領域は、前記複数の部分のうちの前記第2の部分に関係する前記データストリームの領域の後に続く、請求項2に記載の装置。
  9. 前記冗長情報は、LTコード、ラプターコード、LDPCコードまたはオンライン・コードに基づく、請求項2に記載の装置。
  10. 前記情報コンテンツは、音声コンテンツ、ビデオコンテンツおよび/または3Dモデルコンテンツである、請求項1に記載の装置。
  11. 前記複数の次元は、視野数、音声チャンネル数、実体鏡学/非実体鏡学および標本値ビット深度から構成されるグループから選択される、請求項1に記載の装置。
  12. 前記訂正器は、
    前記複数の部分のうちの前記第1の部分の、前記複数の部分のうちの前記第2の部分と共通の要素を持たない領域、そして、前記複数のレベルのうちの前記第1のレベルと関連する前記冗長情報の使用なしに、前記複数のレベルのうちの前記第2のレベルに関連する前記冗長情報の使用により、前記複数の部分のうちの前記第2の部分の範囲内における前記情報信号の誤りの訂正を第1に試行するために構成され、
    前記第1の試行が成功しない場合は、前記複数のレベルのうちの前記第2のレベルに関連する前記冗長情報、前記複数のレベルのうちの前記第1のレベルに関連する前記冗長情報、および前記複数の部分のうちの前記第1の部分の、前記複数の部分のうちの前記第2の部分と共通の要素を持たない領域の使用により、前記複数の部分のうちの前記第2の部分の範囲内における前記情報信号の誤りの訂正を再試行するために構成される、請求項1に記載の装置。
  13. 前記情報信号は、前記情報信号の部分が品質の異なるレベルにおける前記情報コンテンツの時刻を表すためにスケーリングされる、請求項1に記載の装置。
  14. 前記情報信号は、前記情報信号の部分が品質の異なるレベルにおける前記情報コンテンツを表すために3Dおよび/または音声情報コンテンツを表し、そしてスケーリングされる、請求項1に記載の装置。
  15. 情報コンテンツを情報信号に符号化するための装置は、前記情報信号の複数の部分(10a,10b,10c)が、品質の異なるレベル(x10,x11,x00,x01)での前記情報コンテンツを表すようにスケーリングされ、前記装置は、
    少なくとも、前記複数の部分のうちの第1の部分(10a)は、前記第2の部分(10c)の一部を含むように前記第2の部分(10c)と重なり、複数の部分のうちの第2の部分が前記情報コンテンツを表している前記複数のレベルのうちの第2のレベルよりも重要度の低い前記複数のレベルのうちの第1のレベルにおける前記情報コンテンツを表す、前記複数の部分を生成するための発生器と、
    互いの前記異なる一群に冗長情報関連付けることによる前記情報信号をFEC保護するための保護装置であって、前記保護装置は、
    各冗長情報が前記それぞれの一群における前記情報コンテンツを表す前記それぞれの部分に依存し、そしてFEC保護し、
    前記異なるレベルのうちの前記第1のレベルに関連する前記冗長情報が、前記第2の部分と重なっている前記第1の部分の領域、および前記第2の部分と共通の要素を持たない前記第1の部分の領域のいずれ含む前記第1の部分に依存する、
    前記保護装置と
    を含む、装置。
  16. 前記装置は、前記情報信号が複数の次元においてスケーリングされ、前記情報信号の前記部分が前記複数の次元のそれぞれのレベルの異なる一群における前記情報コンテンツを表すように、前記情報コンテンツを前記情報信号に符号化するように構成され、
    ここで、品質の前記異なるレベルは、前記複数の次元のうちの第1の次元のレベルであり、そして、前記発生器は、少なくとも、前記複数の部分のうちの第3の部分は、前記複数の部分のうちの第1の部分と異なり、および前記複数の部分のうちの第2の部分が前記情報コンテンツを表している前記第2の次元におけるレベルよりも重要度の低い前記複数の次元のうちの第2の次元のレベルでの前記情報コンテンツを表し、さらに、前記複数の部分のうちの第2の部分と重なり、
    ここで、前記保護装置は、互いに異なる一群に冗長情報が関連付けることによる前記情報信号をFEC保護するために構成され、前記保護装置は、
    各冗長情報が前記それぞれの一群における前記情報コンテンツを表す前記それぞれの部分に依存し、そしてFEC保護し、
    前記複数の部分のうちの前記第3の部分(10b)が前記情報コンテンツを表している前記一群に関連する前記冗長情報が、前記複数の部分のうちの前記第2の部分と重なっているその領域を含む前記複数の部分のうちの前記第3の部分に依存するような、
    前記保護装置を含む、請求項15に記載の装置。
  17. 前記発生器は、前記複数の部分のうちの前記第2の部分が、前記複数の部分のうちの前記第1の部分の真部分集合であり、そして、前記複数の部分のうちの前記第3の部分の真部分集合であるように、前記複数の部分を生成するために構成される、請求項16に記載の装置。
  18. 各部分のために、前記それぞれの冗長情報は、前記複数の部分の他のいずれかと重なっている前記それぞれの部分の領域に依存するように、前記保護装置は、前記情報信号のFEC保護を構成する、請求項16に記載の装置。
  19. 各部分は、前記複数の部分の他のどの部分からも独立しており、前記それぞれの一群での前記情報コンテンツを得るために、個々に復号化可能であるように、前記複数の部分を生成するために、前記発生器が構成される、請求項16に記載の装置。
  20. 各部分のために、前記それぞれの冗長情報は、組織的なコードを介して前記それぞれの部分に関連付けられるように、前記保護装置は、前記情報信号のFEC保護を構成する、請求項16に記載の装置。
  21. 各部分のために、前記それぞれの冗長情報は、非組織的なコードを介して前記それぞれの部分に関連付けられるように、前記保護装置は、前記情報信号のFEC保護を構成する、請求項16に記載の装置。
  22. 前記情報信号が連続的な時間フレームのデータストリームとして配列するように前記複数の部分を生成するために構成される前記発生器であって、前記保護装置は、各時間フレームの範囲内において、前記複数の部分のうちの第1の部分が前記情報コンテンツを表している前記一群に関連する冗長情報に関係する前記データストリームの領域は、前記複数の部分のうちの前記第2の部分に関係する前記データストリームの領域の後に続き、および前記複数の部分のうちの前記第2の部分が前記情報コンテンツを表している前記一群に関連する冗長情報に関係する前記データストリームの領域は、前記複数の部分のうちの前記第2の部分と共通の要素を持たない前記複数の部分のうちの前記第1の部分の領域と関係する前記データストリームの領域に先行し、ならびに、前記複数の部分のうちの前記第3の部分が前記情報コンテンツを表している前記一群に関連する冗長情報に関係する前記データストリームの領域は、前記複数の部分のうちの前記第2の部分に関係する前記データストリームの領域の後に続く、請求項16に記載の装置。
  23. 前記冗長情報は、LTコード、ラプターコード、LDPCコードまたはオンライン・コードに基づくように、前記保護装置は、前記情報信号のFEC保護するように構成する、請求項16に記載の装置。
  24. 前記情報コンテンツは、音声コンテンツ、ビデオコンテンツおよび/または3Dモデルコンテンツである、請求項1に記載の装置。
  25. 前記複数の次元は、視野数、音声チャンネル数、実体鏡学/非実体鏡学および標本ビット深度から構成されるグループから選択される、請求項1に記載の装置。
  26. 情報コンテンツを情報信号に符号化するための方法は、前記情報信号の複数の部分(10a,10b,10c)が、品質の異なるレベル(x10,x11,x00,x01)での前記情報コンテンツを表すようにスケーリングされ、前記方法は、
    少なくとも、前記複数の部分のうちの第1の部分(10a)は、前記第2の部分(10c)の一部を含むように前記第2の部分(10c)と重なり、複数の部分のうちの第2の部分が前記情報コンテンツを表している前記複数のレベルのうちの第2のレベルよりも重要度の低い前記複数のレベルのうちの第1のレベルにおける前記情報コンテンツを表す、前記複数の部分を生成するステップと、
    互いの前記異なる一群に冗長情報が関連付けることによる前記情報信号をFEC保護するステップであって、保護するステップは、
    各冗長情報が前記それぞれの一群における前記情報コンテンツを表す前記それぞれの部分に依存し、そしてFEC保護し、
    前記異なるレベルのうちの前記第1のレベルに関連する前記冗長情報が、前記第2の部分と重なっている前記第1の部分の領域、および前記第2の部分と共通の要素を持たない前記第1の部分の領域いずれ含む前記第1の部分に依存する、
    前記保護するステップと
    を含む、方法。
  27. 情報信号の誤りを訂正するための方法は、前記情報信号の複数の部分(10a,10b,10c)が品質(12,14)の異なるレベル(x00,x01)での情報コンテンツを表すようにスケーリングされ、ここで、少なくとも、前記複数の部分のうちの第1の部分(10a)は、前記複数の部分のうちの前記第2の部分(10c)の一部を含むように前記第2の部分と重なり、前記複数の部分のうちの第2の部分(10c)が前記情報コンテンツを表している前記異なるレベルのうちの第2のレベル(x00)よりも重要度の低い前記異なるレベルのうちの第1のレベル(x01)での前記情報コンテンツを表し、ここで、前記情報信号は、各冗長情報が前記それぞれのレベルでの前記情報コンテンツを表す前記それぞれの部分に依存するようにそれに関連する冗長情報を有する前記各異なるレベル(x00,x01)によってFEC保護され、そして、前記異なるレベルのうちの前記第1のレベル(x01)に関連する前記冗長情報は、前記複数の部分のうちの前記第2の部分(10c)と重なっているその領域、および前記複数の部分のうちの前記第2の部分と共通の要素を持たない前記第1の部分の領域のいずれ含んでいる前記複数の部分のうちの前記第1の部分(10a)に依存し、前記方法は、
    前記複数の部分のうちの前記第2の部分誤り訂正されたバージョンを得るために、前記複数のレベルのうちの前記第1および第2のレベル(x00,x01)に関連する前記冗長情報、ならびに前記複数の部分のうちの前記第2の部分と共通の要素を持たない前記複数の部分のうちの前記第1の部分(10a)の領域の使用により、前記複数の部分のうちの前記第2の部分(10c)の範囲内における前記情報信号の誤りを訂正するステップと、
    前記複数の部分のうちの前記第2の部分(10c)と共通の要素を持たない前記複数の部分のうちの前記第1の部分(10a)の前記領域を切り捨てるとともに、前記複数の部分のうちの前記第2の部分の前記誤り訂正されたバージョンから複数のレベルのうちの前記第2のレベル(x00)での前記情報コンテンツを導出するステップと
    を含む、方法。
  28. コンピュータに、請求項26および請求項27のいずれかに記載の方法を実行させるためのプログラム。
JP2010525214A 2007-09-21 2008-06-20 情報信号、情報コンテンツを符号化するための装置及び方法、並びに情報信号の誤り訂正のための装置及び方法 Active JP5523321B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/859,464 US8233532B2 (en) 2007-09-21 2007-09-21 Information signal, apparatus and method for encoding an information content, and apparatus and method for error correcting an information signal
US11/859,464 2007-09-21
PCT/EP2008/005004 WO2009039903A1 (en) 2007-09-21 2008-06-20 Scalable information signal, apparatus and method for encoding a scalable information content, and apparatus and method for error correcting a scalable information signal

Publications (2)

Publication Number Publication Date
JP2010539832A JP2010539832A (ja) 2010-12-16
JP5523321B2 true JP5523321B2 (ja) 2014-06-18

Family

ID=39790381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010525214A Active JP5523321B2 (ja) 2007-09-21 2008-06-20 情報信号、情報コンテンツを符号化するための装置及び方法、並びに情報信号の誤り訂正のための装置及び方法

Country Status (9)

Country Link
US (1) US8233532B2 (ja)
EP (1) EP2201691B1 (ja)
JP (1) JP5523321B2 (ja)
KR (1) KR101159432B1 (ja)
CN (1) CN101842990B (ja)
BR (1) BRPI0815934B1 (ja)
CA (1) CA2702017C (ja)
RU (1) RU2461052C2 (ja)
WO (1) WO2009039903A1 (ja)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307487B1 (en) 1998-09-23 2001-10-23 Digital Fountain, Inc. Information additive code generator and decoder for communication systems
US7068729B2 (en) 2001-12-21 2006-06-27 Digital Fountain, Inc. Multi-stage code generator and decoder for communication systems
US9240810B2 (en) 2002-06-11 2016-01-19 Digital Fountain, Inc. Systems and processes for decoding chain reaction codes through inactivation
US6909383B2 (en) 2002-10-05 2005-06-21 Digital Fountain, Inc. Systematic encoding and decoding of chain reaction codes
KR101161193B1 (ko) 2004-05-07 2012-07-02 디지털 파운튼, 인크. 파일 다운로드 및 스트리밍 시스템
EP1985021A4 (en) 2006-02-13 2013-05-29 Digital Fountain Inc CONTINUOUS TRANSMISSION AND BUFFER DELIVERY USING CONTINUOUS MONITORING OVERVIEW AND PERIODS OF PROTECTION
US9270414B2 (en) 2006-02-21 2016-02-23 Digital Fountain, Inc. Multiple-field based code generator and decoder for communications systems
US7971129B2 (en) 2006-05-10 2011-06-28 Digital Fountain, Inc. Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems
US9178535B2 (en) 2006-06-09 2015-11-03 Digital Fountain, Inc. Dynamic stream interleaving and sub-stream based delivery
US9419749B2 (en) 2009-08-19 2016-08-16 Qualcomm Incorporated Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes
US9432433B2 (en) 2006-06-09 2016-08-30 Qualcomm Incorporated Enhanced block-request streaming system using signaling or block creation
US9380096B2 (en) 2006-06-09 2016-06-28 Qualcomm Incorporated Enhanced block-request streaming system for handling low-latency streaming
US9386064B2 (en) 2006-06-09 2016-07-05 Qualcomm Incorporated Enhanced block-request streaming using URL templates and construction rules
US9209934B2 (en) 2006-06-09 2015-12-08 Qualcomm Incorporated Enhanced block-request streaming using cooperative parallel HTTP and forward error correction
US8395993B2 (en) * 2006-12-13 2013-03-12 Viasat, Inc. Video and data network load balancing with video placeholder
US8411572B2 (en) * 2006-12-13 2013-04-02 Viasat, Inc. ACM and fixed coding and modulation of hierarchical layers
US8576858B2 (en) * 2006-12-13 2013-11-05 Viasat, Inc. Multiple transmission paths for hierarchical layers
US8456986B2 (en) * 2006-12-13 2013-06-04 Viasat, Inc. Video and data network load balancing
US8411571B2 (en) * 2006-12-13 2013-04-02 Viasat, Inc. Video and data network load balancing with video drop
US8358690B2 (en) * 2006-12-13 2013-01-22 Viasat, Inc. Predictive adaptive coding and modulation
US20090041100A1 (en) 2006-12-13 2009-02-12 Viasat, Inc. Link aware mobile data network
WO2009036378A1 (en) 2007-09-12 2009-03-19 Digital Fountain, Inc. Generating and communicating source identification information to enable reliable communications
EP2207320B1 (en) * 2009-01-13 2011-05-25 Alcatel Lucent A transmitting method and a receiving method of a modulated data stream
US9281847B2 (en) 2009-02-27 2016-03-08 Qualcomm Incorporated Mobile reception of digital video broadcasting—terrestrial services
US8566393B2 (en) * 2009-08-10 2013-10-22 Seawell Networks Inc. Methods and systems for scalable video chunking
US9288010B2 (en) 2009-08-19 2016-03-15 Qualcomm Incorporated Universal file delivery methods for providing unequal error protection and bundled file delivery services
US9917874B2 (en) 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
US8996946B2 (en) * 2009-12-09 2015-03-31 Thomson Licensing Application of fountain forward error correction codes in multi-link multi-path mobile networks
US9136981B2 (en) * 2010-03-03 2015-09-15 Qualcomm Incorporated Block aggregation of objects in a communication system
CN101917625A (zh) * 2010-06-03 2010-12-15 北京邮电大学 一种基于联合信源-网络编码的可分级视频流传输方法
US9485546B2 (en) 2010-06-29 2016-11-01 Qualcomm Incorporated Signaling video samples for trick mode video representations
US9185439B2 (en) 2010-07-15 2015-11-10 Qualcomm Incorporated Signaling data for multiplexing video components
US9596447B2 (en) 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US8806050B2 (en) 2010-08-10 2014-08-12 Qualcomm Incorporated Manifest file updates for network streaming of coded multimedia data
JP5682253B2 (ja) * 2010-11-22 2015-03-11 富士通株式会社 プログラムおよび通信装置
WO2012086141A1 (ja) * 2010-12-20 2012-06-28 パナソニック株式会社 送信装置、受信装置及び送信方法
EP2485493A3 (en) * 2011-02-03 2013-01-02 Broadcom Corporation Method and system for error protection of 3D video
US8751565B1 (en) 2011-02-08 2014-06-10 Google Inc. Components for web-based configurable pipeline media processing
US9270299B2 (en) 2011-02-11 2016-02-23 Qualcomm Incorporated Encoding and decoding using elastic codes with flexible source block mapping
US20120208580A1 (en) * 2011-02-11 2012-08-16 Qualcomm Incorporated Forward error correction scheduling for an improved radio link protocol
US8681866B1 (en) 2011-04-28 2014-03-25 Google Inc. Method and apparatus for encoding video by downsampling frame resolution
US9106787B1 (en) 2011-05-09 2015-08-11 Google Inc. Apparatus and method for media transmission bandwidth control using bandwidth estimation
CN102148665B (zh) * 2011-05-25 2013-05-08 电子科技大学 一种lt码的译码方法
US10498359B2 (en) * 2011-07-14 2019-12-03 Microsoft Technology Licensing, Llc Correction data
US9113470B2 (en) * 2011-08-26 2015-08-18 Texas Instruments Incorporated Systems and methods for network coding using maximum distance separable (MDS) linear network codes
US9112916B2 (en) * 2011-08-26 2015-08-18 Texas Instruments Incorporated Systems and methods for construction of and network coding using near-maximum distance separable (MDS) linear network codes
US9253233B2 (en) 2011-08-31 2016-02-02 Qualcomm Incorporated Switch signaling methods providing improved switching between representations for adaptive HTTP streaming
US9843844B2 (en) 2011-10-05 2017-12-12 Qualcomm Incorporated Network streaming of media data
US8856624B1 (en) * 2011-10-27 2014-10-07 Google Inc. Method and apparatus for dynamically generating error correction
US9490850B1 (en) 2011-11-28 2016-11-08 Google Inc. Method and apparatus for decoding packetized data
US9294226B2 (en) 2012-03-26 2016-03-22 Qualcomm Incorporated Universal object delivery and template-based file delivery
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US10034023B1 (en) 2012-07-30 2018-07-24 Google Llc Extended protection of digital video streams
US9060252B2 (en) * 2012-07-31 2015-06-16 International Business Machines Corporation Rate adaptive transmission of wireless broadcast packets
TWI485992B (zh) * 2012-08-31 2015-05-21 Ind Tech Res Inst 猛禽碼之編碼加速裝置與方法
US9025458B2 (en) * 2012-10-23 2015-05-05 Verizon Patent And Licensing Inc. Reducing congestion of media delivery over a content delivery network
US10015486B2 (en) * 2012-10-26 2018-07-03 Intel Corporation Enhanced video decoding with application layer forward error correction
CN103795996B (zh) * 2012-11-01 2016-08-03 上海贝尔股份有限公司 3d视频传递方法和设备
CN102932107B (zh) * 2012-11-08 2015-03-04 林子怀 基于有限长lt码的不等错误保护方法
US9172740B1 (en) 2013-01-15 2015-10-27 Google Inc. Adjustable buffer remote access
US9311692B1 (en) 2013-01-25 2016-04-12 Google Inc. Scalable buffer remote access
US9225979B1 (en) 2013-01-30 2015-12-29 Google Inc. Remote access encoding
CN103209325B (zh) * 2013-02-26 2016-03-09 西北农林科技大学 一种交叉容错熵编码方法
CA2908850C (en) * 2013-04-08 2018-03-27 Arris Technology, Inc. Individual buffer management in video coding
CN103457704B (zh) * 2013-09-17 2017-02-01 桂林电子科技大学 一种度分布随机数序列的同步重现控制方法及系统
RU2573243C2 (ru) 2013-10-28 2016-01-20 Общество с ограниченной ответственностью "Топкон Позишионинг Системс" Способ и устройство для измерения текущего отношения сигнал/шум при декодировании ldpc-кодов (варианты)
CN103944675B (zh) * 2014-04-04 2017-08-04 浙江大学 适合物理层无速率编码传输的自适应流水线传输方法
WO2016022982A1 (en) * 2014-08-08 2016-02-11 University Of Florida Research Foundation, Inc. Joint fountain coding and network coding for loss-tolerant information spreading
WO2016110275A1 (zh) * 2015-01-08 2016-07-14 上海交通大学 一种基于媒体内容的fec机制
CN106603193B (zh) * 2015-10-16 2019-11-15 上海交通大学 一种基于媒体内容的fec方法
JP6529299B2 (ja) * 2015-03-20 2019-06-12 キヤノン株式会社 送信装置、受信装置、方法及びプログラム
US10142049B2 (en) 2015-10-10 2018-11-27 Dolby Laboratories Licensing Corporation Near optimal forward error correction system and method
US10637607B2 (en) * 2016-09-15 2020-04-28 Huawei Technologies Co., Ltd. Method and apparatus for encoding data using a polar code
US10708728B2 (en) * 2016-09-23 2020-07-07 Qualcomm Incorporated Adaptive modulation order for multi-user superposition transmissions with non-aligned resources

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6219157B1 (en) * 1992-06-18 2001-04-17 Canon Kabushiki Kaisha Image coding apparatus
JP3210082B2 (ja) * 1992-07-14 2001-09-17 キヤノン株式会社 符号化装置及びその方法
US5805223A (en) * 1994-05-25 1998-09-08 Canon Kk Image encoding apparatus having an intrapicture encoding mode and interpicture encoding mode
WO1998058468A1 (fr) * 1997-06-19 1998-12-23 Kabushiki Kaisha Toshiba Systeme de transmission avec multiplexage de donnees d'information, multiplexeur et demultiplexeur utilises a cet effet et codeur et decodeur pour correction d'erreurs
KR100724921B1 (ko) 2001-02-16 2007-06-04 삼성전자주식회사 통신시스템에서 부호 생성 및 복호 장치 및 방법
EP1479245A1 (en) * 2002-01-23 2004-11-24 Nokia Corporation Grouping of image frames in video coding
US20050268202A1 (en) * 2004-05-28 2005-12-01 Molisch Andreas F Quasi-block diagonal low-density parity-check code for MIMO systems
US7152199B2 (en) * 2004-06-02 2006-12-19 Teknovus, Inc. Method and apparatus for delineating data in an FEC-coded Ethernet frame
US8374238B2 (en) * 2004-07-13 2013-02-12 Microsoft Corporation Spatial scalability in 3D sub-band decoding of SDMCTF-encoded video
JP2006339775A (ja) * 2005-05-31 2006-12-14 Kddi R & D Laboratories Inc スケーラブル動画像伝送システム
US20070104225A1 (en) * 2005-11-10 2007-05-10 Mitsubishi Denki Kabushiki Kaisha Communication apparatus, transmitter, receiver, and error correction optical communication system
US8464120B2 (en) * 2006-10-18 2013-06-11 Panasonic Corporation Method and system for data transmission in a multiple input multiple output (MIMO) system including unbalanced lifting of a parity check matrix prior to encoding input data streams
JP5507813B2 (ja) * 2007-02-16 2014-05-28 パナソニック株式会社 送信装置及び受信装置
KR20090004661A (ko) * 2007-07-04 2009-01-12 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
JP4674226B2 (ja) * 2007-08-22 2011-04-20 日本電信電話株式会社 通信路符号化方法及び通信路符号化システム及び階層的通信路符号化プログラム及び階層的通信路復号プログラム

Also Published As

Publication number Publication date
WO2009039903A1 (en) 2009-04-02
CA2702017A1 (en) 2009-04-02
CN101842990A (zh) 2010-09-22
US20090080510A1 (en) 2009-03-26
US8233532B2 (en) 2012-07-31
RU2461052C2 (ru) 2012-09-10
CN101842990B (zh) 2013-12-25
KR101159432B1 (ko) 2012-07-13
JP2010539832A (ja) 2010-12-16
EP2201691A1 (en) 2010-06-30
RU2010109207A (ru) 2011-10-27
EP2201691B1 (en) 2020-03-11
BRPI0815934A2 (pt) 2018-10-09
BRPI0815934B1 (pt) 2020-12-29
KR20100057656A (ko) 2010-05-31
CA2702017C (en) 2015-01-27

Similar Documents

Publication Publication Date Title
JP5523321B2 (ja) 情報信号、情報コンテンツを符号化するための装置及び方法、並びに情報信号の誤り訂正のための装置及び方法
US10361810B2 (en) Data packet transmission/reception apparatus and method
JP5374768B2 (ja) 追加的なネットワーク抽象化層(nal)を用いるマルチメディア・データの保護方法
US9071274B2 (en) Systems, methods, apparatus and computer program products for highly reliable file delivery using compound and braided FEC encoding and decoding
US7594154B2 (en) Encoding and decoding modules with forward error correction
KR20080046227A (ko) 무선 통신 채널을 통해 비압축 영상 전송하기 위한 데이터분할, 부호화 방법 및 시스템
US9077378B2 (en) Integrated-interleaved low density parity check (LDPC) codes
US20110187565A1 (en) Efficient rateless distributed compression of non-binary sources
US9667384B2 (en) Apparatus and method for transmitting and receiving forward error correction packet
JP4603518B2 (ja) 符号化装置及び復号化装置
CA2978212A1 (en) Transmitting apparatus and transmitting method thereof
Hellge et al. Receiver driven layered multicast with layer-aware forward error correction
Shahnas Performance Analysis of Regular and Irregular LDPC Codes on SPIHT Coded Image Data
KR102014710B1 (ko) 방송 및 통신 시스템에서 패킷 송/수신 장치 및 방법
Bui et al. Content-aware raptorq
Kondrad et al. LDPC fec code extension for unequal error protection in 2ND generation DVB systems
Kondrad et al. LDPC FEC code extension for unequal error protection in DVB-T2 system: design and evaluation
Nagpure et al. Applications of Information Theory in Communication Engg
渡辺良人 Cross-layer communication system designs exploiting statistical property of sources
Omura et al. Error resilient 3D DWT video transmission using invertible codes
Ma et al. A family of fast index and redundancy assignments for error resilient multiple description coding

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120709

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130108

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130404

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130813

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20131106

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20131113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140408

R150 Certificate of patent or registration of utility model

Ref document number: 5523321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250