JP4880222B2 - 前方エラー訂正符号を用いる映像のドリフトのない一部の複数記述チャネル符号化のシステム及び方法 - Google Patents

前方エラー訂正符号を用いる映像のドリフトのない一部の複数記述チャネル符号化のシステム及び方法 Download PDF

Info

Publication number
JP4880222B2
JP4880222B2 JP2004561824A JP2004561824A JP4880222B2 JP 4880222 B2 JP4880222 B2 JP 4880222B2 JP 2004561824 A JP2004561824 A JP 2004561824A JP 2004561824 A JP2004561824 A JP 2004561824A JP 4880222 B2 JP4880222 B2 JP 4880222B2
Authority
JP
Japan
Prior art keywords
base layer
same priority
descriptions
enhancement layer
partitions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004561824A
Other languages
English (en)
Other versions
JP2006511157A (ja
Inventor
チュル イエ,ジョン
チェン,インウェイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2006511157A publication Critical patent/JP2006511157A/ja
Application granted granted Critical
Publication of JP4880222B2 publication Critical patent/JP4880222B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、映像符号化システムに関する。本発明は、特に、ロバストで効率的な映像伝送を可能にする先進的なソース符号化スキームに関する。
画像/映像符号化のための新たなマルチメディア圧縮規格は、複数解像度(MR)又は符号化ビットストリームの階層化表現の方向に展開している。例えば、スケーラビリティを支援するために、次世代の画像及び映像圧縮規格、即ち、JPEG−2000及びMPEG−4を強力に推し進めている。
スケーラブルな映像符合化は、一般に、異なる、映像のフレーム当たりのデータの量又はレベルを与えることができる符合化技術をいう。今日、そのような技術は、符合化された影像データを出力するときにフレキシビリティを提供するために、例えば、MPEG−1、MPEG−2及びMPEG−4等の映像符合化規格により用いられている。MPEG−1及びMPEG−2映像圧縮技術は自然映像からの矩形ピクチャに限定されている一方、MPEG−4 visualの範囲はかなり広い。MPEG−4 visualは、自然映像及び合成映像の両方が符合化されることを可能にし、シーンにおける個別のオブジェクトへのコンテンツに基づくアクセスを与える。
スケーラブルな符合化スキームに対する基礎的前提又はデザイン開始ポイントは、ベースレイヤに対する最小ビットレートと損失率、及びより上位のレイヤに対するビットレートと損失率の他の好ましくない集合を生成するために、異なる映像ビットストリームレイヤに不同等のエラー保護を適用することができることである。その前提は、屋内の無線LAN又は将来の差別化サービスを有するインターネットのような多くのネットワークにおいて有効であるが、各々自体がボトルネックを有する種々の経路の集合が送信器と受信器との間に存在するインターネット又はマルチアンテナ伝送システムのような、多くの他のタイプのネットワークにおいては無効であり又は最適ではない。このことは、それ故、多様な経路を有するネットワークに効率的にマッピングされる圧縮映像の複数の記述を生成する効率的な機構に対する要請を強調するものである。
複数の記述(MD)のソース符号化は、同等且つ無相関エラー特性を有する複数のチャネルに対するロバスト伝送のための交互フレームワークとして、最近、出現したものである。そのようなチャネルの例は、インターネット又は複数のアンテナ−無線システムのような、最善努力式の異種パケットネットワークにおいてみられる。
MD符号化の基本的概念は、各々の記述が特定の忠実度を有するソースを独立して記述するようなソースの複数の独立した記述を生成し、2つ以上の記述が利用可能であるとき、それらの記述が再構成されるソース品質をエンハンスするように相乗効果的に結合されることができることである。MD符号化に関する従来の業績の殆どは、記述間の相関を有するMDスカラ量子化器及び変換器のような、ソース符号化に基づく方法に限られている。映像符号化分野においては、MDの業績の殆どは動き推定及び補償の特徴に焦点が当てられており、それ故、n個の記述(n>2)のケースを生成するようにそれらの方法を一般化することは困難である。即ち、この方法による主な短所は、各々の記述における基準の不整合を符号化且つ送信する必要性のために3つ以上の記述に対するスケーラビリティの欠如である。更に、今日のMDC映像−符号化器構造は、当該技術分野の現状、即ち、MPEG−4のような映像符号化規格とは非常に異なり、それと比べて複雑であり、それ故、MDCは現在の形のままでは、近い将来における多くのアプリケーションに対して広く受け入れられるようにはみえない。即ち、他の短所は、符号化及び復号化の両方のためのMPEG及びH.263又はH.26Lのような既存の符号化規格とそれが適合していないことである。それ故、MD−MCビットストリームを復号化するためには、専用のMD復号化器が必要である。
非常に興味深いMDCにおける他の分野は、レイヤ化(スケーラブル)されたビットストリームから複数の記述を構成する順方向エラー訂正符号(MD−FEC)を用いて、複数の記述の符号化である。MD−MCのようなソース符号化に基づく方法とは対照的に、MD−FECは記述を訂正するためにチャネル符号化を採用し、それ故、同等な優先順位を用いて複数の記述を生成するようにこの訂正を用いている。
MD−FECは、複数の記述に対してスケーラブルなビットストリームをトランスコーディングするために良好なフレームワークを備えている一方、今日の映像符号化規格の多くは、それらの単純性と効率性のために、動き補償予測及びDCT符号化(MC−DCT)を採用している。しかしながら、画像符号化又は映像符号化の場合とは異なり、MC−DCTのためのMD−FECの拡張は、符号化及び復号化中に用いられる基準の不適合のために1つ又はそれ以上の記述の損失が時間予測ドリフトをもたらすために、困難である。
本発明は、MPEG−4 Fine−Granular Scalability(FGS)のような多層スケーラブルな符号化スキームとMD−FECを結合させることにより上記のドリフトの問題点に対処するものである。
本発明の一特徴は、ソース符号化動作を変化することなく、多層スケーラブルビットストリーム(MPEG−4FGS等)により圧縮映像の複数の記述を生成するための簡単で、高効率の方法を提供することである。
本発明の他の特徴に従って、従来の複数の記述の符号化技術におけるような映像を再構成するために整数個の記述を必要とすることに代えて、分数個の記述を、映像を再構成するために用いることができる。
本発明の他の特徴に従って、どのようなチャネルが復号化器に達しようと少なくとも1つの記述がある限り、結果としての映像にはドリフトはない。
本発明の一実施形態は、未符号化入力映像データのDCT係数を決定する段階を有する映像データを符号化するための方法であって、fine−granular scalability符号化に従って、DCT係数をベースレイヤビットストリームとエンハンスメントレイヤビットストリームとに符号化する段階と、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを複数の同等の優先順位の記述に変換する段階と、複数の同等の優先順位の記述を復号化する段階と、を有する方法を提供する。
本発明の他の実施形態は、入力映像データを処理するためのシステムを提供する。そのシステムは、入力映像データのDCT係数を決定するための手段と、fine−granular scalability符号化に従って、DCT係数をベースレイヤとエンハンスメントレイヤとに符号化するための手段と、ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームを複数の同等の優先順位の記述に変換するための手段と、複数の同等の優先順位の少なくとも1つを復号化するための手段と、を有する。
以上の簡潔な要旨については、本発明が容易に理解できるように提供している。本発明の更に詳細な理解は、添付図面を参照して以下に詳述している好適な実施形態により得られる。
以下の詳細説明においては、限定目的ではなく例示目的として、本発明の全体としての理解が得られるように、特定のアーキテクチャ、インタフェース、技術等として特定の詳細について説明している。しかしながら、それらの特定の詳細から逸脱することなく、他の実施形態において本発明を実行することが可能であることは、当業者には明らかであろう。簡単化及び明瞭化のために、以下の詳細説明については、不必要な詳細を伴って、本発明の説明が不明瞭にならないように、周知の装置、回路及び方法についての詳細説明は省略した。
本発明についての理解を容易にするために、スケーラブルな映像符号化の背景について、ここで説明することにする。
スケーラブルな映像符合化は、広い範囲の処理能力を有する符号化器を用いるシステムにおいて用いられる多くのマルチメディアアプリケーション及びサービスに対して好ましい特徴である。スケーラビリティは、低い計算能力を有する処理器がスケーラブルな映像ストリームのサブセットのみを復号化することを可能にする。幾つかの映像スケーラビリティの方法は、例えば、MPEG−2及びMPEG−4のようなリード映像圧縮規格により採用されている。時間、空間及び品質(即ち、信号−ノイズ比(SNR))スケーラビリティタイプが、それらの規格において規定された。それらの方法全ては、ベースレイヤ(BL)及びエンハンスメントレイヤ(EL)を有する。スケーラブルな映像ストリームのベースレイヤ部分は、一般に、そのストリームを復号化するために必要なデータの最小量を表す。そのストリームのエンハンスメントレイヤ部分は付加情報を表し、それ故、受信器により復号化されるときに、映像信号表現を改善する。
例えば、インターネットのような可変帯域幅システムにおいて、ベースレイヤ伝送レートは、可変帯域幅システムの保証された最小伝送レートに設定されることが可能である。それ故、加入者が保証された最小帯域幅256kbpsを有する場合、ベースレイヤレートは又、256kbpsにおいて設定されることが可能である。実際に利用可能な帯域幅が384kbpsである場合、そのベースレイヤレートで伝送されるベース信号を改善するために、帯域幅の付加128kbpsを用いることが可能である。
各々のタイプの映像スケーラビリティに対して、特定のスケーラビリティ構造が識別される。スケーラビリティ構造は、ベースレイヤのピクチャとエンハンスドレイヤのピクチャの間の関係を規定する。スケーラビリティの1つのクラスはfine−granular scalability(FGS)である。このタイプのスケーラビリティを用いて符合化された画像は次第に復号化されることができる。換言すれば、復号化器は、画像を符合化するために用いられるデータのサブセットのみを用いてその画像を複合化し、表示することが可能である。更なるデータが受信されるとき、復号化された画像の品質は、完全な情報が受信され、復号化されそして表示されるまで、次第にエンハンスされる。
提案されたMPEG−4規格は、例えば、テレビ電話、モバイルマルチメディア/音声映像通信、マルチメディア電子メール、遠隔設定、インタラクティブゲーム等の非常に小さいビットレートの符合化に基づく映像ストリーミングアプリケーションに対処する。MPEG−4規格において、fine−granular scalability(FGS)は、ネットワーク化映像配信の基幹技術として認識されている。FGSは、映像がリアルタイムに異種ネットワークに亘ってストリーミングされるアプリケーションを主に対象としている。そのFGSは、映像伝送サーバが映像ビットストリームの構文解析又は詳細知識において伝送レートを動的に変化させることができること、及びビットレートの範囲に対して一回コンテンツを符合化することにより、帯域幅適応性を提供する。
多くの映像符合化技術は、ウェーブレット、ビットプレーンDCT及びmatching pursuitsを有するエンハンスメントレイヤのFGS圧縮に対して提供されてきた。FGSのための基準として採用されたビットプレーン符号化スキームは、符号化器側において次の段階を有し、それらの符合化段階は復号化側において反転される。
1.ベースレイヤ量子化及び逆量子化の後の、再構成されたDCT係数を各々のオリジナルのDCT係数から減算することによるDCTドメインにおける残差算出段階
2.映像オブジェクトプレーン(VOP)における残差信号の絶対値の全ての最大値と、この最大値に対する最大ビット数nとを決定する段階
3.VOPにおける各々のブロックに対して、バイナリフォーマットにおいてnビットを有する残差信号の各々の絶対値を表し、nビットプレーンを生成する段階
4.残差信号の絶対値のビットプレーン符合化段階
5.ベースレイヤにおいて0に量子化されるDCT係数の符号の符合化段階
DCT係数のビットプレーン符合化の現在の実施はベースレイヤ量子化情報に依存することに留意されたい。エンハンスメントレイヤへの入力信号は、動き補償ピクチャのオリジナルのDCT係数と、ベースレイヤ符合化中に用いられる下位量子化セルのDCT係数との間の差として主に計算される(これは、ベースレイヤ再構成DCT係数が非ゼロであるとき真であり、そうでないと、減算値としてゼロが用いられる)。ここでは、残差信号を計算するために“基準”信号として下位量子化セル境界が用いられるため、ベースレイヤDCTがゼロに量子化されるときを除いて、残差信号は常に正である。
図1を参照するに、本発明の好適な実施形態に従った、順方向エラー訂正符号トランスコーダ20及び復号化器40を用いるドリフトのないFractional Multiple−Description Joint−Source Channel Codingの本発明のシステム10を示している。上記のように、トランスコーダ20(又は、サーバ)への入力はMPEG4−FGSビットストリーム(ベースレイヤビットストリーム及びエンハンスメントレイヤビットストリーム)であることが可能である。ここでは、入力映像は、ネットワーク接続、ファックス/モデム接続、映像ソース又はディジタルビデオカメラ等のいずれのタイプの映像補足装置を介して入力されることが可能である。トランスコーダ20は、それ故、入力映像を優先順位が同等であるm+1個の記述(D0,D1,D2,...,Dm)に変換される。複数の記述を生成することの詳細については、図2乃至4を参照して本明細書において下で説明する。
トランスコーダ20は、(m+1)個の記述を(m+1)個の別個のチャネルにより送信し、次いで、復号化器40は、映像を再構成するために受信した記述を収集する。トランスコーダ20は、動作中に全部の記述を送信する又はドロッピングするのではなく、記述の一部のみを送信することが可能であることに留意されたい。しかしながら、本発明の符合化スキームに従って、復号化器40は入力映像を回復させることができる。例えば、2つの記述、D0及びDmは失われたが、D2は部分的に受信される場合、復号化器40は、部分的記述を有するそれらの記述全てを結合させ、下で説明するように、それらの完全な及び部分的な記述の中から最良の有効な映像品質を生成する。
図2を参照するに、MPEG4−FGSビットストリームはブロックの階層に配列され、ここで、B0はベースビットストリームを表し、Biはi番目のビットプレーンエントロピー符合化情報を表し、Biは、MPEG4−FGSの性質のために、i<jの場合に、Bjより高い優先順位を有する。それ故、全てのiに対して、Biは、ここでは、(i+1)個の同等の優先順位のパーティションP0,...,Piに分割される。
図3を参照するに、MPEG4−FGSの場合、同等の優先順位のパーティションを、特定のブロックに対するビットプレーンを交互にスキップすることにより容易に生成することができる。例えば、ブロック位置P0における8x8ブロックのエントロピー符合化情報はパーティションB2−P0に含まれる一方、ブロックP2はパーティションB2−P2等に挿入される。それ故、B2−P0、B2−P1、B2−P2の寄与は互いに直交しており、同等の優先順位を有する。
各々のビットプレーンのパーティション化の後、MPEG4−FGSビットストリームの階層は、図4の左上の角の三角形部分のようになる。各々のレイヤBiに対して(i+1)個の同等の優先順位のパーティションが存在し、チャネル符合化は、順方向エラー訂正符号(FEC)を用いて右下の角の三角形部分を埋める。即ち、i番目のプレーン又はエンハンスメントレイヤに対して、BiのためのFEC符号を、((m+1),(i+1))−Reed Solomon(RS)符号を用いて生成することができる。次いで、全てのiに対して、レイヤBiは、(i+1)+(m+1−(i+1))=(m+1)個の同等の優先順位のパーティションを有し、それらの中から、(i+1)個のパーティションがスプリッティング(パーティショニング)によりi番目のエンハンスメントレイヤビットストリームから直接生成され、付加的な(m+1)個のパーティションがFECにより生成される。各々の記述D0,D1,...,Dmは、次いで、図4に示すように、垂直方向にベースレイヤ及びエンハンスメントレイヤにおける全てのパーティションを収集することにより構築される。同等の優先順位(D0,D1,...,Dm)を有する各々の垂直方向に構築されたパーティションは、トランスコーダ20により入力映像から変換され、復号化器40に送られる。
複数の記述の構成から、いずれの(k+1)個の記述が受信される場合、復号化器40は、k個のエンハンスメントレイヤ又はk個のMSBビットプレーン及び少なくともベースレイヤを有する映像を復号化することができる。更に、MPEG4−FGSの場合、動き補償ループはベースレイヤのみにおいて動作し、それ故、再構成映像は、ベースレイヤが最低品質に対して必要とされるために、復号化器40が少なくとも1つの記述を常に受信する限り、ドリフトがない。
映像を再構成するために整数個の記述を必要とする従来の複数記述符合化とは異なり、FMD−FECは、前段落において説明したように分数個の記述を可能にし、それ故、大きい帯域幅変動を扱う場合に適応性はより高い。更に具体的には、復号化器40が2つの完全な記述D0及びD1並びに部分記述Dmを受信する場合であって、B0−FEC、B1−FEC及び半分のB2−FECのみを有する一方、チャネルmの処理能力低下に遭遇してサーバがDmの一部のみを送信することを決定したために残りの情報(B2−FECの他の半分、B3−FEC、...及びBm−Pm)が失われた場合、本発明の教示するところに従ったFMD−FEC復号化器40は、B2−FECの一部の情報を用いてB3−P2の一部、B3−P0及びB3−P1を再構成することができる。これは、ビットプレーン符合化が本質的にシーケンシャルであるために可能であり、FECは又、図4に示すように、シーケンシャルな方式で構成される。
要約すると、本発明の実施形態に従ったFMD−FECは、n>2に対するn個の記述を容易に生成することができ、ソース符号化部分の変更を必要とせず、それ故、既存の符号化規格に準拠しており、分数記述をサーバに送信することができ且つ復号化器において復号化することができ、そして、少なくとも1つの記述が復号化器に達する限り、ドリフトを有しない。
図5は、図1に示しているシステムの機能性を説明するためのフロー図である。先ず、段階S100においては、オリジナルの符号化されていない映像データ画システム100に入力される。この映像データは、ネットワーク接続、ファックス/モデム接続又は映像ソースにより入力されることが可能である。本発明の目的のために、映像ソースは、例えばディジタルビデオカメラである、いずれのタイプのビデオ捕捉装置を有することができる。
次いで、段階S120において、一技術、即ち、MPEG−4 FGS符号化器を用いてオリジナルの映像データを符号化し、次いで、図1に示すように、ベースビットストリームとエンハンスメントビットストリームとに分割する。段階S140において、受信されたベースビットストリームとエンハンスメントビットストリームが、複数の記述(MD)のパケットストリームに変換される。
最終的に、段階160において、トランスコーダ20の出力が復号化器40により受信され、最低品質に対して必要とされるベースレイヤとしての少なくとも1つの記述に基づいて復号化される。
上記の、本発明の実施形態は、好適には、コンピュータ符号として実施されるが、図5に示す段階の一部又は全部は、個別のハードウェア要素及び/又は論理回路を用いて実施されることができる。又、本発明の符号化及び復号化技術については、PC環境下で説明したが、それらの技術は、ディジタルテレビジョン/セットトップボックス、テレビ会議装置等を有する、何れのタイプの映像装置を使用することができるが、それらに限定されるものではない。
このような関連で、本発明については、特定の例示としての実施形態を参照して上記のように説明した。本発明は上記の実施形態及びそれらの変形に限定されるものではなく、本発明の主旨及び同時提出の特許請求の範囲から逸脱することなく、種々の変更及び修正を当業者が実行することができることが理解されるであろう。
本発明の好適な実施形態に従った、映像符号化及び復号化システムを示す図である。 本発明の好適な実施形態に従った、同等の重要性のMPEG−4 FGSビットプレーンユニットのパーティショニングを示す映像パケット構造を示す図である。 本発明の好適な実施形態に従った、同等の重要性の3つのパーティションにビットプレーンB2を分割する処理を示す映像パケット構造を示す図である。 本発明の好適な実施形態に従った、複数の記述の構成を示す図である。 図1に示しているシステムの機能性を説明するためのフロー図である。

Claims (11)

  1. 前方エラー訂正を用いる、映像データの複数記述チャネル符号化方法であって;
    入力映像データを受信するステップ;
    未符号化映像データについてDCT係数を決定するステップ;
    fine−granular scalability符号化に従って、DCT係数をベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームに符号化するステップ;並びに
    前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームを複数の同一優先順位の記述に変換するステップ;
    を有する方法であり、
    前記複数の同一優先順位のパーティションは、所定の基準に従う及び複数個の分数倍の記述を可能にする、ベースレイヤビットストリーム、エンハンスメントレイヤビットストリーム及び前方エラー訂正(FEC)符号から生成されたパーティションを有し、前記前記複数の同一優先順位のパーティションは、互いに直交し、同一優先順位を有するパーティションを有する特定のブロックについてのビットプレーンを交互にスキップすることにより生成される
    ことを特徴とする方法。
  2. 請求項1に記載の方法であって:
    異なる送信チャネルにおいて前記変換された記述のレイヤを送信するステップ;
    を更に有する、ことを特徴とする方法。
  3. 請求項1に記載の方法であって:
    前記の複数の同一優先順位の記述を復号化するステップ;
    を更に有する、ことを特徴とする方法。
  4. 請求項3に記載の方法であって、前記復号化するステップは、前記複数の同一優先順位の記述の少なくとも1つに基づいて実行される、ことを特徴とする方法。
  5. 入力映像を符号化する装置であって:
    入力映像データを受信するステップと、未符号化映像データについてDCT係数を決定するステップと、fine−granular scalability符号化に従って、DCT係数をベースレイヤビットストリーム及びエンハンスメントレイヤビットストリームに符号化するステップと、前記ベースレイヤビットストリーム及び前記エンハンスメントレイヤビットストリームを複数の同一優先順位の記述に変換するステップと、を有する複数のコンピュータ実行可能処理ステップを記憶するメモリ;並びに
    (i)fine−granular scalability符号化に従って符号化された入力映像データを有するベースレイヤ及びエンハンスメントレイヤを受信し、(ii)前記ベースレイヤ及び前記エンハンスメントレイヤを複数の同一優先順位の記述に変換し、(iii)異なる複数の送信チャネルにおいて前記変換された同一優先順位の記述を送信するように、前記メモリに記憶されている前記複数の処理ステップを実行する処理器;
    を有する装置であり、
    前記複数の同一優先順位のパーティションは、所定の基準に従って、ベースレイヤビットストリーム、エンハンスメントレイヤビットストリーム及び前方エラー訂正(FEC)符号から生成されたパーティションを有し、前記前記複数の同一優先順位のパーティションは、互いに直交し、同一優先順位を有するパーティションを有する特定のブロックについてのビットプレーンを交互にスキップすることにより生成される
    ことを特徴とする装置。
  6. 請求項5に記載の装置であって:
    前記複数の同一優先順位の記述の少なくとも1つを復号化する復号化手段;
    を有することを特徴とする装置。
  7. 請求項6に記載の装置であって、前記復号化手段はMPEG−4復号化器である、ことを特徴とする装置。
  8. 入力映像データを処理するシステムであって;
    前記入力映像データのDCT係数を決定する手段;
    fine−granular scalability符号化に従って、前記入力映像データを有するベースレイヤ及びエンハンスメントレイヤに前記DCT係数を符号化する手段;並びに
    前記ベースレイヤ及び前記エンハンスメントレイヤを複数の同一優先順位の記述に変換する手段;
    を有するシステムであり、
    前記複数の同一優先順位のパーティションは、所定の基準に従って、ベースレイヤビットストリーム、エンハンスメントレイヤビットストリーム及び前方エラー訂正(FEC)符号から生成されたパーティションを有し、前記前記複数の同一優先順位のパーティションは、互いに直交し、同一優先順位を有するパーティションを有する特定のブロックについてのビットプレーンを交互にスキップすることにより生成される
    ことを特徴とするシステム。
  9. 請求項8に記載のシステムであって:
    異なる送信チャネルにおいて前記複数の同一優先順位の記述レイヤの少なくとも1つを送信する手段;
    を更に有する、ことを特徴とするシステム。
  10. 請求項8に記載のシステムであって:
    前記の複数の同一優先順位の記述の少なくとも1つを復号化する手段;
    を更に有する、ことを特徴とするシステム。
  11. 請求項に記載のシステムであって、前記復号化手段はMPEG−4復号化器である、ことを特徴とするシステム。
JP2004561824A 2002-12-19 2003-12-10 前方エラー訂正符号を用いる映像のドリフトのない一部の複数記述チャネル符号化のシステム及び方法 Expired - Fee Related JP4880222B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US43454802P 2002-12-19 2002-12-19
US60/434,548 2002-12-19
PCT/IB2003/005870 WO2004057876A1 (en) 2002-12-19 2003-12-10 System and method for drift-free fractional multiple description channel coding of video using forward error correction codes

Publications (2)

Publication Number Publication Date
JP2006511157A JP2006511157A (ja) 2006-03-30
JP4880222B2 true JP4880222B2 (ja) 2012-02-22

Family

ID=32682058

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004561824A Expired - Fee Related JP4880222B2 (ja) 2002-12-19 2003-12-10 前方エラー訂正符号を用いる映像のドリフトのない一部の複数記述チャネル符号化のシステム及び方法

Country Status (7)

Country Link
US (1) US20060109901A1 (ja)
EP (1) EP1576828A1 (ja)
JP (1) JP4880222B2 (ja)
KR (1) KR100952185B1 (ja)
CN (1) CN100508622C (ja)
AU (1) AU2003303114A1 (ja)
WO (1) WO2004057876A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7020828B2 (en) * 2001-10-23 2006-03-28 Koninklijke Philips Electronics N.V. Trellis encoder with rate 1/4 and 1/2 for a backward compatible robust encoding ATSC DTV transmission system
US7792982B2 (en) * 2003-01-07 2010-09-07 Microsoft Corporation System and method for distributing streaming content through cooperative networking
CN1754385B (zh) * 2003-02-21 2010-07-21 日本电气株式会社 图像数据分发装置、方法及图像数据接收方法
US7146185B2 (en) * 2003-06-12 2006-12-05 Richard Lane Mobile station-centric method for managing bandwidth and QoS in error-prone system
EP1638337A1 (en) 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
ITTO20040780A1 (it) * 2004-11-09 2005-02-09 St Microelectronics Srl Procedimento e sistema per il trattamento di segnali a descrizioni multiple, relativo prodotto informatico
ITTO20040781A1 (it) * 2004-11-09 2005-02-09 St Microelectronics Srl Procedimento per adattare in modo dinamico il bit-rate di un segnale digitale alla larghezza di banda disponibile, relativi dispositivi e prodotto informatico corrispondente
CA2644753A1 (en) * 2006-03-03 2007-09-13 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
KR100772878B1 (ko) 2006-03-27 2007-11-02 삼성전자주식회사 비트스트림의 비트율 조절을 위한 우선권 할당 방법,비트스트림의 비트율 조절 방법, 비디오 디코딩 방법 및 그방법을 이용한 장치
US8594137B2 (en) * 2007-02-20 2013-11-26 Teradici Corporation Apparatus and methods for image decoding
US20090172685A1 (en) * 2007-10-01 2009-07-02 Mevio Inc. System and method for improved scheduling of content transcoding
KR100961443B1 (ko) * 2007-12-19 2010-06-09 한국전자통신연구원 방송 서비스의 가용도 개선을 위한 계층적 전송/수신 장치및 그 방법
US8254469B2 (en) * 2008-05-07 2012-08-28 Kiu Sha Management Liability Company Error concealment for frame loss in multiple description coding
US8042143B2 (en) * 2008-09-19 2011-10-18 At&T Intellectual Property I, L.P. Apparatus and method for distributing media content
CN101729910B (zh) * 2008-10-15 2011-11-23 国家广播电影电视总局广播科学研究院 一种基于可分级比特流的数据传输方法和装置
US8406134B2 (en) 2010-06-25 2013-03-26 At&T Intellectual Property I, L.P. Scaling content communicated over a network
TW201223170A (en) * 2010-11-18 2012-06-01 Ind Tech Res Inst Layer-aware Forward Error Correction encoding and decoding method, encoding apparatus, decoding apparatus and system thereof
US9020029B2 (en) * 2011-01-20 2015-04-28 Alcatel Lucent Arbitrary precision multiple description coding
BR112015026244B1 (pt) * 2013-04-15 2023-04-25 V-Nova International Ltd Codificação e decodificação de sinal compatível com versões anteriores híbrido

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding

Also Published As

Publication number Publication date
CN100508622C (zh) 2009-07-01
JP2006511157A (ja) 2006-03-30
KR100952185B1 (ko) 2010-04-09
WO2004057876A1 (en) 2004-07-08
EP1576828A1 (en) 2005-09-21
CN1729696A (zh) 2006-02-01
KR20050085780A (ko) 2005-08-29
US20060109901A1 (en) 2006-05-25
AU2003303114A1 (en) 2004-07-14

Similar Documents

Publication Publication Date Title
JP4880222B2 (ja) 前方エラー訂正符号を用いる映像のドリフトのない一部の複数記述チャネル符号化のシステム及び方法
US6480547B1 (en) System and method for encoding and decoding the residual signal for fine granular scalable video
US6501797B1 (en) System and method for improved fine granular scalable video using base layer coding information
Wu et al. A framework for efficient progressive fine granularity scalable video coding
US6392705B1 (en) Multimedia compression system with additive temporal layers
US6233017B1 (en) Multimedia compression system with adaptive block sizes
US6788740B1 (en) System and method for encoding and decoding enhancement layer data using base layer quantization data
EP1110404B1 (en) System and method for scalable video coding
US6920179B1 (en) Method and apparatus for video transmission over a heterogeneous network using progressive video coding
US20070121723A1 (en) Scalable video coding method and apparatus based on multiple layers
JP2006087125A (ja) ビデオフレームシーケンスを符号化する方法、符号化ビットストリーム、画像又は画像シーケンスを復号する方法、データの送信又は受信を含む使用、データを送信する方法、符号化及び/又は復号装置、コンピュータプログラム、システム、並びにコンピュータ読み取り可能な記憶媒体
KR20040091686A (ko) 더 높은 질의 참조 프레임을 사용하는 fgst 코딩 방법
EP1671486A1 (en) System and method for combining advanced data partitioning and fine granularity scalability for efficient spatio-temporal-snr scalability video coding and streaming
CN102075766A (zh) 视频编码、解码方法、装置及视频编解码系统
JP2005535219A (ja) ハイブリッド予測コードを使用してマルチプル・ディスクリプション動き補償を実行する方法及び装置
Chaddha et al. A frame-work for live multicast of video streams over the Internet
US20060133483A1 (en) Method for encoding and decoding video signal
Mrak et al. Scalable video coding in network applications
Wu et al. Progressive fine granular scalable (PFGS) video using advance-predicted bitplane coding (APBIC)
Abdul-Hameed et al. Enhancing wireless video transmissions in virtual collaboration environments
Sun et al. MPEG-4/XML FGS approach to multicast video synchronization
Nejati Video transmission over wireless channels
Bai et al. Algorithms of MD
Zhang Robust scalable video compression using multiple description coding
Sawant Error resilient transmission of three-dimensional DCT coded video

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100203

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20111017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111108

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111201

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141209

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees