JP3831558B2 - エンコード方法及びエンコーダ - Google Patents

エンコード方法及びエンコーダ Download PDF

Info

Publication number
JP3831558B2
JP3831558B2 JP29907399A JP29907399A JP3831558B2 JP 3831558 B2 JP3831558 B2 JP 3831558B2 JP 29907399 A JP29907399 A JP 29907399A JP 29907399 A JP29907399 A JP 29907399A JP 3831558 B2 JP3831558 B2 JP 3831558B2
Authority
JP
Japan
Prior art keywords
bytes
frame
partial information
information bytes
byte
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP29907399A
Other languages
English (en)
Other versions
JP2000134619A (ja
Inventor
マクドナルド ボーイス ジル
Original Assignee
ルーセント テクノロジーズ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ルーセント テクノロジーズ インコーポレーテッド filed Critical ルーセント テクノロジーズ インコーポレーテッド
Publication of JP2000134619A publication Critical patent/JP2000134619A/ja
Application granted granted Critical
Publication of JP3831558B2 publication Critical patent/JP3831558B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0041Arrangements at the transmitter end
    • H04L1/0042Encoding specially adapted to other signal generation operation, e.g. in order to reduce transmit distortions, jitter, or to improve signal shape
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/0057Block codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/007Unequal error protection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Error Detection And Correction (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Description

【0001】
【発明の属する技術分野】
本発明はインターネットを介した符号化済みビデオ信号の送受信に関し、特に、MPEG、MPEG−2、H.261、及びH.263標準に用いられているような効率的なフレーム間圧縮符号化技法を用いて符号化されたビデオ信号の送受信に関する。
【0002】
【従来の技術】
あらゆるタイプのデータのインターネットを介した伝送が過去数年の間に急速に広まりつつあるため、最近では、デジタル的に符号化されたリアルタイムオーディオ及びビデオのユニバーサルデータグラムプロトコル(UDP)を用いた、インターネットを介しての送信に興味が持たれてきている。UDPは信頼性の低いプロトコルであるため、ネットワークパケット喪失(パケットロス)が発生する可能性があり、その結果として、受信されるオーディオ及びビデオの品質に悪影響を及ぼす。パケットロスからの回復は受信側によってのみなされるか、あるいは、送信側及び受信側の双方をエラー回復プロセスに関与させることによってよりよい品質が実現される。例えばATMのような、優先順位付けをサポートしているネットワークにおいては、パケットロスが発生する場合におけるビデオ品質が、スケーラブルビデオ符号化を用いることによって改善されうる(例えば、R.Aravind, M.Civanlar, A.Reibmanによる“MPEG−2スケーラブルビデオ符号化アルゴリズムにおけるパケットロス回復性”という表題の論文(IEEE Transactions on Circuits and Systems for Video Technology, Vol.6, No.5, October 1996)を参照)。しかしながら、現時点では、インターネットにおいては優先順位付けの広範囲なサポートはなされていない。送信側及び受信側の双方が関与する、インターネットを介したオーディオ及びビデオのストリーミングにおけるエラー回復に係るこれまで提案された方法についての概説は、C.Perkins及びO.Hodsonによる“ストリーミング媒体の修復に関する選択肢”という表題の文献(Internet Engineering Task Force Internet RFC 2354)、及び、G.Carle及びE.Biersackによる“IPベースのオーディオビジュアルマルチキャストアプリケーションに係るエラー回復技法の概観”という表題の文献(IEEE Network, November/December 1997)に記載されている。これらの概説に記載されている一般的な方法はオーディオ及びビデオの双方のIP伝送に適用可能であるが、特定の技法がインプリメントされたこれまでの研究の大部分はオーディオのみを含むものである。その高いデータレート及びフレーム間符号化によるエラー伝播のために、ビデオ品質を維持することはオーディオよりもはるかに難しく、それゆえ、オーディオ用の技法を直接ビデオ信号に適用することは不可能である。
【0003】
例えばMotion−JPEGやウエーブレットベースの方式等の、インターネットを介したデジタルビデオ伝送の現時点で一般的な方式の多くは、フレーム内符号化を用いている。MPEG−1、MPEG−2、H.261、及びH.263標準に用いられているようなフレーム間符号化技法は、一般的にはフレーム内符号化技法よりも圧縮率の点でより効率的である。しかしながら、フレーム間標準は、インターネットパケットロスの影響をより受けやすい。なぜなら、一つのフレームにおけるエラーが多くのフレームに亘って伝播するからである。MPEGビデオシーケンスは、フレーム内符号化(I)フレーム、フレーム間予測符号化フレーム(P)、及び双方向フレーム間符号化フレーム(B)を含んでいる。I及びPフレームは、それ移行のフレームの予測に用いられ、Bフレームはそれ以降のフレームの予測には用いられない。例えば、Iフレームが15フレーム毎に発生するMPEGビデオシーケンスを考える。MPEG符号化においては、フレーム間予測のために、予測可能な全てのP及びBフレームは直前のIフレームに依存している。よって、Iフレームの伝送中にエラーが発生すると、その効果は15フレーム、すなわち500ミリ秒に亘って持続し、これはビデオシーケンスの受け手に容易に認識されてしまう。受信されたビデオの品質は、デコーダ側に適用されるエラー隠蔽技法及び送信側に適用されるエラー回復技法の双方によって改善されうる。
【0004】
フォワードエラー/抹消修正(FEC)を用いるエラー回復技法は、伝送前にメディアストリームに冗長なデータを追加し、パケットロスが受け手側で、送信側とのコンタクトあるいは送信側からの再送信を必要とせずに回復されうるようにする方法である。フォワードエラー/抹消修正技法は、再送信を回避できるという点で、マルチキャストアプリケーションに適している。同一の冗長データが、マルチキャストグループ内の個々のレシーバにおいて、異なったパケットロスの修復に用いられる。その代わりに再送信が用いられると仮定すると、多重再送信要求が送出されなければならない。マルチメディアに係るフォワードエラー/抹消修正技法は、一般的には、メディア非依存FEC及びメディア依存FECの二つのカテゴリーに分類される(例えば、C.Perkins及びO.Hodsonによる“ストリーミング媒体の修復に関する選択肢”(Internet Engineering Task Force Internet RFC 2354, June 1998)という表題の文献を参照)。
【0005】
メディア非依存FECにおいては、あらゆるタイプのデータを保護する公知の情報理論が用いられる。D.Budge, R.McKenzie, W.Mills, 及びP.Longによる“RTPを用いたメディア非依存エラー修正”という表題の文献(Internet Engineering Task Force Internet Draft, May 1997)においては、二つあるいはそれ以上のデータパケットからパリティパケットを生成する目的で、排他的論理和(XOR)演算のいくつかの変形が用いられる。リード・ソロモン(Reed-Solomon、RS)符号化などのより複雑な技法も利用可能である(例えば、G.Carle及びE.Biersackによる“IPベースのオーディオビジュアルマルチキャストアプリケーションに係るエラー回復技法の概観”という表題の文献(IEEE Network, November/December 1997)を参照)。リード・ソロモン符号化は、システマティックフォワードエラー/抹消修正符号(組織前方誤り/消失訂正符号)の一例である。システマティックフォワードエラー/抹消修正符号は、情報バイトが修正なしにコードワードで送信される符号の一つである。よって、チャネルエラーが存在しない場合には、情報バイトを回復するためのリードソロモン復号化は不要である。RS(n,k)コードワードがバイトデータから生成される際には、k個の情報バイトからh個のパリティバイトが生成され、全nバイト(n=k+h)が送信される。このようなリード・ソロモンデコーダは、最大h/2バイトまでのあらゆるエラー及びhバイトの抹消を修正することが可能である。ここで、抹消とは、既知の位置におけるエラーとして定義される。RS符号化がパケットロスからパケット化されたデータを保護する目的で適用される場合には、長さjバイトのk個の情報パケットがj個のRSコードワードを用いて符号化される。各々のRSコードワードに関しては、k個の情報バイトがk個の相異なったパケットから(一つずつ)取り出されており、h個の生成されたパリティバイトがh個の個別のパリティパケットに配置され、全nパケット(n=k+h)が送出される。送信されるパケットには番号が付されており、パケットはそれ自体完全に受信されるかあるいは全く受信されないものと仮定されているため、レシーバはどのパケットが失われたかを決定することが可能であり、パケットロスは抹消と見なすことが可能である。よって、n個の送信されたパケット中でh個(あるいはそれ以下の個数の)パケットが失われても、元のk個の情報パケットは完全に回復される。
【0006】
RS符号化の重要な利点は、パラメータの選択に依存するが、複数個の連続したエラーから保護することが可能であるという点である。RS符号化におけるオーバーヘッド比率はh/kであり、kの大きな値に係るバーストエラー保護としては最も効率的である。例えば、RS(6,4)符号及びRS(4,2)符号は、双方とも、バースト長2のエラー保護が可能である。しかしながら、RS(4,2)符号は100%のオーバーヘッドを有するのに対し、RS(6,4)はわずか50%のオーバーヘッドを有するに過ぎない。しかしながら、ブロック長を増加させることによってオーバーヘッドパーセンテージを低減することは遅延につながる。なぜなら、大きなブロック長を利用することは、送信前に大量のデータをバッファリングすることが必要になるからである。
【0007】
メディア依存FEC符号化においては、メディア非依存FEC符号化とは異なり、マルチメディアストリームがデータとしてのみ扱われ、送信されるマルチメディアストリームの特定のタイプに係る知識が用いられる。M.Podolsky, C.Romer及びS.McCanneによる“インターネット上のパケットオーディオに係るFECベースのエラー制御のシミュレーション”という表題の論文(INFOCOM, March 1998, San Fransisco CA)及びV.Hardman, M.A.Sasse, M.Handley及びA.Watsonによる“インターネットを介した利用のための高信頼性オーディオ”という表題の論文(Proc. INET'95, Honolulu, HI, pp.171-78, June 1995)においては、標準的なオーディオストリームと共に、冗長低ビットレートオーディオストリームが1パケット分遅延させられた後に送信される。標準オーディオパケットが失われた場合には、レシーバは、その代替として、次のパケットにおいて受信される低ビットレートデータを利用する。この方法は、単一パケットロスに対する保護となる。
【0008】
【発明が解決しようとする課題】
Perkins及びHodsonによる前掲の参照論文においては、FECをマルチメディアビットストリーム全体に適用するのではなく、メディア非依存FEC技法を符号化器の最高位ビットに適用することによってメディア依存技法及びメディア非依存技法を組み合わせるという提案がなされている。しかしながら、このことに関する詳細な情報は全く与えられていない。パケットロスからビデオ品質を保護する目的でMPEGビデオなどのフレーム間符号化ビデオに回復情報を追加する低オーバーヘッドでかつ低遅延な方法が必要とされている。
【0009】
【課題を解決するための手段】
本発明に従って、MPEGビデオ信号などのフレーム間符号化ビデオ信号が、ビデオストリームを高優先度部分及び低優先度部分に分割するデータ分割機能を利用する。その後、システマティックなフォワードエラー/抹消修正符号化が、高優先度部分のデータにのみ実行される。フォワードエラー/抹消修正された高優先度部分データ及びフォワードエラー/抹消修正されていない低優先度部分データは組み合わせられてパケットとされ、同一のネットワークを介して受信側宛に送出され、そこで復号化される。用いられる特定のFECによって提供されるエラーあるいは抹消に対する保護の程度に依存して、高優先度データを含む単一あるいは複数個のパケットの喪失が、高優先度部分における喪失の無いデータによって修正される。低優先度部分が保護されていない単一あるいは複数個のパケットにおける低優先度データの喪失の影響は、高優先度データが失われた場合よりも、復号化されたビデオ信号の品質には有害ではない。従って、フォワードエラー/抹消修正をより高優先度部分のデータに限定し、よって“より重要なデータ”の喪失に対してのみ保護することにより、与えられたパケットロスに係る保護に必要とされる全体としての要求が低減される。
【0010】
本発明の望ましい実施例においては、リードソロモンエンコーダが、フレーム全体に係る高優先度データに対して適用される。RS(n,k)コードワードの各々に対して、各k個のパケットから1情報バイトが取り出され、構成されたパリティバイトがh個の相異なったパケットに配置される。ここで、n=k+hである。個々のフレームのデータは、パケットヘッダと情報バイトあるいはパリティバイトのいずれかを含む高優先度データと及び、低優先度データバイトとの組み合わせより構成されるn個の等長パケットに配置される。低優先度データに関してはエラー修正符号化はなされないため、低優先度データバイトは情報バイトのみを含んでいる。等しいバイト数の高優先度データ(あらゆる一つのパケットにおける情報あるいはパリティ)がn個の等長パケットのそれぞれに配置され、等しいバイト数の低優先度データ(情報のみ)がこれら同一のn個のパケットに配置される。これらの高優先度データと低優先度データは、双方でビデオフレームを表現する。これらn個の等長パケットの中で、k個のパケットのみが高優先度部分情報バイトを含んでおり、h個のパケットは高優先度パリティバイトを含むのみである。これらh個のパケットの各々における各々の高優先度バイトポジションのパリティバイトは、RS(n,k)コードから、当該フレームに関連するk個の他の高優先度部分情報包含パケットにおける対応するバイトポジションでのk個の高優先度部分情報バイトに対して適用されるように、構成される。このようにパケットを配置することによって、与えられたパケットロス保護レートに対するオーバーヘッド量及び遅延を最小化することができる。
【0011】
受信側デコーダは、フレームに係るデータを受信すると、各々のパケットに含まれる高優先度部分バイトと低優先度部分バイトを、それぞれのバイトすなわち各々の部分の個数に従って分割する。これらの個数は、パケットヘッダにおいて送信される。RS(n,k)復号化が、受信されたパケットにおける高優先度部分ポジションに亘って、バイト位置毎に適用される。n個のフレームパケットにおける最大h個が失われる場合には、RS復号化プロセスは、これら失われたパケットにおける各々の高優先度バイトを回復する。高優先度部分情報データを含むn個のパケットのうちのk個のパケットにおいて送信された高優先度部分情報バイトの完全な再構成がこのようにして実現される。低優先度部分データ中の失われたパケットは回復不能であるが、完全に復元された高優先度部分データが、高優先度部分情報のみしか利用可能でないフレームあるいはフレームの一部の品質レベルは低下するとしても、ビデオ画像の復号化を可能にする。
【0012】
【発明の実施の形態】
MPEG−2標準(ITU−T勧告H.262、“動画及び関連する音声情報の一般的符号化”、1995年7月)は、空間的スケーラビリティ、SNRスケーラビリティ、及びデータ分割を含む、スケーラブルなビデオ符号化を実行する種々の手段を含んでいる。スケーラブルビデオ符号化においては、相異なった利用可能帯域を有するレシーバが、ベースレイヤを受信し、帯域が利用可能である場合には単一あるいは複数個のエンハンスメントレイヤを受信することによって、符号化されたビデオを受信して、適切な表示を復号化できる。より多くのレイヤを受信すればするほど、復号化されるビデオの品質は高くなる。Arvind, Civanlar及びReibmanによる前掲の論文においては、ATM等の優先順位付けをサポートするネットワークにおいてMPEG符号化済みビデオ信号を送信する際のパケットロスに対する保護を実現する目的で、データ分割が適用される。詳細に述べれば、パケットロスに対する保護は、ベースレイヤをエンハンスメントレイヤより高い優先順位で送信することによって達成可能であることが示されている。現時点での公衆インターネットはパケットの優先順位付けをサポートしていないため、この技法はインターネットを介した符号化済みビデオの送信には適用され得ない。
【0013】
しかしながら、本発明の発明者は、公衆インターネット等の優先順位付けをサポートしないネットワークにおいて、従来技術においては優先順位付けをサポートしているネットワークを介したパケット保護目的で用いられたデータ分割機能を利用することによって、技術的進展が実現されうることを見出した。データ分割機能をフォワードエラー/抹消修正機能と共に、優先順位付けをサポートしない公衆インターネットを介したフレーム間圧縮符号化ビデオ信号の送信に関して用いることにより、パケット保護に必要とされるオーバーヘッド量を低減し、一方でパケット保護対象であるビデオ品質の改善が実現される。さらに、同一パケット内に高優先度及び低優先度データを組み合わせることにより、同一オーバーヘッド及び保護に係る遅延を大幅に低減することが可能となる。
【0014】
図1は、本発明に係るエンコーダの第一実施例を示すブロック図である。この実施例においては、MPEG標準データ分割に従ったエンコーダが、入力ビデオデータストリームを高優先度部分及び低優先度部分に分割する目的で利用される。入力ビデオデータストリーム101は、この種の標準に従ったデータ分割MPEG標準エンコーダ102に入力される。エンコーダ102は、例えばMPEG−2データ分割標準等の標準に従って、入力ビデオビットストリームを圧縮/符号化し、圧縮/符号化されたビットストリームを二つの出力レイヤに分割する。第一レイヤはベースレイヤであり、本明細書においては高優先度(HP)部分と呼称される。第二レイヤはエンハンスメントレイヤであり、本明細書においては低優先度(LP)部分と呼称される。
【0015】
MPEG符号化分野における当業者には公知であるが、MPEG符号化ビデオビットストリームは、シーケンスレベル、画像群(GOP)レベル、画像(フレーム)レベル、及びスライスレベルにおけるヘッダを有する。よく知られているように、スライスは隣接するマクロブロック群より構成されており、各々のマクロブロックは、それ自体、四つの隣接するルミナンス(輝度)ブロックデータ及び二つのクロミナンスブロックより構成される群を有する。画像レベルにおいては、フレームは、フレーム内符号化(I)フレーム、フレーム間符号化予測(P)フレーム、あるいは双方向フレーム間予測(B)フレームとして分類される。マクロブロックレベルにおいては、予測タイプのP及びBフレームに関しては、当該マクロブロックが他のフレームに関してフレーム間符号化あるいはフレーム内符号化されたものであるかを示す情報が、動きベクトル情報と共に包含されている。ブロックレベルにおける情報には、実際のピクセル情報から導出された低周波及び高周波離散コサイン変換(DCT)係数が含まれる。
【0016】
MPEG標準に従って、データ分割が、マクロブロックレイヤより上位、マクロブロックレイヤ、あるいはマクロブロックレイヤ内などの種々の相異なった優先度ブレークポイントにおいて実現されうる。一般に、符号化ビットストリームのより重要な部分、例えばヘッダ、動きベクトル及び低周波DCT係数などはHP部分に割り当てられ、より重要ではないデータ、例えば高周波DCT係数などはLP部分に割り当てられる。標準に従って、優先度ブレークポイントは各々のスライスに関して選択され、どのコードワードタイプがどの部分に配置されるかが決定される。
【0017】
図1に示された実施例においては、標準的なデータ分割MPEGエンコーダ102が用いられているが、優先度ブレークポイントは、分割されつつあるデータストリーム中のフレームタイプ(I、P、あるいはB)に従って決定される。詳細に述べれば、この実施例においては、各Iフレームに関しては全てのデータがHP部分に配置され、LP部分に配置されるデータはない。他の実施例においては、各IフレームのデータをHP及びLP部分に分割することも可能である。各Bフレームに関しては、データ分割に係るMPEG標準が許容するだけ多くのデータがLP部分に配置され、残りのデータがHP部分に配置される。各Pフレームに関しては、フレームデータは、各ブロックの最初の二つのDCT係数に係るデータエレメントがHP部分に配置され、より高次のDCT係数がLP部分に配置されるように、HP及びLP部分に分割される。この実施例に関連して前述されたものとは異なった、LP及びHP部分間の三つのフレームタイプにおける相異なった優先度ブレークポイントも、等しく用いられることが可能である。しかしながら、より高いブレークポイントはPフレームではなくIフレームに関して用いられ、それがBフレームに係るブレークポイントよりも高いことが期待されている。標準に従ったこの実施例においては、シーケンス、GOP、及び画像ヘッダは、エラー回復目的で、双方の部分にコピーされる。
【0018】
本発明に従って、HP部分はシステマティックフォワードエラー/抹消修正符号によって符号化される。詳細に述べれば、この望ましい実施例においては、リードソロモン符号化が、単一のフレーム全体に関するHPデータに適用される。この実施例に関しては、複数個のフレームからのデータが符号化及び送信の前に集積されることに関して必要とされる場合に負わなければならない遅延を最小にする目的で、単一のフレームからのデータのみがフォワードエラー/抹消修正エンコーダ/パケタイザ103によって一度に操作される。他の実施例においては、Bフレーム及びその直後に続くアンカーフレーム(IあるいはPフレーム)が、フォワードエラー/抹消修正エンコーダ/パケタイザ103によって同時に処理される。
【0019】
リードソロモン符号化は、当該フレームに係るMPEGエンコーダ102からのHPデータ出力に対して適用される。以下に詳細に記述されているように、HP部分のバイト数及びLP部分のバイト数は、最大許容パケット長及びパケット保護に係る希望される度合と共に、そのフレームに係るHP情報バイト、LP情報バイト、及びHP保護パリティバイトがフィットする等長パケット個数、n、を決定するために用いられる。本発明に従って、n個の等長パケットの各々は、LP情報バイトと、HP情報バイトとパリティバイトのうちのいずれかとの双方の組み合わせを含んでいる。パリティバイトは、HP情報バイトを含むk個のパケットの各々から一HP情報バイトを取り出し、これらk個のバイトから構成されたh個のパリティバイトを一度に一バイトずつh個の相異なったパケットに配置することでRS(n,k)コードワードを構成することにより決定される。ここで、n=k+hである。よって、これらh個のパケットにおけるパリティバイトのバイト位置m(mは、1からパケット内のHP情報バイトの個数の間で変化する)は、HP情報バイトから、k個のパケットにおいて同一のバイト位置mであるように導出される。これらh個のパケットにおける各バイト位置のパリティバイトは、他のk個のパケットにおける同一のバイト位置におけるHP情報バイトから計算されるため、等長パケットの各々は同一個数のHPデータバイトを有しており、このHPデータバイトは全てが情報バイトであるか全てがパリティバイトであるかのいずれかである。それゆえ、各等長パケットは、同一個数のLP情報バイトを含んでいる。フレーム内のHP情報バイトの個数はパケット数kによって必ずしも分割可能ではないため、必要に応じてパッドバイトがk番目のパケットの終端部に付加される。同様に、LP情報バイトに関しても、n番目のパケットにパッドバイトが適用される。
【0020】
図2は、RS(4,3)符号に係るパケットフレームグループの配置例を示した模式図である。図より明らかなように、三つのパケット(k=3)がHP情報バイトとLP情報バイトを含んでおり、一つのパケット(h=1)がHPパリティバイトとLP情報バイトを含んでいる。この図に示されているようにパケットを配置することにより、遅延を増大させることなく、与えられたパケットロス保護レートに関するオーバーヘッド量を最小になる。各パケットにおけるパケットヘッダは、パケット番号、パケットフレームグループ内のパケット数(n)、パケットフレームグループ内のパリティデータを有するパケット数(h)、当該フレームに係る一時参照値、フレームタイプ(I、P、あるいはB)、HP/LP優先度ブレークポイント、及び、各パケットにおけるHP及びLPバイトの個数、を含んでいる。
【0021】
データ分割MPEGエンコーダ102の出力は、フレームに関連するビデオデータ入力ストリームに対して、二つのデータストリーム、すなわち出力104上のHP部分データストリームと出力105上のLP部分データストリームよりなり、双方がFECコーダ/パケタイザ103に入力される。入力フレームのHP部分におけるバイト数、HP#、と、入力フレームのLP部分におけるバイト数、LP#、とが、コーダ/パケタイザ103内のプロセッサ106に入力される。以下に詳細に記述されているように、フレーム当たりのバイト数の所定の最大値と共にHP#及びLP#の値を用いることによって、プロセッサ106は、パケットヘッダ、HP部分情報バイト、HP部分パリティバイト、及びLP部分情報バイト全てを含むフレーム全体を送信するために必要とされるパケット数、n、を決定する。さらに、プロセッサ106は、所定の保護レベルで他のk個のパケットにおいてHP部分情報バイトを保護するために必要とされるパケット数、h(=n−k)、を決定する。プロセッサ106は、さらに、n個のパケットの各々のバイト長を決定する。その後、プロセッサ106は、これらn個のパケットの各々に割り当てられるHPデータ/パリティバイト及びLPデータバイトの個数を、n個のパケットの各々に割り当てられるLP情報バイト数、k個のパケットに割り当てられるHP情報バイト数、及び、その他のh個のパケットに割り当てられるHPパリティバイト数、のそれぞれと共に、図2の例に示されているように決定する。
【0022】
プロセッサ106が各々のパケットの配置及びそれぞれのパケットの個数を決める全てのパラメータを決定すると、リードソロモンRS(n,k)符号化が、HP部分内の各バイト毎に実行される。詳細に述べれば、HP部分ビデオストリームがバイトインターリーバ107に入力され、インターリーバ107は、プロセッサ106によって決定されたパラメータに応答して、シーケンシャルなコードワードを生成し、それらはリードソロモンエンコーダ108に供給される。例えば、パケット当たりのHPバイトが650と計算された場合には、HPストリーム中の1番目、651番目、1301番目、、、のバイトが、インターリーバ107によってインターリーブされ、HPパリティバイトを含むh個のパケットに係る第一パリティバイト位置に対応するバイトを決定する目的で、RSエンコーダ108への入力ワードが形成される。その後、2番目、652番目、1302番目、、、のバイトがインターリーブされ、h個のHPパリティパケットに係る第二パリティバイト位置を決定する目的で、RSエンコーダ108への次の入力ワードが構成される。このようにして、RSエンコーダ108にはkバイトよりなる一連の入力ワードがシーケンシャルに入力され、これらkバイト入力ワードの各バイトは、k個の相異なったパケットから取り出された各1情報バイトがインターリーブされたものである。kバイト入力ワードの各々に対して、h個のパリティバイトが決定される。よって、各kバイト入力ワードに対して、RSエンコーダ108は、k個の情報バイト及びh個のパリティバイトを含むn個のバイトワードを出力する。
【0023】
n個の相異なったパケットに適切に属するバイトを含む、これら垂直方向に配置されたコードワードを列方向に配置されたパケットフォーマットに再アセンブルする目的で、デインターリーバ109が、nバイト出力ワードからの各々のバイトをn個の相異なった列のうちの個々の列に順次配置する。よって、これらn列のうちの最初のk列は全てHP情報バイトを含み、最後のh列は全てHPパリティバイトを含んでいる。n列が再構成される場合には、これらの列の各々は、パケタイザ110によって、パケットヘッダと、データ分割MPEGエンコーダ102のLP出力105からの各々のパケットに対して分配された、計算された固定数のLP部分情報バイトとに組み合わせられる。各々のパケットは、図2にRS(4,3)符号の場合に示されているフォーマットで、UDP/IPネットワークにおける伝送のために、出力111から順次出力される。
【0024】
図2に示された例においては、フレーム情報を含むパケットが伝送中に一つも失われなかった場合には、ビデオ情報は完全にデコードされる(すなわち、エンコードされたものと同一である)。一つのパケット(あるいは、一般のRS(n,k)符号化において最大h個のパケット)が失われた場合には、そのパケットに含まれるHP情報の全てがリードソロモンデコーダを用いることによって回復可能である。しかしながら、失われたパケット中のLP情報データは、保護されていないために回復不能である。その結果、LPデータが受信されたマクロブロックに対応する画像の部分は完全にデコードされ、LPデータが失われたマクロブロックに対応する画像の部分はそのマクロブロックに係るHPデータのみがデコードされる。HPデータのみを用いてデコードされたこれらのマクロブロックは、その画像を見る者によって認識されうるものであるが、HP/LP優先度ブレークポイントが適切に選択されている限りは、画像として不快なものではない。HPデータのみを用いてデコードされたマクロブロックの正確な画像品質は、このHP/LP優先度ブレークポイントとビデオソースの素材の特性に依存する。図1に示された実施例においては、標準的なデータ分割MPEGエンコーダ102が入力ビデオストリームを圧縮/符号化してHP及びLP部分を形成するために用いられているが、双方の部分にコピーされる最低レベルのヘッダが画像ヘッダである。よって、いずれかのパケット及びそれに含まれていたLP部分情報が失われると、それは回復不能であり、次のパケットにおいて受信されるLP部分データは復号化プロセスに適切に組み込まれることが不可能になる。なぜなら、その受信されたデータが関連しているはずの識別可能な空間的エントリポイントが、次の画像ヘッダが受信されるまでは存在しないからである。よって、図1の実施例に関しては、LP部分情報の喪失に係る知覚可能な効果は、受信されたLP部分情報内の次の画像ヘッダを含むパケットが受信されるまで、持続する。その画像ヘッダが受信されると、それ以降に引き続くLP部分データは受信されたHP部分データに適切に組み込まれる。
【0025】
前述されているように、フレームデータのパケットへの厳密な配置は、フレーム内のHP部分情報のバイト数とLP部分情報のバイト数、RS(n,k)符号のパラメータ、及びパケットサイズの関数である。インターネットプロトコル(IP)伝送に関しては、この実施例においては、最大パケットサイズが、1500バイトというイーサネット最大トランスポートユニット(MTU)サイズに設定されている。RS(n,k)符号パラメータの選択は、フレームを送信するために必要とされるパケット数、ネットワークロスコンディション、及び、受認可能と考えられるオーバーヘッドパーセンテージに依存する。インターネットにおけるパケットロスはある程度バースト状に発生する傾向を有するため、k/n比は、nの小さな値に関しては小さく、また、nの大きな値に関しては大きく選択することが可能である。表1は、パケットロスのバースト状の性質に基づいた、n及びk値の対の例を表わしたものである。k/n比は、nの小さな値に関しては小さく、また、nの大きな値に関しては大きく選択されている。
【表1】
Figure 0003831558
【0026】
表1に与えられているような(n,k)値のリストが与えられると、各フレームに関して用いられる特定の(n,k)値の組が、反復プロセスを用いて決定される。図3は、これらのパラメータを決定するためにプロセッサ106が従うステップの詳細を示した流れ図である。データ分割MPEGエンコーダ102がビットストリームをHP部分及びLP部分に分割した後には、HP部分にHP#バイト、LP部分にLP#バイトが存在する。ステップ301においては、これらの情報を送信するために必要とされるパケット数nが、最大パケットサイズPSmaxを仮定して、初期推定される。ここで、本実施例においては、PSmaxは、イーサネット(登録商標)MTUサイズから用いられているパケットヘッダバイト数を減算したものに等しい。初期推定nは、n=ceil(HB#+LB#)/PSmaxによって求められる。ceil()はシーリング関数である。このように、nの初期推定は、HPパリティバイトを考慮せずに計算されるが、HPパリティバイトもフレーム中に組み込まれなければならない。ステップ302においては、表1を用いて、推定値nに対応するkの値が読み出される。ステップ303においては、HB#情報バイトに関して必要とされるパケットサイズが、CurPacketSize=ceil(HB#/k)+ceil(LB#/n)から計算される。なぜなら、HB#情報バイトはk個のパケットに分割され(パリティバイトは、残りのh個のパケットに分割される)、LB#情報バイトはn個のパケットに分割されるからである。ステップ304においては、CurPacketSizeがPSmaxと比較される。CurPacketSizeがPSmaxよりも小さい場合には、その時点での(n,k)値が用いられる。それ以外の場合には、パケットサイズが大きすぎることになり、nが1だけインクリメントされる(ステップ305)。表1から、このインクリメントされたnの値に対して新たなkの値が読み出される。その後、CurPacketSizeがこれら新たなパラメータを用いて再計算される。このプロセスは、PSmaxよりも小さいCurPacketSizeが計算された時点で終了する。よって、n個のフレームの各々におけるHPバイト(情報あるいはパリティ)の実際の数HBPがceil(HB#/k)に等しく、かつ、n個のフレームの各々におけるLPバイトの実際の数LPBはceil(LP#/n)に等しく、各フレームにおけるバイト数からパケットヘッダバイト数を減じたものであるTPBは、HBP+LPBに等しい。
【0027】
具体例として、Pフレームが5632バイトを有していて、HB#=2129バイト、LB#=3503LPバイトと仮定する。PSmaxは1475バイトに等しいものと仮定する。この値は、1500バイトというMTUサイズからパケットヘッダ分の25バイトを減じたものである。パケット数の初期推定nは、n=ceil((2129+3503)/1475)=ceil(3.818)=4である。表1より、n=4に対しては、k=3である。これらの値を用いて、HPB、LPBおよびTPBが計算される: HPB=ceil(2129/3)=710と LPB=ceil(3503/4)=876と及び、TPB=710+876=1586であり、これはPSmax=1475よりも大きい。よって、このパラメータの組は有効ではなく、さらに反復が必要となる。次の反復においては、nは1だけインクリメントされて5になる。表1から、n=5に対してはk=4である。これらのパラメータを用いて、HPB、LPB及びTPBが計算される: HPB=ceil(2129/4)=533と LPB=ceil(3503/5)=701と及び、 TPB=533+701=1234である。このTPBの値はPSmax=1475より小さい。
【0028】
フレームに関してパラメータn、k、HPB及びLBPがひとたび決定されると、前述されたリードソロモン符号化、及び、HP情報及びパリティバイト及びLP情報バイトのパケットへの配置が実行される。詳細に述べれば、プロセッサ106がひとたびこれらのパラメータを各フレームに係る分割済みHP及びLPデータから決定すると、前述されているように、そのフレームのデータはインターリーブされ、RS符号化され、デインターリーブされて、UDP/IPネットワークを介した送出向けにパケット化される。
【0029】
図1に示された実施例においては、データ分割MPEGエンコーダ102は、ビットストリームをHP及びLP部分に分割する目的で用いられる。図4は、別の実施例を示すブロック図である。この実施例は、厳密にはMPEG規格に従ってはいないが、オーバーヘッドを低減して性能を向上させる目的で、標準規格に従ったMPEGエンコーダ及びデコーダを用いている。この実施例は、MPEG−1あるいはMPEG−2ビデオ、及びH.261及びH.263等の他の同様のビデオ符号化標準に対して適用可能である。この実施例においては、標準的なMPEGエンコーダ(あるいは他の標準的なエンコーダ)401が、入力ビデオストリームを圧縮符号化する。その後、データスプリッタ402が、エンコーダ401の出力をHP及びLP部分に分割する。本発明の目的に関しては、標準MPEGエンコーダ401とデータスプリッタ402との組み合わせにより、図1に示されたデータ分割MPEGエンコーダ102と比較して、分割機能がより効率的かつ高性能に実行されることが可能になる。詳細に述べれば、スライスヘッダのみが双方の部分に複製され、他のデータは一方あるいは他方の部分にしか配置されず、双方ということはない。パケットのフレーム配置及びパケットヘッダそれ自体におけるフレーム情報の含まれ方のために、画像ヘッダ以上をそれぞれの部分に複製する必要が無く、オーバーヘッドが最小化される。しかしながら、スライスヘッダをHP及びLP部分の双方に配置することによって、パケットロスに際してLPデータに係るエントリポイントが提供される。よって、パケットロスしたパケットに引き続いて受信されたパケットにおいて、そのLPデータは、デコーダが次のスライスヘッダをLP部分データと共に受信した後に、デコードされる画像に組み込まれる。図1に示された、パケットロスに引き続いて受信したLPデータの挿入ポイントが次のフレームである実施例と比較して、図4の実施例はLPデータの挿入ポイントが次のスライスであり、デコードされるビデオ信号の画質が向上する。
【0030】
前述されているように、データ分割MPEGデコーダ102は、Iフレームにおけるエラーが他のフレームに伝播することによる影響を最小化する目的で、全てのIフレームデータがHP部分に配置されるようにIフレームを分割する。Bフレームは予測に用いられないため、データ分割標準を介して可能な限り多くのデータがLP部分に配置される。図4に示された実施例においては、標準に従ってある程度のデータがHP部分に必要とされる図1に示された実施例の場合とは異なって、全てのBフレームに係る全てのデータがLP部分に配置される。図1の実施例と図4の実施例の双方において、Pフレームデータは、前述された様式で、HP及びLP部分に分割される。各々のPフレーム内では、マクロブロックはフレーム間符号化されるかフレーム内符号化されるかのいずれかである。図4に示された実施例においては、各Pフレームにおけるフレーム間及びフレーム内符号化マクロブロックに対して相異なった優先度ブレークポイントが選択されるが、このことは、データ分割MPEGエンコーダ102では不可能である。HP部分のみ(すなわち、LP部分無しで)デコードされたフレーム間符号化マクロブロックは、直前のフレームにおける対応する動き補償済みマクロブロックからの高周波数情報を保持しうるが、フレーム内符号化マクロブロックは保持しない。よって、フレーム内符号化マクロブロックに対する優先度ブレークポイントを、HP部分におけるDCT係数をフレーム間符号化マクロブロックよりもより多く含むように設定することが望ましい。このことによって、与えられた品質レベルに対するオーバーヘッドレートが低減され、同一のオーバーヘッドレートに対する品質が向上する。
【0031】
データスプリッタ402のHP及びLP出力は、FECコーダ/パケタイザ403に供給される。これは、図1に示されたFECコーダ/パケタイザと同様に機能するものであり、その機能については前述されている。FECコーダ/パケタイザ403によって出力されるパケットは、UDP/IPネットワークを介して送出される。
【0032】
図4に示された実施例においては、個別の標準MPEGエンコーダ401及びデータスプリッタ402が含まれているが、前述されたデータ分割操作をサポートするデータコーダも、エンコーダ401及びスプリッタ402が実行する機能と同一の機能を等しく実行することが可能であることに留意されたい。
【0033】
図1及び図4の実施例におけるエンコーダネットワークは、それらのネットワークに接続された対応するデコーダ宛に、出力パケットを公衆インターネットなどのUDP/IPネットワークを介して送出する。マルチキャストエンコーダの場合には、送信は、送信される情報を各々受信する複数のエンドユーザ宛の同時ブロードキャストである。この種の相異なったエンドユーザ宛の経路に沿って相異なったパケットが失われうるため、パケットロスを保護する目的で本発明において用いられているFEC技法は、個々のデコーダがそのエンドユーザ宛の経路において失われた特定のパケットを、エンコーダによって用いられた特定のRS符号によって提供されるパケット保護レベルまで回復することを可能にする。
【0034】
図1に示されたエンコーダネットワークに係るデコーダネットワーク500が図5に示されている。データ分割MPEGエンコーダ102が図1に示されたエンコーダネットワークにおいては用いられているため、図5のデコーダネットワークは、対応するデータ分割MPEGデコーダ510を組み込んでいる。図5においては、UDP/IPネットワーク501を介してエンコーダネットワークによって送信された一連のパケットが、デパケタイザ/デコーダ502に入力される。デパケタイザ/デコーダ502は、連続したパケットを受信して各々のパケットからヘッダ情報を抜き取り、それをプロセッサ504へ供給するデパケタイザ503を有する。パケットヘッダ情報には、パケット番号とフレーム番とフレームタイプ(I、B、P)とフレームの構造を規定する(n,k)フレームパラメータと、各々のパケットにおけるHP部分のバイト数、HPB、及び、LP部分のバイト、LPBが含まれる。プロセッサ504は、ヘッダ情報からフレームの開始を決定し、パラメータnから多くのパケットが当該フレームを規定するために用いられることを“知る”。さらに、受信したパケット番号から、プロセッサ504は、これらn個のパケットのうちのどの特定のパケットが失われたか、及び、これらn個の一連のパケットの中での失われたパケットの位置を決定する。プロセッサ504よりこの種の全ての情報を受容すると、デパケタイザ503はフレーム内の各々のパケットからパケットヘッダを取り除き、各パケット内のデータをHP部分及びLP部分に分割する。失われたと決定されたパケットに関しては、デパケタイザ503は、HP及びLPデータストリームに“0”バイトあるいはエラーコードを挿入する。デパケタイザ503のHPシリアルバイトストリームは、HPデータを含むn個のサブパケットよりなり、各々のサブパケットがHPBバイトを含んでいる。このHPストリームはインターリーバ505に入力され、複数のサブパケットにわたって存在するRS(n,k)符号化ワードをデコードし、最大h個の失われたパケットからの失われたデータを置換する。よってサブパケットにわたる各々のバイト位置に関しては、そのバイト位置におけるそれらサブパケットの各々からバイトが選択され、RSデコーダ506へ入力ワード形成される。
【0035】
例として、図2に示された、nが4に等しくkが3に等しフレーム構造を用い、HPBが650バイトに等しいとすると、インターリーバ505は、HPバイトストリームにおける1番目、651番目、1301番目、及び1951番目のバイトを選択し、RSデコーダ506への4バイト入力ワーを構成する。RSデコーダ506は、対応する3バイト出力ワードを決定し、これら3バイト出力ワードの各々のバイトが三つの情報サブパケットの第一バイト位置におけるHPバイトとなる。次に、インターリーバ505は、HPバイトストリーム中の2番目、652番目、1302番目及び1952番目のバイトを、三つの情報サブパケットの各々における第二バイト位置を決定する目的で、RSデコーダ506へ供給する。同様に、インターリーバ505は3番目から650番目のバイトを処理する。このようにして、各々のバイト位置における三つの情報バイトは、RSデコーダ506によって順次出力される。RS()符号は最大一つの抹消の修正を行なうことが可能であるため、四つの内の一つのパケットが失われてデコーダネットワーク500によって受信されない場合には、RSデコーダ506は、失われたHPサブパケットにおける各々のバイト位置での失われたバイトを決定する。よって、プロセッサ504が第三パケットが失われたと決定した場合には、HPバイトストリームにおける1301番目から1950番目までのバイトの各々のバイト位置に“0”バイトが挿入される。プロセッサ504は、これら失われたバイトの位置をRSデコーダ506に供給し、RSデコーダ506は、三つの受信済みパケットからのバイトの供給を順次受ける際に、第三パケットの各々のバイト位置における個々の失われたバイトを回復する。よって、RSデコーダ504は、失われた単一の第三パケットにおけるHPデータのサブパケット全体を回復することが可能となる。この例において、二つ以上のパケットが失われた場合、あるいは、一般にh個より多くのパケットが失われた場合には、RSデコーダは失われたデータを再生成することができず、データ分割MPEGデコーダ510によって認識されうるシーケンスエラーコードが回復されたデータ中のHPデータストリームの当該位置に挿入される。
【0036】
RSデコーダ506はnバイトの入力ワードの各々に対してkバイトワードを出力し、前記kバイトの各々が相異なったサブパケットに関連しているため、デインターリーバ507は、各々のkバイト出力ワードを一度に一バイトずつk個の個々のHPサブパケットへ再度シーケンスに組み直し、送信された各々のパケット中のHP情報を再形成する。再生成され、必要な場合には回復されてデインターリーバ507によって出力され、データ分割MPEGデコーダ510の第一入力に入力される。失われたパケットが回復不能なところは、データストリームがシーケンスエラーコードを含んでいる。
【0037】
デパケタイザ503によって導出されたn個のLPサブパケットにおけるLP情報は、データ分割MPEGデコーダ510の第二入力に同時に入力される。これらのパケットが失われた場合には、LPデータは回復され得ない。なぜなら、フォワードエラー/抹消修正はLP部分には適用されないからである。それゆえ、これらのパケットに関しては、デパケタイザ503のLP出力には、失われたものであるとデータ分割MPEデコーダ510によって認識されるようなコードワードが含まれる。
【0038】
いずれのパケットも失われなかった場合には、データ分割MPEGデコーダ510へのLP及びHPデータストリーム入力は、図1のデータ分割MPEGエンコーダ102のLP及びHPデータストリーム出力と等価である。最大h個のパケットが失われた場合には、デコーダ510へ入力されるHPデータストリームはエンコーダ102によって出力されたHPデータストリームと等価であり、デコーダ510へ入力されるLPデータストリームには、失われたデータをマークするコードワードが含まれる。h個より多くのパケットが失われてRSデコーダ506が失われたHPデータを回復できない場合には、データ分割MPEGデコーダ510へ入力されるHP及びLPデータストリームの双方が失われたデータ、すなわち、HPデータストリームは実際のデータが欠落していることを示すシーケンスエラーコードを、LPデータストリームは失われたデータであることを示す認識可能なコードワードを、それぞれ含んでいる。
【0039】
データ分割MPEGデコーダ510は、LP部分データ及びHP部分データの入力に応答して、標準化されたアルゴリズムに従って、送信されたビデオデータを伸長して再形成する。フレーム内において、対応するHPデータが(実際に受信されたかあるいは回復されたかのいずれかで)利用可能であるがLPデータが利用可能ではない特定のペルに関しては、再構成されたビデオフレームのビデオ品質が劣化する。さらに、再構成されたビデオフレームにおける、失われたLP部分データに関連しているそれらのペルに走査の観点で引き続く空間的部分も同様に品質が劣化する。なぜなら、次に受信されたパケットにおけるLP部分データは当該フレーム内の特定の空間的ポイントに関連させられること、従ってHPデータに関連させられることが不可能であるからである。前述されているように、画像ヘッダのみがHP及びLP部分の双方に含まれている。よって、次の画像ヘッダが受信されるまでは、ビデオフレーム内の、失われたパケットに引き続く全てのLP部分のデータが、ビデオ信号をデコードして再構成する目的で、空間的に対応するHPデータに組み合わせられることが不可能である。さらに、本実施例においては、個別のHP及びLP部分に分割されるフレームタイプはPフレームであって、これらは次のフレームを予測する目的で使用されるため、当該フレームの残りの部分を再構成するためのLP部分の喪失は、次のP及びBフレームの品質に影響を与える。しかしながら、その影響は、より重要なHP部分データが保護されている、本発明に係る実施例を用いない場合に引き起こされるデータの総喪失の影響に比べれば、遥かに低減されたものである。伝送に際してh個より多くのパケットが失われる場合には、HP部分データ及びLP部分データの双方が失われて回復され得ない。よって、標準的なエラー打ち消し技法が、ビデオ品質の低減を最小にする目的で用いられる。
【0040】
図4に示されたエンコーダネットワークに係るデコーダネットワーク600が、図6に示されている。デコーダネットワークのこの実施例においては、デパケタイザ/デコーダ601が、図4のエンコーダネットワークによって送出されたデータストリームをUDP/IPネットワークから受信する。デパケタイザ/デコーダ601は、図5に示されたデパケタイザ/デコーダ502と同一の様式で機能し、図5に関連した記述において示されているものと同一のエレメントを含んでいる。よって、デパケタイザ、インターリーバ、RSデコーダ、デインターリーバに関してはここでは詳細には記述されない。デパケタイザ/デコーダ601の出力は、図5のデパケタイザ/デコーダ502の出力と同様に、LP及びHP部分ストリームである。フレーム内のいずれのパケットも失われない場合には、このLP及びHP部分は、図4のエンコーダネットワークにおけるデータスプリッタ402の出力と等価である。1個からh個までのパケットが失われた場合には、失われた全てのHPデータが回復され、HPデータストリームはデータスプリッタ402の出力と等価となる。しかしながら、デパケタイザ/デコーダ601によって出力されるLPストリームは、LPデータが失われたことを示すコードワードを含んでいる。h個より多くのパケットが失われた場合には、HP及びLPデータストリームの双方がエラーコードを含んでいる。あるいは、デパケタイザ/デコーダ601は、失われたHP及びLP情報の位置を表わす情報をデータマージャ602宛に送出する。
【0041】
デパケタイザ/デコーダ601によって出力されるLP及びHPデータストリームはデータマージャ602に入力され、これらのデータストリームが、標準MPEGデコーダ603によって復号化かされ得るフォーマットを有する単一のデータストリームに組み合わせられる。MPEGデコーダ603は、標準アルゴリズムを用いて符号化済みビデオ信号を伸長し、デジタルビデオ信号を再構成する。このデジタルビデオ信号はアナログビデオ信号に変換されてビデオ端末において表示される。
【0042】
図4においてエンコーダの記述に関連して前述されているように、スライスヘッダがデータスプリッタ402によって出力されるLP及びHP部分の双方に含まれている。よって、図6のデコーダに関しては、パケット及びそのLPデータが失われると、それ以降のパケットにおいて受信されたLPデータに関するエントリポイントの位置が、そのデータの次のスライスヘッダを検出した際に設定される。よって、前述されているように、受信されたLPデータが次のフレームに係る次の画像ヘッダの受信に際してHPデータに再び組み込まれるような図5に示された実施例とは異なって、図6の実施例においては、失われたパケットに引き続くパケットにおいて受信されたLPデータが、次のスライスヘッダにおけるエントリポイントにおいて、受信あるいは回復されたHPデータと組み合わせられることが可能になる。それゆえ、図5に示された実施例の場合のように当該フレームの残り全体の品質が劣化させられるのではなく、失われたLPデータに係るフレームのその部分のみが、スライスヘッダが次に受信されるまで劣化させられることになる。さらに、デコードされたフレームの画質的に劣化させられる部分を最小化する目的で、そのフレームに基づいて予測されるそれ以降のフレームの劣化も最小化される。
【0043】
以上の記述は、本発明の原理を例示するのみである。よって、当業者は、本明細書にはあらわには記述されていないが、本発明の原理を具体化する種々の変形例を作り出すことが可能であるが、それらは本発明の範疇に包含される。さらに、本明細書に記述された全ての実例及び条件言語は、本明細書の読者が、本発明の発明者によって提供される本発明の原理及び概念を理解するのを補助するための教育的目的のみのものであり、これら本明細書に記述された実例に係る制限無しに本発明は実施可能なものである。さらに、本発明の原理、側面、及び実施例を示す目的でなされた全ての記述は、それらに係る全ての実例と共に、それらの構造的及び機能的同等物を包含することを企図したものである。さらに、この種の同等物には、現時点で知られている同等物のみならず将来において開発される同等物、すなわち、その構造に拘わらず同一の機能を実行するように開発された全ての素子を含むことが企図されている。
【0044】
よって、例えば、当業者は、本明細書に含まれるブロック図が本発明の原理を具体化する回路例を概念的に表現するものであることを理解すべきである。同様に、全ての流れ図、フローダイアグラム等は、コンピュータあるいはプロセッサが明示的に示されているいないに拘わらず、コンピュータによって読みとり可能な媒体によって実質的に表現されて単一あるいは複数個のコンピュータあるいはプロセッサによって実行される種々のプロセスを表現するものであることに留意されたい。
【0045】
本明細書に含まれる図面に示された、“プロセッサ”として明示された機能ブロックを含む種々の素子の機能は、専用のハードウエア及び適切なソフトウエアと共に当該ソフトウエアを実行することが可能なハードウエアの使用を通じて提供されうる。プロセッサによって提供される場合には、それらの機能は、専用の単一プロセッサ、単一の共有されたプロセッサ、あるいは、そのうちのいくつかが共有された、複数個の個別のプロセッサ等によって提供される。さらに、“プロセッサ”あるいは“コントローラ”という術語の明示的使用は、ソフトウエアを実行することが可能なハードウエアのみを指し示すことを企図するものではなく、暗示的に、デジタルシグナルプロセッサ(DSP)ハードウエア、ソフトウエアをストアするリードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、及び不揮発性記憶媒体を含むが、それらに制限されるものではない。他の汎用あるいはカスタムハードウエアも含まれることが可能である。それらの機能は、プログラムロジックの動作、専用ロジック、プログラム制御及び専用ロジックの組み合わせ等によって、さらには、手動で実行されうるが、それらの目的で本発明の実施者によって選択されうる特定の技法は本明細書本文より理解されうるものである。
【0046】
本明細書の請求項において、特定の機能を実行する手段として表現されているあらゆる素子には、例えば、a)その機能を実行する回路素子の組み合わせ、あるいは、b)ファームウエア、マイクロコード等の、そのソフトウエアを実行する適切な回路との組み合わせで当該機能を実行する、あらゆる形態のソフトウエア、を含む、当該機能を実行するあらゆる手段が包含されることが企図されている。そのような請求項によって規定される本発明は、種々の記述された手段によって提供される機能が、それら請求項が要求する様式で組み合わせられて実現されているという事実に基づくものである。よって、本発明の発明者は、本明細書に記述されているものと同等の機能を実現することが可能な全ての手段が本発明に包含されることを主張する。
【0047】
【発明の効果】
以上述べたごとく、本発明によれば、パケットロスからビデオ品質を保護する目的でMPEGビデオなどのフレーム間符号化ビデオに回復情報を追加する低オーバーヘッドでかつ低遅延な方法が提供される。
【図面の簡単な説明】
【図1】 本発明に従った、ビデオ信号を符号化して符号化済みビデオ信号をHP部分とLP部分とに分割するデータ分割MPEGエンコーダを用いるビデオエンコーダの第一実施例を示すブロック図。
【図2】 RS(4,3)符号化の一例に関するフレームに係るパケット内でのHPデータ及びパリティ情報、及びLPデータの配置を示す模式図。
【図3】 フレーム内のLP及びHPバイトの個数の関数として当該フレームに係るパラメータn及びkを決定する方法の詳細を示す流れ図。
【図4】 標準MPEGエンコーダがビデオ信号を符号化する目的で用いられ、データスプリッタが符号化済み信号をHP及びLP部分に分割する、本発明に従ったビデオエンコーダの第二実施例を示すブロック図。
【図5】 HP及びLP部分からビデオ信号を復号化する目的でデータ分割MPEGデコーダが用いられる、本発明に従った、失われたパケットが再構成されてHP及びLP部分が再形成されるビデオデコーダの実施例を示すブロック図。
【図6】 データマネージャがHP及びLP部分を組み合わせてそれらがビデオ信号を復号化する標準MPEGデコーダに供給される、本発明に従ったビデオデコーダの第二実施例を示すブロック図。
【符号の説明】
101 入力ビデオデータストリーム
102 データ分割MPEGエンコーダ
103 FECコーダ/パケタイザ
104 高優先度部分
105 低優先度部分
106 プロセッサ
107 インターリーバ
108 RSエンコーダ
109 デインターリーバ
110 パケタイザ
111 出力
401 標準MPEGエンコーダ
402 データスプリッタ
403 FECコーダ/パケタイザ
500 デコーダネットワーク
501 UDP/IPネットワーク
502 デパケタイザ/デコーダ
503 デパケタイザ
504 プロセッサ
505 インターリーバ
506 RSデコーダ
507 デインターリーバ
510 データ分割MPEGデコーダ
600 デコーダネットワーク
601 デパケタイザ/デコーダ
602 データマージャ
603 標準MPEGデコーダ

Claims (10)

  1. パケットベースのネットワークを介する伝送のためにビデオ信号を符号化する方法において、本方法が、
    (A)ビデオ信号を圧縮符号化するステップと、
    (B)前記圧縮符号化されたビデオ信号の少なくとも一つのフレームを高優先度部分情報バイトのストリームと低優先度部分情報バイトのストリームとに分割するステップと、
    (C)前記高優先度部分情報バイトのストリーム内の所定のバイト位置に位置する所定の数の高優先度部分情報バイトの各入力対してシステマティックフォワードエラー/抹消修正(FEC)符号を適用して、入力された高優先度部分情報バイト及び関連する一つ又は複数のパリティバイトの組み合わせよりなる、各入力についてのFEC符号化された力を生成するステップと、
    (D)前記ストリーム内の前記低優先度部分情報バイトと、前記FEC符号化された、複数の高優先度部分情報バイトとを含む所定の複数のパケットを形成するステップであって、前記所定の複数のパケットは、各々のFEC符号化された出力の各バイトを異なるパケット内の同じバイト位置に配置するようなやり方で、各々のFEC符号化された出力のうちの前記高優先度部分情報バイト及び前記関連する一つ又は複数のパリティバイトが前記複数のパケットにわたって分散されるように、前記低優先度部分情報バイトと前記複数のFEC符号化された出力とを前記複数のパケットに配置することによって形成され、各パケット内の所定の数のバイト位置が、前記低優先度部分情報バイトのストリームからの低優先度情報バイトを含むために割り当てられ、各パケット内の所定の数の同一のバイト位置が、前記FEC符号化された出力からの全ての高優先度部分情報バイトと、全てのパリティバイトとのうちのいずれか一方を含むように割り当てられる、ステップとを有すること
    を特徴とする方法。
  2. 各々のパケットが等しい長さを有し、各々のパケットに、等しい個数の低優先度部分情報バイトが含まれており、各々のパケットに、等しい個数の高優先度部分情報バイトあるいはパリティバイトが含まれていることを特徴とする請求項1に記載の方法。
  3. 前記方法が、さらに、
    (E)前記圧縮符号化されたビデオ信号の前記少なくとも一つのフレームに関して、高優先度部分情報バイトの個数及び低優先度部分情報バイトの個数を決定するステップと、
    (F)1つ又は複数のパケットの喪失に対する所定の望ましい最低保護レベルに関して、高優先度部分情報バイトの前記個数、低優先度部分情報バイトの前記個数、及びパケット当たりの所定の最大バイト数から、前記少なくとも一つのフレームに関して、(1)パケット当たりのバイト数、(2)高優先度部分情報バイト、関連するパリティバイト、及び低優先度部分情報バイトに対して必要とされる総パケット数(n)、及び、(3)前記n個のパケットのうちで高優先度部分情報バイトを含むパケット数(k)を決定するステップと、
    を有することを特徴とする請求項2に記載の方法。
  4. 前記ビデオ信号を圧縮符号化するステップがMPEG符号化を用いることを特徴とする請求項1に記載の方法。
  5. 前記少なくとも一つのフレームが単一フレームであって、前記分割するステップが、前記圧縮符号化されたビデオ信号の情報バイトを、前記圧縮符号化されたビデオ信号のマクロブロックの各々における優先度ブレークポイントにおいて、高優先度部分情報バイトと低優先度部分情報バイトとに分割するステップを有し、
    前記優先度ブレークポイントは、前記ビデオのフレームがフレーム内符号化Iフレームであるか、予測Pフレームであるか、あるいは予測Bフレームであるかに基づいて決定され、
    前記フレームがIフレームである場合には、前記優先度ブレークポイントは、前記圧縮符号化されたビデオ信号の実質的に全ての情報バイトが高優先度部分情報バイトであるように選択され、
    前記フレームがBフレームである場合には、前記優先度ブレークポイントは、前記圧縮符号化されたビデオ信号の実質的に全ての情報バイトが低優先度部分情報バイトであるように選択され、
    前記フレームがPフレームである場合には、前記圧縮符号化されたビデオ信号内のマクロブロックに係る情報バイトが、前記マクロブロックがフレーム内符号化マクロブロックであるかフレーム間符号化マクロブロックであるかに基づいて決定される優先度ブレークポイントにおいて、高優先度部分情報バイトあるいは低優先度部分情報バイトとして分割される
    ことを特徴とする請求項4に記載の方法。
  6. パケットベースのネットワークを介する伝送のためにビデオ信号を符号化するエンコーダにおいて、本エンコーダが、
    前記ビデオ信号を圧縮符号化する手段と
    前記圧縮符号化されたビデオ信号の少なくとも一つのフレームを高優先度部分情報バイトのストリーム及び低優先度部分情報バイトのストリームに分割する手段と
    前記高優先度部分情報バイトのストリーム内の所定のバイト位置に位置する所定の数の高優先度部分情報バイトの各入力対してシステマティックフォワードエラー/抹消修正(FEC)符号を適用して、入力された高優先度部分情報バイト及び関連する1つ又は複数のパリティバイトの組み合わせよりなる、各入力についてのFEC符号化された力を生成する手段と、
    各々のFEC符号化された出力の各バイトを異なるパケット内の同じバイト位置にそれぞれ配置するようなやり方で、各々のFEC符号化された出力のうちの前記高優先度部分情報バイト及び前記関連する一つ又は複数のパリティバイトが所定の複数のパケットに亘って分散されるように、前記低優先度部分情報バイトと複数の前記FEC符号化された出力とを前記所定の複数のパケットに配置する手段であって、各パケット内の所定の数のバイト位置は、前記低優先度部分情報バイトのストリームからの低優先度情報バイトを含むために割り当てられ、各パケット内の所定の数の同一のバイト位置が、前記FEC符号化された出力からの全ての高優先度部分情報バイトと、全てのパリティバイトとのうちのいずれか一方を含むように割り当てられる、手段とを有する
    ことを特徴とするエンコーダ。
  7. 各々のパケットが等しい長さを有し、各々のパケットに、等しい個数の低優先度部分情報バイトが含まれており、各々のパケットに、等しい個数の高優先度部分情報バイトあるいはパリティバイトが含まれていることを特徴とする請求項6に記載のエンコーダ。
  8. 前記エンコーダが、さらにプロセッサを有しており、前記プロセッサが、
    前記圧縮符号化されたビデオ信号の前記少なくとも一つのフレームに関して、高優先度部分情報バイトの個数及び低優先度部分情報バイトの個数を決定し
    1つ又は複数のパケットの喪失に対する所定の望ましい最低保護レベルに関して、高優先度部分情報バイトの前記個数、低優先度部分情報バイトの前記個数、及びパケット当たりの所定の最大バイト数から、前記少なくとも一つのフレームに関して、(1)パケット当たりのバイト数、(2)高優先度部分情報バイト、関連するパリティバイト、及び低優先度部分情報バイトに対して必要とされる総パケット数(n)、及び、(3)前記n個のパケットのうちで高優先度部分情報バイトを含むパケット数(k)を決定する
    ことを特徴とする請求項7に記載のエンコーダ。
  9. 前記ビデオ信号を圧縮符号化する手段がMPEG符号化を用いることを特徴とする請求項6に記載のエンコーダ。
  10. 前記少なくとも一つのフレームが単一フレームであって、前記分割する手段が、前記圧縮符号化されたビデオ信号のマクロブロックの各々における優先度ブレークポイントにおいて、前記圧縮符号化されたビデオ信号の情報バイトを高優先度部分情報バイトと低優先度部分情報バイトとに分割し、
    前記優先度ブレークポイントは、前記ビデオのフレームがフレーム内符号化Iフレームであるか、予測Pフレームであるか、あるいは予測Bフレームであるかに基づいて決定され、
    前記フレームがIフレームである場合には、前記優先度ブレークポイントは、前記圧縮符号化されたビデオ信号の実質的に全ての情報バイトが高優先度部分情報バイトであるように選択され、
    前記フレームがBフレームである場合には、前記優先度ブレークポイントは、前記圧縮符号化されたビデオ信号の実質的に全ての情報バイトが低優先度部分情報バイトであるように選択され、
    前記フレームがPフレームである場合には、前記分割する手段が、前記圧縮符号化されたビデオ信号内のマクロブロックに係る情報バイトを、前記マクロブロックがフレーム内符号化マクロブロックであるかフレーム間符号化マクロブロックであるかに基づいて決定される優先度ブレークポイントにおいて、高優先度部分情報バイトあるいは低優先度部分情報バイトとして分割する
    ことを特徴とする請求項9に記載のエンコーダ。
JP29907399A 1998-10-22 1999-10-21 エンコード方法及びエンコーダ Expired - Lifetime JP3831558B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/177,008 US6317462B1 (en) 1998-10-22 1998-10-22 Method and apparatus for transmitting MPEG video over the internet
US09/177008 1998-10-22

Publications (2)

Publication Number Publication Date
JP2000134619A JP2000134619A (ja) 2000-05-12
JP3831558B2 true JP3831558B2 (ja) 2006-10-11

Family

ID=22646798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29907399A Expired - Lifetime JP3831558B2 (ja) 1998-10-22 1999-10-21 エンコード方法及びエンコーダ

Country Status (4)

Country Link
US (1) US6317462B1 (ja)
EP (1) EP0996291A1 (ja)
JP (1) JP3831558B2 (ja)
CA (1) CA2281353C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8245114B2 (en) 2008-07-24 2012-08-14 Canon Kabushiki Kaisha Transmitting apparatus, transmitting method, and program

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000078573A (ja) * 1998-09-03 2000-03-14 Hitachi Ltd 階層符号化データ配信装置
US6490705B1 (en) * 1998-10-22 2002-12-03 Lucent Technologies Inc. Method and apparatus for receiving MPEG video over the internet
US6609223B1 (en) * 1999-04-06 2003-08-19 Kencast, Inc. Method for packet-level fec encoding, in which on a source packet-by-source packet basis, the error correction contributions of a source packet to a plurality of wildcard packets are computed, and the source packet is transmitted thereafter
US6514140B1 (en) * 1999-06-17 2003-02-04 Cias, Inc. System for machine reading and processing information from gaming chips
KR100677070B1 (ko) * 1999-10-02 2007-02-01 삼성전자주식회사 무선 멀티미디어 통신에서의 비디오 비트스트림 데이터의 오류 제어방법 및 이를 위한 기록 매체
US6931060B1 (en) * 1999-12-07 2005-08-16 Intel Corporation Video processing of a quantized base layer and one or more enhancement layers
US7116717B1 (en) * 1999-12-15 2006-10-03 Bigband Networks, Inc. Method and system for scalable representation, storage, transmission and reconstruction of media streams
US6681362B1 (en) * 2000-03-06 2004-01-20 Sarnoff Corporation Forward error correction for video signals
EP1172958A1 (fr) * 2000-07-11 2002-01-16 Koninklijke Philips Electronics N.V. Système de communication, émetteur, mèthode de protection contre des erreurs de transmission
US6978306B2 (en) 2000-08-10 2005-12-20 Pts Corporation Multi-tier video delivery network
JP2002164925A (ja) * 2000-11-29 2002-06-07 Hitachi Ltd マルチキャスト通信システムおよびマルチキャスト通信方法
JP2002171285A (ja) * 2000-11-29 2002-06-14 Mitsubishi Electric Corp 通信システムおよび通信方法
US7103669B2 (en) * 2001-02-16 2006-09-05 Hewlett-Packard Development Company, L.P. Video communication method and system employing multiple state encoding and path diversity
EP1371225B1 (en) * 2001-03-12 2014-08-13 Polycom, Inc. Video encoding and transporting method for concealing the effects of packet loss in multi-channel packet switched networks
EP1725038A3 (en) * 2001-03-12 2009-08-26 Polycom, Inc. A low-delay video encoding method for concealing the effects of packet loss in multi-channel packet switched networks
US7631242B2 (en) * 2001-06-22 2009-12-08 Broadcom Corporation System, method and computer program product for mitigating burst noise in a communications system
EP1271955A3 (fr) * 2001-06-26 2007-05-02 Koninklijke Philips Electronics N.V. Procédé de transmission par paquet avec requetes en retransmission de paquet et mécanisme de controle relatif à la transmission de telles requètes
EP1454492A4 (en) * 2001-07-18 2005-01-05 Polycom Inc SYSTEM AND METHOD FOR IMPROVING THE QUALITY OF VIDEO COMMUNICATION VIA A PACKET BASED NETWORK
EP1292148A1 (en) * 2001-08-17 2003-03-12 Enrico Aprico Transmission system and method for application to television signal distribution
KR100703295B1 (ko) * 2001-08-18 2007-04-03 삼성전자주식회사 이동통신시스템에서 안테나 어레이를 이용한 데이터 송/수신 장치 및 방법
US20030078045A1 (en) * 2001-10-02 2003-04-24 Anders Norstrom Soft stream hand over
US20030072376A1 (en) * 2001-10-12 2003-04-17 Koninklijke Philips Electronics N.V. Transmission of video using variable rate modulation
KR100939694B1 (ko) * 2001-10-15 2010-02-01 톰슨 라이센싱 미디어 객체를 송신하기 위한 다이내믹 에러 복구 메커니즘을 제공하는 방법 및 장치, 제어 패킷을 미디어 객체에 대응하는 복수의 데이터 패킷에 순차적으로 할당하는 방법 및 장치, 및 방송 아키택쳐에서 송신 에러를 결정하는 장치
KR100561838B1 (ko) 2001-11-16 2006-03-16 삼성전자주식회사 멀티캐스트 데이터의 효율적인 송수신 장치 및 방법
CA2411991A1 (en) * 2001-11-19 2003-05-19 Linear Systems Ltd. Transmitting digital video signals over an ip network
US7292583B2 (en) * 2002-01-04 2007-11-06 Scientific-Atlanta, Inc. Receiving streams over asynchronous networks
US7155532B2 (en) * 2002-01-04 2006-12-26 Scientific-Atlanta, Inc. Transmitting streams over asynchronous networks
KR100810350B1 (ko) * 2002-01-07 2008-03-07 삼성전자주식회사 안테나 어레이를 포함하는 부호분할다중접속 이동통신시스템에서 다양한 채널상태에 따른 데이터 송/수신 장치 및 방법
WO2003063465A2 (en) * 2002-01-16 2003-07-31 Aviom, Inc. System and method for transmitting audio or video data using multiple levels of protection
JP4150951B2 (ja) * 2002-02-19 2008-09-17 ソニー株式会社 動画配信システム、動画配信装置および方法、並びにプログラム
US7613727B2 (en) 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
FR2837332A1 (fr) * 2002-03-15 2003-09-19 Thomson Licensing Sa Dispositif et procede d'insertion de codes de correction d'erreurs et de reconstitution de flux de donnees, et produits correspondants
US7020823B2 (en) * 2002-03-19 2006-03-28 Matsushita Electric Industrial Co., Ltd. Error resilient coding, storage, and transmission of digital multimedia data
BR0309213A (pt) * 2002-04-17 2007-01-30 Thomson Licensing Sa gerador de sinal de erro de pacote
KR100978815B1 (ko) 2002-04-19 2010-08-30 톰슨 라이센싱 우선순위 데이터로 시스템에서 에러 제어 코딩하기 위한다이버시티 방식
JP4226481B2 (ja) * 2002-04-19 2009-02-18 トムソン ライセンシング 前方消失訂正を使用する同期損失回復デジタル通信システム
US8046667B2 (en) 2002-04-19 2011-10-25 Thomson Licensing Synchronization loss resilient digital communication system using forward erasure correction
US7831990B2 (en) * 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
KR100458878B1 (ko) * 2002-05-03 2004-12-03 학교법인 경희대학교 Fec 코딩 방식에 기초한 가변길이 패킷 송수신 방법
US20050226970A1 (en) * 2002-05-21 2005-10-13 Centrition Ltd. Personal nutrition control method and measuring devices
US20030219513A1 (en) * 2002-05-21 2003-11-27 Roni Gordon Personal nutrition control method
CN1324851C (zh) * 2002-06-11 2007-07-04 汤姆森许可贸易公司 适用于动态网络丢失条件的数据通信方法
US20040047424A1 (en) * 2002-10-15 2004-03-11 Kumar Ramaswamy System and method for transmitting digital video files with error recovery
US7450612B2 (en) 2002-12-04 2008-11-11 Koninklijke Electronics N.V. Packetization of layered media bitstreams
US6847521B2 (en) * 2003-01-03 2005-01-25 Dell Products L.P. PCB as a structural component and internal chassis alignment
US7657111B2 (en) * 2003-02-14 2010-02-02 Fujifilm Corporation Apparatus and program for image processing for obtaining processed compressed moving image data
FR2852180B1 (fr) * 2003-03-07 2005-08-26 Thales Sa Procede et systeme de protection de donnees avec en-tete dans un systeme de transmission
US20040255338A1 (en) * 2003-06-13 2004-12-16 Apple Computer, Inc. Interface for sending synchronized audio and video data
KR100698620B1 (ko) 2003-06-16 2007-03-21 삼성전자주식회사 강건한 에러 정정 부호화 장치를 가지는 디지털 송/수신시스템 및 그의 에러정정부호화/정정방법
JP2005079793A (ja) * 2003-08-29 2005-03-24 Nec Corp 画像通信方法、画像通信システム、画像送信装置および画像受信装置
JP2005210219A (ja) * 2004-01-20 2005-08-04 Sony Corp 送受信システム、送信装置および方法、受信装置および方法、記録媒体、並びにプログラム
AU2005249060A1 (en) * 2004-06-01 2005-12-15 Centrition Ltd. Personal nutrition control devices
US8331445B2 (en) * 2004-06-01 2012-12-11 Qualcomm Incorporated Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques
US7739577B2 (en) * 2004-06-03 2010-06-15 Inphase Technologies Data protection system
US7533324B2 (en) * 2004-09-22 2009-05-12 Kencast, Inc. System, method and apparatus for FEC encoding and decoding
ATE511721T1 (de) * 2004-10-06 2011-06-15 Nokia Corp Zusammenstellen von vorwärtsfehlerkorrektur- rahmen
US7447978B2 (en) * 2004-11-16 2008-11-04 Nokia Corporation Buffering packets of a media stream
WO2006076220A2 (en) * 2005-01-10 2006-07-20 Swagelok Company Carburization of ferrous-based shape memory alloys
US7739580B1 (en) 2005-02-17 2010-06-15 Kencast, Inc. System, method and apparatus for reducing blockage losses on information distribution networks
US8223643B1 (en) 2005-09-06 2012-07-17 Kencast, Inc. Method for packet-level FEC encoding a stream of source packets using shifted interleaving
KR100746013B1 (ko) * 2005-11-15 2007-08-06 삼성전자주식회사 무선 네트워크에서의 데이터 전송 방법 및 장치
CN1984332B (zh) * 2005-12-14 2010-05-26 财团法人工业技术研究院 数据及图像编码之方法与系统
US7852853B1 (en) * 2006-02-07 2010-12-14 Nextel Communications Inc. System and method for transmitting video information
BRPI0621618B1 (pt) * 2006-04-29 2019-10-22 Interdigital Ce Patent Holdings método e dispositivo móvel para recuperar perda de um pacote de dados quando o dispositivo móvel é transferido de controle entre células
JP2008017331A (ja) * 2006-07-07 2008-01-24 Toshiba Corp パケットストリーム送信装置
US8707139B2 (en) * 2006-10-18 2014-04-22 Kencast, Inc. Systems, methods, apparatus, and computer program products for providing forward error correction with low latency
JP4250654B2 (ja) * 2006-11-17 2009-04-08 株式会社東芝 通信装置、通信方法および通信プログラム
KR101221913B1 (ko) * 2006-12-20 2013-01-15 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101125846B1 (ko) * 2007-03-23 2012-03-28 삼성전자주식회사 패킷 기반의 영상 프레임 전송 방법 및 장치
US7949778B2 (en) * 2007-03-27 2011-05-24 Kencast, Inc. Systems, methods, apparatus and computer program products for providing packet-level FEC with higher throughput using user datagram protocol (UDP)
KR101328949B1 (ko) 2007-04-10 2013-11-13 엘지전자 주식회사 방송 신호 송수신 방법
KR101351019B1 (ko) 2007-04-13 2014-01-13 엘지전자 주식회사 방송 신호 송수신 장치 및 방송 신호 송수신 방법
KR101430484B1 (ko) 2007-06-26 2014-08-18 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101405966B1 (ko) 2007-06-26 2014-06-20 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101456002B1 (ko) 2007-06-26 2014-11-03 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101430483B1 (ko) 2007-06-26 2014-08-18 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CA2692484C (en) 2007-07-02 2013-04-16 Lg Electronics Inc. Digital broadcasting system and data processing method
KR101490246B1 (ko) * 2007-07-02 2015-02-05 엘지전자 주식회사 방송 수신기 및 방송신호 처리방법
EP2019522B1 (en) 2007-07-23 2018-08-15 Polycom, Inc. Apparatus and method for lost packet recovery with congestion avoidance
KR101486372B1 (ko) 2007-07-25 2015-01-26 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CA2696721C (en) 2007-08-24 2012-07-24 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
US8214872B2 (en) 2007-08-24 2012-07-03 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
KR101461967B1 (ko) 2007-08-24 2014-11-14 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US8175065B2 (en) 2007-08-24 2012-05-08 Lg Electronics Inc. Digital broadcasting system and method of processing data in the digital broadcasting system
KR101556131B1 (ko) 2007-08-24 2015-09-30 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US8161511B2 (en) 2007-08-24 2012-04-17 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
US8510781B2 (en) 2007-08-24 2013-08-13 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
CA2695548C (en) 2007-08-24 2013-10-15 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
US8185925B2 (en) 2007-08-24 2012-05-22 Lg Electronics Inc. Digital broadcasting system and method of processing data in the digital broadcasting system
US8051451B2 (en) 2007-08-24 2011-11-01 Lg Electronics, Inc. Digital broadcasting system and method of processing data in digital broadcasting system
CA2697453C (en) 2007-08-24 2013-10-08 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
US8683529B2 (en) 2007-08-24 2014-03-25 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
US7733819B2 (en) 2007-08-24 2010-06-08 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
US8276178B2 (en) 2007-08-24 2012-09-25 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
US7646828B2 (en) 2007-08-24 2010-01-12 Lg Electronics, Inc. Digital broadcasting system and method of processing data in digital broadcasting system
US7912006B2 (en) 2007-08-24 2011-03-22 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
WO2009038406A2 (en) 2007-09-21 2009-03-26 Lg Electronics Inc. Digital broadcasting system and data processing method
WO2009038438A2 (en) 2007-09-21 2009-03-26 Lg Electronics Inc. Digital broadcasting receiver and method for controlling the same
WO2009038407A2 (en) 2007-09-21 2009-03-26 Lg Electronics Inc. Digital broadcasting system and method of processing data in digital broadcasting system
WO2009038440A2 (en) 2007-09-21 2009-03-26 Lg Electronics Inc. Digital broadcasting receiver and method for controlling the same
US8111757B2 (en) 2007-09-28 2012-02-07 Motorola Mobility, Inc. Method and apparatus for video signal processing
US8418034B2 (en) * 2008-02-08 2013-04-09 Kencast, Inc. Systems, methods, apparatus and computer program products for highly reliable file delivery using compound and braided FEC encoding and decoding
US8145975B2 (en) * 2008-02-28 2012-03-27 Ip Video Communications Corporation Universal packet loss recovery system for delivery of real-time streaming multimedia content over packet-switched networks
US8422509B2 (en) 2008-08-22 2013-04-16 Lg Electronics Inc. Method for processing a web service in an NRT service and a broadcast receiver
EP2200220A1 (en) * 2008-12-22 2010-06-23 Thomson Licensing Method and apparatus for reliable multicast streaming
US8392800B2 (en) * 2009-10-20 2013-03-05 Hewlett-Packard Development Company, L.P. Multi-hop network having increased reliability
KR101286912B1 (ko) 2009-12-18 2013-07-16 한국전자통신연구원 3차원 저장장치를 이용한 가변길이 패킷의 fec 인코딩 및 fec 디코딩 방법
EP2567546A4 (en) * 2010-05-10 2014-01-15 Samsung Electronics Co Ltd METHOD AND APPARATUS FOR TRANSMITTING AND RECEIVING LAYERED CODED VIDEO
KR101443061B1 (ko) * 2010-11-12 2014-09-26 한국전자통신연구원 패킷 손실에 강인한 애드혹 멀티미디어 그룹통신 단말 및 그 동작방법
CN105426775B (zh) * 2015-11-09 2018-06-19 北京联合大学 一种保护智能手机信息安全的方法和系统
CN105933342A (zh) * 2016-06-24 2016-09-07 浙江宇视科技有限公司 一种视频监控数据的传输方法及装置
EP3654556A4 (en) * 2017-07-11 2021-04-21 Shanghai Jiao Tong University ADAPTIVE METHOD, DEVICE AND SYSTEM FOR FEC CODING AND DECODING OF SYSTEMATIC CODES AND MEDIUM BASED ON MEDIA CONTENT
US10771191B2 (en) 2018-03-09 2020-09-08 Kencast, Inc. System for highly reliable file delivery of using continuous FEC encoding/decoding
US11175654B2 (en) 2018-05-03 2021-11-16 DoorDash, Inc. Virtual vehicle control system
CN112400290B (zh) 2019-05-12 2024-04-05 阿密蒙有限公司 经由用户数据报协议(udp)通信链路传输视频的方法
JP2022546102A (ja) * 2019-09-10 2022-11-02 華為技術有限公司 パケット処理方法および装置、ならびにチップ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001561A (en) 1990-05-02 1991-03-19 At&T Bell Laboratories Embedded coding system for video signals
US5287178A (en) * 1992-07-06 1994-02-15 General Electric Company Reset control network for a video signal encoder
US5231486A (en) * 1992-07-27 1993-07-27 General Electric Company Data separation processing in a dual channel digital high definition television system
US5771081A (en) 1994-02-28 1998-06-23 Korea Telecommunication Authority Bit system for transmitting digital video data
JPH07283740A (ja) 1994-04-05 1995-10-27 Sony Corp 送信装置、受信装置、および伝送システム
US5555244A (en) * 1994-05-19 1996-09-10 Integrated Network Corporation Scalable multimedia network
US5847779A (en) * 1994-06-15 1998-12-08 Rca Thomson Licensing Corporation Synchronizing a packetized digital datastream to an output processor in a television signal processing system
DE19547707A1 (de) 1995-12-20 1997-07-03 Thomson Brandt Gmbh Verfahren, Encoder und Decoder zur Übertragung von hierarchisch in mehrere Teile gegliederten digitalen Signalen
US5831690A (en) * 1996-12-06 1998-11-03 Rca Thomson Licensing Corporation Apparatus for formatting a packetized digital datastream suitable for conveying television information

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8245114B2 (en) 2008-07-24 2012-08-14 Canon Kabushiki Kaisha Transmitting apparatus, transmitting method, and program

Also Published As

Publication number Publication date
CA2281353C (en) 2003-07-01
JP2000134619A (ja) 2000-05-12
US6317462B1 (en) 2001-11-13
CA2281353A1 (en) 2000-04-22
EP0996291A1 (en) 2000-04-26

Similar Documents

Publication Publication Date Title
JP3831558B2 (ja) エンコード方法及びエンコーダ
JP3831559B2 (ja) 圧縮符号化されたビデオ信号を復号化する方法
Boyce Packet loss resilient transmission of MPEG video over the Internet
US7779336B2 (en) Assembling forward error correction frames
CA2409499C (en) Video coding using the sequence numbers of reference pictures for error correction
KR101125846B1 (ko) 패킷 기반의 영상 프레임 전송 방법 및 장치
US7693220B2 (en) Transmission of video information
US7116714B2 (en) Video coding
US6141448A (en) Low-complexity error-resilient coder using a block-based standard
EP1793612A2 (en) Picture encoding method and apparatus and picture decoding method and apparatus
JP4135395B2 (ja) 符号化パケット伝送受信方法およびその装置ならびにプログラム
Frossard et al. AMISP: a complete content-based MPEG-2 error-resilient scheme
Vilei et al. A novel unbalanced multiple description scheme for video transmission over wlan
Wenger High-level syntax for H. 26L: first results
Nguyen et al. Adaptive error protection for Scalable Video Coding extension of H. 264/AVC
KR20070079603A (ko) 배타적 논리합 기반 잉여 픽쳐 슬라이스 생성 방법 및 이를 이용한 손실 슬라이스 복원 방법
Gao et al. A Low-Latency Video Transmission Scheme Based on Sliding-Window FEC
Frossard et al. Content-based MPEG-2 structuring and protection
CN114554198A (zh) 基于纠删码的视频关键帧冗余传输方法和系统
Du et al. ECC Video-An Active Approach for Error Resilience.
Horn Scalable Internet Video Streaming With Unequal Error Protection
Luo et al. Unequal Error Protection of Multiple Programs Based on Length-Variable Transport Stream Packets

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040526

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20040826

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20040831

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050530

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20050830

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20050905

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051226

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060324

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060714

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3831558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100721

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110721

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120721

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130721

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term