JP4668913B2 - 誤り訂正によるデジタルテレビジョンの伝送 - Google Patents

誤り訂正によるデジタルテレビジョンの伝送 Download PDF

Info

Publication number
JP4668913B2
JP4668913B2 JP2006530958A JP2006530958A JP4668913B2 JP 4668913 B2 JP4668913 B2 JP 4668913B2 JP 2006530958 A JP2006530958 A JP 2006530958A JP 2006530958 A JP2006530958 A JP 2006530958A JP 4668913 B2 JP4668913 B2 JP 4668913B2
Authority
JP
Japan
Prior art keywords
data
error correction
stream
standard
multimedia data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006530958A
Other languages
English (en)
Other versions
JP2007507966A (ja
Inventor
チェン,インウェイ
ビリュー,ダグナチュウ
ワラス ウェンドーフ,ジェイムズ
Original Assignee
アイピージー エレクトロニクス 503 リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイピージー エレクトロニクス 503 リミテッド filed Critical アイピージー エレクトロニクス 503 リミテッド
Publication of JP2007507966A publication Critical patent/JP2007507966A/ja
Application granted granted Critical
Publication of JP4668913B2 publication Critical patent/JP4668913B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • H03M13/356Unequal error protection [UEP]
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/29Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes combining two or more codes or code structures, e.g. product codes, generalised product codes, concatenated codes, inner and outer codes
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/35Unequal or adaptive error protection, e.g. by providing a different level of protection according to significance of source information or by adapting the coding according to the change of transmission channel characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、誤り訂正により雑音の多い媒体を通してのデジタルテレビジョンの伝送の分野に関する。この媒体における雑音は、適度な表示品質のための誤り訂正を必要とする受信されたデータにおいて誤りとなる。
MPEGストリームのようなデジタルマルチメディアデータストリームは、伝送誤りに対して極端に傷つき易い。誤り訂正が提供されない場合、1ビットエラーでさえもMPEGストリームの重要な部分の復号化を妨げることになる。DTV向けの提案されるATSC規格及び提案されるDVB規格のような提案されるデジタルテレビジョン規格は、伝送の間の生じる幾つかの誤りを補正することができるFEC(Forward Error Correction)データを提供する。誤り訂正データは、典型的に、パリティビットの形式での冗長なデータである。誤り訂正スキームにより補正することができるエラー量は、スキームで提供される誤り訂正データの量に依存する。ランダムなシングルビットエラーのような小さなエラーは、小さな量の誤り訂正データが大部分のエラーを補正するのに十分であるように、大きなバーストエラーよりも一般的である。また、実際の量ではない誤り訂正データは、全ての可能な伝送エラーを除くことができる。したがって、これら提案される規格は、誤り訂正のロバスト性と、伝送される必要がある誤り訂正データの量との間のトレードオフに基づいている。
提案されるデジタルテレビジョン技術は、電流ケーブル及び衛星テレビジョン伝送スキームにより提供されるような低い雑音伝送チャネルについて許容可能な受信を提供する。しかし、延長されたケーブルシステム、地上波放送、インターネット伝送、セルフォン伝送、及びワイヤレスネットワーク伝送チャネルのような雑音の多いチャネルを通してテレビジョン伝送の更にロバストな誤り訂正を提供する必要がある。
近年、ビデオデータの不均一なプロテクション又は優先付けされたプロテクションのスキームは、文献で広く提案されてきている。これらのスキームは、デジタルマルチメディアストリームのある部分にける誤りがストリームの他の部分におけるエラーよりも更に重大である事実を利用している。デジタルマルチメディアストリームの重要な部分におけるエラーは、重要なデータの損失を引き起こし、たとえば、MPEGビデオIフレームのヘッダにおける誤りは、ビデオフレームの全体のグループの復号化を妨げ、オーディオフレームにおけるエラーは、理解できない単語となる可能性がある。しかし、デジタルマルチメディアストリームの重要性の低い部分におけるデータは、知覚できない場合さえある。
提案される不均質なプロテクションスキームでは、デジタルマルチメディアストリームは、表示の品質への異なる量で寄与する異なるデータタイプの異なる部分に分割される。次いで、プレゼンテーションの品質に多く寄与するデータタイプの一部は、たとえば、より多くのデータの冗長度を提供するか、又はより重要なデータタイプを正しく伝送するために更に多くのリトライを提供することで、他のタイプのデータの一部よりも更にロバストにされる。一般にこれらのスキームでは、マルチメディアストリームを伝送するために使用される伝送チャネルは、ビデオ信号の異なる部分について時間ごとに分割される。
チャネルは、通信信号が伝送される通信リソースの一部であって、1つのチャネルを通した信号の伝送は、通信リソースの他のチャネルを通して他のチャネルの伝送とは実質的に独立である。チャネル通信は、チャネルを通した信号の伝送である。チャネルは、他のチャネルを通した通信とは実質的に独立な予め決定された伝送レート又は帯域幅のような予め決定された特性を有している。たとえば、チャネルは、電気信号が伝送される導電性パスであるか、電磁信号が伝送された周波数帯域である。ある時間での1つの送信機のみが同じチャネルを通して情報を伝送することができる。リソースは、媒体又は一連の異なる媒体である場合がある。チャネルは、異なる送信機が同じチャネルの異なるスライスを通して異なる信号を独立に伝送できるように、チャネルを時間スライス及び/又は周波数スライスすることで、多数のチャネルに分割又はスライスされる場合がある。実質的に独立な伝送を提供するチャネルのそれぞれのスライスもチャネルと呼ばれる。ここで、チャネルは、送信機と受信機の観点から定義される。すなわち、信号が伝送される通信リソースは、信号の送信及び受信が他のチャネルを通した通信には実質的に独立である限り、チャネルと考えられる。
インターネットのようなスイッチパケットネットワークを通した通信は、スイッチパケットネットワークでのチャネルに制限されないが、典型的に、かかる通信は、チャネル通信についての先の定義に合致するように、インターネットの内外のチャネルに制限される。
当業者は、引用により全体的に本明細書に組み込まれる以下の引例に向けられる。
・“PES packet and elementary streams”in “Comprehensive MPEG2 Video
Compression Tutorial” by Wayne E. Bretl and Mark Fimoff, January 15, 2000, at www.bretl.com
・“ATSC Standard A/53: Digital Television Standard”, August 2001, at
http://www.atsc.org
本発明のマルチメディアストリーム送信機では、ストリーム送信機は、標準的なマルチメディアデータストリームを受ける。ストリームは、符号化されたマルチメディアデータを誤り訂正するのに有効な符号化されたマルチメディアデータ異及び一様な誤り訂正データを含む。一様な誤り訂正データは、標準的なマルチメディアデータストリームの符号化されたマルチメディアデータのそれぞれの部分について誤り訂正の実質的に同じロバスト性を提供する。送信機は、符号化されたマルチメディアデータストリームのあるストリーム部分を選択するが、符号化されたマルチメディアデータストリームの他のストリーム部分ではない。選択は、符号化されたマルチメディアデータの正しい復号化への選択されたストリーム部分の重要性に依存する。送信機は、どのストリームが選択されたかを示すセレクションマップデータを生成する。また、送信機は、選択されたストリーム部分を誤り訂正する更なる不均等な誤り訂正データを生成し、選択されなかった他のストリーム部分についてかかる更なる誤り訂正データを生成しない。送信機は、第一のチャネルを通して標準的なマルチメディアストリームを伝送し、セレクションマップデータと更なる不均等な誤り訂正データを含むエンハンスメントデータを第二のチャネルを通して伝送する。第二のチャネルは、第一のチャネルとは異なるチャネルであり、すなわち、第一のチャネルを通した情報信号の伝送は、第二のチャネルを通した情報信号の伝送とは独立である。
本発明のマルチメディアデータ受信機では、受信機は、第一のチャネルから標準的なマルチメディアデータストリームを受け、第二のチャネルからエンハンスメントデータを受ける。受信機は、更なる不均等な誤り訂正データを使用してセレクションマップに従って標準的なマルチメディアデータストリームの選択された部分を選択的に誤り訂正する。また、受信機は、一様な誤り訂正データを使用して全ての符号化されたマルチメディアデータを一様に誤り訂正する。
マルチメディアデータの重要な部分について更なる非均等なエラープロテクションとの組み合わせでの一様な誤り訂正の組み合わせの利点は、マルチメディアデータの重要性の低い部分における大部分のエラーが訂正され、より広範なエラーでさえも符号化されたマルチメディアデータの更に重要な部分で訂正されることを含んでいる。第一のチャネルを通して一様な誤り訂正により、更に第二のチャネルを通して不均等な誤り訂正により標準的なマルチメディアデータストリームを伝送する利点は、一様な誤り訂正による標準的なマルチメディアデータストリームが第一のチャネルから標準的なストリームのみを受け、第二のチャネルからエンハンスメントデータを受信しない受信機と互換性があることを含んでいる。したがって、本発明の送信機は、本発明を利用しない標準的な受信機用に使用される。異なるロケーションで多数の受信機が本発明の同じ送信機から信号を受信するブロードキャストの実施の形態では、ある受信機は他の受信機よりも雑音の多い信号を受け、雑音の多い信号を受ける受信機は、改善された受信の品質を得るために本発明を利用し、本発明を利用しない複雑さの少ない受信機は、雑音の少ない信号を受信するために使用される。
送信機は、エンハンスメントデータに誤り訂正を行うのに有効な第三の誤り訂正データ部分を生成する場合がある。第三の誤り訂正データは、エンハンスメントデータのそれぞれの部分について実質的に同じ一様な誤り訂正のロバスト性を提供する。受信機は、標準的なストリームの選択された部分を誤り訂正する前に、エンハンスメントデータに誤り訂正を行う場合がある。送信機は、エンハンスメント伝送フレームのエンハンスメントストリームを生成する場合がある。それぞれのエンハンスメント伝送フレームは、エンハンスメントデータの固定されたサイズ部分、及び第三の誤り訂正データの固定されたサイズ部分を含む場合がある。
標準的なストリームは、固定されたサイズのエレメンタリストリームパケットを含む場合があり、パケットは、パケットヘッダ及びパケットデータ部分をそれぞれ含んでいる。パケットは、それらのパケットデータ部分にビデオデータを含むビデオパケットを含み、それらのパケットデータ部分にオーディオデータを含むオーディオパケットを含む場合がある。
標準的なストリームは、固定されたサイズの標準的な伝送フレームに編成され、それぞれ標準的な伝送フレームは、符号化されたマルチメディアデータの固定されたサイズの部分、及び一様な誤り訂正データ(uniform error correction data)の固定されたサイズの部分を含んでいる。それぞれのフレームに含まれる一様な誤り訂正データは、同じフレームに含まれる符号化されたマルチメディアデータに誤り訂正を行うためである場合がある。
標準的な伝送フレームは、符号化されたマルチメディアデータの選択された部分についてセレクションマップデータ(selection map data)と不均等な誤り訂正データ(unequal error correction data)を効率的に生成及び編成する多数の標準的な伝送フレームからなるグループに論理的に編成される。符号化されたマルチメディアデータの部分の選択は、実質的に全てのオーディオ部分を選択すること、ビデオヘッダ情報を含む実質的に全てのビデオ部分を選択すること、及び、ビデオヘッダデータを含むそれぞれのビデオ部分の直後のビデオ部分の系列を選択することを含んでおり、系列における部分の数は、第二の伝送の予め決定されたビットレートに依存する。セレクションマップデータ及び/又は不均等な誤り訂正データは、それらが生成された符号化マルチメディアデータ部分が伝送されるのと同じ順序でそれぞれ伝送される場合がある。代替的に、セレクションマップデータ及び/又は不均等な誤り訂正データは、それらが生成された符号化マルチメディアデータ部分が伝送される順序に関してインタリーブされた順序で伝送される場合がある。
標準的な伝送フレームのそれぞれのグループのエンハンスメントデータは、複数の固定されたサイズのエンハンスメントデータ伝送部分に編成される場合がある。対応する固定されたサイズの第三の誤り訂正部分は、それぞれのエンハンスメント伝送部分について生成される場合がある。固定されたサイズのエンハンスメント伝送フレームのエンハンスメントデータストリームは、送信機により生成される場合があり、多数のエンハンスメント伝送フレームのそれぞれは、エンハンスメントデータ伝送部分のうちの1つ、及び標準的なフレームのグループの第三の誤り訂正部分のうちの1つを含んでいる。それぞれのエンハンスメント伝送フレームにおける第三の誤り訂正部分は、同じエンハンスメント伝送フレームに含まれるエンハンスメントデータを誤り訂正するためである。
それぞれのエンハンスメントデータ伝送部分は、セレクションマップデータの固定されたサイズ部分及び更なる不均等な誤り訂正データの固定されたサイズ部分を含む場合がある。代替的に、全てのセレクションマップデータは、エンハンスメントデータ伝送部分のその後のセクションで互いに送出される場合があり、また、全ての更なる不均等な誤り訂正データは、エンハンスメントデータ伝送部分の他のその後のセクションで互いに送出される場合がある。
選択されたストリーム部分は、オーディオ部分とビデオ部分を含む場合があり、選択は、実質的に全てのオーディオ部分を選択すること、及び、ビデオヘッダ情報を含む全てのビデオ部分を選択し、ヘッダ情報を含むビデオ部分の直後にあるビデオ部分の系列を選択することを含む場合があり、系列のサイズは、エンハンスメントデータストリームの伝送のための予め決定されたビットレートに依存する。
パケットが多数のセグメントに編成され、選択されたストリーム部分がパケットセグメントであるケースでは、選択されたストリーム部分は、選択されたパケットセグメントを含むパケットのパケットヘッダを含む。
標準的なマルチメディアデータストリームは、第一の搬送波周波数で第一のアナログ搬送波を変調するために標準的なマルチメディアデータストリームを使用し、物理的な媒体を通して第一の変調された搬送波を伝送することで、第一のチャネルを通して伝送される場合がある。エンハンスメントデータストリームは、第一の搬送波の周波数とは異なる第二の搬送波の周波数で第二のアナログ搬送波を変調するためにエンハンスメントデータストリームを使用することで、第二のチャネルを通して伝送される場合がある。
本発明の更なる態様及び利点は、添付図面を参照しながら以下の詳細な説明から当業者にとって明らかとなるであろう。図面に関する以下の説明では、異なる図での同じラベルは類似の装置を示している。
図1は、本発明のマルチメディア送信機100の例示的な実施の形態を示している。受信機110は、シグナルプロセッサ112にマルチメディアデータを供給する。標準的なマルチメディアデータストリームは、単独又はシグナルプロセッサ112との組み合わせで受信機110により供給される。標準的なストリームは、符号化されたマルチメディアデータ及び一様な誤り訂正データを含む。一様な誤り訂正データは、符号化されたマルチメディアデータのそれぞれの部分について実質的に同じ誤り訂正のロバスト性を提供する。
受信機110は、たとえば、マルチメディアデータを受ける入力、レコードキャリアからマルチメディアデータを読取るメディアドライブ、並びに、環境からマルチメディアデータを受けるカメラ及びマイクロフォンを含む場合がある。受信機は、標準的なマルチメディアデータストリームを受けるか、シグナルプロセッサは、誤り訂正データを生成し、符号化されたマルチメディアデータ及び誤り訂正データを標準的なマルチメディアストリームにフォーマット化するケースにおいて、受信機は、符号化されたマルチメディアデータを受けるか、又は、シグナルプロセッサが未処理のデータを符号化されたマルチメディアデータにエンコードするケースにおいて、受信機は、未処理のマルチメディアデータを提供するだけである場合がある。
シグナルプロセッサ112は、標準的なマルチメディアデータストリームのあるストリーム部分を選択し、標準的なマルチメディアデータストリームの他のストリーム部分を選択しない。この選択は、マルチメディアデータの表示の品質へのストリーム部分に含まれたデータのタイプの重要性に依存する。また、シグナルプロセッサは、どのストリーム部分が選択されたかを示すセレクションマップデータを生成する。また、シグナルプロセッサは、選択されたストリーム部分について更なる不均等な誤り訂正データを生成し、選択されなかった他のストリーム部分について更なる不均等な誤り訂正データを生成しない。
送信機114は、マルチメディアデータストリームを第一のチャネルに伝送し、セレクションデータマップデータ及び更なる不均等な誤り訂正データを含むエンハンスメントデータを第二のチャネルに伝送する。第二のチャネルは、第一のチャネルとは異なるチャネルであろう。したがって、一様な誤り訂正データと不均等な誤り訂正データの両者は、標準的なストリームの選択された部分について供給され、少なくとも一様な誤り訂正データは、選択されない標準的なストリームの一部について供給される。
図2は、例示的な標準的なマルチメディアデータストリームの一部120を例示している。標準的なストリームは、たとえば、提案されるATSC DTV規格又は提案されるDVB規格に一致する。ストリームは、連続的に固定されたサイズの標準的な伝送フレームからなる場合がある。それぞれ標準的なフレームは、符号化されたマルチメディアデータの固定されたサイズのマルチメディアデータ部分122を含み、符号化されたマルチメディアデータを誤り訂正するために使用される一様な誤り訂正データの固定されたサイズの一様な誤り訂正部分124が続く。標準的な誤り訂正データは、たとえば、FEC(Forward Error Correction)である場合がある。符号化は、たとえばMPEGタイプの符号化(たとえばMPEG−2符号化)である場合があり、このケースでは、符号化されたマルチメディアデータは、固定されたサイズの188バイトのエレメンタリストリームパケットから構成され、それぞれのパケットは、パケットヘッダ及びパケットデータ部分を有し、パケットヘッダはIDを含み、パケットデータ部分は符号化されたマルチメディアデータを含んでいる。MPEG符号化された標準的なストリームについて、それぞれのマルチメディアデータ部分は、MPEGパケット固定された整数の数を含む場合がある。テレビジョンについて、MPEGストリームのパケットは、典型的に、ビデオデータのみを含むパケットデータ部分をもつビデオパケット、及びオーディオデータのみを含むパケットデータ部分をもつオーディオパケットを含んでいる。
それぞれ標準的なフレームにおける誤り訂正データは、同じ標準的なフレームにおける符号化されたマルチメディアデータのみを誤り訂正するためのものであるか、又は、他の標準的なフレームにおける符号化されたマルチメディアを誤り訂正するためのものである。図3は、標準的なフレームにおけるパケットの順序とは異なる順序でパケットを誤り訂正する一様な誤り訂正データがインタリーブされる、4つの標準的なフレームのグループを例示している。たとえば、図3で、それぞれのパケットB、C及びDを誤り訂正する一様な誤り訂正データB’、C’及びD’は、パケットB、C及びDとは異なるグループオブフレームの標準的なフレームに含まれる。
一方のチャネルにおけるデータ信号の伝送が別のチャネルにおけるデータ信号の伝送とは実質的に独立であるとき、チャネルは異なると考えられる。たとえば、ブロードキャストでは、チャネルは、典型的に異なる電磁スペクトルの周波数バンドであり、TDMAセルラシステムでは、同じ周波数バンドの異なる予め決定された時間スライスである。(CDMAセルラシステムのような)拡散通信では、チャネルは、多周波帯域の時間スライスを含んでいる。しかし、同じチャネルを変動するデータレートに依存して多数の送信機に動的に割り当てるためのスキームは、実質的に独立な伝送であるとは考えられない。
たとえば、送信機114は、標準的なマルチメディアストリームを使用して、第一の周波数で第一のアナログ搬送波を変調し、次いで、エンハンスメントデータストリームを使用して、第一の周波数とは異なる第二の周波数で第二のアナログ搬送波を変調し、第二の変調された搬送波を媒体に伝送する。このケースでは、媒体は、音波又は電磁波のような波を伝送することができる物質である。送信機は、たとえば、光ファイバを通して光波を伝送するレーザ、又は、空間を通して無線波又はマイクロ波を伝送するアンテナを含む場合がある。
図4aは、文字により示される標準的なストリームの選択された部分をもつ標準的なマルチメディアデータストリームの4つの標準的な伝送フレームのグループの実施の形態を示している。選択されなかった標準的なストリームの部分はブランクである。選択された部分は、一様な誤り訂正データの部分を含む場合があるか、又は、選択は、図4aに示されるように符号化されたメディアデータのみを含むために制限される場合がある。選択された部分はMPEGパケットであるか、又は、MPEGパケットの小分割であるパケットセグメントである場合がある。たとえば、パケットがそれぞれ188バイトを含む場合、それぞれのパケットは、6パケットセグメントに論理的に小分割され、最初の5パケットセグメントは、32バイトをそれぞれ含み、6番目のパケットセグメントは28バイトを含んでいる。
グループにおける標準的なフレームの数(すなわちグループサイズ)は、遅延、バッファリング要件及び帯域幅の効率の間のトレードオフに依存する。たとえば、より大きな標準的なフレームのグループは、標準的なフレームの処理における多くの遅延(及びエンハンスメントデータの処理における遅延)を導入し、データを保持するためのより大きなバッファを必要とするが、より高い帯域幅効率となるエンハンスメントデータのより効率的なパッケージングとなる。
図4bは、本発明のセレクションマップデータの第一の例示的な実施の形態を例示しており、セレクションマップデータは、図4aに示される選択された部分である。この実施のエ形態では、セレクションマップは、ビットマップであり、1は標準的なフレームの対応する部分が選択されたことを示し、0は標準的なフレームの対応する部分が選択されなかったことを示している。本発明を簡単にするため、図4bでは0が示されていない。
図4cは、本発明の不均等な誤り訂正の第一の例示的な実施の形態を例示している。図4cは、図4aの選択された部分を誤り訂正するための誤り訂正データを示している。たとえば、誤り訂正データA’、B’、C’は、図4aの標準的なフレームで選択されたパケットA、B、Cをそれぞれ誤り訂正するためのものである。
図4dは、本発明のセレクションマップデータの別の例示的な実施の形態を例示しており、セレクションマップデータが生成された標準的なストリームの部分の順序に関してセレクションマップデータがインタリーブされる。たとえば、図4bのセレクションビットマップの第一の行における最初の4ビットは、4つの標準的なフレームのそれぞれの第一のパケットが選択されたかを示している。
図4eは、本発明の不均等の誤り訂正データの別の例示的な実施の形態を示しており、不均等な誤り訂正データが生成された標準的なストリームの部分の順序に関して不均等な誤り訂正データがインタリーブされる。図4eでは、最初の2つの部分である不均等な誤り訂正データA’及びM’は、パケットA及びMをそれぞれ誤り訂正するためのものである。代替的に、セレクションマップデータは、図4bに示される形式であり、不均等な誤り訂正データは、図4eに示される形式であり、これにより、不均等な誤り訂正データは、セレクションマップデータに関してインタリーブされる。
図1では、シグナルプロセッサ112は、エンハンスメントデータを誤り訂正するための第三の誤り訂正データを生成する場合がある。第三の誤り訂正データは、全てのエンハンスメントデータについて実質的に同じ一様な誤り訂正を提供する。このケースでは、送信機114は、第二のチャネルを通してエンハンスメントデータで第三の誤り訂正データを伝送する。
シグナルプロセッサ112は、固定されたサイズのエンハンスメント伝送フレームのエンハンスメントデータストリームにエンハンスメントデータを編成する場合がある。図5は、エンハンスメントデータストリームの例示的な実施の形態の一部を示している。それぞれのエンハンスメント伝送フレームは、エンハンスメントデータを含む固定されたサイズのエンハンスメントデータ伝送部分132、及びエンハンスメントデータを誤り訂正する第三の誤り訂正データを含む固定されたサイズの第三の誤り訂正伝送部分134から構成される。このケースでは、送信機114は、エンハンスメントストリームを第二のチャネルに伝送する。
それぞれのエンハンスメント伝送フレームにおける第三の誤り訂正データは、FECデータである場合がある。それぞれのエンハンスメント伝送フレームにおける誤り訂正データは、同じエンハンスメント伝送フレームにおけるエンハンスメントデータを誤り訂正するためのものであるか、又は、図3における標準的なフレームにおける誤り訂正データのインタリーブに類似したやり方で、他のエンハンスメント伝送フレームにおけるエンハンスメントデータを誤り訂正する場合がある。
図6a及び図6bは、セレクションマップデータと不均等なエンハンスメントマップデータとを、図4aに示される標準的な伝送フレームのグループについてエンハンスメント伝送フレームのグループのエンハンスメントデータ伝送部分に編成するための異なる例示的な実施の形態を例示している。エンハンスメント伝送フレームのグループにおけるフレーム数は、標準的なフレームの対応するグループにおけるフレーム数、更なる不均等な誤り訂正を提供するために選択される標準的なフレームの部分の比率に依存する。図6aでは、3つのエンハンスメント伝送フレームのそれぞれは、図4bのセレクションマップデータの固定されたサイズの部分142を含んでおり、図4cの不均等な誤り訂正データの固定されたサイズの部分144がこれに続き、更に、第三の誤り訂正データの一部146がこれに続く。図6bでは、セレクションマップデータの後続する部分150及び152は、最初の2つのエンハンスメント伝送フレームに含まれる。セレクションマップデータには、不均等な誤り訂正データの後続する部分154及び156が続く。典型的に、セレクションマップデータは、不均等な誤り訂正データよりも非常に小さい。
シグナルプロセッサ112は、マルチメディアプレゼンテーションの品質を維持するための最も重要なデータタイプを含む。最も重要なデータ部分は、標準的なデータストリームに含まれるマルチメディアデータのタイプに依存する。オーディオデータは典型的にマルチメディアデータの小さな比率であって、オーディオは他の部分よりもマルチメディアプレゼンテーションの理解に一般に最も重要であるので、オーディオ部分が選択されるべきである。比較的小さなオーディオデータの損失でさえも、プレゼンテーションを理解できないようにする。MPEGベースの標準的なパケットのストリームについて、オーディオパケットは、パケットIDにより識別される。また、他のビデオデータを復号化するのにヘッダ情報は重要であるので、ヘッダ情報を含むビデオ部分が選択されるべきである。典型的なMPEGビデオストリームにおけるビデオヘッダ情報は、フレームヘッダ、スライスヘッダ、マクロブロックヘッダ、及びブロックヘッダを含んでいる。MPEGベースの標準的なストリームについて、ビデオヘッダを含む部分を識別するため、パケットが分析される必要がある。最後に、(ヘッダ情報を含むビデオ部分の直後になる)後続するビデオ部分の系列が選択されるべきであり、ビデオ部分の系列におけるビデオ部分の数は、予め決定された基準に依存する場合がある。予め決定された基準は、エンハンスされたプロテクションを受けることになるパケットの比率を含む場合があり、パケットの比率は、第二の伝送の予め決定されたビットレートを少なくとも近似的に提供するために動的に調整される。
標準的なマルチメディア信号がパケットからなるとき、パケットは選択された部分であるセグメントに論理的に小分割され、パケットのセグメントが選択されたとき、選択されたセグメントのパケットヘッダも選択される。これは、パケットを復号化するためにパケットヘッダは重要であるためである。
図7は、本発明のマルチメディア送信機200の更に詳細な例示的な実施の形態を説明している。受信機202は、未処理のマルチメディアデータを提供する。エンコーダ204は、未処理のマルチメディアデータを符号化されたマルチメディアデータに変換する。誤り訂正コーダ206は、符号化されたマルチメディアデータについて一様な誤り訂正データを生成し、一様な誤り訂正データは、符号化されたマルチメディアデータのそれぞれの部分について誤り訂正の実質的に同じロバスト性を提供する。マルチメディア208は、符号化されたマルチメディアデータ及び一様な誤り訂正データをフォーマット化し、標準的なマルチメディアデータストリームを提供する。セレクタ210は、標準的なマルチメディアデータストリームのあるストリーム部分を選択するが、更なる不均等な誤り訂正のために標準的なマルチメディアデータの他のストリーム部分を選択せず、更なる不均等な誤り訂正についてどのストリーム部分が選択されたかを示すセレクションマップデータを生成する。選択は、マルチメディアデータのプレゼンテーションの品質に対するストリーム部分に含まれるデータのタイプの重要性に依存する。誤り訂正コーダ212は、セレクションマップデータにより示される選択されたストリーム部分について更なる不均一の誤り訂正データを生成し、選択されていなかった他のストリーム部分について生成しない。マルチプレクサ214は、不均等な誤り訂正データ及びセレクションマップデータを互いにフォーマット化し、エンハンスメントデータ伝送部分を提供する。誤り訂正コーダ216は、エンハンスメントデータ伝送部分を誤り訂正するための第三の誤り訂正データを生成する。マルチプレクサ218は、エンハンスメントデータ伝送部分及びエンハンスメント誤り訂正データを互いにフォーマット化し、エンハンスメントデータストリームを提供する。データストリームは、図5に関して先に記載されたエンハンスメント伝送フレームから構成される場合がある。
送信機220は、標準的なマルチメディアデータストリームを第一のチャネルに伝送し、送信機222は、エンハンスメントデータストリームを第二のチャネルに伝送し、第二のチャネルは、第一のチャネルとは異なる。
図7の実施の形態のエレメントは、個別のコンポーネントで記載されるが、効果的な設計では、コンポーネントの一部が共有される場合があり、商業的な実施の形態では、マルチメディア送信機のある部分がソフトウェアで実現され、他の部分がハードウェアで実現されることが期待される。
図8は、標準的なマルチメディアデータストリームを誤り訂正するため、一様な誤り訂正データと不均等な誤り訂正データの両者を使用する、本発明のマルチメディア受信機の例示的な実施の形態230を示している。受信機232は、第一のチャネルから標準的なマルチメディアデータストリームを受信し、標準的なストリームは、符号化されたマルチメディアデータ及び一様な誤り訂正データを含む。また、受信機232は、第二のチャネルからセレクションマップデータ及び不均等な誤り訂正データを含むエンハンスメントデータを受信し、第二のチャネルは第一のチャネルとは異なる。
プロセッサ234は、更なる不均等な誤り訂正データを使用して、セレクションマップデータに従って標準的なストリームの部分を第一に誤り訂正する。セレクションマップデータは、標準的なストリームのどのポイントが第一の訂正で補正されることになるか、及び標準的なストリームの他の部分が第一の訂正で訂正されないことを示す。また、プロセッサ234は、一様な誤り訂正データを使用して全ての符号化されたマルチメディアデータを第二に誤り訂正し、一様な誤り訂正は、標準的なストリームのマルチメディアデータのそれぞれの部分について誤り訂正の実質的に同じロバスト性を提供する。誤り訂正することができないマルチメディアの一部は、廃棄される場合がある。送信機236は、データの第一及び第二の誤り訂正の後に媒体に誤り訂正された、符号化されたマルチメディアデータを出力する。送信機236は、マルチメディアデータを聴衆に提供するディスプレイ、レコードキャリアにマルチメディアデータを記録するレコーダ、光ケーブルを通してマルチメディアデータを伝送する光レーザ送信機、空間を通してマルチメディアデータを送信するアンテナ、及び/又は、信号を伝送することができる他のタイプの媒体を含む場合がある。
一様な誤り訂正又は不均等な誤り訂正のいずれかは、マルチメディアデータのそれぞれの部分にはじめに実行される場合がある。しかし、一様な誤り訂正データの一部が更なる不均等な誤り訂正について選択された場合、一様な誤り訂正のために使用される前に誤り訂正されるべきである。
第二のチャネルから受信機232により受信されたエンハンスメントデータは、図1の送信機114又は図7の送信機222により伝送されるように記載されたエンハンスメントデータの形式である場合がある。たとえば、エンハンスメントデータは、第三の誤り訂正を伴うか、又は先に記載されたようにエンハンスメント伝送フレームにフォーマット化される場合がある。
送信機236の出力は、誤り訂正された標準的なマルチメディアデータストリームであるか、又は、一様な誤り訂正データなしで、まさに誤り訂正されたマルチメディアデータである場合がある。
シグナルプロセッサ234は、未処理のマルチメディアデータを提供するために符号化されたマルチメディアデータを復号化する場合がある。そのケースでは、送信機236は、復号化されたマルチメディアデータを聴衆に提供するために簡単なプレゼンテーション装置(たとえばMPEGデコーダをもたないテレビジョン)を含む場合がある。
図9は、本発明のマルチメディア受信機の更に詳細な実施の形態を例示する図である。第一の受信機252は、第一のチャネルから標準的なマルチメディアデータストリームを受信する。標準的なストリームは、マルチメディアデータの誤り訂正のための、符号化されたマルチメディアデータ及び一様な誤り訂正データを含む。一様な誤り訂正データは、符号化されたマルチメディアデータのそれぞれの部分について誤り訂正の実質的に同じロバスト性を提供する。
第二の受信機254は、第二のチャネルからセレクションマップデータ及び更なる不均等な誤り訂正データを含むエンハンスメントデータを受信する。第二の受信機は、第二のチャネルから第三の誤り訂正データを受ける。第二のチャネルは、第一のチャネルとは異なる。
第一の誤り訂正ユニット256は、第三の誤り訂正データを使用してエンハンスメントデータを誤り訂正する。第二の誤り訂正ユニット258は、更なる不均等な誤り訂正データを使用してセレクションマップデータに従って標準的なデータストリームの部分の第一の誤り訂正を提供する。第三の誤り訂正ユニット260は、一様な誤り訂正データを使用して符号化されたマルチメディアデータの第二の誤り訂正を提供する。デコーダ262は、(第一及び第二の誤り訂正の後に)符号化されたマルチメディアデータを復号化された(未処理の)マルチメディアデータに変換する。送信機264は、データの第一及び第二の誤り訂正の後に復号化されたマルチメディアデータを出力する。
図10は、本発明の方法の特定の例示的な実施の形態を説明するフローチャートである。ステップ302では、未処理のマルチメディアデータが提供される。未処理“raw”とは、データが未だ符号化されていないことを意味する。未処理のデータは、カメラ及びマイクロフォンのようなデータ捕捉装置から供給されるか、又は、マルチメディアを供給するための他の公知の方法が使用される場合がある。未処理データは、アナログ又はデジタルデータである場合がある。ステップ304では、マルチメディアデータは、符号化されたマルチメディアデータを提供するために符号化される。MPEG符号化は、ビデオを圧縮するために使用される場合がある。本発明で使用することができるマルチメディアデータを符号化するための多くの数の現在使用及び提案される方法がある。符号化は、アナログマルチメディアデータをデジタル化することを含む場合がある。ステップ306では、一様な誤り訂正データが生成される。一様な誤り訂正データは、符号化されたマルチメディアデータを誤り訂正するために有効である。一様な誤り訂正データは、符号化されたマルチメディアデータの全ての部分について誤り訂正の実質的に同じロバスト性を提供する。ステップ308では、連続的な標準的な伝送フレームの標準的なマルチメディアデータストリームが生成される。それぞれの標準的なフレームは、符号化されたマルチメディアの固定されたサイズの部分を含み、一様な誤り訂正データの固定されたサイズの部分がこれに続く。
ステップ310では、標準的なマルチメディアデータストリームのあるストリーム部分が選択され、そのマルチメディアデータストリームの他のストリーム部分は選択されない。選択は、マルチメディアデータのプレゼンテーションの品質に対するストリーム部分に含まれるデータのタイプの重要性に依存する。ステップ312では、どのストリームが選択されたかを示すセレクションマップデータが生成される。ステップ314では、それぞれ選択されたストリーム部分について更なる不均等な誤り訂正データが生成され、選択されなかった他のストリーム部分については生成されない。したがって、更なる不均等な誤り訂正データは、標準的なストリームの更に重要な部分について提供される。
ステップ316では、第三の誤り訂正データは、エンハンスメントデータを誤り訂正するために生成される。エンハンスメントデータは、セレクションマップデータ及び更なる不均等の誤り訂正データを含んでいる。第三の誤り訂正データは、エンハンスメントデータの全ての部分について実質的な同じ一様な誤り訂正を提供する。ステップ318では、固定されたサイズのエンハンスメント伝送フレームのエンハンスメントデータストリームが生成され、それぞれのエンハンスメント伝送フレームは、エンハンスメントデータの固定されたサイズの部分、及び一様な誤り訂正データの固定されたサイズの部分を含む。
ステップ320では、標準的なマルチメディアデータストリームは、媒体の第一のチャネルで伝送される。ステップ322では、エンハンスメントデータストリームは、同じ又は異なる媒体の第二のチャネルで伝送される。第二のチャネルは、第一のチャネルとは異なるチャネルである。
ステップ324では、標準的なマルチメディアストリームは、第一のチャネルから受信される。ステップ326では、エンハンスメントデータストリームは、第二のチャネルから受信される。ステップ328では、エンハンスメントデータは、エンハンスメントデータストリームの第三の誤り訂正データを使用して誤り訂正される。ステップ330では、選択されたストリーム部分は、更なる不均等な誤り訂正データを使用してセレクションマップデータに従って誤り訂正される。ステップ332では、全ての符号化されたマルチメディアデータ部分は、一様な誤り訂正データを使用して誤り訂正される。
本発明は、特定の例示的な実施の形態に関して先に記載される。当業者であれば、本発明の範囲にあるこれら例示的な実施の形態をどのように変更するかを理解されるであろう。本発明は、特許請求の範囲によってのみ制限される。
本発明のマルチメディア送信機の例示的な実施の形態を示す図である。 例示的な標準的なマルチメディアデータストリームの部分120を例示する図である。 パケットを誤り訂正する一様な誤り訂正データがインタリーブされる4つの標準的なフレームの例示的なグループを例示する図である。 図4aは本発明における標準的なマルチメディアデータストリームの4つの標準的な伝送フレームのグループにおける部分の選択の例を例示する図である。図4bは図4aの選択された部分のセレクションマップデータの第一の例示的な実施の形態を例示する図である。図4cは本発明の不均等な誤り訂正データの第一の例示的な実施の形態を例示する図である。図4dはセレクションマップデータが生成された標準的なストリームの部分の順序に関してセレクションマップデータがインタリーブされる、本発明のセレクションマップデータの別の例示的な実施の形態を例示する図である。図4eは不均等な誤り訂正データが生成された標準的なストリームの部分の順序に関して不均等な誤り訂正データがインタリーブされる、本発明の不均等な誤り訂正データの別の例示的な実施の形態を例示する図である。 本発明のエンハンスメント伝送フレームの例示的な実施の形態を例示する図である。 図6aはセレクションマップデータと不均等な誤り訂正マップデータを、図4aに示される標準的な伝送フレームのグループのためのエンハンスメント伝送フレームのグループのエンハンスメントデータ伝送部分への編成に関する第一の例示的な実施の形態を説明する図である。図6bはセレクションマップデータと更なる不均等な誤り訂正データを、図4aに示される標準的な伝送フレームのグループのエンハンスメント伝送フレームのグループのエンハンスメントデータ伝送部分への編成に関する第一の例示的な実施の形態を説明する図である。 本発明のマルチメディア送信機の更に詳細な例示的な実施の形態を説明する図である。 本発明のマルチメディア受信機の例示的な実施の形態を示す図である。 本発明のマルチメディア受信機の更に詳細な実施の形態を例示する図である。 本発明の方法の例示的な実施の形態を説明するフローチャートである。

Claims (26)

  1. 符号化されたマルチメディアデータと、該符号化されたマルチメディアデータに誤り訂正をなす一様な誤り訂正データであって、前記符号化されたマルチメディアデータのそれぞれの部分について実質的に同じ誤り訂正を提供する標準的な一様な誤り訂正データとを含む標準的なマルチメディアデータストリームを供給するステップと、
    更なる不均等な誤り訂正のため、前記マルチメディアデータのプレゼンテーションの品質に対する前記ストリーム部分に含まれるデータタイプの重要性に依存して、前記標準的なマルチメディアデータストリームのあるストリーム部分を選択し、前記マルチメディアデータストリームの他のストリーム部分を選択しないステップと、
    前記更なる不均等な誤り訂正についてどのストリーム部分が選択されたかを示すセレクションマップデータを生成するステップと、
    対応する選択されたストリーム部分について更なる不均等な誤り訂正データを生成し、選択されていない他のストリームについて生成しないステップと、
    前記標準的なマルチメディアデータストリームを前記一様な誤り訂正データとともに第一のチャネルで伝送する第一の伝送ステップと、
    前記セレクションマップデータと前記更なる不均等な誤り訂正データを含むエンハンスメントデータを、前記第一のチャネルとは異なる第二のチャネルで伝送する第二の伝送ステップとを含み、
    前記選択されたストリーム部分について、一様な誤り訂正データと更なる不均等な誤り訂正データの両者が伝送され、前記他のストリーム部分について、一様な誤り訂正データのみが伝送される、
    ことを特徴とする方法。
  2. 前記標準的なストリームを供給するステップは、
    未処理のマルチメディアデータを供給するステップと、
    前記未処理のマルチメディアデータを符号化して、符号化されたマルチメディアデータを供給するステップと、
    前記符号化されたマルチメディアデータについて、前記符号化されたマルチメディアデータの全ての部分について実質的に同じ誤り訂正のロバスト性を提供する一様な誤り訂正データを生成するステップと、
    それぞれの標準的なフレームが前記符号化されたマルチメディアデータの固定されたサイズの部分と該部分に続く一様な誤り訂正データの固定されたサイズの部分とを含む、連続的な標準的な伝送フレームからなる前記標準的なマルチメディアデータストリームを生成するステップと、
    を含む請求項1記載の方法。
  3. 前記符号化されたマルチメディアデータはエレメンタリストリームパケットを含み、
    前記パケットは、パケットヘッダとパケットデータ部分をそれぞれ含み、
    前記パケットは、ビデオパケットとオーディオパケットを含み、前記ビデオパケットの前記パケットデータ部分はビデオデータを含み、前記オーディオパケットの前記パケットデータ部分はオーディオパケットを含み、
    それぞれ標準的な伝送フレームは、前記同じ標準的なフレームに含まれる符号化されたマルチメディアデータに誤り訂正をなすために生成される一様な誤り訂正データを含み、
    前記一様な誤り訂正データは、FEC(Forward Error Correction)データを含み、
    前記標準的なマルチメディアデータストリームは、ATSC DTV規格又はDVB規格に準拠する、
    請求項2記載の方法。
  4. 当該方法は、前記エンハンスメントデータの全てについて実質的に同じ一様な誤り訂正を提供する、前記エンハンスメントデータに誤り訂正をなすための第三の誤り訂正データを生成するステップを更に含み、
    前記第二に伝送するステップは、前記第三の誤り訂正データを前記エンハンスメントデータと前記第二のチャネルを通して伝送するステップを含む、
    請求項1記載の方法。
  5. 当該方法は、
    前記セレクションマップデータと前記更なる不均等な誤り訂正データを含むエンハンスメントデータの固定されたサイズの部分と一様な誤り訂正データの固定されたサイズの部分とを含む固定されたサイズのエンハンスメント伝送フレームからなるエンハンスメントデータストリームを生成するステップを更に含み、
    前記第二の伝送するステップは、前記第二のチャネルを通して前記エンハンスメントデータストリームを伝送するステップを含む、
    を更に含む請求項4記載の方法。
  6. 前記マルチメディアストリームは、オーディオデータを含むオーディオ部分を含み、選択された更に重要なストリーム部分は、実質的に全てのオーディオ部分を含み、
    多数のエンハンスメント伝送フレームのそれぞれに含まれる第三の誤り訂正データは、同じエンハンスメント伝送フレームからなるエンハンスメント伝送データに誤り訂正をなすためのものであり、
    前記更なる不均等な誤り訂正データは、該誤り訂正データが生成された前記標準的なデータストリームの部分と同じ順序で伝送され、
    前記一様な誤り訂正データ及び前記更なる不均等な誤り訂正データ及び前記第三の誤り訂正データは、FEC(Forward Error Correction)データを含む、
    請求項5記載の方法。
  7. 前記第一の伝送するステップは、前記標準的なマルチメディアデータストリームを使用して、第一の周波数で第一のアナログ搬送波を変調し、媒体を通して変調された搬送波を伝送するステップを含み、
    前記第二の伝送するステップは、前記セレクションマップデータと前記不均等な誤り訂正データを含むエンハンスメントデータストリームを生成するステップと、前記エンハンスメントデータストリームを使用して前記第一の周波数とは異なる第二の周波数で第二のアナログ搬送波を変調し、媒体を通して前記第二の搬送波を伝送するステップを含む、
    請求項1記載の方法。
  8. 前記標準的なマルチメディアデータストリームは、固定されたサイズの標準的な伝送フレームに編成され、
    当該方法は、
    前記標準的な伝送フレームを多数の連続的な標準的な伝送フレームのグループに論理的に編成するステップと、
    連続的な標準的な伝送フレームのグループについて前記セレクションマップデータと前記更なる不均等な誤り訂正データを、多数の固定されたサイズの連続的なエンハンスメントデータ伝送部分からなる対応するグループに論理的に編成するステップと、
    前記第二の伝送するステップは、前記エンハンスメント伝送フレームを伝送するステップを含む、
    請求項4記載の方法。
  9. エンハンスメントデータ伝送部分からなるグループについて、それぞれのエンハンスメントデータ伝送部分は、連続的なエンハンスメント伝送フレームからなる前記対応するグループについて、前記セレクションマップデータの固定されたサイズの部分及び前記更なる不均等な誤り訂正データの固定されたサイズの部分を含む、
    請求項8記載の方法。
  10. 標準的な伝送フレームのグループについて、前記セレクションマップデータの全ては、前記エンハンスメントデータ伝送部分の連続するセクションにパックされ、前記不均等な誤り訂正データは、前記エンハンスメントデータ伝送部分のその後の連続するセクションにパックされる、
    請求項8記載の方法。
  11. 前記更なる不均等な誤り訂正データの連続的なセクションは、標準的な伝送フレームのグループにおける対応する選択された部分の順序に関してインタリーブされる、
    請求項8記載の方法。
  12. 前記選択されたストリーム部分は、ビデオデータを含むビデオ部分とオーディオデータを含むオーディオ部分を含み、
    前記ストリーム部分を選択するステップは、
    実質的に全ての前記オーディオ部分を選択するステップと、
    ビデオヘッダ情報を含む実質的に全てのビデオ部分を選択するステップと、
    ヘッダ情報を含むビデオ部分の直後のビデオ部分の系列を選択するステップとを含み、
    前記ビデオ部分の系列におけるビデオ部分の数は、前記第二の伝送のために予め定義されたビットレートに関連する予め決定された基準に依存する、
    請求項1記載の方法。
  13. 前記ストリーム部分は固定されたサイズのパケットであり、それぞれのパケットは、パケットヘッダ及びパケットデータ部分を含み、前記オーディオデータは、オーディオパケットのパケットデータ部分にパックされ、前記ビデオデータは、ビデオパケットのパケットデータ部分にパックされ、
    ビデオヘッダ情報は、フレームヘッダ、スライスヘッダ、マクロブロックヘッダ、及びブロックヘッダを含み、
    前記予め決定された基準は、エンハンスされたプロテクションを受けることとなるパケットの比率を含み、前記パケットの比率は、前記第二の伝送のための予め決定されたビットレートを少なくとも近似的に提供するために動的に調節される、
    請求項12記載の方法。
  14. 前記標準的なマルチメディアデータストリームは、固定されたサイズのパケットに編成され、それぞれのパケットは、パケットヘッダ及びパケットデータ部分を含み、前記オーディオデータは、オーディオパケットのパケットデータ部分にパックされ、前記ビデオデータは、ビデオパケットのパケットデータ部分にパックされ、前記パケットのそれぞれは、多数のパケットセグメントに論理的に分割され、
    前記マルチメディアデータ部分を選択するステップは、
    前記オーディオパケットの実質的に全てのパケットセグメントを選択するステップと、
    ビデオヘッダ情報を含む実質的に全てのパケットセグメントを選択するステップと、
    ビデオヘッダ情報を含むパケットセグメントの直後にあるビデオデータを含むパケットセグメントの系列を選択するステップと、
    パケットセグメントが選択されたパケットのパケットヘッダを含むパケットセグメントを選択するステップと、
    を含む請求項12記載の方法。
  15. 前記第一のチャネルから前記標準的なマルチメディアデータストリームを受信するステップと、
    前記第二のチャネルから前記セレクションマップデータ及び前記不均等な誤り訂正データを受信するステップと、
    前記更なる不均等な誤り訂正データを使用して前記セレクションマップデータに従って前記選択されたストリーム部分に誤り訂正をなす第一の誤り訂正ステップと、
    前記一様な誤り訂正データを使用して前記符号化されたマルチメディアデータ部分に誤り訂正をなす第二の誤り訂正ステップと、
    を更に含む請求項1記載の方法。
  16. 符号化されたマルチメディアデータと、該符号化されたマルチメディアデータに誤り訂正をなすために有効な一様な誤り訂正データであって、前記標準的なマルチメディアデータストリームの前記符号化されたマルチメディアデータのそれぞれの部分について実質的に同じ誤り訂正のロバスト性を提供する一様な誤り訂正データとを含む標準的なマルチメディアデータストリームを供給し、前記マルチメディアデータのプレゼンテーションの品質に対する前記ストリーム部分に含まれるデータタイプの重要性に依存して、前記標準的なマルチメディアデータストリームのあるストリーム部分を選択し、前記標準的なマルチメディアデータストリームの他のストリーム部分を選択せず、どのストリーム部分が選択されたかを示すセレクションマップデータを生成し、選択されたストリーム部分について更なる不均等な誤り訂正データを生成し、選択されていない他のストリームについて生成しない信号処理手段と、
    前記標準的なマルチメディアデータストリームを第一のチャネルで伝送し、前記セレクションマップデータと前記更なる不均等な誤り訂正データを含むエンハンスメントデータを、前記第一のチャネルとは異なる第二のチャネルで伝送する伝送手段と、
    を有することを特徴とするマルチメディアストリーム送信機。
  17. 前記信号処理手段は、前記標準的なマルチメディアデータストリームを供給するための入力端子を含む、
    請求項16記載の送信機。
  18. 前記標準的なマルチメディアデータストリームを供給することは、
    符号化されたマルチメディアデータを供給し、
    前記符号化されたマルチメディアデータについて、一様な誤り訂正データを生成し、
    前記符号化されたマルチメディアデータと一様な誤り訂正データとを含む標準的なマルチメディアデータストリームを生成することを含む、
    請求項16記載の送信機。
  19. 前記信号処理手段は、前記符号化されたマルチメディアデータを供給するための符号化入力端子を含む、
    請求項18記載の送信機。
  20. 前記符号化されたマルチメディアデータを供給することは、未処理のマルチメディアデータを供給し、前記未処理のマルチメディアデータを圧縮して前記符号化されたマルチメディアデータを供給することを含む、
    請求項18記載の送信機。
  21. 前記信号処理手段は、前記未処理のマルチメディアデータを供給するための入力端子を含む、
    請求項20記載の送信機。
  22. 未処理のマルチメディアデータを受信するレシーバと、
    符号化されたマルチメディアデータを供給するために前記未処理のマルチメディアデータを圧縮するエンコーダと、
    前記符号化されたマルチメディアデータのため、前記符号化されたマルチメディアデータのそれぞれの部分について実質的に同じ誤り訂正のロバスト性を提供する一様な誤り訂正データを生成する第一の誤り訂正発生手段と、
    前記符号化されたマルチメディアデータと前記一様な誤り訂正データをフォーマット化して標準的なマルチメディアデータストリームを提供するマルチプレクサと、
    更なる不均等な誤り訂正のため、前記標準的なマルチメディアデータストリームのあるストリーム部分を選択し、前記マルチメディアデータストリームの他のストリーム部分を選択せず、前記マルチメディアデータのプレゼンテーションの品質に対する前記ストリーム部分に含まれるデータタイプの重要性に依存して、前記更なる不均等な誤り訂正についてどのストリーム部分が選択されたかを示すセレクションマップデータを生成するセレクタと、
    前記セレクションマップデータにより示される選択されたストリーム部分について更なる不均等な誤り訂正データを生成し、選択されていない他のストリームについて生成しない第二の誤り訂正発生手段と、
    前記標準的なマルチメディアデータストリームを第一のチャネルで送信する第一の送信手段と、
    前記セレクションマップデータと前記更なる不均等な誤り訂正データを含むエンハンスメントデータを、前記第一のチャネルとは異なる第二のチャネルで送信する第二の送信手段と、
    を有するマルチメディアストリーム送信機。
  23. 符号化されたマルチメディアデータ及び一様な誤り訂正データを含む標準的なマルチメディアデータストリームを第一のチャネルから受信し、前記第一のチャネルとは異なる第二のチャネルから、セレクションマップデータ及び不均等な誤り訂正データを含むエンハンスメントデータを受信するための受信手段と、
    更なる不均等な誤り訂正データを使用して、前記標準的なストリームのある部分が第一の誤り訂正で訂正され、前記標準的なストリームの他の部分が前記第一の誤り訂正で訂正されないことを示す前記セレクションマップデータに従って前記標準的なストリームに第一の誤り訂正をなし、前記標準的なストリームのマルチメディアデータのそれぞれの部分について実質的に同じ誤り訂正のロバスト性を提供する一様な誤り訂正データを使用して全ての前記符号化されたマルチメディアデータに第二の誤り訂正をなす処理手段と、
    データに前記第一及び第二の誤り訂正をなした後、誤り訂正された符号化されたマルチメディアデータを送信する送信手段と、
    を有するマルチメディアデータストリーム受信機。
  24. 符号化されたマルチメディアデータと、前記符号化されたマルチメディアデータの誤り訂正のための一様な誤り訂正データであって、前記符号化されたマルチメディアデータのそれぞれの部分の実質的に同じロバスト性を提供する一様な誤り訂正データとを含む標準的なマルチメディアデータストリームを第一のチャネルから受ける第一のレシーバと、
    前記第一のチャネルとは異なる第二のチャネルから、セレクションマップデータ及び更なる不均等な誤り訂正データを含むエンハンスメントデータを受け、前記第二のチャネルから第三の誤り訂正データを受ける第二のレシーバと、
    前記第三の誤り訂正データを使用して前記エンハンスメントデータに誤り訂正をなす第一の誤り訂正ユニットと、
    前記更なる不均等な誤り訂正データを使用して前記セレクションマップデータに従って前記標準的なデータストリームの部分の第一の誤り訂正を提供する第二の誤り訂正ユニットと、
    前記一様な誤り訂正データを使用して前記符号化されたマルチメディアデータの第二の誤り訂正を提供する第三の誤り訂正ユニットと、
    データに前記第一及び第二の誤り訂正をなした後、誤り訂正された符号化されたマルチメディアデータを送信する出力と、
    を有するマルチメディアデータストリーム受信機。
  25. 符号化されたマルチメディアデータと、該符号化されたマルチメディアデータに誤り訂正をなすために有効な一様な誤り訂正データであって、標準的なマルチメディアデータストリームの前記符号化されたマルチメディアデータのそれぞれの部分について実質的に同じ誤り訂正のロバスト性を提供する一様な誤り訂正データとを含む、第一のチャネルにおける前記標準的なマルチメディアデータストリームを送信し、前記標準的なストリームのどの部分が前記更なる不均等な誤り訂正データを使用して訂正されるか、前記標準的なストリームの他の部分が前記更なる不均等な誤り訂正データを使用して訂正されないことを示すセレクションマップデータ、及び更なる不均等な誤り訂正データを含む、前記第一のチャネルとは異なる第二のチャネルにおけるエンハンスメントデータを送信する送信手段を備えることを特徴とする装置
  26. 符号化されたマルチメディアデータと、該符号化されたマルチメディアデータに誤り訂正をなすために有効な一様な誤り訂正データであって、標準的なマルチメディアデータストリームの前記符号化されたマルチメディアデータのそれぞれの部分について実質的に同じ誤り訂正のロバスト性を提供する一様な誤り訂正データとを含む、第一のチャネルにおける前記標準的なマルチメディアデータストリームを送信する第一の送信手段と
    前記標準的なストリームのどの部分が前記更なる不均等な誤り訂正データを使用して訂正されるか、前記標準的なストリームの他の部分が前記更なる不均等な誤り訂正データを使用して訂正されないことを示すセレクションマップデータ、及び更なる不均等な誤り訂正データを含む、前記第一のチャネルとは異なる第二のチャネルにおけるエンハンスメントデータを送信する第二の送信手段と
    を備えることを特徴とする装置
JP2006530958A 2003-10-06 2004-09-30 誤り訂正によるデジタルテレビジョンの伝送 Expired - Lifetime JP4668913B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US50901903P 2003-10-06 2003-10-06
US54013804P 2004-01-29 2004-01-29
PCT/IB2004/051933 WO2005034521A1 (en) 2003-10-06 2004-09-30 Digital television transmission with error correction

Publications (2)

Publication Number Publication Date
JP2007507966A JP2007507966A (ja) 2007-03-29
JP4668913B2 true JP4668913B2 (ja) 2011-04-13

Family

ID=34426073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006530958A Expired - Lifetime JP4668913B2 (ja) 2003-10-06 2004-09-30 誤り訂正によるデジタルテレビジョンの伝送

Country Status (7)

Country Link
US (2) US7992068B2 (ja)
EP (1) EP1673945B1 (ja)
JP (1) JP4668913B2 (ja)
KR (1) KR20060121901A (ja)
CN (1) CN1864411B (ja)
AT (1) ATE513417T1 (ja)
WO (1) WO2005034521A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060121901A (ko) * 2003-10-06 2006-11-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 에러 정정을 가진 디지털 텔레비전 전송
US8009752B2 (en) 2004-10-01 2011-08-30 Qualcomm Incorporated Multi-carrier incremental redundancy for packet-based wireless communications
TW200704183A (en) * 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
US8875196B2 (en) 2005-08-13 2014-10-28 Webtuner Corp. System for network and local content access
US8363675B2 (en) * 2006-03-24 2013-01-29 Samsung Electronics Co., Ltd. Method and system for transmission of uncompressed video over wireless communication channels
US8601555B2 (en) 2006-12-04 2013-12-03 Samsung Electronics Co., Ltd. System and method of providing domain management for content protection and security
EP2009828B1 (en) * 2007-06-28 2016-01-27 Alcatel Lucent Method for providing unequal error protection to data packets in a burst transmission system
US8332896B2 (en) * 2007-07-05 2012-12-11 Coherent Logix, Incorporated Transmission of multimedia streams to mobile devices with cross stream association
US20090028142A1 (en) * 2007-07-25 2009-01-29 Schmidt Brian K Streaming data content in a network
US8205126B2 (en) 2007-11-27 2012-06-19 Samsung Electronics Co., Ltd. System and method for wireless communication of uncompressed video using selective retransmission
US8104091B2 (en) 2008-03-07 2012-01-24 Samsung Electronics Co., Ltd. System and method for wireless communication network having proximity control based on authorization token
JP5443480B2 (ja) * 2008-05-31 2014-03-19 コーヒレント・ロジックス・インコーポレーテッド 非符号化トランスポート・トンネリングによる移動体装置へのマルチメディア・ストリームの送信
FR2933263A1 (fr) * 2008-06-30 2010-01-01 Thomson Licensing Methode de reception de flux de donnees et methode d'emission correspondante
CN101478684B (zh) * 2008-12-31 2011-10-26 杭州华三通信技术有限公司 检测存储视频数据完整性的方法和系统
CN102082624A (zh) * 2009-11-26 2011-06-01 中国电信股份有限公司 WiFi编码优化方法及系统
US8612822B1 (en) 2010-01-07 2013-12-17 Marvell Israel (M.I.S.L.) Ltd. Method and apparatus for enhanced error correction
US8621320B2 (en) * 2011-04-07 2013-12-31 Apple Inc. Per-image forward error correction
JP2014517611A (ja) 2011-05-17 2014-07-17 ウエブチユーナー・コーポレイシヨン 拡張性のある高精度なセンサおよびidに基づくオーディエンス計測システムのためのシステムおよび方法
US9256884B2 (en) 2011-05-24 2016-02-09 Webtuner Corp System and method to increase efficiency and speed of analytics report generation in audience measurement systems
JP2014518051A (ja) 2011-05-26 2014-07-24 ウエブチユーナー・コーポレイシヨン クライアントイベント前処理を伴う非常に拡張性のあるオーディエンス計測システム
CA3097526A1 (en) * 2018-05-04 2019-11-07 Citrix Systems, Inc. Computer system providing hierarchical display remoting optimized with user and system hints and related methods
JP2022038416A (ja) * 2020-08-26 2022-03-10 ソニーグループ株式会社 情報処理装置、情報処理方法、コンピュータプログラム及び情報処理システム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57138237A (en) * 1981-02-20 1982-08-26 Nec Corp Transmission system for error correction parallel data
JPH03283931A (ja) * 1990-03-30 1991-12-13 Toshiba Corp 放送用デジタル音声信号伝送方式
JPH05167606A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 情報ブロックの伝送方式
JPH05182372A (ja) * 1991-12-27 1993-07-23 Sony Corp 映像信号記録装置
JPH05284146A (ja) * 1992-03-30 1993-10-29 Nippon Telegr & Teleph Corp <Ntt> 情報ブロック並列伝送方式
JPH07219795A (ja) * 1994-02-07 1995-08-18 Hitachi Ltd 情報符号化方法および装置ならびに情報復元方法および装置
JPH0993296A (ja) * 1995-07-14 1997-04-04 Toshiba Corp マルチキャリア伝送システムとその伝送装置
JPH10312651A (ja) * 1997-05-09 1998-11-24 Samsung Electron Co Ltd ディジタルビデオディスク再生装置においてデスクランブリング信頼度を向上させる方法及び装置
JPH11191758A (ja) * 1997-06-19 1999-07-13 Toshiba Corp 情報データ多重化伝送システムとその多重化装置及び分離装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19503528C2 (de) 1995-02-03 1998-01-15 Inst Rundfunktechnik Gmbh Verfahren zum Übertragen oder Speichern von faltungscodierten Datensignalen
GB2324934A (en) * 1997-05-02 1998-11-04 Motorola Ltd Multiplexing data from multi-media sources
US6292917B1 (en) * 1998-09-30 2001-09-18 Agere Systems Guardian Corp. Unequal error protection for digital broadcasting using channel classification
US6430159B1 (en) * 1998-12-23 2002-08-06 Cisco Systems Canada Co. Forward error correction at MPEG-2 transport stream layer
US6738372B1 (en) * 1999-03-05 2004-05-18 Matsushita Electric Industrial Co., Ltd. Video data communication device and method
US6996097B1 (en) * 1999-05-21 2006-02-07 Microsoft Corporation Receiver-driven layered error correction multicast over heterogeneous packet networks
EP1197041B1 (en) * 1999-12-13 2006-05-03 Broadcom Corporation Flexible upstream phy burst profile parameters to improve performance of short bursts in impulse noise
US7159164B1 (en) 2000-06-05 2007-01-02 Qualcomm Incorporated Method and apparatus for recovery of particular bits of a frame
US6816194B2 (en) * 2000-07-11 2004-11-09 Microsoft Corporation Systems and methods with error resilience in enhancement layer bitstream of scalable video coding
US6999432B2 (en) * 2000-07-13 2006-02-14 Microsoft Corporation Channel and quality of service adaptation for multimedia over wireless networks
US7082221B1 (en) * 2000-09-29 2006-07-25 Intel Corporation Bandwidth determination for multiple layer digital video
US20020146074A1 (en) 2001-02-20 2002-10-10 Cute Ltd. Unequal error protection of variable-length data packets based on recursive systematic convolutional coding
US7151749B2 (en) * 2001-06-14 2006-12-19 Microsoft Corporation Method and System for providing adaptive bandwidth control for real-time communication
US6745364B2 (en) * 2001-06-28 2004-06-01 Microsoft Corporation Negotiated/dynamic error correction for streamed media
US7496110B1 (en) * 2001-08-21 2009-02-24 Juniper Networks, Inc. Virtual upstream channel scheduling in broadband communication systems
US7010037B2 (en) * 2002-08-06 2006-03-07 Koninklijke Philips Electronics N.V. System and method for rate-distortion optimized data partitioning for video coding using backward adaptation
SE0300832D0 (sv) * 2003-03-25 2003-03-25 Teracom Ab Data Transmisson system
KR20060121901A (ko) * 2003-10-06 2006-11-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 에러 정정을 가진 디지털 텔레비전 전송
US7222285B2 (en) * 2004-03-17 2007-05-22 Microsoft Corporation Layered multiple description coding

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57138237A (en) * 1981-02-20 1982-08-26 Nec Corp Transmission system for error correction parallel data
JPH03283931A (ja) * 1990-03-30 1991-12-13 Toshiba Corp 放送用デジタル音声信号伝送方式
JPH05167606A (ja) * 1991-12-16 1993-07-02 Nippon Telegr & Teleph Corp <Ntt> 情報ブロックの伝送方式
JPH05182372A (ja) * 1991-12-27 1993-07-23 Sony Corp 映像信号記録装置
JPH05284146A (ja) * 1992-03-30 1993-10-29 Nippon Telegr & Teleph Corp <Ntt> 情報ブロック並列伝送方式
JPH07219795A (ja) * 1994-02-07 1995-08-18 Hitachi Ltd 情報符号化方法および装置ならびに情報復元方法および装置
JPH0993296A (ja) * 1995-07-14 1997-04-04 Toshiba Corp マルチキャリア伝送システムとその伝送装置
JPH10312651A (ja) * 1997-05-09 1998-11-24 Samsung Electron Co Ltd ディジタルビデオディスク再生装置においてデスクランブリング信頼度を向上させる方法及び装置
JPH11191758A (ja) * 1997-06-19 1999-07-13 Toshiba Corp 情報データ多重化伝送システムとその多重化装置及び分離装置

Also Published As

Publication number Publication date
US20120155556A1 (en) 2012-06-21
CN1864411B (zh) 2010-04-14
EP1673945A1 (en) 2006-06-28
US20070223888A1 (en) 2007-09-27
KR20060121901A (ko) 2006-11-29
CN1864411A (zh) 2006-11-15
EP1673945B1 (en) 2011-06-15
JP2007507966A (ja) 2007-03-29
US7992068B2 (en) 2011-08-02
ATE513417T1 (de) 2011-07-15
WO2005034521A1 (en) 2005-04-14

Similar Documents

Publication Publication Date Title
JP4668913B2 (ja) 誤り訂正によるデジタルテレビジョンの伝送
US11757962B2 (en) Multimedia streams which use control information to associate audiovisual streams
KR100510679B1 (ko) 디지털 vsb 전송 시스템 및 부가 데이터 다중화 방법
US8611380B2 (en) System and method for digital communications using multiple parallel encoders
KR100360622B1 (ko) 엠펙 데이터 프레임과 이를 이용한 송수신 시스템
KR101513283B1 (ko) 버스트 모드 활동을 통신하기 위한 장치 및 방법
US6681362B1 (en) Forward error correction for video signals
JP5543590B2 (ja) モバイルマルチメディア放送システムにおける階層送信方法、階層受信方法、階層送信装置、及び階層受信装置
US10601445B2 (en) Wireless transport framework with uncoded transport tunneling
CA2701688A1 (en) Apparatus and method for encoding and decoding signals
JP2011503947A (ja) Fec符号化及び復号化の方法及び装置
US9043670B2 (en) Method for transmitting data from an infrastructure of a radio communication network to user devices, and devices for implementing the method
KR101038444B1 (ko) 개선된 atsc dtv 시스템용 파라메터 인코딩
MX2010005399A (es) Modelado alternado mejorado de codigo.
KR20020023225A (ko) 전송에 적합한 압축 도메인 디지털 신호 발생 방법 및 장치
Vadakital et al. Method for unequal error protection in DVB-H for mobile television
US20160088255A1 (en) Signal receiving apparatus and method of controlling the same
KR20040027219A (ko) 적응적 가중 오류 정정 부호화 및 다중 표현열 부호화를사용한 비디오 전송 장치 및 그 방법
TWI410135B (zh) 在數位廣播系統中傳送/接收傳輸流的裝置與方法
KR100811186B1 (ko) 듀얼 전송 스트림 생성 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070928

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4668913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250