JP4322210B2 - 改良型atscデジタルテレビシステムのためのパケット挿入メカニズム - Google Patents

改良型atscデジタルテレビシステムのためのパケット挿入メカニズム Download PDF

Info

Publication number
JP4322210B2
JP4322210B2 JP2004533773A JP2004533773A JP4322210B2 JP 4322210 B2 JP4322210 B2 JP 4322210B2 JP 2004533773 A JP2004533773 A JP 2004533773A JP 2004533773 A JP2004533773 A JP 2004533773A JP 4322210 B2 JP4322210 B2 JP 4322210B2
Authority
JP
Japan
Prior art keywords
bitstream
bits
placeholder
information
multiplexed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004533773A
Other languages
English (en)
Other versions
JP2005538600A (ja
Inventor
バサンス、アール.ガッダム
ダグナチュウ、ビル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2005538600A publication Critical patent/JP2005538600A/ja
Application granted granted Critical
Publication of JP4322210B2 publication Critical patent/JP4322210B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/0057Block codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/0059Convolutional codes
    • H04L1/006Trellis-coded modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/007Unequal error protection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4382Demodulation or channel decoding, e.g. QPSK demodulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L2001/0092Error control systems characterised by the topology of the transmission link

Description

関連出願の相互参照
本願は、2002年9月6日に出願された、同一出願人による同時係属中の米国仮特許出願第60/408,956号に基づく優先権を主張する。
本発明は、デジタル信号伝送システムに係わり、特に、一つのタイプが多重化後の多重化ストリーム中で別のタイプを置き換える、様々なタイプのデータの多重化に関する。
地上放送チャネルによるデジタルテレビ(DTV)伝送のためのATSC規格は、10.76MHzのレートで8レベルの残留側波帯(VSB)シンボルストリームとして変調された12個の独立した時間多重化トレリス符号化データストリームを含む信号を使用する。この信号は標準VHFまたはUHF地上波テレビジョンチャネルに対応する6MHzの周波数帯域へ変換され、そのチャネルによって信号が1秒当たり19.39ミリオンビット(Mbps)のデータレートで放送される。ATSCデジタルテレビジョン規格および最新版A/53に関する詳細は、http://www.atsc.org/から入手可能である。
図1は、典型的な従来技術のデジタルテレビ(DTV)送信機100を一般的に示すブロック図である。MPEG互換データパケットは、最初にデータランダマイザ105においてランダム化され、各パケットはリード・ソロモン(RS)エンコーダユニット110によって前方誤り訂正(FEC)のため符号化される。A/53は、システムフロントエンドに入力された各パケットが、以下では「データフィールド」または「MPEGフィールド」とも呼ばれる312セグメントのフィールド内のセグメントに対応することを規定する。それぞれのフィールドがシステムによる伝送のため受信されたインターレースビデオ信号の半分を表す2フィールドは1フレームを構成する。エンコーダユニット110からの受信後、各データフィールドの連続セグメント内のデータパケットは次にデータインターリーバ120によってインターリーブされ、インターリーブされたデータパケットは次にさらにトレリスエンコーダ130によってインターリーブされ、符号化される。トレリスエンコーダユニット130は、3ビットずつを有するデータシンボルのストリームを生成する。3ビットのうちの1ビットはプリコードされ、他の2ビットは4状態のトレリスエンコーダによって生成される。この3ビットは次に8レベルのシンボルにマッピングされる。
よく知られているように、従来技術のトレリスエンコーダユニット130は、12台の並列トレリスエンコーダユニットおよびプリコーダユニットを具備し、12個のインターリーブ符号化されたデータシーケンスを提供する。マルチプレクサ140内で、各トレリスエンコーダユニットのシンボルは、同期ユニット(図示しない)からの「セグメント同期(segment sync)」と「フィールド同期(field sync)」の同期ビットシーケンス150と合成される。小さい同相パイロット信号が次にパイロット挿入ユニット160によって挿入され、随意的にフィルタ装置165によって予め等化される。シンボルストリームは、次に、VSB変調器170による残留側波帯(VSB)抑制型のキャリア変調を受ける。シンボルストリームは次に最終的に無線周波数(RF)変換器180によって無線周波数にアップコンバートされる。
図2は、典型的な従来技術のデジタルテレビ(DTV)受信機200を示すブロック図である。受信されたRF信号はチューナ210によって中間周波数(IF)にダウンコンバートされる。この信号は、次に、IFフィルタおよび検出器220によってフィルタリングされデジタル形式に変換される。検出された信号は、次に、各シンボルが8レベルの信号点配置内のあるレベルを表すデータシンボルのストリームの形になる。この信号は、次に、NTSC除去フィルタ230および同期ユニット240へ供給される。次に、この信号はNTSC除去フィルタ230内でフィルタリングされ、等化器および位相追跡器250による等化および位相追跡を受ける。再生された符号化データシンボルは、トレリスデコーダユニット260によってトレリス復号化される。復号化データシンボルは、次に、さらに、データ逆インタリーバ270によってデインターリーブされる。データシンボルは、次に、リード・ソロモンデコーダ280によってリード・ソロモン復号化される。これは送信機100によって送信されたMPEG互換データパケットを再生する。
既存のATSCによる8−VSB A/53デジタルテレビジョン規格は、地上波環境におけるゴースト、ノイズバースト、信号フェードおよび干渉のような様々なチャネル障害に耐える信号を送信する能力を十分に備えているが、受信アンテナは屋内に設置されつつあり、クリアな信号を配信する課題がさらに高まる。したがって、優先度とデータレートが可変であるストリームが受け入れられるようにATSC規格のフレキシビリティが要求される。
上記の課題を取り扱うため、本発明人は、同一出願人による米国特許出願公開第2002/0194570号明細書(以下、「570号出願」と呼ぶ)に既存ATSC受信機との下位互換性がある機能強化されたA/53送信機を開示し、その開示内容は本明細書に完全に記載されているかのように参照によって本明細書に組み込まれる。
570号出願に記載されているように、本発明人は、ATSCデジタル伝送システムに、標準的なATSCビットストリームと共に新型ロバスト(robust)ビットストリームを送信する技術を供与した。新型ビットストリームに対する検知限界(TOV)、すなわち、受信機における1秒当たりの所定の許容可能なパケット誤りの個数は、典型的に標準的なATSCストリームよりも信号対雑音比(SNR)が低くなるので、新型ビットストリームは高優先度情報ビットを送信するため使用可能である。新規性のあるATSCデジタル伝送システムおよび方法は既存デジタル受信機装置との下位互換性がある。
570号出願にさらに記載されているように、ロバストストリームのMPEGデータパケットは標準ストリームよりも高い誤り訂正能力があり、両方のタイプのパケットが並列伝送のため送信機フロントエンドで多重化される。両方のタイプのパケットが多重化される順番は、受信機に到達する合成ワイヤレス信号の完全性に影響を与える。
本出願は、改良型A/53送信機フロントエンドで実施するための好適な多重化技術について詳説する。
一形態において、本発明は、ATSCデジタルテレビ送信機のフロントエンドにおけるパケット挿入メカニズムと、本発明のパケット挿入で利用される方法を対象にする。
さらなる形態において、本発明は、A/53受信機のコンポーネントの動作と互換性のあるA/53送信機のフロントエンドでパケットが多重化される好適な順序付けに関係する。
さらに別の形態において、本発明は、既存受信機との下位互換性のため機能強化されたA/53送信機のフロントエンドにおける好適なパケット多重化順序付けに関係する。
本発明の好適な実施形態において、ATSC A/53 DTV信号伝送規格を改良し、出力ポート、情報ビットストリームを入力する入力ポート、および、プレースホルダビットストリームを入力する入力ポートを有するマルチプレクサを含むデジタル伝送装置およびその装置によって実行される方法が提供される。マルチプレクサは、入力ポートから入力されたビットストリームを多重化し、出力ポートに出力するための多重化ビットストリームを形成する。伝送システムは、多重化ビットストリームを受信し、受信された多重化ビットストリーム内のプレースホルダビットストリームのビットを受信された多重化ビットストリーム内の情報ビットストリームから取得されたビットで置換し、修正ビットストリームを形成するデータフォーマッタをさらに含む。エンコーダは修正ビットストリームを符号化し、送信機が送信する符号化ビットストリームを生成する。
本明細書に開示された本発明の詳細を図面の簡単な説明の欄に列挙された図面を参照して以下で詳細に説明するが、図面中、同一若しくは類似のコンポーネントは複数の図に亘って同じ参照番号によって示される。
図3は本発明による改良型ATSC規格の実施形態300の最上位概略図である。
第1の実施形態による改良型ATSCデジタル信号伝送規格は、入力された188バイトのMPEG互換データパケット間で選択を行うパケットマルチプレクサ、すなわち、パケットMUX305を含む。MUX305は、標準ATSCビットストリームを構成する標準パケットのための標準入力310を有する。標準パケットは、システム300のバックエンドから送信された後、既存A/53受信機および新型受信機によって受信される。ロバスト入力315は新型ロバストビットストリームを構築するロバストパケットを受信する。ロバストパケットは、バックエンドからの送信後に、タイトルが「改良型ATSC準拠8−VSBシステムのための送信機および受信機におけるパケット識別メカニズム(PACKET IDENTIFICATION MECHANISM AT TRANSMITTER AND RECEIVER FOR AN ENHANCED ATSC 8−VSB SYSTEM)」である同一出願人による同時係属中の米国特許出願公開第2002/0191712号明細書(以下、「712号出願」と呼ぶ)に開示された新型受信機によって受信され、その開示内容は本明細書に完全に記載されているかのように参照によって本明細書に組み込まれる。既存受信機は、ロバストパケットに基づいて送信機で生成された信号を復号化するが、以下で詳述されるような下位互換性に依存して、それらを誤りとして無視するか、若しくは、処理する。伝送システムのフロントエンドにおけるこれらの標準とロバストの2種類のパケットの多重化は、上述のように参照によって本明細書に完全に組み込まれた570号出願に本発明人によって開示されている。
第3のタイプのパケットであるプレースホルダパケットは、プレースホルダ入力320によって受信され、好ましくは、すべてがヌル値である。既存ATSC規格は、たとえば、伝送システム内の接続しているコンポーネントのクロック周波数を解決するため用いられる手段としてヌルパケットを受け入れる。本発明の一形態において、フロントエンドで入力されたプレースホルダパケットは、入力されたロバストパケットの内容に基づいて、引き続き生成若しくは取得されたデータで上書きされる。
改良型ATSC伝送システム300は、パケットMUX305の多重化出力を受信し、最初に擬似乱数発生の既知パターンに従って入力データバイト値を変更するデータランダマイザ要素105をさらに含む。ATSC規格によると、たとえば、データランダマイザは、入力データバイトのすべてを、データフィールドの先頭で初期化された16ビットの最大長の擬似ランダムバイナリシーケンス(PRBS)とXOR演算する。
出力ランダム化データは、次に、187バイトのサイズのデータブロックを操作し、誤り訂正のための20個のRSパリティバイトを付加し、1データセグメント当たりに送信される207バイトの合計サイズのRSブロックを生ずるリード・ソロモン(RS)エンコーダ要素110へ入力される。
RS符号化後、207バイトのデータセグメントは、次に、ロバストインターリーバ要素、パケットフォーマッタ要素およびパケットマルチプレクサ要素を具備し、ロバスト入力バイトをさらに処理/再フォーマットする新型ブロック115へ入力される。パケットフォーマッタブロックの個別の要素の動作は、タイトルが「改良型ATSCデジタルテレビシステム(IMPROVED ATSC DIGITAL TELEVISION SYSTEM)」である、同一出願人による同時係属中の米国特許出願公開第2002/0181581号明細書(以下、「581号出願」と呼ぶ)に詳述されている。
より一般的には、入力バイトを再フォーマットするロバストインターリーバ要素、パケットフォーマッタ要素およびパケットマルチプレクサ要素は、入力バイトが処理されること(ロバストバイト)、または、処理されないこと(ノーマルバイト)を示すモード信号143に応答する。ロバストインターリーバでロバストパケットをインターリーブした後、入力ロバストビットストリームに属するデータバイトは一次的に記憶され、パケットフォーマッタ装置において予め決められたバイト数、たとえば、207バイトのグループに分類される。一般に、ロバストパケットの場合、パケットフォーマッタ出力の各バイトの4ビットだけ、すなわち、最下位ビット(6,4,2,0)だけが入力ストリームに対応する。各バイトのその他の4ビット、すなわち、最上位ビット(7,5,3,1)は本明細書中で詳細に説明されるような理由のため任意の値にセットされる。パケットフォーマッタ115におけるバイト再フォーマット後、ロバストパケットに属するバイトは標準ストリームに属するバイトと多重化される。
ロバストバイトと標準バイトの多重化ストリーム116は、次に、畳み込みのインターリーバメカニズム120へ入力され、ATSCのA/53規格に従うデータストリームの連続的な順序にスクランブルをかけるため、各データフィールドの連続セグメント内のデータパケットがさらにインターリーブされる。570号出願により詳細に説明されているように、各ロバストパケットまたは標準パケットに関連付けられたバイトは並列処理制御ブロック(図示せず)において追跡される。
フォーマットされ、RS符号化され、インターリーブされたデータバイト117、すなわち、モジュール105〜120を含む「データフォーマッタ」の出力は、次に、新規性のあるトレリスエンコーダ装置330によってトレリス符号化される。トレリスエンコーダユニット330は、特にモード信号143に応答し、本明細書中で下位互換性(任意的なRSエンコーダ)ブロック125と称される下位互換性のあるパリティバイト発生器要素125と協調的に相互に作用し、570号出願により詳細に説明されているように、それぞれのビットが8レベルのシンボルにマッピングされた3ビットを有するデータシンボルのトレリス符号化された出力ストリームを生成する。トレリス符号化出力シンボルは次にマルチプレクサユニット140へ送られ、マルチプレクサユニットで同期ユニット(図示せず)からの「セグメント同期」および「フィールド同期」同期ビットシーケンス138と合成される。
システム300は、図1に示されているような従来技術のパイロット挿入ユニット160、VSB変調器170およびRFアップコンバータ180を組み込むバックエンドプロセッサ152をさらに含む。したがって、パイロット信号はマルチプレクサ140の出力信号に挿入される。シンボルストリームは、次に、残留側波帯(VSB)抑制型のキャリア変調を受け、シンボルストリームは、最終的に、無線周波数へアップコンバートされる。
システム300にはまた、712号出願の図3の実施形態および570号出願の図5〜7に説明された実施形態に従って動作する制御ユニット340が含まれる。本発明の制御ユニット340は二つの新しい改良がなされている。第一に、「ノーマル」または「ロバスト」のいずれかの値を有するモード信号143は、本明細書中で新たに開示されたパケットMUX305へ供給される。第二に、入力ライン350上で制御ユニット340へ入力するためのパラメータの組が変更されている。
制御ユニット340がシステム300の種々のモジュールと通信する出力は図3に示されている接続に制限されない。MUX305は、たとえば、制御ユニット340からモード選択ビットを受信し、このモード選択ビットはモード信号と組み合わされて、3個の入力310、315、320の中から選択される入力を決める。さらなる一例として、パケットフォーマッタおよびトレリスエンコーダ330は、両方ともに同じように制御ユニット340からモードビットを受信し、このモードビットがモード信号143と組み合わされて、システムパラメータMODEを決める。さらに、以下の説明から明らかになるように、パケットフォーマッタ115は、他の3個のシステムパラメータNRS、NRPおよびTRも必要であり、それらを制御ユニット340から入力する。
システムパラメータMODE、NRS、NRPおよびTRは、MPEGフィールド内のロバストパケットの個数および位置を決める。フロントエンドマルチプレクサ入力との関連で以下に使用される用語「ロバストパケット」は、プレースホルダパケット、または、これまで「ロバストパケット」と呼ばれていた「ロバスト情報パケット」のいずれかを表す。したがって、パケットMUX305によって多重化されたロバストパケットの個数は、多重化されたロバスト情報パケットの個数と多重化されたプレースホルダパケットの個数の合計に一致する。
システムパラメータMODE、NRS、NRPおよびTRは、2フィールド毎に1回ずつ変更され、すなわち、1フレーム当たり1回ずつ変更される。
モードパラメータは以下の表1に規定される。
Figure 0004322210
モード0は標準パケットの処理を意味する。既存A/53規格は、2ビット毎に8レベルのシンボルを出力し、すなわち、2ビットに対して3ビットを出力し、「2/3トレリス符号化」と呼ばれる。モード0の間に、他の3個のシステムパラメータNRS、NPRおよびTRは利用されず、無視することができる。表1の様々なモードに対するトレリス符号化についての詳細は570号出願および581号出願にさらに記載されている。
H−VSB(階層的な残留側波帯)モードであるモード1の場合、ロバスト情報パケットと組み込みパケットの対応するビットは横並びに配置され、トレリスエンコーダ330への一対の入力端子にペアとして供給される。組み込みパケットは、パケットMUX305の入力320上にプレースホルダビットストリームの代わりに入力された低優先度のストリームである組み込みビットストリームの構成要素である。したがって、最下位ビット(6,4,2,0)は組み込みバイトから、すなわち、組み込みパケットからのバイトから転送または取り出され、最上位ビット(7,5,3,1)はロバスト情報パケットのロバストバイトから取り出される。トレリスエンコーダ330によって出力されたシンボルは6レベルであり、この6レベルは、重要性の低い方のレベルの間の拡散が増大するため、標準的な8レベルよりも高いロバスト性を提供する。
改良型残留側波帯(E−VSB)モードであるモード2は、情報ビット毎に8レベルのシンボルを生ずる。ビットを搬送する冗長性は、情報出力レートの低下と引き換えに、その伝送のロバスト性をより高める。
擬似2−VSBモード、すなわち、簡単に「2−VSBモード」は、これに対して、情報ビット毎に4レベルのシンボルを出力し、標準パケットの伝送よりも冗長性とロバスト性が高い。
以下の表2はNRSパラメータについての説明である。
Figure 0004322210
本発明によれば、既存受信機は、標準パケットによって搬送された情報だけを受信者に渡す。新型受信機は、これに対して、モード2または3で、および、信号が十分な完全性で受信される場合には選択的にモード1で符号化されたロバスト情報を表す信号を受信し復号化する。新型受信機は、また、引き続く復号化のための「付加的なビットストリーム」として標準ビットストリームを受信し復号化する。
NRS=0であるならば、下位互換性は発生器125によって与えられないので、既存受信機はすべての入力ロバストパケット、すなわち、ロバストパケットに復号化された信号を誤りとして除去する。しかし、除去する前に、受信機はRS符号化とトレリス符号化の両方によって提供される能力である前方誤り訂正を試みる。従来型の受信機によるこの無駄な努力は、ロバストパケットが下位互換性のため処理されるならば、すなわち、NRSが1にセットされているときに取り除かれるが、その理由は、このケースでは、受信機がロバストパケットを誤りとして認識するのではなく無視するからである。
TRパラメータは表3と併せて以下に説明される。
Figure 0004322210
標準パケットの場合、上記のように、2ビットが符号化され、1シンボルを生成する。TR=0であるとき、符号化レートは「1/2」であり、1シンボル当たり1ビットが符号化される。通常、たとえば、符号化レートは擬似2−VSBモードに対して「1/2」である。これに対して、TR=1であるとき、符号化レートは「1/4」であり、これは2個の符号化シンボルを生成するため1ビットが符号化されることを意味する。したがって、たとえば、モード=11およびTR=1で動作するトレリスエンコーダ330によって選択された各シンボルは複製され、両方のシンボルが送信される。
NRPパラメータは、1フレーム当たりのロバスト情報パケットの個数NRIを指定するコードであり、この個数は以下の表4から決定される。
Figure 0004322210
ロバストパケットの個数Nは、以下の式(1)〜(4)を用いて表4から読み出されたNRIの値より決定される。
TR=0、NRS=0であるとき、N=2*NRI (1)
TR=0、NRS=1であるとき、N=(9/4)*NRI (2)
TR=1、NRS=0であるとき、N=4*NRI (3)
TR=1、NRS=1であるとき、N=(9/2)*NRI (4)
ここで、プレースホルダパケットの個数は、以下に詳述するように、
PH=N−NRI
である。
一般に、ロバストパケットはMPEGフィールド内で一様に分布する。一つの制約は、任意の二つのロバストパケット間の最大距離が4パケットよりも大きくないことである。すなわち、フィールド内の所定の個数のパケットに亘って、最初のパケットから最後のロバストパケットまでを計数すると、3個よりも多数の標準パケットがパケットMUX305によって連続して多重化されない。上述のように、システム300のフロントエンドの組み込みビットストリームは、組み込みストリームが使用されるとき、プレースホルダビットストリームを置き換えるので、以下の説明では、プレースホルダパケットまたは組み込みパケットのいずれかの意味であるとの了解の下でプレースホルダパケットという名前を使用する。
フロントエンドにおけるロバストパケットの一様分布は以下の理由から望ましい。ロバスト信号のレベルが少なくなると、マルチパスを解明することにより、さもなければ、信号値を正しく判定することによって、受信機の等化器を容易に収束させることができる。しかし、ロバスト信号の供給が連続的ではないならば、すなわち、時間的に不規則に間隔が空いているならば、受信機におけるこの利点は失われる。一方、一つのタイプの長いシーケンス、すなわち、すべてが標準タイプまたはすべてがロバストタイプのシーケンスは、受信機の自動利得制御(AGC)を複雑にさせる。したがって、ロバストパケットは標準パケットと一様にインターリーブされる。
フィールド内の任意の2個の連続したロバストパケット間の距離dは次式(5)によって与えられる。
=min(floor(N/N),4) (5)
式中、floorは、小数点以下を切り捨て、整数値を残す関数であり、Nはフィールド内のパケットの総数312であり、Nは、上述のように、ロバストパケットの個数である。
に対して最大値は4が経験的に適当であることがわかっているが、他の最大値を使用してもよい。
パケット順序を設定する際の別の制限は、NPR>0であるならば、フィールドの最初のパケットが常にロバストパケットであることである。パケットMUX305は、標準入力310、ロバスト入力315、および、プレースホルダ入力320の間で選択を行う際に、1パケット毎に1回ずつソースを切り替えることが可能である。
NRS=0およびTR=0のときのパケット挿入
これらのパラメータ化で動作するとき、パケットフォーマッタ115は、各ロバスト情報パケットのビットを複製し、2個のパケットを形成する。したがって、パケットMUX305で受信された各ロバスト情報パケットの後にプレースホルダパケットが続き、プレースホルダパケットは、個数の増加したビット、すなわち、元のビットと複製ビットまたは生成されたビットを受け入れるため上書きされる。
図4は、NRS=0およびTR=0の場合の本発明によるデジタル信号伝送方法の一例を表すフローチャートである。ビットストリームは標準入力310、ロバスト入力315およびプレースホルダ入力320から多重化される(ステップ410)。MODE=0であるならば(ステップ420)、標準パケットであることを示し、以下で説明する置換ステップは回避される。MODE=1であるならば(ステップ430)、組み込みパケットの利用を示し、ロバスト情報パケットと組み込みパケットの対応したビットが、570号出願の図9(a)に示されるように、隣同士に配置される(ステップ440)。一方、MODE=2または3であるならば、ロバスト情報パケットの各ビットは置換ステップにおいて複製される(ステップ450)。複製または生成されたビットは、570号出願の図8(a)に示されるように、ビットの取得が行われた元のビットの後に続くように配置される。修正ビットストリームを形成する際にビット操作が行われ、または、それが回避された後、修正ビットストリームが同時に2ビットずつトレリスエンコーダ330へ入力され(ステップ460)、符号化ストリームが送信される(ステップ470)。
ステップ420〜450はデータフォーマッタ(図3のモジュール105〜120)によって実行される。したがって、図3に示されるような本発明の好適な一実施形態において、他のステップが上述されたようなビット操作ステップ440、450よりも先行し、また、ビット操作ステップの後に続く。
別の利用例のため表4を再度参照すると、NRP=0110およびMODE=11であるならば、各MPEGフィールドは12個のロバスト情報パケットと12個のプレースホルダパケット、並びに、(312−24)=288個の標準パケットを有する。2個の連続したロバストパケット間の間隔は、式(5)から計算されるように、
=min(floor(312/24),4)=4
である。ロバストパケットは、したがって、以下の表5に例示されるように、任意の2個の連続したロバストパケット間に4パケットの距離をもって一様に分布する。
Figure 0004322210
別の例では、NRP=110およびMODE=11であるならば、各MPEGフィールドは、52個のロバスト情報パケット、52個のプレースホルダパケット、および、(312−104)=208個の標準パケットを有する。連続したロバストパケット間の間隔は、このとき、以下の表6からわかるように、
=min(floor(312/104),4)=3
である。
Figure 0004322210
NRS=1およびTR=0のときのパケット挿入
この形態において、パケットフォーマッタ115は下位互換性の要件を満たすため23個の付加的なバイトを出力ロバストパケットのそれぞれに付加する。ロバスト情報パケットの207バイトは、これに応じて、パケットフォーマッタ115により2*207+2*23=460バイトに変換される。このデータを収容するため、パケットフォーマッタ115は、5個のプレースホルダパケットを利用することにより、4個のロバストパケットのそれぞれを9個のロバストパケットに変換する。付加的なオーバーヘッドを避けるため、1フィールド当たりのロバスト情報パケットの個数は好ましくは4の倍数に制限される。
プレースホルダパケットに対するロバスト情報パケットの順序付け、および、さしあたりの標準パケットの無視は以下の表7に示されている。
Figure 0004322210
このパターンは9個のロバストパケット毎に繰り返される。タイプによって連続的にクラスタリングするのではなく、タイプによって順次に交番することにより、ロバスト情報パケットおよびプレースホルダパケットは、その後に続く情報信号の伝送の遅れを避けるために順序付けられる。すなわち、パケットフォーマッタ115は、1個のロバスト情報パケットの完全な内容を搬送するために出力で3個のパケットを利用し、したがって、570号出願に図10と関連してより十分に記載されているように、安定供給されるプレースホルダパケットを受信する方が好ましい。
NRP=1000、MODE=11の場合の第1の例では、各MPEGフィールドは、32個のロバスト情報パケット、40個のプレースホルダパケット、および、(312−72)=240個の標準パケットを有する。ロバストパケット間の間隔は、したがって、以下の表8に示されるように、
=min(floor(312/72),4)=4
である。
Figure 0004322210
第2の例では、NRP=1011およびMODE=11の場合に、各MPEGフィールドは、64個のロバスト情報パケット、80個のプレースホルダパケット、および、(312−144)=168個の標準パケットを有する。ロバストパケット間隔は、したがって、以下の表9に示されるように、
=min(floor(312/144),4)=2
である。
Figure 0004322210
TR=1のときのパケット挿入
表4に示されているように、TR=1のときのロバスト情報パケットの個数は、TR=0のときの個数の半分に一致するが、ロバストパケットの個数は同じ個数のままである。したがって、パケット挿入は、ひとつおきのロバスト情報パケットがプレースホルダパケットによって置換される点を除いて、表5〜9に示されているとおりである。
本発明の好適な実施形態であると考えられる事項が図示され説明されているが、当然ながら、形式上若しくは詳細の種々の変形および変更が本発明の精神を逸脱することなく容易になされ得ることが理解されるであろう。したがって、本発明は記載され例示された形式に厳密に限定されるのではなく、特許請求の範囲に記載された事項の範囲内に含まれるあらゆる変形を対象とするため構築されるべきであることが意図されている。
従来技術による典型的なデジタルテレビ(DTV)送信機のブロック図である。 従来技術による典型的なデジタルテレビ(DTV)受信機のブロック図である。 本発明による改良型ATSC規格の典型的な一実施形態の最上位概略図である。 本発明により利用される方法を表すフローチャートである。
符号の説明
105 データランダマイザ要素
110 リード・ソロモンエンコーダ要素
115 新型ブロック
120 インタリーバメカニズム
140 マルチプレクサユニット
300 システム
305 パケットマルチプレクサ
330 トレリスエンコーダ装置
340 制御ユニット

Claims (20)

  1. 出力ポート、情報ビットストリームを入力する入力ポートおよびプレースホルダビットストリームを入力する入力ポートを有し、前記出力ポートへ出力するための多重化ビットストリームを形成するため前記入力ポートから入力された前記ビットストリームを多重化するマルチプレクサと、
    前記多重化ビットストリームを受信し、修正ビットストリームを形成するため前記受信された多重化ビットストリーム内の前記プレースホルダビットストリームのビットを前記受信された多重化ビットストリーム内の前記情報ビットストリームから取得されたビットで置換するデータフォーマッタと、
    符号化ビットストリームを生成するため前記修正ビットストリームを符号化するエンコーダと、
    前記符号化ビットストリームを送信する送信機と、
    を具備する、デジタル信号伝送装置。
  2. 前記ビットの取得が新しいビットを作成し、ビットの取得が行われたあらゆるビットをそのまま保持する、請求項1に記載の装置。
  3. 前記置換が、複製ビットを形成するため前記受信された多重化ビットストリーム内の前記情報ビットストリームのビットを複製し、前記受信された多重化ビットストリーム内の前記プレースホルダビットストリームのビットを置き換えるため前記複製ビットを代用する、請求項2に記載の装置。
  4. 前記マルチプレクサが、前記多重化ビットストリームを形成する際に付加的なビットストリームを多重化するように構成され、
    前記データフォーマッタが、前記修正ビットストリームを形成するため、前記受信された多重化ビットストリーム内の前記付加的なビットストリームを操作するときに前記置換をバイパスするように構成され、
    前記エンコーダが、前記付加的なビットストリームから取得されたビットを操作するときに前記修正ビットストリームのすべてのビットを処理し、前記情報ビットストリームから取得されたビットを操作するときに前記修正ビットストリームの一つおきのビットを処理するように構成される、
    請求項1に記載の装置。
  5. 前記マルチプレクサが、付加的なビットストリームを入力する付加的な入力ポートと共に構成される、請求項1に記載の装置。
  6. 前記マルチプレクサが、前記多重化ビットストリームを形成するために前記多重化のためのそれぞれの入力ポートを介して複数の付加的なビットストリーム、複数の情報ビットストリームおよび複数のプレースホルダビットストリームを入力するように構成され、
    前記マルチプレクサによって多重化されるべき前記情報ビットストリームのそれぞれが同一のビット数を有し、
    前記マルチプレクサによって多重化されるべき前記プレースホルダビットストリームのそれぞれが同一のビット数を有し、
    前記マルチプレクサが、別の多重化のためのビットストリームを選択する前にそれぞれが同一のビット数である前記情報ビットストリームおよび前記プレースホルダビットストリームのそれぞれを多重化するように構成される、
    請求項5に記載の装置。
  7. 前記マルチプレクサが、所定の個数のビットストリームの間に、3個を超えない個数の前記付加的なビットストリームを連続的に選択するために前記多重化を行うようにさらに構成される、請求項6に記載の装置。
  8. 前記マルチプレクサが、情報ビットストリームとプレースホルダビットストリームのうちの一方が入力されるたびにその後、1個以上の前記付加的なビットストリームを連続的に入力するために前記多重化を行うようにさらに構成される、請求項6に記載の装置。
  9. 前記複数のビットストリームの長さが同一であり、
    情報ビットストリームとプレースホルダビットストリームのうちの一方の入力が、少なくとも前記情報ビットストリームまたはプレースホルダビットストリームのうちの一方の殆どの入力の間に、情報ビットストリームとプレースホルダビットストリームとの間で順次に交番する、
    請求項8に記載の装置。
  10. 前記置換が、前記受信された多重化ビットストリーム内の前記情報ビットストリームから選択されたビットを除去し、前記受信された多重化ビットストリーム内の前記プレースホルダビットストリームのビットを置き換えるため前記除去されたビットを代用する、請求項1に記載の装置。
  11. 多重化ビットストリームを形成するため情報ビットストリームおよびプレースホルダビットストリームを多重化するステップと、
    前記多重化ビットストリームを受信するステップと、
    修正ビットストリームを形成するため、前記受信された多重化ビットストリーム内の前記プレースホルダビットストリームのビットを前記受信された多重化ビットストリーム内の前記情報ビットストリームから取得されたビットで置換するステップと、
    符号化ビットストリームを形成するため、前記修正ビットストリームを符号化するステップと、
    前記符号化ビットストリームを送信するステップと、
    を含む、デジタル信号伝送方法。
  12. ビットストリームからのビットの取得が新しいビットを作成し、ビットの取得が行われた元のビットをそのまま保持する、請求項11に記載の方法。
  13. 前記置換するステップが、
    複製ビットを形成するため、前記受信された多重化ビットストリーム内の前記情報ビットストリームのビットを複製するステップと、
    前記受信された多重化ビットストリーム内の前記プレースホルダビットストリームのビットを置き換えるため、前記複製ビットを代用するステップと、
    を含む、請求項12に記載の方法。
  14. 前記多重化ビットストリームを形成する際に、付加的なビットストリームを多重化するステップと、
    前記修正ビットストリームを形成するため、前記受信された多重化ビットストリーム内の前記付加的なビットストリームを操作するときに前記置換するステップを回避するステップと、
    をさらに含み、
    前記符号化するステップが、
    前記付加的なビットストリームから取得されたビットを操作するときに、前記修正ビットストリームのすべてのビットを処理するステップと、
    前記情報ビットストリームから取得されたビットを操作するときに、前記修正ビットストリームの一つおきのビットを処理するステップと、
    をさらに含む、
    請求項11に記載の方法。
  15. 前記多重化するステップが、前記多重化ビットストリームを形成するため付加的なビットストリームを多重化するステップをさらに含む、請求項11に記載の方法。
  16. 前記多重化するステップが、前記多重化ビットストリームを形成するため複数の付加的なビットストリーム、複数の情報ビットストリームおよび複数のプレースホルダビットストリームを多重化するステップをさらに含み、
    マルチプレクサによって多重化されるべき前記情報ビットストリームのそれぞれが同一のビット数を有し、
    前記マルチプレクサによって多重化されるべき前記プレースホルダビットストリームのそれぞれが同一のビット数を有し、
    前記多重化するステップが、別の多重化のためのビットストリームを選択する前にそれぞれが同一のビット数である前記情報ビットストリームおよび前記プレースホルダビットストリームのそれぞれを多重化するように実行される、
    請求項15に記載の方法。
  17. 前記多重化するステップが、所定の個数のビットストリームの間に、3個を超えない個数の前記付加的なビットストリームを連続的に選択するように実行される、請求項16に記載の方法。
  18. 前記多重化するステップが、情報ビットストリームとプレースホルダビットストリームのうちの一方が入力されるたびに、1個以上の前記付加的なビットストリームを連続的に入力するように実行される、請求項16に記載の方法。
  19. 前記複数のビットストリームの長さが同一であり、
    情報ビットストリームとプレースホルダビットストリームのうちの一方の入力が、少なくとも前記情報ビットストリームまたはプレースホルダビットストリームのうちの一方の殆どの入力の間に、情報ビットストリームとプレースホルダビットストリームとの間で順次に交番する、
    請求項18に記載の方法。
  20. 前記置換するステップが、
    前記受信された多重化ビットストリーム内の前記情報ビットストリームからビットを選択するステップと、
    前記多重化ビットストリーム内の前記情報ビットストリームから選択されたビットを除去するステップと、
    前記受信された多重化ビットストリーム内の前記プレースホルダビットストリームのビットを置き換えるため前記除去されたビットを代用するステップと、
    を含む、請求項11に記載の方法。
JP2004533773A 2002-09-06 2003-09-01 改良型atscデジタルテレビシステムのためのパケット挿入メカニズム Expired - Fee Related JP4322210B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US40895602P 2002-09-06 2002-09-06
US46277603P 2003-04-14 2003-04-14
PCT/IB2003/003864 WO2004023818A1 (en) 2002-09-06 2003-09-01 Packet insertion mechanism for an improved atsc dtv system

Publications (2)

Publication Number Publication Date
JP2005538600A JP2005538600A (ja) 2005-12-15
JP4322210B2 true JP4322210B2 (ja) 2009-08-26

Family

ID=31981618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004533773A Expired - Fee Related JP4322210B2 (ja) 2002-09-06 2003-09-01 改良型atscデジタルテレビシステムのためのパケット挿入メカニズム

Country Status (7)

Country Link
US (1) US8503488B2 (ja)
EP (1) EP1537745A1 (ja)
JP (1) JP4322210B2 (ja)
KR (1) KR101025201B1 (ja)
CN (1) CN1679339B (ja)
AU (1) AU2003259446A1 (ja)
WO (1) WO2004023818A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7324565B2 (en) * 2003-05-14 2008-01-29 Nokia Corporation Method and device for channel multiplexing or demultiplexing
US7599348B2 (en) 2003-11-04 2009-10-06 Lg Electronics Inc. Digital E8-VSB reception system and E8-VSB data demultiplexing method
KR100708479B1 (ko) * 2005-03-24 2007-04-18 삼성전자주식회사 디지털 방송 송신 장치 및 방법 그리고 디지털 방송 수신장치 및 방법
US7920602B2 (en) * 2005-05-23 2011-04-05 Samsung Electronics Co., Ltd. Method for formatting digital broadcast transport stream packet for improved receiving performance, digital broadcast transmitter, and signal processing method thereof
CN101370133B (zh) * 2005-05-23 2013-05-01 三星电子株式会社 数字广播接收机和处理数字广播接收机的流的方法
US7711045B2 (en) * 2005-07-13 2010-05-04 Samsung Electronics Co., Ltd. Digital broadcast transmitter/receiver having improved receiving performance and signal processing method thereof
WO2007040572A1 (en) * 2005-09-28 2007-04-12 Thomson Licensing Transmission of information on an auxiliary channel
US7840868B2 (en) 2005-10-05 2010-11-23 Lg Electronics Inc. Method of processing traffic information and digital broadcast system
KR101147760B1 (ko) * 2005-10-06 2012-05-25 엘지전자 주식회사 디지털 방송의 송/수신 시스템, 방법, 및 데이터 구조
KR100811184B1 (ko) * 2005-10-21 2008-03-07 삼성전자주식회사 아우터 인코더 및 그 방법
KR100740210B1 (ko) * 2005-10-21 2007-07-18 삼성전자주식회사 듀얼 전송 스트림 생성 장치 및 그 방법
KR100793963B1 (ko) * 2006-04-04 2008-01-16 삼성전자주식회사 디지털 방송시스템 및 그 데이터 처리방법
WO2007123302A1 (en) * 2006-04-25 2007-11-01 Lg Electronics Inc. Digital broadcasting system and method of processing data
KR101227504B1 (ko) * 2006-06-09 2013-01-29 엘지전자 주식회사 디지털 방송 시스템 및 처리 방법
KR101343407B1 (ko) * 2007-02-26 2013-12-20 삼성전자주식회사 부가 데이터 전송이 가능한 디지털 송신 시스템 및 그 방법
CA2686557A1 (en) 2007-05-16 2008-11-27 Thomson Licensing Apparatus and method for encoding and decoding signals
CN101828398A (zh) 2007-10-15 2010-09-08 汤姆逊许可证公司 具有移动能力的高清晰电视传输
CN107070585B (zh) 2007-10-15 2021-05-04 交互数字Ce专利控股公司 传达突发模式活动的装置和方法
CN102833044B (zh) * 2012-08-29 2014-12-10 苏州威士达信息科技有限公司 一种cmmb系统中rs编码和字节交织的联合处理装置和方法
TWI735478B (zh) 2015-11-10 2021-08-11 日商新力股份有限公司 資料處理裝置、及資料處理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5650825A (en) * 1995-03-31 1997-07-22 Matsushita Electric Corporation Of America Method and apparatus for sending private data instead of stuffing bits in an MPEG bit stream
US6788710B1 (en) * 1998-03-19 2004-09-07 Thomson Licensing S.A. Auxiliary data insertion in a transport datastream
US6438569B1 (en) * 1999-09-20 2002-08-20 Pmc-Sierra, Inc. Sums of production datapath
US6996133B2 (en) * 2000-04-18 2006-02-07 Zenith Electronics Corporation Digital communication system for transmitting and receiving robustly encoded data
US6958781B2 (en) * 2000-04-18 2005-10-25 Zenith Electronics Corporation Mapping arrangement for digital communication system
KR100360622B1 (ko) * 2000-06-12 2002-11-13 주식회사 문화방송 엠펙 데이터 프레임과 이를 이용한 송수신 시스템
WO2002003678A2 (en) * 2000-07-01 2002-01-10 Nxtwave Communications, Inc. Robust data extension for 8vsb signaling
KR100672561B1 (ko) * 2000-09-22 2007-01-23 엘지전자 주식회사 디지털 티브이의 통신 시스템
KR100351829B1 (ko) * 2000-09-26 2002-09-11 엘지전자 주식회사 디지털 통신 시스템
KR100673419B1 (ko) * 2000-12-28 2007-01-24 엘지전자 주식회사 전송 시스템 및 데이터 처리 방법
US7111221B2 (en) 2001-04-02 2006-09-19 Koninklijke Philips Electronics N.V. Digital transmission system for an enhanced ATSC 8-VSB system
US7206352B2 (en) 2001-04-02 2007-04-17 Koninklijke Philips Electronics N.V. ATSC digital television system
US7675994B2 (en) 2001-04-02 2010-03-09 Koninklijke Philips Electronics N.V. Packet identification mechanism at the transmitter and receiver for an enhanced ATSC 8-VSB system
US7240270B2 (en) * 2001-04-30 2007-07-03 Nokia Corporation Method of transmitting signaling messages in a mobile telecommunications network

Also Published As

Publication number Publication date
US20050281294A1 (en) 2005-12-22
WO2004023818A1 (en) 2004-03-18
KR101025201B1 (ko) 2011-03-31
KR20050057184A (ko) 2005-06-16
US8503488B2 (en) 2013-08-06
CN1679339B (zh) 2011-11-16
AU2003259446A1 (en) 2004-03-29
JP2005538600A (ja) 2005-12-15
CN1679339A (zh) 2005-10-05
EP1537745A1 (en) 2005-06-08

Similar Documents

Publication Publication Date Title
US7675994B2 (en) Packet identification mechanism at the transmitter and receiver for an enhanced ATSC 8-VSB system
JP4322210B2 (ja) 改良型atscデジタルテレビシステムのためのパケット挿入メカニズム
KR100950015B1 (ko) 향상된 atsc 8-vsb 시스템을 위한 개선된 디지털전송 시스템
US8199839B2 (en) Digital broadcast transmitting/receiving system having an improved receiving performance and signal processing method thereof
US7111221B2 (en) Digital transmission system for an enhanced ATSC 8-VSB system
US8127210B2 (en) Digital broadcasting transmission capable of improving receiving and equalizing performance and signal processing method thereof
CN101697570B (zh) 数字广播发送/接收装置及其信号处理方法
US20060159183A1 (en) Receiver and packet formatter for decoding an atsc dtv signal
KR20010111667A (ko) 엠펙 데이터 프레임과 이를 이용한 송수신 시스템
KR20040014977A (ko) 강화한 코딩 스킴들을 사용하는 디지털 텔레비전 전송시스템
WO2011034571A1 (en) Studio to transmitter link signaling method and apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060901

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090512

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090602

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120612

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130612

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees