JP3499794B2 - デジタル・オーディオ同報通信および他の用途のための共同多数プログラム符号化 - Google Patents

デジタル・オーディオ同報通信および他の用途のための共同多数プログラム符号化

Info

Publication number
JP3499794B2
JP3499794B2 JP2000018338A JP2000018338A JP3499794B2 JP 3499794 B2 JP3499794 B2 JP 3499794B2 JP 2000018338 A JP2000018338 A JP 2000018338A JP 2000018338 A JP2000018338 A JP 2000018338A JP 3499794 B2 JP3499794 B2 JP 3499794B2
Authority
JP
Japan
Prior art keywords
programs
program
importance
audio
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000018338A
Other languages
English (en)
Other versions
JP2000236263A (ja
Inventor
シンハ デープン
ウィルヘルム サンドバーグ カール−エリック
Original Assignee
ルーセント テクノロジーズ インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ルーセント テクノロジーズ インコーポレーテッド filed Critical ルーセント テクノロジーズ インコーポレーテッド
Publication of JP2000236263A publication Critical patent/JP2000236263A/ja
Application granted granted Critical
Publication of JP3499794B2 publication Critical patent/JP3499794B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/0078Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0083Formatting with frames or packets; Protocol or part of protocol for error control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/0064Concatenated codes
    • H04L1/0065Serial concatenated codes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00Arrangements for detecting or preventing errors in the information received
    • H04L1/004Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056Systems characterized by the type of code used
    • H04L1/007Unequal error protection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005Correction of errors induced by the transmission channel, if related to the coding algorithm
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H2201/00Aspects of broadcast communication
    • H04H2201/10Aspects of broadcast communication characterised by the type of broadcast system
    • H04H2201/17Aspects of broadcast communication characterised by the type of broadcast system in band adjacent channel [IBAC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H2201/00Aspects of broadcast communication
    • H04H2201/10Aspects of broadcast communication characterised by the type of broadcast system
    • H04H2201/20Aspects of broadcast communication characterised by the type of broadcast system digital audio broadcasting [DAB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、一般に、デジタル
・オーディオ同報通信(DAB)および情報の送信を行
うための他の技法に関し、更に特定すれば、DABおよ
び他の用途のための共同多数プログラム符号化およびビ
ットストリーム・フォーマット化に関する。
【0002】 本出願は、「Multiple Pro
gram Decoding for Digital A
udio Broadcasting and Othe
r Applications(デジタル・オーディオ
同報通信および他の用途のための多数プログラム復
号)」と題する米国特許出願第09/238,137
号、および「Joint Multiple Progr
am Error Concealment for Di
gital Audio Broadcasting a
nd Other Applications(デジタル
・オーディオ同報通信および他の用途のための共同多数
プログラム・エラー隠蔽)」と題する米国特許出願第0
9/238,138号であって、双方とも発明者Dee
pen SinhaおよびCarl−Erik W. S
undbergの名前で本願と共に出願された米国特許
出願に関連する。
【0003】
【従来の技術、及び、発明が解決しようとする課題】
D.Sinha、J.D.Johnston、S.Do
rwardおよびS.R.Quackenbushの
「The Perceptual Audio Code
r(知覚オーディオ・コーダ)」、Digital A
udio、第42節、42−1ないし42−18ペー
ジ、CRC Press、1998年に論じられている
知覚オーディオ・コーダ(PAC)等の知覚オーディオ
符号化デバイスは、ノイズ割り当て方法を用いてオーデ
ィオ符号化を実行し、これによって、各オーディオ・フ
レーム毎に、心理音響学的モデルに基づいてビット要求
を計算する。なお、上述の論文は言及により本願にも含
まれるものとする。同様の圧縮技法を組み込んだPAC
および他のオーディオ符号化デバイスは、本来、パケッ
トに基づいている。すなわち、固定の時間間隔(フレー
ム)のオーディオ情報は、可変ビット長パケットによっ
て表される。各パケットは、何らかの制御情報を含み、
その後にオーディオ・フレームの量子化スペクトル/サ
ブバンドの記述が続く。ステレオ信号では、パケット
は、1つの中央チャネルおよび複数のサイド・チャネル
(例えば左チャネルおよび右チャネル)のような2つ以
上のオーディオ・チャネルのスペクトル記述を別個にま
たは区別的に含む場合がある。
【0004】上述の参考文献に記載されているPAC符
号化は、知覚によって主導される適応フィルタ・バンク
または変換符号化アルゴリズムとして見ることができ
る。これは、高度な信号処理および心理音響学的モデリ
ング技法を組み込んで、高度の信号圧縮を実現する。簡
単に述べると、PAC符号化は、信号適応切り替えフィ
ルタ・バンクを用い、これが、変形離散コサイン変換
(MDCT)とウエーブレット変換との間で切り替えを
行って、オーディオ信号のコンパクトな記述を得る。フ
ィルタ・バンクの出力は、不均一ベクトル量子化器を用
いて量子化される。量子化の目的のために、フィルタ・
バンクの出力は、いわゆる「コードバンド」にグループ
化されるので、例えば量子化器ステップ・サイズのよう
な量子化器パラメータは、各コードバンド毎に独立して
選択される。これらのステップ・サイズは、心理音響学
的モデルに従って発生する。量子化した係数を、更に、
適応ハフマン符号化技法を用いて圧縮する。PACは、
合計15の異なるコードブックを用い、各コードバンド
毎に、最良のコードブックを独立して選択することがで
きる。ステレオおよびマルチチャネル・オーディオ素材
では、和/差または他の形態のマルチチャネルの組み合
わせを符号化することができる。
【0005】 PAC符号化は、ブロック・サンプリン
グ・アルゴリズムを用いて、圧縮オーディオ情報をパケ
ット化ビットストリームにフォーマット化する。44.
1kHzのサンプリング・レートで、各パケットは、チ
ャネル数には無関係に、各チャネルからの1024の入
力サンプルに対応する。単一のパケット内に、1つの1
024サンプル・ブロックのハフマン符号化フィルタ・
バンク出力、コードブック選択、量子化器およびチャネ
ル組み合わせ情報を配置する。各1024入力オーディ
オ・サンプルブロックに対応するパケットのサイズは可
変であるが、以下で述べるように、長期間一定の平均パ
ケット長を維持することができる。
【0006】用途に応じて、様々な追加情報を、第1の
フレームまたは全てのフレームに追加することができ
る。DAB用途におけるもののような信頼性の低い伝送
チャネルでは、各フレームにヘッダを追加する。このヘ
ッダは、エラー回復のための重要なPACパケット同期
情報を含み、更に、サンプル・レート、伝送ビット・レ
ート、オーディオ符号化モード等、他の有用な情報も含
む場合がある。重要な制御情報は、2つの連続パケット
でこれを繰り返すことによって、更に保護する。
【0007】上述の説明から、PACビット要求は、主
に、心理音響学的モデルに従って決定された量子化器ス
テップ・サイズによって導出されることは明らかであ
る。しかしながら、ハフマン符号化を用いるので、前も
って、すなわち量子化およびハフマン符号化ステップの
前に、正確なビット要求を予測することは通常不可能で
あり、更に、ビット要求はフレーム毎に変動する。従っ
て、従来のPACエンコーダは、バッファリング機構お
よびレート・ループを用いて、長期のビット・レートの
制約を満足させる。バッファリング機構のバッファ・サ
イズは、許容システム遅延によって決定される。
【0008】従来の単一プログラムPACビット割り当
てにおいては、エンコーダは、特定のオーディオ・フレ
ームのためのある数のビットの割り当てを、バッファ制
御機構に要求する。バッファの状態および平均ビット・
レートに応じて、バッファ制御機構は、次いで、実際に
現フレームに割り当て可能な最大ビット数を戻す。な
お、このビット割り当ては、初期ビット割り当て要求よ
りも大幅に小さい可能性があることを注記しておく。こ
れは、知覚的に透明な符号化、すなわち最初の心理音響
学的モデルのステップ・サイズが示すような精度レベル
で現フレームを符号化することは不可能であることを示
す。ステップ・サイズの調節は、レート・ループの機能
であり、修正ステップ・サイズによるビット要求は、実
際のビット割り当てよりも低いか、実際のビット割り当
てに近い。レート・ループは、心理音響学的な原理に基
づいて動作し、過剰なノイズの知覚を最小に抑える。し
かしながら、レート制約を満足させるために、大量のア
ンダコーディング、すなわち心理音響学的モデルが示す
よりも大きいノイズ割り当てが必要な場合がある。アン
ダコーディングは、復号オーディオ出力における可聴ア
ーティファクトとなる可能性があり、低ビット・レート
およびいくつかのタイプの信号では、特に顕著である。
【0009】PAC符号化のような知覚オーディオ符号
化技法は、ハイブリッド帯域内オンチャネル(HIBO
C)、全デジタルIBOCおよび帯域内隣接チャネル
(IBAC)/帯域内予約チャネル(IBRC)DAB
システムとしても知られる帯域内デジタル・オーディオ
同報通信(DAB)システム等のFM帯域およびAM帯
域伝送用途にとって、特に魅力的である。また、知覚オ
ーディオ符号化技法は、衛星DABシステムおよびイン
ターネットDABシステムのような他の用途における使
用にも十分に適している。PACおよび他の従来のオー
ディオ符号化および復号化技法は、多くの場合、単一プ
ログラムDAB伝送用途において十分な性能を提供する
が、例えば、多数プログラムDAB、衛星DAB、イン
ターネットDAB、および他の種類の多数プログラム伝
送のような多数プログラム伝送用途のために、更なる改
良が必要とされている。
【0010】本発明は、多数DAB等の多数プログラム
伝送用途において共同符号化を実施するための方法およ
び装置を提供する。本発明の例示的な実施形態では、共
同多数プログラム・コーダは、例えばオーディオ・プロ
グラム等のN個のプログラムのセットの各々からのビッ
トストリームの部分について、指定された時間間隔にお
ける、例えば重要度フラグの値のような重要度尺度値を
判定する。共同多数プログラム・コーダは、少なくとも
部分的に、判定した重要度尺度値に基づいて、利用可能
ビットのプールをプログラムに割り当てて、指定された
時間間隔において高い値の重要度尺度を有するプログラ
ムに、低い値の重要度尺度を有するプログラムのうち別
の1つよりも、当該間隔に対する利用可能ビットのうち
大きな割合を割り当てるようにする。このため、本発明
によって、所与の時間間隔において最高の値の重要度尺
度を有するプログラムに、利用可能ビットのうち最大の
割合を割り当てることを確実にする。例えばオーディオ
・フレーム等の多数の間隔の各々について、このプロセ
スを反復し、割り当てが間隔毎に変動可能となるように
する。共同多数プログラム・コーダは、得られたビット
割り当てに従って、所与の間隔の間、プログラムの各々
の部分を符号化して、符号化ビットストリーム・セット
を発生し、次いでこのセットを、例えばCRCコード、
RSコード、BCHコード、またはその他の線形ブロッ
ク・コードのようなアウタ・コード、および、例えば畳
み込みコード、ターボ・コード、またはトレリス符号化
変調のようなインナ・コードを用いて更に符号化する。
【0011】本発明は、同時多数プログラム聴取および
/または記録、オーディオおよびデータの同時送出等、
多くの用途において実施することができる。加えて、本
発明は、例えば、データ、ビデオおよび画像情報を含む
他のタイプのデジタル情報に適用可能である。本発明の
代替的な実施形態は、他のタイプのアウタ・コード、他
のタイプのインナ・コード、例えばブロック・インタリ
ーブ、たたみこみインタリーブまたはランダム・インタ
リーブのような他のタイプのインタリーブ、および、T
DM、FDMまたはCDMフレーム・フォーマットを含
む多種多様の異なるフレーム・フォーマットのみなら
ず、これらおよび他のフォーマットの組み合わせを利用
することができる。更に、本発明は、知覚コーダのみな
らず、広範囲のビット・レートに渡って動作する他の圧
縮技法を用いた他のタイプのソース・エンコーダにも適
用することができ、更に、無線同報通信チャネル以外の
伝送チャネルと共に使用可能である。
【0012】
【発明の実施の形態】本発明を、オーディオ情報ビット
の伝送において用いる例示的な共同多数プログラム技法
に関連付けて、以下に説明する。このオーディオ情報ビ
ットは、例えば、D.Sinha、J.D.Johns
ton、S.DorwardおよびS.R.Quack
enbushの「The Perceptual Aud
ioCoder(知覚オーディオ・コーダ)」、Dig
ital Audio、第42節、42−1ないし42
−18ページ、CRC Press、1998年に記載
されている知覚オーディオ・コーダ(PAC)等のオー
ディオ・コーダが発生するオーディオ・ビットである。
しかしながら、本発明の共同多数プログラム符号化技法
は、例えばビデオまたは画像情報のような多くの他の種
類の情報、および他の種類の符号化デバイスにも適用可
能であることは理解されよう。更に、本発明は、多種多
様な異なるタイプの通信用途において利用することがで
き、その用途には、インターネットおよび他のコンピュ
ータ・ネットワーク、セルラ・マルチメディア、衛星、
無線ケーブル、無線ローカル・ループ、高速無線アクセ
スおよび他の種類の通信システム上における通信が含ま
れる。本発明は、いずれかの所望のタイプの通信チャネ
ル、または、例えば周波数チャネル、タイム・スロッ
ト、符号分割多重アクセス(CDMA)スロット、およ
び、非同期転送モード(ATM)もしくは他のパケット
を基本とする伝送システムにおける仮想接続等のチャネ
ルによって利用することができる。ここで用いる場合、
「チャネル」という語は、例えばメモリもしくは他の記
憶デバイスのような記憶チャネル、またはかかるデバイ
スの指定された部分を含むことを意図する。このため、
本発明は、例えばノイズの多い記憶チャネルを用いた多
数のプログラムの記憶のような情報記憶用途にも適用可
能である。ここで用いる場合、「プログラム」という語
は、例えば、所与のチャネルまたは他のオーディオ、ビ
デオ、データもしくは他の情報のグループ化、更にかか
るチャネルもしくはグループ化の一部もしくは組み合わ
せ等、いかなるタイプの情報信号も含むことを意図する
ものである。ここで用いる場合、「重要度尺度」という
語は、通常、符号化対象の所与の信号またはその部分に
関連するいずれかのビット要求の指標を示す。このた
め、所与の時点での重要度尺度は、対応する信号または
信号部分の符号化に関するビット要求を示す。重要度フ
ラグは、重要度尺度のある特定のタイプの一例である。
【0013】オーディオ・プログラムでは、通常、過渡
事象または立ち上がりが、符号化の厳しさおよびビット
要求に関して、最も重要な情報を表す。立ち上がりで
は、ビット要求は、特にサブバンド符号化方式におい
て、通常よりも大幅に大きい場合があり、符号化アーテ
ィファクトを極めて受けやすい。64kbpsステレオ
におけるPAC符号化の経験によって、立ち上がりの歪
みは、符号化プロセスにおいて最も可聴性の大きいアー
ティファクトを呈することが示されている。PAC符号
化では、オーディオ・フレームにおける立ち上がりの存
在は、重要度フラグを用いて示される。重要度フラグ
は、最も簡単な形態では、立ち上がりの有無を示す単一
ビット2値フラグである。また、連続または多ビット値
を用いることもあり、この場合、重要度フラグの中間値
すなわち0.0と1.0との間の値は、立ち上がり以外
のオーディオ・セグメントの相対的なリッチネスを表
す。例えば、セグメント内に過渡事象または他の更に高
い調波のコンテンツがある場合、重要度フラグの中間値
を高くすることができる。
【0014】図1は、本発明の例示的な実施形態による
共同多数プログラム・オーディオ・コーダ10を示す。
コーダ10は、N個のPACオーディオ・コーダENC
−1、ENC−2、...ENC−Nから成るPACエ
ンコーダ・バンク12、および二次元共同ビット・アロ
ケータ14を含む。入力オーディオ信号セット16は、
オーディオ1、オーディオ2、...オーディオNと示
されるオーディオ・プログラムを含み、それぞれ、PA
Cエンコーダ・バンク12のPACエンコーダENC−
1、ENC−2、...ENC−Nに供給される。ま
た、本明細書中では、N個のオーディオ・プログラムの
セットを、プログラムの「クラスタ」とも呼ぶ。N個の
オーディオ・プログラムのクラスタは、所与のシステム
において送信される合計NT個のプログラムのサブセッ
トとすることができる。すなわち、1≦N≦NTであ
る。残りのNT−N個のプログラムがある場合には、こ
れは、例えば共同オーディオ符号化処理に含まれていな
いデータ・プログラムを含む場合がある。共同ビット・
アロケータ14は、以下で更に詳しく述べる技法を用い
て、N個のオーディオ・プログラム間に、所与の時間間
隔における利用可能ビットの共通プールを割り当てる。
これによって、利用可能ビットのうち大きな割合を、ほ
ぼ瞬時に、より要求の大きいオーディオ・プログラムに
割り当てることができる。
【0015】ビット割り当て要求は、エンコーダENC
−1、ENC−2、...ENC−Nによって、共同ビ
ット・アロケータ14に送出され、共同ビット・アロケ
ータ14は、実際のビット割り当てによって応答する。
要素18は、ビット割り当て要求および実際の割り当て
を表す。典型的な実施においては、Nの値を約20ない
し25とすることができるが、他の値もむろん使用可能
である。先に注記したように、N−プログラム・クラス
タは、例えば、通信システムにおいて送信される所与の
T個のプログラムのセット、または所与のNT個のプロ
グラムのセットの指定サブセット内の全オーディオ・プ
ログラムを表すことができる。後者の場合、サブセット
内の個々のプログラムは、例えば、時間の関数として変
動する場合がある。
【0016】共同ビット・アロケータ14の基本的な動
作は次の通りである。 1.固定の時間間隔、例えばTfミリ秒毎に(Tfはフレ
ーム持続期間であり、PAC符号化では典型的に22ミ
リ秒)、PACエンコーダ・バンク12内の関与してい
る各プログラム・エンコーダENC−1、ENC−
2、...ENC−Nは、共同ビット・アロケータ14
に対して、ビット割り当て要求を行う。N個のプログラ
ムのうち所与の1つ、すなわちi番目のプログラム(i
=1、2、...N)からのビット割り当て要求は、次
の2つの構成要素から成るものとすることができる。す
なわち、(i)Tf時間間隔におけるi番目のプログラ
ムのオーディオ情報の知覚符号化に対する実際のビット
要求、および(ii)重要度尺度Cf(i)、例えば、
f時間間隔におけるi番目のプログラムのオーディオ
情報の重要度を示す単一ビットまたは多ビットの重要度
フラグ、である。先に注記したように、オーディオ・プ
ログラムの場合、重要度は、立ち上がり、過渡事象また
は高調波のようなオーディオ内の何らかの重要な特徴の
存在、または、一般的な特性もしくはオーディオの「リ
ッチネス」に対する寄与のような他の特質の存在を反映
することができる。別の例として、重要度尺度C
f(i)は、対応するプログラムの指定された特質を特
徴付ける数を与える線形重要度フラグとすることができ
る。かかる線形重要度フラグは、オーディオ・プログラ
ムの部分について、ある範囲の重要度測定値を与えるた
めに、通常、多ビットを用いる。
【0017】2.共同ビット・アロケータ14は、個々
のプログラム・エンコーダからのビット割り当て要求を
共同で処理する際に、いくつかのファクタを考慮する。
これらのファクタには、プログラム・エンコーダからの
現在および過去のビット割り当て要求、特定のプログラ
ムの平均レート、ならびに、例えばソースの符号化およ
び復号化による許容システム遅延が含まれる。アロケー
タの処理の結果、現在の時間間隔におけるN個のプログ
ラム各々に対するビット・レート割り当てが得られる。
次いで、これらの割り当てを、個々のプログラム・エン
コーダENC−1、ENC−2、...ENC−Nにフ
ィードバックする。
【0018】3.各プログラム・エンコーダは、そのレ
ート・ループ機構を動作させて、ビット・レート要求
を、実際のビット割り当てまたは実際のビット・レート
割り当て未満に維持する。ビット要求の制御が不正確で
ある(ハフマン符号化による)ために、所与のプログラ
ム・エンコーダは、いまだ、いくらかの未使用のビット
容量(ほとんど常に50ビット未満であり、典型的には
10ないし25ビット)を有する場合がある。この超過
の容量は、例えばプログラム関連データ等の補助データ
のために使用可能であり、約500ないし1500bp
sである場合がある。理論的には、将来の使用のため
に、未使用の容量を共同ビット・アロケータに戻すこと
も可能である。しかしながら、これは通常、共同符号化
を大きく改善させることなく複雑さを増すことになる。
【0019】図1に示す二次元共同符号化に対する代替
案として、上述の従来の単一プログラムPACビット割
り当てを、N個のオーディオ・プログラムに拡張可能で
あることを注記しておく。図2は、本発明による代替的
な共同多数プログラム・コーダ20を示す。コーダ20
は、上述のようなN個のオーディオ・プログラム入力セ
ット16によって駆動されるPACエンコーダ・バンク
12および、従来の単一プログラムPACビット・アロ
ケータ22を含む。ビット・アロケータ22は、一次元
すなわち時間次元のみで動作する。PACエンコーダE
NC−1、ENC−2、...ENC−NからのN個の
ビット割り当て要求セット24は、スイッチ26によっ
てサンプリングされ、単一プログラム・アロケータ22
に連続して送出される。単一プログラム・ビット・アロ
ケータ22からのビット割り当ては、スイッチ28を介
して、適切なエンコーダに連続して送出される。共同コ
ーダ20は、本質的に、N個のオーディオ・プログラム
間で、単一プログラム・ビット・アロケータ22を時間
的に多重化する。この代替的な共同多数プログラム・コ
ーダは、図1の二次元共同多数プログラム・コーダ10
と同様の性能を提供するために、相当に長いシステム遅
延、すなわち単一プログラム・エンコーダに関連するシ
ステム遅延のN倍を必要とする。従って、これは、長い
遅延に対して敏感な用途に用いるには適さない場合があ
る。
【0020】図1の例示的な実施形態において用いるの
に適した共同多数プログラム・オーディオ符号化アルゴ
リズムを、Cに似た擬似コードを用いて、以下に示す。
この例示的な共同多数プログラム・オーディオ符号化ア
ルゴリズムの目的のために、3値の重要度フラグCF
用い、Cf(i)=0は、定常の複雑度の低いオーディ
オを示し、Cf(i)=0.5は、定常の複雑度の高い
オーディオを示し、Cf(i)=1は、立ち上がりまた
は過渡セグメントを示すと仮定する。むろん、多くの他
のタイプの重要度尺度を用いることができる。この符号
化アルゴリズムは、図1の共同ビット・アロケータ14
によって実施することができる。
【0021】/* 多数プログラム・ビット割り当てのための処理アルゴリ
ズム 各クラスタは、N個のプログラム・エンコーダを含む。
i=1、...、Nについて、以下の表記を規定する。
【0022】(Bd[i],Cf[i])は、現在のビッ
ト割り当て要求であり、ここで、Bd[i]は、i番目
のプログラム・エンコーダからの現ビット要求であり、
f[i]は、i番目のエンコーダからの3値の重要度
フラグである。 Cf[i]=1 最も重要、Cf[i]=0.5 中程度
に重要、Cf[i]=0 重要でない BR[i]は、指定されたビット・レートである(i番
目のプログラムについてのTfmsec当たりのビッ
ト) Ba[i]は、エンコーダが戻す実際のビット割り当て
である。NDは、最大許容システム遅延である(Tf
secオーディオ・フレームの単位(例えば8)。 BRM=クラスタ内の最大平均ビット・レート(例えば
64kbps) CRCBLKLEN=アウタ・コードのためのブロック
長。 /*
【0023】
【外1】
【外2】
【外3】
【外4】
【外5】
【0024】図3は、図1の共同多数プログラム・オー
ディオ・コーダ10を組み込んだ送信機30を示す。多
数プログラム・コーダ10の出力は、N個の出力ビット
ストリーム・セットB1、B2、...BNである。所与
の出力ビットストリームBiは、例えばi番目のオーデ
ィオ・プログラムから発生したオーディオ・パケット・
シーケンスのような符号化オーディオ信号を表す。出力
ビットストリームBiは、バッファ32に送出され、周
期的冗長コード(CRC)・デバイス34において、各
ストリーム毎に、CRCを計算する。CRCは、送信機
30において用い得る、「アウタ・コード」の1つのタ
イプの一例である。他の可能なアウタ・コードには、例
えば、リード・ソロモン(RS)コード、Bose C
hadhuri−Hocquenghem(BCH)コ
ード、および他の線形ブロック・コードが含まれる。
【0025】送信機30において、ここでは「Fフレー
ム」と呼ぶ指定の固定長フレームに一定のオーバーヘッ
ドを加えた容量まで、バッファ32にCRCフレームを
満たす。次いで、畳み込みコーダ・バンク36を用い
て、各プログラム・ビットストリームを個別に畳み込み
符号化し、Fフレームの内部の尾部によって終端させ
る。畳み込みコーダ・バンク36は、個々の畳み込みエ
ンコーダ36Aおよび尾部発生器36Bのセットを含
む。以下に更に詳細に説明するように、この別個のチャ
ネル符号化によって、各プログラムを、単一の比較的低
速のビタビ・デコーダにより、その動作ビット・レート
の既知の上限で復号して、全てのプログラムについて瞬
時調整が可能となるようにする。代替的な実施形態で
は、N個のプログラムの全てまたはサブセットに対して
共同チャネル符号化を用いることができるが、これは、
一般に、より高速のビタビ・デコーダおよび更に複雑な
デインタリーブを必要とする。コーダ・バンク36にお
ける畳み込み符号化は、送信機30において用いる「イ
ンナ・コード」の1つのタイプの一例である。ブロック
または畳み込みコード、いわゆる「ターボ」コード、お
よびトレリス符号化変調に関連する符号化を含む、他の
タイプのインナ・コードも用いることができる。
【0026】送信機30は、更に、フレーム・フォーマ
ッタ37も含む。これは、畳み込みコーダ・バンク36
の出力から、上述のFフレームを形成する。インタリー
バ38において、1つ以上の固定長Fフレームから成る
セットに、インタリーブを実行する。図4は、時分割多
重(TDM)フォーマットで、フレーム・フォーマッタ
37によって発生可能なFフレーム40の一例を示す。
Fフレーム40は、制御情報42、N個のオーディオ・
チャネルのための符号化オーディオ・データ・ビット4
4−1、44−2、...44−N、および反復制御情
報42Rを含む。この例では、符号化オーディオ・ビッ
ト44−i(i=1、2、...N)のセットの各々
は、整数個のCRCフレーム47および終端尾部48を
含む。フレーム・フォーマット化プロセスの一部とし
て、多数プログラム制御情報を、例えば反復制御情報4
2Rとして反復し、更に、それ自身の終端畳み込み内部
コードおよびそれ自身のCRCアウタ・コードによって
エラー保護を行って、非制御情報よりも高度のエラー保
護を制御情報に与えるようにすることができる。あるい
は、制御情報は、非制御情報と同じアウタ/またはイン
ナ・コードを用いても良い。
【0027】Fフレーム40内の制御情報は、例えば、
各プログラム毎のCRCフレーム数の指示、フレーム同
期ワード等のフレーム同期情報、インタリーバ同期情
報、例えば有料無線サービスのための加入者識別/制御
情報、レート、種別(オーディオ/データ/音声)等の
プログラム・コンテンツ情報、ならびに、オーディオ符
号化のタイプ、外側および内側チャネル符号化のタイ
プ、所与のプログラム・セットの全てまたはサブセット
に対する共同多数プログラム・オーディオ符号化の使
用、多重記述符号化、および不等エラー保護(UEP)
等の伝送パラメータを含むことができる。この制御情報
の部分は、システム構成の更新およびプログラム・チャ
ネルの入れ替えによって極めてゆっくりと変化するよう
にし、完全な情報セットが1つのフレーム・ヘッダ内に
含まれる必要がなく、代わりに多数のFフレームに広が
ることができるようにする。
【0028】図3の送信機30は、一般に、例示の簡略
化のために図3には示さないが、変調器、マルチプレク
サ、アップコンバータ等の追加の処理要素を含む。加え
て、送信機は、図示したもの以外の要素を用いて実施す
ることも可能である。更に、共同多数プログラム・オー
ディオ・コーダ10等の送信機30の要素は、特定用途
向け集積回路、マルチプロセッサ、または他のタイプの
デジタル・データ・プロセッサ、ならびにこれらおよび
既知のデバイスの一部または組み合わせを用いて、少な
くとも部分的に実施することができる。また、送信機3
0の要素は、コンピュータまたは他のデジタル・データ
・プロセッサにおいて、中央処理装置(CPU)等が実
行する1つ以上のソフトウエア・プログラムの形態で実
施することも可能である。
【0029】一般に、上述の共同多数プログラム・オー
ディオ符号化には、比較的小さいオーバーヘッドが関連
していることを注記しておく。各Fフレームが含むの
は、多くとも、最大インタリーバ間隔でインタリーブさ
れるN個のオーディオ・プログラムから成る1つのセッ
トにおける全ビットである。各オーディオ・プログラム
は、例えば、割り当てられたビット・レートの4倍、例
えば64kbpsの4倍のピーク平均ビット・レートを
可能とする場合がある。先に述べたように、所与のFフ
レーム内の制御情報42、42Rは、当該Fフレーム内
の各オーディオ・プログラム毎のCRCフレーム数を含
む。これは一般に、プログラム当たり多くとも16ビッ
トを必要とし、これは、N=20のプログラム、Fフレ
ームの持続時間を4秒、割り当てビット・レートを64
kbpsと仮定すると、この例では0.025%のオー
バーヘッドということになる。この例では、各プログラ
ム毎の畳み込みコードは、各Fフレーム内部で送信さ
れ、尾部ビットのオーバーヘッドは、わずか約0.00
3%である。UEPを備える場合、制御ビットは2倍に
なるが、尾部ビットに対する追加は、例えば、rate
compatiblepunctured convo
lutional(RCPC)コードを用いることによ
って回避することができる。また、オーバーヘッドは、
より小さいFフレームでは最小にすることができる。例
えば、上述のFフレームの1/4サイズのFフレームが
有する制御/尾部のオーバーヘッドは、一般に、多くと
も、先に与えた値の4倍である。
【0030】本発明は、「Unequal Error
Protection For Perceptual
Audio Coders(知覚オーディオ・コーダの
ための不等エラー保護)」と題し、発明者Deepen
SinhaおよびCarl−Erik W. Sund
bergの名前で1998年2月11日に出願された米
国特許出願連続番号第09/022,114号、ならび
に、「UnequalError Protectio
n For Digital Broadcasting
Using Channel Classificati
on(チャネル分類を用いたデジタル同報通信のための
不等エラー保護)」と題し、発明者Deepen Si
nhaおよびCarl−Erik W. Sundber
gの名前で1998年9月30日に出願された米国特許
出願連続番号第09/163,656号に記載されてい
るもののようなUEP技法と共に利用することができ
る。
【0031】本発明の代替的な実施形態は、例えばR
S、BCHまたは他の線形ブロック・コードのような他
のタイプのアウタ・コード、および、例えば様々な種類
の畳み込みコード、ターボ・コード、またはトレリス符
号化変調に関連する符号化のような他のタイプのインナ
・コード、および、例えばブロック・インタリーブ、畳
み込みインタリーブ、またはランダム・インタリーブ等
の多種多様なインタリーブを利用可能である。また、代
替的な実施形態は、インナ・コードのみを利用しアウタ
・コードを利用しないか、またはその逆とすることも可
能である。RS、BCHまたは他の同様のタイプのエラ
ー訂正アウタ・コードを用いる実施形態は、むろん、エ
ラー訂正のみならず、エラー・フラグ発生のためのコー
ドを用いることができる。
【0032】また、図4に示すTDMフレーム・フォー
マットは例示に過ぎず、いずれかの特定のタイプのTD
Mフレーム・フォーマット、または一般的なTDMフレ
ーム・フォーマットと共に用いることに本発明を限定す
ると解釈すべきではないことを注記しておく。本発明
は、周波数分割多重(FDM)および符号分割多重(C
DM)フォーマット、ならびに、TDM、FDM、CD
Mおよび他のタイプのフレーム・フォーマットの組み合
わせを含む、多種多様な他のフレーム・フォーマットの
復号にも適用可能である。更に、ここでは詳細に記載し
ていないが、本発明と共に、多数の異なるタイプの変調
技法を使用可能であり、そういった技法には、例えば全
チャネルにおける単一キャリア変調や、全チャネルにお
ける直交周波数分割多重化(OFDM)のようなマルチ
キャリア変調が含まれる。所与のキャリアを変調するに
は、例えばm−QAM、m−PSKまたはトレリス符号
化変調等の技法を含むいずれかの所望のタイプの変調技
法を用いることができる。
【0033】先に注記したように、本発明は、データ、
ビデオ、画像および他のタイプの情報等、オーディオ以
外のデジタル情報の伝送に適用可能である。例示的な実
施形態は、PACエンコーダが発生するもののようなオ
ーディオ・パケットを用いたが、本発明は、いかなるタ
イプの圧縮技法が発生したいかなる形態のデジタル情報
にも広く適用可能である。本発明は、同時多数プログラ
ム聴取および/または記録、オーディオおよびデータの
同時送出等、多数の用途において実施することができ
る。請求の範囲の範囲内にあるこれらおよび多数の他の
代替的な実施形態および実施は、当業者には明らかであ
ろう。
【図面の簡単な説明】
【図1】本発明による共同多数プログラム・オーディオ
・コーダの例示的な実施形態を示す。
【図2】本発明による共同多数プログラム・オーディオ
・コーダの代替的な実施形態を示す。
【図3】本発明の例示的な実施形態による共同多数プロ
グラム・オーディオ符号化を提供する送信機の一部を示
す。
【図4】図3の送信機において用いる例示的なフレーム
・フォーマットを示す。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 カール−エリック ウィルヘルム サン ドバーグ アメリカ合衆国 07928 ニュージャー シィ,カザム,ヒッコリー プレイス エー−11 25 (56)参考文献 特開 平4−360331(JP,A) 特開 平5−227039(JP,A) (58)調査した分野(Int.Cl.7,DB名) H03M 7/30 G10L 19/00

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項1】 通信システムにおいて送信する複数のプ
    ログラムを処理する方法であって、 前記プログラムの少なくとも1つのサブセットの各々に
    ついて重要度尺度値を決定するステップと、 少なくとも部分的に前記重要度尺度値に基づいて、前記
    プログラムに利用可能ビットを割り当てて、指定された
    時間期間において特定の値を有する重要度尺度を有する
    プログラムに、当該期間の間、異なる値の重要度尺度を
    有する前記プログラムのうち別の1つとは異なる前記利
    用可能ビットの割合を割り当てるようにするステップと
    を含み、 前記複数のプログラムは、共通の信号源から引き出され
    ない別個独立の情報信号を含んでおり、 このため、前記プログラムのうちの所与の1つは、前記
    別の1つ、もしくはそれより多くの他のプログラムと関
    連する情報とは無関係な関連情報信号を含んでいる、こ
    とを特徴とする方法。
  2. 【請求項2】 請求項1に記載の方法において、さら
    に、複数のエンコーダの各々についてビット割り当て要
    求を処理するステップを含み、前記エンコーダの各々が
    前記プログラムのうち対応する1つを符号化し、さら
    に、前記複数のエンコーダの各々に対して実際のビット
    割り当てを発生させるステップを含む方法。
  3. 【請求項3】 請求項2に記載の方法において、前記プ
    ログラムのうちの所与の1つからの前記ビット割り当て
    要求が、(i)指定された時間期間における前記所与の
    プログラムのオーディオ情報の知覚符号化に対する実際
    のビット要求、および、(ii)前記指定された時間期
    間について決定された前記重要度尺度値を含む方法。
  4. 【請求項4】 請求項1に記載の方法において、前記決
    定するステップが、前記プログラムの各々について重要
    度フラグの値を判定するステップを含む方法。
  5. 【請求項5】 請求項5に記載の方法において、前記重
    要度フラグの少なくとも1つが単一ビット重要度フラグ
    であり、その値が、対応するプログラムにおける立ち上
    がりおよび過渡事象のうち少なくとも一方の有無を示す
    ものである方法。
  6. 【請求項6】 請求項4に記載の方法において、前記重
    要度フラグの少なくとも1つが、対応するプログラムの
    指定された品質を特徴づける値を有する線形重要度フラ
    グである方法。
  7. 【請求項7】 請求項6の方法において、前記線形重要
    度フラグが、定常の複雑度の低いオーディオを示す第1
    の値、定常の複雑度の高いオーディオを示す第2の値、
    および立ち上がりまたは過渡事象のうち少なくとも一方
    の存在を示す第3の値を含む少なくとも3つの可能な値
    のうち1つとなることが可能である方法。
  8. 【請求項8】 通信システムにおいて送信する複数のプ
    ログラムの処理に用いる装置であって、 前記プログラムの少なくとも1つのサブセットの各々に
    ついて重要度尺度値を決定するとともに、少なくとも部
    分的に前記重要度尺度値に基づいて、前記プログラムに
    利用可能ビットを割り当てて、指定された時間期間にお
    いて特定の値を有する重要度尺度を有するプログラム
    に、当該期間の間、異なる値の重要度尺度を有する前記
    プログラムのうち別の1つとは異なる前記利用可能ビッ
    トの割合を割り当てるように動作する共同多数プログラ
    ム・コーダを含み、 前記複数のプログラムは、共通の信号源から引き出され
    ない別個独立の情報信号を含んでおり、 このため、前記プログラムのうちの所与の1つは、前記
    別の1つ、もしくはそれより多くの他のプログラムと関
    連する情報とは無関係な関連情報信号を含んでいる、こ
    とを特徴とする装置。
  9. 【請求項9】 通信システムにおいて送信する複数のプ
    ログラムを処理する方法であって、 少なくとも部分的に対応する重要度尺度に基づいて、前
    記プログラムに利用可能ビットを割り当てて、所与の時
    間期間において特定の重要度尺度を有するプログラム
    に、当該期間の間、異なる重要度尺度を有する前記プロ
    グラムのうち別の1つよりも大きい割合の前記利用可能
    ビットを割り当てるようにするステップを含み、 前記複数のプログラムは、共通の信号源から引き出され
    ない別個独立の情報信号を含んでおり、 このため、前記プログラムのうちの所与の1つは、前記
    別の1つ、もしくはそれより多くの他のプログラムと関
    連する情報とは無関係な関連情報信号を含んでいる、こ
    とを特徴とする方法。
  10. 【請求項10】 通信システムにおいて送信する複数の
    プログラムの処理に用いる装置であって、 少なくとも部分的に対応する重要度尺度に基づいて、前
    記プログラムに利用可能ビットを割り当てるように動作
    し、所与の時間期間において特定の重要度尺度を有する
    プログラムに、当該期間の間、異なる重要度尺度を有す
    る前記プログラムのうち別の1つよりも大きい割合の前
    記利用可能ビットを割り当てるようにする共同多数プロ
    グラム・コーダを含み、 前記複数のプログラムは、共通の信号源から引き出され
    ない別個独立の情報信号を含んでおり、 このため、前記プログラムのうちの所与の1つは、前記
    別の1つ、もしくはそれより多くの他のプログラムと関
    連する情報とは無関係な関連情報信号を含んでいる、こ
    とを特徴とするを備えることを特徴とする装置。
JP2000018338A 1999-01-27 2000-01-27 デジタル・オーディオ同報通信および他の用途のための共同多数プログラム符号化 Expired - Lifetime JP3499794B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/238136 1999-01-27
US09/238,136 US6931372B1 (en) 1999-01-27 1999-01-27 Joint multiple program coding for digital audio broadcasting and other applications

Publications (2)

Publication Number Publication Date
JP2000236263A JP2000236263A (ja) 2000-08-29
JP3499794B2 true JP3499794B2 (ja) 2004-02-23

Family

ID=22896657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000018338A Expired - Lifetime JP3499794B2 (ja) 1999-01-27 2000-01-27 デジタル・オーディオ同報通信および他の用途のための共同多数プログラム符号化

Country Status (6)

Country Link
US (1) US6931372B1 (ja)
EP (1) EP1024615A3 (ja)
JP (1) JP3499794B2 (ja)
KR (1) KR100783298B1 (ja)
CA (1) CA2295283C (ja)
TW (1) TW484264B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3922979B2 (ja) * 2002-07-10 2007-05-30 松下電器産業株式会社 伝送路符号化方法、復号化方法、及び装置
US7613985B2 (en) * 2003-10-24 2009-11-03 Ikanos Communications, Inc. Hierarchical trellis coded modulation
KR100589680B1 (ko) * 2004-07-26 2006-06-19 한국전자통신연구원 이동통신 시스템의 신호 전송 방법 및 그 장치와, 수신방법 및 그 장치
JP4828906B2 (ja) * 2004-10-06 2011-11-30 三星電子株式会社 デジタルオーディオ放送でのビデオサービスの提供及び受信方法、並びにその装置
US8194750B2 (en) * 2006-10-16 2012-06-05 Samsung Electronics Co., Ltd. System and method for digital communication having a circulant bit interleaver for equal error protection (EEP) and unequal error protection (UEP)
DE112011101644B4 (de) * 2010-05-13 2024-07-25 Samsung Electronics Co., Ltd. Digitalrundfunksender, Digitalrundfunkempfänger und Verfahren zum Bilden und Verarbeiten von Streams hierfür
TWI505262B (zh) 2012-05-15 2015-10-21 Dolby Int Ab 具多重子流之多通道音頻信號的有效編碼與解碼

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9100173A (nl) 1991-02-01 1992-09-01 Philips Nv Subbandkodeerinrichting, en een zender voorzien van de kodeerinrichting.
KR100263599B1 (ko) 1991-09-02 2000-08-01 요트.게.아. 롤페즈 인코딩 시스템
US5463641A (en) 1993-07-16 1995-10-31 At&T Ipm Corp. Tailored error protection
US5488665A (en) * 1993-11-23 1996-01-30 At&T Corp. Multi-channel perceptual audio compression system with encoding mode switching among matrixed channels
KR960003628B1 (ko) * 1993-12-06 1996-03-20 Lg전자주식회사 디지탈신호의 부호화/복호화 방법 및 장치
GB9517130D0 (en) * 1995-08-22 1995-10-25 Nat Transcommunications Ltd Statistical multiplexing
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
EP0784409A3 (en) * 1996-01-11 2001-11-14 Sony Corporation Video coding and multiplexing
DE19730130C2 (de) * 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
US6128593A (en) * 1998-08-04 2000-10-03 Sony Corporation System and method for implementing a refined psycho-acoustic modeler

Also Published As

Publication number Publication date
CA2295283C (en) 2004-08-17
JP2000236263A (ja) 2000-08-29
US6931372B1 (en) 2005-08-16
KR100783298B1 (ko) 2007-12-10
TW484264B (en) 2002-04-21
EP1024615A2 (en) 2000-08-02
EP1024615A3 (en) 2006-05-17
CA2295283A1 (en) 2000-07-27
KR20000057816A (ko) 2000-09-25

Similar Documents

Publication Publication Date Title
JP3499793B2 (ja) デジタル・オーディオ同報通信および他の用途のための多数プログラム復号
US6357029B1 (en) Joint multiple program error concealment for digital audio broadcasting and other applications
JP3504895B2 (ja) チャネル分類を使用するディジタル放送のための等しくない誤差保護
KR100738821B1 (ko) 정보 비트 처리 방법 및 장치
US6405338B1 (en) Unequal error protection for perceptual audio coders
EP1041756B1 (en) Multistream-in-band-on-channel transmission system
JP3852680B2 (ja) 部分帯域干渉チャネルに対する隠れパンクチャリングに基づくチャネルコーディング
JP4287545B2 (ja) サブバンド符号化方式
JP3499794B2 (ja) デジタル・オーディオ同報通信および他の用途のための共同多数プログラム符号化
US6662339B1 (en) Error screening based on code and control information consistency in a communication system
US6587826B1 (en) Channel code configurations for digital audio broadcasting systems and other types of communication systems
Naik et al. Joint encoding and decoding methods for digital audio broadcasting of multiple programs
Sinha et al. Methods for efficient multiple program digital audio broadcasting

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3499794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071205

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081205

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081205

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091205

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091205

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101205

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111205

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 9

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121205

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131205

Year of fee payment: 10

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term