JP3983668B2 - 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法 - Google Patents

高周波数の再構成方法を使用するコーディング・システムの性能拡大方法 Download PDF

Info

Publication number
JP3983668B2
JP3983668B2 JP2002543428A JP2002543428A JP3983668B2 JP 3983668 B2 JP3983668 B2 JP 3983668B2 JP 2002543428 A JP2002543428 A JP 2002543428A JP 2002543428 A JP2002543428 A JP 2002543428A JP 3983668 B2 JP3983668 B2 JP 3983668B2
Authority
JP
Japan
Prior art keywords
frequency
crossover frequency
encoding
crossover
core encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002543428A
Other languages
English (en)
Other versions
JP2004514180A (ja
Inventor
フレドリック・ヘン
アンドレアス・エーレット
ミハエル・シューグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of JP2004514180A publication Critical patent/JP2004514180A/ja
Application granted granted Critical
Publication of JP3983668B2 publication Critical patent/JP3983668B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Optical Communication System (AREA)
  • Transmitters (AREA)
  • Surface Acoustic Wave Elements And Circuit Networks Thereof (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

【0001】
技術分野
本発明は、高周波数再構成(HFR)方法を使用するデジタル音声のコーディング・システムに関する。本システムは、より整合的なコア・コーデック性能を可能にすることから、コア・コーデックとHFRとを組み合わせたシステムによる向上した音声品質が確立される。
【0002】
発明の背景
音声ソースのコーディング技術は、自然音声コーディングと発語コーディングの2つのクラスに分類することができる。自然音声コーディングは一般に、音楽又は中程度のビットレートでの任意の信号用に使用される。発話コーデックは、基本的には発話の再生に限定されるが、一方で超低ビットレートでの使用が可能である。両クラス共に、信号は概して、スペクトル包絡線及び対応する残留信号の2つの主な信号成分に分離される。このような分割を利用するコーデックは、スペクトル包絡線のコーディングの方が残留信号に比べて格段に効率的であるという事実を活用している。高周波数再構成を使用するシステムでは、ハイバンドに対応する残留信号は全く送信されない。代わりに、コア・コーデックによってカバーされたローバンドからデコーダ側でハイバンドが生成され、所望のハイバンド・スペクトル包絡線を取得するように成形される。ダブルエンドHFRシステムでは、より上の周波数領域に対応する包絡線データが送信されるが、シングルエンドHFRシステムでは、ローバンドからハイバンド包絡線が導出される。何れのケースにおいても、先行技術による音声コーデックは、コア・コーデック周波数領域とHFR周波数領域との間に時間に独立なクロスオーバ周波数を印加する。したがって、所与のビットレートでは、クロスオーバ周波数は、典型的なプログラム材料に関してコア・コーデック導入型のアーティファクトとHFRシステム導入型のアーティファクトとの間で良好なトレードオフが確立されるように選択される。こうした静的なセッティングは、特殊な信号に関しては最適とはほど遠いことが明白である。即ち、コア・コーデックは、過大応力に曝されて必要以上に高めのローバンド・アーティファクトがもたらされ、HFR方法に固有であるこの点がハイバンド品質をも低下させるか、又は、その全ポテンシャルまでは使用されない、即ち必要なHFR周波数範囲より大きいポテンシャルが使用されるか、の何れかである。したがって、先行技術システムの場合は、合同コーディング・システムの最大のパフォーマンスは偶発的にしか到達されない。さらに、クロスオーバを、音調領域及び雑音状領域の本質的に異なるスペクトル特性を有する領域間の遷移領域に並べる可能性は活用されていない。
【0003】
発明の要約
本発明は、高周波数再構成(HFR)方法が使用される、コーディング・システムを改善するための新規方法及び装置を提供する。本発明は、ローバンド・コーデック及びHFRシステムによってそれぞれ導入されるアーティファクト間の最適なトレードオフを生じさせるクロスオーバ周波数の継続的な推定及び印加によって、従来のコーディング・スキーム(MPEG層3又はAAC等)が使用されるローバンドと、HFRコーディング・スキームが使用されるハイバンドとの間の固定クロスオーバ周波数の従来の利用とは異なったものとなっている。本発明によれば、クロスオーバ周波数の選択は、信号をコア・コーデックで符号化する困難さの程度の測度、短期ビット・デマンドの検出及びスペクトル調性の解析又はこれらの任意の組合せを基礎とすることが可能である。困難さの測度は、知覚エントロピー又は心理音響学に関連するコア・コーデック歪みから導出することができる。最適な選択は経時的に頻繁に変化することから、可変クロスオーバ周波数の印加は実質的に向上した音声品質、また同時にプログラム材料の特質に依存しない音声品質をもたらす。本発明は、シングルエンド及びダブルエンドの両HFRシステムに適用可能である。
【0004】
次に、添付の図面を参照して、本発明を本発明の範囲又は精神を限定しない例示的な例によって説明していく。
【0005】
好適な実施形態の説明
以下で説明する実施形態は、本発明の原理を単に例示するものである。本明細書に記述されている装置及び詳細の修正及び変形がこの技術に精通した他の者にとって明白となることは理解される。したがって本発明は、本明細書における実施形態を記述しかつ説明するものとして提示された特定の詳細内容ではなく、添付の特許請求の範囲によってのみ限定されるべきものである。
【0006】
図1において101で指示されるローバンド又は低周波数領域がコア・コーデックによって符号化され、かつハイバンド又は高周波数領域102が適切なHFR方法によって対処されるシステムでは、これらの2つの領域の間の境界をクロスオーバ周波数103と定義することができる。符号化のスキームは、ブロック状フレーム単位方式で作用するため、処理されるフレーム毎にクロスオーバ周波数を変更することができる。本発明によれば、組み合わされたコーディング・システムにとって最適な品質が達成されるようにクロスオーバ周波数を適合させる検出アルゴリズムを設定することが可能である。このアルゴリズムの実装を、以後クロスオーバ周波数制御モジュールと称する。
【0007】
コア・コーデックの音声品質はまた、再構成されたハイバンドの品質にとっての基礎でもあることを考慮すると、ローバンド領域における優れた、かつ一定した音声品質が望まれることは明白である。クロスオーバ周波数を下げれば、コア・コーデックが対応しなければならない周波数領域が小さくなり、よって符号化も容易になる。したがって、フレームの符号化の困難さの程度を測定してクロスオーバ周波数を適宜調整すれば、コア・エンコーダのより一定した音声品質を達成することができる。
【0008】
困難さの程度を測定する方法の一例としては、知覚エントロピー[ISO/IEC 13818-7、付属書類B.2.1]を使用することができる。そこでは、スペクトル解析を基礎とする心理音響学モデルが適用される。一般に、解析フィルタ・バンクのスペクトル線は複数のバンドに分類される。但し、1つのバンド内の線の数はバンドの中心周波数に依存し、かつ全バンドに関する知覚的に一定の周波数分解能を目標として周知のバーク・スケールにより選定される。スペクトル又は時間マスキング等の効果を活用する心理音響学モデルの使用により、あらゆるバンドの可聴性のしきい値が取得される。したがって、バンド内の知覚エントロピーは、
【数1】
Figure 0003983668
によって与えられる。但し、
【数2】
Figure 0003983668
であり、かつ、
i=あるバンド内のスペクトル線指数、
s(i)=線iのスペクトル値、
L(b)=あるバンド内の線の数、
t(b)=あるバンドの心理音響学的しきい値、
b=バンド指数、
l=あるバンド内の線の数で、r(i)>1.0となるもの、
であり、総和にはr(i)>1.0であるような項のみが使用される。
【0009】
ローバンド周波数領域においてコード化されなければならない全バンドの知覚エントロピーを総和することにより、あるフレームに関する符号化の困難さの測度が取得される。
【0010】
類似のアプローチには、
【数3】
Figure 0003983668
に従ってあらゆるバンドの歪みエネルギーを総和することにより、コア・コーデックの符号化プロセスの終わりにおける歪みエネルギーを計算するというものがある。但し、
q(b)/t(b)>1.0については、n(b)=nq(b)−t(b)、
それ以外は、n(b)=0
であり、かつ、
q(b)=量子化雑音エネルギー、
t(b)=心理音響学的しきい値、
b=バンド指数、
B=バンド数
である。
【0011】
さらに、歪みエネルギーは、その心理音響学的関連における実際の歪みの重さを測るために、音の大きさの曲線によって重さを計量することができる。一例として、式2の加算は、
【数4】
Figure 0003983668
のように変更することができる。但し、Zwickerによるラウドネス関数の単純化が使用されている[Eberhard Zwicker、Hugo Fastl共著「心理音響学」Springer-Verlag、ベルリン、1990年]。
【0012】
次には、符号化の困難さ又はワークロードの測度を合計歪みの関数として定義することができる。図2は、知覚音声コーデックの歪みエネルギー及び対応するワークロードの測度の例を示している。但し、ワークロードの計算には非線形帰納が使用されている。ワークロードは経時的な高偏差を示し、かつ入力される材料特性に依存する点が観察される。
【0013】
高い知覚エントロピー又は高い歪みエネルギーは、限定されたビットレートでは信号が心理音響学的にコード化されにくいこと、及びローバンドでは可聴アーティファクトが出現する可能性があることを表している。こうした場合には、知覚音声エンコーダを所与の信号に対応し易くさせるために、クロスオーバ周波数制御モジュールはより低いクロスオーバ周波数を使用するように信号を送る。言い換えると、低い知覚エントロピー又は低い歪みエネルギーは、コード化容易の信号を表す。したがって、ローバンド用により広い周波数領域を可能にして、従来のどのHFR方法も能力が限定されているためにハイバンドで導入されることが予想されるアーティファクトを低減するためには、クロスオーバ周波数はより高く選定される。解析段階でクロスオーバ周波数の調整が指定されているならば、これらのアプローチはまた共に、あるフレームを符号化し直すことにより、合成による解析法の利用を可能にする。しかしながら、大部分の最新の音声コーデックでは重複する送信が使用されるため、感度抑圧効果を引き起こす可能性のあるクロスオーバ周波数の頻繁すぎる切換を回避するために、経時的な解析入力パラメータの平滑化を適用することによって、本システムの性能は向上される可能性がある。プロセス遅延に関連して実際の実装を最適化する必要がなければ、より大きいルックアヘッドを適宜使用して検出アルゴリズムをさらに改善することが可能であり、最小の切換アーティファクトでシフトを実行できるポイントを適宜発見する可能性がもたらされる。リアルタイムのアプリケーションはこれの特殊ケースを表すものではないが、所望されれば符号化されるファイル全体の解析を行うこともできる。
【0014】
一定のビットレート(CBR)の音声コーデックの場合には、短期ビット−デマンド差異解析をクロスオーバ決定における追加的な入力パラメータとして使用することができる。すなわち、MPEC層3又はMPEG−2 AAC等の最新式音声エンコーダは、フレーム当たりの利用可能平均ビット数からの短期ピーク・ビット−デマンド偏差を補償するために、ビット・リザーバ技術を使用する。このようなビット・リザーバの充填度は、コア・エンコーダがやがて来る符号化困難フレームに十分に対応する能力があるかどうかを表す。図3は、フレーム当たりの使用ビット数及び経時的なビット・リザーバの充填度の実際例を示したものである。したがって、ビット・リザーバの充填度が高ければ、コア・エンコーダは困難なフレームに対処することが可能であり、より低いクロスオーバ周波数を選定する必要はない。言い換えると、ビット・リザーバの充填度が低ければ、コア・エンコーダのビット・デマンドを下げるために、符号化されなければならない周波数領域が狭まるためにビット・リザーバが満杯にされうるように、クロスオーバ周波数を下げることにより、音声品質は次のフレームにおいて実質的に向上され得る結果となる。この場合もやはり、ビット・リザーバの充填度の動作をかなり前に予測可能であることから、大きなルックアヘッドにより本検出方法を改善することができる。
【0015】
あるフレームの符号化の困難さの他に、クロスオーバ周波数の選定の基礎とされる重要なパラメータは、発話や楽器の幾つかのような多くの音声信号は、スペクトル領域がピッチのある領域又は音調領域と雑音状領域とに分割され得るという特性を示すことにある。図4は、この特性が明白に表れた音声入力信号のスペクトルを示している。スペクトル・ドメインにおいて調性及び/又は雑音解析法を使用すれば、各々音調領域及び雑音状領域として分類されることが可能な2つの領域を検出することができる。調性は、例えばAAC規格に規定されているように計算することが可能である[ISO/IEC 13818-7:1997年(E)、96-98ページ、§B.2.1.4「しきい値計算のステップ」]。その他、スペクトルの平坦さの測度のような周知の調性又は雑音検出アルゴリズムもまた、目的に沿うものである。このように、これらの領域間のクロスオーバ周波数は、音調及び雑音状のスペクトル領域をより適正に分離しかつこれらを各々HFR方法のコア・エンコーダに供給するために、本発明におけるクロスオーバ周波数として使用される。したがって、こうしたケースでは、組み合わされたコーデック・システムの全体的な音声品質を実質的に向上させることができる。
【0016】
上述の方法は、明らかにダブルエンド及びシングルエンドのHFRシステムに同様に適用可能である。後者の場合は、可変バンド幅のローバンドのみがコア・コーデックで符号化されて送信される。次にHFRデコーダは、包絡線をローバンドのカットオフ周波数から上へと外挿する。さらに本発明は、ローバンドのコード化に使用されるものとは異なる任意方法によってハイバンドが生成されるシステムにも適用可能である。
【0017】
周波数変換のような従来の変換方法を適用する場合、HFR開始周波数をローバンド信号の変動するバンド幅に適合させることは極めて長い単調な作業となる。これらの方法は、概してローバンド信号を濾波して低域通過信号又は帯域通過信号を抽出することを含み、この信号は時間ドメインにおいて実質的に変調され、周波数シフトが起こる。したがって適合化は、低域通過又は帯域通過フィルタの交換と変調周波数の変更とを統合させる。さらに、フィルタの交換は出力信号の不連続性を引き起こし、これによりウィンドウ技術の利用が促される。しかしながら、フィルタバンクを基礎とするシステムでは、濾波は、連続するフィルタバンド・セットからのサブバンド信号の抽出によって自動的に達成される。次いで、フィルタバンク内の抽出されたサブバンド信号のリパッチによって、時間ドメイン変調の等価が取得される。リパッチは変動するクロスオーバ周波数に簡単に適合化され、かつ前述のウィンドウ機能はサブバンド・ドメインに固有のものであるため、変換パラメータの変更は少しの複雑さの追加によって達成される。
【0018】
図5は、本発明によって拡張されたHFRを基礎とするコーデックのエンコーダ側の一例を示している。アナログ入力信号はA/D変換器501へ供給され、デジタル信号が形成される。デジタル音声信号はコア・エンコーダ502へ供給され、ここでソースのコード化が実行される。さらに本デジタル信号は、HFR包絡線エンコーダ503へも供給される。HFR包絡線エンコーダの出力は、図1に示されたクロスオーバ周波数103で始まるハイバンド102をカバーする包絡線データを表す。包絡線エンコーダにおいて包絡線データに必要なビット数はコア・エンコーダに送られ、所与のフレームの利用可能な合計ビット数から減算される。次にコア・エンコーダは、残りのローバンド周波数帯域をクロスオーバ周波数まで符号化する。クロスオーバ周波数制御モジュール504は、本発明の教示に従ってエンコーダに追加される。本クロスオーバ周波数制御モジュールには、入力信号の時間及び/又は周波数ドメインの表示並びにコア・コーデックのステータス信号が供給される。モジュール504の出力は、符号化される周波数領域を指定するように、クロスオーバ周波数の最適選定の形式でコア・エンコーダ及び包絡線エンコーダに供給される。また、2つのコード化スキームの各々の周波数領域は、例えば効率的なテーブルルックアップ・スキームによっても符号化される。連続する2つのフレーム間の周波数領域が変わらなければ、ビットレートのオーバーヘッドを可能な限り小さく保つために、周波数領域は単一のビットによって指定することが可能であり、したがって周波数領域は、あらゆるフレームで明示的に送信される必要はない。両エンコーダで符号化されたデータは次にマルチプレクサへ供給され、連続するビット・ストリームが形成されて送信又は記憶される。
【0019】
図6は、クロスオーバ周波数制御モジュール504及び601の各々におけるサブシステムの例を示している。エンコーダのワークロード測度解析モジュール602は、例えば上述の知覚エントロピー又は歪みエネルギー法を使用して、あるフレームをコア・エンコーダ用にコード化する困難さの度合いを探る。コア・コーデックがビット・リザーバを使用するのであれば、バッファ充填度解析モジュール603を包含することができる。調性解析モジュール604は、適用可能であれば音調/雑音遷移周波数に対応するターゲット・クロスオーバ周波数を指定する。合同決定モジュール606へ入力される全パラメータは、最大の全体的パフォーマンスを取得するために、使用するクロスオーバ周波数を計算する際に使用されたコア・コーデック及びHFRコーデックの実際の実装によって組み合わされ、かつ平衡化される。
【0020】
図7には、対応するデコーダ側が示されている。デマルチプレクサ701は、ビット・ストリーム信号を、コア・デコーダ702へ供給されるコア・コーデック・データと、HFR包絡線デコーダ703へ供給される包絡線データとに分離する。コア・デコーダは、ローバンド周波数領域をカバーする信号を生成する。同様にHFR包絡線デコーダは、データを復号してハイバンド周波数領域用のスペクトル包絡線を表示させる。復号された包絡線データは、次に利得制御モジュール704へ供給される。コア・デコーダからのローバンド信号はトランスポジション・モジュール705へルーティングされ、トランスポジション・モジュール705は、クロスオーバ周波数を基礎としてローバンドから複製されたハイバンド信号を生成する。ハイバンド信号は、ハイバンドのスペクトル包絡線を送信された包絡線のそれに適合化させるために、利得制御モジュールへ供給される。こうして、出力は包絡線を調整されたハイバンド音声信号となる。この信号は、遅延ユニット706からの出力に追加される。遅延ユニット706にはローバンド音声信号が供給され、同遅延ユニットはハイバンド信号のプロセス時間を補償する。最後に、取得されたデジタル・ワイドバンド信号がD/A変換器707でアナログ音声信号に変換される。
【図面の簡単な説明】
【図1】 ローバンド、ハイバンド及びクロスオーバ周波数という用語を示すグラフである。
【図2】 コア・コーデックのワークロード測度を示すグラフである。
【図3】 定ビットレート・コーデックの短期ビット・デマンドの変動を示すグラフである。
【図4】 信号のトーン及び雑音調周波数領域への分割を示すグラフである。
【図5】 クロスオーバ周波数制御モジュールによって拡張されたHFRベースのエンコーダのブロック図である。
【図6】 クロスオーバ周波数制御モジュールの詳細を示すブロック図である。
【図7】 対応するHFRベースのデコーダのブロック図である。

Claims (2)

  1. クロスオーバ周波数より上の周波数領域について高周波数再構成を実行するための高周波数再構成モジュールを有するデコーダによって使用される符号化された音声信号を取得するために音声信号を符号化する装置であって、
    クロスオーバ周波数までの音声信号のより低い周波数バンドを符号化するためのコア・エンコーダであって、前記クロスオーバ周波数が可変であり、かつブロック状フレーム単位方式で作動可能であるコア・エンコーダ(502)と、
    前記クロスオーバ周波数が一連の後続フレームに関して経時的に適合して可変であるように、前記コア・エンコーダ(502)による前記音声信号の符号化の困難さの程度に依存して、一連の後続フレームの1つのフレームに関して前記コア・エンコーダ(502)によって選択されるクロスオーバ周波数を推定するためのクロスオーバ周波数制御モジュール(504)とを備え、
    前記困難さの程度は前記音声信号の知覚エントロピーに基づいて、前記コア・エンコーダによる符号化後の歪みエネルギーに基づいて、もしくは前記コア・エンコーダに関連づけられたビット・リザーバのステータスに基づいて、又は知覚エントロピー、コア・エンコーダの歪み及びコア・エンコーダのビット・リザーバ・ステータスのうちの任意の組合せに基づいて求められるものであり、
    前記知覚エントロピーはローバンド周波数領域においてコード化されなければならない全バンドの知覚エントロピーを総和したものであり、
    前記歪みエネルギーはローバンド周波数領域においてコード化されなければならない全バンドの歪みエネルギーを総和したものであり、
    前記ビット・リザーバのステータスはビット・リザーバの充填度であり、
    前記クロスオーバ周波数制御モジュール(504)は前記困難さの程度が増すとクロスオーバ周波数を低くし、前記困難さの程度が減少するとクロスオーバ周波数を高くするように、クロスオーバ周波数を推定するように作動可能であることを特徴とする装置。
  2. クロスオーバ周波数より上の周波数領域について高周波数再構成を実行するための高周波数再構成モジュールを有するデコーダによって使用される符号化された音声信号を取得するために音声信号を符号化する方法であって、
    クロスオーバ周波数までの音声信号のより低い周波数バンドを符号化するためのコア・エンコーディングするステップであって、前記クロスオーバ周波数が可変であり、かつ該ステップはブロック状フレーム単位方式で行なわれるステップと、
    前記クロスオーバ周波数が一連の後続フレームに関して経時的に適合して可変であるように、前記コア・エンコーディングするステップでの前記音声信号の符号化の困難さの度合いに依存して、一連の後続フレームの1つのフレームに関して前記コア・エンコーディングするステップで選択されるクロスオーバ周波数を推定するためのステップとを備え、
    前記困難さの程度は前記音声信号の知覚エントロピーに基づいて、前記コア・エンコーダによる符号化後の歪みエネルギーに基づいて、もしくは前記コア・エンコーダに関連づけられたビット・リザーバのステータスに基づいて、又は知覚エントロピー、コア・エンコーダの歪み及びコア・エンコーダのビット・リザーバ・ステータスのうちの任意の組合せに基づいて求められるものであり、
    前記知覚エントロピーはローバンド周波数領域においてコード化されなければならない全バンドの知覚エントロピーを総和したものであり、
    前記歪みエネルギーはローバンド周波数領域においてコード化されなければならない全バンドの歪みエネルギーを総和したものであり、
    前記ビット・リザーバのステータスはビット・リザーバの充填度であり、
    前記困難さの程度が増すと前記クロスオーバ周波数を低くし、前記困難さの程度が減少すると前記クロスオーバ周波数を高くするように前記クロスオーバ周波数を推定することを特徴とする方法。
JP2002543428A 2000-11-15 2001-11-14 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法 Expired - Fee Related JP3983668B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
SE0004187A SE0004187D0 (sv) 2000-11-15 2000-11-15 Enhancing the performance of coding systems that use high frequency reconstruction methods
PCT/SE2001/002533 WO2002041302A1 (en) 2000-11-15 2001-11-14 Enhancing the performance of coding systems that use high frequency reconstruction methods

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007142978A Division JP4991397B2 (ja) 2000-11-15 2007-05-30 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法

Publications (2)

Publication Number Publication Date
JP2004514180A JP2004514180A (ja) 2004-05-13
JP3983668B2 true JP3983668B2 (ja) 2007-09-26

Family

ID=20281835

Family Applications (6)

Application Number Title Priority Date Filing Date
JP2002543428A Expired - Fee Related JP3983668B2 (ja) 2000-11-15 2001-11-14 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
JP2007142978A Expired - Lifetime JP4991397B2 (ja) 2000-11-15 2007-05-30 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
JP2011269144A Expired - Lifetime JP5933965B2 (ja) 2000-11-15 2011-12-08 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
JP2014002174A Expired - Lifetime JP6207404B2 (ja) 2000-11-15 2014-01-09 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
JP2016114496A Expired - Lifetime JP6368740B2 (ja) 2000-11-15 2016-06-08 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
JP2018129571A Expired - Lifetime JP6592148B2 (ja) 2000-11-15 2018-07-09 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法

Family Applications After (5)

Application Number Title Priority Date Filing Date
JP2007142978A Expired - Lifetime JP4991397B2 (ja) 2000-11-15 2007-05-30 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
JP2011269144A Expired - Lifetime JP5933965B2 (ja) 2000-11-15 2011-12-08 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
JP2014002174A Expired - Lifetime JP6207404B2 (ja) 2000-11-15 2014-01-09 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
JP2016114496A Expired - Lifetime JP6368740B2 (ja) 2000-11-15 2016-06-08 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
JP2018129571A Expired - Lifetime JP6592148B2 (ja) 2000-11-15 2018-07-09 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法

Country Status (15)

Country Link
US (1) US7050972B2 (ja)
EP (1) EP1334484B1 (ja)
JP (6) JP3983668B2 (ja)
KR (1) KR100551862B1 (ja)
CN (1) CN1232950C (ja)
AT (1) ATE267445T1 (ja)
AU (1) AU2002215282A1 (ja)
DE (1) DE60103424T2 (ja)
DK (1) DK1334484T3 (ja)
ES (1) ES2218462T3 (ja)
HK (1) HK1058096A1 (ja)
PT (1) PT1334484E (ja)
SE (1) SE0004187D0 (ja)
TR (1) TR200401631T4 (ja)
WO (1) WO2002041302A1 (ja)

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPR433901A0 (en) 2001-04-10 2001-05-17 Lake Technology Limited High frequency signal construction method
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US8605911B2 (en) 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
CN1279512C (zh) 2001-11-29 2006-10-11 编码技术股份公司 用于改善高频重建的方法和装置
US6934677B2 (en) 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US7240001B2 (en) 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
KR100605824B1 (ko) 2002-05-13 2006-07-31 삼성전자주식회사 부호분할다중접속 이동통신시스템의 방송서비스 방법
US7447631B2 (en) 2002-06-17 2008-11-04 Dolby Laboratories Licensing Corporation Audio coding system using spectral hole filling
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
SE0202770D0 (sv) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
US7318027B2 (en) 2003-02-06 2008-01-08 Dolby Laboratories Licensing Corporation Conversion of synthesized spectral components for encoding and low-complexity transcoding
FR2852172A1 (fr) * 2003-03-04 2004-09-10 France Telecom Procede et dispositif de reconstruction spectrale d'un signal audio
JP2004309921A (ja) * 2003-04-09 2004-11-04 Sony Corp 符号化装置、符号化方法及びプログラム
US7318035B2 (en) * 2003-05-08 2008-01-08 Dolby Laboratories Licensing Corporation Audio coding systems and methods using spectral component coupling and spectral component regeneration
DE10328777A1 (de) * 2003-06-25 2005-01-27 Coding Technologies Ab Vorrichtung und Verfahren zum Codieren eines Audiosignals und Vorrichtung und Verfahren zum Decodieren eines codierten Audiosignals
US20050004793A1 (en) * 2003-07-03 2005-01-06 Pasi Ojala Signal adaptation for higher band coding in a codec utilizing band split coding
US20050018796A1 (en) * 2003-07-07 2005-01-27 Sande Ravindra Kumar Method of combining an analysis filter bank following a synthesis filter bank and structure therefor
US7460990B2 (en) * 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
DE102004009949B4 (de) * 2004-03-01 2006-03-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln eines Schätzwertes
SG161223A1 (en) * 2005-04-01 2010-05-27 Qualcomm Inc Method and apparatus for vector quantizing of a spectral envelope representation
ES2705589T3 (es) 2005-04-22 2019-03-26 Qualcomm Inc Sistemas, procedimientos y aparatos para el suavizado del factor de ganancia
US8428956B2 (en) * 2005-04-28 2013-04-23 Panasonic Corporation Audio encoding device and audio encoding method
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
US8190425B2 (en) * 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
US7953604B2 (en) * 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US20080109215A1 (en) * 2006-06-26 2008-05-08 Chi-Min Liu High frequency reconstruction by linear extrapolation
ES2343862T3 (es) * 2006-09-13 2010-08-11 Telefonaktiebolaget Lm Ericsson (Publ) Metodos y disposiciones para un emisor y receptor de conversacion/audio.
JP4918841B2 (ja) * 2006-10-23 2012-04-18 富士通株式会社 符号化システム
US8295507B2 (en) 2006-11-09 2012-10-23 Sony Corporation Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium
KR101355376B1 (ko) * 2007-04-30 2014-01-23 삼성전자주식회사 고주파수 영역 부호화 및 복호화 방법 및 장치
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
EP2571024B1 (en) 2007-08-27 2014-10-22 Telefonaktiebolaget L M Ericsson AB (Publ) Adaptive transition frequency between noise fill and bandwidth extension
KR101235830B1 (ko) * 2007-12-06 2013-02-21 한국전자통신연구원 음성코덱의 품질향상장치 및 그 방법
ATE500588T1 (de) 2008-01-04 2011-03-15 Dolby Sweden Ab Audiokodierer und -dekodierer
CN101281748B (zh) * 2008-05-14 2011-06-15 武汉大学 用编码索引实现的空缺子带填充方法及编码索引生成方法
PT2301011T (pt) 2008-07-11 2018-10-26 Fraunhofer Ges Forschung Método e discriminador para classificar diferentes segmentos de um sinal de áudio compreendendo segmentos de discurso e de música
CA2729971C (en) 2008-07-11 2014-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. An apparatus and a method for calculating a number of spectral envelopes
EP4407613A1 (en) 2008-07-11 2024-07-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods for encoding and decoding an audio signal, audio stream and computer program
WO2010003545A1 (en) * 2008-07-11 2010-01-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. An apparatus and a method for decoding an encoded audio signal
US8326640B2 (en) * 2008-08-26 2012-12-04 Broadcom Corporation Method and system for multi-band amplitude estimation and gain control in an audio CODEC
JP2010079275A (ja) * 2008-08-29 2010-04-08 Sony Corp 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
KR101424944B1 (ko) 2008-12-15 2014-08-01 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 오디오 인코더 및 대역폭 확장 디코더
JP5446258B2 (ja) 2008-12-26 2014-03-19 富士通株式会社 オーディオ符号化装置
EP2380172B1 (en) 2009-01-16 2013-07-24 Dolby International AB Cross product enhanced harmonic transposition
JP4977157B2 (ja) * 2009-03-06 2012-07-18 株式会社エヌ・ティ・ティ・ドコモ 音信号符号化方法、音信号復号方法、符号化装置、復号装置、音信号処理システム、音信号符号化プログラム、及び、音信号復号プログラム
CN105225667B (zh) 2009-03-17 2019-04-05 杜比国际公司 编码器系统、解码器系统、编码方法和解码方法
JP4932917B2 (ja) * 2009-04-03 2012-05-16 株式会社エヌ・ティ・ティ・ドコモ 音声復号装置、音声復号方法、及び音声復号プログラム
US11657788B2 (en) 2009-05-27 2023-05-23 Dolby International Ab Efficient combined harmonic transposition
TWI556227B (zh) 2009-05-27 2016-11-01 杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法,及其機上盒、電腦程式產品、軟體程式及儲存媒體
JP5771618B2 (ja) 2009-10-19 2015-09-02 ドルビー・インターナショナル・アーベー 音声オブジェクトの区分を示すメタデータ時間標識情報
ES2719102T3 (es) * 2010-04-16 2019-07-08 Fraunhofer Ges Forschung Aparato, procedimiento y programa informático para generar una señal de banda ancha que utiliza extensión de ancho de banda guiada y extensión de ancho de banda ciega
PL4016527T3 (pl) 2010-07-19 2023-05-22 Dolby International Ab Przetwarzanie sygnałów audio podczas rekonstrukcji wysokich częstotliwości
US12002476B2 (en) 2010-07-19 2024-06-04 Dolby International Ab Processing of audio signals during high frequency reconstruction
EP2466580A1 (en) * 2010-12-14 2012-06-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Encoder and method for predictively encoding, decoder and method for decoding, system and method for predictively encoding and decoding and predictively encoded information signal
CN102208188B (zh) 2011-07-13 2013-04-17 华为技术有限公司 音频信号编解码方法和设备
US9437213B2 (en) * 2012-03-05 2016-09-06 Malaspina Labs (Barbados) Inc. Voice signal enhancement
TWI591620B (zh) * 2012-03-21 2017-07-11 三星電子股份有限公司 產生高頻雜訊的方法
EP2682941A1 (de) * 2012-07-02 2014-01-08 Technische Universität Ilmenau Vorrichtung, Verfahren und Computerprogramm für frei wählbare Frequenzverschiebungen in der Subband-Domäne
JPWO2014068817A1 (ja) * 2012-10-31 2016-09-08 株式会社ソシオネクスト オーディオ信号符号化装置及びオーディオ信号復号装置
JP6148811B2 (ja) 2013-01-29 2017-06-14 フラウンホーファーゲゼルシャフト ツール フォルデルング デル アンゲヴァンテン フォルシユング エー.フアー. 周波数領域におけるlpc系符号化のための低周波数エンファシス
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
BR122021009025B1 (pt) * 2013-04-05 2022-08-30 Dolby International Ab Método de decodificação para decodificar dois sinais de áudio e decodificador para decodificar dois sinais de áudio
KR101632238B1 (ko) 2013-04-05 2016-06-21 돌비 인터네셔널 에이비 인터리브된 파형 코딩을 위한 오디오 인코더 및 디코더
JP6305694B2 (ja) * 2013-05-31 2018-04-04 クラリオン株式会社 信号処理装置及び信号処理方法
BR112015032013B1 (pt) * 2013-06-21 2021-02-23 Fraunhofer-Gesellschaft zur Förderung der Angewandten ForschungE.V. Método e equipamento para a obtenção de coeficientes do espectropara um quadro de substituição de um sinal de áudio, descodificador de áudio,receptor de áudio e sistema para transmissão de sinais de áudio
KR102329309B1 (ko) 2013-09-12 2021-11-19 돌비 인터네셔널 에이비 Qmf 기반 처리 데이터의 시간 정렬
CN104681029B (zh) * 2013-11-29 2018-06-05 华为技术有限公司 立体声相位参数的编码方法及装置
US20150194157A1 (en) * 2014-01-06 2015-07-09 Nvidia Corporation System, method, and computer program product for artifact reduction in high-frequency regeneration audio signals
CN109155133B (zh) * 2016-03-07 2023-06-02 弗劳恩霍夫应用研究促进协会 音频帧丢失隐藏的错误隐藏单元、音频解码器及相关方法
CN114946192A (zh) * 2020-01-15 2022-08-26 杜比国际公司 利用比特率切换自适应流式传输媒体内容
BR112023001616A2 (pt) * 2020-07-30 2023-02-23 Fraunhofer Ges Forschung Aparelho, método e programa de computador para codificar um sinal de áudio ou para decodificar uma cena de áudio codificada

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4158751A (en) * 1978-02-06 1979-06-19 Bode Harald E W Analog speech encoder and decoder
JPS595297A (ja) * 1982-07-01 1984-01-12 日本電気株式会社 帯域分割型ボコ−ダ
NL8700985A (nl) * 1987-04-27 1988-11-16 Philips Nv Systeem voor sub-band codering van een digitaal audiosignaal.
US5285498A (en) * 1992-03-02 1994-02-08 At&T Bell Laboratories Method and apparatus for coding audio signals based on perceptual model
JP3297750B2 (ja) * 1992-03-18 2002-07-02 ソニー株式会社 符号化方法
JP3218679B2 (ja) * 1992-04-15 2001-10-15 ソニー株式会社 高能率符号化方法
US5404377A (en) * 1994-04-08 1995-04-04 Moses; Donald W. Simultaneous transmission of data and audio signals by means of perceptual coding
JP3277692B2 (ja) * 1994-06-13 2002-04-22 ソニー株式会社 情報符号化方法、情報復号化方法及び情報記録媒体
JP3557674B2 (ja) * 1994-12-15 2004-08-25 ソニー株式会社 高能率符号化方法及び装置
US5646961A (en) * 1994-12-30 1997-07-08 Lucent Technologies Inc. Method for noise weighting filtering
JPH09172376A (ja) * 1995-12-20 1997-06-30 Hitachi Ltd 量子化ビット割当て装置
JP3255022B2 (ja) * 1996-07-01 2002-02-12 日本電気株式会社 適応変換符号化方式および適応変換復号方式
US6490562B1 (en) * 1997-04-09 2002-12-03 Matsushita Electric Industrial Co., Ltd. Method and system for analyzing voices
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
US5928342A (en) * 1997-07-02 1999-07-27 Creative Technology Ltd. Audio effects processor integrated on a single chip with a multiport memory onto which multiple asynchronous digital sound samples can be concurrently loaded
DE19730130C2 (de) * 1997-07-14 2002-02-28 Fraunhofer Ges Forschung Verfahren zum Codieren eines Audiosignals
US6385548B2 (en) * 1997-12-12 2002-05-07 Motorola, Inc. Apparatus and method for detecting and characterizing signals in a communication system
US6757395B1 (en) * 2000-01-12 2004-06-29 Sonic Innovations, Inc. Noise reduction apparatus and method
WO2002029784A1 (en) * 2000-10-02 2002-04-11 Clarity, Llc Audio visual speech processing

Also Published As

Publication number Publication date
JP2004514180A (ja) 2004-05-13
KR20030076576A (ko) 2003-09-26
DE60103424T2 (de) 2005-06-16
SE0004187D0 (sv) 2000-11-15
US20020103637A1 (en) 2002-08-01
JP6368740B2 (ja) 2018-08-01
JP6207404B2 (ja) 2017-10-04
AU2002215282A1 (en) 2002-05-27
JP6592148B2 (ja) 2019-10-16
JP2012093774A (ja) 2012-05-17
HK1058096A1 (en) 2004-04-30
JP2018185530A (ja) 2018-11-22
EP1334484A1 (en) 2003-08-13
DK1334484T3 (da) 2004-08-09
JP5933965B2 (ja) 2016-06-15
CN1475010A (zh) 2004-02-11
JP2007293354A (ja) 2007-11-08
PT1334484E (pt) 2004-09-30
CN1232950C (zh) 2005-12-21
DE60103424D1 (de) 2004-06-24
US7050972B2 (en) 2006-05-23
KR100551862B1 (ko) 2006-02-13
TR200401631T4 (tr) 2004-09-21
EP1334484B1 (en) 2004-05-19
WO2002041302A1 (en) 2002-05-23
JP2014089472A (ja) 2014-05-15
JP4991397B2 (ja) 2012-08-01
ATE267445T1 (de) 2004-06-15
JP2016189015A (ja) 2016-11-04
ES2218462T3 (es) 2004-11-16

Similar Documents

Publication Publication Date Title
JP6592148B2 (ja) 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法
JP4511443B2 (ja) 情報源符号化システムの性能向上装置
JP4918841B2 (ja) 符号化システム
AU648656B2 (en) High efficiency digital data encoding and decoding apparatus
US8612214B2 (en) Apparatus and a method for generating bandwidth extension output data
JP4777918B2 (ja) 音声処理装置及び音声を処理する方法
RU2740359C2 (ru) Звуковые кодирующее устройство и декодирующее устройство
KR101375582B1 (ko) 대역폭 확장 부호화 및 복호화 방법 및 장치
JP4454664B2 (ja) オーディオ符号化装置及びオーディオ符号化方法
JP4021124B2 (ja) デジタル音響信号符号化装置、方法及び記録媒体
JP2000151413A (ja) オーディオ符号化における適応ダイナミック可変ビット割り当て方法
RU2828411C2 (ru) Звуковые кодирующее устройство и декодирующее устройство
JP2001148632A (ja) 符号化装置、符号化方法、及びその記録媒体

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060314

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060601

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20061017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070403

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070704

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120713

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130713

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees