JP5600822B2 - 正弦波置換を用いた音声符号化および復号化のための装置および方法 - Google Patents

正弦波置換を用いた音声符号化および復号化のための装置および方法 Download PDF

Info

Publication number
JP5600822B2
JP5600822B2 JP2014508848A JP2014508848A JP5600822B2 JP 5600822 B2 JP5600822 B2 JP 5600822B2 JP 2014508848 A JP2014508848 A JP 2014508848A JP 2014508848 A JP2014508848 A JP 2014508848A JP 5600822 B2 JP5600822 B2 JP 5600822B2
Authority
JP
Japan
Prior art keywords
spectral
value
coefficients
coefficient
spectrum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014508848A
Other languages
English (en)
Other versions
JP2014517932A (ja
Inventor
サッシャ ディスヒ
ベンヤミン シューベルト
ラルフ ガイガー
マルティーン ディーツ
Original Assignee
フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ filed Critical フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ
Publication of JP2014517932A publication Critical patent/JP2014517932A/ja
Application granted granted Critical
Publication of JP5600822B2 publication Critical patent/JP5600822B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/028Noise substitution, i.e. substituting non-tonal spectral components by noisy source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/032Quantisation or dequantisation of spectral components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、音声信号符号化、復号化および処理に関し、特に、正弦波置換を用いた音声符号化および復号化に関する。
音声信号処理は、ますます重要になっている。最新の知覚的な音声コーデックが満足できる音声品質をますます低いビットレートで供給することを求められるため、チャレンジが生まれる。さらに、例えば双方向通信アプリケーションや分散ゲームなどに関して、しばしば、許される待ち時間は非常に短い。
例えばUSAC(Uinfied Speech and Audio Coding)などのような最新の音声コーデックは、しばしば時間領域予測符号化と変換領域符号化との間で切り換わるが、音楽コンテンツはいまだに大部分が変換領域において符号化されている。例えば14kbit/s未満の低ビットレートにおいて、音楽アイテムの音の成分は、変換符号器を用いて符号化するとき、しばしば悪く聞こえ、十分な品質で音声を符号化するという課題をさらに挑戦的にする。
さらに、(低遅延最適化ウィンドウ形状および/または変換長のために)低遅延制約は、しばしば変換符号器のフィルタバンクの次善の周波数応答につながり、したがって、更にこの種のコーデックの知覚的な品質を危うくする。
古典的な音響心理学的モデルによれば、量子化ノイズに関する透明度のための事前の必要条件が定められている。高ビットレートにおいて、これは、人間の聴覚マスキングレベルに従う量子化ノイズの知覚的に構成される最適時間/度数分布に関する。しかしながら、低ビットレートにおいて、透明度は達成されることができない。したがって、マスキングレベル必要条件減少戦略は、低ビットレートで使用されることができる。
すでに、最高のコーデックが音楽コンテンツのために提供されており、特に、周波数領域においてスペクトル係数を量子化して送信する修正離散コサイン変換(MDCT)に基づく変換符号器である。しかしながら、非常に低いデータレートにおいて、各時間フレームの極めて少ないスペクトルラインだけが、そのフレームのために利用できるビットによって符号化されることができるだけである。結果として、時間変調アーチファクトおよびいわゆる鳥のさえずりのようなアーチファクトが、符号化信号に必然的にもたらされる。
最も顕著に、この種のアーチファクトは、準定常状態の音の成分において認められる。これは、特に、遅延制約のため、周知の漏洩効果のために隣接するスペクトル係数(スペクトル的な広がり)の間の著しいクロストークを誘導する変換ウィンドウ形状が選ばれなければならない場合に起こる。しかしながら、それにもかかわらず、通常、これらの隣接するスペクトル係数の1つだけまたは少数だけが、低ビットレート符号器による粗い量子化の後、ゼロ以外のままである。
上述のように、従来技術において、1つの方法によれば、変換符号器が使用される。
音楽コンテンツの符号化のために適切である同時期に起こる高い圧縮比音声コーデックは、全て変換符号化に依存している。最も顕著な例は、MPEG2/4、Advanced Audio Coding(AAC)およびMPEG−D、Unified Speech and Audio Coding(USAC)である。USACは、Algebraic Code Excited Linear Prediction(ACELP)モジュール、および主に話し言葉の符号化を目的とするTransform Coded Excitation(TCX)モジュール(非特許文献5を参照)、および主に音楽の符号化を目的とするAACで構成される切り換えられたコアを有する。AACと同様に、TCXは、変換ベースの符号化方法である。低いビットレート設定で、特に基礎をなす符号化方式がModified Discrete Cosine Transform(MDCT)(非特許文献1を参照)に基づく場合、これらの符号化方式は鳥のさえずりのようなアーチファクトを呈しやすい。
音楽再生のために、変換符号器は、音声データ圧縮の好適な技術である。しかしながら、低ビットレートで、従来の変換符号器は、強い鳥のさえずりおよび粗さアーチファクトを呈する。大部分のアーチファクトは、あまりにまばらに符号化された音のスペクトル成分から生じる。特にこれらが主に厳しい遅延制約を満たすように設計されている次善のスペクトル伝達関数ブロック(漏洩効果)によってスペクトル的に傷付けられる場合に、これは起こる。
従来技術の他の方法によれば、符号化方式は、一時的現象、正弦波およびノイズに対して完全にパラメータに関するものである。特に、中間および低ビットレートのために、完全にパラメータの音声コーデックは標準化され、その中で最も優れていたのは、MPEG−4Part3、Subpart7 Harmonic and Individual Lines plus Noise(HILN)(非特許文献2を参照)およびMPEG−4Part3、Subpart 8 SinuSoidal Coding(SSC)(非特許文献3を参照)である。しかしながら、パラメータ符号器は、不愉快で不自然な音に悩まされ、ビットレートの増加と共に、知覚的な透明性に向かって高められない。
更なる方法は、混成波形およびパラメータの符号化を提供する。非特許文献4において、波形符号化およびMPEG4−SSC(正弦波部分のみ)をベースにした変換の混成が提案される。反復的な方法において、正弦波は信号から抽出されて減算され、変換符号化技術によって符号化される残差信号を形成する。抽出された正弦波は一組のパラメータによって符号化されて、残差と一緒に送信される。非特許文献6において、混成符号化方法は、正弦波と残差とを別に符号化するように提供される。非特許文献7において、いわゆるConstrained Energy Lapped Transform(CELT)コーデック/ゴースト・ウェブページで、発振器の列を混成符号化のために利用するというアイデアが描かれる。
中間または高ビットレートで、変換符号器は、それらの自然の音のため音楽の符号化のために適切である。そこで、基本的な音響心理学的なモデルの透明度要件は、完全に、または、ほぼ完全に満たされる。しかしながら、低ビットレートで、符号器は深刻に音響心理学的なモデルの要件に背かなければならず、このような状況で、変換符号器は鳥のさえずり、粗さおよび音楽のノイズのアーチファクトの傾向がある。
完全にパラメータの音声コーデックが低いビットレートに最も適しているにもかかわらず、それらは、不愉快に人工的に聞こえることは公知である。さらに、むしろ粗いパラメトリックモデルの段階的な改良は可能でないため、これらのコーデックは知覚的な透明性に継ぎ目なく拡大縮小しない。
[1] Daudet, L.; Sandler, M.; , "MDCT analysis of sinusoids: exact results and applications to coding artifacts reduction," Speech and Au dio Processing, IEEE Transactions on, vol.12, no.3, pp. 302-312, May 2004 [2] Purnhagen, H.; Meine, N.;, "HILN-the MPEG-4 parametric a udio coding tools," Circuits and Systems, 2000. Proceedings. ISCAS 2000 Geneva. The 2000 IEEE International Symposium an, vol.3, no., pp.201-204 vol.3, 2000 [3] Oomen, Werner; Schuijers, Erik; den Brinker, Bert; Breeb aart, Jeroen:," Advances in Parametrie Coding for High-Quality Audio," Audio Engineering Society Convention 114, preprint, Amsterdam/NL, March 2003 [4] van Schijndel, N.H. ; van de Par, S.; , "Rate-distortion optimized hybrid sound coding," Applications of Signal Processing to Audio and Acoustics, 2005. IEEE Workshop on, vol., no., pp. 235-238, 16-19 Oct. 20 05 [5] Bessette, 8.; Lefebvre, R.; Salami, R. ; , "Universal sp eech/audio coding using hybrid ACELP/TCX techniques," Acoustics, Speech, and Signal Processing, 2005. Proceedings. (ICASSP '05). IEEE International Conf erence on, vol.3, no., pp. iii/301- iii/304 Val. 3, 18-23 March 2005 [6] Ferreira, A.J.S. "Combined spectral envelope normalizati on and subtraction of sinusoidal components in the ODFT and MDCT frequency d omains," Applications of Signal Processing to Audio and Acoustics, 2001 IEEE Workshop on the, vol., no., pp.51-54, 2001 [7] http://people.xiph.org/~xiphmont/demo/ghost/demo.html The corresponding archive.org-website is stored at: http://web.archive.org/web/20110121141149/http://people.xiph.org/~xiphmont /demo/ghost/demo.html [8] ISO/IEC 14496-3:2005(E) - Information technology - Cod ing of audio-visual objects - Part 3: Audio, Subpart 4 [9] ISO/IEC 14496-3:2009(E) - Information technology - Cod ing of audio-visual objects - Part 3: Audio, Subpart 4
混成波形およびパラメータの符号化は、個々の方法の限界を潜在的に克服することができて、両方の技術の相互に交差する特性から、潜在的に利益を得ることができるかもしれない。しかしながら、それは、現在の最高水準の技術で、混成コーデックの変換符号化部分および複合型コーデックのパラメータ部分との間の相互作用の欠如によって妨げられる。課題は、パラメータのおよび変換コーデック部分の間の信号の境界、変換およびパラメータ部分の間のビット割当量の舵取り、パラメータおよび変換コーデック出力のパラメータシグナル技術および継ぎ目のない結合に関する。
本発明の目的は、混成音声符号化および復号化のための改良された概念を提供することである。
本発明の目的は、請求項1に記載の装置、請求項12に記載の装置、請求項29に記載の方法、請求項30に記載の方法、および請求項31に記載のコンピュータプログラムによって解決される。
符号化された音声信号スペクトルに基づいて音声出力信号を生成する装置が提供される。
装置は、復号化音声信号スペクトルを得るために、符号化された音声信号スペクトルを処理するための処理ユニットを含む。復号化音声信号スペクトルは、複数のスペクトル係数を有し、スペクトル係数の各々は、符号化された音声信号スペクトルの範囲内でスペクトル位置およびスペクトル値を有し、スペクトル係数は符号化された音声信号スペクトルの範囲内でそれらのスペクトル位置に連続的に順序付けられ、それにより、スペクトル係数がスペクトル係数のシーケンスを形成する。
さらに、装置は、復号化音声信号スペクトルの1つ以上の擬似係数を決定するための擬似係数決定器を含み、各々の擬似係数はスペクトル位置とスペクトル値を有する。
さらに、装置は、修正された音声信号スペクトルを得るために1つ以上の擬似係数を所定の値にセットするためのスペクトル修正ユニットを含む。
さらに、装置は、時間領域変換信号を得るために修正された音声信号スペクトルを時間領域に変換するためのスペクトル−時間変換ユニットを含む。
さらに、装置は、時間領域発振器信号を生成するための制御可能な発振器を含み、制御可能な発信器は少なくとも1つ以上の擬似係数のスペクトル位置およびスペクトル値によって制御される。
さらに、装置は、音声出力信号を得るために、時間領域変換信号と時間領域発振器信号とを混合するためのミキサーを含む。
提案された概念は、低ビットレートで従来のブロックベースの変換コーデックの知覚的な品質を強化する。いくつかの実施例において、置換される領域に近似するエネルギーまたはレベルを有する擬似ライン(擬似係数とも呼ばれる)によって、隣接する部分的な極小値にわたり、部分的な極大値を囲む、音声信号スペクトルの部分的な音領域を置換することは、提唱される。
実施例によれば、低遅延および低ビットレートの音声符号化が提供される。いくつかの実施例は、ToneFilling(TF)と呼ばれる新しいおよび発明の概念に基づく。用語ToneFillingは、符号化技術を示し、別の方法で、悪く符号化された自然音は、知覚的に類似であるが、純粋な正弦波音に置換される。それにより、最も近いMDCTビンのスペクトル位置に関する正弦波のスペクトル位置に依存しているある程度の振幅変調アーチファクトは回避される(「鳥のさえずり」として知られている)。
実施例によれば、すべての考えられるアーチファクトのある程度の不快感は、重み付けされる。これは、例えば、ピッチ、調和、変調等の知覚的な側面に関連し、アーチファクトの固定されたものに関連する。すべての態様は、Sound Perception Annoyance Model(SPAM)において評価される。このようなモデルによって進められて、ToneFillingは、重要な効果を提供する。自然音を純正弦波音に置き換えることによって導かれるピッチおよび変調エラーは、まばらに量子化された自然音のトーンによって生じた付加ノイズの影響および劣った定常性(「鳥のさえずり」)に対して重み付けされる。
ToneFillingは、重要な相違点を正弦波−プラス−ノイズ・コーデックに提供する。例えば、TFは、正弦波の減算の代わりに、正弦波によって音を置換する。知覚的に類似の音は、置換される原音構成成分と同じ局部的なCenters Of Gravity(COG)を有する。実施例によれば、元の音は、音声スペクトル(COG機能の左から右の裾野部分)において消去される。概して、置換のために使用される正弦波の周波数分解能は、サイド情報を最小化するためにできるだけ粗く、同時に、調子外れの感覚を避けるために知覚要求を構成している。
いくつかの実施形態において、ToneFillingは、低いカットオフ周波数の下ではなく、前記知覚要求による低いカットフ周波数の上で実施されることができる。ToneFillingを実施するときに、音は変換符号器の範囲内でスペクトル擬似ラインを介して表される。しかしながら、ToneFillingを装備した符号器において、擬似ラインは、古典的な音響心理学的モデルによって制御される通常の処理を受ける。したがって、ToneFillingを行うとき、(ビットレートx、yで、音の構成要素が置換される)パラメータ部分の推測的な制限の必要がない。このように、変換コーデックへの堅い統合は、成し遂げられる。
局部的なCOGs(平滑化された評価;最大品質の測定)を検出することによって、音の成分を除去することによって、擬似ラインの大きさを通したレベル情報、擬似ラインのスペクトル位置を通した周波数情報および擬似ラインの符合を通した細かい周波数情報(ハーフ・ビン・オフセット)を運ぶ置換された擬似ライン(擬似係数)を発生させることによって、ToneFilling機能は、符号器で使用されることができる。擬似係数(擬似ライン)は、通常のスペクトル係数(スペクトルライン)のようなコーデックの次の量子化器ユニットによって処理される。
ToneFillingは、さらに、分離されたスペクトルラインを検出することによって、復号器で使用されることができ、正確な擬似係数(擬似ライン)は、フラグアレイ(例えばビットフィールド)によって記録されることができる。復号器は、正弦波トラックを築くために、擬似ライン情報を連結することができる。出生/継続/死方式は、連続トラックを合成するために使用されることができる。
復号化のために、擬似係数(擬似ライン)は、サイド情報の範囲内で送信されるフラグアレイによって、このように記録されることができる。擬似ラインのハーフ−ビン周波数分解能は、擬似係数(擬似ライン)の符号によって信号を送ることができる。復号器で、擬似ラインは、逆変換ユニットの前にスペクトルから消されることができ、発振器の列によって別に合成されることができる。時間とともに、発振器の対は連結され、パラメータの挿入はスムーズに発振器出力を放出するために使用される。
パラメータ駆動発振器のオンセットおよびオフセットが形成され、それにより、それらが変換コーデックのウィンドウイング動作の時間特性に密接に対応し、したがって、出力信号の変換コーデック生成部分と発信器生成部分との間の継ぎ目のない移行が確実となる。
設けられている概念は、うまく、そして、容易に、AAC、TCXまたは類似の構成の既存の変換符号化方式に統合される。パラメータ量子化精度の操縦は、コーデックの現存率の制御によって、暗に実行されることができる。
実施例によれば、スペクトル係数の各々は、直近の先行点および直近の後続点のうちの少なくとも1つを有することができ、前記スペクトル係数の直近の先行点は、シーケンスの中で直ちに前記スペクトル係数に先行するスペクトル係数の1つでもよく、前記スペクトル係数の直近の後続点は、シーケンスの中で直ちに前記スペクトル係数に続くスペクトル係数の1つでもよい。擬似係数決定器は、所定の値と異なるスペクトル値を有するシーケンスのスペクトル係数の少なくとも1つを決定することによって復号化音声信号スペクトルの1つ以上の擬似係数を決定するように構成されることができ、それは直近の先行点を有し、そのスペクトル値は所定の値に等しく、そして、それは直近の後続点を有し、そのスペクトル値は所定の値に等しい。
実施例において、所定の値は、ゼロであってもよい。
実施例によれば、擬似係数決定器は擬似係数候補としてシーケンスの少なくとも1つのスペクトル係数を決定することによって復号化音声信号スペクトルの1つ以上の擬似係数を決定するように構成されることができ、それは直近の先行点を有し、そのスペクトル値は所定の値に等しく、そして、それは直近の後続点を有し、そのスペクトル値は所定の値に等しい。擬似係数決定器は、擬似係数候補が擬似係数であることをサイド情報が示すかどうかを決定することによって擬似係数候補が擬似係数であるかどうかを決定するように構成されることができる。
実施例において、発振器信号の発振器信号周波数が1つ以上の擬似係数の1つのスペクトル位置に依存するように、制御可能な発振器は発振器信号周波数を有する時間領域発振器信号を生成するように構成されることができる。
いくつかの実施形態では、発振器信号の信号周波数は、2以上の時間的に連続的な擬似係数のスペクトル位置の間への挿入を実行することによって発生する。
実施例によれば、擬似係数は符号付きの値であり、各々が符号成分を含む。発信器信号の発信器信号周波数はさらに1つ以上の擬似係数の1つの符号成分に依存し、符号成分が第1の符号値であるとき発信器信号周波数は第1の周波数値を有し、符号成分が異なる第2の符号値であるとき発信器信号周波数は異なる第2の周波数値を有するように、制御可能な発振器は時間領域発振器信号を生成するように構成されることができる。
実施例において、スペクトル値が第3の値を有するときに発振器信号の大きさは第1の振幅値を有し、スペクトル値が異なる第4の値を有するときに発振器信号の大きさが異なる第2の振幅値を有し、第4の値が第3の値より大きいときに第2の振幅値は第1の振幅値より大きくなるように、制御可能な発振器は発振器信号の大きさが1つ以上の擬似係数の1つのスペクトル値に依存する時間領域発振器信号を生成するように構成されることができる。
いくつかの実施例によれば、発振器信号の振幅値は、2つ以上の時間的に連続的な擬似係数のスペクトル値の間への挿入を実行することによって生成される。たとえば、いくつかの実施例において、発振器信号の大きさは、値が送信される時間における位置の間への挿入を実行することによって生成される。
実施例において、さらに、制御可能な発振器は、例えば伝送の間のデータフレーム損失を隠すために、または、発振器の制御の不安定な動作を滑らかにするために、先行するフレームの擬似係数から引き出される外挿パラメータによって制御されることもできる。
いくつかの実施例によれば、発振器信号の振幅値は、2つ以上の擬似係数のスペクトル値の間への挿入を実行することによって生成される。たとえば、いくつかの実施例において、発振器信号の大きさは、値が送信される時間における位置の間に挿入を実行することによって生成される。
実施例によれば、修正された音声信号スペクトルは、MDCT係数を含むMDCTスペクトルでもよい。スペクトル−時間変換ユニットは、復号化音声信号スペクトルの係数の少なくともいくつかが時間領域に変換されることによって、MDCTスペクトルをMDCT領域から時間領域に変換するように構成されることができる。
実施例において、ミキサーは、時間領域において時間領域変換信号を時間領域発振器信号に加えることによって、時間領域変換信号および時間領域発振器信号を混合するように構成されることができる。
さらに、音声信号入力スペクトルを符号化する装置が設けられている。音声信号入力スペクトルは複数のスペクトル係数を含み、スペクトル係数の各々は、音声信号入力スペクトルの範囲内のスペクトル位置およびスペクトル値を有する。スペクトル係数がスペクトル係数のシーケンスを形成するように、スペクトル係数は音声信号入力スペクトルの範囲内でそれらのスペクトル位置に従って連続して順序付けられる。スペクトル係数の各々は、1つ以上の先行点の少なくとも1つ、および、1つ以上の後続点の少なくとも1つを含み、前記スペクトル係数の先行点のそれぞれは、シーケンスの中で前記スペクトル係数に先行するスペクトル係数のうちの1つである。前記スペクトル係数の後続点のそれぞれは、シーケンスの中で前記スペクトル係数の後に続くスペクトル係数のうちの1つである。
装置は、好ましくは基本的な時間−周波数変換によって与えられるようなより高いスペクトル分解能において、1つの極値またはより多くの極値を決定するための極値決定器を含む。
例えば、音声信号入力スペクトルは、複数のMDCT係数を有するMDCTスペクトルでもよい。
極値決定器は、比較スペクトル上の1つまたは複数の極値を決定することができ、比較スペクトルの係数の比較値は、MDCTスペクトルのMDCT係数のそれぞれに割り当てられる。しかしながら、比較スペクトルは、音声信号入力スペクトルより高いスペクトル分解能を有することができる。たとえば、比較スペクトルは、MDCT音声信号入力スペクトルより2倍のスペクトル分解能を有する離散フーリエ変換(DFT)スペクトル(均一に、または、余分に積み重ねられたDFT)でもよい。これによって、DFTスペクトルの全ての第2のスペクトル値だけが、それからMDCTスペクトルのスペクトル値に割り当てられる。しかしながら、比較スペクトルの極値が決定されるときに、比較スペクトルの他の係数は考慮されることができる。これによって、比較スペクトルの係数は、音声信号入力スペクトルのスペクトル係数に割り当てられないが、直近の先行点および直近の後続点を有する極値として決定されることができ、それは、それぞれ、音声信号入力スペクトルのスペクトル係数に、そして、音声信号入力スペクトルのそのスペクトル係数の直近の後続点に割り当てられる。このように、(例えば高分解能DFTスペクトルの中の)比較スペクトルの前記極値が、(MDCT)音声信号入力スペクトルの前記スペクトル係数および(MDCT)音声信号入力スペクトルの前記スペクトル係数の前記直近の後続点の間に位置する(MDCT)音声信号入力スペクトルの範囲内でスペクトル位置に割り当てられると考えられることができる。後ほど説明されるように、このような状況は擬似係数の適当な符号値を選択することによって符号化されることができる。これによって、サブ−ビン分解能は、成し遂げられる。
さらに、装置は、少なくとも1つの極値係数の少なくとも1つの先行点または少なくとも1つの後続点のスペクトル値を所定の値に設定することによって修正された音声信号スペクトルを得るために、音声信号入力スペクトルを修正するためのスペクトル修正器を含む。さらに、スペクトル修正器は、1つ以上の極値係数のスペクトル値を所定の値に設定しないように、または1つ以上の極値係数の少なくとも1つを擬似係数で置換するように構成され、ここで、擬似係数のスペクトル値は所定の値と異なるものである。
さらに、装置は、符号化された音声信号スペクトルを得るために修正された音声信号スペクトルを処理するための処理ユニットを含む。
さらに、装置は、サイド情報を生成して送信するためのサイド情報発生器を含み、サイド情報発生器は、スペクトル修正器によって生成される修正された音声信号入力スペクトルの範囲内で1つ以上の擬似係数候補の位置を決めるように構成され、サイド情報発生器は擬似係数候補の少なくとも1つを選択された候補として選択するように構成され、そして、サイド情報が擬似係数として選択された候補を示すように、サイド情報発生器はサイド情報を生成するように構成される。
好ましくは基本的な時間−周波数変換によって与えられるようなより高いスペクトル分解能において、極値係数の各々は、そのスペクトル値が先行点の少なくとも1つのスペクトル値より大きく、そのスペクトル値が後続点の少なくとも1つのスペクトル値より大きいスペクトル係数の1つであるように、極値決定器は1つ以上の極値係数を決定するように構成される。または、スペクトル係数の各々は前記スペクトル係数と関連した比較値を有し、極値係数の各々は、その比較値がその先行点の少なくとも1つの比較値より大きく、その比較値がその後続点の少なくとも1つの比較値より大きいスペクトル係数の1つであるように、極値決定器は1つ以上の極値係数を決定するように構成される。
実施例によれば、サイド情報発生器によって生成されるサイド情報は静的で、所定のサイズであることができ、または、そのサイズは信号適応的に反復的に評価されることができる。この場合、サイド情報の実際のサイズは、同様に復号器に発信される。それで、実施例によれば、サイド情報発生器440は、サイド情報のサイズを送信するように構成される。
実施例において、音声信号入力スペクトルのスペクトル係数の少なくともいくつかのスペクトル値が修正された音声信号スペクトルの中で修正されないまま残されるように、スペクトル修正器は音声信号入力スペクトルを修正するように構成される。
実施例によれば、スペクトル係数の各々は、その先行点の1つとしての直近の先行点およびその後続点の1つとしての直近の後続点の少なくとも1つを含み、前記スペクトル係数の直近の先行点は、シーケンスの中で前記スペクトル係数のすぐ前に先行するスペクトル係数の1つであり、前記スペクトル係数の直近の後続点は、シーケンスの中で前記スペクトル係数のすぐ後に続くスペクトル係数の1つである。
スペクトル修正器は、極値係数の少なくとも1つの直近の先行点または直近の後続点のスペクトル値を所定の値に設定することにより修正された音声信号スペクトルを得るために音声信号入力スペクトルを修正するように構成されることができ、スペクトル修正器は1つ以上の極値係数のスペクトル値を所定の値に設定しないように構成されてもよく、または1つ以上の極値係数の少なくとも1つを擬似係数で置換するように構成されることができ、擬似係数のスペクトル値は、所定の値と異なるものである。極値決定器が比較スペクトル(例えばパワースペクトル)に基づいて極値係数を決定するとき、例えば、比較スペクトル(例えばパワースペクトル)の極大であるスペクトル係数は、音声信号入力スペクトル(例えばMDCTスペクトル)の極大である必要はないということに留意すべきである。
極値係数の各々は、そのスペクトル値が直近の先行点のスペクトル値より大きく、そのスペクトル値が直近の後続点のスペクトル値より大きいスペクトル係数の1つであるように、極値決定器は1つ以上の極値係数を決定するように構成されることができる。または、スペクトル係数の各々は前記スペクトル係数と関連した比較値を有し、極値係数の各々は、その比較値が直近の先行点の比較値より大きく、その比較値が直近の後続点の比較値より大きいスペクトル係数の1つであるように、極値決定器は1つ以上の極値係数を決定するように構成される。
実施例によれば、1つ以上の極小係数の各々は、そのスペクトル値がその先行点の1つのスペクトル値より小さく、そのスペクトル値がその後続点の1つのスペクトル値より小さいスペクトル係数の1つであるように、極値決定器は1つ以上の極小係数を決定するように構成され、または、スペクトル係数の各々は前記スペクトル係数と関連する比較値を有し、極小係数の各々は、その比較値がその先行点の1つの比較値より小さく、その比較値がその後続点の1つの比較値より小さいスペクトル係数の1つであるように、極値決定器は1つ以上の極小係数を決定するように構成される。このような実施例において、代表値が所定の値と異なるように、スペクトル修正器は、極値係数の1つ以上および極小係数の1つ以上のスペクトル値または比較値に基づいて代表値を決定するように構成される。さらに、スペクトル修正器は、前記スペクトル値を代表値に設定することによって音声信号入力シーケンスの係数のうちの1つのスペクトル値を変えるように構成される。
実施例によれば、スペクトル修正器は、極値係数の1つの比較値またはスペクトル値の1つの値の差が閾値より小さいかどうか決定するように構成されることができる。さらに、音声信号入力スペクトルのスペクトル係数の少なくともいくつかのスペクトル値が、値の差が閾値より小さいかどうかに依存している修正された音声信号スペクトルにおいて修正されないままにされるように、スペクトル修正器は音声信号入力スペクトルを修正するように構成されることができる。
実施例において、サブシーケンスのそれぞれは、複数の次のスペクトル係数、音声信号入力スペクトルを含むように、極値決定器はスペクトル値のシーケンスの1つ以上のサブシーケンスを決定するように構成されることができる。次のスペクトル係数は、それらのスペクトル位置に従ってサブシーケンスの範囲内で連続して順序付けられる。サブシーケンスの各々は、前記連続的に順序付けられたサブシーケンスの最初にある最初の成分および前記連続的に順序付けられたサブシーケンスの最後にある最後の成分を含む。さらに、サブシーケンスの各々は、極小係数のうちの正確に2つおよび極値係数のうちの正確に1つを含み、極小係数の1つはサブシーケンスの最初の成分であり、極小係数の他の1つはサブシーケンスの最後の成分である。このような実施例において、スペクトル修正器は、スペクトル値に基づく代表値またはサブシーケンスの1つの係数の比較値を決定するように構成されることができる。スペクトル修正器は、前記スペクトル値を代表値に設定することによって前記サブシーケンスの係数のうちの1つのスペクトル値を変えるように構成されることができる。
実施例によれば、極値決定器は、複数の重み付けされた係数を得るために、比較値の結果およびサブシーケンスの各々のスペクトル係数のための位置の値を決定し、重み付けされた係数を合計することにより第1の合計を取得し、サブシーケンスの全てのスペクトル係数の比較値を合計して第2の合計を取得し、第1の合計を第2の合計で割ることにより中間結果を取得し、中間結果を丸めて最も近く丸めることにより重心係数を取得することにより重心係数を決定するように構成され、スペクトル修正器は、所定の値に対して重心係数ではないサブシーケンスの全てのスペクトル係数のスペクトル値を設定するように構成される。または、極値決定器は、複数の重み付けされた係数を得るために、サブシーケンスの各スペクトル係数のためのスペクトル値および位置の値を決定し、重み付けされた係数を合計することにより第1の合計を取得し、サブシーケンスの全てのスペクトル係数のスペクトル値を合計して第2の合計を取得し、第1の合計を第2の合計で割ることにより中間結果を取得し、中間結果を丸めて最も近く丸めることにより重心係数を取得することにより重心係数を決定するように構成され、スペクトル修正器は、所定の値に対して重心係数ではないサブシーケンスの全てのスペクトル係数のスペクトル値を設定するように構成される。
実施例において、所定の値は、ゼロである。
実施例によれば、各スペクトル係数の比較値は、音声信号のエネルギー保存変換から生じている更なるスペクトルの更なる係数の二乗値である。
実施例において、各スペクトル係数の比較値は、音声信号のエネルギー保存変換から生じている更なるスペクトルの更なる係数の振幅値である。
実施例によれば、更なるスペクトルは離散フーリエ変換(DFT)スペクトルであり、エネルギー保存変換は離散フーリエ変換(均一に、または、余分に積み重ねられたDFT)である。
他の実施例によれば、更なるスペクトルはComplex Modified Discrete Cosine Transform(CMDCT)スペクトルであり、そして、エネルギー保存変換はCMDCTである。
実施例によれば、スペクトル修正器は、微調整情報を受信するように構成される。音声信号入力スペクトルの係数は、各々が符号成分を有する符号付きの値である。微調整情報が第1の微調整状態にあるとき、スペクトル修正器は1つ以上の極値係数の、または、擬似係数の1つである符号成分を第1の符号値に設定するように構成されることができる。そして、微調整情報が第2の微調整状態にあるとき、スペクトル修正器は1つ以上の極値係数の、または、擬似係数の1つである符号成分を異なる第2の符号値に設定するように構成されることができる。
実施例において、音声信号入力スペクトルは、MDCT係数を含むMDCTスペクトルとすることができる。
実施例によれば、処理ユニットは、量子化された音声信号スペクトルを得るために、修正された音声信号スペクトルを量子化するように構成される。処理ユニットは、符号化された音声信号スペクトルを得るために、量子化された音声信号スペクトルを処理するように構成されることができる。さらに、処理ユニットは、そのスペクトル値が所定の値に等しい直近の先行点と、そのスペクトル値が所定の値に等しい直近の後続点を含む量子化された音声信号スペクトルのそれらのスペクトル係数のためだけに、前記係数が極値係数の1つであるかどうかを示すサイド情報を生成するように構成される。前記スペクトル係数の直近の先行点は量子化された音声信号スペクトルの範囲内で前記スペクトル係数に直近に先行する他のスペクトル係数であり、そして、前記スペクトル係数の直近の後続点は量子化された音声信号スペクトルの範囲内で前記スペクトル係数に直近に続く他のスペクトル係数である。
さらに、符号化された音声信号スペクトルに基づいて音声出力信号を生成する方法が与えられている。スペクトル係数の各々は、符号化された音声信号スペクトルの範囲内のスペクトル位置およびスペクトル値を有する。スペクトル係数がスペクトル係数のシーケンスを形成するように、スペクトル係数は符号化された音声信号スペクトルの範囲内でそれらのスペクトル位置に従って連続して順序付けられる。音声出力信号を生成する方法は、以下のことを含む。
- 複数のスペクトル係数を含む復号化音声信号スペクトルを得るために、符号化された音声信号スペクトルを処理すること。
- 復号化音声信号スペクトルの1つ以上の擬似係数(擬似係数の各々はスペクトル位置およびスペクトル値を有する)を決定すること。
- 修正された音声信号スペクトルを得るために1つ以上の擬似係数を所定の値に設定すること。
- 時間領域変換信号を得るために修正された音声信号スペクトルを時間領域に変換すること。
- 1つ以上の擬似係数の少なくとも1つのスペクトル位置およびスペクトル値によって制御されている制御可能な発振器によって時間領域発振器信号を生成すること、および、
- 音声出力信号を得るために時間領域変換信号および時間領域発振器信号を混合すること。
さらに、音声信号入力スペクトルを符号化する方法が与えられている。音声信号入力スペクトルは、複数のスペクトル係数を含む。スペクトル係数の各々は、音声信号入力スペクトル範囲内のスペクトル位置およびスペクトル値を有する。スペクトル係数がスペクトル係数のシーケンスを形成するように、スペクトル係数は音声信号入力スペクトルの範囲内のそれらのスペクトル位置に従って連続して順序付けられる。スペクトル係数の各々は、1つ以上の先行点の少なくとも1つおよび1つ以上の後続点の少なくとも1つを有する。前記スペクトル係数の各先行点は、シーケンスの中で前記スペクトル係数に先行するスペクトル係数の1つである。前記スペクトル係数の各後続点は、シーケンスの中で前記スペクトル係数の後に続くスペクトル係数のうちの1つである。音声信号入力スペクトルを符号化する方法は以下のものを含む。
- 1つ以上の極値係数を決定すること。
- 極値係数の少なくとも1つの先行点の少なくとも1つまたは後続点の少なくとも1つのスペクトル値を所定の値に設定することによって修正された音声信号スペクトルを得るために音声信号入力スペクトルを修正することであって、音声信号入力スペクトルを修正することは、1つ以上の極値係数のスペクトル値を所定の値に設定しないことによって、または1つ以上の極値係数の少なくとも1つを擬似係数に置換することによって実行され、擬似係数のスペクトル値が所定の値と異なること、
- 符号化された音声信号スペクトルを得るために修正された音声信号スペクトルを処理すること、および
- サイド情報を生成して、送信することであって、サイド情報は、修正された音声信号入力スペクトルの範囲内で1つ以上の擬似係数候補の位置を決めることによって生成され、サイド情報は選択された候補として擬似係数の少なくとも1つを選択することにより生成され、サイド情報が生成されて、そのサイド情報が擬似係数として選択された候補を示す。
極値係数の各々は、そのスペクトル値がその先行点の1つのスペクトル値より大きく、そのスペクトル値がその後続点の1つのスペクトル値より大きいスペクトル係数の1つであるように、1つ以上の極値係数は決定される。または、スペクトル係数の各々は、前記スペクトル係数と関連した比較値を有し、極値係数の各々は、その比較値がその先行点の少なくとも1つの比較値より大きく、その比較値がその後続点の少なくとも1つの比較値より大きいスペクトル係数の1つであるように、1つ以上の極値係数が決定される。
さらに、コンピュータまたは信号処理器で実行されるときに、上記の方法を実施するためのコンピュータプログラムが与えられる。
音声符号器、音声復号器、関連した方法およびプログラムまたは符号化された音声信号が与えられる。さらに、波形符号器のための正弦波置換のための概念が与えられる。
低ビットレートで、本発明は、信号技術の上のビットレートに対して改良された知覚的な品質および改良されたスケーリングを得るために、波形符号化およびパラメータの符号化をしっかりとまとめる方法の概念を提供する。
いくつかの実施例では、残差から合成された正弦波を反復的に減算する正弦波符号器と対照的に、スペクトルの尖頂のある領域(隣接した局部的な極小値にわたり、局部的な極大値を包含して)は、各々単一の正弦波によって完全に置換されることができる。適切な尖頂のある領域は引き抜かれて滑らかにされ、わずかに白色化されたスペクトル表現となり、特定の特徴(ピークの高さ、ピークの形状)に関して選択される。
いくつかの実施例によれば、これらの置換正弦波は、符号化されるスペクトルの範囲内で擬似ライン(擬似係数)として示され、(例えば、正確な値の本当の突起に対応する正MDCTラインと対照的に)正弦波の完全な振幅またはエネルギーを反映する。
いくつかの実施例において、正弦波パラメータの別々の信号と対照的に、擬似ライン(擬似係数)は、標準的なスペクトルラインのような量子化器に存在するコーデックによって扱われる。
いくつかの実施例において、擬似ライン(擬似係数)は、サイド情報フラグアレイによってこのようにマークされる。
いくつかの実施例において、擬似ラインの符号の選択は、半サブバンド周波数分解能を意味することができる。
いくつかの実施例において、正弦波置換のための低いカットオフ周波数は、限られた周波数分解能(例えば半サブバンド)により望ましい。
いくつかの実施例において、復号器において、擬似ラインは、規則的なスペクトルから削除されることができ、擬似ライン合成は、補完発振器のバンクによって達成される。
いくつかの実施例において、前のスペクトルの外挿から得られる正弦波の軌道の任意に測定された開始位相は、使用されることができる。
いくつかの実施例において、任意のTime Domain Alias Cancellation(TDAC)技術は、正弦波の軌道のオンセット/オフセットで、エイリアスのモデリングによって使用されることができる。
いくつかの実施例において、オンセット/オフセットの別名のモデリングによる任意のTDACエイリアス解除は、使用されることができる。
以下に、本発明の実施例が、図面を参照して更に詳細に記載されている。
図1は、実施例に従って符号化された音声信号スペクトルに基づいて音声出力信号を生成する装置を示す。 図2は、他の実施例に従って符号化された音声信号スペクトルに基づいて音声出力信号を生成する装置を示す。 図3は、オリジナルの正弦波とMDCT/逆MDCTチェーンによって処理された後の正弦波とを比較している2つの線図を示す。 図4は、実施例に従って音声信号入力スペクトルを符号化する装置を示す。 図5は、音声信号入力スペクトル、対応するパワースペクトルおよび修正された(置換された)音声信号スペクトルを示す。 図6は、他のパワースペクトル、他の修正された(置換された)音声信号スペクトルおよび量子化された音声信号スペクトルを示し、符号器側で発生する量子化された音声信号スペクトルは、実施例によっては、復号器側で復号化される復号化音声信号スペクトルに対応する。
図4は、実施例に従って音声信号入力スペクトルを符号化する装置を示す。符号化のための装置は、極値決定器410、スペクトル修正器420、処理ユニット430およびサイド情報発生器440を含む。
図4の装置を更に詳細に考察する前に、図4の装置によって符号化される音声信号入力スペクトルが更に詳細に考察される。
原則として、いかなる種類の音声信号スペクトルも、図4の装置によって符号化されることができる。音声信号入力スペクトルは、例えば、MDCT(修正離散コサイン変換)スペクトル、DFT(離散フーリエ変換)振幅スペクトルまたはMDST(修正離散コサイン変換)スペクトルであってもよい。
図5は、音声信号入力スペクトル510の一例を示す。図5において、音声信号入力スペクトル510は、MDCTスペクトルである。
音声信号入力スペクトルは、複数のスペクトル係数を含む。スペクトル係数の各々は、音声信号入力スペクトルの範囲内のスペクトル位置およびスペクトル値を有する。
図5の実施例を考慮すると、音声信号入力スペクトルは音声信号のMDCT変換に起因し、例えば、音声信号入力スペクトルを得るために音声信号を変換したフィルタバンクは、例えば1024チャネルを使用する。それから、スペクトル係数の各々は1024チャネルのうちの1つと関連しており、そして、チャンネル番号(例えば、0と1023との間の数)は前記スペクトル係数のスペクトル位置であると考えることができる。図5において、横座標511は、スペクトル係数のスペクトル位置に関連する。より良好な具体例のために、52および148の間のスペクトル位置を有する係数だけが図5に示される。
図5において、縦座標512は、スペクトル係数のスペクトル値を決定するのを助ける。音声信号入力スペクトルのスペクトル係数のスペクトル値であるMDCTスペクトルを表す図5の実施例において、横座標512はスペクトル係数のスペクトル値を参照する。MDCT音声信号入力スペクトルのスペクトル係数がスペクトル値として負の実数を有することができるのと同様に正の実数を有することができる点に留意する必要がある。
しかしながら、他の音声信号入力スペクトルは、正またはゼロであるスペクトル値を有するスペクトル係数を有することができるだけである。たとえば、音声信号入力スペクトルは、離散フーリエ変換に起因する係数の大きさを表すスペクトル値を有するスペクトル係数を持ったDFTマグニチュードスペクトルであってもよい。それらのスペクトル値は、正またはゼロであり得るだけである。
更なる実施例において、音声信号入力スペクトルは、複素数であるスペクトル値を有するスペクトル係数を含む。たとえば、大きさおよび位相の情報を示しているDFTスペクトルは、複素数であるスペクトル値を有するスペクトル係数を含む。
手本となって図5に示されるように、スペクトル係数がスペクトル係数のシーケンスを形成するように、スペクトル係数は音声信号入力スペクトルの範囲内でそれらのスペクトル位置に従って連続して順序付けられる。スペクトル係数の各々は、1つ以上の先行点および1つ以上の後続点の少なくとも1つを有し、前記スペクトル係数の各先行点は、シーケンスの中で前記スペクトル係数に先行するスペクトル係数のうちの1つである。前記スペクトル係数の各後続点は、シーケンスの中で前記スペクトル係数に続くスペクトル係数のうちの1つである。たとえば、図5において、スペクトル位置81、82または83(など)を有するスペクトル係数は、スペクトル位置80を有するスペクトル係数に対して後続点である。スペクトル位置79、78または77(など)を有するスペクトル係数は、スペクトル位置80を有するスペクトル係数に対して先行点である。MDCTスペクトルの実施例のために、スペクトル係数のスペクトル位置がMDCT変換のチャネルであってもよく、スペクトル係数は、(例えば、0と1023との間のチャンネル番号)に関連する。また、説明の便宜上、図5のMDCTスペクトル510が52および148の間のスペクトル位置を有するスペクトル係数を示すだけである点に留意する必要がある。
図4に戻って、極値決定器410は、現在更に詳細に記載されている。極値決定器410は、1つ以上の極値係数を決定するように構成される。
一般に、極値決定器410は、音声信号入力スペクトルまたは極値係数のための音声信号入力スペクトルに関連するスペクトルを分析する。極値係数を決定する目的は、あとで、1つ以上の局部的な音領域が、音声信号スペクトルにおいて擬似係数によって、例えば各音領域に対する1つの擬似係数によって置換されることである。
一般に、音声信号入力スペクトルが関連する、音声信号のパワースペクトルの峰の多い領域は、音の領域を示す。それは、従って、音声信号入力スペクトルが関連する音声信号のパワースペクトルの峰の多い領域を確認することが好ましい。極値決定器410は、例えば、(スペクトル値が極値決定器によってペアで比較されることから)比較係数と呼ばれる係数を含むパワースペクトルを分析することができ、その結果、音声信号入力スペクトルのスペクトル係数の各々はそれに関連する比較値を有する。
図5において、パワースペクトル520が示される。パワースペクトル520およびMDCT音声信号入力スペクトル510は、同じ音声信号に関する。パワースペクトル520は、比較係数と呼ばれる係数を含む。各スペクトル係数は、横座標521および比較値に関連するスペクトル位置を含む。音声信号入力スペクトルの各スペクトル係数は、それに関連した比較係数を有し、したがって、さらにそれに関連したその比較係数の比較値を有する。たとえば、音声信号入力スペクトルのスペクトル値と関連した比較値は、音声信号入力スペクトルの考えられるスペクトル係数と同じスペクトル位置を有する比較係数の比較値であってもよい。音声信号入力スペクトル510の3つとパワースペクトル520の比較係数の3つの間の関連(そして、このようにこれらの比較係数の比較値との関連)は、それぞれの比較係数(またはそれらの比較値)の関連および音声信号入力スペクトル510のそれぞれのスペクトル係数を示している点線513、514、515によって示される。
極値係数の各々は、その比較値がその先行点の1つの比較値より大きく、その比較値がその後続点の1つの比較値より大きいスペクトル係数の1つであるように、極値決定器410は1つ以上の極値係数を決定するように構成されることができる。
たとえば、極値決定器410は、パワースペクトルの局部的な最大値を決定することができる。換言すれば、極値係数の各々は、その比較値がその直近の先行点の比較値より大きく、その比較値がその直近の後続点の比較値より大きいスペクトル係数の1つであるように、極値決定器410は1つ以上の極値係数を決定するように構成されることができる。ここで、スペクトル係数の直近の先行点は、パワースペクトルにおいて前記スペクトル係数の直近で先行するスペクトル係数の1つである。前記スペクトル係数の直近の後続点は、パワースペクトルにおいて前記スペクトル係数の直近で続くスペクトル係数の1つである。
しかしながら、他の実施例は、極値決定器410がすべての局部的な極大を決定することを必要としていない。たとえば、実施例において、極値決定器は、例えば、特定の周波数範囲に関連する、パワースペクトルの特定の部分を分析することができるだけである。
他の実施例において、極値決定器410は、極値係数としてそれらの係数だけを構成され、考慮した局部的な極大値の比較値および次の局部的な極小値および/または先行する局部的な極小値の比較値の差は、閾値より大きい。
極値修正器410は、比較スペクトル上の1つまたは複数の極値を決定し、比較スペクトルの係数の比較値は、MDCTスペクトルのMDCT係数の各々に割り当てられる。しかしながら、比較スペクトルは、音声信号入力スペクトルより高いスペクトル分解能を有する。たとえば、比較スペクトルは、MDCT音声信号入力スペクトルより2倍のスペクトル分解能を有するDFTスペクトルであってもよい。これによって、DFTスペクトルの全ての第2のスペクトル値だけは、それからMDCTスペクトルのスペクトル値に割り当てられる。しかしながら、比較スペクトルの1つまたは複数の極値が決定されるときに、比較スペクトルの他の係数は考慮されることができる。これによって、比較スペクトルの係数は、音声信号入力スペクトルのスペクトル係数に割り当てられないが、直近の先行点および直近の後続点を有し、それぞれ、音声信号入力スペクトルのスペクトル係数に、および、音声信号入力スペクトルのそのスペクトル係数の直近の後続点に割り当てられる極値として決定される。このように、(例えば、高分解能度DFTスペクトルの)比較スペクトルの前記極値が、(MDCT)音声信号入力スペクトルの前記スペクトル係数および(MDCT)音声信号入力スペクトルの前記スペクトル係数の直近の前記後続点の間に位置する(MDCT)音声信号入力スペクトルの範囲内のスペクトル位置に割り当てられると考えられることができる。後ほど説明されるように、このような状況は擬似係数の適当な符号値を選択することによって符号化される。これによって、サブ−ビン分解能は、成し遂げられる。
いくつかの実施例において、その比較値がその直近の先行点の比較値およびその直近の後続点の比較値より大きいという必要を極値計数が満たす必要がない点に留意する必要がある。その代わりに、それらの実施例において、極値係数の比較値がその先行点の1つおよびその後続点の1つより大きいことは、充分かもしれない。例えば、次のような状況を考える。
表1に記載されている状況において、極値決定器410は、極値係数としてスペクトル位置214でのスペクトル係数を合理的に考えることができる。スペクトル係数214の比較値は、その直近の先行点213の比較値より大きくなく(0.83<0.84)、その直近の後続点215の比較値より大きくない(0.83<0.85)が、それはその先行点の他の1つ、先行点212の比較値より(著しく)大きく(0.83>0.02)、それはその後続点の他の1つ、後続点216の比較値より(著しく)大きい(0.83>0.01)。スペクトル係数が係数212および216の比較値と比較して比較的大きい比較値を有する3つの係数213、214、215の中央に位置するため、スペクトル係数214をこの「峰の多い領域」の極値であると考えることはさらに合理的に見える。
たとえば、極値決定器410は、前記比較係数の比較値が前記比較係数のスペクトル位置に最も近い3つの先行点の比較値のうちの少なくとも1つより大きいかどうか、いくつかまたは全ての比較係数から決定するように構成されることができる。および/または、極値決定器410は、前記比較係数の比較値が前記比較係数のスペクトル位置に最も近い3つの後続点の比較値のうちの少なくとも1つより大きいかどうか、いくつかまたは全ての比較係数から決定するように構成されることができる。極値決定器410は、それから、前記決定の結果に応じて前記比較係数を選択するべきかどうか決めることができる。
いくつかの実施例において、各スペクトル係数の比較値は、音声信号のエネルギー保存変換から生じている更なるスペクトル(比較スペクトル)の更なる係数の二乗値である。
更なる実施例において、各スペクトル係数の比較値は、音声信号のエネルギー保存変換から生じている更なるスペクトルの更なる係数の振幅値である。
実施例によれば、更なるスペクトルは離散フーリエ変換スペクトルであり、エネルギー保存変換は離散フーリエ変換である。
更なる実施例によれば、更なるスペクトルはComplex Modified Discrete Cosine Transform(CMDCT)スペクトルであり、エネルギー保存変換はCMDCTである。
他の実施例において、極値決定器410は、比較スペクトルを分析することができず、その代わりに、音声信号入力スペクトル自体を分析することができる。これは、例えば、音声信号入力スペクトル自体がエネルギー保存変換から生じるとき、音声信号入力スペクトルが離散フーリエ変換マグニチュードスペクトルであるとき、合理的である。
たとえば、極値係数の各々は、そのスペクトル値がその先行点の1つのスペクトル値より大きく、そのスペクトル値がその後続点の1つのスペクトル値より大きいスペクトル係数の1つであるように、極値決定器410は1つ以上の極値係数を決定するように構成されることができる。
実施例において、極値係数の各々は、そのスペクトル値がその直近の先行点のスペクトル値より大きく、そのスペクトル値がその直近の後続点のスペクトル値より大きいスペクトル係数の1つであるように、極値決定器410は1つ以上の極値係数を決定するように構成されることができる。
さらに、極値係数の少なくとも1つの先行点または後続点のスペクトル値を所定の値に設定することにより修正された音声信号スペクトルを得るために、装置は音声信号入力スペクトルを修正するためのスペクトル修正器420を含む。スペクトル修正器420は、1つ以上の極値係数のスペクトル値を所定の値に設定しないように構成されるか、または、1つ以上の極値係数の少なくとも1つを擬似係数で置換するように構成され、擬似係数のスペクトル値は所定の値とは異なる。
好ましくは、所定の値は、ゼロでもよい。たとえば、図5の修正された(置換された)音声信号スペクトル530において、多くのスペクトル係数のスペクトル値は、スペクトル修正器420によってゼロに設定された。
換言すれば、修正された音声信号スペクトルを得るために、スペクトル修正器420は、極値係数の1つの先行点または後続点の少なくともスペクトル値を所定の値に設定する。所定の値は、例えばゼロでもよい。このような先行点または後続点の比較値は、前記極値の比較値より小さい。
さらに、極値係数自体に関して、スペクトル修正器420は、以下の通りに進められる。
- スペクトル修正器420は、極値係数を所定の値に設定しない、または:
- スペクトル修正器420が極値係数の少なくとも1つを擬似係数で置換し、擬似係数のスペクトル値は、所定の値と異なる。これは、極値係数の少なくとも1つのスペクトル値が所定の値に設定され、スペクトル係数の別のもののスペクトル値が所定の値と異なる値に設定されることを意味する。このような値は、前記極値係数の先行点の1つ、または、前記極値係数の後続点の1つの前記極値係数のスペクトル値から引き出される。または、そのような値は、前記極値係数の先行点の1つ、または、前記極値係数の後続点の1つの前記極値係数の比較値から引き出される。
スペクトル修正器420は、例えば、極値係数の1つを、前記極値係数のスペクトル値または比較値から、前記極値係数の先行点の1つのスペクトル値または比較値から、または、前記極値係数の後続点の1つのスペクトル値または比較値から引き出されるスペクトル値を有する擬似係数で置換するように構成されることができる。
さらに、装置は、符号化された音声信号スペクトルを得るために修正された音声信号スペクトルを処理するための処理ユニット430を含む。
たとえば、処理ユニット430は、いかなる種類の音声符号器であってもよく、例えばMP3(MPEG−1 Audio Layer IIIまたはMPEG−2 Audio Layer III;MPEG=Moving Picture Experts Group)音声符号器、WMA(Windows(登録商標) Media Audio)のための音声符号器、WAVEファイルまたはMPEG−2/4 AAC(Advanced Audio Coding)音声符号器またはMPEG―D USAC(Unified Speed and Audio Coding)符号器などであってもよい。
処理ユニット430は、例えば、文献〔8〕(ISO/IEC 14496-3:2005 - Information technology - Coding of audio-visual objects - Part 3: Audio, Subpart 4)にて説明したように、または文献〔9〕(ISO/IEC 14496-3:2009(E) - Information technology - Coding of audio-visual objects - Part 3: Audio, Subpart 4)にて説明したように、音声符号器でもよい。たとえば、処理ユニット430は、量子化器および/または文献〔8〕に記載されているような時間的ノイズ形成ツールを含み、および/または処理ユニット430は、例えば文献〔8〕に記載されているような知覚的なノイズ置換ツールを含むことができる。
さらに、装置は、サイド情報を生成して、送信するためのサイド情報発生器440を含む。サイド情報発生器440は、スペクトル修正器420によって生成される修正された音声信号入力スペクトルの範囲内で1つ以上の擬似係数候補の位置を決めるように構成される。さらに、サイド情報発生器440は、擬似係数候補の少なくとも1つを選択された候補として選択するように構成される。さらに、サイド情報が擬似係数として選択された候補を示すように、サイド情報発生器440はサイド情報を生成するように構成される。
図4に示される実施例において、サイド情報発生器440は、スペクトル修正器420によって擬似係数の位置(例えば、擬似係数の各々の位置)を受信するように構成される。さらに、図4の実施例において、サイド情報発生器440は、擬似係数候補の位置(例えば、擬似係数候補の各々の位置)を受信するように構成される。
たとえば、いくつかの実施例において、処理ユニット430は、量子化された音声信号スペクトルに基づいて擬似係数候補を決定するように構成されることができる。実施例において、処理ユニット430は、修正された音声信号スペクトルを量子化することによって、量子化された音声信号スペクトルを生成することができた。たとえば、処理ユニット430は擬似係数候補として量子化された音声信号スペクトルの少なくとも1つのスペクトル係数を決定することができ、それは直近の先行点を有し、そのスペクトル値は所定の値(例えば、0に等しい)に等しく、そして、それは直近の後続点を有し、そのスペクトル値は所定の値に等しい。
また、他の実施例において、処理ユニット430は量子化された音声信号スペクトルをサイド情報発生器440にパスすることができ、サイド情報発生器440は量子化された音声信号スペクトルに基づいて自身で擬似係数候補を決定することができる。他の実施例によれば、擬似係数候補は、修正された音声信号スペクトルに基づいて別の方法で決定される。
サイド情報発生器によって生成されるサイド情報は静的で、所定のサイズであることが可能であり、または、そのサイズは信号適応方法で反復的に推定されることができる。この場合、サイド情報の実際のサイズは、同様に復号器に発信される。それで、実施例において、サイド情報発生器440は、サイド情報のサイズを送信するように構成される。
実施例によれば、極値決定器410は、比較係数、例えば図5におけるパワースペクトル520の係数を分析するように構成され、極小係数の各々は、その比較値がその先行点の1つの比較値より小さく、その比較値がその後続点の1つの比較値より小さいスペクトル係数の1つであるように、1つ以上の極小係数を決定するように構成される。このような実施例において、スペクトル修正器420は極値係数の1つ以上の、および、極小係数の1つ以上の比較値に基づいて代表値を決定するように構成されることができ、代表値は所定の値とは異なる。さらに、スペクトル修正器420は、前記スペクトル値を代表値に設定することによって音声信号入力スペクトルの係数の1つのスペクトル値を変えるように構成されることができる。
特定の実施例において、極値決定器は、比較係数、例えば図5におけるパワースペクトル520の係数を分析するように構成され、極小係数の各々は、その比較値がその直近の先行点の比較値より小さく、その比較値がその直近の後続点の比較値より小さいスペクトル係数の1つであるように、1つ以上の極小係数を決定するように構成される。
あるいは、極値決定器410は、音声信号入力スペクトル510自身を分析するように構成され、1つ以上の極小係数の各々は、そのスペクトル値がその先行点の1つのスペクトル値より小さく、そのスペクトル値がその後続点の1つのスペクトル値より小さいスペクトル係数の1つであるように、1つ以上の極小係数を決定するように構成される。このような実施例において、代表値が所定の値とは異なるように、スペクトル修正器420は、1つ以上の極値係数の、および、1つ以上の極小係数のスペクトル値に基づいて代表値を決定するように構成されることができる。さらに、スペクトル修正器420は、前記スペクトル値を代表値に設定することにより、音声信号入力スペクトルの係数の1つのスペクトル値を変えるように構成されることができる。
特定の実施例において、極値決定器410は、音声信号入力スペクトル510自身を分析するように構成され、1つ以上の極小係数の各々は、スそのスペクトル値がその直近の先行点のスペクトル値より小さく、そのスペクトル値がその直近の後続点のペクトル値より小さいペクトル係数の1つであるように,1つ以上の極小係数を決定するように構成される。
両方の実施例において、スペクトル修正器420は、代表値を決定するために、極値係数および1つ以上の極小係数を考慮し、特に、それらの関連する比較値またはそれらのスペクトル値を考慮する。それから、音声信号入力スペクトルのスペクトル係数の1つのスペクトル値は、代表値に設定される。そのスペクトル値が代表値に設定されるスペクトル係数は、例えば、極値係数自身であるか、または、そのスペクトル値が代表値に設定されるスペクトル係数は、極値係数を置換する擬似係数である。
実施例において、各々のサブシーケンスは、音声信号入力スペクトルの複数の後続のスペクトル係数を含むように、極値決定器410はスペクトル値のシーケンスの1つ以上のサブシーケンスを決定するように構成されることができる。後続のスペクトル係数は、それらのスペクトル位置に従ってサブシーケンスの範囲内で連続して順序付けられる。サブシーケンスの各々は、前記連続して順序付けられたサブシーケンスにおいて最初である最初の成分および前記連続して順序付けられたサブシーケンスにおいて最後である最後の成分を含む。
特定の実施例において、サブシーケンスの各々は、例えば、極小係数のうちの正確に2つおよび極値係数のうちの正確に1つを含み、極小係数のうちの1つはサブシーケンスの最初の成分であり、極小係数のうちの他の1つはサブシーケンスの最後の成分である。
実施例において、スペクトル修正器420は、サブシーケンスの1つの係数のスペクトル値または比較値に基づいて代表値を決定するように構成されることができる。たとえば、極値決定器410が比較スペクトルの、例えばパワースペクトル520の比較係数を分析した場合、スペクトル修正器420はサブシーケンスの1つの係数の比較値に基づいて代表値を決定するように構成されることができる。しかしながら、極値決定器410が音声信号入力スペクトル510のスペクトル係数を分析した場合、スペクトル修正器420はサブシーケンスの1つの係数のスペクトル値に基づいて代表値を決定するように構成されることができる。
スペクトル修正器420は、前記スペクトル値を代表値に設定することによって、前記サブシーケンスの係数の1つのスペクトル値を変えるように構成される。表2は、スペクトル位置252〜258で5つのスペクトル係数を有する例を提供する。
極値決定器410は、スペクトル係数255(スペクトル位置255を有するスペクトル係数)について、その比較値(0.73)はその(ここでは、直近の)先行点254の比較値(0.48)より大きく、その比較値(0.73)はその(ここでは、直近の)後続点256の比較値(0.45)より大きいため、極値係数であることを決定することができる。
さらに、極値決定器410は、スペクトル係数253について、その比較値(0.05)はその(ここでは、直近の)先行点252の比較値(0.12)より小さく、その比較値(0.05)はその(ここでは、直近の)後続点254の比較値(0.48)より小さいため、極小係数であることを決定することができる。
さらに、極値決定器410は、スペクトル係数257について、その比較値(0.03)がその(ここでは、直近の)先行点256の比較値(0.45)より小さく、その比較値(0.03)がその(ここでは、直近の)後続点258の比較値(0.18)より小さいため、極小係数であることを決定することができる。
極値決定器410は、スペクトル係数255が極値係数であることを決定することにより、極小係数としてスペクトル係数253が極値係数255に最も近い先行する極小係数であることを決定することにより、および、極小係数としてスペクトル係数257が極値係数255に最も近い後続の極小係数であることを決定することにより、スペクトル係数253ないし257を含むサブシーケンスを決定することができる。
スペクトル修正器420は、全てのスペクトル係数253−257の比較値に基づいてサブシーケンス253−257に対する代表値を決定することができる。
例えば、スペクトル修正器420は、サブシーケンスの全てのスペクトル係数の比較値を合計するように構成されることができる。(例えば、表2に関して、サブシーケンス253−257のための代表値は、次のように合計される:0.05 + 0.48 + 0.73 + 0.45 + 0.03 = 1.74)。
または、例えば、スペクトル修正器420は、サブシーケンスの全てのスペクトル係数の比較値の二乗を合計するように構成されることができる。(例えば、表2に関して、サブシーケンス253−257のための代表値は、次のように合計するように構成されることができる:(0.05)2 +(0.48)2 +(0.73)2 +(0.45)2 +(0.03)2 = 0.9692)。
または、例えば、スペクトル修正器420は、サブシーケンス253−257の全てのスペクトル係数の比較値の二乗の合計の平方根とするように構成されることができる。(例えば、表2に関して、代表値は、0.98448である)。
いくつかの実施例によれば、スペクトル修正器420は、極値係数のスペクトル値(表中において、スペクトル係数253のスペクトル値)を所定の値に設定する。
しかしながら、他の実施例は、重心方法を使用する。表3は、スペクトル係数282−288を含むサブシーケンスを例示する。
極値係数はスペクトル位置285に位置しているが、重心方法によれば、重心は異なるスペクトル位置にある。
重心のスペクトル位置を決定するために、極値決定器410は、サブシーケンスの全てのスペクトル係数の加重スペクトル位置を合計して、その結果をサブシーケンスのスペクトル係数の比較値の合計で割る。重心を決定するために、商業的丸めが割り算の結果に適用される。スペクトル係数の加重スペクトル位置は、そのスペクトル位置およびその比較値の積である。
要するに:極値決定器は、以下によって重心を得ることができる。
1)サブシーケンスの各スペクトル係数に対して比較値およびスペクトル位置の積を決定する。
2)第1の合計を得るために、1)において決定された積を合計する。
3)第2の合計を得るために、サブシーケンスの全てのスペクトル係数の比較値を合計する。
4)中間結果を生成するために、第2の合計で第1の合計を割る。
5)重心を得るために、中間結果に近くへの丸めを適用する(近くへの丸め:8.49は8に丸められ、8.5は9に丸められる)。
このように、表3の例に関して、重心は、以下によって得られる。
(0.04・282+0.10・283+0.20・284+0.93・285+0.92・286+0.90・287+0.05・288)/(0.04+0.10+0.20+0.93+0.92+0.90+0.05)=897.25/3.14=285.75 =286.
このように、表3の例に関して、極値決定器410は、重心としてスペクトル位置286を決定するように構成される。
いくつかの実施例において、極値決定器410は、完全な比較スペクトル(例えば、パワースペクトル520)を分析しないかまたは完全な音声信号入力スペクトルを分析しない。その代わりに、極値決定器410は、比較スペクトルまたは音声信号入力スペクトルを部分的に分析するだけである。
図6は、このような例を示す。そこで、(比較スペクトルとして)パワースペクトル620は、係数55で始まる極値決定器410によって分析された。55より小さいスペクトル位置の係数は、分析されなかった。したがって、55より小さいスペクトル位置のスペクトル係数は、置換されたMDCTスペクトル630において修正されていないままである。対照的に、図5は、すべてのMDCTスペクトルラインがスペクトル修正器420によって修正された置換されたMDCTスペクトル530を示す。
このように、音声信号入力スペクトルの少なくともいくつかのスペクトル係数のスペクトル値が修正されていないままにされるように、スペクトル修正器420は音声信号入力スペクトルを修正するように構成される。
いくつかの実施例において、スペクトル修正器420は、比較値のうちの1つまたは極値係数のうちの1つのスペクトル値の値の差が閾値より小さいかどうか、決定するように構成される。このような実施例では、スペクトル修正器420は、音声信号入力スペクトルの少なくともいくつかのスペクトル係数のスペクトル値が、値の差が閾値より小さいかどうかに依存して修正された音声信号スペクトルにおいて修正されていないままにされるように、音声信号入力スペクトルを修正するように構成される。
たとえば、実施例において、スペクトル修正器420は、極値係数の全てを修正または置換するのではなく、その代わりに、極値係数のいくつかだけを修正または置換するように構成されることができる。たとえば、極値係数(例えば局部的に極大)の比較値および次のおよび/または先行する極小値の比較値との差が閾値より小さいときに、スペクトル修正器はこれらのスペクトル値(そして、例えばそれら間のスペクトル係数のスペクトル値)を修正せず、その代わりにこれらのスペクトル値を修正された(置換された)MDCTスペクトル630において修正されていないままにするように決定されることができる。図6の修正されたMDCTスペクトル630において、スペクトル係数100〜112のスペクトル値およびスペクトル係数124〜136のスペクトル値は、修正されていない(置換された)スペクトル630においてスペクトル修正器によって修正されていないままにされた。
処理ユニットは、量子化されたMDCTスペクトル635を得るために、修正された(置換された)MDCTスペクトル630の係数を量子化するように、さらに、構成されることができる。
実施例によれば、スペクトル修正器420は、微調整された情報を受信するように構成されることができる。音声信号入力スペクトルのスペクトル係数のスペクトル値は符号付きの値でもよく、各々が符号成分を含む。微調整情報が第1の微調整状態にあるとき、スペクトル修正器は1つ以上の極値係数の、または、擬似係数の1つの符号成分を第1の符号値に設定するように構成されることができる。そして、微調整情報が異なる第2の微調整状態にあるとき、スペクトル修正器は1つ以上の極値係数の、または、擬似係数の1つのスペクトル値の符号成分を異なる第2の符号値に設定するように構成されることができる。たとえば、表4において、
スペクトル係数のスペクトル値は、スペクトル係数291が第1の微調整状態にあり、スペクトル係数301が第2の微調整状態にあり、スペクトル係数321が第1の微調整状態にある等のことを示している。
たとえば、上で説明した重心の決定に戻ると、重心が2つのスペクトル位置の間にある(例えば、ほぼ中央にある)場合、スペクトル修正器は符号を設定して、第2の微調整状態が示されることができる。
実施例によれば、処理ユニット430は、量子化された音声信号スペクトルを得るために、修正された音声信号スペクトルを量子化するように構成されることができる。処理ユニット430は、さらに、符号化された音声信号スペクトルを得るために量子化された音声信号スペクトルを処理するように構成されることができる。
さらに、処理ユニット430は、そのスペクトル値が所定の値に等しい直近の先行点およびそのスペクトル値が所定の値に等しい直近の後続点を含む量子化された音声信号スペクトルのそれらのスペクトル係数のためだけに、前記係数が極値係数の1つであるかどうかを示すサイド情報を生成するように構成される。
このような情報は、極値決定器410によって処理ユニット430に提供される。
たとえば、このような情報は、そのスペクトル値が所定の値に等しい直近の先行点およびそのスペクトル値が所定の値に等しい直近の後続点を含む量子化された音声信号スペクトルのスペクトル係数の各々のため、前記係数が(例えば、ビット値1による)極値係数の1つであるか、または、前記係数が(例えば、ビット値0による)極値係数の1つでないかどうかを示す、ビットフィールドにおいて処理ユニット430によって格納されることができる。実施例において、復号器は、音声信号入力スペクトルを復元するためにこの情報を後ほど使用することができる。ビットフィールドは、固定長または信号に順応して選ばれた長さを有することができる。後者の場合、ビットフィールドの長さは、さらに、復号器に伝達される。
たとえば、処理ユニット430によって生成されるビットフィールド[000111111]は、(連続して順序付けられた)(量子化された)音声信号スペクトルに現れる最初の3つの「独立型」係数(それらのスペクトル値は所定の値に等しくないが、それらの先行点の、そして、それらの後続点のスペクトル値は所定の値に等しい)が極値係数でなく、次の6つの「独立型」係数は極値係数であることを示すものであるかもしれない。このビットフィールドは、図6の量子化されたMDCTスペクトル635に見られるが、最初の3つの「独立型」係数5、8、25は極値係数でなく、次の6つの「独立型」係数59、71、83、94、116、141が極値係数であるという状況を示す。
また、前記スペクトル係数の直近の先行点は量子化された音声信号スペクトルの範囲内で直ちに前記スペクトル係数に先行する他のスペクトル係数であり、そして、前記スペクトル係数の直近の後続点者は量子化された音声信号スペクトルの範囲内で直ちに前記スペクトル係数に続く別のスペクトル係数である。
以下に、実施例に従って符号化された音声信号スペクトルに基づいて音声出力信号を生成する装置が記載される。
図1は、実施例に従って符号化された音声信号スペクトルに基づいて音声出力信号を生成するこの種の装置を例示する。
装置は、復号化音声信号スペクトルを得るために符号化された音声信号スペクトルを処理するための処理ユニット110を含む。復号化音声信号スペクトルは複数のスペクトル係数を含み、スペクトル係数の各々は、符号化された音声信号スペクトルの範囲内でスペクトル位置およびスペクトル値を有し、スペクトル係数がスペクトル係数のシーケンスを形成するように、スペクトル係数は符号化された音声信号スペクトルの範囲内でそれらのスペクトル位置に従って連続して順序付けられる。
さらに、装置は、サイド情報(side info)を用いて復号化された音声信号スペクトルの1つ以上の擬似係数を決定するための擬似係数決定器120を含み、擬似係数の各々はスペクトル位置およびスペクトル値を有している。
さらに、装置は、修正された音声信号スペクトルを得るために、1つ以上の擬似係数を所定の値に設定するためのスペクトル修正ユニット130を含む。
さらに、装置は、時間領域変換信号を得るために、修正された音声信号スペクトルを時間領域に変換するためのスペクトル−時間変換ユニット140を含む。
さらに、装置は、時間領域発振器信号を生成するための制御可能な発振器150を含み、制御可能な発信器は1つ以上の擬似係数の少なくとも1つのスペクトル位置およびスペクトル値によって制御されている。
さらに、装置は、音声出力信号を得るために、時間領域変換信号と時間領域発信器信号とを混合するためのミキサー160を含む。
実施例において、ミキサーは、時間領域において、時間領域発信器信号に時間領域変換信号を加えることによって時間領域変換信号と時間領域発振器信号とを混合するように構成される。
処理ユニット110は、例えば、いかなる種類の音声復号器、例えば、MP3音声復号器、WMAのための音声復号器、WAVEファイルのための音声復号器、AAC音声復号器またはUSAC音声復号器であってもよい。
処理ユニット110は、例えば、文献〔8〕(ISO/IEC 14496-3:2005(E) - Information technology - Coding of audio-visual objects - Part 3: Audio, Subpart 4)に記載されているような、また文献〔9〕(ISO/IEC 14496-3:2009(E) - Information technology - Coding of audio-visual objects - Part 3: Audio, Subpart 4)に記載されているような音声復号器であってもよい。たとえば、処理ユニット430は、量子化された値の再スケーリング(「非量子化」)および/または、例えば、文献〔8〕に記載されているような時間的ノイズ形成ツールを含み、および/または処理ユニット430は、例えば、文献〔8〕に記載されているような知覚的なノイズ置換ツールを含む。
実施例によれば、スペクトル係数の各々は、直近の先行点および直近の後続点のうちの少なくとも1つを有し、前記スペクトル係数の直近の先行点は、シーケンスの中で前記スペクトル係数のすぐ前に先行するスペクトル係数のうちの1つであってもよく、前記スペクトル係数の直近の後続点は、シーケンスの中で前記スペクトル係数のすぐ後に続くスペクトル係数のうちの1つであってもよい。
擬似係数決定器120は、所定の値と異なるスペクトル値を有し、そのスペクトル値が所定の値に等しい直近の先行点を含み、そのスペクトル値が所定の値に等しい直近の後続点を含む、シーケンスの少なくとも1つのスペクトル係数を決定することによって、復号化された音声信号スペクトルの1つ以上の擬似係数を決定するように構成されることができる。実施例において、所定の値はゼロでもよく、そして、所定の値はゼロでもよい。
換言すれば、擬似係数決定器120は、復号化された音声信号スペクトルの係数のいくつかまたは全てに対して、それぞれ考慮した係数が所定の値と異なる(好ましくは、0と異なる)かどうか、先行する係数のスペクトル値が所定の値に等しい(好ましくは、0に等しい)かどうか、および続く係数のスペクトル値が所定の値に等しい(好ましくは、0に等しい)かどうかを決定する。
いくつかの実施例において、このような決定された係数は、(常に)擬似係数である。
しかしながら、他の実施例において、このような決定された係数は擬似係数候補であり(あるだけであり)、擬似係数であるかもしれないし、そうでないかもしれない。これらの実施例において、擬似係数決定器120は、所定の値と異なるスペクトル値を有し、そのスペクトル値が所定の値に等しい直近の先行点を含み、そのスペクトル値が所定の値に等しい直近の後続点を含む、少なくとも1つの擬似係数候補を決定するように構成される。
擬似係数決定器120は、それから、擬似係数候補が擬似係数であることをサイド情報が示しているかどうかを決定することにより、擬似係数候補が擬似係数であるかどうかを決定するように構成される。
たとえば、このようなサイド情報は、そのスペクトル値が所定の値に等しい直近の先行点およびそのスペクトル値が所定の値に等しい直近の後続点を含む量子化された音声信号スペクトルのスペクトル係数の各々に対して、前記係数が極値係数の1つ(例えば、ビット値1による)であるかどうか、または前記係数が極値係数の1つではない(例えば、ビット値0による)であるかどうかを示す、ビットフィールドにおいて擬似係数決定器120によって受信されることができる。
たとえば、ビットフィールド[000111111]は、(連続して順序付けられた)(量子化された)音声信号スペクトルに現れる最初の3つの「独立型」係数(それらのスペクトル値は所定の値に等しくないが、それらの先行点の、および、それらの後続点のスペクトル値は所定の値に等しい)は極値係数ではないが、次の6つの「独立型」係数は極値係数であることを示している。このビットフィールドは、図6の量子化されたMDCTスペクトル635に示されることができる状況を記載し、最初の3つの「独立型」係数5、8、25は、極値係数でなく、次の6つの「独立型」係数59、71、83、94、116、141は極値係数である。
スペクトル修正ユニット130は、復号化音声信号スペクトルから擬似係数を「削除する」ように構成されることができる。事実、スペクトル修正ユニットは、復号化音声信号スペクトルの擬似係数のスペクトル値を所定の値(好ましくは0)に設定する。(少なくとも1つの)擬似係数が(少なくとも1つの)制御可能な発振器150を制御するために必要なだけであるので、これは合理的である。このように、例えば、図6の量子化されたMDCTスペクトル635を考慮する。スペクトル635が復号化音声信号スペクトルと考えられる場合、スペクトル修正ユニット130は修正された音声信号スペクトルを得るために極値係数59、71、83、94、116および141のスペクトル値を設定して、スペクトルの他の係数を修正されていないままにするであろう。
スペクトル−時間変換ユニット140は、修正された音声信号スペクトルをスペクトル領域から時間領域に変換する。たとえば、修正された音声信号スペクトルは、MDCTスペクトルであってもよく、スペクトル−時間変換ユニット140はInverse Modified Discrete Cosine Transform(IMDCT)フィルタバンクであってもよい。他の実施例において、スペクトルはMDSTスペクトルであってもよく、スペクトル−時間変換ユニット140はInverse Modified Discrete Sine Transform(IMDST)フィルタバンクであってもよい。または、更なる実施例において、スペクトルはDFTスペクトルでもあってよく、スペクトル−時間変換ユニット140はInverse Discrete Fourier Transform(IDFT)フィルタバンクであってもよい。
制御可能な発振器150は発振器信号周波数を有する時間領域発振器信号を生成するように構成されることができ、その結果、発振器信号の発振器信号周波数が1つ以上の擬似係数のうちの1つのスペクトル位置に依存する。発振器によって生成される発振器信号は、時間領域正弦信号であってもよい。制御可能な発振器150は、1つ以上の擬似係数の1つのスペクトル値に応じて時間領域正弦信号の大きさを制御するように構成されることができる。
実施例によれば、擬似係数は符号付きの値であり、各々が符号成分を含む。発信器信号の発振器信号周波数が更に1つ以上の擬似係数の1つの符号成分に依存し、符号成分が第1の符号値を有するとき、発振器信号周波数が第1の周波数値を有し、符号成分が異なる第2の値を有するとき、発信器信号周波数が異なる第2の周波数値を有するように、制御可能な発振器150は時間領域発振器信号を生成するように構成される。
たとえば、図6のMDCTスペクトル635におけるスペクトル位置59で擬似係数を考察する。周波数8200Hzがスペクトル位置59に割り当てられる場合、および、周波数8400Hzがスペクトル位置60に割り当てられる場合、制御可能な発振器は、擬似係数のスペクトル値の符号が正であれば、例えば、発信器周波数を8200Hzに設定するように構成され、擬似係数のスペクトル値の符号が負であれば、例えば、発信器周波数を8300Hzに設定するように構成される。
このように、擬似係数のスペクトル値の符号は、制御可能な発振器が発振器周波数を擬似係数(例えば、スペクトル位置59)のスペクトル位置に割り当てられた周波数(例えば、8200Hz)に、または、擬似係数(例えば、スペクトル位置59)のスペクトル位置に割り当てられた周波数(例えば、8200Hz)と擬似係数のスペクトル位置にすぐに続くスペクトル位置(例えば、スペクトル位置60)に割り当てられた周波数(例えば、8400Hz)との間の周波数(例えば、8300Hz)に設定するかどうか、制御するために使用されることができる。
実施例において、制御可能な発振器150は、さらに、先行するフレームの擬似係数から引き出される1つ以上の外挿されたパラメータによって制御される。たとえば、制御可能な発振器150は、さらに、例えば、伝送の間のデータフレーム損失を隠すために、または、発振器制御の不安定な反応を滑らかにするために、前のフレームの擬似係数から引き出される外挿されたパラメータによって制御されることもできる。外挿されたパラメータは、例えば、スペクトル位置またはスペクトル値であってもよい。例えば、時間−周波数領域のスペクトル係数が考慮されるときに、瞬間t−1に関するスペクトル係数は第1フレームによって含まれることができる、そして、瞬間tに関するスペクトル係数は第2フレームに割り当てられることができる。たとえば、瞬間t−1に関する擬似係数のスペクトル値および/またはスペクトル位置は、瞬間tに関する現行フレームの外挿されたパラメータを得るために複製されることができる。
図2は、実施例を示し、装置は、1つ以上の擬似係数の更なる擬似係数のスペクトル位置およびスペクトル値によって制御される更なる時間領域発信器信号のための更なる制御可能な発振器252、254、256を含む。更なる制御可能な発振器252、254、256は、各々更なる時間領域発振器信号の1つを生成する。制御可能な発振器252、254、256の各々は、擬似係数の1つのスペクトル位置に基づいて発振器信号波長を進めるように構成される。および/または、制御可能な発振器252、254、256の各々は、擬似係数の1つのスペクトル値に基づいて発振器信号の大きさを進めるように構成される。
図1および図2のミキサー160は、音声出力信号を得るために、スペクトル時間の変換ユニット140によって生成される時間領域変換信号および1つ以上の制御可能な発振器150、252、254、256によって生成される1つ以上の時間領域発振器信号を混合するように構成される。ミキサー160は、時間領域変換信号および1つ以上の時間領域発振器信号の重ね合せによって、音声出力信号を生成することができる。
図3は、オリジナルの正弦波(左)とMDCT/IMDCTチェーンによって処理された後の正弦波(右)とを比較する2つの線図を示す。MDCT/IMDCTチェーンによって処理された後に、正弦波は、小鳥のさえずりのようなアーチファクトを含む。上で与えられた概念は、正弦波がMDCT/IMDCTチェーンによって処理され、その代わり、正弦波情報は擬似係数によって符号化され、および/または、正弦波は制御可能な発振器によって再生される。
いくつかの態様が装置の文脈に記載されているが、これらの態様も対応する方法の説明を表すことは明らかであり、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈に記載されている態様も、対応する装置の対応するブロックまたは部材または特徴の説明を表す。
発明の分解される信号は、デジタル記憶媒体に保存されることができるか、または例えばワイヤレス伝送媒体または例えばインターネットなどの有線の伝送媒体のような伝送媒体上に送られることができる。
特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアにおいて実施されることができる。実施はその上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えば、フレキシブルディスク、DVD、CD、ROM、PROM、EPROM、EEPROMまたはフラッシュメモリを使用して実行されることができ、それぞれの方法が実行されるように、それはプログラム可能なコンピュータシステムと協働する(または協働することができる)。
本発明によるいくつかの実施例は、電子的に読み込み可能な制御信号を有する一時的でないデータキャリアを含み、それらは、本願明細書において記載されている方法のうちの1つが実行されるように、プログラム可能なコンピュータシステムと協働することができる。
通常、本発明の実施例はプログラムコードを有するコンピュータプログラム製品として実施されることができ、コンピュータプログラム製品がコンピュータで動くときに、プログラムコードが方法の1つを実行するために実施される。プログラムコードは、例えば、機械読み取り可読キャリアに格納されることができる。
他の実施例は、本願明細書において記載されていて、機械読み取り可能キャリアに格納される方法の1つを実行するためのコンピュータプログラムを含む。
換言すれば、発明の方法の実施例は、コンピュータプログラムがコンピュータで動くとき、本願明細書において記載されている方法の1つを実行するためのプログラムコードを有するコンピュータプログラムである。
発明の方法の更なる実施例は、その上に記録されて、本願明細書において記載されている方法の1つを実行するためのコンピュータプログラムを含むデータキャリア(またはデジタル記憶媒体またはコンピュータ可読媒体)である。
発明の方法の更なる実施例は、本願明細書において記載されている方法の1つを実行するためのコンピュータプログラムを表しているデータ流または信号のシーケンスである。データ流または信号のシーケンスは、データ通信接続、例えばインターネットを介して転送されるように構成されることができる。
更なる実施例は、本願明細書に記載された方法の1つを実行するように構成または実行するのに適合した処理手段、例えばコンピュータまたはプログラム可能な論理装置を含む。
更なる実施例は、その上に、本願明細書において記載されている方法の1つを実行するためのコンピュータプログラムをインストールしたコンピュータを含む。
いくつかの実施例において、プログラム可能な論理装置(例えばフィールド・プログラマブル・ゲート・アレイ)は、本願明細書において記載されている方法の機能のいくつかまたは全てを実行するために用いることができる。いくつかの実施例において、フィールド・プログラマブル・ゲート・アレイは、本願明細書において記載されている方法の1つを実行するために、マイクロプロセッサと協働することができる。通常、方法は、いかなるハードウェア装置によっても好ましくは実行される。
上記した実施例は、本発明の原理のために、単に説明されているだけである。配置の変更および修正および本願明細書において記載されている詳細が他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許クレームの範囲だけによって制限され、本願明細書において実施例の説明および説明として示される具体的な詳細によって制限されないことが意図される。

Claims (31)

  1. 符号化された音声信号スペクトルに基づいて音声出力信号を生成する装置であって、
    複数のスペクトル係数を含む復号化音声信号スペクトルを得るために符号化された音声信号スペクトルを処理するための処理ユニット(110)であって、スペクトル係数の各々は符号化された音声信号スペクトルの範囲内でスペクトル位置およびスペクトル値を有し、スペクトル係数がスペクトル係数のシーケンスを形成するように、スペクトル係数は符号化された音声信号スペクトルの範囲内でそれらのスペクトル位置に基づいて連続して順序付けられる処理ユニット、
    復号化音声信号スペクトルの1つ以上の擬似係数を決定するための擬似係数決定器(120)であって、擬似係数の各々がスペクトル位置およびスペクトル値を有する擬似係数決定器、
    修正された音声信号スペクトルを得るために1つ以上の擬似係数を所定の値に設定するためのスペクトル修正ユニット(130)、
    時間領域変換信号を得るために修正された音声信号スペクトルを時間領域に変換するためのスペクトル−時間変換ユニット(140)、
    時間領域発振器信号を生成するための制御可能な発振器(150)であって、1つ以上の擬似係数の少なくとも1つのスペクトル位置およびスペクトル値によって制御される制御可能な発振器(150)、および
    音声出力信号を得るために時間領域変換信号と時間領域発振器信号とを混合するためのミキサー(160)を含む、装置。
  2. スペクトル係数の各々は直近の先行点および直近の後続点の少なくとも一方を有し、前記スペクトル係数の直近の先行点は、スペクトル係数のシーケンスの範囲内で前記スペクトル係数のすぐ前に先行するスペクトル係数の1つであり、前記スペクトル係数の直近の後続点は、シーケンスの範囲内で前記スペクトル係数のすぐ後に続くスペクトル係数のうちの1つであり、擬似係数決定器(120)は、所定の値と異なるスペクトル値を有し、そのスペクトル値が所定の値に等しい直近の先行点を有し、そのスペクトル値が所定の値に等しい直近の後続点を有するシーケンスの少なくとも1つのスペクトル係数を決定することにより復号化音声信号スペクトルの1つ以上の擬似係数を決定するように構成される、請求項1に記載の装置。
  3. 所定の値はゼロである、請求項2に記載の装置。
  4. 擬似係数決定器(120)は、そのスペクトル値が所定の値に等しい直近の先行点を含み、そのスペクトル値が所定の値に等しい直近の後続点を含む擬似係数候補としてシーケンスの少なくとも1つのスペクトル係数を決定することにより復号化音声信号スペクトルの1つ以上の擬似係数を決定するように構成され、
    擬似係数決定器(120)は、擬似係数候補が擬似係数であることをサイド情報が示すかどうかを決定することにより、擬似係数候補が擬似係数であるかどうかを決定するように構成される、請求項2または請求項3に記載の装置
  5. 発振器信号の発振器信号周波数が1つ以上の擬似係数の1つのスペクトル位置に依存するように、制御可能な発振器(150)は発振器信号周波数を有する時間領域発振器信号を生成するように構成される、請求項1ないし請求項4のいずれかに記載の装置。
  6. 擬似係数は、各々が符号成分を有する符号付きの値であり、
    制御可能な発振器(150)は、符号成分が第1の符号値を有するとき発振器信号周波数が第1の周波数値を有し、符号成分が異なる第2の値を有するとき発振器信号周波数が異なる第2の周波数値を有するように、発振器信号の発振器信号周波数がさらに1つ以上の擬似係数の1つの符号成分に依存するように、時間領域発振器信号を生成するように構成される、請求項5に記載の装置。
    方法。
  7. 制御可能な発振器(150)は時間領域発振器信号を生成するように構成され、スペクトル値が第3の値を有するときに発振器信号の大きさが第1の振幅値を有し、スペクトル値が異なる第4の値を有するときに発振器信号の大きさは異なる第2の振幅値を有するように、発振器信号の大きさが1つ以上の擬似係数の1つのスペクトル値に依存し、第4の値が第3の値より大きいとき第2の振幅値は第1の振幅値より大きい、請求項1ないし請求項6のいずれかに記載の装置。
  8. 制御可能な発振器(150)は、さらに、先行するフレームの擬似係数から引き出される1つ以上の外挿パラメータによって制御される、請求項1ないし請求項7のいずれかに記載の装置。
  9. 修正された音声信号スペクトルはMDCT係数を含むMDCTスペクトルであり、
    スペクトル−時間変換ユニット(140)は、復号化された音声信号スペクトルの少なくともいくつかの係数を時間領域に変換することにより、MDCTスペクトルをMDCT領域から時間領域に変換するように構成された、請求項1ないし請求項8のいずれかに記載の装置。
  10. ミキサー(160)は、時間領域において、時間領域発振器信号に時間領域変換信号を加えることにより、時間領域変換信号と時間領域発振器信号とを混合するように構成された、請求項1ないし請求項9のいずれかに記載の装置。
  11. 制御可能な発振器(150)によって生成される時間領域発振器信号は第1の時間領域発振器信号であり、
    さらに、装置は、1つ以上の更なる時間領域発振器信号を生成するための1つ以上の更なる制御可能な発振器(252、254、256)を含み、1つ以上の更なる制御可能な発振器(252、254、256)の各々は、1つ以上の更なる時間領域発振器信号の1つを生成するように構成され、更なる制御可能な発振器(252、254、256)の各々は、1つ以上の擬似係数の少なくとも1つのスペクトル位置およびスペクトル値によって制御され、
    ミキサー(160)は、音声出力信号を得るために、第1の時間領域発振器信号、1つ以上の更なる時間領域発振器信号および時間領域変換信号を混合するように構成される、請求項1ないし請求項9のいずれかに記載の装置。
  12. 音声信号の音声信号入力スペクトルを符号化するための装置であって、音声信号入力スペクトルは複数のスペクトル係数を含み、スペクトル係数の各々は音声信号入力スペクトルの範囲内でスペクトル位置とスペクトル値とを有し、スペクトル係数は音声信号入力スペクトルの範囲内のスペクトル位置に従って連続して順序付けられてスペクトル係数がスペクトル係数のシーケンスを形成し、スペクトル係数の各々は1つ以上の先行点と1つ以上の後続点の少なくとも1つを有し、前記スペクトル係数の各々の先行点はシーケンスの範囲内の前記スペクトル係数に先行するスペクトル係数の1つであり、前記スペクトル係数の各々の後続点はシーケンスの範囲内の前記スペクトル係数に続くスペクトル係数の1つである装置であって、装置は、
    1つ以上の極値係数を決定するための極値決定器(410)、
    極値係数の少なくとも1つの先行点の少なくとも1つまたは後続点の少なくとも1つのスペクトル値を所定の値に設定することによって修正された音声信号スペクトルを得るために音声信号入力スペクトルを修正するためのスペクトル修正器(420)であって、スペクトル修正器(420)が1つ以上の極値係数のスペクトル値を所定の値に設定せず、または1つ以上の極値係数の少なくとも1つを擬似係数で置換するように構成され、擬似係数のスペクトル値は所定の値とは異なるものであるスペクトル修正器、
    符号化された音声信号スペクトルを得るために修正された音声信号スペクトルを処理するための処理ユニット(430)、および
    サイド情報を生成して送信するためのサイド情報発生器(440)であって、サイド情報発生器(440)はスペクトル修正器(420)によって生成された修正された音声信号入力スペクトルの範囲内で1つ以上の擬似係数候補を位置付けるように構成され、サイド情報発生器(440)は選択された候補として擬似係数候補の少なくとも1つを選択するように構成され、サイド情報が擬似係数として選択された候補を示すようにサイド情報発生器(440)はサイド情報を生成するように構成されるサイド情報発生器を含み、
    極値係数の各々は、そのスペクトル値がその先行点の少なくとも1つのスペクトル値より大きく、そのスペクトル値がその後続点の少なくとも1つのスペクトル値より大きいスペクトル係数の1つであるように、極値決定器(410)は1つ以上の極値係数を決定するように構成され、
    スペクトル係数の各々は前記スペクトル係数と関連した比較値を有し、極値係数の各々は、その比較値がその先行点の少なくとも1つの比較値より大きく、その比較値がその後続点の少なくとも1つの比較値より大きいスペクトル係数の1つであるように、極値決定器(410)は1つ以上の極値係数を決定するように構成される、装置。
  13. サイド情報発生器(440)はサイド情報のサイズを送信するように構成される、請求項12に記載の装置。
  14. 音声信号入力スペクトルのスペクトル係数の少なくともいくつかが修正された音声信号スペクトルの中で修正されないままにされるように、スペクトル決定器(420)は音声信号入力スペクトルを修正するように構成される、請求項12または請求項13に記載の装置。
  15. スペクトル係数の各々は、その先行点の1つとして直近の先行点およびその後続点の1つとして直近の後続点の少なくとも1つを有し、前記スペクトル係数の直近の先行点は、シーケンスの中で前記スペクトル係数のすぐ前に先行するスペクトル係数の1つであり、前記スペクトル係数の直近の後続点は、シーケンスの中で前記スペクトル係数のすぐ後に続くスペクトル係数の1つであり、
    スペクトル修正器(420)は、修正された音声信号スペクトルを得るために極値係数の少なくとも1つの直近の先行点または直近の後続点のスペクトル値を所定の値に設定することにより音声信号入力スペクトルを修正するように構成され、スペクトル修正器(420)は、1つ以上の極値係数のスペクトル値を所定の値に設定しないように構成され、または、1つ以上の極値係数の少なくとも1つを擬似係数で置換するように構成され、擬似係数のスペクトル値は所定の値とは異なり、
    極値係数の各々は、そのスペクトル値がその直近の先行点のスペクトル値より大きく、そのスペクトル値がその直近の後続点のスペクトル値より大きいスペクトル値の1つであるように、極値決定器(410)は1つ以上の極値係数を決定するように構成され、または、スペクトル係数の各々は、前記スペクトル係数に関連する比較値を有し、極値係数の各々は、その比較値がその直近の先行点の比較値より大きく、その比較値がその直近の後続手点の比較値より大きいスペクトル係数の1つであるように、極値決定器(410)は1つ以上の極値係数を決定するように構成される、請求項12ないし請求項14のいずれかに記載の装置。
  16. 1つ以上の極小係数の各々は、そのスペクトル値がその先行点の1つのスペクトル値より小さく、そのスペクトル値がその後続点の1つのスペクトル値より小さいスペクトル係数の1つであるように、極値決定器(410)は1つ以上の極小係数を決定するように構成され、または、スペクトル係数の各々は前記スペクトル係数に関連する比較値を有し、極値決定器(410)は1つ以上の極小係数を決定するように構成され、極小係数の各々は、その比較値がその先行点の1つの比較値より小さく、その比較値がその後続点の1つの比較値より小さいスペクトル係数の1つであり、
    スペクトル修正器(420)は、極値係数の1つ以上および極小係数の1つ以上のスペクトル値または比較値に基づいて代表値を決定するように構成され、代表値は所定の値とは異なり、スペクトル修正器(420)は、前記スペクトル値を代表値に設定することにより音声信号入力スペクトルの係数の1つのスペクトル値を変えるように構成される、請求項15に記載の装置。
  17. スペクトル修正器(420)は、極値係数の1つの比較値またはスペクトル値の1つの間の値の差が閾値より小さいかどうかを決定するように構成され、
    音声信号入力スペクトルのスペクトル係数の少なくともいくつかのスペクトル値が、値の差が閾値より小さいかどうかに応じて修正された音声信号スペクトルにおいて修正されていないままにされるように、スペクトル修正器(420)は音声信号入力スペクトルを修正するように構成される、請求項16に記載の装置。
  18. サブシーケンスのそれぞれは、複数の後続のスペクトル係数音声信号入力スペクトルを含み、後続のスペクトル係数はそれらのスペクトル位置に従ってサブシーケンスの範囲内で連続して順序付けられ、サブシーケンスの各々は前記連続して順序付けられたサブシーケンスにおいて最初である最初の成分と、前記連続して順序付けられたサブシーケンスにおいて最後である最後の成分とを含み、サブシーケンスの各々は極小係数の正確に2つおよび極値係数の正確に1つを含み、極小係数の1つはサブシーケンスの最初の成分であり、極小係数の他の1つはサブシーケンスの最後の成分であるように、極値決定器(410)はスペクトル値のシーケンスの1つ以上のサブシーケンスを決定するように構成され、
    スペクトル修正器(420)はサブシーケンスの1つの係数のスペクトル値または比較値に基づいて代表値を決定するように構成され、スペクトル修正器(420)は前記スペクトル値を代表値に設定することによって前記サブシーケンスの係数の1つのスペクトル値を変えるように構成される、請求項16または請求項17に記載の装置。
  19. スペクトル修正器(420)は、サブシーケンスの前記1つの係数の比較値の二乗の合計を決定することによって代表値を決定するように構成される、請求項18に記載の装置。
  20. 極値決定器(410)は、複数の加重係数を得るためにサブシーケンスの各スペクトル係数のための比較値および位置値の積を決定することにより、第1の合計を得るために加重係数を合計することにより、第2の合計を得るためにサブシーケンスの全てのスペクトル係数の比較値を合計することにより、中間結果を得るために第1の合計を第2の合計で割ることにより、および重心係数を得るために中間結果に最も近い値への丸めを適用することにより、重心係数を決定するように構成され、スペクトル修正器(420)は、所定の値に対する重心係数ではない、サブシーケンスの全てのスペクトル係数のスペクトル値を設定するように構成され、または
    極値決定器(410)は、複数の加重係数を得るためにサブシーケンスの各スペクトル係数のためのスペクトル値および位置値の積を決定することにより、第1の合計を得るために加重係数を合計することにより、第2の合計を得るためにサブシーケンスの全てのスペクトル係数のスペクトル値を合計することにより、中間結果を得るために第1の合計を第2の合計で割ることにより、および重心係数を得るために中間結果に最も近い値への丸めを適用することにより、重心係数を決定するように構成され、スペクトル修正器(420)は、所定の値に対する重心係数ではない、サブシーケンスの全てのスペクトル係数のスペクトル値を設定するように構成される、請求項18または請求項19に記載の装置。
  21. 所定の値はゼロである、請求項12ないし請求項20のいずれかに記載の装置。
  22. 各スペクトル係数の比較値は、音声信号のエネルギー保存変換から生じている更なるスペクトルの更なる係数の二乗値である、請求項12ないし請求項21のいずれかに記載の装置。
  23. 各スペクトル係数の比較値は、音声信号のエネルギー保存変換から生じている更なるスペクトルの更なる係数の振幅値である、請求項12ないし請求項22のいずれかに記載の装置。
  24. 更なるスペクトルはComplex Modified Discrete Cosine Transformスペクトルであり、エネルギー保存変換はComplex Modified Discrete Cosine Transformである、請求項12ないし請求項23のいずれかに記載の装置。
  25. スペクトル修正器(420)は微調整情報を受信するように構成され、
    音声信号入力スペクトルのスペクトル係数は、それぞれ符号成分を含む符号値であり、
    微調整情報が修正された音声信号スペクトルを得るための第1の微調整状態であるとき、スペクトル修正器(420)は1つ以上の極値係数の、または、擬似係数の1つのスペクトル値の符号成分を第1の符号値に設定するように構成され、
    微調整情報が修正された音声信号スペクトルを得るための異なる第2の微調整状態にあるとき、スペクトル修正器(420)は1つ以上の極値係数の、または、擬似係数の1つのスペクトル値の符号成分を異なる第2の符号値に設定するように構成される、請求項12ないし請求項24のいずれかに記載の装置。
  26. 音声信号入力スペクトルはMDCT係数を含むMDCTスペクトルである、請求項12ないし請求項25のいずれかに記載の装置。
  27. 処理ユニット(430)は、量子化された音声信号スペクトルを得るために修正された音声信号スペクトルを量子化するように構成され、
    処理ユニット(430)は、符号化された音声信号スペクトルを得るために量子化された音声信号スペクトルを処理するようにさらに構成され、
    処理ユニット(430)は、そのスペクトル値が所定の値に等しい直近の先行点およびそのスペクトル値が所定の値に等しい直近の後続点を有する量子化された音声信号スペクトルのそれらのスペクトル係数のためにだけ前記スペクトル係数が極値係数の1つであるかどうかを示しているサイド情報を生成するように構成され、
    前記スペクトル係数の直近の先行点は量子化された音声信号スペクトルの範囲内で前記スペクトル係数のすぐ前に先行する他のスペクトル係数であり、前記スペクトル係数の直近の後続点は量子化された音声信号スペクトルの範囲内で前記スペクトル係数のすぐ後に続く他のスペクトル係数である、請求項12ないし請求項26のいずれかに記載の装置。
  28. スペクトル修正器(420)は、極値係数の1つを、前記極値係数のスペクトル値または比較値から、前記極値係数の先行点の1つの前記極値係数のスペクトル値または比較値から、または、前記極値係数の後続点の1つの前記極値係数のスペクトル値または比較値から引き出されたスペクトル値を有する擬似係数で置換するように構成される、請求項12ないし請求項27のいずれかに記載の装置。
  29. 符号化された音声信号スペクトルに基づいて音声出力信号を生成する方法であって、スペクトル係数の各々は、符号化された音声信号スペクトルの範囲内でスペクトル位置およびスペクトル値を有し、スペクトル係数がスペクトル係数のシーケンスを形成するように、スペクトル係数は符号化された音声信号スペクトルの範囲内でそれらのスペクトル位置に従って連続して順序付けられる方法であって、この方法は、
    複数のスペクトル係数を含む復号化音声信号スペクトルを得るために符号化された音声信号スペクトルを処理するステップ、
    復号化音声信号スペクトルの1つ以上の擬似係数であって、擬似係数の各々はスペクトル位置およびスペクトル値を有する擬似係数を決定するステップ、
    修正された音声信号スペクトルを得るために1つ以上の擬似係数を所定の値に設定するステップ、
    時間領域変換信号を得るために修正された音声信号スペクトルを時間領域に変換するステップ、
    1つ以上の擬似係数の少なくとも1つのスペクトル位置およびスペクトル値によって制御される制御可能な発振器によって時間領域発振器信号を生成するステップ、および
    音声出力信号を得るために時間領域変換信号と時間領域発振器信号とを混合するステップを含む、方法。
  30. 複数のスペクトル係数を含む音声信号入力スペクトルを符号化する方法であって、スペクトル係数の各々は、音声信号入力スペクトルの範囲内のスペクトル位置、スペクトル値および比較値を有し、スペクトル係数がスペクトル係数のシーケンスを形成するようにスペクトル係数は音声信号入力スペクトルの範囲内でそれらのスペクトル位置に従って連続して順序付けられ、スペクトル係数の各々は、1つ以上の先行点および1つ以上の後続点の少なくとも1つを有し、前記スペクトル係数の先行点の各々はシーケンスの範囲内で前記スペクトル係数に先行するスペクトル係数の1つであり、前記スペクトル係数の後続点の各々はシーケンスの範囲内で前記スペクトル係数に続くスペクトル係数の1つである方法であって、この方法は、
    1つ以上の極値係数を決定するステップ、
    極値係数の少なくとも1つの先行点の少なくとも1つまたは後続点の少なくとも1つのスペクトル値を所定の値に設定することによって修正された音声信号スペクトルを得るために音声信号入力スペクトルを修正するステップであって、音声信号入力スペクトルを修正することは、1つ以上の極値係数を所定の値に設定しないことによって、または、1つ以上の極値係数の少なくとも1つを擬似係数で置換することによって実行され、擬似係数のスペクトル値は所定の値と異なるものであるステップ、
    符号化された音声信号スペクトルを得るために修正された音声信号スペクトルを処理するステップ、および
    サイド情報を生成して送信するステップであって、サイド情報は、修正された音声信号入力スペクトルの範囲内で1つ以上の擬似係数候補の位置を決めることによって生成され、サイド情報は選択された候補として擬似係数候補の少なくとも1つを選択することによって生成され、サイド情報が擬似係数として選択された候補を示すようにサイド情報が生成されるステップを含み、
    極値係数の各々は、そのスペクトル値がその先行点の少なくとも1つのスペクトル値より大きく、そのスペクトル値がその後続点の少なくとも1つのスペクトル値より大きいスペクトル係数の1つであるように、1つ以上の極値係数が決定され、または、
    スペクトル係数の各々は、前記スペクトル係数に関連する比較値を有し、極値係数の各々は、その比較値がその先行点の少なくとも1つの比較値より大きく、その比較値がその後続点の少なくとも1つの比較値より大きいスペクトル係数の1つであるように、1つ以上の極値係数が決定される、方法。
  31. コンピュータまたは信号処理器で実行されるときに、請求項29または30の方法を実行するためのコンピュータプログラム。
JP2014508848A 2012-01-20 2012-12-21 正弦波置換を用いた音声符号化および復号化のための装置および方法 Active JP5600822B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261588998P 2012-01-20 2012-01-20
US61/588,998 2012-01-20
PCT/EP2012/076746 WO2013107602A1 (en) 2012-01-20 2012-12-21 Apparatus and method for audio encoding and decoding employing sinusoidal substitution

Publications (2)

Publication Number Publication Date
JP2014517932A JP2014517932A (ja) 2014-07-24
JP5600822B2 true JP5600822B2 (ja) 2014-10-08

Family

ID=47603553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014508848A Active JP5600822B2 (ja) 2012-01-20 2012-12-21 正弦波置換を用いた音声符号化および復号化のための装置および方法

Country Status (19)

Country Link
US (1) US9343074B2 (ja)
EP (1) EP2673776B1 (ja)
JP (1) JP5600822B2 (ja)
KR (1) KR101672025B1 (ja)
CN (1) CN103493130B (ja)
AR (1) AR089772A1 (ja)
AU (1) AU2012366843B2 (ja)
BR (1) BR112013026452B1 (ja)
CA (2) CA2848275C (ja)
ES (1) ES2545053T3 (ja)
HK (1) HK1192640A1 (ja)
MX (1) MX350686B (ja)
MY (1) MY157163A (ja)
PL (1) PL2673776T3 (ja)
RU (1) RU2562383C2 (ja)
SG (1) SG194706A1 (ja)
TW (1) TWI503815B (ja)
WO (1) WO2013107602A1 (ja)
ZA (1) ZA201308073B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105122357B (zh) * 2013-01-29 2019-04-23 弗劳恩霍夫应用研究促进协会 频域中基于lpc进行编码的低频增强
KR101757338B1 (ko) 2013-06-21 2017-07-26 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 오디오 신호의 대체 프레임에 대한 스펙트럼 계수들을 획득하기 위한 방법과 장치, 오디오 디코더, 오디오 수신기 및 오디오 신호들의 전송을 위한 시스템
CN104934032B (zh) * 2014-03-17 2019-04-05 华为技术有限公司 根据频域能量对语音信号进行处理的方法和装置
US9672843B2 (en) 2014-05-29 2017-06-06 Apple Inc. Apparatus and method for improving an audio signal in the spectral domain
EP3067889A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for signal-adaptive transform kernel switching in audio coding
CN107924683B (zh) * 2015-10-15 2021-03-30 华为技术有限公司 正弦编码和解码的方法和装置
US10146500B2 (en) 2016-08-31 2018-12-04 Dts, Inc. Transform-based audio codec and method with subband energy smoothing
US10839814B2 (en) * 2017-10-05 2020-11-17 Qualcomm Incorporated Encoding or decoding of audio signals
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483878A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
WO2019195269A1 (en) * 2018-04-04 2019-10-10 Harman International Industries, Incorporated Dynamic audio upmixer parameters for simulating natural spatial variations
US11031024B2 (en) 2019-03-14 2021-06-08 Boomcloud 360, Inc. Spatially aware multiband compression system with priority
TWI789577B (zh) * 2020-04-01 2023-01-11 同響科技股份有限公司 音訊資料重建方法及系統

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0215915A4 (en) * 1985-03-18 1987-11-25 Massachusetts Inst Technology TREATMENT OF ACOUSTIC WAVE SHAPES.
US4703357A (en) * 1985-12-24 1987-10-27 Rca Corporation Adaptive television deghosting system
US4686570A (en) * 1985-12-24 1987-08-11 Rca Corporation Analog-to-digital converter as for an adaptive television deghosting system
DE8706928U1 (ja) * 1987-05-14 1987-08-06 Ant Nachrichtentechnik Gmbh, 7150 Backnang, De
CA2066851C (en) * 1991-06-13 1996-08-06 Edwin A. Kelley Multiple user digital receiver apparatus and method with combined multiple frequency channels
JP3241098B2 (ja) * 1992-06-12 2001-12-25 株式会社東芝 多方式対応の受信装置
EP0638869B1 (de) * 1993-08-13 1995-06-07 Siemens Aktiengesellschaft Verfahren zur hochauflösenden Spektralanalyse bei mehrkanaligen Beobachtungen
US5640416A (en) * 1995-06-07 1997-06-17 Comsat Corporation Digital downconverter/despreader for direct sequence spread spectrum communications system
US6356555B1 (en) * 1995-08-25 2002-03-12 Terayon Communications Systems, Inc. Apparatus and method for digital data transmission using orthogonal codes
US6266644B1 (en) * 1998-09-26 2001-07-24 Liquid Audio, Inc. Audio encoding apparatus and methods
US6606129B1 (en) * 1998-12-04 2003-08-12 Samsung Electronics Co., Ltd. Digital filtering of DTV I-F signal to avoid low-end boost of the baseband signal resulting from in-phase synchrodyne
US6665638B1 (en) * 2000-04-17 2003-12-16 At&T Corp. Adaptive short-term post-filters for speech coders
JP2002182695A (ja) * 2000-12-14 2002-06-26 Matsushita Electric Ind Co Ltd 高能率符号化方法及び装置
KR100448892B1 (ko) * 2002-06-04 2004-09-18 한국전자통신연구원 고전력 증폭기의 비선형 왜곡 보상을 위한 전치 왜곡 장치및 그 방법
KR20050021484A (ko) * 2002-07-16 2005-03-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
EP1527442B1 (en) * 2002-08-01 2006-04-05 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus and audio decoding method based on spectral band replication
US20040083110A1 (en) * 2002-10-23 2004-04-29 Nokia Corporation Packet loss recovery based on music signal classification and mixing
KR100467617B1 (ko) * 2002-10-30 2005-01-24 삼성전자주식회사 개선된 심리 음향 모델을 이용한 디지털 오디오 부호화방법과그 장치
CN100349207C (zh) * 2003-01-14 2007-11-14 北京阜国数字技术有限公司 高频耦合的伪小波5声道音频编/解码方法
DE10345995B4 (de) * 2003-10-02 2005-07-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Verarbeiten eines Signals mit einer Sequenz von diskreten Werten
JP2006311353A (ja) * 2005-04-28 2006-11-09 Samsung Electronics Co Ltd ダウンコンバータおよびアップコンバータ
JP5032314B2 (ja) * 2005-06-23 2012-09-26 パナソニック株式会社 オーディオ符号化装置、オーディオ復号化装置およびオーディオ符号化情報伝送装置
KR100888474B1 (ko) * 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
JP2009524101A (ja) * 2006-01-18 2009-06-25 エルジー エレクトロニクス インコーポレイティド 符号化/復号化装置及び方法
JP4454604B2 (ja) * 2006-06-19 2010-04-21 シャープ株式会社 信号処理方法、信号処理装置及びプログラム
KR101299155B1 (ko) * 2006-12-29 2013-08-22 삼성전자주식회사 오디오 부호화 및 복호화 장치와 그 방법
JP4594942B2 (ja) 2007-01-16 2010-12-08 コベルコ建機株式会社 建設機械の冷却構造
WO2008114075A1 (en) * 2007-03-16 2008-09-25 Nokia Corporation An encoder
ES2358786T3 (es) 2007-06-08 2011-05-13 Dolby Laboratories Licensing Corporation Derivación híbrida de canales de audio de sonido envolvente combinando de manera controlable componentes de señal de sonido ambiente y con decodificación matricial.
BRPI0816557B1 (pt) * 2007-10-17 2020-02-18 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Codificação de áudio usando upmix
US8527265B2 (en) * 2007-10-22 2013-09-03 Qualcomm Incorporated Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs
DE102008015702B4 (de) * 2008-01-31 2010-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur Bandbreitenerweiterung eines Audiosignals
CA2821035A1 (en) * 2008-03-10 2009-09-17 Sascha Disch Device and method for manipulating an audio signal having a transient event
EP3296992B1 (en) * 2008-03-20 2021-09-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for modifying a parameterized representation
KR101613975B1 (ko) 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP5587061B2 (ja) 2009-09-30 2014-09-10 三洋電機株式会社 抵抗溶接用通電ブロック、この通電ブロックを用いた密閉電池の製造方法及び密閉電池
US9117458B2 (en) * 2009-11-12 2015-08-25 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
US20120212375A1 (en) * 2011-02-22 2012-08-23 Depree Iv William Frederick Quantum broadband antenna

Also Published As

Publication number Publication date
RU2562383C2 (ru) 2015-09-10
TW201346891A (zh) 2013-11-16
WO2013107602A1 (en) 2013-07-25
US20140074486A1 (en) 2014-03-13
EP2673776B1 (en) 2015-06-17
KR20130137235A (ko) 2013-12-16
US9343074B2 (en) 2016-05-17
CN103493130B (zh) 2016-05-18
AU2012366843A1 (en) 2013-10-10
MX350686B (es) 2017-09-13
AR089772A1 (es) 2014-09-17
ZA201308073B (en) 2015-01-28
AU2012366843B2 (en) 2015-08-06
KR101672025B1 (ko) 2016-11-02
CA2831176C (en) 2014-12-09
JP2014517932A (ja) 2014-07-24
RU2013148123A (ru) 2015-05-10
SG194706A1 (en) 2013-12-30
CN103493130A (zh) 2014-01-01
CA2831176A1 (en) 2013-07-25
TWI503815B (zh) 2015-10-11
HK1192640A1 (en) 2014-08-22
PL2673776T3 (pl) 2015-12-31
BR112013026452A2 (pt) 2017-06-27
BR112013026452B1 (pt) 2021-02-17
MY157163A (en) 2016-05-13
ES2545053T3 (es) 2015-09-08
EP2673776A1 (en) 2013-12-18
CA2848275C (en) 2016-03-08
MX2013012409A (es) 2013-12-06
CA2848275A1 (en) 2014-04-03

Similar Documents

Publication Publication Date Title
JP5600822B2 (ja) 正弦波置換を用いた音声符号化および復号化のための装置および方法
JP5350393B2 (ja) オーディオコーディングシステム、オーディオデコーダ、オーディオエンコーディング方法及びオーディオデコーディング方法
JP7005564B2 (ja) スペクトルパターンを利用することによってシヌソイドおよびスイープを効率的に合成するための装置および方法
KR101508819B1 (ko) 멀티 모드 오디오 코덱 및 이를 위해 적응된 celp 코딩
KR101205593B1 (ko) 시간 워핑 윤곽선 계산기, 오디오 신호 인코더, 인코딩된 오디오 신호 표현, 방법 및 컴퓨터 프로그램
MX2011000362A (es) Esquema de codificacion/decodificacion de audio a baja velocidad binaria y conmutadores en cascada.
JP6285939B2 (ja) 後方互換性のある多重分解能空間オーディオオブジェクト符号化のためのエンコーダ、デコーダおよび方法
CN106537499A (zh) 用于使用独立噪声填充生成增强信号的装置和方法
US20100250260A1 (en) Encoder
CN117940994A (zh) 基于长期预测和/或谐波后置滤波生成预测频谱的处理器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140818

R150 Certificate of patent or registration of utility model

Ref document number: 5600822

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250