JP4174072B2 - 心理音響学的アダプティブ・ビット割り当てを用いたマルチ・チャネル予測サブバンド・コーダ - Google Patents

心理音響学的アダプティブ・ビット割り当てを用いたマルチ・チャネル予測サブバンド・コーダ Download PDF

Info

Publication number
JP4174072B2
JP4174072B2 JP52131497A JP52131497A JP4174072B2 JP 4174072 B2 JP4174072 B2 JP 4174072B2 JP 52131497 A JP52131497 A JP 52131497A JP 52131497 A JP52131497 A JP 52131497A JP 4174072 B2 JP4174072 B2 JP 4174072B2
Authority
JP
Japan
Prior art keywords
audio
subband
channel
subframe
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP52131497A
Other languages
English (en)
Other versions
JP2000501846A (ja
JP2000501846A5 (ja
Inventor
スマイス,スティーヴン・エム
スマイス,マイケル・エイチ
スミス,ウイリアム・ポール
Original Assignee
ディー・ティー・エス, インコーポレーテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディー・ティー・エス, インコーポレーテッド filed Critical ディー・ティー・エス, インコーポレーテッド
Publication of JP2000501846A publication Critical patent/JP2000501846A/ja
Publication of JP2000501846A5 publication Critical patent/JP2000501846A5/ja
Application granted granted Critical
Publication of JP4174072B2 publication Critical patent/JP4174072B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G10L19/0208Subband vocoders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Description

発明の背景
発明の分野
本発明は、マルチチャネル・オーディオ信号の高品質のエンコーディングおよびデコーディングに関し、更に特定すれば、完全/不完全再生フィルタ、予測/非予測サブバンド・エンコーディング、過渡(transient)分析、および心理音響学的(psycho-acoustic)/最少二乗平均誤差(mmse)ビット割り当てを時間、周波数および多数のオーディオ・チャネルに対して用い、デコーディングのための計算負荷を制限して、データ・ストリームを生成するサブバンド・エンコーダに関するものである。
関連技術の説明
既知の高品質オーディオおよび音楽コーダは、2つの広義の方式のクラスに分けることができる。第1に、心理音響学的マスク計算にしたがって、分析ウインドウ内でサブバンドまたは係数サンプルを適応的に量子化する、中ないし高周波数分解能サブバンド/変換コーダ(medium to high frequency resolution subband/transform coder)がある。第2に、ADPCMを用いてサブバンド・サンプルを処理することにより、劣っている周波数分解能を補う低分解のサブバンド・コーダがある。
第1のクラスのコーダは、信号のスペクトル・エネルギに応じてビット割り当てを適合化させることによって、一般的な音楽信号の大きな短期間スペクトル分散(variance)を利用する。これらのコーダの高い分解能によって、周波数変換された信号を直接心理音響学的モデルに適用することが可能となる。このモデルは、聴取(hearing)の臨界帯域理論に基づくものである。ドルビーのAC−3オーディオ・コーダ、トッド(Todd)その他の「AC−3:オーディオ伝達および格納のための柔軟な知覚的コーディング(AC-3:Flexible Perceptual Coding for Audio Transmission and Storage)」コンベンション・オブ・ザ・オーディオ・エンジニアリング・ソサイティ(Convention of Audio Engineering Society,1994年2月)は、典型的に、各PCM信号上で1024−fftの計算を行い、各チャネルにおいて心理音響学的モデルを1024個の周波数係数に適用し、各係数に対するビット・レートを決定する。ドルビー・システムは、ウインドウ・サイズを256サンプルに減少して過渡を分離する過渡(transient)分析を用いる。AC−3コーダは、所有の逆方向適応アルゴリズム(backward adaptation algorithm)を用いて,ビット割り当て(allocation)をデコードする。これによって、エンコードされたオーディオ・データと共に送出される、ビット割り当て情報の量が減少する。その結果、オーディオに使用可能な帯域幅が、順方向適応方式よりも拡大し、音質の改善に至る。
第2のクラスのコーダでは、差分サブバンド信号の量子化は、固定されているか、あるいはサブバンドの全てまたはいくつかにおける量子化ノイズ・パワーを最少に抑えるように適合化するが、心理音響学的マスキング理論についての明示的な引用は全くない。直接心理音響学的歪みスレッショルドは、ビット割り当て処理に先立ってプレディクタ(予測器)の挙動を推定することが困難であることのために、予測/差分サブバンド信号には適用できないことは、一般的に受け入れられている。問題は、予測プロセスにおける量子化ノイズのインタラクション(相互作用)によって更に複雑化する。
これらのコーダが動作するのは、知覚的臨界オーディオ信号が、通常、長い時間期間にわたって周期的であるからである。この周期性が、予測差分(差動)量子化に利用されている。信号を少数のサブバンドに分けることによって、ノイズ変調の可聴効果が減少し、オーディオ信号における長期のスペクトルの分散の利用が可能となる。サブバンドの数が増えた場合、各サブバンド内の予測ゲインが減少し、ポイントによっては、予測ゲインがゼロになる場合もある。
デジタル・シアター・システム(Digital Theater System)、L.P.(DTS)は、オーディオ・コーダを利用し、各PCMオーディオ・チャネルを4個のサブバンドにフィルタし、予測器係数をサブバンド・データに適応させる逆(backward)ADPCMエンコーダを用いて、各サブバンドをエンコードする。ビット割り当ては固定され、各チャネル毎に同一に行われ、低い方の周波数サブバンドには、高い方の周波数サブバンドよりも割り当てられるビット数が多い。ビット割り当ては、例えば、4:1のような、固定の圧縮率を与える。DTSコーダについては、マイク スミス(Mike Smyth)およびステファン スミス(Stephen Smyth)の「APT−X100:放送用の短遅延、低ビット−レート、サブバンドADPCMオーディオ・コーダ(APT-X100:A LOW-DELAY,LOW BIT-RATE,SUB-BAND ADPCM AUDIO CODER FOR BROADCASTING)」(第10回国際AES会議1991年の論文誌、第41ないし56ページ(Proceedings of the 10th International AES Conference 1991,pp.41-56))に記載されている。
双方のタイプのオーディオ・コーダは、他にも共通の限界がある。第1に、既知のオーディオ・コーダは、固定のフレーム・サイズを用いて、エンコード/デコードを行う。即ち、1フレームによって表されるサンプル数又は時間期間が固定している。その結果、エンコード化送信(伝送)レートがサンプリング・レートに対して増加するに連れて、フレーム内のデータ量(バイト)も増大する。したがって、デコーダのバッファ・サイズは、最悪の場合の状況に対処し、データのオーバーフローを避けるように設計しなければならない。このために、デコーダの構成要素の中で主に費用のかかるRAMの量が増大する。第2に、既知のオーディオ・コーダは、48kHzより高いサンプリング周波数に拡張するのは容易ではない。これを行うと、既存のデコーダは、新しいエンコーダに要求されるフォーマットとの互換性が失われる。この将来の互換性の欠如は、重大な制約となる。更に、PCMデータをエンコードするために用いられている既知のフォーマットは、再生が開始可能になる前にデコーダによってフレーム全体が読み取られなければならない。このため、遅延又はレイテンシが聴取者に不快感を与えないようにするために、バッファ・サイズを約100msのデータ・ブロックに制限することが必要となる。
加えて、これらのコーダは24kHzまでのエンコード能力を有するが、しばしば高い方のサブバンドの欠落を生じる。これは、高周波数の信頼性又は再生された(再構築された)信号のアンビアンス(ambiance)を損なうものである。既知のエンコーダは、典型的に、2種類のエラー検出方式の一方を採用している。最も一般的なのは、リード・ソロモン(Read Solomon)・コーディングであり、エンコーダは、エラー検出ビットを、データ・ストリーム内のサイド情報(side in formation)に付加する。これによって、サイド情報(副情報)におけるあらゆるエラーの検出および訂正が容易に行われる。しかしながら、オーディオ・データ内のエラーは未検出のまま通過する。別の手法には、フレームおよびオーディオ・ヘッダの無効コード状態をチェックするものがある。例えば、特定の3ビット・パラメータは、3つの有効状態のみを有するようにすることができる。他の5状態の1つが識別された場合、エラーが発生したはずである。これは、単に検出機能を与えるに過ぎず、オーディオ・データにおけるエラーを検出するものではない。
発明の概要
上述の問題に鑑み、本発明は、広い範囲の圧縮レベルに対処する柔軟性を有し、高ビット・レートにおいてCD品質より良い品質が得られ、かつ低いビット・レートにおいて知覚品質(perceptual quality)が改善され、再生のレイテンシを減らし、エラー検出を簡略化し、プレエコー歪み(pre-echo distortion)を改善し、将来の更に高いサンプリング・レートへの拡張性を有する、マルチ・チャネル・オーディオ・コーダを提供する。
これを達成するに当たり、各オーディオ・チャネルを一連のオーディオ・フレームに枠付け(window、ウインドウ化)し、フレームをベースバンド範囲および高周波数範囲に分離(filter、フィルタ)し、各ベースバンド信号を複数のサブバンドに分解するサブバンド・コーダを用いる。このサブバンド・コーダは、通常、ビット・レートが低い場合は、不完全(non-perfect)フィルタを選択してベースバンド信号を分解するが、ビット・レートが十分に高い場合は、完全フィルタを選択する。高周波数コーディング・ステージ(段)が、ベースバンド信号とは独立して高周波数信号をエンコードする。ベースバンド・コーディング段は、VQコーダおよびADPCMコーダを含み、これらが高い方の周波数サブバンドおよび低い方の周波数サブバンドをそれぞれエンコードする。各サブバンド・フレームは、少なくとも1つのサブフレームを含み、その各々は更に、複数のサブ−サブフレームに分割される。各サブフレームを分析し、ADPCMコーダの予測ゲインを推定(概算)する。この際、予測ゲインが低い場合、予測機能をディスエーブルし、過渡(transient、トランジエント)を検出して、過渡前SFおよび過渡後SFを調節する。
グローバル・ビット管理(GBM:global bit management)システムが、現フレーム内の多数のオーディオ・チャネル、多数のサブバンド、およびサブフレームの間の差を利用して、各サブフレームにビットを割り当てる。GBMシステムは、最初に、ビットを各サブフレームに、予測ゲインによって修正されたそれ自体のSMRを計算して心理音響学的モデルを満足することによって、割り当てる。次に、GBMシステムは、MMSE手法にしたがって、あらゆる残りのビットを割り当て、直ちにMMSE割り当てに切り替えるか、あるいは全体的なノイズ下限を低下させるか、あるいは徐々にMMSE割り当てに変えていく。
マルチプレクサが、sync(同期)ワード、フレーム・ヘッダ、オーディオ・ヘッダおよび少なくとも1つのサブフレームを含む出力フレームを発生する。これらの出力フレームは、伝送レートでデータ・ストリームに多重化される。フレーム・ヘッダは、ウインドウ・サイズおよび現出力フレームのサイズを含む。オーディオ・ヘッダは、オーディオ・フレームに対する、パッキング配列およびコーディング・フォーマットを含む。各オーディオ・サブフレームは、他のいずれのサブフレームも参照せずに当該オーディオ・サブフレームをデコードするためのサイド情報(side information)と、高周波数VQコードと、各チャネルの低い方の周波数サブバンドがパックされ且つ他のチャネルと多重化される、複数のベースバンド・オーディオ・サブ−サブフレームと、各チャネルの高周波数範囲のオーディオ・データがパックされ且つ他のチャネルと多重化され、マルチ・チャネル・オーディオ信号が複数のデコーディング・サンプリング・レートでデコード可能とする高周波数オーディオ・ブロックと、サブフレームの終端を確認するアンパックsyncとを含む。
ウインドウ・サイズは、送信(伝送)レートのエンコーダ・サンプリング・レートに対する比の関数として選択し、出力フレームのサイズが所望の範囲に収まるように制約を加える。圧縮の量が比較的少ない場合、ウインドウ・サイズを小さくして、フレーム・サイズが上限の最大値を超過しないようにする。その結果、デコーダは、固定の比較的少量のRAMを備える入力バッファの使用が可能となる。圧縮量が比較的多い場合、ウインドウ・サイズを拡大する。その結果、GBMシステムは、より大きな時間ウインドウにわたってビットを分配することができ、これによってエンコーダの性能が向上する。
本発明のこれらおよびその他の特徴や利点は、以下の好適実施形態の詳細な説明を、添付図面および表と共に検討することにより、当業者には明白となろう。
【図面の簡単な説明】
図1は、本発明による5チャネル・オーディオ・コーダのブロック図である。
図2は、マルチ・チャネル・エンコーダのブロック図である。
図3は、ベースバンド・エンコーダおよびデコーダのブロック図である。
図4aおよび図4bは、それぞれ、高サンプリング・レート・エンコーダおよびデコーダのブロック図である。
図5は、単一チャネル・エンコーダのブロック図である。
図6は、可変伝送レートに対する、フレーム当たりのバイト対フレーム・サイズのグラフである。
図7は、NPRおよびPR再生フィルタについての振幅応答のグラフである。
図8は、再生フィルタについてのサブバンド・エリアシングのグラフである。
図9は、NPRおよびPRフィルタについての歪み曲線のグラフである。
図10は、単一サブバンド・エンコーダの概略図である。
図11aおよび図11bは、それぞれ、サブフレームに対する過渡検出およびスケール・ファクタの計算を示す。
図12は、量子化TMODESのためのエントロピー・コーディング・プロセスを示す。
図13は、スケール・ファクタ量子化プロセスを示す。
図14は、SMRを発生するための、信号マスクと、当該信号の周波数応答との畳み込み(コンボリューション)を示す。
図15は、人間の聴覚応答のグラフである。
図16は、サブバンドに対するSMRのグラフである。
図17は、心理音響学的およびmmseビット割り当てに対するエラー信号のグラフである。
図18aおよび図18bは、それぞれ、mmse「ウオータフィリング」ビット割り当てプロセスを示す、サブバンド・エネルギ・レベルのグラフおよび逆(反転)グラフである。
図19は、データ・ストリームにおける単一フレームのブロック図である。
図20は、デコーダの概略図である。
図21は、エンコーダのハードウエアによる実施のブロック図である。
図22は、デコーダのハードウエアによる実施のブロック図である。
表の簡単な説明
表1は、最大フレーム・サイズ対サンプリング・レートおよび伝送レートを表にまとめたものである。
表2は、最大許容フレーム・サイズ(バイト)対サンプリング・レートおよび伝送レートを表にまとめたものである。
表3は、ABITインデックス値、量子化レベル数および得られるサブバンドSNRの間の関係を示す。
発明の詳細な説明
マルチ・チャネル・オーディオ・コーディング・システム
図1に示すように、本発明は、既知のエンコーディング方式の双方の特徴と、単一のマルチ・チャネルオーディオ・コーダ10における追加の特徴とを組み合わせる。エンコーディング・アルゴリズムは、スタジオ品質レベル、即ち、「CDよりも高い」品質で実行し、様々な圧縮レベル、サンプリング・レート、ワード長、チャネル数および知覚品質に対して、広い適用範囲を提供するように設計されている。
エンコーダ12は、典型的に48kHz、16ないし24ビットの間のワード長でサンプリングされる、多数チャネルのPCMオーディオ・データ14を、適切には32ないし4096kbpsの範囲の既知の伝送レートでのデータ・ストリーム16にエンコードする。既知のオーディオ・コーダとは異なり、本発明のアーキテクチャは、ベースバンド・サンプリング・レートまたはいずれかの中間サンプリング・レートに設計された既存のデコーダの互換性を失わせることなく、より高いサンプリング・レート(48ないし192kHz)に拡張することができる。更に、PCMデータ14に枠(ウインドウ)を設け、一度に1フレームずつエンコードする。好ましくは、各フレームを、1〜4サブフレームに分割する。オーディオ・ウインドウのサイズ、即ち、PCMサンプルの数は、サンプリング・レートおよび伝送レートの相対的な値に基づき、デコーダ18がフレーム当たり読み出す出力フレームのサイズ、即ち、バイト数を、5.3ないし8kバイトに制約することが適切である。
その結果、デコーダにおいて、入来データ・ストリームをバッファするのに必要なRAM量は比較的少なく抑えられ、デコーダのコストが低下する。低レートでは、より大きなウインドウ・サイズを用いてPCMデータをフレーム化することができ、これによってコーディング処理能力が向上する。ビット・レートが高い程小さいウインドウ・サイズを用いて、データの制約を満たさなければならない。これは、必然的にコーディング処理能力を低下させるが、レートが高い場合、これはさほど重要ではない。また、PCMデータをフレーム化することによって、デコーダ18は、出力フレーム全体がバッファに読み込まれる前に、再生を開始することができる。これは、オーディオ・コーダの遅延又はレイテンシを減少させることになる。
エンコーダ12は、高分解能フィルタバンクを用いる。これは、ビット・レートに基づいて、非完全(NPR)再構築(再生)フィルタおよび完全(PR)再構築(再生)フィルタ間で切り替え、各オーディオ・チャネル14を多数のサブバンド信号に分解することが好ましい。予測およびベクトル量子化(VQ)コーダを用いて、下位および上位の周波数サブバンドをそれぞれエンコードする。開始VQサブバンドは、固定することができ、あるいは、電流信号特性の関数として動的(ダイナミック)に決定することも可能である。ジョイント(結合)周波数コーディング(joint frequency coding)を低ビット・レートで用い、高い周波数サブバンドにおいて多数のチャネルを同時にエンコードしてもよい。
予測(predictive)コーダは、サブバンド予測ゲインに基づいて、APCMモードとADPCMモードとの間で切り替えることが好ましい。過渡分析器が、各サブバンド・サブフレームをプレエコー信号およびポストエコー信号(サブ−サブフレーム)に区分し、プレエコー信号およびポストエコー信号に対してそれぞれのスケール・ファクタを計算することによって、プレエコー歪みを減少させる。エンコーダは、コーディング効率を最適化するためのそれぞれの必要性(心理音響学的またはmse)に応じて、現フレームに対して、PCMチャネルおよびサブバンドの全てにわたって、使用可能なビット・レートを適応的に割り当てる。予測コーディングと心理音響学的モデリングを組み合わせることによって、低ビット・レート・コーディングの効率を高め、こうして目的とする透過性を達成するビット・レートを低下させる。コンピュータまたはキーパッドのようなプログラマブル・コントローラ19がエンコーダ12とインターフェースし、所望のビット・レート、チャネル数、PRまたはNPR再構築、サンプリング・レートおよび伝送レートのようなパラメータを含むオーディオ・モード情報を中継する。
エンコードされた信号および側波帯(サイドバンド)情報をパックし、データ・ストリーム16に多重化することにより、デコード計算負荷が所望の範囲内に収まるようにする。データ・ストリーム16は、CD、デジタル・ビデオ・ディスク(DVD:digital video disk)、または直接放送衛星のような伝送媒体20上で、エンコードされるかあるいはこれらを通じて放送される。デコーダ18は、個々のサブバンド信号をデコードし、インバース・フィルタリング処理を行って、マルチ・チャネル・オーディオ信号22を発生する。この信号22は、元のマルチ・チャネル・オーディオ信号14と主観的に同等である。ホーム・シアター・システムまたはマルチメディア・コンピュータのようなオーディオ・システム24が、ユーザのためにこのオーディオ信号を再生する。
マルチチャネル・エンコーダ
図2に示すように、エンコーダ12は、複数の個別のチャネル・エンコーダ26を含む。これらは5つが適当であり(左前、中央、右前、左後および右後)、エンコードされたサブバンド信号(エンコード・サブバンド信号)28のそれぞれのセットを生成する。エンコード・サブバンド信号28はチャネル当たり32個のサブバンド信号が適当である。エンコーダ12は、グローバル・ビット管理(GBM:global bit management)システム30を採用し、共通ビット・プールからチャネル間で、1つのチャネル内のサブバンド間で、所与のサブバンド内の個別のフレーム内で、ビットを動的に割り当てる。エンコーダ12は、ジョイント周波数コーディング技法も用い、高い方の周波数サブバンドにおいて、チャネル間相関を利用することも可能である。更に、エンコーダ12は、特定的に知覚可能でない高い方の周波数サブバンド上でVQを使用し、基本的な高周波数信頼性および非常に低いビット・レートにおけるアンビアンスを得ることができる。このように、コーダは、多数のチャネルの、例えば、サブバンドのrms値と心理音響学的マスキング・レベルのような異種の信号要求や、各チャネル内の周波数および所与のフレーム内の時間にわたる信号エネルギの非均一な分布を利用する。
ビット割り当ての概要
GBMシステム30は、最初に、どのチャネルのサブバンドが、ジョイント周波数コード化されるかを決定し、そのデータを平均化し、次いで、どのサブバンドがVQを用いてエンコードされるかを決定し、それらのビットを使用可能なビット・レートから差し引く。どのサブバンドをVQにという決定は、スレッショルド周波数より高い全てのサブバンドはVQであるという点において演繹的に行うか、あるいは各フレーム内の個々のサブバンドの心理音響学的マスキング効果に基づいて行うことができる。その後、GMBシステム30は、心理音響学的マスキングを用いて、ビット(ABIT)を残りのサブバンドに割り当て、デコードされたオーディオ信号の対象となる音質の最適化を行う。追加のビットが使用可能な場合、エンコーダは、純粋なmmse方式、即ち、「ウオータフィリング(waterfilling)」に切り替え、サブバンドの相対的rms値に基づいて全てのビットを割り当てし直し、エラー信号のrms値を最少に抑えることができる。これは、非常に高いビット−レートで適用可能である。好適な手法は、心理音響学的ビット割り当てを保持し、mmse方式にしたがって追加のビットのみを割り当てることである。これによって、心理音響学的マスキングによって作成されるノイズ信号の形状を保持するが、ノイズ・フロア(下限、floor)を下方向に均一にシフトする。
あるいは、この好適な手法を修正して、rmsと心理音響学的レベルの差にしたがって、追加のビットを割り当てるようにすることも可能である。その結果、心理音響学的割り当ては、ビット−レートが高くなるに連れて、mmse割り当ての形態となり、2つの技法間で円滑な遷移が行われる。上述の技法は、固定ビット・レート・システムに特定して適用可能である。あるいは、エンコーダ12は、主観的にまたはmseで、歪みレベルをセットし、全体的なビット・レートを変化させて歪みレベルを維持することができる。マルチプレクサ32が、指定されたデータ・フォーマットにしたがって、サブバンド信号およびサイド情報をデータ・ストリーム16に多重化する。データ・フォーマットの詳細については、図20において以下で論ずる。
ベースバン・エンコーディング
8ないし48kHzの範囲のサンプリング・レートでは、チャネル・エンコーダ26は、図3に示すように、48kHzのサンプリング・レートで動作する、ユニフォーム(均一)512−タップ・32−バンド分析フィルタ・バンク34を用い、各チャネルのオーディオ・スペクトル0〜24kHzを、サブバンド当たり750Hzの帯域を有する32のサブバンドに分割する。コーディング・ステージ(段)36は、各サブバンド信号をコード化し、それらを圧縮データ・ストリーム16に多重化する(38)。デコーダ18は、圧縮データ・ストリームを受け取り、アンパッカー(unpacker)40を用いて各サブバンドのためにコード化データを分離し、各サブバンド信号42をデコードし、各チャネル毎に、512−タップ・32−バンド・ユニフォーム補間フィルタ・バンク44を用いて、PCMデジタル・オーディオ信号(Fsamp=48kHz)を再構築(再生)する。
本アーキテクチャでは、コーディング戦略の全て、例えば、48、96または192kHzのサンプリング・レートは、32バンド・エンコーディング/デコーディング・プロセスを、例えば、0〜24kHz間の最低(ベースバンド)オーディオ周波数に用いる。したがって、今日48kHzサンプリング・レートに基づいて設計され構築されているデコーダは、更に高い周波数成分を利用するように設計される将来のエンコーダとの互換性を維持する。既存のデコーダは、ベースバンド信号(0〜24kHz)を読み取り、これより高い周波数ではエンコードされた信号を無視する。
高サンプリング・レート・エンコーディング
48〜96kHzの範囲のサンプリング・レートでは、チャネル・エンコーダ26は、好ましくは、オーディオ・スペクトルを2つに分割し、ユニフォーム32−バンド分析フィルタ・バンクを下側の半分に用い、8バンド分析フィルタ・バンクを上側の半分に使用する。図4aおよび図4bに示すように、オーディオ・スペクトル0〜48kHzは、256タップ・2バンド・デシメーション・プレフィルタ・バンク46を用いて最初に分割され、バンド当たり24kHzのオーディオ帯域幅を与える。下側のバンド(0〜24kHz)は、図3において先に説明したように、分割され、32の均一バンドにエンコードされる。しかしながら、上側のバンド(24〜48kHz)は、8個の均一バンドに分割されエンコードされる。8バンド・デシメーション/補間フィルタ・バンク48の遅延が、32バンド・フィルタ・バンクのそれに等しくない場合、遅延補償段50を、24〜48kHz信号経路のどこかに設けて、デコーダにおける2バンド再結合フィルタ・バンクの前に、双方の時間波形がそろうことを保証しなければならない。96kHzサンプリング・エンコーディング・システムでは、24〜48kHzのオーディオ・バンドは384サンプルだけ遅延され、次いで128タップ補間フィルタ・バンクを用いて8個の均一バンドに分割される。3kHzサブバンドの各々をエンコードし(52)、0〜24kHzバンドからのコード化データと共にパックし(54)、圧縮されたデータ・ストリーム(圧縮データ・ストリーム)16を形成する。
デコーダ18に到達すると、圧縮データ・ストリーム16はアンパックされ(56)、32バンド・デコーダ(0〜24kHz領域)および8バンド・デコーダ(24〜48kHz領域)双方に対するコードは分離され、それらの各デコード段42および58にそれぞれ供給される。8個および32個のデコードされたサブバンドは、それぞれ、128タップ・ユニフォーム補間フィルタ・バンク60および512タップ・ユニフォーム補間フィルタ・バンク44を用いて再構築される。デコードされたサブバンドは、続いて、256タップ・2バンド・ユニフォーム補間フィルタ・バンク62を用いて再結合され、サンプリング・レートが96kHzの単一PCMデジタル・オーディオ信号を生成する。デコーダが圧縮化データ・ストリームの半分のサンプリング・レートで動作することが望ましい場合、これは、上側のバンドのエンコード・データ(24〜48kHz)を破棄し、0〜24kHzオーディオ領域内の32サブバンドのみをデコードすることによって、都合よく達成することができる。
チャネル・エンコーダ
上述のコーディング戦略の全てでは、32バンド・エンコーディング/デコーディング・プロセスを、0〜24kHz間のオーディオ帯域幅のベースバンド部分に対して実行する。図5に示すように、フレーム・グラバ(frame grabber)64がPCMオーディオ・チャネル14にウインドウを設け、連続するデータ・フレーム66に区分化する。PCMオーディオ・ウインドウは、連続する入力サンプルの数を規定し、それに対してエンコーディング・プロセスがデータ・ストリームにおける出力フレームを生成する。ウインドウ・サイズは、圧縮量、即ち、伝送レートのサンプリング・レートに対する比率に基づいてセットし、各フレームにおけるエンコードされるデータ量を制限する。連続する各データ・フレーム66は、32バンド・512タップFIRデシメーション・フィルタ・バンク34によって、32個の均一な周波数バンド68に分割される。各サブバンドから出力されるサンプルは、バッファされ、32バンド・コーディング段36に印加される。
分析段70(図10ないし図19に詳細に示す)が、バッファされたサブバンド・サンプルについて、最適予測器係数、差分(差動)量子化ビット割り当ておよび最適量子化スケール・ファクタを生成する。また、分析段70は、どのサブバンドがVQであるか、およびこれらの決定がなされない場合、どれをジョイント周波数コード化するのかを決定することができる。このデータ、即ち、サイド情報は、選択されたADPCM段72、VQ段73またはジョイント周波数コーディング(JFC)段74、およびデータ・マルチプレクサ32(パッカー)に順方向に供給される。次に、サブバンド・サンプルは、ADPCMまたはVQプロセスによってエンコードされ、量子化コードはマルチプレクサに入力される。JFC段74は、実際にはサブバンドのサンプルをエンコードしないが、どのチャネルのサブバンドが結合され、データ・ストリーム内のどこにそれらを配置するかを示すコードを生成する。各サブバンドからの量子化コードおよびサイド情報は、データ・ストリーム16の中にパックされ、デコーダに伝達される。
デコーダ18に到達すると、データ・ストリームは、デマルチプレクス、即ち、アンパックされ(unpack、パックを解かれ)個々のサブバンドに戻される(40)。スケール・ファクタおよびビット割り当ては、最初にインバース量子化器75に、各サブバンドに対する予測器係数(predictor coefficient)と共に実装(install)される。次いで、ADPCMプロセス76またはインバースVQプロセス77を用いて直接的に、またはインバースJFCプロセス78を用いて、指定されたサブバンドについて、差分コードを再生する。サブバンドは最終的に32バンド補間フィルタ・バンク44を用いて併合され、単一のPCMオーディオ信号22に戻される。
PCM信号のフレーム化
図6に示すように、図5に示したフレーム・グラバ64は、伝送レートが所与のサンプリング・レートに対して変化するのに連れて、ウインドウ79のサイズを変化させて、出力フレーム80当たりのバイト数を、例えば、5.3kバイトおよび8kバイトの間に収まるように制限する。表1および表2は、設計者が、所与のサンプリング・レートおよび伝送レートに対して、最適なウインドウ・サイズおよびデコーダのバッファ・サイズ(フレーム・サイズ)をそれぞれ選択できるようにする設計表である。低伝送レートでは、フレーム・サイズは比較的大きくすることができる。このため、エンコーダは、時間的にわたって平坦でない分散分布のオーディオ信号を利用し、オーディオ・コーダの性能を改善することができる。高いレートでは、フレーム・サイズを小さくして、バイト総数がデコーダのバッファから溢れないようにする。その結果、設計者は、デコーダに8kバイトのRAMを備え、全ての伝送レートを満足させることができる。これによって、デコーダのコスト削減を図る。一般的に、オーディオ・ウインドウのサイズは、以下の式で与えられる。
オーディオ・ウインドウ=(フレーム・サイズ)*Fsamp*(8/Trate
ここで、フレーム・サイズはデコーダのバッファのサイズであり、Fsampはサンプリング・レートであり、Trateは伝送レートである。オーディオ・ウインドウのサイズは、オーディオ・チャネルの数とは独立している。しかしながら、チャネル数が増えるに連れて、所望の伝送レートを維持するために圧縮量も増大させなければならない。
Figure 0004174072
Figure 0004174072
サブバンド・フィルタリング
32バンド・512タップ・ユニフォーム・デシメーション・フィルタバンク34は、図5に示す32の均一(ユニフォーム)なサブバンド68にデータ・フレーム66を分割するために、2つのポリフェーズ・フィルタバンク(polyphase filterbank)から選択する。2つのフィルタバンクは、再構築精度に対してサブバンド・コーディング・ゲインをトレード・オフする、異なる再生(再構築)特性を有する。一方のクラスのフィルタを、完全再構築(PR:perfect reconstruction)フィルタと呼ぶ。PRデシメーション(エンコーディング)・フィルタおよびその補間(デコーディング)フィルタが連続して配置されると、再生(再構築)された信号は完全となる。この場合の完全とは、24ビットの分解能で、0.5lsb以内と定義する。他方のクラスのフィルタを、不完全(NPR:non-perfect reconstruction)フィルタと呼ぶ。何故なら、再生された信号が、フィルタリング・プロセスの不完全なエリアシング・キャンセレーション特性に伴う、非ゼロのノイズ下限を有するからである。
単一サブバンドのためのNPRフィルタおよびPRフィルタそれぞれの伝達関数82および84を、図7に示す。NPRフィルタは完全な再生を行うための制約を受けないので、これらは、PRフィルタよりも、かなり大きい近ストップバンド阻止(NSBR:near stop band rejection)比、即ち、パスバンドの第1サイド・ローブに対する比率を呈する(110dBに対して85dB)。図8に示すように、フィルタのサイドローブのために、自然に第3サブバンド内に位置する信号86が、隣接するサブバンド内にエリアシングする。サブバンド・ゲインは、隣接するサブバンドにおける信号の阻止(rejection)の尺度となるので、フィルタのオーディオ信号をデコリレート(decorrelate)する能力を示す。NPRフィルタはPRフィルタよりもNSBR比がかなり大きいので、サブバンド・ゲインもかなり大きめである。その結果、NPRフィルタはより良いエンコーディング効率を与える。
図9に示すように、圧縮データ・ストリームにおける合計の歪みは、全体としてのビット・レートがPRフィルタおよびNPRフィルタ双方に対して高くなるに連れて減少する。しかしながら、低いレートでは、これら2つのタイプのフィルタ間のサブバンド・ゲイン性能の差は、NPRフィルタに関連するノイズ下限よりも大きい。したがって、NPRフィルタの関連する歪み曲線90は、PRフィルタの関連する歪み曲線92よりも下に位置する。つまり、低いレートでは、オーディオ・コーダはNPRフィルタ・バンクを選択する。ある点94において、エンコーダの量子化エラーは、NPRフィルタのノイズ下限よりも低下し、ADPCMコーダに追加のビットを加えても、追加の効果は得られなくなる。この点において、オーディオ・コーダはPRフィルタ・バンクに切り替える。
ADPCMエンコーディング
ADPCMエンコーダ72は、H個の以前の再生されたサンプルの線型の組み合わせから、予測サンプルp(n)を生成する。次に、この予測サンプルを、入力x(n)から減算し、差サンプルd(n)を与える。差サンプルをRMS(またはPEAK)スケール・ファクタで除算することによって調整し(scale、スケール化し)、差サンプルのRSM振幅を、量子化器特性Qのそれに一致させる。スケール化した差サンプルud(n)は、現サンプルに対して割り当てられたビット数ABITによって決定される、Lレベルのステップ−サイズSZで、量子化器特性に適用される。量子化器は、スケール化された各差サンプルud(n)に対して、レベル・コードQL(n)を生成する。これらのレベル・コードは、最終的にデコーダADPCM段に伝達される。プレディクタ(予測器)の履歴を更新するために、Qのものと同一の特性を有するインバース量子化器1/Qを用いて、量子化器レベル・コードQL(n)を局部的にデコードし、量子化スケール化差サンプル
Figure 0004174072
を生成する。サンプル
Figure 0004174072
をRMS(またはPEAK)スケール・ファクタと乗算することによって、これを再スケール化し、
Figure 0004174072
を生成する。元の入力サンプルx(n)の量子化バージョン
Figure 0004174072
は、初期の予測サンプルp(n)を量子化差サンプル
Figure 0004174072
に加算することによって再構築される。次に、このサンプルを用いて、予測器履歴を更新する。
ベクトル量子化
予測器係数および高周波数サブバンド・サンプルは、ベクトル量子化(VQ)を用いてエンコードする。予測器VQは、4サンプルのベクトル次元と、サンプル当たり3ビットのビット・レートとを有する。最終的なコードブックは、したがって、次元4の4096個のコードベクトルから成る。一致ベクトル(matching vector)の探索(サーチ)は、2レベルのツリーとして構築され、ツリー内の各ノードは64個のブランチを有する。最上位レベルは64ノードのコードベクトルを格納する。これらは、探索プロセスを助けるためにエンコーダにおいて必要とされるのみでである。最下位レベルは、4096個の最終コードベクトルと接触する。これらは、エンコーダおよびデゴーダ双方において必要とされる。各探索には、次元4の128のMSE計算が必要である。最上位レベルにおけるコードブックおよびノード・ベクトルは、LBG法を用いて、5百万個以上の予測係数トレーニング・ベクトル(training vector)によってトレーニングされる。トレーニング・ベクトルは、正の予測ゲインを呈しつつ広い範囲のオーディオ素材をコード化する全てのサブバンドについて蓄積される。トレーニング・セット(training set)におけるテスト・ベクトルのために、約30dBの平均SNRが得られる。
高周波数VQは、32サンプルのベクトル寸法(サブフレームの長さ)、およびサンプル当たり0.3125ビットのビット・レートを有する。したがって、最終コードブックは、次元32の1024のコードベクトルから成る。一致ベクトルの探索は、2レベル・ツリーとして構築され、ツリー内の各ノードは32個のブランチを有する。最上位レベルは32ノードのコードベクトルを格納する。これらは、エンコーダにおいて必要とされるのみである。最下位レベルは1024の最終コードベクトルを含む。これらは、エンコーダおよびデコーダ双方において必要とされる。各探索について、次元32の64の次元32のMSE計算が必要である。最上位レベルにおけるコードブックおよびノード・ベクトルは、LBG法を用いて、7百万を超える高周波数サブバンド・サンプル・トレーニング・ベクトルによってトレーニングされる。これらのベクトルを構成するサンプルは、広い範囲のオーディオ素材に対して、48kHzのサンプリング・レートではサブバンド16ないし32の出力から蓄積される。48kHzのサンプリング・レートでは、トレーニング・サンプルは、12ないし24kHzの範囲のオーディオ周波数を表す。トレーニング・セットにおけるテスト・ベクトルについては、約3dBの平均SNRが期待される。3dBは小さなSNRであるが、これらの高い周波数において高周波数忠実度またはアンビアンスを得るには十分である。これは、高周波数サブバンドを単に欠落させる既知の技法よりは、知覚的にはるかに優れている。
ジョイント周波数コーディング
ビット・レートが非常に低いアプリケーションでは、全体的な再生の忠実度は、2個以上のオーディオ・チャネルからの高周波数サブバンド信号を独立してコード化する代わりに、それらの和のみをコード化することにより、改善することができる。結合(ジョイント)周波数コーディングが可能なのは、高周波数サブバンドは同様のエネルギ分布を有することが多く、人間の聴覚系が主に感知するのは、高周波数成分の微細な構造ではなく、それらの「強度(インテンシティ)」であるからである。したがって、再構築された平均信号は、いずれのビット・レートにおいても、知覚的に重要な低周波数をコード化するためにより多くのビットが使用可能なので、全体的に良好な忠実度を与える。
ジョイント周波数コーディング・インデックス(JOINX:joint frequency coding indexes)は、直接デコーダに伝達され、どのチャネルおよびサブバンドが結合されたか、およびデータ・ストリームのどこにエンコードされた信号が位置するのかを示す。デコーダは、指定されたチャネル内の信号を再生(再構築)し、次いでこれを他のチャネルの各々にコピーする。次に、各チャネルは、その特定RMSスケール・ファクタにしたがってスケール化される。ジョイント周波数コーディングは、それらのエネルギ分布の類似性に基づいて時間信号を平均化するので、再構築の忠実度は低下する。したがって、その用途は、典型的には、低ビット・レートの用途および主に10〜20kHzの信号に限定される。中間および高ビット・レートの用途では、ジョイント周波数コーディングは、典型的には、ディスエーブルされる。
サブバンド・エンコーダ
ADPCM/APCMプロセスを用いてエンコードする単一側波帯のためのエンコーディング・プロセス、特に図5に示す分析段70およびADPCMコーダ72ならびに図2に示すグローバル・ビット管理システム30の相互作用について、図10に詳細に示す。図11ないし図19は、図13に示すコンポーネントのプロセスを詳細に示す。フィルタバンク34は、PCMオーディオ信号14を、32のサブバンド信号x(n)に分割し、これらを各サブバンド・サンプル・バッファ96に書き込む。4096サンプルのオーディオ・ウインドウ・サイズを想定すると、各サブバンド・サンプル・バッファ96は、128サンプルの完全なフレームを格納し、これを4つの32サンプル・サブフレームに分割する。ウインドウ・サイズが1024サンプルの場合、単一の32サンプル・サブフレームが生成される。サンプルx(n)は分析段70に向けられ、予測係数、予測器モード(PMODE)、過渡モード(TMODE)、およびスケール・ファクタ(SF)をサブ各フレームについて決定する。また、サンプルx(n)はGMBシステム30にも供給され、これは、オーディオ・チャネル当たりのサブバンド当たりの各サブフレーム毎に、ビット割り当て(ABIT)を決定する。その後、サンプルx(n)は、一度に1サブフレームずつ、ADPCMコーダ72に渡される。
最適予測係数の推定(概算)
四次であることが適している、Hの予測係数は、サブバンド・サンプルx(n)の1ブロックにわたって最適化された標準的な自己相関法98、即ち、ワイナー−ホッフ(Weiner-Hoph)またはユール−ウオーカ(Yule-Walker)の式を用いて、各サブフレーム毎に別個に発生する。
最適な予測係数の量子化
4つの予測器係数の各セットは、好ましくは、上述の4要素、3探索、12ビット・ベクトル・コードブック(係数当たり3ビット)を用いて、量子化する。12ビット・ベクトル・コードブックは、標準的クラスタリング・アルゴリズムを用いて所望の確率分布に最適化された4096の係数ベクトルを含む。ベクトル量子化(VQ)サーチ100は、それ自体と最適な係数の間で、最も低い重みづけされた二乗平均平方根誤差を呈する係数ベクトルを選択する。次に、各サブフレームに対する最適な係数を、それらの「量子化」ベクトルで置き換える。インバースVQ LUT101を用いて、量子化予測器係数をADPCMコーダ72に供給する。
予測差信号d(n)の推定(概算)
ADPCMに伴う重要な難問は、差サンプル・シーケンスd(n)が、実際の回帰的プロセス72に先立って、容易に予測できないことである。順方向適応サブバンドADPCMの基本的要件の1つとして、量子化器に対する適切なビット割り当てを計算して量子化器が再構築されたサンプルにおける既知の量子化エラーまたはノイズ・レベルを生成するように、差信号エネルギがADPCMコーディングの前にわかっている、ということがあげられる。差信号エネルギの知識は、エンコーディングの前に最適な差スケール・ファクタを決定することを可能にするためにも必要である。
しかしながら、差信号エネルギは、入力信号の特性に依存するだけでなく、予測器の性能にも依存する。予測器の次数や予測器係数の最適性のようにわかっている制限は別として、予測器の性能は、再生されたサンプル内に誘発される量子化エラー又はノイズのレベルによる影響も受ける。量子化ノイズは、最終ビット割り当てABITおよび差スケール・ファクタRMS(またはPEAK)の値自体によって規定されるので、差信号エネルギ推定値は、反復的102に到達しなければならない。
ステップ1.ゼロ量子化エラーと想定
最初の差信号概算(推定)は、バッファされたサブバンド・サンプルx(n)を、ADPCMプロセスを通過させることによって行われる。このADPCMプロセスは、差信号を量子化しない。これは、ADPCMエンコーディング・ループにおいて、量子化およびRMSスケーリング(スケール化)をディスエーブルすることによって行われる。このように差信号d(n)を推定することによって、スケール・ファクタおよびビット割り当ての値の影響は、計算から除去される。しかしながら、予測器係数に対する量子化エラーの影響は、プロセスが、ベクトル量子化予測係数を用いることによって、考慮に入れられる。インバースVQ LUT104を用いて、量子化された予測係数を得る。更に推定値予測器の精度を高めるために、直前のブロックの終了時に蓄積された実際のADPCM予測器からの履歴サンプル(history sample)を、計算の前に、予測器にコピーする。これによって、現実のADPCM予測器が前の入力バッファの終端において動作を停止した時点から、予測器が動作を開始することを保証する。
この推定値ed(n)と実際のプロセスd(n)との間の主な不一致は、再生されたサンプルx(n)および低下した予測精度に対する量子化ノイズの影響が無視されることである。多数のレベルを備えた量子化器では、ノイズ・レベルは通常小さく(適正なスケーリングを想定する)、したがって、実際の差信号エネルギは、推定において計算されるものとほぼ一致する。しかしながら、典型的な低ビット・レート・オーディオ・コーダの場合のように、量子化レベルの数が少ない場合、実際の予測信号、したがって差信号エネルギは、推定されたものとは大きく異なる可能性がある。これは、適応(アダプティブ)ビット割り当てプロセスにおける初期に予測されたものとは異なる、コーディング・ノイズ・フロアを生成する。
これにも拘わらず、予測性能の分散は、用途またはビット・レートには重要でない場合もある。したがって、繰り返すことなく、推定値を用いて直接にビット割り当ておよびスケール・ファクタを計算することができる。追加の純化(refinement)を行うとすれば、レベル数の少ない量子化器がそのサブバンドに割り当てられる可能性が高い場合に、差信号エネルギを故意に過大評価することにより性能の損失を補償することである。過大評価(over-estimation)も、精度向上のために量子化器レベルの変化する数にしたがって、格付けすることができる。
ステップ2.推定されたビット割り当ておよびスケール・ファクタを用いての再計算
一旦最初の推定差信号を用いてビット割り当て(ABIT)およびスケール・ファクタ(SF)を生成したなら、ADPCMループ72における推定されたABITおよびRMS(またはPEAK)値を用いて、更に別のADPCM推定プロセスを実行することによって、それらの最適性を検査することができる。最初の推定値の場合と同様、計算の開始に先立って、推定値予測器履歴を、実際のADPCM予測器からコピーし、双方の予測器が同一点から起動することを保証する。一旦バッファされている入力サンプルが全てこの第2推定ループを通過したなら、各サブバンドにおいて得られたノイズ・フロア(ノイズ下限)を、適応ビット割り当てプロセスにおいて想定したノイズ下限と比較する。ビット割り当ておよび/またはスケール・ファクタを修正することによって、あらゆる重大な不一致を補償することができる。
ステップ2は、サブバンドにわたって分布するノイズ下限を適切に純化(リファイン)するために繰り返すことができ、その都度最新の差信号推定値を用いて、ビット割り当ておよびスケール・ファクタの次のセットを計算する。通常、スケール・ファクタが約2〜3dBより多く変化する場合、これらを再計算する。そうしないと、ビット割り当ては、心理音響学的マスキング・プロセス、または代わりのmmseプロセスによって生成される信号対マスク比と相反する危険性がある。典型的に、1回の繰り返しで十分である。
サブバンド予測モード(PMODE)の計算
コーディングの効率向上を図るために、コントローラ106は、現サブフレームにおける予測ゲインがスレッショルド未満に低下したとき、PMODEフラグをセットすることによって、予測プロセスを任意に切り替えることができる。PMODEフラグは、入力サンプルのブロックについて推定段の間に測定された予測ゲイン(入力信号エネルギと推定差信号エネルギの比率)が、ある正のスレッショルドを超える場合1にセットする。逆に、予測ゲインが正のスレシホルド未満であると測定された場合、そのサブバンドについては、エンコーダおよびデコーダ双方においてADPCM予測器係数をゼロにセットし、各PMODEをゼロにセットする。予測ゲイン・スレッショルドのセットは、それが、伝達される予測器係数ベクトル・オーバーヘッドの歪み率と等しくなるように行う。これは、PMODE=1のとき、ADPCMプロセスに対するコーディング・ゲインが、常に、順方向適応PCM(APCM)コーディング・プロセスのそれ以上であることを補償する試行の中で行われる。さもなければ、PMODEをゼロにセットし、予測器係数をリセットすることによって、ADPCMプロセスは単にAPCMに逆戻りする。
PMODEは、ADPCMコーディング・ゲインの変化が当該用途には重要でない場合、いずれのサブバンドまたは全てのサブバンドにおいてもハイにセットすることができる。逆に、例えば、あるサブバンドが全くコード化されようとしない場合、用途のビット・レートが十分に高くて目的のオーディオ品質を維持するために予測ゲインが必要でない場合、信号の過渡内容が高い場合、または、音声編集用途の場合にあり得るように、ADPCMエンコードされたオーディオのスプライシング特性(splicing characteristic)が単に望ましくない場合には、PMODESをローにセットすることができる。
エンコーダおよびデコーダのADPCMプロセスにおける線型予測器の更新レートに等しいレートで、別個の予測モード(PMODE)を各サブバンドに対して伝達する。PMODEパラメータの目的は、デコーダに、特定のサブバンドがそれのコード化オーディオ・データ・ブロックに関連するいずれかの予測係数ベクトル・アドレスを有するかを示すことである。いずれかのサブバンドにおいてPMODE=1の場合、予測器係数ベクトル・アドレスは、データ・ストリームの中に常に含まれる。いずれかのサブバンドにおいてPMODE=0の場合、予測器係数ベクトル・アドレスは、データ・ストリームの中には決して含まれず、予測器係数はエンコーダおよびデコーダ双方のADPCM段においてゼロにセットされる。
PMODEの計算は、第1段の推定において得られた、対応するバッファされた推定差信号エネルギに関して、即ち、量子化エラーがないと仮定して、バッファされたサブバンド入力信号エネルギを分析することによって開始する。入力サンプルx(n)および推定差信号ed(n)の双方は、各サブバンドに対して、別々にバッファされる。バッファ・サイズは、各予測器更新期間に含まれるサンプル数、例えば、サブフレームのサイズに等しい。予測ゲインは、次のように計算する。
gain(dB)=20.0*Log10(RMSx(n)/RMSed(n)
ここで、RMSx(n)=バッファされた入力サンプルx(n)の平方自乗平均、およびRMSed(n)=バッファされた推定差サンプルed(n)の平方自乗平均である。
正の予測ゲインでは、差信号は、平均的に、入力信号よりも小さく、したがって、同一ビット・レートに対してAPCMよりも、ADPCMプロセスを用いることによって、再構築ノイズ下限の低下が達成可能である。負のゲインでは、ADPCMコーダは、平均的に、入力信号よりも大きい差信号を生成し、その結果、ノイズ下限は、同一のビット・レートに対するAPCMよりも高くなる。通常、PMODEをオンに切り替える予測ゲイン・スレッショルドは、正であり、予測器係数ベクトル・アドレスを伝達することによって消費される余分なチャネル容量を考慮した値を有する。
サブバンド過渡モード(TMODE)の計算
コントローラ106は、各サブバンド内の各サブフレーム毎に、過渡モード(TMODE)を計算する。TMODEは、PMODE=1の場合に予測された差信号ed(n)のバッファ内の、また、PMODE=0の場合に入力サブバンド信号x(n)のバッファ内の、それらが有効な、スケール・ファクタおよびサンプルの数を示す。TMODEは、予測係数ベクトル・アドレスと同一レートで更新され、デコーダに伝達される。過渡モードの目的は、信号過渡が存在する際に、可聴コーディング「プレエコー(pre-echo)」アーチファクトを減らすことである。
過渡とは、低振幅信号と高振幅信号の間の素早い遷移として定義する。スケール・ファクタはサブバンド差サンプルのブロック全体で平均が取られるので、信号振幅の素早い変化がブロック内で発生した場合、即ち、過渡が発生した場合、計算されるスケール・ファクタは、この過渡の直前の低振幅サンプルには最適であるものよりも、大幅に大きくなる傾向がある。したがって、過渡に先立つサンプルにおける量子化エラーは、非常に高い可能性がある。このノイズは、プレエコー歪みとして知覚される。
実際には、過渡モードを用いて、サブバンドのスケール・ファクタ平均化ブロック長を修正し、過渡の直前の差分サンプル(differential sample)のスケーリングに対する過渡の影響を制限する。これを行う動機は、人間の聴覚系に固有のプレマスキング現象(pre-masking phenomena)があり、これは、過渡が存在する場合に、その期間を短く保持すれば、ノイズは過渡に先立ってマスクすることができることを現象が示唆するからである。
PMODEの値にしたがって、サブバンド・サンプル・バッファx(n)の内容、即ち、サブフレーム、または推定差バッファed(n)の内容のいずれかを、過渡分析バッファにコピーする。ここで、バッファの内容は、分析バッファのサンプル・サイズに応じて、2、3または4のサブ−サブフレームに均一に分割される。例えば、分析バッファが32のサブバンド・サンプルを含む場合(1500Hzで21.3ms)、バッファは、各々8サンプルの4つのサブ−サブフレームに分けられ、1500Hzのサブバンド・サンプリング・レートに対して5.3msの時間分解能を与える。あるいは、分析ウインドウを16のサブバンド・サンプルで構成した場合、同一の時間分解能を与えるには、バッファを2つのサブ−サブフレームに分割するだけでよい。
各サブ−サブフレーム内の信号を分析し、最初のもの以外の各々の過渡ステータスを判定する。いずれかのサブ−サブフレームが過渡を宣告された場合、2つの別個のスケール・ファクタを分析バッファ、即ち、現サブフレームに対して発生する。第1のスケール・ファクタは、当該過渡サブ−サブフレーム以前のサブ−サブフレームにおけるサンプルから計算する。第2のスケール・ファクタは、以前のサブ−サブフレーム全てと共に過渡サブ−サブフレーム内のサンプルから計算する。
第1のサブ−サブフレームの過渡ステータスは、量子化ノイズが分析ウインドウ自体の開始によって自動的に制限されるので、計算されない。1つより多くのサブ−サブフレームが過渡を宣告された場合、最初に発生したものについて考慮する。過渡サブバッファが全く検出されない場合、分析バッファ内のサンプル全てを用いて、単一のスケール・ファクタのみを計算する。このように、過渡サンプルを含むスケール・ファクタ値は、時間的に1サブ−サブフレーム期間よりも前のサンプルをスケーリングするためには用いられない。したがって、過渡以前の量子化ノイズは、サブ−サブフレーム期間に制限される。
過渡の宣告
サブ−サブフレームのエネルギの直前のサブバッファに対する比率が過渡スレッショルド(TT)を超過し、直前のサブ−サブフレーム内のエネルギが過渡前スレッショルド(PTT:pre-transient threshold)未満である場合、サブ−サブフレームには過渡が宣告される。TTおよびPTTの値は、ビット・レートおよび必要なプレエコー抑制の度合いによって異なる。これには、通常、他のコーディング・アーチファクトが存在する場合、知覚されるプレエコー歪みがそのレベルと一致するまで、変化させる。TT値の増加および/またはPTT値の減少によって、サブ−サブフレームが過渡を宣告される可能性は低下し、したがって、スケール・ファクタの伝達に関連するビット・レートが低下する。逆に、TT値の減少および/またはPTT値の増加によって、サブ−サブフレームが過渡を宣告される可能性が高くなり、したがって、スケール・ファクタの伝達に関連するビット・レートが上昇する。
TTおよびPTTは各サブバンド毎に個別にセットされるので、エンコーダにおける過渡検出の感度は、いずれのサブバンドについても任意にセットすることができる。例えば、高周波数サブバンド内のプレエコーが、低い方の周波数サブバンド内よりも知覚されにくい場合、スレッショルドは、高い方のサブバンドにおいて過渡が宣告される可能性を低下させるようにセットすることができる。更に、TMODEは圧縮化データ・ストリーム内に埋め込まれるので、デコーダは、適正にTMODE情報をデコードするためにエンコーダにおいて使用される過渡検出アルゴリズムを知る必要が全くない。
4サブバッファ構成
図11aに示すように、サブバンド分析バッファ109における第1のサブ−サブフレーム108が過渡である場合、または過渡サブ−サブフレームが検出されない場合、TMODE=0である。第2のサブ−サブフレームが過渡であるが、第1のものがそうではない場合、TMODE=1である。第3のサブ−サブフレームが過渡であるが、第1も第2もそうでない場合、TMOD=2である。第4のサブ−サブフレームのみが過渡の場合、TMODE=3である。
スケール・ファクタの計算
図11bに示すように、TMODE=0の場合、全てのサブ−サブフレームにわたってスケール・ファクタ110を計算する。TMODE=1の場合、第1のサブ−サブフレームにわたって第1のスケール・ファクタを計算し、以前のサブ−サブフレーム全てにわたって第2のスケール・ファクタを計算する。TMODE=2の場合、第1および第2のサブ−サブフレームにわたって第1のスケール・ファクタを計算し、以前のサブ−サブフレーム全てにわたって第2のスケール・ファクタを計算する。TMODE=3の場合、第1、第2および第3のサブ−サブフレームにわたって、第1のスケール・ファクタを計算し、第4のサブ−サブフレームにわたって第2のスケール・ファクタを計算する。
TMODEを用いたADPCMエンコーディングおよびデコーディング
TMODE=0の場合、単一のスケール・ファクタが用られて、分析バッファ全体の期間、即ち、1サブフレームに対して、サブバンド差サンプルがスケーリングされ、かつ、該ファクタがデコーダに伝達されて、逆(インバース)スケーリングを容易にする。TMODE>0の場合、2つのスケール・ファクタを、サブバンド差サンプルをスケーリングするために用い、かつ、該ファクタを双方共デコーダに伝達する。いずれのTMODEでも、各スケール・ファクタを用いて、最初の位置でそれ自体を発生するために用いた差分サンプルのスケーリングを行う。
サブバンド・スケール・ファクタの計算(RMSまたはPEAK)
当該サブバンドに対するPMODEの値に応じて、推定差サンプルed(n)または入力サブバンド・サンプルx(n)のいずれかを用いて、適切なスケール・ファクタ(1つ又は複数)を計算する。この計算にTMODEを用いて、スケール・ファクタの数を判定し、更にバッファ内の対応するサブ−サブフレームを識別する。
RMSスケール・ファクタの計算
第jのサブバンドについて、以下のようにしてrms(RMS)スケール・ファクタを計算する。
TMODE=0の場合、単一のrms値は、
Figure 0004174072
であり、ここでLはサブフレーム内のサンプル数である。
TMODE>0の場合、2つのrms値は、
Figure 0004174072
であり、ここで、k=(TMODE*L/NSB)であり、NSBは、均一なサブ−サブフレームの数である。
PMODE=0の場合、edj(n)サンプルを、入力サンプルxj(n)で置換する。
PEAK(ピーク)スケール・ファクタの計算
第jのサブバンドについて、以下のようにピーク・スケール・ファクタを計算する。
TMODE=0の場合、単一のピーク値は、
n=1,Lについて、PEAKj=MAX(ABS(edj(n)))
TMODE>0の場合、2つのピーク値は、
n=1,(TMODE*L/NSB)について、
PEAK1j=MAX(ABS(edj(n)))
n=(1+TMODE*L/NSB),Lについて、
PEAK2j=MAX(ABS(edj(n)))
PMODE=0の場合、edj(n)サンプルを、入力サンプルxj(n)で置換する。
PMODE、TMODE、およびスケール・ファクタの量子化
PMODEの量子化
予測モード・フラグは、オンまたはオフという2つの値のみを有し、1ビット・コードとして直接デコーダに伝達される。
TMODEの量子化
過渡モード・フラグは最大4つの値、即ち、0、1、2および3を有し、デコーダに、2−ビット符号なし整数コード・ワードを用いて直接に伝達されるか、あるいは、随意に、TMODEの平均ワード長を2ビットより少なく減らす試みにおいて4レベル・エントロピ・テーブルを経由して伝達される。典型的に、オプションのエントロピ・コーディングは、ビットを保存するために、低ビット・レートの用途(アプリケーション)のために用いらる。
図12に詳細に示すエントロピ・コーディング・プロセス112は、次のようなものである。j個のサブバンドに対する過渡モード・コードTMODE(j)を、ある数(p)の4レベル・ミッド−ライザ(mid-riser)可変長コード・ブックにマップする。ここで、各コード・ブックは、異なる入力統計特性に対して最適化されている。TMODE値は、4レベル・テーブル114にマップされ、各テーブル(NBp)に関連する全ビット使用度を計算する(116)。マッピング・プロセスにわたって最も低いビット使用(使用度)を与えるテーブルを、THUFFインデックスを用いて選択する(118)。マップされたコード、VTMODE(j)をこのテーブルから抽出し、パックし、THUFFインデックス・ワードと共にデコーダに伝達する。デコーダは、同じ4レベル・インバース・テーブルのセットを保持しており、THUFFインデックスを用いて、入来する可変長コードVTMODE(j)を適正なテーブルに差し向け、TMODEインデックスにデコードし直すようにする。
サブバンド・スケール・ファクタの量子化
スケール・ファクタをデコーダに伝達するためには、これらを既知のコード・フォーマットに量子化しなければならない。このシステムでは、均一(ユニフォーム)の64レベル対数(ログ)特性、均一の128レベル対数特性、または可変レート・エンコードした均一の64レベル対数特性120のいずれかを用いて、これらを量子化する。64レベル量子化器は、双方の場合に2.25dBステップ−サイズを呈し、128レベル量子化器は、1.25dBステップ−サイズを呈する。低ないし中間ビット・レートには64レベル量子化を使用し、低ビット・レートの用途には追加の可変レート・コーディングを使用し、高ビット・レートには通常128レベルを使用する。
図13に量子化プロセス120を示す。スケール・ファクタRMSまたはPEAKをバッファ121から読み出し、対数領域(ログ・ドメイン)122に変換し、次いでエンコーダ・モード制御128の判定にしたがって、64レベルまたは128レベルのユニフォーム量子化器124,126のいずれかに与える。次に、対数量子化されたスケール・ファクタをバッファ130に書き込む。128レベルおよび64レベルの量子化器の範囲は、それぞれ、約160dBおよび144dBのダイナミック・レンジでスケール・ファクタをカバーするのに十分である。128レベルの上限は、24ビット入力PCMデジタル・オーディオ信号のダイナミック・レンジをカバーするようにセットする。64レベルの上限は、20ビット入力PCMデジタル・オーディオ信号のダイナミック・レンジをカバーするようにセットする。
対数スケール・ファクタを量子化器にマップし、スケール・ファクタを、最も近い量子化器レベル・コードRMSQL(またはPEAKQL)と置換する。64レベル量子化器の場合、これらのコードは6−ビット長であり、0〜63の範囲となる。128レベル量子化器の場合、コードは7ビット長であり、0〜127の範囲となる。
インバース(逆)量子化131は、単にレベル・コードを、それぞれのインバース量子化特性に戻してマップし、RMSq(またはPEAKq)値を与えることによって得られる。ADPCM(または、PMODE=0の場合、APCM)差分サンプル・スケーリングのために、量子化されたスケール・ファクタをエンコーダおよびデコーダ双方において用い、こうして、スケーリング・プロセスおよびインバース・スケーリング・プロセス双方が同一であることを保証する。
64レベル量子化器コードのビット・レートを低下させる必要がある場合、追加のエントロピまたは可変長コーディングを行う。第2のサブバンド(j=2)から開始し、最も高いアクティブなサブバンドまで、j個のサブバンドにわたって、64レベル・コードを一次差分エンコードする(first order differentially encoded)(132)。このプロセスは、PEAKスケール・ファクタをコード化するために用いることも可能である。符号付き差分コードDRMSQL(j)(またはDPEAKQL(j))は、+/−63の最大範囲を有し、バッファ134に格納される。これらのビット・レートを元の6ビット・コードに対して低下させるためには、ある数(p)の127レベル・ミッド−ライザ可変長コード・ブックに、差分コードをマップする。各コード・ブックは、異なる入力統計特性に対して最適化されている。
符号付き差分コードをエントロピ・コード化するプロセスは、pの127レベル可変長コード・テーブルを用いること以外は、図12に示す過渡モード用エントロピ・コーディング・プロセスと同一である。SHUFFインデックスを用いて、マッピング・プロセスにおいて最も低いビット使用度を与えるテーブルを選択する。このテーブルから、マップされたコードVDRMSQL(j)を抽出し、パックし、SHUFFインデックス・ワードと共にデコーダに伝達する。デコーダは、同一の(p)127レベル・インバース・テーブルのセットを保持しており、このSHUFFインデックスを用いて、入来する可変長コードを適正なテーブルに差し向け、デコードして差分量子化器コード・レベルに戻す。以下のルーチンを用いて、差分コード・レベルを絶対値に戻す。
j=2,...Kについて、
RMSQL(1)=DRMSQL(1)
RMSQL(j)=DRMSQL(j)+RMSQL(j−1)
更に、以下のルーチンを用いて、PEAK差分コード・レベルを絶対値に戻す。
j=2,...Kについて、
PEAKQL(1)=DPEAKQL(1)
PEAKQL(j)=DPEAKQL(j)+PEAKQL(j−1)
双方の場合において、K=アクティブなサブバンドの数である。
グローバル・ビット割り当て
図10に示すグローバル・ビット管理システム30は、ビット割り当て(ABIT)を管理し、低下されたビット・レートで主観的に透過的なエンコーディングを与えるために、マルチ・チャネル・オーディオ・エンコーダに対して、アクティブなサブバンド(SUBS)の数ならびにジョイント周波数戦略(JOINX:joint frequency strategy)およびVQ戦略を決定する。これによって、オーディオ忠実度を維持または改善しつつ、固定媒体上にエンコードし格納可能なオーディオ・チャネル数および/または再生時間(playback time)の増加が得られる。通常、GBMシステム30は、最初に、エンコーダの予測ゲインによって修正された心理音響学的分析にしたがって、各サブバンドにビットを割り当てる。次に、mmse方式にしたがって、残りのビットを割り当て、全体的なノイズ下限を低下させる。エンコーディング効率を最適化するために、GBMシステムは、全てのオーディオ・チャネル、全てのサブバンド、およびフレーム全体にわたって同時にビットを割り当てる。さらに、ジョイント周波数コーディング戦略を採用することができる。このように、本システムは、オーディオ・チャネル間、周波数にわたって、および時間にわたっての信号エネルギの非均一な分布を利用する。
心理音響学的分析
心理音響学的測定を用いて、オーディオ信号における知覚的に無関係な情報を判定する。知覚的に無関係な情報とは、人間の聴取者には聞くことができず、時間領域、周波数領域、またはその他の基準では測定可能なオーディオ信号の部分と定義する。ジェー.ディー.ジョンストン(J.D.Johnston)の「知覚ノイズ基準を用いたオーディオ信号の変換コーディング(Transform Coding of Audio Signals Using Perceptual Noise Criteria)」(IEEE journal on Selected Areas in Communications,vol JSAC-6,no.2,pp.314-323,1998年2月)は、心理音響学的コーディングの一般的な原理について記載している。
2つの主なファクタが心理音響学的測定に影響を与える。1つは、人間に適用可能な聴覚の周波数依存絶対スレッショルドである。もう1つは、あるサウンドが、このサウンドと同時にまたは後に再生される第2のサウンドを聴取する人間の能力に及ぼすマスキング効果である。言い換えると、第1のサウンドが、第2のサウンドの聴取を妨げるのであり、これを隠蔽(mask out)と言う。
サブバンド・コーダでは、心理音響学的計算の最終成果は、当該時点において各サブバンド毎に、ノイズの非可聴レベルを指定する1組の数値である。この計算は公知であり、MPEG1圧縮規格ISO/IEC DIS 11172「情報技術−約1.5Mビット/sまでのデジタル記憶媒体のための動画および付随する音声のコーディング(Information technology-Coding of moving pictures and associated audio for digital storage media up to about 1.5 Mbits/s)」(1992年)に組み込まれている。これらの数値は、オーディオ信号と共に動的に変化する。コーダは、ビット割り当てプロセスによって、サブバンド内における量子化ノイズの下限を調節し、これらのサブバンドにおける量子化ノイズが可聴レベル未満となるようにする。
精度の高い心理音響学的計算は、通常、時間−周波数変換(time-to-frequency transform)において高い周波数分解能を必要とする。これは、時間−周波数変換に、大きな分析ウインドウを用いることを暗示している。標準的な分析ウインドウ・サイズは、1024サンプルであり、これは圧縮されたオーディオ・データのサブフレーム1つに対応する。長さ1024fftの周波数分解能は、人間の耳の時間的分解能にほぼ一致する。
心理音響学的モデルの出力は、32のサブバンドの各々についての信号対マスク(SMR:signal-to-mask)比である。SMRは、特定のサブバンドが耐えることができる量子化ノイズの量を示し、したがって、当該サブバンドにおいてサンプルを量子化するために必要なビット数を示すものでもある。具体的には、大きなSMR(>>1)は、多数のビットが必要であることを示し、小さなSMR(>0)は、必要なビットが少なくてよいことを示す。SMR<0の場合、オーディオ信号はノイズ・マスク・スレッショルドより下にあり、量子化のために必要なビットはない。
図14に示すように、通常、1)PCMオーディオ・サンプル上で、好ましくは長さが1024のfftを計算し、一連の周波数係数142を生成し、2)各サブバンド毎に、周波数依存トーンおよびノイズ心理音響学的マスク144を用いてこれら周波数係数の畳み込み(convolve)を行い、3)各サブバンド毎に、得られた係数の平均を取ってSMRレベルを生成し、4)随意に、図15に示す人間の聴覚応答146に応じてSMRの正規化を行うことによって、連続する各フレーム毎にSMRを生成する。
人間の耳の感度は、4kHz付近の周波数で最大となり、周波数が高くなるに連れてまたは低くなるに連れて低下する。したがって、同一レベルで知覚されるためには、20kHz信号は4kHz信号よりもかなり強くなければならない。したがって、通常、4kHz付近の周波数におけるSMRは、外側の周波数よりも比較的重要性が高い。しかしながら、曲線の正確な形状は、聴取者に配給される信号の平均パワーによって異なる。音量(ボリューム)が増大するに連れて、聴覚応答146は圧縮される。したがって、特定の音量に対して最適化されたシステムは、他の音量では最適とはならない。その結果、SMRレベルを正規化するために公称パワー・レベル(nominal power level)を選択するかあるいは正規化をディスエーブルする。32サブバンドについて得られたSMR148を図16に示す。
ビット割り当てルーチン
GBMシステム30は、最初に、適切なエンコーディング戦略を選択し、どのサブバンドをVQおよびADPCMアルゴリズムによってエンコードし、JFCをイネーブルするか否かについて選択を行う。その後、GBMシステムは、心理音響学的手法またはMMSEビット割り当て手法のいずれかを選択する。例えば、高ビット・レートでは、システムは心理音響学的モデリングをディスエーブルし、真のmmse割り当て方式を用い得る。これによって、再生されるオーディオ信号に知覚的な変化を全く生ずることなく、計算の複雑さが減少する。逆に、低レートでは、システムは先に論じたジョイント周波数コーディング方式を活性化し、低い方の周波数における再生忠実度を改善する。GBMシステムは、フレーム毎の信号の過渡内容に基づいて、通常の心理音響学的割り当てとmmse割り当てとの間で切り替えを行うことができる。過渡内容が高い場合、SMRを計算する際に用いる定在性(stationarity)の仮定はもはや正しくないので、したがってmmse方式の方がよりよい性能を発揮する。
心理音響学的割り当てでは、GBMシステムは、最初に、心理音響学的効果を満足するように、使用可能なビットを割り当て、次いで、全体的なノイズ下限を低下させるように残りのビットを割り当てる。第1のステップは、上述のように、現フレームに対して、サブバンド毎にSMRを決定することである。次のステップは、各サブバンドにおいて予測ゲイン(Pgain)のためにSMRを調節し、マスク対ノイズ分配量(MNR)を発生することである。その原理は、ADPCMエンコーダは、必要とされるSMRの一部を与えるということである。その結果、可聴不可能な心理音響学的ノイズ・レベルは、より少ないビットで得ることができる。
第jのサブバンドに対するMNRは、PMODE=1と仮定すると、次の式で与えられる。
MNR(j)=SMR(j)−Pgain(j)*PEF(ABIT)
ここで、PEF(ABIT)は量子化器の予測効率ファクタである。MNR(j)を計算するためには、設計者はビット割り当て(ABIT)の推定値を有さなければならない。これは、SMR(j)に基づいてのみビットを割り当てるか、あるいはPEF(ABIT)=1と仮定することのいずれかによって発生することができる。中間ないし高ビット・レートでは、有効予測ゲインは計算予測ゲインにほぼ等しい。しかしながら、低ビット・レートでは、有効予測ゲインは減少する。例えば、5レベル量子化器を用いて得られる有効予測ゲインは、推定予測ゲインの約0.7であり、一方、65レベル量子化器は、推定予測ゲインにほぼ等しい有効予測ゲインを可能にする(PFE=1.0)。極限において、ビット・レートがゼロのときは、予測エンコーディングは本質的にディスエーブルされ、有効予測ゲインはゼロとなる。
次のステップでは、GBMシステム30は、各サブバンドに対するMNRを満足するビット割り当て方式を発生する。これを行う際に、1ビットが6dBの信号歪みに等しいとする近似を用いる。エンコーディング歪みが心理音響学的に可聴なスレッショルド未満であることを保証するために、割り当てされるビット・レートは、6dBで除算したMNRの最大の整数とする。これは、次の式で与えられる。
ABIT(j)=[MNR(j)/6dB]
このようにビットを割り当てることによって、再生された信号におけるノイズ・レベル156は、図17に示す信号自体157に追従する方向に向かう。したがって、信号が非常に強い周波数においては、ノイズ・レベルは比較的高いが、非可聴状態のままである。信号が比較的弱い周波数では、ノイズ下限は非常に低く非可聴である。このタイプの心理音響学的モデリングに伴う平均誤差は、常にmmseノイズ・レベル158よりも大きいが、特に低ビット・レートにおいて、可聴性能(audible performance)に優れている場合がある。
全オーディオ・チャネルにわたるサブバンド毎に割り当てたビットの合計が、目標とするビット・レートよりも大きいまたは小さい場合、GMBルーチンは、個々のサブバンドに対して、ビット割り当ての減少または増加を繰り返し行う。あるいは、各オーディオ・チャネル毎に目標とするビット・レートを計算することができる。これは最適ではないが、特にハードウエアによる実施態様では簡素化が図れる。例えば、使用可能なビットは、オーディオ・チャネル間で均一に分配することができ、あるいは各チャネルの平均SMRまたはRMSに比例して分配することができる。
目標とするビット・レートが、VQコード・ビットおよびサイド情報を含む、局部的なビット割り当ての合計によって越えられる場合、グローバル・ビット管理ルーチンは、その局部的サブバンドのビット割り当てを漸進的に減らしていく。平均ビット・レートを低下させるには、多数の具体的な技法が使用可能である。まず、最も大きい整数関数によって切り上げて丸めたビット・レートを、切り下げて丸めることができる。次に、最も小さいMNRを有するサブバンドから、1ビットを除去することができる。更に、高い方の周波数サブバンドをオフにすることができ、または、ジョイント周波数コーディングをイネーブルすることができる。全てのビット・レート低下戦略は、グレースフルにコーディング分解能を徐々に低下させるという一般原理に従い、知覚的に最も攻撃性の低い戦略を最初に導入し、最も攻撃性の高い戦略を最後に用いる。
目標とするビット・レートが、VQコード・ビットおよびサイド情報を含む局所的(ローカル)ビット割り当ての合計よりも大きい場合、グローバル・ビット管理ルーチンは、漸進的にかつ繰り返しこの局所的サブバンド・ビット割り当てを増大し、再生された信号の全体的なノイズ下限を低下させる。これは、以前にゼロ・ビットが割り当てられたサブバンドをコード化する場合がある。このようにサブバンドを「スイッチ・オンする」ことにおけるビット・オーバーヘッドは、PMODEがイネーブルされる場合、あらゆる予測器係数を伝達する際のコストに反映する必要がある場合もある。
GBMルーチンは、残りのビットを割り当てる際に、3種類の異なる方式の1つから選択することができる。1つのオプションは、全てのビットを割り当てし直し、その結果得られるノイズ下限をほぼ平坦にする、mmse手法を用いることである。これは、心理音響学的モデリングを最初にディスエーブルすることと同等である。mmseノイズ下限を得るために、図18aに示すサブバンドのRMS値のプロット(グラフ)160を、図18bに示すように、上下を逆さまとし、全てのビットが尽きるまで「ウオーターフィル(waterfilled)」を行う。この公知の技法をウオーターフィリングと呼ぶのは、割り当てビット数を増やすに連れて、歪みレベルが均一に落ちていくからである。図示の例では、第1のビットをサブバンド1に割り当て、第2および第3のビットをサブバンド1および2に割り当て、第4ないし第7のビットをサブバンド1,2,4および7に割り当てるというようにしている。あるいは、1つのビットを各サブバンドに割り当て、各サブバンドがエンコードされることを保証し、次いで残りのビットをウオーターフィルされるようにすることも可能である。
第2の、そして好適なオプションは、上述のmmse手法およびRMSプロットにしたがって、残りのビットを割り当てることである。この方法の効果は、心理音響学的マスキングに関連する形状を維持しつつ、図17に示すノイズ下限157を均一に低下させることである。これによって、心理音響学およびmse歪みの間に良好な折衷案が得られる。
第3の手法は、サブバンドに対するRMS値とMNR値の間の差のプロットに適用されるmmse手法を用いて、残りのビットを割り当てることである。この手法の効果は、ビット・レートが上昇するに連れて、最適な心理音響学的形状157から最適な(平坦な)mmse形状158まで、ノイズ下限の形状を円滑に変形させることである。これらの方式のいずれにおいても、いずれのサブバンドにおいてもコーディング・エラーが、ソースPCMに対して、0.5LSB未満に低下したならば、当該サブバンドにそれ以上ビットを割り当てない。サブバンド・ビット割り当ての随意に固定した最大値を用いて、特定のサブバンドに割り当てられるビットの最大数を制限することも可能である。
先に論じたエンコーディング・システムでは、サンプル当たりの平均ビット・レートを固定し、再生されたオーディオ信号の忠実度を最大に高めるようにビット割り当てを発生すると仮定した。代わりに、mseまたは知覚的な歪みレベルを固定し、ビット・レートを変化させて歪みレベルを満足することも可能である。mmseの手法では、歪みレベルを満足するまで、単にRMSプロットに対してウオーターフィルを行う。必要なビット・レートは、サブバンドのRMSレベルに基づいて変化する。心理音響学的手法では、個々のMNRを満足するようにビットを割り当てる。その結果、ビット・レートは、個々のSMRおよび予測ゲインに基づいて変化する。このタイプの割り当ては、現在のデコーダが固定レートで動作するので、現在では有用ではない。しかしながら、ATMまたはランダム・アクセス記憶媒体のような代替配信システムが、近い将来可変レート・コーディングを実用化する可能性がある。
ビット割り当てインデックス(ABIT)の量子化
ビット割り当てインデックス(ABIT)は、各サブバンドおよび各オーディオ・チャネル毎に、グローバル・ビット管理プロセスにおける適応ビット割り当てルーチンによって発生する。エンコーダにおけるインデックスの目的は、図10に示すレベル数162を示すことである。これらのレベルは、デコーダの音声において、目的とする最適な再生ノイズ下限を得るために差信号を量子化するために必要があるものである。デコーダでは、これらはインバース量子化に必要なレベル数を示す。インデックスは、各分析バッファ毎に発生され、それらの値は0ないし27の範囲を取ることができる。インデックス値、量子化器レベルの数および得られる差分サブバンドの近似SNQRの関係を表3に示す。差信号を正規化するので、ステップ・サイズ164を1に等しくセットする。
Figure 0004174072
ビット割り当てインデックス(ABIT)は、4ビット符号なし整数コード・ワード、5ビット符号なし整数コード・ワードを用いて直接に、あるいは12レベル・エントロピ・テーブルを用いてのいずれかによって、デコーダに伝達する。典型的に、エントロピ・コーディングは、低ビット・レートの用途においてビットを保存するために用いられる。ABITをエンコードする方法は、エンコーダにおけるモード制御によってセットされ、デコーダに伝達される。エントロピー・コーダは、図12に示すプロセスを用い、12レベルのABITテーブルにより、BHUFFインデックスによって識別される特定のコード・ブック、およびコードブック内の特定のコードVABITに、ABITインデックスをマップする(166)。
グローバル・ビット・レート制御
サイド情報および差分サブバンド・サンプルの双方は、エントロピ可変長コード・ブックを用いて随意にエンコードすることができるので、圧縮化ビット・ストリームを固定レートで伝送すべきときには、ある機構を用いて、結果的に得られるエンコーダのビット・レートを調節しなければならない。通常、一旦計算したサイド情報を修正することは望ましくないので、ビット・レートの調節は、レートの制約を満たすまで、ADPCMエンコーダ内で差分サブバンド・サンプル量子化プロセスを繰り返し変化させることによって得るようにすることが最良である。
上述のシステムでは、図10のグローバル・レート制御(GRC)システム178が、レベル・コード値の統計的分布を変化させることによって、量子化器レベル・コードをエントロピ・テーブルにマップするプロセスから得られる、ビット・レートを調節する。エントロピ・テーブルは、全て、レベル・コード値が高い程、コード長が長くなるという同様の傾向を呈するものと仮定する。この場合、平均ビット・レートは、低い値のコード・レベルの確率が高くなる程低下し、その逆も成り立つ。ADPCM(またはAPCM)量子化プロセスでは、スケール・ファクタのサイズが、レベル・コード値の分布または使用度を決定する。例えば、スケール・ファクタ・サイズが増大するに連れて、差分サンプルをより低いレベルで量子化する傾向となり、したがって、コード値は漸進的に小さくなる。このため、より小さなエントロピ・コード・ワード長およびより低いビット・レートが結果的に得られる。
この方法の欠点は、スケール・ファクタ・サイズを増大させることによって、サブバンド・サンプルにおける再生ノイズも同じ度合いで増加することである。しかしながら、実際には、スケール・ファクタの調節は、通常1dBないし3dBを超えることはない。更に大きな調節が必要な場合には、膨張したスケール・ファクタを用いるであろうサブバンドに聴取可能な量子化ノイズが発生する可能性を承知で行うよりは、ビット割り当てに戻り、全体的なビット割り当てを少なくする方がよいであろう。
エントロピ・エンコードされたADPCMビット割り当てを調節するためには、ADPCMコーディング・サイクルを繰り返す場合には、各サブバンド毎の予測器履歴サンプルを一時的バッファに格納する。つぎに、サブバンドLPC分析から導出した予測係数AHを、スケール・ファクタRMS(またはPEAK)、量子化器ビット割り当てABIT、過渡モードTMODE、および推定された差信号から導出される予測モードPMODEと共に用いて、ADPCMプロセス全てによって、サブバンド・サンプル・バッファを全てエンコードする。得られた量子化器レベル・コードをバッファし、コード・ブック・サイズを決定するためのビット割り当てインデックスを再度用いる最も低いビット使用度を呈示するエントロピ可変長コード・ブックにマップする。
GRCシステムは、次に、同じビット割り当てインデックスを全てのインデックスにわたって用い、各サブバンド毎に用いられているビット数を分析する。例えば、ABIT=1の場合、グローバル・ビット管理におけるビット割り当て計算は、サブバンド・サンプル当たり1.4の平均レートを想定することができた(即ち、最適なレベル・コード振幅分布を仮定したエントロピ・コード・ブックに対する平均レート)。ABIT=1のサブバンド全ての総ビット使用度が1.4/(サブバンド・サンプルの総数)よりも大きい場合、これらのサブバンド全てにわたってスケール・ファクタを増加させ、ビット・レートの低下に影響を与えることができる。サブバンド・スケール・ファクタを調節する決定は、全てのABITインデックス・レートにアクセスし終わるまで、保留することが好ましい。その結果、ビット割り当てプロセスにおいて仮定したよりも低いビット・レートを有するインデックスは、そのレベルよりも高いビット・レートのインデックスに対して補償することができる。この評価は、適切であれば、全てのオーディオ・チャネルをカバーするように拡張してもよい。
全体的なビット・レートを低下させるために推奨する手順は、スレッショルドを超える最も低いABITインデックス・ビット・レートから開始し、このビット割り当てを有するサブバンドの各々においてスケール・ファクタを増加させる。実際のビット使用度は、これらのサブバンドが当該割り当てのための公称レートに対して元々越えていた、ビット数だけ低下する。修正したビット使用度が未だ許容される最大値を超える場合、ビット使用度が公称値を超える、次に高いABITインデックスに対するサブバンド・スケール・ファクタを増加させる。このプロセスは、修正したビット使用度が最大値より下になるまで続けられる。
一旦これが達成されたなら、古い履歴データを予測器にロードし、スケール・ファクタを修正したサブバンドについてADPCMエンコーディング・プロセス72を繰り返す。これに続いて、再びレベル・コードを最も最適なエントロピ・コードブックにマップし、ビット使用度を再計算する。ビット使用度のいずれかが未だ公称レートを超える場合、スケール・ファクタを更に増加させ、このサイクルを繰り返す。
スケール・ファクタに対する修正は、2通りの方法で行うことができる。第1の方法は、各ABITインデックスのための調節ファクタをデコーダに伝達することである。例えば、2ビット・ワードは、例えば、0、1、2および3dBの調節範囲を示すことができる。ABITインデックスを用いる全てのサブバンドに同一の調節ファクタを用い、しかもインデックス1〜10のみがエントロピ・エンコーディングを使用することができるので、全てのサブバンドに伝達する必要がある調節ファクタの最大数は10である。あるいは、高い量子化器レベルを選択することにより、各サブバンド毎にスケール・ファクタを変えることも可能である。しかしながら、スケール・ファクタ量子化器は、それぞれ、1.25および2.5dBのステップ−サイズを有するので、スケール・ファクタの調節はこれらのステップに制限される。更に、この技法を用いる場合、スケール・ファクタの差分エンコーディングおよびその結果得られるビット使用度は、エントロピ・エンコーディングをイネーブルする場合には、再計算する必要がある場合もある。
一般的に言うと、ビット・レートを高める際、即ち、ビット・レートが所望のビット・レートよりも低い場合、同一の手順を用いることができる。この場合、スケール・ファクタを減少させて、外側の量子化器レベルをより多く利用するように差分サンプルに強要し、こうしてエントロピ・テーブル内の長いコード・ワードを使用させる。
ビット割り当てインデックスに対するビット使用度を、合理的な回数の繰り返しの範囲内で減少させることができない場合、またはスケール・ファクタ調節ファクタを伝達する場合、調節ステップの数は限界に達するが、2通りの修正方法が可能である。第1に、公称レート内のサブバンドのスケール・ファクタを増加させることにより、全体的なビット・レートを低下させることができる。あるいは、ADPCMエンコーディング・プロセス全体を中止し、かかるサブバンド全体に対して適応ビット割り当てを再計算することができ、このとき用いるビット数を少なくする。
データ・ストリーム・フォーマット
図10に示すマルチプレクサ32は、各チャネルに対してデータをパックし、次に各チャネル毎にパックしたデータを出力フレームにマルチプレクス(多重化)し、データ・ストリーム16を形成する。データをパックしマルチプレクスする方法、即ち、図19に示すフレーム・フォーマット186を設計したことによって、オーディオ・コーダを、広い範囲の用途で使用可能とし、より高いサンプリング周波数に拡張可能とし、各フレーム内のデータ量を制限し、各サブ−サブフレーム毎に独立して再生を開始できることにゆってしてレイテンシを減少させ、かつデコーディング・エラーが減少する。
図示のように、単一のフレーム186(4096PCMサンプル/ch)は、ビット・ストリームの境界を定義し、この中に音声のブロックを適正にデコードするために十分な情報が含まれ、4つのサブフレーム188(1024PCMサンプル/ch)で構成される。一方、このサブフレームは、各々4つのサブ−サブフレーム190(256PCMサンプル/ch)で構成される。各オーディオ・フレームの先頭に、フレーム同期ワード192を配置する。フレーム・ヘッダ情報194は、第一に、フレーム186の構造、ストリームを発生したエンコーダの構成、ならびに埋込まれたダイナミック・レンジ制御やタイム・コードのような種々のオプションの動作的特徴に関する情報を与える。オプションのヘッダ情報196は、デコーダに、ダウンミキシング(downmixing)が必要か否か、ダイナミック・レンジ補償が行われたか否か、およびデータ・ストリームに補助データ・バイトが含まれているか否かについて知らせる。オーディオ・コーディング・ヘッダ198は、コーディング「サイド情報」、即ち、ビット割り当て、スケール・ファクタ・PMODE、TMODE、コードブック等を組み立てるために、エンコーダにおいて用いられる、パッキング配列およびコーディング・フォーマットを示す。フレームの残り部分は、SUBFS連続的オーディオ・サブフレーム188で構成されている。
各サブフレームは、オーディオ・コーディング・サイド情報200で始まっており、これが、音声を圧縮するために用いられる多数のキー・エンコーディング・システムに関する情報を、デコーダに中継する。これらは、過渡検出、予測コーディング、適応ビット割り当て、高周波数ベクトル量子化、強度コーディング、および適応スケーリングを含む。このデータの多くは、先のオーディオ・コーディング・ヘッダ情報を用いて、データ・ストリームからアンパックされる。高周波数VQコード・アレイ202は、VQSUBインデックスによって示される高周波数サブバンド毎に、10−ビットのインデックスから成る。低周波数影響(エフェクト)アレイ204はオプションであり、例えば、サブウーファを駆動するために使用可能な大変低い低周波数データを表す。
オーディオ・アレイ206は、ハフマン/固定インバース量子化器を用いてデコードされ、多数のサブ−サブフレーム(SSC)に分割され、各々オーディオ・チャネル当たり256PCMサンプルまでデコードする。サンプリング周波数が48kHzより高い場合のみ、オーバーサンプルされたオーディオのアレイ(oversampled audio array)208が存在する。互換性を保持するためには、48kHzより高いサンプリング・レートで動作できないデコーダは、このオーディオ・データ・アレイを飛ばすべきである。DSYNC210を用いて、オーディオ・フレーム内のサブフレーム位置の終端を確認する。この位置が確認されない場合、当該サブフレーム内にデコードされている音声は、信頼性がないと宣告される。その結果、そのフレームを無音化するかあるいは直前のフレームを繰り返す。
サブバンド・デコーダ
図20は、それぞれ、サブバンド・サンプル・デコーダ18のブロック図である。このデコーダは、エンコーダと比較するとかなり簡素であり、ビット割り当てのように、再構築される音声の品質にとって基本的に重要な計算を含まない。同期の後、アンパッカ40が圧縮化オーディオ・データ・ストリーム16をアンパックし、伝達時に誘発されたエラーを検出し、必要であればこれを訂正し、データを個々のオーディオ・チャネルにデマルチプレクスする。サブバンド差分信号を、PCM信号に再量子化し、各オーディオ・チャネルにインバース・フィルタ処理を施し、信号を変換して時間領域(時間ドメイン)に戻す。
オーディオ・フレームの受信およびヘッダのアンパック
コード化データ・ストリームは、エンコーダにおいてパック(フレーム化)され、各フレーム毎に、実際のオーディオ・コード自体の他に、デコーダの同期、エラー検出および訂正、オーディオ・コーディング・ステータス・フラグ、ならびにコーディング・サイド情報のための、追加データを含む。アンパッカ40は、SYNCワードを検出し、フレーム・サイズFSIZEを抽出する。コード化ビット・ストリームは連続的オーディオ・フレームから成り、各々、32ビット(0x7ffe8001)同期ワード(SYNC)で始まる。オーディオ・フレームの物理サイズFSIZEは、sync(同期)ワードに続くバイトから抽出される。これによって、プログラマは、「エンド・オブ・フレーム(フレームの終わり)」タイマをセットし、ソフトウエアのオーバーヘッドを減らすことができる。次に、NBlksが抽出され、これは、デコーダに、オーディオ・ウインドウ・サイズ(32(Nblks+1))を計算させる。これは、デコーダに、どのサイド情報を抽出すべきか、および再生サンプルをいくつ生成するかを知らせる。
フレーム・ヘッダ・バイト(sync,ftype、surp、nblks、fsize、amode、sfreq、rate、mixt、dynf、dynct、time、auxcnt、lff、hflag)を受信すると直ちに、リード・ソロモン・チェック・バイトHCRCを用いて、最初の12バイトの有効性についてチェックすることができる。これらは、14バイトの内の1つのエラー・バイト、又は、フラグ2のエラー・バイトを訂正する。エラー・チェックが完了した後、ヘッダ情報を用いて、デコーダ・フラグを更新する。
HCRCに続き且つオプションの情報までのヘッダ(filts、vernum、chist、pcmr、unspec)を抽出し、デコーダ・フラグを更新するために使用することができる。この情報はフレーム毎に変わらないので、多数決方式を用いて、ビット・エラーを補償することができる。オプションのヘッダ・データ(times、mcoeff、dcoeff、auxd、ocrc)を、mixct、dynf、timeおよびauxcntヘッダにしたがって抽出する。オプションのデータは、オプションのリード・ソロモン・チェック・バイトOCRCを用いて確認することができる。
オーディオ・コーディング・フレーム・ヘッダ(subfs、subs、chs、vqsub、joinx、thuff、shuff、bhuff、sel5、sel7、sel9、sel13、sel17、sel25,sel33、sel65、sel129、ahcrc)を、各フレームにおいて1回伝達する。これらは、オーディオ・リード・ソロモン・チェック・バイトAHCRCを用いて確認することができる。ほとんどのヘッダは、CHSで定義される各オーディオ・チャネル毎に繰り返される。
サブフレーム・コーディング・サイド情報のアンパック
オーディオ・コーディング・フレームは、多数のサブフレーム(SUBFS)に分割される。必要なサイド情報(pmode、pvq、tmode、scales、abits、hfreq)を全て含ませて、他のサブフレームを全く参照することなく、音声(オーディオ)の各サブフレームを適正にデコードする。連続する各サブフレームは、最初にそのサイド情報(副情報)をアンパックすることによって、デコードする。
1ビット予測モード(PMODE)フラグをアクティブなサブバンド毎に、そしてオーディオ・チャネル全てにわたって伝達する。PMODEフラグは、現行のサブフレームに有効である。PMODE=0は、当該サブバンドに対して、予測器係数が当該オーディオ・フレームに含まれていないことを示唆する。この場合、このバンドの予測器係数を、当該サブフレームの期間ゼロにリセットする。PMODE=1は、サイド情報がこのサブバンドのための予測器係数を含むことを示唆する。この場合、当該サブバンドの期間について予測器係数を抽出してその予測器にインストールする。
pmodeアレイにおける全てのPMODE=1について、対応する予測係数VQのアドレス・インデックスはアレイPVQ内に配置される。このインデックスは、固定の符号なしの12ビット整数ワードであり、12ビット整数をベクトル・テーブル266にマッピングすることによって、ルックアップ(参照)テーブルから4つの予測係数を抽出する。
ビット割り当てインデックス(ABIT)は、サブバンド・オーディオ・コードを変換して絶対値に戻す、インバース量子化器におけるレベル数を示す。BHUFFインデックスおよび特定のVABITコード256に応じて、各オーディオ・チャネル毎にその内のABITに対して、アンパッキング・フォーマットは異なるものとなる。
過渡モード・サイド情報(TMODE)238を用いて、各サブバンド内のサブフレームに対する過渡の位置を示す。各サブフレームは1ないし4のサブ−サブフレームに分割される。サブバンド・サンプルに関して、各サブ−サブフレームは8つのサンプルから成る。最大サブフレーム・サイズは32サブバンド・サンプルである。過渡が第1のサブ−サブフレームにおいて発生した場合、tmode=0となる。第2のサブ−サブフレームにおける過渡はtmode=1のときに示され、以下、同様にして示される。プレエコーのような過渡歪みを制御するために、TMODEが0より大きいサブフレームのサブバンドに、2つのスケール・ファクタを伝達する。オーディオ・ヘッダから抽出されたTHUFFインデックスは、TMODEをデコードするために必要な方法を決定する。THUFF=3の場合、TMODEを、符号なし2ビット整数としてアンパックする。
スケール・ファクタ・インデックスを伝達し、各サブフレーム内におけるサブバンド・オーディオ・コードの適正なスケーリングを可能にする。TMODEがゼロに等しい場合、1つのスケール・ファクタを伝達する。TMODEがいずれのサブバンドについてもゼロより大きい場合、2つのスケール・ファクタを一緒に伝達する。オーディオ・ヘッダから抽出されたSHUFFインデックス240は、別個の各オーディオ・チャネルに対してのSCALESをデコードするために必要な方法を決定する。VDRMSQLインデックスは、RMSスケール・ファクタの値を決定する。
あるモードでは、SCALESインデックスをアンパックする際に、5つの129レベル符号付きハフマン・インバース量子化器から選択したものを使用する。得られるインバース量子化されたインデックスは、しかしながら、差分的にエンコードされ、以下のように絶対値に変換される。
ABS_SCALE(n+1)=SCALES(n)−SCALES(n+1)
ここで、nは、オーディオ・チャネルにおいて、第1のサブバンドから始まってn番目の差分スケール・ファクタである。
低ビット・レートのオーディオ・コーディング・モードでは、オーディオ・コーダは、ベクトル量子化を用いて、高周波数サブバンド・オーディオ・サンプルを直接に効率的にエンコードする。これらのサブバンドには差分エンコーディングを用いず、通常のADPCMプロセスに関係するすべてのアレイはリセットに保持しなければならない。VQを用いてエンコードされる第1のサブバンドはVQSUBによって示され、SUBSまでの全サブバンドも、このようにエンコードされる。
高周波数インデックス(HFREQ)は、固定10ビット符号なし整数としてアンパックする(248)。各サブバンド・サブフレームに必要とされる32個のサンプルは、適切なインデックスを適用することによって、Q4分数二進(fractional binary)LUTから抽出する。これは、高周波数VQモードがアクティブな各チャネル毎に繰り返される。
エフェクト・チャネルに対するデシメーション・ファクタは常にX128である。LFE内にある8ビット・エフェクト・サンプルの数は、PSC=0の場合はSSC*2で与えられ、PSCが非ゼロの場合(SSC+1)*2で与えられる。LFEアレイの終端には、追加の7ビット・スケール・ファクタ(符号なし整数)も含まれ、これは7ビットLUTを用いてrmsに変換される。
サブ−サブフレーム・オーディオ・コード・アレイのアンパック
サブバンド・オーディオ・コードのための抽出プロセスは、ABITインデックスによって駆動され・ABIT<11の場合、SELインデックスによっても駆動される。オーディオ・コードをフォーマットするには、可変長ハフマン・コードまたは固定線型コードのいずれかを用いる。通常、10以下のABITインデックスは、コードVQL(n)258によって選択されるハフマン可変長コードを示唆し、一方、10よりも大きいABITは常に固定コードを意味する。全ての量子化器は、中間トレッド(mid-tread)の均一な特性を有する。固定コード(Y2)量子化器では、最も負のレベルが落とされる。オーディオ・コードは、サブ−サブフレームにパックされる。各サブ−サブフレームは、最大8つのサブバンド・サンプルを表し、これらのサブ−サブフレームは、現サブサンプルにおいて4回まで繰り返される。
サンプリング・レート・フラグ(SFREQ)が48kHzよりも高いレートを示す場合、オーディオ・フレーム内に、オーバーオーディオ・データ・アレイ(over_audio data array)が存在する。このアレイの中の最初の2バイトは、over_audio(オーバーオーディオ)のバイト・サイズを示す。更に、デコーダ・ハードウエアのサンプリング・レートは、高周波数サンプリング・レートに応じて・SFREQ/2またはSFREQ/4で動作するようにセットすべきである。
同期チェックのアンパック
データ・アンパッキング同期チェック・ワードDSYN C=0xffffを、各サブフレームの終端において検出し、アンパッキングの保全性を確認できるようにする。サイド情報およびオーディオ・コードにおける可変コード・ワードの使用は、低オーディオ・ビット・レートの場合のように、ヘッダ、サイド情報またはオーディオ・アレイのいずれかがビット・エラーにより損なわれた場合に、アンパッキング不整合に至る可能性がある。アンパッキング・ポインタがDSYNCの開開始を指さない場合、その前のサブフレーム・オーディオが信頼性に欠けると想定することができる。
一旦サイド情報およびオーディオ・データの全てをアンパックしたなら、デコーダは1度に1サブフレームずつ、マルチ・チャネル・オーディオ信号を再構築(再生)する。図20は、単一のチャネルにおける単一のサブバンドに対するベースバンド・デコーダ部分を示す。
RMSスケール・ファクタの再構築
デコーダは、ADPCM、VQおよびJFCアルゴリズムのために、RMSスケール・ファクタ(SCALES)を再生する。即ち、VTMODEおよびTHUFFインデックスをインバース・マッピングし、現サブフレームに対する過渡モード(TMODE)を識別する。その後、SHUFFインデックス、VDRMSQLコードおよびTMODEをインバース・マッピングし、差分RMSコードを再生する。差分RMSコードをインバース差分コード化し(242)、RMSコードを選択する。次に、RMSコードをインバース量子化し(244)、RMSスケール・ファクタを生成する。
高周波数ベクトルのインバース量子化
デコーダは高周波数ベクトルをインバース(逆)量子化し、サブバンド・オーディオ信号を再生する。即ち、開始VQサブバンド(VQSUBS)によって識別される、符号付き8ビット分数(Q4)二進数である、抽出された高周波数サンプル(HFREQ)を、インバースVQ lut 248にマップする。選択したテーブル値を逆量子化し(250)、RMSスケール・ファクタによってスケーリングする(252)。
オーディオ・コードのインバース量子化
ADPCMループに入る前に、オーディオ・コードを逆量子化し、スケーリングして、再生されたサブバンド差サンプルを生成する。逆量子化を行うには、最初にVABITおよびBHUFFインデックスをインバース・マッピングして、ステップ−サイズおよび量子化レベルの数を決定するABITインデックスを特定し、更に、量子化器レベル・コードQL(n)を生成するVQL(n)オーディオ・コード及びSELインデックスをインバース・マッピングする。その後、コード・ワードQL(n)を、ABITおよびSELインデックスによって指定される、インバース量子化器ルックアップ・テーブル260にマップする。コードの順序はABITによって決められるが、個別の各オーディオ・チャネルは個別のSEL指定子(specifier)を有する。ルックアップ・プロセスによって、符号付き量子化器レベル数が得られ、これを量子化ステップ−サイズと乗算することにより単位rmsに変換することができる。次に、単位rms値を、指定されたRMSスケール・ファクタ(SCALES)と乗算することにより(262)、完全な差サンプルに変換する。
1. QL[n]=1/Q[code[n]] ここで、1/Qは、インバース量子化器ルックアップ・テーブルである。
2. Y[n]=QL[n]*StepSize[abits]
3. Rd[n]=Y[n]*scale_factor ここで、Rd=再構築された差サンプルである。
インバースADPCM
ADPCMデコーディング・プロセスは、各サブバンド差サンプルに対して、以下のように実行する。
1. インバースVQ lutから、予測係数をロードする(268)。
2. 現予測器係数を、予測器履歴アレイに保持されている直前の4つの再生されたサブバンド・サンプルで畳み込むことによって、予測サンプルを生成する(268)。
i=1、4について、p[n]=sum(Coeff[i]*R[n−i]) ここで、n=現サンプル期間である。
3. 予測サンプルを再生された差サンプルに加算し、再生されたサブバンド・サンプルを生成する(270)。
R[n]=Rd[n]+P[n]
4. 予測器の履歴を更新する。即ち、現在の再生されたサブバンド・サンプルを、履歴リストの最上部にコピーする。
I=4、1について、R[n−i]=Rd[n−i+1]
PMODE=0の場合、予測器係数はゼロとなり、予測サンプルはゼロとなり、再生されたサブバンド・サンプル(再生サブバンド・サンプル)は差分サブバンド・サンプルに等しくなる。この場合、予測の計算は不要であるが、PMODEが以降のサブフレームにおいてアクティブになるべき場合において、予測器の履歴は更新し続けることは必須である。更に、HFLAGが現オーディオ・フレームにおいてアクティブである場合、予測器履歴は、当該フレームにおける最初のサブ−サブフレームをデコードする前に、クリアしなければならない。履歴は、通常通り、その点から更新することになる。
高周波数VQサブバンドの場合、またはサブバンドをデセレクト(deselect)した場合(即ち、SUBS限度を超える)、予測器履歴は、サブバンド予測器がアクティブになる時まで、クリアされたままにしておかなければならない。
ADPCM、VOおよびJFCデコーディングの選択制御
第1の「スイッチ」は、ADPCM出力またはVQ出力のいずれかの選択を制御する。VQSUBSインデックスは、VQエンコーディングの先頭のサブバンドを識別する。したがって、現サブバンドがVQSUBSよりも低い場合、スイッチはADPCM出力を選択する。その他の場合、VQ出力を選択する。第2の「スイッチ」278は、直接チャネル出力またはJFCコーディング出力のいずれかの選択を制御する。JOINXインデックスは、どのチャネルを結合し、どのチャネルにおいて再生信号を生成するかを識別する。再生されたJFC信号は、他のチャネルにおけるJFC入力に対するインテンシティ源(intensity source)を形成する。したがって、現サブバンドがJFCの一部であり、指定されたチャネルでない場合、スイッチはJFC出力を選択する。通常、スイッチはチャネル出力を選択する。
ダウン・マトリキシング(マトリクス化)
データ・ストリームに対するオーディオ・コーディング・モードは、AMODEによって示される。更に、デコードされたオーディオ・チャネルは、デコーダのハードウエア上の物理的な出力チャネル配列に一致するように、再度指示(redirect)することができる(280)。
ダイナミック・レンジ制御データ
随意に、エンコーディング段282において、ダイナミック・レンジ係数DCOEFFをオーディオ・フレーム内に埋め込むことも可能である。この構成の目的は、デコーダの出力における、オーディオ・ダイナミック・レンジの圧縮を都合よく行えるようにすることである。ダイナミック・レンジの圧縮は、音響発生過程(loud passage)の間ラウドスピーカを損傷する恐れなく、高いレベルの周囲ノイズが、低いレベルの音を判別できなくしてしまうような聴取環境において、特に重要である。この問題は、110dBという高いダイナミック・レンジを呈する20ビットPCMオーディオ記録の使用が増えつつあることによって、更に複雑化している。
フレームのウインドウ・サイズ(NBLKS)によって、オーディオ・チャネル当たり1つ、2つまたは4つの係数が、いずれのコーディング・モード(DYNF)についても伝達される。単一の係数を伝達する場合、これはフレーム全体に対して使用される。係数が2つの場合、第1の係数はフレームの第1の半分に用いられ、第2の係数はフレームの第2の半分に用いられる。4つの係数は、フレームの各1/4に分配される。伝送される値を局所的に補間することによって、更に高い時間分解能が可能となる。
各係数は、8ビット符号付き分数Q2二進数であり、表(53)に示すように、0.25dBの段階で、+/−31.75dBの範囲を与える対数ゲイン値を表す。これらの係数はチャネル番号の順に並べられる。デコードされたオーディオ・サンプルに線型係数を乗算することによって、ダイナミック・レンジの圧縮に影響を与える。
圧縮の度合いは、デコーダにおける係数値に対する適切な調節によって変えることや、あるいは係数を完全に無視することによってオフに切り替えることができる。
32バンド補間フィルタバンク
32バンド補間フィルタ・バンク44は、各オーディオ・チャネル毎に32個のサブバンドを、単一のPCM時間領域信号に変換する。FILTS=0の場合、不完全再生係数(512タップFIRフィルタ)を用いる。FILTS=1の場合、完全再生係数を用いる。通常、コサイン変調係数(cosine modulation coefficient)を予め計算し、ROMに格納しておく。補間手順を拡張し、より大きなデータ・ブロックを再生して、ループ・オーバーヘッドを減少させることができる。しかしながら、終了フレームの場合、必要とされ得る最低分解能は32PCMサンプルである。補間アルゴリズムは次の通りである。コサイン変調係数を作成し、32個の新しいサブバンド・サンプルをアレイXINに読み込み、コサイン変調係数を乗算して一時的アレイSUMおよびDIFFを作成し、履歴を格納し、フィルタ係数を乗算し、32個のPCM出力サンプルを作成し、作業用アレイを更新し、32個の新しいPCMサンプルを出力する。
動作中のビット・レートおよびコーディング方式によって、ビット・ストリームが、不完全または完全再生補間フィルタ・バンク係数(FILTS)のいずれかを特定することができる。エンコーダ・デシメーション・フィルタ・バンクは、40ビット浮動小数点精度で計算されるので、デコーダの最大理論的再生精度を達成する能力は、ソースのPCMワード長および畳み込みを計算するために用いられるDSPコアの精度、ならびに動作をスケーリングする方法によって左右される。
低周波数エフェクトPCM補間
低周波数エフェクト・チャネルに関連するオーディオ・データは、主オーディオ・チャネルとは独立している。このチャネルは、X128デシメート(120Hz帯域幅)20ビットPCM入力上で動作する8ビットAPCMプロセスを用いてエンコードされる。デシメートされたエフェクト・オーディオは、主オーディオ・チャネルにおける現サブバンド・オーディオと時間的に整合される。従って、32バンド補間フィルタバンクを通じての遅延が256サンプル(512タップ)であるので、補間された低周波数エフェクト・チャネルも、出力の前に、残りのオーディオ・チャネルと整合することを保証するように注意を払わなければならない。エフェクト補間FIRも512タップであれば補償は必要ない。
LFTアルゴリズムは、以下のように512タップ128X補間FIRを用いる。7ビット・スケール・ファクタをrmsにマップし、ステップ−サイズが7ビットの量子化器によって乗算し、正規化された値からサブ・サンプル値を生成し、各サブ・サンプルに与えられるもののようなロー・パス・フィルタを用いて、128で補間する。
ハードウエアの実施態様
図21および図22は、32,44.1および48kHzサンプリング・レートで動作するエンコーダおよびデコーダの6チャネル・バージョンのハードウエアによる実施態様の基本的な機能構造を説明する。図22を参照すると、アナログ・デバイス(Analog Devices)社のADSP21020 40ビット浮動小数点デジタル信号プロセッサ(DSP)チップ296を8つ用いて、6チャネル・デジタル・オーディオ・エンコーダ298を実施する。6つのDSPは、各チャネルをエンコードするために用い、第7および第8のDSPは、それぞれ、「グローバル・ビット割り当ておよび管理」および「データ・ストリーム・フォーマッタおよびエラー・エンコーディング」機能を実施するために用いる。各ADSP21020は、33MHzでクロック駆動され、外部の48ビットX32kプログラムram(PRAM)300、40ビットX32kデータram(SRAM)302を利用して、これらのアルゴリズムを実行する。エンコーダの場合、8ビットX512kのEPROM304も、可変長エントロピ・コード・ブックのような固定定数の格納のために用いる。データ・ストリーム・フォーマット用DSPは、リード・ソロモンCRCチップ306を用いて、デコーダにおけるエラー検出および保護を容易に行うようにしている。エンコーダDSPとグローバル・ビット割り当ておよび管理との間の通信は、デュアル・ポート・スタティックRAM308を用いて実施する。
エンコード処理フローは以下の通りである。2チャネル・デジタル・オーディオPCMデータ・ストリーム310を、3つのAES/EBUデジタル・オーディオ受信機の各々の出力において抽出する。各対の第1のチャネルをCH1、3および5のエンコーダDSPにそれぞれ差し向け、一方、各々の第2のチャネルをCH2、4および6にぞれぞれ差し向ける。シリアルPCMワードをパラレルに変換する(s/p)ことによって、PCMサンプルをDSPに読み込む。各エンコーダは、1フレームのPCMサンプルを蓄積し、前述のように、フレーム・データのエンコードを進める。各チャネルに対する推定された差信号(ed(n)およびサブバンド・サンプル(x(n))に関する情報を、デュアル・ポートRAMを通じて、グローバル・ビット割り当ておよび管理DSPに伝達する。次に、各デコーダに対するビット割り当て戦略を、同様に読み返す。一旦エンコーディング・プロセスが完了したなら、グローバル・ビット割り当ておよび管理DSPを介して、6チャネルのためのコード化されたデータおよびサイド情報をデータ・ストリーム・フォーマッタDSPに伝達する。この段階で、デコーダにおけるエラー保護を与える目的のために、CRCチェック・バイトを選択的に発生し、エンコードされたデータに付加する。最後に、データ・パケット16全体を組み立て、出力する。
6チャネルのデコーダのハードウエアによる実施態様を図22に示す。単一のアナログ・デバイス社のADSP21020 40ビット浮動小数点デジタル信号プロセッサ(DSP)チップ324を用いて、6チャネル・デジタル・オーディオ・デコーダを実施する。ADSP21020は、33MHzのクロックで駆動され、外部の48ビットX32kプログラムram(PRAM)326、40ビットX32kデータram(SRAM)328を利用して、デコーディング・アルゴリズムを実行する。可変長エントロピおよび予測係数ベクトル・コード・ブックのような固定定数の格納のために、追加の8ビットX512kEPROM330も使用する。
デコード処理フローは以下の通りである。シリアル−パラレル変換器(s/p)332を介して、圧縮されたデータ・ストリーム16をDSPに入力する。先に例示したように、データをアンパックし、デコードする。各チャネル毎に、サブバンド・サンプルを単一のPCMデータ・ストリーム22に再構築し、3つのパラレル−シリアル変換器(p/s)335を介して、3つのAES/EBUデジタル・オーディオ送信機チップ334に出力する。
以上、本発明のいくつかの例示的な実施形態を示しかつ説明したが、多数の変形および代替実施形態が当業者には想起されよう。例えば、プロセッサの速度が上昇し、メモリのコストが低下するに連れて、サンプリング周波数、送信レート、及びバッファ・サイズは増加する傾向にある。このような変形的及び互換的な実施態様は考慮されており、請求の範囲に規定された本発明の精神及び範囲から逸脱することなく実施できる。

Claims (8)

  1. マルチチャネル・オーディオ・エンコーダであって、
    あるサンプリング・レートでサンプルされたマルチチャネル・オーディオ信号の各チャネルにオーディオ・ウインドウを適用し、それぞれのオーディオ・フレームのシーケンスを生成するフレーム・グラバ(64)と、
    前記チャネルのオーディオ・フレームを、それぞれの複数のN個の周波数制限されたサブバンド信号に分割するユニフォーム・マルチタップ・マルチバンド・フィルタ・バンク(34)であって、前記Nは所定の周波数帯域の数であり、前記サブバンド信号の各々が、サブバンド・フレーム当たり少なくとも1つのオーディオ・データのサブフレームを有するサブバンド・フレームのシーケンスを備えるものである、ユニフォーム・マルチタップ・マルチバンド・フィルタ・バンク(34)と、
    それぞれの前記周波数サブバンドにおける前記オーディオ・データを、1度に1サブフレームずつ、エンコードされたサブバンド信号へとコード化する複数のサブバンド・エンコーダ(26)と、
    前記エンコードされたサブバンド信号を、それぞれの連続するデータ・フレームに対する出力フレームへと、パックしてマルチプレクスすることにより、伝送レートでのデータ・ストリームを形成するマルチプレクサ(32)と、
    前記サンプリング・レート及び前記伝送レートに基づいて、前記オーディオ・ウインドウのサイズをセットし、前記出力フレームのサイズを所望の範囲内に収めるように制限するコントローラ(19)と、
    を備え、
    前記サブバンド・エンコーダが、各サブフレームを複数のサブ−サブフレームに分割し、各サブバンド・エンコーダが、各サブフレーム毎にエラー信号を発生し量子化する予測コーダ(72)を備えており、更に、
    分析器(98,100,102,104,106)を備え、前記分析器は、
    各サブフレームに対するコーディングに先立って、推定エラー信号を生成し、
    前記推定エラー信号の各サブ−サブフレームにおいて過渡を検出し、
    最初のサブ−サブフレーム以外のいずれかのサブ−サブフレームに過渡があるか否か、およびどのサブ−サブフレームに前記過渡が発生したかを示す過渡コードを生成し、
    過渡が検出された場合、過渡より前のサブ−サブフレームに対して、過渡前スケール・ファクタを生成し、前記過渡を含むサブ−サブフレームおよび前記過渡より後のサブ−サブフレームに対して、過渡後スケール・ファクタを生成し、過渡が検出されなかった場合、前記サブフレームに対して、均一スケール・ファクタを生成する
    構成を備え、
    前記予測コーダが、前記過渡前スケール・ファクタ、前記過渡後スケール・ファクタおよび前記均一スケール・ファクタを用いて、コーディングに先立って前記エラー信号をスケーリングして、前記過渡前スケール・ファクタに対応する前記サブ−サブフレームにおけるコーディング・エラーを減少させる、
    マルチチャネル・オーディオ・エンコーダ。
  2. 請求項1記載のマルチチャネル・オーディオ・エンコーダであって、
    前記コントローラが、前記オーディオ・ウインドウのサイズを、
    (フレームサイズ)*Fsamp*(8/Trate)
    よりも小さい、最大の2の倍数としてセットし、前記フレームサイズが、前記出力フレームの最大サイズであり、前記Fsampが、サンプリング・レートであり、前記Trateが、伝送レートである、
    マルチチャネル・オーディオ・エンコーダ。
  3. 請求項1記載のマルチチャネル・オーディオ・エンコーダであって、
    前記マルチチャネル・オーディオ信号が目標のビット・レートでエンコードされ、前記サブバンド・エンコーダが予測コーダを備えており、更に、
    グローバル・ビット・マネージャ(GBM)(30)を備え、前記グローバル・ビット・マネージャは、
    心理音響学的信号対マスク比(SMR)および推定予測ゲイン(Pgain)を各サブフレーム毎に計算し、
    前記SMRを、それらの関連する予測ゲインのそれぞれの小部分だけ減少させることによって、マスク対ノイズ比(MNR)を計算し、
    各MNRを満足するようにビットを割り当て、
    全てのサブバンドにわたって、割り当てられた前記ビットのレートを計算し、
    個々の割り当てを調節して実際のビット・レートを前記目標のビット・レートに近づける
    構成を備える、
    マルチチャネル・オーディオ・エンコーダ。
  4. 請求項1記載のマルチチャネル・オーディオ・エンコーダであって、
    前記ベースバンド周波数範囲が最大周波数を有し、更に、
    前記オーディオ・フレームの各々を、前記ベースバンド周波数範囲における周波数のベースバンド信号、および前記最大周波数より高い周波数の高サンプリング・レート信号に、分割するプレフィルタ(46)と、
    前記オーディオ・チャネルの高サンプリング・レート信号を、それぞれのエンコードされた高サンプリング・レート信号にエンコードする高サンプリング・レート・エンコーダ(48,50,52)と、
    を更に備え、
    前記マルチプレクサが、前記チャネルの前記エンコードされた高サンプリング・レート信号を、それぞれの前記出力フレームにパックし、前記マルチチャネル・オーディオ信号の前記ベースバンドの部分および前記高サンプリング・レートの部分が独立してデコード可能となるようにする、
    マルチチャネル・オーディオ・エンコーダ。
  5. データ・ストリームから複数のオーディオ・チャネルを再生するマルチチャネル・オーディオ・デコーダであって、各オーディオ・チャネルは、エンコーダ・サンプリング・レートでサンプルされ、複数の周波数サブバンドに分割され、伝送レートのデータ・ストリームへと圧縮およびマルチプレクスされるものである、マルチチャネル・オーディオ・デコーダにおいて、
    前記データ・ストリームを1度に1フレームずつ読み込みかつ格納する入力バッファであって、前記フレームの各々が、同期(sync)ワードと、フレーム・ヘッダと、オーディオ・ヘッダと、少なくとも1つのサブフレームとを含み、該サブフレームは、オーディオ・サイド情報と、オーディオ・コードを有する複数のサブ−サブフレームとを含むものである、入力バッファと、
    デマルチプレクサであって、
    a)前記syncワードを検出し、
    b)前記フレーム・ヘッダをアンパックして、前記フレーム内のオーディオ・サンプル数を示すウインドウ・サイズと、前記フレーム内のバイト数を示すフレーム・サイズとを抽出し、ここにおいて、前記ウインドウ・サイズは、前記伝送レートと前記エンコーダ・サンプリング・レートとの比率の関数として設定されて、前記フレーム・サイズが前記入力バッファのサイズよりも小さくなるように制限されるものであり、
    c)前記オーディオ・ヘッダをアンパックして、前記フレーム内のサブフレームの数およびエンコードされたオーディオ・チャネルの数を抽出し、
    d)各サブフレームをシーケンシャルにアンパックして、サブ−サブフレームの数を含む前記オーディオ・サイド情報を抽出し、各サブ−サブフレーム内のオーディオ・コードを複数のオーディオ・チャネルへとディマルチプレクスし、そして、各オーディオ・チャネルをそのサブバンド・オーディオ・コードへとアンパックする、
    デマルチプレクサと、
    前記サイド情報を用いて、他のいずれのサブフレームも参照せずに、前記サブバンド・オーディオ・コードを、1度に1サブフレームずつ、再生サブバンド信号へとデコードするデコーダと、
    各チャネルの再生サブバンド信号を、1度に1サブフレームずつ、再生されたマルチチャネル・オーディオ信号へと組み合わせる再生フィルタと、
    を備え、
    前記サイド情報が、
    各サブバンドのビット・レートが前記サブフレームにわたって固定されている、各チャネルのサブバンドに対するビット割り当てテーブルと、
    各チャネルにおける各サブバンドに対する少なくとも1つのスケール・ファクタと、
    スケール・ファクタ数とそれらに関連するサブ−サブフレームを識別する、各チャネルにおける各サブバンドに対する過渡モード(TMODE)であって、前記デコーダが、前記サブバンドのオーディオ・コードを、それらのTMODEに応じたそれぞれのスケール・ファクタによってスケーリングしてデコーディングを容易にする、過渡モードと、
    を備える、
    マルチチャネル・オーディオ・デコーダ。
  6. 請求項5記載のマルチチャネル・オーディオ・デコーダであって、
    前記再生フィルタが、不完全再生(NPR)フィルタバンクと、完全再生(PR)フィルタバンクとを備え、前記フレーム・ヘッダが、前記NPRフィルタバンクおよびPRフィルタバンクの一つを選択するフィルタ・コードを含む、
    マルチチャネルオーディオ・デコーダ。
  7. 請求項5記載のマルチチャネル・オーディオ・デコーダであって、
    前記デコーダが、それぞれの前記サブバンド・オーディオ・コードをデコードする、複数のインバース適応差分パルス・コード変調(ADPCM)コーダ(268,270)を備えており、前記サイド情報が、それぞれの前記ADPCMコーダに対する予測係数と、前記それぞれのADPCMコーダへの前記予測係数の適用を制御して、それらの予測能力を選択的にイネーブルおよびディスエーブルにする予測モード(PMODE)とを含む、
    マルチチャネル・オーディオ・デコーダ。
  8. 製造品であって、
    ポータブルの機械読み取り可能な記録媒体(20)と、
    あるサンプリング・レートでサンプルされ、個々の周波数サブバンドへと分割されるベースバンド周波数範囲にわたって及び高サンプリング・レート周波数範囲にわたってエンコードされ、伝送レートでオーディオ・フレーム(186)のシーケンスとして前記ポータブルの機械読み取り可能な記録媒体へ書き込まれる、マルチチャネル・オーディオ信号を表すデジタル・データ・ストリーム(16)と
    を備え、前記オーディオ・フレームのそれぞれが、順に、
    同期ワード(192)と、
    前記オーディオ・フレーム内のオーディオ・サンプル数を示すウインドウ・サイズと、前記オーディオ・フレーム内のバイト数を示すフレーム・サイズとを含むフレーム・ヘッダ(194)であって、前記ウインドウ・サイズは前記伝送レートと前記サンプリング・レートとの比率の関数として設定されて、前記フレーム・サイズが最大サイズより小さくなるように制限されるものである、フレーム・ヘッダ(194)と、
    前記オーディオ・フレームに対するパッキング配列およびコード化フォーマットを示すオーディオ・ヘッダ(198)と、
    少なくとも1つのオーディオ・サブフレーム(188)と
    を備え、
    各オーディオ・サブフレームが、
    前記オーディオ・サブフレームを、他のいずれのサブフレームも参照せずにデコードするためのサイド情報(200)と、
    複数のベースバンド・オーディオ・サブ−サブフレーム(190)であって、各チャネルの周波数のサブバンドに対するオーディオ・データがパックされ他のチャネルとマルチプレクスされる、複数のベースバンド・オーディオ・サブ−サブフレーム(190)と
    高サンプリング・レート・オーディオ・ブロック(208)であって、各チャネルに対する前記高サンプリング・レート周波数範囲のオーディオ・データがパックされ他のチャネルとマルチプレクスされることにより、前記マルチチャネル・オーディオ信号が複数のデコード・サンプリング・レートでデコード可能とされる、高サンプリング・レート・オーディオ・ブロック(208)と、
    前記サブフレームの終わりを確認するためのアンパック同期(210)とを備える、
    製造品。
JP52131497A 1995-12-01 1996-11-21 心理音響学的アダプティブ・ビット割り当てを用いたマルチ・チャネル予測サブバンド・コーダ Expired - Lifetime JP4174072B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US789695P 1995-12-01 1995-12-01
US60/007,896 1995-12-01
US08/642,254 US5956674A (en) 1995-12-01 1996-05-02 Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US08/642,254 1996-05-02
PCT/US1996/018764 WO1997021211A1 (en) 1995-12-01 1996-11-21 Multi-channel predictive subband coder using psychoacoustic adaptive bit allocation

Publications (3)

Publication Number Publication Date
JP2000501846A JP2000501846A (ja) 2000-02-15
JP2000501846A5 JP2000501846A5 (ja) 2004-10-21
JP4174072B2 true JP4174072B2 (ja) 2008-10-29

Family

ID=26677495

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52131497A Expired - Lifetime JP4174072B2 (ja) 1995-12-01 1996-11-21 心理音響学的アダプティブ・ビット割り当てを用いたマルチ・チャネル予測サブバンド・コーダ

Country Status (18)

Country Link
US (4) US5956674A (ja)
EP (1) EP0864146B1 (ja)
JP (1) JP4174072B2 (ja)
KR (1) KR100277819B1 (ja)
CN (5) CN101872618B (ja)
AT (1) ATE279770T1 (ja)
AU (1) AU705194B2 (ja)
BR (1) BR9611852A (ja)
CA (2) CA2238026C (ja)
DE (1) DE69633633T2 (ja)
DK (1) DK0864146T3 (ja)
EA (1) EA001087B1 (ja)
ES (1) ES2232842T3 (ja)
HK (4) HK1015510A1 (ja)
MX (1) MX9804320A (ja)
PL (3) PL182240B1 (ja)
PT (1) PT864146E (ja)
WO (1) WO1997021211A1 (ja)

Families Citing this family (545)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997029549A1 (fr) * 1996-02-08 1997-08-14 Matsushita Electric Industrial Co., Ltd. Codeur, decodeur, codeur-decodeur et support d'enregistrement de signal audio large bande
US8306811B2 (en) * 1996-08-30 2012-11-06 Digimarc Corporation Embedding data in audio and detecting embedded data in audio
JP3622365B2 (ja) * 1996-09-26 2005-02-23 ヤマハ株式会社 音声符号化伝送方式
JPH10271082A (ja) * 1997-03-21 1998-10-09 Mitsubishi Electric Corp 音声データ復号装置
US7110662B1 (en) * 1997-03-25 2006-09-19 Samsung Electronics Co., Ltd. Apparatus and method for recording data on a DVD-audio disk
US6449227B1 (en) * 1997-03-25 2002-09-10 Samsung Electronics Co., Ltd. DVD-audio disk, and apparatus and method for playing the same
US6741796B1 (en) 1997-03-25 2004-05-25 Samsung Electronics, Co., Ltd. DVD-Audio disk, and apparatus and method for playing the same
JP3339054B2 (ja) * 1997-03-28 2002-10-28 ソニー株式会社 データ符号化方法及び装置、データ復号方法及び装置、並びに記録媒体
US6298025B1 (en) * 1997-05-05 2001-10-02 Warner Music Group Inc. Recording and playback of multi-channel digital audio having different resolutions for different channels
SE512719C2 (sv) * 1997-06-10 2000-05-02 Lars Gustaf Liljeryd En metod och anordning för reduktion av dataflöde baserad på harmonisk bandbreddsexpansion
US6636474B1 (en) * 1997-07-16 2003-10-21 Victor Company Of Japan, Ltd. Recording medium and audio-signal processing apparatus
US5903872A (en) * 1997-10-17 1999-05-11 Dolby Laboratories Licensing Corporation Frame-based audio coding with additional filterbank to attenuate spectral splatter at frame boundaries
EP1046239B1 (en) * 1997-12-19 2003-06-18 STMicroelectronics Asia Pacific Pte Ltd. Method and apparatus for phase estimation in a transform coder for high quality audio
EP1050113B1 (en) * 1997-12-27 2002-03-13 STMicroelectronics Asia Pacific Pte Ltd. Method and apparatus for estimation of coupling parameters in a transform coder for high quality audio
US6089714A (en) * 1998-02-18 2000-07-18 Mcgill University Automatic segmentation of nystagmus or other complex curves
JP3802219B2 (ja) * 1998-02-18 2006-07-26 富士通株式会社 音声符号化装置
JPH11234136A (ja) * 1998-02-19 1999-08-27 Sanyo Electric Co Ltd デジタルデータの符号化方法及び符号化装置
US6253185B1 (en) * 1998-02-25 2001-06-26 Lucent Technologies Inc. Multiple description transform coding of audio using optimal transforms of arbitrary dimension
KR100304092B1 (ko) * 1998-03-11 2001-09-26 마츠시타 덴끼 산교 가부시키가이샤 오디오 신호 부호화 장치, 오디오 신호 복호화 장치 및 오디오 신호 부호화/복호화 장치
US6400727B1 (en) * 1998-03-27 2002-06-04 Cirrus Logic, Inc. Methods and system to transmit data acquired at a variable rate over a fixed rate channel
US6385345B1 (en) * 1998-03-31 2002-05-07 Sharp Laboratories Of America, Inc. Method and apparatus for selecting image data to skip when encoding digital video
JPH11331248A (ja) * 1998-05-08 1999-11-30 Sony Corp 送信装置および送信方法、受信装置および受信方法、並びに提供媒体
US6141645A (en) * 1998-05-29 2000-10-31 Acer Laboratories Inc. Method and device for down mixing compressed audio bit stream having multiple audio channels
US6141639A (en) * 1998-06-05 2000-10-31 Conexant Systems, Inc. Method and apparatus for coding of signals containing speech and background noise
KR100548891B1 (ko) * 1998-06-15 2006-02-02 마츠시타 덴끼 산교 가부시키가이샤 음성 부호화 장치 및 음성 부호화 방법
US6061655A (en) * 1998-06-26 2000-05-09 Lsi Logic Corporation Method and apparatus for dual output interface control of audio decoder
US6301265B1 (en) * 1998-08-14 2001-10-09 Motorola, Inc. Adaptive rate system and method for network communications
US7457415B2 (en) 1998-08-20 2008-11-25 Akikaze Technologies, Llc Secure information distribution system utilizing information segment scrambling
JP4308345B2 (ja) * 1998-08-21 2009-08-05 パナソニック株式会社 マルチモード音声符号化装置及び復号化装置
CA2246532A1 (en) * 1998-09-04 2000-03-04 Northern Telecom Limited Perceptual audio coding
GB9820655D0 (en) * 1998-09-22 1998-11-18 British Telecomm Packet transmission
US7272556B1 (en) * 1998-09-23 2007-09-18 Lucent Technologies Inc. Scalable and embedded codec for speech and audio signals
JP4193243B2 (ja) * 1998-10-07 2008-12-10 ソニー株式会社 音響信号符号化方法及び装置、音響信号復号化方法及び装置並びに記録媒体
US6463410B1 (en) * 1998-10-13 2002-10-08 Victor Company Of Japan, Ltd. Audio signal processing apparatus
US6320965B1 (en) 1998-10-14 2001-11-20 Liquid Audio, Inc. Secure watermark method and apparatus for digital signals
US6219634B1 (en) * 1998-10-14 2001-04-17 Liquid Audio, Inc. Efficient watermark method and apparatus for digital signals
US6330673B1 (en) 1998-10-14 2001-12-11 Liquid Audio, Inc. Determination of a best offset to detect an embedded pattern
US6345100B1 (en) 1998-10-14 2002-02-05 Liquid Audio, Inc. Robust watermark method and apparatus for digital signals
US6754241B1 (en) * 1999-01-06 2004-06-22 Sarnoff Corporation Computer system for statistical multiplexing of bitstreams
US6378101B1 (en) * 1999-01-27 2002-04-23 Agere Systems Guardian Corp. Multiple program decoding for digital audio broadcasting and other applications
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6931372B1 (en) * 1999-01-27 2005-08-16 Agere Systems Inc. Joint multiple program coding for digital audio broadcasting and other applications
US6357029B1 (en) * 1999-01-27 2002-03-12 Agere Systems Guardian Corp. Joint multiple program error concealment for digital audio broadcasting and other applications
TW477119B (en) * 1999-01-28 2002-02-21 Winbond Electronics Corp Byte allocation method and device for speech synthesis
FR2791167B1 (fr) 1999-03-17 2003-01-10 Matra Nortel Communications Procedes de codage, de decodage et de transcodage audio
JP3739959B2 (ja) * 1999-03-23 2006-01-25 株式会社リコー デジタル音響信号符号化装置、デジタル音響信号符号化方法及びデジタル音響信号符号化プログラムを記録した媒体
DE19914742A1 (de) * 1999-03-31 2000-10-12 Siemens Ag Verfahren zum Übertragen von Daten
US8270479B2 (en) * 1999-04-06 2012-09-18 Broadcom Corporation System and method for video and audio encoding on a single chip
JP2001006291A (ja) * 1999-06-21 2001-01-12 Fuji Film Microdevices Co Ltd オーディオ信号の符号化方式判定装置、及びオーディオ信号の符号化方式判定方法
US7283965B1 (en) * 1999-06-30 2007-10-16 The Directv Group, Inc. Delivery and transmission of dolby digital AC-3 over television broadcast
US6553210B1 (en) * 1999-08-03 2003-04-22 Alliedsignal Inc. Single antenna for receipt of signals from multiple communications systems
US6581032B1 (en) * 1999-09-22 2003-06-17 Conexant Systems, Inc. Bitstream protocol for transmission of encoded voice signals
US7181297B1 (en) 1999-09-28 2007-02-20 Sound Id System and method for delivering customized audio data
US6496798B1 (en) * 1999-09-30 2002-12-17 Motorola, Inc. Method and apparatus for encoding and decoding frames of voice model parameters into a low bit rate digital voice message
US6741947B1 (en) * 1999-11-30 2004-05-25 Agilent Technologies, Inc. Monitoring system and method implementing a total node power test
US6732061B1 (en) * 1999-11-30 2004-05-04 Agilent Technologies, Inc. Monitoring system and method implementing a channel plan
US6842735B1 (en) * 1999-12-17 2005-01-11 Interval Research Corporation Time-scale modification of data-compressed audio information
US7792681B2 (en) * 1999-12-17 2010-09-07 Interval Licensing Llc Time-scale modification of data-compressed audio information
KR100718829B1 (ko) * 1999-12-24 2007-05-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 다채널 오디오 신호 처리 장치
WO2001050459A1 (en) * 1999-12-31 2001-07-12 Octiv, Inc. Techniques for improving audio clarity and intelligibility at reduced bit rates over a digital network
US6499010B1 (en) * 2000-01-04 2002-12-24 Agere Systems Inc. Perceptual audio coder bit allocation scheme providing improved perceptual quality consistency
TW499672B (en) * 2000-02-18 2002-08-21 Intervideo Inc Fast convergence method for bit allocation stage of MPEG audio layer 3 encoders
DE60141734D1 (de) * 2000-02-29 2010-05-20 Sony Corp Gerät und verfahren zur verarbeitung von daten, aufzeichnungsmedium und programm
WO2001080432A1 (de) * 2000-04-14 2001-10-25 Siemens Aktiengesellschaft Verfahren zum kanaldecodieren eines datenstroms mit nutzdaten und redundanzdaten, vorrichtung zum kanaldecodieren, computerlesbares speichermedium und computerprogramm-element
US6782366B1 (en) * 2000-05-15 2004-08-24 Lsi Logic Corporation Method for independent dynamic range control
US7136810B2 (en) * 2000-05-22 2006-11-14 Texas Instruments Incorporated Wideband speech coding system and method
US6725110B2 (en) * 2000-05-26 2004-04-20 Yamaha Corporation Digital audio decoder
KR20020029672A (ko) * 2000-05-30 2002-04-19 요트.게.아. 롤페즈 씨.디. 오디오 상의 코딩된 정보
US7110953B1 (en) * 2000-06-02 2006-09-19 Agere Systems Inc. Perceptual coding of audio signals using separated irrelevancy reduction and redundancy reduction
US6778953B1 (en) * 2000-06-02 2004-08-17 Agere Systems Inc. Method and apparatus for representing masked thresholds in a perceptual audio coder
US6678647B1 (en) * 2000-06-02 2004-01-13 Agere Systems Inc. Perceptual coding of audio signals using cascaded filterbanks for performing irrelevancy reduction and redundancy reduction with different spectral/temporal resolution
US6754618B1 (en) * 2000-06-07 2004-06-22 Cirrus Logic, Inc. Fast implementation of MPEG audio coding
US6601032B1 (en) * 2000-06-14 2003-07-29 Intervideo, Inc. Fast code length search method for MPEG audio encoding
US6542863B1 (en) 2000-06-14 2003-04-01 Intervideo, Inc. Fast codebook search method for MPEG audio encoding
US6748363B1 (en) * 2000-06-28 2004-06-08 Texas Instruments Incorporated TI window compression/expansion method
US6678648B1 (en) 2000-06-14 2004-01-13 Intervideo, Inc. Fast loop iteration and bitstream formatting method for MPEG audio encoding
US6745162B1 (en) * 2000-06-22 2004-06-01 Sony Corporation System and method for bit allocation in an audio encoder
JP2002014697A (ja) * 2000-06-30 2002-01-18 Hitachi Ltd ディジタルオーディオ装置
FI109393B (fi) 2000-07-14 2002-07-15 Nokia Corp Menetelmä mediavirran enkoodaamiseksi skaalautuvasti, skaalautuva enkooderi ja päätelaite
US6931371B2 (en) * 2000-08-25 2005-08-16 Matsushita Electric Industrial Co., Ltd. Digital interface device
SE519981C2 (sv) * 2000-09-15 2003-05-06 Ericsson Telefon Ab L M Kodning och avkodning av signaler från flera kanaler
US20020075965A1 (en) * 2000-12-20 2002-06-20 Octiv, Inc. Digital signal processing techniques for improving audio clarity and intelligibility
RU2284671C2 (ru) * 2000-10-11 2006-09-27 Конинклейке Филипс Электроникс Н.В. Масштабируемое кодирование объектов мультимедиа
US20030023429A1 (en) * 2000-12-20 2003-01-30 Octiv, Inc. Digital signal processing techniques for improving audio clarity and intelligibility
US7526348B1 (en) * 2000-12-27 2009-04-28 John C. Gaddy Computer based automatic audio mixer
CN1205540C (zh) * 2000-12-29 2005-06-08 深圳赛意法微电子有限公司 含有解码器的电路、时分寻址的方法和一个微控制器
EP1223696A3 (en) * 2001-01-12 2003-12-17 Matsushita Electric Industrial Co., Ltd. System for transmitting digital audio data according to the MOST method
GB0103242D0 (en) * 2001-02-09 2001-03-28 Radioscape Ltd Method of analysing a compressed signal for the presence or absence of information content
GB0108080D0 (en) * 2001-03-30 2001-05-23 Univ Bath Audio compression
ATE323316T1 (de) * 2001-04-09 2006-04-15 Koninkl Philips Electronics Nv Vorrichtung zur adpcm sprachkodierung mit spezifischer anpassung der schrittweite
ATE323935T1 (de) * 2001-04-09 2006-05-15 Koninkl Philips Electronics Nv Adpcm sprachkodiersystem mit phasenfaltungs und - entfaltungsfiltern
US7711123B2 (en) * 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
US7610205B2 (en) * 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
PL365018A1 (en) * 2001-04-18 2004-12-27 Koninklijke Philips Electronics N.V. Audio coding
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
US7047201B2 (en) * 2001-05-04 2006-05-16 Ssi Corporation Real-time control of playback rates in presentations
US7116787B2 (en) * 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US7583805B2 (en) * 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
US6804565B2 (en) 2001-05-07 2004-10-12 Harman International Industries, Incorporated Data-driven software architecture for digital sound processing and equalization
US7447321B2 (en) 2001-05-07 2008-11-04 Harman International Industries, Incorporated Sound processing system for configuration of audio signals in a vehicle
US7451006B2 (en) 2001-05-07 2008-11-11 Harman International Industries, Incorporated Sound processing system using distortion limiting techniques
JP4591939B2 (ja) * 2001-05-15 2010-12-01 Kddi株式会社 適応的符号化伝送装置および受信装置
US6661880B1 (en) 2001-06-12 2003-12-09 3Com Corporation System and method for embedding digital information in a dial tone signal
EP1271470A1 (en) * 2001-06-25 2003-01-02 Alcatel Method and device for determining the voice quality degradation of a signal
US7460629B2 (en) * 2001-06-29 2008-12-02 Agere Systems Inc. Method and apparatus for frame-based buffer control in a communication system
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
JP3463752B2 (ja) * 2001-07-25 2003-11-05 三菱電機株式会社 音響符号化装置、音響復号化装置、音響符号化方法および音響復号化方法
JP3469567B2 (ja) * 2001-09-03 2003-11-25 三菱電機株式会社 音響符号化装置、音響復号化装置、音響符号化方法及び音響復号化方法
US7062429B2 (en) * 2001-09-07 2006-06-13 Agere Systems Inc. Distortion-based method and apparatus for buffer control in a communication system
US7333929B1 (en) 2001-09-13 2008-02-19 Chmounk Dmitri V Modular scalable compressed audio data stream
US6944474B2 (en) * 2001-09-20 2005-09-13 Sound Id Sound enhancement for mobile phones and other products producing personalized audio for users
US6732071B2 (en) * 2001-09-27 2004-05-04 Intel Corporation Method, apparatus, and system for efficient rate control in audio encoding
JP4245288B2 (ja) 2001-11-13 2009-03-25 パナソニック株式会社 音声符号化装置および音声復号化装置
CA2430923C (en) * 2001-11-14 2012-01-03 Matsushita Electric Industrial Co., Ltd. Encoding device, decoding device, and system thereof
EP1449212B1 (en) * 2001-11-16 2021-09-29 Nagravision S.A. Embedding supplementary data in an information signal
EP1423847B1 (en) 2001-11-29 2005-02-02 Coding Technologies AB Reconstruction of high frequency components
US6934677B2 (en) * 2001-12-14 2005-08-23 Microsoft Corporation Quantization matrices based on critical band pattern information for digital audio wherein quantization bands differ from critical bands
US7240001B2 (en) * 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US6693643B1 (en) 2001-12-31 2004-02-17 Apple Computer, Inc. Method and apparatus for color space conversion
US7055018B1 (en) 2001-12-31 2006-05-30 Apple Computer, Inc. Apparatus for parallel vector table look-up
US7015921B1 (en) 2001-12-31 2006-03-21 Apple Computer, Inc. Method and apparatus for memory access
US7467287B1 (en) 2001-12-31 2008-12-16 Apple Inc. Method and apparatus for vector table look-up
US6697076B1 (en) 2001-12-31 2004-02-24 Apple Computer, Inc. Method and apparatus for address re-mapping
US7114058B1 (en) 2001-12-31 2006-09-26 Apple Computer, Inc. Method and apparatus for forming and dispatching instruction groups based on priority comparisons
US6822654B1 (en) 2001-12-31 2004-11-23 Apple Computer, Inc. Memory controller chipset
US6931511B1 (en) 2001-12-31 2005-08-16 Apple Computer, Inc. Parallel vector table look-up with replicated index element vector
US6573846B1 (en) 2001-12-31 2003-06-03 Apple Computer, Inc. Method and apparatus for variable length decoding and encoding of video streams
US7681013B1 (en) 2001-12-31 2010-03-16 Apple Inc. Method for variable length decoding using multiple configurable look-up tables
US7034849B1 (en) 2001-12-31 2006-04-25 Apple Computer, Inc. Method and apparatus for image blending
US7558947B1 (en) 2001-12-31 2009-07-07 Apple Inc. Method and apparatus for computing vector absolute differences
US7305540B1 (en) 2001-12-31 2007-12-04 Apple Inc. Method and apparatus for data processing
US6877020B1 (en) 2001-12-31 2005-04-05 Apple Computer, Inc. Method and apparatus for matrix transposition
US7848531B1 (en) * 2002-01-09 2010-12-07 Creative Technology Ltd. Method and apparatus for audio loudness and dynamics matching
US6618128B2 (en) * 2002-01-23 2003-09-09 Csi Technology, Inc. Optical speed sensing system
JP4347698B2 (ja) * 2002-02-18 2009-10-21 アイピージー エレクトロニクス 503 リミテッド パラメトリックオーディオ符号化
US20030161469A1 (en) * 2002-02-25 2003-08-28 Szeming Cheng Method and apparatus for embedding data in compressed audio data stream
US20100042406A1 (en) * 2002-03-04 2010-02-18 James David Johnston Audio signal processing using improved perceptual model
US7313520B2 (en) * 2002-03-20 2007-12-25 The Directv Group, Inc. Adaptive variable bit rate audio compression encoding
US20030187663A1 (en) 2002-03-28 2003-10-02 Truman Michael Mead Broadband frequency translation for high frequency regeneration
US20040125707A1 (en) * 2002-04-05 2004-07-01 Rodolfo Vargas Retrieving content of various types with a conversion device attachable to audio outputs of an audio CD player
US7225135B2 (en) * 2002-04-05 2007-05-29 Lectrosonics, Inc. Signal-predictive audio transmission system
US7428440B2 (en) * 2002-04-23 2008-09-23 Realnetworks, Inc. Method and apparatus for preserving matrix surround information in encoded audio/video
WO2003092327A1 (en) * 2002-04-25 2003-11-06 Nokia Corporation Method and device for reducing high frequency error components of a multi-channel modulator
JP4016709B2 (ja) * 2002-04-26 2007-12-05 日本電気株式会社 オーディオデータの符号変換伝送方法と符号変換受信方法及び装置とシステムならびにプログラム
AU2003265935A1 (en) * 2002-05-03 2003-11-17 Harman International Industries, Incorporated Sound detection and localization system
US7096180B2 (en) * 2002-05-15 2006-08-22 Intel Corporation Method and apparatuses for improving quality of digitally encoded speech in the presence of interference
US7050965B2 (en) * 2002-06-03 2006-05-23 Intel Corporation Perceptual normalization of digital audio signals
MXPA04013006A (es) * 2002-06-21 2005-05-16 Thomson Licensing Sa Enrutador de transmision con un decodificador de corriente de datos de audio digital en serie.
US7325048B1 (en) * 2002-07-03 2008-01-29 3Com Corporation Method for automatically creating a modem interface for use with a wireless device
KR100462615B1 (ko) * 2002-07-11 2004-12-20 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
US8228849B2 (en) * 2002-07-15 2012-07-24 Broadcom Corporation Communication gateway supporting WLAN communications in multiple communication protocols and in multiple frequency bands
KR20050021484A (ko) 2002-07-16 2005-03-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
CN1783726B (zh) * 2002-08-21 2010-05-12 广州广晟数码技术有限公司 用于从音频数据码流中解码重建多声道音频信号的解码器
CN100477531C (zh) * 2002-08-21 2009-04-08 广州广晟数码技术有限公司 用于对多声道数字音频信号进行压缩编码的编码方法
EP1394772A1 (en) * 2002-08-28 2004-03-03 Deutsche Thomson-Brandt Gmbh Signaling of window switchings in a MPEG layer 3 audio data stream
US7299190B2 (en) * 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
JP4676140B2 (ja) * 2002-09-04 2011-04-27 マイクロソフト コーポレーション オーディオの量子化および逆量子化
DE60330198D1 (de) 2002-09-04 2009-12-31 Microsoft Corp Entropische Kodierung mittels Anpassung des Kodierungsmodus zwischen Niveau- und Lauflängenniveau-Modus
TW573293B (en) * 2002-09-13 2004-01-21 Univ Nat Central Nonlinear operation method suitable for audio encoding/decoding and an applied hardware thereof
SE0202770D0 (sv) * 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
FR2846179B1 (fr) 2002-10-21 2005-02-04 Medialive Embrouillage adaptatif et progressif de flux audio
US6781529B1 (en) * 2002-10-24 2004-08-24 Apple Computer, Inc. Methods and apparatuses for variable length encoding
US6707398B1 (en) 2002-10-24 2004-03-16 Apple Computer, Inc. Methods and apparatuses for packing bitstreams
US6707397B1 (en) 2002-10-24 2004-03-16 Apple Computer, Inc. Methods and apparatus for variable length codeword concatenation
US6781528B1 (en) 2002-10-24 2004-08-24 Apple Computer, Inc. Vector handling capable processor and run length encoding
US7650625B2 (en) * 2002-12-16 2010-01-19 Lsi Corporation System and method for controlling audio and video content via an advanced settop box
US7555017B2 (en) * 2002-12-17 2009-06-30 Tls Corporation Low latency digital audio over packet switched networks
US7272566B2 (en) * 2003-01-02 2007-09-18 Dolby Laboratories Licensing Corporation Reducing scale factor transmission cost for MPEG-2 advanced audio coding (AAC) using a lattice based post processing technique
KR100547113B1 (ko) * 2003-02-15 2006-01-26 삼성전자주식회사 오디오 데이터 인코딩 장치 및 방법
TW594674B (en) * 2003-03-14 2004-06-21 Mediatek Inc Encoder and a encoding method capable of detecting audio signal transient
CN100339886C (zh) * 2003-04-10 2007-09-26 联发科技股份有限公司 可以检测声音信号的暂态位置的编码器及编码方法
FR2853786B1 (fr) * 2003-04-11 2005-08-05 Medialive Procede et equipement de distribution de produits videos numeriques avec une restriction de certains au moins des droits de representation et de reproduction
PL1621047T3 (pl) * 2003-04-17 2007-09-28 Koninl Philips Electronics Nv Generowanie sygnału audio
ATE355590T1 (de) * 2003-04-17 2006-03-15 Koninkl Philips Electronics Nv Audiosignalsynthese
US8073684B2 (en) * 2003-04-25 2011-12-06 Texas Instruments Incorporated Apparatus and method for automatic classification/identification of similar compressed audio files
SE0301273D0 (sv) * 2003-04-30 2003-04-30 Coding Technologies Sweden Ab Advanced processing based on a complex-exponential-modulated filterbank and adaptive time signalling methods
EP1618686A1 (en) * 2003-04-30 2006-01-25 Nokia Corporation Support of a multichannel audio extension
US7739105B2 (en) * 2003-06-13 2010-06-15 Vixs Systems, Inc. System and method for processing audio frames
US7657429B2 (en) * 2003-06-16 2010-02-02 Panasonic Corporation Coding apparatus and coding method for coding with reference to a codebook
KR100556365B1 (ko) * 2003-07-07 2006-03-03 엘지전자 주식회사 음성 인식장치 및 방법
US7296030B2 (en) * 2003-07-17 2007-11-13 At&T Corp. Method and apparatus for windowing in entropy encoding
US7289680B1 (en) * 2003-07-23 2007-10-30 Cisco Technology, Inc. Methods and apparatus for minimizing requantization error
TWI220336B (en) * 2003-07-28 2004-08-11 Design Technology Inc G Compression rate promotion method of adaptive differential PCM technique
WO2005020210A2 (en) * 2003-08-26 2005-03-03 Sarnoff Corporation Method and apparatus for adaptive variable bit rate audio encoding
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
WO2005027096A1 (en) * 2003-09-15 2005-03-24 Zakrytoe Aktsionernoe Obschestvo Intel Method and apparatus for encoding audio
SG120118A1 (en) * 2003-09-15 2006-03-28 St Microelectronics Asia A device and process for encoding audio data
US20050083808A1 (en) * 2003-09-18 2005-04-21 Anderson Hans C. Audio player with CD mechanism
US7349842B2 (en) * 2003-09-29 2008-03-25 Sony Corporation Rate-distortion control scheme in audio encoding
US7283968B2 (en) 2003-09-29 2007-10-16 Sony Corporation Method for grouping short windows in audio encoding
US7325023B2 (en) * 2003-09-29 2008-01-29 Sony Corporation Method of making a window type decision based on MDCT data in audio encoding
US7426462B2 (en) * 2003-09-29 2008-09-16 Sony Corporation Fast codebook selection method in audio encoding
DE602004030594D1 (de) * 2003-10-07 2011-01-27 Panasonic Corp Verfahren zur entscheidung der zeitgrenze zur codierung der spektro-hülle und frequenzauflösung
TWI226035B (en) * 2003-10-16 2005-01-01 Elan Microelectronics Corp Method and system improving step adaptation of ADPCM voice coding
KR101106026B1 (ko) * 2003-10-30 2012-01-17 돌비 인터네셔널 에이비 오디오 신호 인코딩 또는 디코딩
KR20050050322A (ko) * 2003-11-25 2005-05-31 삼성전자주식회사 직교주파수다중화방식의 이동통신시스템에서 적응변조 방법
KR100571824B1 (ko) * 2003-11-26 2006-04-17 삼성전자주식회사 부가정보 삽입된 mpeg-4 오디오 bsac부호화/복호화 방법 및 장치
FR2867649A1 (fr) * 2003-12-10 2005-09-16 France Telecom Procede de codage multiple optimise
CN1894742A (zh) * 2003-12-15 2007-01-10 松下电器产业株式会社 音频压缩解压装置
SE527670C2 (sv) * 2003-12-19 2006-05-09 Ericsson Telefon Ab L M Naturtrogenhetsoptimerad kodning med variabel ramlängd
US7725324B2 (en) * 2003-12-19 2010-05-25 Telefonaktiebolaget Lm Ericsson (Publ) Constrained filter encoding of polyphonic signals
US7809579B2 (en) * 2003-12-19 2010-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Fidelity-optimized variable frame length encoding
US7460990B2 (en) 2004-01-23 2008-12-02 Microsoft Corporation Efficient coding of digital media spectral data using wide-sense perceptual similarity
JP2005217486A (ja) * 2004-01-27 2005-08-11 Matsushita Electric Ind Co Ltd ストリーム復号装置
SG149871A1 (en) 2004-03-01 2009-02-27 Dolby Lab Licensing Corp Multichannel audio coding
DE102004009949B4 (de) * 2004-03-01 2006-03-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Ermitteln eines Schätzwertes
US20090299756A1 (en) * 2004-03-01 2009-12-03 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US7392195B2 (en) * 2004-03-25 2008-06-24 Dts, Inc. Lossless multi-channel audio codec
TWI231656B (en) * 2004-04-08 2005-04-21 Univ Nat Chiao Tung Fast bit allocation algorithm for audio coding
US8032360B2 (en) * 2004-05-13 2011-10-04 Broadcom Corporation System and method for high-quality variable speed playback of audio-visual media
US7512536B2 (en) * 2004-05-14 2009-03-31 Texas Instruments Incorporated Efficient filter bank computation for audio coding
ATE387750T1 (de) * 2004-05-28 2008-03-15 Tc Electronic As Impulsbreitenmodulatorsystem
DE602004024773D1 (de) * 2004-06-10 2010-02-04 Panasonic Corp System und Verfahren für Laufzeit-Rekonfiguration
WO2005124722A2 (en) * 2004-06-12 2005-12-29 Spl Development, Inc. Aural rehabilitation system and method
KR100634506B1 (ko) * 2004-06-25 2006-10-16 삼성전자주식회사 저비트율 부호화/복호화 방법 및 장치
WO2006004605A2 (en) * 2004-06-27 2006-01-12 Apple Computer, Inc. Multi-pass video encoding
US20050285935A1 (en) * 2004-06-29 2005-12-29 Octiv, Inc. Personal conferencing node
US20050286443A1 (en) * 2004-06-29 2005-12-29 Octiv, Inc. Conferencing system
US8843378B2 (en) * 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
KR100773539B1 (ko) * 2004-07-14 2007-11-05 삼성전자주식회사 멀티채널 오디오 데이터 부호화/복호화 방법 및 장치
US20060015329A1 (en) * 2004-07-19 2006-01-19 Chu Wai C Apparatus and method for audio coding
US7391434B2 (en) * 2004-07-27 2008-06-24 The Directv Group, Inc. Video bit stream test
US7706415B2 (en) * 2004-07-29 2010-04-27 Microsoft Corporation Packet multiplexing multi-channel audio
US7508947B2 (en) * 2004-08-03 2009-03-24 Dolby Laboratories Licensing Corporation Method for combining audio signals using auditory scene analysis
US7930184B2 (en) * 2004-08-04 2011-04-19 Dts, Inc. Multi-channel audio coding/decoding of random access points and transients
KR100608062B1 (ko) * 2004-08-04 2006-08-02 삼성전자주식회사 오디오 데이터의 고주파수 복원 방법 및 그 장치
US7848931B2 (en) * 2004-08-27 2010-12-07 Panasonic Corporation Audio encoder
JP2008511852A (ja) * 2004-08-31 2008-04-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ トランスコードのための方法および装置
US7725313B2 (en) * 2004-09-13 2010-05-25 Ittiam Systems (P) Ltd. Method, system and apparatus for allocating bits in perceptual audio coders
US7860721B2 (en) * 2004-09-17 2010-12-28 Panasonic Corporation Audio encoding device, decoding device, and method capable of flexibly adjusting the optimal trade-off between a code rate and sound quality
US7630902B2 (en) * 2004-09-17 2009-12-08 Digital Rise Technology Co., Ltd. Apparatus and methods for digital audio coding using codebook application ranges
US7895034B2 (en) 2004-09-17 2011-02-22 Digital Rise Technology Co., Ltd. Audio encoding system
US7937271B2 (en) 2004-09-17 2011-05-03 Digital Rise Technology Co., Ltd. Audio decoding using variable-length codebook application ranges
CN101247129B (zh) * 2004-09-17 2012-05-23 广州广晟数码技术有限公司 用于音频信号编码的码书分配方法
CN101027718A (zh) * 2004-09-28 2007-08-29 松下电器产业株式会社 可扩展性编码装置以及可扩展性编码方法
JP4892184B2 (ja) * 2004-10-14 2012-03-07 パナソニック株式会社 音響信号符号化装置及び音響信号復号装置
US7061405B2 (en) * 2004-10-15 2006-06-13 Yazaki North America, Inc. Device and method for interfacing video devices over a fiber optic link
US7720230B2 (en) * 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
JP4815780B2 (ja) * 2004-10-20 2011-11-16 ヤマハ株式会社 オーバーサンプリングシステム、デコードlsi、およびオーバーサンプリング方法
SE0402652D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
SE0402651D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods for interpolation and parameter signalling
WO2006060279A1 (en) * 2004-11-30 2006-06-08 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
DE602005017302D1 (de) 2004-11-30 2009-12-03 Agere Systems Inc Synchronisierung von parametrischer raumtonkodierung mit extern bereitgestelltem downmix
JPWO2006067988A1 (ja) * 2004-12-22 2008-06-12 松下電器産業株式会社 Mpegオーディオデコード方法
US7903824B2 (en) * 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
WO2006075079A1 (fr) * 2005-01-14 2006-07-20 France Telecom Procede d’encodage de pistes audio d’un contenu multimedia destine a une diffusion sur terminaux mobiles
KR100707177B1 (ko) * 2005-01-19 2007-04-13 삼성전자주식회사 디지털 신호 부호화/복호화 방법 및 장치
US7208372B2 (en) * 2005-01-19 2007-04-24 Sharp Laboratories Of America, Inc. Non-volatile memory resistor cell with nanotip electrode
KR100765747B1 (ko) * 2005-01-22 2007-10-15 삼성전자주식회사 트리 구조 벡터 양자화를 이용한 스케일러블 음성 부호화장치
KR101203348B1 (ko) * 2005-01-31 2012-11-20 스카이프 가중 오버랩 애드 방법
US7672742B2 (en) * 2005-02-16 2010-03-02 Adaptec, Inc. Method and system for reducing audio latency
US9626973B2 (en) * 2005-02-23 2017-04-18 Telefonaktiebolaget L M Ericsson (Publ) Adaptive bit allocation for multi-channel audio encoding
ATE521143T1 (de) * 2005-02-23 2011-09-15 Ericsson Telefon Ab L M Adaptive bitzuweisung für die mehrkanal- audiokodierung
DE102005010057A1 (de) * 2005-03-04 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines codierten Stereo-Signals eines Audiostücks oder Audiodatenstroms
CN101185118B (zh) * 2005-05-26 2013-01-16 Lg电子株式会社 解码音频信号的方法和装置
EP1899958B1 (en) 2005-05-26 2013-08-07 LG Electronics Inc. Method and apparatus for decoding an audio signal
US8090586B2 (en) 2005-05-26 2012-01-03 Lg Electronics Inc. Method and apparatus for embedding spatial information and reproducing embedded signal for an audio signal
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
US7548853B2 (en) * 2005-06-17 2009-06-16 Shmunk Dmitry V Scalable compressed audio bit stream and codec using a hierarchical filterbank and multichannel joint coding
KR100718132B1 (ko) * 2005-06-24 2007-05-14 삼성전자주식회사 오디오 신호의 비트스트림 생성 방법 및 장치, 그를 이용한부호화/복호화 방법 및 장치
CA2613731C (en) * 2005-06-30 2012-09-18 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
US8214221B2 (en) 2005-06-30 2012-07-03 Lg Electronics Inc. Method and apparatus for decoding an audio signal and identifying information included in the audio signal
JP2009500657A (ja) * 2005-06-30 2009-01-08 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
US8180631B2 (en) 2005-07-11 2012-05-15 Lg Electronics Inc. Apparatus and method of processing an audio signal, utilizing a unique offset associated with each coded-coefficient
US8225392B2 (en) * 2005-07-15 2012-07-17 Microsoft Corporation Immunizing HTML browsers and extensions from known vulnerabilities
US7630882B2 (en) * 2005-07-15 2009-12-08 Microsoft Corporation Frequency segmentation to obtain bands for efficient coding of digital media
KR100851970B1 (ko) * 2005-07-15 2008-08-12 삼성전자주식회사 오디오 신호의 중요주파수 성분 추출방법 및 장치와 이를이용한 저비트율 오디오 신호 부호화/복호화 방법 및 장치
US7599840B2 (en) 2005-07-15 2009-10-06 Microsoft Corporation Selectively using multiple entropy models in adaptive coding and decoding
US7684981B2 (en) * 2005-07-15 2010-03-23 Microsoft Corporation Prediction of spectral coefficients in waveform coding and decoding
US7562021B2 (en) * 2005-07-15 2009-07-14 Microsoft Corporation Modification of codewords in dictionary used for efficient coding of digital media spectral data
US7693709B2 (en) * 2005-07-15 2010-04-06 Microsoft Corporation Reordering coefficients for waveform coding or decoding
US7539612B2 (en) 2005-07-15 2009-05-26 Microsoft Corporation Coding and decoding scale factor information
CN1909066B (zh) * 2005-08-03 2011-02-09 昆山杰得微电子有限公司 音频编码码量控制和调整的方法
WO2007019533A2 (en) * 2005-08-04 2007-02-15 R2Di, Llc System and methods for aligning capture and playback clocks in a wireless digital audio distribution system
US7933337B2 (en) 2005-08-12 2011-04-26 Microsoft Corporation Prediction of transform coefficients for image compression
US7565018B2 (en) 2005-08-12 2009-07-21 Microsoft Corporation Adaptive coding and decoding of wide-range coefficients
US7788107B2 (en) * 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
US8577483B2 (en) * 2005-08-30 2013-11-05 Lg Electronics, Inc. Method for decoding an audio signal
KR20070025905A (ko) * 2005-08-30 2007-03-08 엘지전자 주식회사 멀티채널 오디오 코딩에서 효과적인 샘플링 주파수비트스트림 구성방법
US7761303B2 (en) * 2005-08-30 2010-07-20 Lg Electronics Inc. Slot position coding of TTT syntax of spatial audio coding application
JP4568363B2 (ja) * 2005-08-30 2010-10-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号デコーディング方法及びその装置
WO2007039957A1 (ja) * 2005-10-03 2007-04-12 Sharp Kabushiki Kaisha 表示装置
US7751485B2 (en) * 2005-10-05 2010-07-06 Lg Electronics Inc. Signal processing using pilot based coding
US7646319B2 (en) * 2005-10-05 2010-01-12 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
US7696907B2 (en) * 2005-10-05 2010-04-13 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
KR100878833B1 (ko) 2005-10-05 2009-01-14 엘지전자 주식회사 신호 처리 방법 및 이의 장치, 그리고 인코딩 및 디코딩방법 및 이의 장치
EP1946302A4 (en) * 2005-10-05 2009-08-19 Lg Electronics Inc SIGNAL PROCESSING METHOD AND APPARATUS, ENCODING AND DECODING METHOD, AND ASSOCIATED APPARATUS
US7672379B2 (en) * 2005-10-05 2010-03-02 Lg Electronics Inc. Audio signal processing, encoding, and decoding
DE102005048581B4 (de) * 2005-10-06 2022-06-09 Robert Bosch Gmbh Teilnehmerschnittstelle zwischen einem FlexRay-Kommunikationsbaustein und einem FlexRay-Teilnehmer und Verfahren zur Übertragung von Botschaften über eine solche Schnittstelle
EP1949369B1 (en) * 2005-10-12 2012-09-26 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding audio data and extension data
CN102623014A (zh) * 2005-10-14 2012-08-01 松下电器产业株式会社 变换编码装置和变换编码方法
US20070094035A1 (en) * 2005-10-21 2007-04-26 Nokia Corporation Audio coding
US7761289B2 (en) * 2005-10-24 2010-07-20 Lg Electronics Inc. Removing time delays in signal paths
TWI307037B (en) * 2005-10-31 2009-03-01 Holtek Semiconductor Inc Audio calculation method
US20080162862A1 (en) * 2005-12-02 2008-07-03 Yoshiki Matsumoto Signal Processing Apparatus and Signal Processing Method
US8345890B2 (en) 2006-01-05 2013-01-01 Audience, Inc. System and method for utilizing inter-microphone level differences for speech enhancement
US8332216B2 (en) * 2006-01-12 2012-12-11 Stmicroelectronics Asia Pacific Pte., Ltd. System and method for low power stereo perceptual audio coding using adaptive masking threshold
US7752053B2 (en) * 2006-01-13 2010-07-06 Lg Electronics Inc. Audio signal processing using pilot based coding
KR100953643B1 (ko) 2006-01-19 2010-04-20 엘지전자 주식회사 미디어 신호 처리 방법 및 장치
US7831434B2 (en) * 2006-01-20 2010-11-09 Microsoft Corporation Complex-transform channel coding with extended-band frequency coding
US7953604B2 (en) * 2006-01-20 2011-05-31 Microsoft Corporation Shape and scale parameters for extended-band frequency coding
US8190425B2 (en) * 2006-01-20 2012-05-29 Microsoft Corporation Complex cross-correlation parameters for multi-channel audio
US8204252B1 (en) 2006-10-10 2012-06-19 Audience, Inc. System and method for providing close microphone adaptive array processing
US9185487B2 (en) * 2006-01-30 2015-11-10 Audience, Inc. System and method for providing noise suppression utilizing null processing noise subtraction
US8744844B2 (en) * 2007-07-06 2014-06-03 Audience, Inc. System and method for adaptive intelligent noise suppression
US8194880B2 (en) 2006-01-30 2012-06-05 Audience, Inc. System and method for utilizing omni-directional microphones for speech enhancement
KR20080093419A (ko) 2006-02-07 2008-10-21 엘지전자 주식회사 부호화/복호화 장치 및 방법
JP2007249075A (ja) * 2006-03-17 2007-09-27 Toshiba Corp 音声再生装置および高域補間処理方法
JP4193865B2 (ja) * 2006-04-27 2008-12-10 ソニー株式会社 デジタル信号切換え装置及びその切換え方法
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
DE102006022346B4 (de) * 2006-05-12 2008-02-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Informationssignalcodierung
US8150065B2 (en) * 2006-05-25 2012-04-03 Audience, Inc. System and method for processing an audio signal
US8934641B2 (en) 2006-05-25 2015-01-13 Audience, Inc. Systems and methods for reconstructing decomposed audio signals
US8204253B1 (en) 2008-06-30 2012-06-19 Audience, Inc. Self calibration of audio device
US8849231B1 (en) 2007-08-08 2014-09-30 Audience, Inc. System and method for adaptive power control
US8949120B1 (en) 2006-05-25 2015-02-03 Audience, Inc. Adaptive noise cancelation
TWI371694B (en) * 2006-06-29 2012-09-01 Lg Electronics Inc Method and apparatus for an audio signal processing
US8682652B2 (en) 2006-06-30 2014-03-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder, audio decoder and audio processor having a dynamically variable warping characteristic
EP2040252A4 (en) * 2006-07-07 2013-01-09 Nec Corp AUDIO CODING DEVICE, AUDIO CODING METHOD, AND PROGRAM THEREOF
US7797155B2 (en) * 2006-07-26 2010-09-14 Ittiam Systems (P) Ltd. System and method for measurement of perceivable quantization noise in perceptual audio coders
US7907579B2 (en) * 2006-08-15 2011-03-15 Cisco Technology, Inc. WiFi geolocation from carrier-managed system geolocation of a dual mode device
CN100531398C (zh) * 2006-08-23 2009-08-19 中兴通讯股份有限公司 一种移动多媒体广播系统的多音轨实现方法
US7882462B2 (en) * 2006-09-11 2011-02-01 The Mathworks, Inc. Hardware definition language generation for frame-based processing
US7461106B2 (en) 2006-09-12 2008-12-02 Motorola, Inc. Apparatus and method for low complexity combinatorial coding of signals
JP4823001B2 (ja) * 2006-09-27 2011-11-24 富士通セミコンダクター株式会社 オーディオ符号化装置
JP5174027B2 (ja) * 2006-09-29 2013-04-03 エルジー エレクトロニクス インコーポレイティド ミックス信号処理装置及びミックス信号処理方法
JP5232791B2 (ja) 2006-10-12 2013-07-10 エルジー エレクトロニクス インコーポレイティド ミックス信号処理装置及びその方法
ATE476834T1 (de) * 2006-10-13 2010-08-15 Galaxy Studios Nv Verfahren und codierer zum kombinieren von digitalen datensätzen, decodierungsverfahren und decodierer für solche kombinierte digitale datensätze und aufzeichnungsträger zum speichern eines solchen kombinierten digitalen datensatzes
EP1918909B1 (en) * 2006-11-03 2010-07-07 Psytechnics Ltd Sampling error compensation
US7616568B2 (en) * 2006-11-06 2009-11-10 Ixia Generic packet generation
KR101100221B1 (ko) * 2006-11-15 2011-12-28 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 그 장치
JP5103880B2 (ja) * 2006-11-24 2012-12-19 富士通株式会社 復号化装置および復号化方法
EP2122613B1 (en) * 2006-12-07 2019-01-30 LG Electronics Inc. A method and an apparatus for processing an audio signal
EP2102855A4 (en) 2006-12-07 2010-07-28 Lg Electronics Inc METHOD AND APPARATUS FOR DECODING AUDIO SIGNAL
US7508326B2 (en) * 2006-12-21 2009-03-24 Sigmatel, Inc. Automatically disabling input/output signal processing based on the required multimedia format
US8255226B2 (en) * 2006-12-22 2012-08-28 Broadcom Corporation Efficient background audio encoding in a real time system
FR2911020B1 (fr) * 2006-12-28 2009-05-01 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
FR2911031B1 (fr) * 2006-12-28 2009-04-10 Actimagine Soc Par Actions Sim Procede et dispositif de codage audio
TR201906713T4 (tr) * 2007-01-10 2019-05-21 Koninklijke Philips Nv Audio kod çözücü.
US8275611B2 (en) * 2007-01-18 2012-09-25 Stmicroelectronics Asia Pacific Pte., Ltd. Adaptive noise suppression for digital speech signals
US20100121470A1 (en) * 2007-02-13 2010-05-13 Lg Electronics Inc. Method and an apparatus for processing an audio signal
JP2010518460A (ja) * 2007-02-13 2010-05-27 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
WO2008100100A1 (en) * 2007-02-14 2008-08-21 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US8184710B2 (en) 2007-02-21 2012-05-22 Microsoft Corporation Adaptive truncation of transform coefficient data in a transform-based digital media codec
US8259926B1 (en) 2007-02-23 2012-09-04 Audience, Inc. System and method for 2-channel and 3-channel acoustic echo cancellation
KR101149449B1 (ko) * 2007-03-20 2012-05-25 삼성전자주식회사 오디오 신호의 인코딩 방법 및 장치, 그리고 오디오 신호의디코딩 방법 및 장치
CN101272209B (zh) * 2007-03-21 2012-04-25 大唐移动通信设备有限公司 一种对多通道复用数据进行滤波的方法及设备
US9466307B1 (en) 2007-05-22 2016-10-11 Digimarc Corporation Robust spectral encoding and decoding methods
US7761290B2 (en) 2007-06-15 2010-07-20 Microsoft Corporation Flexible frequency and time partitioning in perceptual transform coding of audio
BRPI0813178B1 (pt) * 2007-06-15 2020-05-12 France Telecom Processo de codificação de um sinal de áudio de entrada, processo de decodificação escalável de um sinal de áudio, codificador de sinal de áudio de entrada, e codificador de um sinal de áudio
US8046214B2 (en) 2007-06-22 2011-10-25 Microsoft Corporation Low complexity decoder for complex transform coding of multi-channel sound
US7944847B2 (en) * 2007-06-25 2011-05-17 Efj, Inc. Voting comparator method, apparatus, and system using a limited number of digital signal processor modules to process a larger number of analog audio streams without affecting the quality of the voted audio stream
US7885819B2 (en) 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
US8189766B1 (en) 2007-07-26 2012-05-29 Audience, Inc. System and method for blind subband acoustic echo cancellation postfiltering
US8285554B2 (en) * 2007-07-27 2012-10-09 Dsp Group Limited Method and system for dynamic aliasing suppression
KR101403340B1 (ko) * 2007-08-02 2014-06-09 삼성전자주식회사 변환 부호화 방법 및 장치
US8521540B2 (en) * 2007-08-17 2013-08-27 Qualcomm Incorporated Encoding and/or decoding digital signals using a permutation value
US8576096B2 (en) * 2007-10-11 2013-11-05 Motorola Mobility Llc Apparatus and method for low complexity combinatorial coding of signals
US8209190B2 (en) * 2007-10-25 2012-06-26 Motorola Mobility, Inc. Method and apparatus for generating an enhancement layer within an audio coding system
US8249883B2 (en) 2007-10-26 2012-08-21 Microsoft Corporation Channel extension coding for multi-channel source
US8199927B1 (en) 2007-10-31 2012-06-12 ClearOnce Communications, Inc. Conferencing system implementing echo cancellation and push-to-talk microphone detection using two-stage frequency filter
GB2454208A (en) 2007-10-31 2009-05-06 Cambridge Silicon Radio Ltd Compression using a perceptual model and a signal-to-mask ratio (SMR) parameter tuned based on target bitrate and previously encoded data
CN101809653A (zh) * 2007-12-06 2010-08-18 Lg电子株式会社 用于处理音频信号的方法和装置
US9275648B2 (en) * 2007-12-18 2016-03-01 Lg Electronics Inc. Method and apparatus for processing audio signal using spectral data of audio signal
US20090164223A1 (en) * 2007-12-19 2009-06-25 Dts, Inc. Lossless multi-channel audio codec
US8239210B2 (en) * 2007-12-19 2012-08-07 Dts, Inc. Lossless multi-channel audio codec
US8143620B1 (en) 2007-12-21 2012-03-27 Audience, Inc. System and method for adaptive classification of audio sources
US8180064B1 (en) 2007-12-21 2012-05-15 Audience, Inc. System and method for providing voice equalization
JP5153791B2 (ja) * 2007-12-28 2013-02-27 パナソニック株式会社 ステレオ音声復号装置、ステレオ音声符号化装置、および消失フレーム補償方法
EP2248263B1 (en) * 2008-01-31 2012-12-26 Agency for Science, Technology And Research Method and device of bitrate distribution/truncation for scalable audio coding
KR101441898B1 (ko) * 2008-02-01 2014-09-23 삼성전자주식회사 주파수 부호화 방법 및 장치와 주파수 복호화 방법 및 장치
US20090210222A1 (en) * 2008-02-15 2009-08-20 Microsoft Corporation Multi-Channel Hole-Filling For Audio Compression
US8194882B2 (en) 2008-02-29 2012-06-05 Audience, Inc. System and method for providing single microphone noise suppression fallback
US20090234642A1 (en) * 2008-03-13 2009-09-17 Motorola, Inc. Method and Apparatus for Low Complexity Combinatorial Coding of Signals
US8355511B2 (en) 2008-03-18 2013-01-15 Audience, Inc. System and method for envelope-based acoustic echo cancellation
US8639519B2 (en) * 2008-04-09 2014-01-28 Motorola Mobility Llc Method and apparatus for selective signal coding based on core encoder performance
KR20090110242A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 신호를 처리하는 방법 및 장치
KR20090110244A (ko) * 2008-04-17 2009-10-21 삼성전자주식회사 오디오 시맨틱 정보를 이용한 오디오 신호의 부호화/복호화 방법 및 그 장치
KR101599875B1 (ko) * 2008-04-17 2016-03-14 삼성전자주식회사 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 부호화 방법 및 장치, 멀티미디어의 컨텐트 특성에 기반한 멀티미디어 복호화 방법 및 장치
KR101238731B1 (ko) * 2008-04-18 2013-03-06 돌비 레버러토리즈 라이쎈싱 코오포레이션 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치
US8179974B2 (en) 2008-05-02 2012-05-15 Microsoft Corporation Multi-level representation of reordered transform coefficients
US8630848B2 (en) 2008-05-30 2014-01-14 Digital Rise Technology Co., Ltd. Audio signal transient detection
CN101605017A (zh) * 2008-06-12 2009-12-16 华为技术有限公司 编码比特的分配方法和装置
US8909361B2 (en) * 2008-06-19 2014-12-09 Broadcom Corporation Method and system for processing high quality audio in a hardware audio codec for audio transmission
CN102077276B (zh) * 2008-06-26 2014-04-09 法国电信公司 多声道音频信号的空间合成
US8521530B1 (en) 2008-06-30 2013-08-27 Audience, Inc. System and method for enhancing a monaural audio signal
US8774423B1 (en) 2008-06-30 2014-07-08 Audience, Inc. System and method for controlling adaptivity of signal modification using a phantom coefficient
WO2010005224A2 (en) * 2008-07-07 2010-01-14 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8712764B2 (en) * 2008-07-10 2014-04-29 Voiceage Corporation Device and method for quantizing and inverse quantizing LPC filters in a super-frame
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
TWI427619B (zh) * 2008-07-21 2014-02-21 Realtek Semiconductor Corp 音效混波裝置與方法
US8406307B2 (en) 2008-08-22 2013-03-26 Microsoft Corporation Entropy coding/decoding of hierarchically organized data
MY154633A (en) * 2008-10-08 2015-07-15 Fraunhofer Ges Forschung Multi-resolution switched audio encoding/decoding scheme
US8121830B2 (en) * 2008-10-24 2012-02-21 The Nielsen Company (Us), Llc Methods and apparatus to extract data encoded in media content
US9667365B2 (en) 2008-10-24 2017-05-30 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8359205B2 (en) 2008-10-24 2013-01-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
GB0822537D0 (en) 2008-12-10 2009-01-14 Skype Ltd Regeneration of wideband speech
GB2466201B (en) * 2008-12-10 2012-07-11 Skype Ltd Regeneration of wideband speech
US9947340B2 (en) * 2008-12-10 2018-04-17 Skype Regeneration of wideband speech
AT509439B1 (de) * 2008-12-19 2013-05-15 Siemens Entpr Communications Verfahren und mittel zur skalierbaren verbesserung der qualität eines signalcodierverfahrens
US8175888B2 (en) * 2008-12-29 2012-05-08 Motorola Mobility, Inc. Enhanced layered gain factor balancing within a multiple-channel audio coding system
US8219408B2 (en) * 2008-12-29 2012-07-10 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal
US8200496B2 (en) * 2008-12-29 2012-06-12 Motorola Mobility, Inc. Audio signal decoder and method for producing a scaled reconstructed audio signal
US8140342B2 (en) * 2008-12-29 2012-03-20 Motorola Mobility, Inc. Selective scaling mask computation based on peak detection
CN104683827A (zh) 2009-05-01 2015-06-03 尼尔森(美国)有限公司 提供与主要广播媒体内容关联的辅助内容的方法和装置
US9159330B2 (en) 2009-08-20 2015-10-13 Gvbb Holdings S.A.R.L. Rate controller, rate control method, and rate control program
GB0915766D0 (en) * 2009-09-09 2009-10-07 Apt Licensing Ltd Apparatus and method for multidimensional adaptive audio coding
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
US9838784B2 (en) 2009-12-02 2017-12-05 Knowles Electronics, Llc Directional audio capture
US8694947B1 (en) 2009-12-09 2014-04-08 The Mathworks, Inc. Resource sharing workflows within executable graphical models
US9008329B1 (en) 2010-01-26 2015-04-14 Audience, Inc. Noise reduction using multi-feature cluster tracker
US8718290B2 (en) 2010-01-26 2014-05-06 Audience, Inc. Adaptive noise reduction using level cues
US8861742B2 (en) * 2010-01-26 2014-10-14 Yamaha Corporation Masker sound generation apparatus and program
DE102010006573B4 (de) * 2010-02-02 2012-03-15 Rohde & Schwarz Gmbh & Co. Kg IQ-Datenkompression für Breitbandanwendungen
EP2365630B1 (en) * 2010-03-02 2016-06-08 Harman Becker Automotive Systems GmbH Efficient sub-band adaptive fir-filtering
US8423355B2 (en) * 2010-03-05 2013-04-16 Motorola Mobility Llc Encoder for audio signal including generic audio and speech frames
US8428936B2 (en) * 2010-03-05 2013-04-23 Motorola Mobility Llc Decoder for audio signal including generic audio and speech frames
US8374858B2 (en) * 2010-03-09 2013-02-12 Dts, Inc. Scalable lossless audio codec and authoring tool
CN102222505B (zh) * 2010-04-13 2012-12-19 中兴通讯股份有限公司 可分层音频编解码方法系统及瞬态信号可分层编解码方法
JP5850216B2 (ja) * 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
US9378754B1 (en) 2010-04-28 2016-06-28 Knowles Electronics, Llc Adaptive spatial classifier for multi-microphone systems
US9236063B2 (en) 2010-07-30 2016-01-12 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for dynamic bit allocation
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
US9208792B2 (en) 2010-08-17 2015-12-08 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for noise injection
BR122019025115B1 (pt) 2010-09-16 2021-04-13 Dolby International Ab Sistema e método para gerar um sinal de tempo alongado e/ou de frequência transposta a partir de um sinal de entrada e meio de armazenamento legível por computador não transitório
EP2612321B1 (en) 2010-09-28 2016-01-06 Huawei Technologies Co., Ltd. Device and method for postprocessing decoded multi-channel audio signal or decoded stereo signal
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
JP5609591B2 (ja) * 2010-11-30 2014-10-22 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法及びオーディオ符号化用コンピュータプログラム
US9436441B1 (en) 2010-12-08 2016-09-06 The Mathworks, Inc. Systems and methods for hardware resource sharing
JP5809290B2 (ja) * 2011-01-05 2015-11-10 グーグル・インコーポレーテッド テキスト入力を容易にするための方法およびシステム
BR112013020482B1 (pt) * 2011-02-14 2021-02-23 Fraunhofer Ges Forschung aparelho e método para processar um sinal de áudio decodificado em um domínio espectral
RU2586838C2 (ru) 2011-02-14 2016-06-10 Фраунхофер-Гезелльшафт Цур Фердерунг Дер Ангевандтен Форшунг Е.Ф. Аудиокодек, использующий синтез шума в течение неактивной фазы
US10515643B2 (en) * 2011-04-05 2019-12-24 Nippon Telegraph And Telephone Corporation Encoding method, decoding method, encoder, decoder, program, and recording medium
KR101859246B1 (ko) * 2011-04-20 2018-05-17 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 허프만 부호화를 실행하기 위한 장치 및 방법
GB2490879B (en) 2011-05-12 2018-12-26 Qualcomm Technologies Int Ltd Hybrid coded audio data streaming apparatus and method
SG194945A1 (en) 2011-05-13 2013-12-30 Samsung Electronics Co Ltd Bit allocating, audio encoding and decoding
DE102011106033A1 (de) * 2011-06-30 2013-01-03 Zte Corporation Verfahren und System zur Audiocodierung und -decodierung und Verfahren zur Schätzung des Rauschpegels
US9355000B1 (en) 2011-08-23 2016-05-31 The Mathworks, Inc. Model level power consumption optimization in hardware description generation
US8781023B2 (en) * 2011-11-01 2014-07-15 At&T Intellectual Property I, L.P. Method and apparatus for improving transmission of data on a bandwidth expanded channel
US8774308B2 (en) * 2011-11-01 2014-07-08 At&T Intellectual Property I, L.P. Method and apparatus for improving transmission of data on a bandwidth mismatched channel
FR2984579B1 (fr) * 2011-12-14 2013-12-13 Inst Polytechnique Grenoble Procede de traitement numerique sur un ensemble de pistes audio avant mixage
CN103534753B (zh) * 2012-04-05 2015-05-27 华为技术有限公司 用于信道间差估计的方法和空间音频编码装置
JP5998603B2 (ja) * 2012-04-18 2016-09-28 ソニー株式会社 音検出装置、音検出方法、音特徴量検出装置、音特徴量検出方法、音区間検出装置、音区間検出方法およびプログラム
TWI505262B (zh) * 2012-05-15 2015-10-21 Dolby Int Ab 具多重子流之多通道音頻信號的有效編碼與解碼
GB201210373D0 (en) * 2012-06-12 2012-07-25 Meridian Audio Ltd Doubly compatible lossless audio sandwidth extension
CN102752058B (zh) * 2012-06-16 2013-10-16 天地融科技股份有限公司 音频数据传输系统、音频数据传输装置及电子签名工具
TWI586150B (zh) * 2012-06-29 2017-06-01 新力股份有限公司 影像處理裝置及非暫態電腦可讀儲存媒體
JP6065452B2 (ja) 2012-08-14 2017-01-25 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
US9129600B2 (en) 2012-09-26 2015-09-08 Google Technology Holdings LLC Method and apparatus for encoding an audio signal
JP5447628B1 (ja) * 2012-09-28 2014-03-19 パナソニック株式会社 無線通信装置及び通信端末
MX341885B (es) 2012-12-13 2016-09-07 Panasonic Ip Corp America Dispositivo de codificacion de sonido de voz, dispositivo de decodificacion de sonido de voz, metodo de codificacion de sonido de voz y metodo de decodificacion de sonido de voz.
ES2613747T3 (es) 2013-01-08 2017-05-25 Dolby International Ab Predicción basada en modelo en un banco de filtros críticamente muestreado
JP6179122B2 (ja) * 2013-02-20 2017-08-16 富士通株式会社 オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム
US9093064B2 (en) 2013-03-11 2015-07-28 The Nielsen Company (Us), Llc Down-mixing compensation for audio watermarking
US9794715B2 (en) 2013-03-13 2017-10-17 Dts Llc System and methods for processing stereo audio content
JP6146069B2 (ja) * 2013-03-18 2017-06-14 富士通株式会社 データ埋め込み装置及び方法、データ抽出装置及び方法、並びにプログラム
CN105144288B (zh) 2013-04-05 2019-12-27 杜比国际公司 高级量化器
EP2800401A1 (en) * 2013-04-29 2014-11-05 Thomson Licensing Method and Apparatus for compressing and decompressing a Higher Order Ambisonics representation
US9495968B2 (en) 2013-05-29 2016-11-15 Qualcomm Incorporated Identifying sources from which higher order ambisonic audio data is generated
US9536540B2 (en) 2013-07-19 2017-01-03 Knowles Electronics, Llc Speech signal separation and synthesis based on auditory scene analysis and speech modeling
EP3660843B1 (en) 2013-09-13 2022-11-09 Samsung Electronics Co., Ltd. Lossless coding method
US9848272B2 (en) * 2013-10-21 2017-12-19 Dolby International Ab Decorrelator structure for parametric reconstruction of audio signals
US10204630B2 (en) * 2013-10-22 2019-02-12 Electronics And Telecommunications Research Instit Ute Method for generating filter for audio signal and parameterizing device therefor
US9817931B1 (en) 2013-12-05 2017-11-14 The Mathworks, Inc. Systems and methods for generating optimized hardware descriptions for models
US10078717B1 (en) 2013-12-05 2018-09-18 The Mathworks, Inc. Systems and methods for estimating performance characteristics of hardware implementations of executable models
WO2015098564A1 (ja) 2013-12-27 2015-07-02 ソニー株式会社 復号化装置および方法、並びにプログラム
US8767996B1 (en) 2014-01-06 2014-07-01 Alpine Electronics of Silicon Valley, Inc. Methods and devices for reproducing audio signals with a haptic apparatus on acoustic headphones
US8977376B1 (en) 2014-01-06 2015-03-10 Alpine Electronics of Silicon Valley, Inc. Reproducing audio signals with a haptic apparatus on acoustic headphones and their calibration and measurement
US10986454B2 (en) 2014-01-06 2021-04-20 Alpine Electronics of Silicon Valley, Inc. Sound normalization and frequency remapping using haptic feedback
CN105993178B (zh) * 2014-02-27 2019-03-29 瑞典爱立信有限公司 用于音频/视频采样矢量的棱椎矢量量化编索引和解索引的方法和装置
US9564136B2 (en) * 2014-03-06 2017-02-07 Dts, Inc. Post-encoding bitrate reduction of multiple object audio
AU2015238448B2 (en) 2014-03-24 2019-04-18 Dolby International Ab Method and device for applying Dynamic Range Compression to a Higher Order Ambisonics signal
US9685164B2 (en) * 2014-03-31 2017-06-20 Qualcomm Incorporated Systems and methods of switching coding technologies at a device
FR3020732A1 (fr) * 2014-04-30 2015-11-06 Orange Correction de perte de trame perfectionnee avec information de voisement
US9997171B2 (en) * 2014-05-01 2018-06-12 Gn Hearing A/S Multi-band signal processor for digital audio signals
KR102318581B1 (ko) * 2014-06-10 2021-10-27 엠큐에이 리미티드 오디오 신호의 디지털 캡슐화
JP6432180B2 (ja) * 2014-06-26 2018-12-05 ソニー株式会社 復号装置および方法、並びにプログラム
EP2960903A1 (en) * 2014-06-27 2015-12-30 Thomson Licensing Method and apparatus for determining for the compression of an HOA data frame representation a lowest integer number of bits required for representing non-differential gain values
EP3161821B1 (en) * 2014-06-27 2018-09-26 Dolby International AB Method for determining for the compression of an hoa data frame representation a lowest integer number of bits required for representing non-differential gain values
EP2980795A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor
EP2980794A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
EP2988300A1 (en) * 2014-08-18 2016-02-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Switching of sampling rates at audio processing devices
JP6724782B2 (ja) * 2014-09-04 2020-07-15 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN107112025A (zh) 2014-09-12 2017-08-29 美商楼氏电子有限公司 用于恢复语音分量的系统和方法
EP3467827B1 (en) * 2014-10-01 2020-07-29 Dolby International AB Decoding an encoded audio signal using drc profiles
CN105632503B (zh) * 2014-10-28 2019-09-03 南宁富桂精密工业有限公司 信息隐藏方法及系统
US9659578B2 (en) * 2014-11-27 2017-05-23 Tata Consultancy Services Ltd. Computer implemented system and method for identifying significant speech frames within speech signals
JP6798999B2 (ja) * 2015-02-27 2020-12-09 アウロ テクノロジーズ エンフェー. デジタルデータセットの符号化及び復号
EP3067887A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder for encoding a multichannel signal and audio decoder for decoding an encoded audio signal
EP3067885A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
CN106161313A (zh) * 2015-03-30 2016-11-23 索尼公司 无线通信系统中的电子设备、无线通信系统和方法
US10043527B1 (en) * 2015-07-17 2018-08-07 Digimarc Corporation Human auditory system modeling with masking energy adaptation
EP3342188B1 (en) 2015-08-25 2020-08-12 Dolby Laboratories Licensing Corporation Audo decoder and decoding method
CN109074813B (zh) * 2015-09-25 2020-04-03 杜比实验室特许公司 处理高清晰度音频数据
US10423733B1 (en) 2015-12-03 2019-09-24 The Mathworks, Inc. Systems and methods for sharing resources having different data types
US10395664B2 (en) 2016-01-26 2019-08-27 Dolby Laboratories Licensing Corporation Adaptive Quantization
US9820042B1 (en) 2016-05-02 2017-11-14 Knowles Electronics, Llc Stereo separation and directional suppression with omni-directional microphones
JP6763194B2 (ja) * 2016-05-10 2020-09-30 株式会社Jvcケンウッド 符号化装置、復号装置、通信システム
US10770088B2 (en) * 2016-05-10 2020-09-08 Immersion Networks, Inc. Adaptive audio decoder system, method and article
US10699725B2 (en) * 2016-05-10 2020-06-30 Immersion Networks, Inc. Adaptive audio encoder system, method and article
CA3024167A1 (en) * 2016-05-10 2017-11-16 Immersion Services LLC Adaptive audio codec system, method, apparatus and medium
US10756755B2 (en) * 2016-05-10 2020-08-25 Immersion Networks, Inc. Adaptive audio codec system, method and article
US20170330575A1 (en) * 2016-05-10 2017-11-16 Immersion Services LLC Adaptive audio codec system, method and article
CN105869648B (zh) * 2016-05-19 2019-11-22 日立楼宇技术(广州)有限公司 混音方法及装置
KR102483042B1 (ko) 2016-06-17 2022-12-29 디티에스, 인코포레이티드 근거리/원거리 렌더링을 사용한 거리 패닝
US10375498B2 (en) 2016-11-16 2019-08-06 Dts, Inc. Graphical user interface for calibrating a surround sound system
EP4149122A1 (en) * 2016-11-23 2023-03-15 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for adaptive control of decorrelation filters
JP2018092012A (ja) * 2016-12-05 2018-06-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10362269B2 (en) * 2017-01-11 2019-07-23 Ringcentral, Inc. Systems and methods for determining one or more active speakers during an audio or video conference session
US10339947B2 (en) * 2017-03-22 2019-07-02 Immersion Networks, Inc. System and method for processing audio data
US10699721B2 (en) 2017-04-25 2020-06-30 Dts, Inc. Encoding and decoding of digital audio signals using difference data
CN109427338B (zh) 2017-08-23 2021-03-30 华为技术有限公司 立体声信号的编码方法和编码装置
WO2019049543A1 (ja) * 2017-09-08 2019-03-14 ソニー株式会社 音声処理装置、音声処理方法及びプログラム
KR102622714B1 (ko) 2018-04-08 2024-01-08 디티에스, 인코포레이티드 앰비소닉 깊이 추출
CN115410583A (zh) 2018-04-11 2022-11-29 杜比实验室特许公司 基于机器学习的用于音频编码和解码的基于感知的损失函数
CN109243471B (zh) * 2018-09-26 2022-09-23 杭州联汇科技股份有限公司 一种快速编码广播用数字音频的方法
US10763885B2 (en) 2018-11-06 2020-09-01 Stmicroelectronics S.R.L. Method of error concealment, and associated device
CN111341303B (zh) * 2018-12-19 2023-10-31 北京猎户星空科技有限公司 一种声学模型的训练方法及装置、语音识别方法及装置
CN109831280A (zh) * 2019-02-28 2019-05-31 深圳市友杰智新科技有限公司 一种声波通讯方法、装置及可读存储介质
KR20200123531A (ko) * 2019-04-22 2020-10-30 주식회사 쏠리드 통신 신호를 처리하는 방법 및 이를 이용하는 통신 노드
US11361772B2 (en) 2019-05-14 2022-06-14 Microsoft Technology Licensing, Llc Adaptive and fixed mapping for compression and decompression of audio data
US10681463B1 (en) * 2019-05-17 2020-06-09 Sonos, Inc. Wireless transmission to satellites for multichannel audio system
WO2020232631A1 (zh) * 2019-05-21 2020-11-26 深圳市汇顶科技股份有限公司 一种语音分频传输方法、源端、播放端、源端电路和播放端电路
WO2020242506A1 (en) 2019-05-31 2020-12-03 Dts, Inc. Foveated audio rendering
CN110365342B (zh) * 2019-06-06 2023-05-12 中车青岛四方机车车辆股份有限公司 波形解码方法及装置
EP3751567B1 (en) * 2019-06-10 2022-01-26 Axis AB A method, a computer program, an encoder and a monitoring device
US11380343B2 (en) 2019-09-12 2022-07-05 Immersion Networks, Inc. Systems and methods for processing high frequency audio signal
GB2587196A (en) * 2019-09-13 2021-03-24 Nokia Technologies Oy Determination of spatial audio parameter encoding and associated decoding
CN112530444B (zh) * 2019-09-18 2023-10-03 华为技术有限公司 音频编码方法和装置
US20210224024A1 (en) * 2020-01-21 2021-07-22 Audiowise Technology Inc. Bluetooth audio system with low latency, and audio source and audio sink thereof
EP4118744A1 (en) * 2020-03-13 2023-01-18 Immersion Networks, Inc. Loudness equalization system
CN111261194A (zh) * 2020-04-29 2020-06-09 浙江百应科技有限公司 一种基于pcm技术的音量分析方法
CN112037802B (zh) * 2020-05-08 2022-04-01 珠海市杰理科技股份有限公司 基于语音端点检测的音频编码方法及装置、设备、介质
CN111583942B (zh) * 2020-05-26 2023-06-13 腾讯科技(深圳)有限公司 语音会话的编码码率控制方法、装置和计算机设备
CN112187397B (zh) * 2020-09-11 2022-04-29 烽火通信科技股份有限公司 一种通用的多通道数据同步方法和装置
CN112885364B (zh) * 2021-01-21 2023-10-13 维沃移动通信有限公司 音频编码方法和解码方法、音频编码装置和解码装置
CN113485190B (zh) * 2021-07-13 2022-11-11 西安电子科技大学 一种多通道数据采集系统及采集方法
US20230154474A1 (en) * 2021-11-17 2023-05-18 Agora Lab, Inc. System and method for providing high quality audio communication over low bit rate connection
WO2024012666A1 (en) * 2022-07-12 2024-01-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding ar/vr metadata with generic codebooks
CN115171709B (zh) * 2022-09-05 2022-11-18 腾讯科技(深圳)有限公司 语音编码、解码方法、装置、计算机设备和存储介质
US11935550B1 (en) * 2023-03-31 2024-03-19 The Adt Security Corporation Audio compression for low overhead decompression

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3171990D1 (en) * 1981-04-30 1985-10-03 Ibm Speech coding methods and apparatus for carrying out the method
JPS5921039B2 (ja) * 1981-11-04 1984-05-17 日本電信電話株式会社 適応予測符号化方式
US4455649A (en) * 1982-01-15 1984-06-19 International Business Machines Corporation Method and apparatus for efficient statistical multiplexing of voice and data signals
US4547816A (en) 1982-05-03 1985-10-15 Robert Bosch Gmbh Method of recording digital audio and video signals in the same track
US4535472A (en) * 1982-11-05 1985-08-13 At&T Bell Laboratories Adaptive bit allocator
US4622680A (en) * 1984-10-17 1986-11-11 General Electric Company Hybrid subband coder/decoder method and apparatus
US4757536A (en) * 1984-10-17 1988-07-12 General Electric Company Method and apparatus for transceiving cryptographically encoded digital data
US4817146A (en) * 1984-10-17 1989-03-28 General Electric Company Cryptographic digital signal transceiver method and apparatus
US5051991A (en) * 1984-10-17 1991-09-24 Ericsson Ge Mobile Communications Inc. Method and apparatus for efficient digital time delay compensation in compressed bandwidth signal processing
US4675863A (en) * 1985-03-20 1987-06-23 International Mobile Machines Corp. Subscriber RF telephone system for providing multiple speech and/or data signals simultaneously over either a single or a plurality of RF channels
JPS62154368A (ja) 1985-12-27 1987-07-09 Canon Inc 記録装置
US4815074A (en) * 1986-08-01 1989-03-21 General Datacomm, Inc. High speed bit interleaved time division multiplexer for multinode communication systems
US4899384A (en) * 1986-08-25 1990-02-06 Ibm Corporation Table controlled dynamic bit allocation in a variable rate sub-band speech coder
DE3639753A1 (de) * 1986-11-21 1988-06-01 Inst Rundfunktechnik Gmbh Verfahren zum uebertragen digitalisierter tonsignale
NL8700985A (nl) * 1987-04-27 1988-11-16 Philips Nv Systeem voor sub-band codering van een digitaal audiosignaal.
JPH0783315B2 (ja) * 1988-09-26 1995-09-06 富士通株式会社 可変レート音声信号符号化方式
US4881224A (en) 1988-10-19 1989-11-14 General Datacomm, Inc. Framing algorithm for bit interleaved time division multiplexer
US5341457A (en) * 1988-12-30 1994-08-23 At&T Bell Laboratories Perceptual coding of audio signals
EP0411998B1 (en) 1989-07-29 1995-03-22 Sony Corporation 4-Channel PCM signal processing apparatus
US5115240A (en) * 1989-09-26 1992-05-19 Sony Corporation Method and apparatus for encoding voice signals divided into a plurality of frequency bands
DE69028176T2 (de) * 1989-11-14 1997-01-23 Nec Corp Adaptive Transformationskodierung durch optimale Blocklängenselektion in Abhängigkeit von Unterschieden zwischen aufeinanderfolgenden Blöcken
CN1062963C (zh) * 1990-04-12 2001-03-07 多尔拜实验特许公司 用于产生高质量声音信号的解码器和编码器
US5388181A (en) * 1990-05-29 1995-02-07 Anderson; David J. Digital audio compression system
JP2841765B2 (ja) * 1990-07-13 1998-12-24 日本電気株式会社 適応ビット割当て方法及び装置
JPH04127747A (ja) * 1990-09-19 1992-04-28 Toshiba Corp 可変レート符号化方式
US5365553A (en) * 1990-11-30 1994-11-15 U.S. Philips Corporation Transmitter, encoding system and method employing use of a bit need determiner for subband coding a digital signal
US5136377A (en) * 1990-12-11 1992-08-04 At&T Bell Laboratories Adaptive non-linear quantizer
US5123015A (en) * 1990-12-20 1992-06-16 Hughes Aircraft Company Daisy chain multiplexer
ES2087522T3 (es) * 1991-01-08 1996-07-16 Dolby Lab Licensing Corp Descodificacion/codificacion para campos sonoros multidimensionales.
NL9100285A (nl) * 1991-02-19 1992-09-16 Koninkl Philips Electronics Nv Transmissiesysteem, en ontvanger te gebruiken in het transmissiesysteem.
ZA921988B (en) * 1991-03-29 1993-02-24 Sony Corp High efficiency digital data encoding and decoding apparatus
EP0506394A2 (en) * 1991-03-29 1992-09-30 Sony Corporation Coding apparatus for digital signals
JP3134338B2 (ja) * 1991-03-30 2001-02-13 ソニー株式会社 ディジタル音声信号符号化方法
ATE294441T1 (de) * 1991-06-11 2005-05-15 Qualcomm Inc Vocoder mit veränderlicher bitrate
JP3508138B2 (ja) 1991-06-25 2004-03-22 ソニー株式会社 信号処理装置
GB2257606B (en) * 1991-06-28 1995-01-18 Sony Corp Recording and/or reproducing apparatuses and signal processing methods for compressed data
ES2164640T3 (es) * 1991-08-02 2002-03-01 Sony Corp Codificador digital con asignacion dinamica de bits de cuantificacion.
KR100263599B1 (ko) * 1991-09-02 2000-08-01 요트.게.아. 롤페즈 인코딩 시스템
JP3226945B2 (ja) * 1991-10-02 2001-11-12 キヤノン株式会社 マルチメディア通信装置
FR2685593B1 (fr) * 1991-12-20 1994-02-11 France Telecom Dispositif de demultiplexage en frequence a filtres numeriques.
US5642437A (en) * 1992-02-22 1997-06-24 Texas Instruments Incorporated System decoder circuit with temporary bit storage and method of operation
US5285498A (en) * 1992-03-02 1994-02-08 At&T Bell Laboratories Method and apparatus for coding audio signals based on perceptual model
CA2090052C (en) * 1992-03-02 1998-11-24 Anibal Joao De Sousa Ferreira Method and apparatus for the perceptual coding of audio signals
EP0559348A3 (en) * 1992-03-02 1993-11-03 AT&T Corp. Rate control loop processor for perceptual encoder/decoder
DE4209544A1 (de) * 1992-03-24 1993-09-30 Inst Rundfunktechnik Gmbh Verfahren zum Übertragen oder Speichern digitalisierter, mehrkanaliger Tonsignale
JP2693893B2 (ja) * 1992-03-30 1997-12-24 松下電器産業株式会社 ステレオ音声符号化方法
US5734789A (en) * 1992-06-01 1998-03-31 Hughes Electronics Voiced, unvoiced or noise modes in a CELP vocoder
TW235392B (ja) * 1992-06-02 1994-12-01 Philips Electronics Nv
US5436940A (en) * 1992-06-11 1995-07-25 Massachusetts Institute Of Technology Quadrature mirror filter banks and method
JP2976701B2 (ja) * 1992-06-24 1999-11-10 日本電気株式会社 量子化ビット数割当方法
US5408580A (en) * 1992-09-21 1995-04-18 Aware, Inc. Audio compression system employing multi-rate signal analysis
US5396489A (en) * 1992-10-26 1995-03-07 Motorola Inc. Method and means for transmultiplexing signals between signal terminals and radio frequency channels
US5381145A (en) * 1993-02-10 1995-01-10 Ricoh Corporation Method and apparatus for parallel decoding and encoding of data
US5657423A (en) * 1993-02-22 1997-08-12 Texas Instruments Incorporated Hardware filter circuit and address circuitry for MPEG encoded data
TW272341B (ja) * 1993-07-16 1996-03-11 Sony Co Ltd
US5451954A (en) * 1993-08-04 1995-09-19 Dolby Laboratories Licensing Corporation Quantization noise suppression for encoder/decoder system
US5488665A (en) * 1993-11-23 1996-01-30 At&T Corp. Multi-channel perceptual audio compression system with encoding mode switching among matrixed channels
JPH07202820A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd ビットレート制御システム
US5608713A (en) * 1994-02-09 1997-03-04 Sony Corporation Bit allocation of digital audio signal blocks by non-linear processing
JP2778482B2 (ja) * 1994-09-26 1998-07-23 日本電気株式会社 帯域分割符号化装置
US5748903A (en) * 1995-07-21 1998-05-05 Intel Corporation Encoding images using decode rate control
ES2201929B1 (es) * 2002-09-12 2005-05-16 Araclon Biotech, S.L. Anticuerpos policlonales, metodo de preparacion y uso de los mismos.

Also Published As

Publication number Publication date
CN1848241A (zh) 2006-10-18
US5956674A (en) 1999-09-21
PL182240B1 (pl) 2001-11-30
KR19990071708A (ko) 1999-09-27
HK1015510A1 (en) 1999-10-15
MX9804320A (es) 1998-11-30
HK1092271A1 (en) 2007-02-02
EP0864146B1 (en) 2004-10-13
WO1997021211A1 (en) 1997-06-12
KR100277819B1 (ko) 2001-01-15
ATE279770T1 (de) 2004-10-15
CN1848242B (zh) 2012-04-18
CA2331611A1 (en) 1997-06-12
HK1149979A1 (en) 2011-10-21
JP2000501846A (ja) 2000-02-15
AU1058997A (en) 1997-06-27
CN1848241B (zh) 2010-12-15
AU705194B2 (en) 1999-05-20
CN1208489A (zh) 1999-02-17
PL327082A1 (en) 1998-11-23
EA199800505A1 (ru) 1998-12-24
CA2331611C (en) 2001-09-11
EP0864146A4 (en) 2001-09-19
CN1132151C (zh) 2003-12-24
DE69633633D1 (de) 2004-11-18
PT864146E (pt) 2005-02-28
CA2238026C (en) 2002-07-09
CA2238026A1 (en) 1997-06-12
ES2232842T3 (es) 2005-06-01
US6487535B1 (en) 2002-11-26
EP0864146A1 (en) 1998-09-16
CN1303583C (zh) 2007-03-07
PL183092B1 (pl) 2002-05-31
DE69633633T2 (de) 2005-10-27
CN101872618B (zh) 2012-08-22
HK1092270A1 (en) 2007-02-02
PL183498B1 (pl) 2002-06-28
DK0864146T3 (da) 2005-02-14
US5974380A (en) 1999-10-26
US5978762A (en) 1999-11-02
CN1848242A (zh) 2006-10-18
CN1495705A (zh) 2004-05-12
BR9611852A (pt) 2000-05-16
EA001087B1 (ru) 2000-10-30
CN101872618A (zh) 2010-10-27

Similar Documents

Publication Publication Date Title
JP4174072B2 (ja) 心理音響学的アダプティブ・ビット割り当てを用いたマルチ・チャネル予測サブバンド・コーダ
KR101612969B1 (ko) 임의 접근 위치(rap) 및 다중 예측 파라미터 세트(mpps) 능력을 구비한 적응형 세그먼트화를 이용하는 무손실 다채널 오디오 코덱
KR970007661B1 (ko) 스테레오포닉 오디오 신호의 입력세트 코딩방법
JP3804968B2 (ja) 適応配分式符号化・復号装置及び方法
JP3297051B2 (ja) 適応ビット配分符号化装置及び方法
JP3970342B2 (ja) 音響信号の知覚符号化
JP4809370B2 (ja) マルチチャネル音声符号化における適応ビット割り当て
US5581654A (en) Method and apparatus for information encoding and decoding
JP2013148935A (ja) 可逆マルチチャネル・オーディオ・コーデック
KR101243412B1 (ko) 무손실의 다채널 오디오 코덱
US7725324B2 (en) Constrained filter encoding of polyphonic signals
Johnston et al. AT&T perceptual audio coding (PAC)
Noll et al. ISO/MPEG audio coding
Smyth An Overview of the Coherent Acoustics Coding System
Sugiyama Audio Compression
Noll Digital audio for multimedia
EP1639580A1 (en) Constrained filter encoding of polyphonic signals
Noll Wideband Audio
JPH0758707A (ja) 量子化ビット割当方式
Bosi et al. MPEG-1 Audio
Funken Implementation of a transform based audio encoder

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20031118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20031118

A72 Notification of change in name of applicant

Free format text: JAPANESE INTERMEDIATE CODE: A721

Effective date: 20060920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070116

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20070118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080729

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080818

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110822

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120822

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130822

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term