JP6929868B2 - オーディオ信号復号 - Google Patents

オーディオ信号復号 Download PDF

Info

Publication number
JP6929868B2
JP6929868B2 JP2018548775A JP2018548775A JP6929868B2 JP 6929868 B2 JP6929868 B2 JP 6929868B2 JP 2018548775 A JP2018548775 A JP 2018548775A JP 2018548775 A JP2018548775 A JP 2018548775A JP 6929868 B2 JP6929868 B2 JP 6929868B2
Authority
JP
Japan
Prior art keywords
signal
value
channel
shift
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018548775A
Other languages
English (en)
Other versions
JP2019512738A (ja
JP2019512738A5 (ja
Inventor
アッティ、ベンカトラマン・エス.
チェビーヤム、ベンカタ・スブラマニヤム・チャンドラ・セカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2019512738A publication Critical patent/JP2019512738A/ja
Publication of JP2019512738A5 publication Critical patent/JP2019512738A5/ja
Application granted granted Critical
Publication of JP6929868B2 publication Critical patent/JP6929868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/24Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

優先権の主張
[0001]本出願は、同一出願人が所有する、2016年3月18日に出願された、「AUDIO SIGNAL DECODING」と題する米国仮特許出願第62/310,626号、および2017年3月16日に出願された、「AUDIO SIGNAL DECODING」と題する米国非仮特許出願第15/460,928号の優先権の利益を主張し、上述の出願の各々の内容は、その全体が参照により本明細書に明確に組み込まれる。
[0002]本開示は、一般に、オーディオ信号を復号することに関する。
[0003]技術の進歩は、より小型でより強力なコンピューティングデバイスをもたらした。たとえば、現在、小型で、軽量で、ユーザによって容易に持ち運ばれる、モバイルフォンおよびスマートフォンなどのワイヤレス電話、タブレットならびにラップトップコンピュータを含む、様々なポータブルパーソナルコンピューティングデバイスが存在する。これらのデバイスは、ワイヤレスネットワークを介してボイスおよびデータパケットを通信することができる。さらに、多くのそのようなデバイスは、デジタルスチルカメラ、デジタルビデオカメラ、デジタルレコーダ、およびオーディオファイルプレーヤなど、追加の機能を組み込む。また、そのようなデバイスは、インターネットにアクセスするために使用され得る、ウェブブラウザアプリケーションなど、ソフトウェアアプリケーションを含む、実行可能な命令を処理することができる。したがって、これらのデバイスはかなりの計算能力を含むことができる。
[0004]コンピューティングデバイスは、オーディオ信号を受信するための複数のマイクロフォンを含み得る。概して、音源は、複数のマイクロフォンのうちの第2のマイクロフォンに対してよりも第1のマイクロフォンに対して近い。したがって、第2のマイクロフォンから受信された第2のオーディオ信号は、第1のマイクロフォンから受信された第1のオーディオ信号に対して遅延し得る。ステレオ符号化では、マイクロフォンからのオーディオ信号は、ミッドチャネル信号と1つまたは複数のサイドチャネル信号とを生成するために符号化され得る。ミッドチャネル信号は、第1のオーディオ信号と第2のオーディオ信号との和に対応し得る。サイドチャネル信号は、第1のオーディオ信号と第2のオーディオ信号との間の差に対応し得る。第1のオーディオ信号は、第1のオーディオ信号に対する第2のオーディオ信号を受信する際の遅延のために、第2のオーディオ信号と時間的に整合されないことがある。第2のオーディオ信号に対する第1のオーディオ信号の不整合(または「時間的オフセット」)は、高いエントロピーを有するサイドチャネル信号を生じ得る(たとえば、サイドチャネル信号が最大限に無相関化されないことがある)。サイドチャネル信号の高いエントロピーのために、サイドチャネル信号を符号化するためにより大きい数のビットが必要とされ得る。
[0005]さらに、異なるフレームタイプは、コンピューティングデバイスが、異なる時間的オフセットまたはシフト推定値を生成することを引き起こし得る。たとえば、コンピューティングデバイスは、第1のオーディオ信号の有声フレームが、第2のオーディオ信号中の対応する有声フレームによって特定の量だけオフセットされると決定し得る。しかしながら、比較的高い量の雑音により、コンピューティングデバイスは、第1のオーディオ信号の遷移フレーム(または無声フレーム)が、第2のオーディオ信号の対応する遷移フレーム(または対応する無声フレーム)によって、異なる量だけオフセットされると決定し得る。シフト推定値の変動は、フレーム境界におけるサンプル繰返しおよびアーティファクトスキップ(artifact skipping)を引き起こし得る。さらに、シフト推定値の変動は、コーディング効率を低減し得る、より高いサイドチャネルエネルギーを生じ得る。
[0006]本明細書で開示される技法の一実装形態によれば、装置は、1つまたは複数のチャネル間帯域幅拡張(BWE:bandwidth extension)パラメータを含む少なくとも1つの符号化された信号を受信するように構成された受信機を含む。デバイスは、少なくとも1つの符号化された信号に基づいて帯域幅拡張を実施することによってミッドチャネル時間領域ハイバンド信号を生成するように構成されたデコーダをも含む。デコーダはまた、ミッドチャネル時間領域ハイバンド信号と1つまたは複数のチャネル間BWEパラメータとに基づいて、第1のチャネル時間領域ハイバンド信号と第2のチャネル時間領域ハイバンド信号とを生成するように構成される。デコーダは、第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とを合成することによってターゲットチャネル信号を生成するようにさらに構成される。デコーダはまた、第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とを合成することによって基準チャネル信号を生成するように構成される。デコーダは、時間的ずれ値に基づいてターゲットチャネル信号を変更することによって、変更されたターゲットチャネル信号を生成するようにさらに構成される。本明細書で開示される技法の例示的な一実装形態では、受信機は、時間的ずれ値を受信するように構成され得る。本明細書で開示される技法のいくつかの実装形態では、ターゲットチャネル信号は、第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とに基づき得、基準チャネル信号は、第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とに基づき得ることに留意されたい。本明細書で開示される技法のいくつかの実装形態では、ターゲットチャネル信号および基準チャネル信号は、ハイバンド基準チャネルインジケータに基づいてフレームごとに変動し得る。たとえば、第1のフレームでは、ハイバンド基準チャネルインジケータの第1の値に基づいて、ターゲットチャネル信号は、第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とに基づき得、基準チャネル信号は、第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とに基づき得る。第2のフレームでは、ハイバンド基準チャネルインジケータの第2の値に基づいて、ターゲットチャネル信号は、第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とに基づき得、基準チャネル信号は、第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とに基づき得る。
[0007]本明細書で開示される技法の別の実装形態によれば、通信の方法は、デバイスにおいて、1つまたは複数のチャネル間帯域幅拡張(BWE)パラメータを含む少なくとも1つの符号化された信号を受信することを含む。本方法は、デバイスにおいて、少なくとも1つの符号化された信号に基づいて帯域幅拡張を実施することによってミッドチャネル時間領域ハイバンド信号を生成することをも含む。本方法は、ミッドチャネル時間領域ハイバンド信号と1つまたは複数のチャネル間BWEパラメータとに基づいて、第1のチャネル時間領域ハイバンド信号と第2のチャネル時間領域ハイバンド信号とを生成することをさらに含む。本方法は、デバイスにおいて、第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とを合成することによってターゲットチャネル信号を生成することをも含む。本方法は、デバイスにおいて、第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とを合成することによって基準チャネル信号を生成することをさらに含む。本方法は、デバイスにおいて、時間的ずれ値に基づいてターゲットチャネル信号を変更することによって、変更されたターゲットチャネル信号を生成することをも含む。本明細書で開示される技法の例示的な一実装形態では、受信機は、時間的ずれ値を受信するように構成され得る
[0008]本明細書で開示される技法の別の実装形態によれば、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに、1つまたは複数のチャネル間帯域幅拡張(BWE)パラメータを含む少なくとも1つの符号化された信号を受信することを含む動作を実施させる命令を記憶する。動作は、少なくとも1つの符号化された信号に基づいて帯域幅拡張を実施することによってミッドチャネル時間領域ハイバンド信号を生成することをも含む。動作は、ミッドチャネル時間領域ハイバンド信号と1つまたは複数のチャネル間BWEパラメータとに基づいて、第1のチャネル時間領域ハイバンド信号と第2のチャネル時間領域ハイバンド信号とを生成することをさらに含む。動作は、第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とを合成することによってターゲットチャネル信号を生成することをも含む。動作は、第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とを合成することによって基準チャネル信号を生成することをさらに含む。動作は、時間的ずれ値に基づいてターゲットチャネル信号を変更することによって、変更されたターゲットチャネル信号を生成することをも含む。
[0009]本明細書で開示される技法の別の実装形態によれば、装置は、少なくとも1つの符号化された信号を受信するように構成された受信機を含む。デバイスは、少なくとも1つの符号化された信号に基づいて第1の信号と第2の信号とを生成するように構成されたデコーダをも含む。デコーダはまた、第1の信号の第1のサンプルを、第2の信号の第2のサンプルに対して、シフト値に基づく量だけ時間シフトすることによって、シフトされた第1の信号を生成するように構成される。デコーダは、シフトされた第1の信号に基づいて第1の出力信号を生成することと、第2の信号に基づいて第2の出力信号を生成することとを行うようにさらに構成される。
[0010]本明細書で開示される技法の別の実装形態によれば、通信の方法は、デバイスにおいて、少なくとも1つの符号化された信号を受信することを含む。本方法は、デバイスにおいて、少なくとも1つの符号化された信号に基づいて複数のハイバンド信号を生成することをも含む。本方法は、複数のハイバンド信号とは無関係に、少なくとも1つの符号化された信号に基づいて複数のローバンド信号を生成することをさらに含む。
[0011]本明細書で開示される技法の別の実装形態によれば、コンピュータ可読記憶デバイスは、プロセッサによって実行されたとき、プロセッサに、シフト値と少なくとも1つの符号化された信号とを受信することを含む動作を実施させる命令を記憶する。動作は、少なくとも1つの符号化された信号に基づいて複数のハイバンド信号を生成することと、少なくとも1つの符号化された信号に基づいて、および複数のハイバンド信号とは無関係に、複数のローバンド信号を生成することとをも含む。動作は、複数のローバンド信号のうちの第1のローバンド信号、複数のハイバンド信号のうちの第1のハイバンド信号、またはその両方に基づいて、第1の信号を生成することをも含む。動作は、複数のローバンド信号のうちの第2のローバンド信号、複数のハイバンド信号のうちの第2のハイバンド信号、またはその両方に基づいて、第2の信号を生成することをも含む。動作は、第1の信号の第1のサンプルを、第2の信号の第2のサンプルに対して、シフト値に基づく量だけ時間シフトすることによって、シフトされた第1の信号を生成することをも含む。動作は、シフトされた第1の信号に基づいて第1の出力信号を生成することと、第2の信号に基づいて第2の出力信号を生成することとをさらに含む。
[0012]本明細書で開示される技法の別の実装形態によれば、装置は、少なくとも1つの符号化された信号を受信するための手段を含む。本装置は、シフトされた第1の信号に基づく第1の出力信号と、第2の信号に基づく第2の出力信号とを生成するための手段をも含む。シフトされた第1の信号は、第1の信号の第1のサンプルを、第2の信号の第2のサンプルに対して、シフト値に基づく量だけ時間シフトすることによって生成される。第1の信号および第2の信号は、少なくとも1つの符号化された信号に基づく。
複数のオーディオ信号を符号化するように動作可能なデバイスを含むシステムの特定の例示的な例のブロック図。 図1のデバイスを含むシステムの別の例を示す図。 図1のデバイスによって符号化され得るサンプルの特定の例を示す図。 図1のデバイスによって符号化され得るサンプルの特定の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 複数のオーディオ信号を符号化する特定の方法を示すフローチャート。 複数のオーディオ信号を符号化するように動作可能なシステムの別の例を示す図。 有声フレーム、遷移フレーム、および無声フレームについての比較値を示すグラフ。 複数のマイクロフォンにおいてキャプチャされたオーディオ間の時間的オフセットを推定する方法を示すフローチャート。 シフト推定のために使用される比較値のための探索範囲を選択的に拡大するための図。 シフト推定のために使用される比較値のための探索範囲の選択的拡大を示すグラフ。 非因果的シフトを使用してオーディオ信号を復号するように動作可能であるシステムを含む図。 デコーダの第1の実装形態の図。 デコーダの第2の実装形態の図。 デコーダの第3の実装形態の図。 デコーダの第4の実装形態の図。 オーディオ信号を復号するための方法のフローチャート。 オーディオ信号を復号するための別の方法のフローチャート。 オーディオ信号を復号するための別の方法のフローチャート。 図1〜図26に関して説明された技法を実施するように動作可能であるデバイスの特定の例示的な例のブロック図。
[0043]複数のオーディオ信号を符号化するように動作可能なシステムおよびデバイスが開示される。デバイスは、複数のオーディオ信号を符号化するように構成されたエンコーダを含み得る。複数のオーディオ信号は、複数の記録デバイス、たとえば、複数のマイクロフォンを使用して、時間的にコンカレントにキャプチャされ得る。いくつかの例では、複数のオーディオ信号(またはマルチチャネルオーディオ)は、同時にまたは異なる時間に記録されたいくつかのオーディオチャネルを多重化することによって、統合的に(たとえば、人工的に)生成され得る。例示的な例として、オーディオチャネルのコンカレント記録または多重化は、2チャネル構成(すなわち、ステレオ、左および右)、5.1チャネル構成(左、右、中央、左サラウンド、右サラウンド、および低周波エンファシス(LFE)チャネル)、7.1チャネル構成、7.1+4チャネル構成、22.2チャネル構成、またはNチャネル構成を生じ得る。
[0044]遠隔会議室(またはテレプレゼンス室)中のオーディオキャプチャデバイスは、空間オーディオを収集する複数のマイクロフォンを含み得る。空間オーディオは、符号化および送信される音声ならびに背景オーディオを含み得る。所与の発生源(たとえば、話者)からの音声/オーディオは、マイクロフォンがどのように配置されるか、ならびに、発生源(たとえば、話者)がマイクロフォンおよび室内寸法に対してどこに位置するかに応じて、異なる時間に複数のマイクロフォンに到着し得る。たとえば、音源(たとえば、話者)は、デバイスに関連付けられた第2のマイクロフォンに対してよりもデバイスに関連付けられた第1のマイクロフォンに対して近いことがある。したがって、音源から発せられた音は、第2のマイクロフォンよりも時間的に早く第1のマイクロフォンに達し得る。デバイスは、第1のマイクロフォンを介して第1のオーディオ信号を受信し得、第2のマイクロフォンを介して第2のオーディオ信号を受信し得る。
[0045]ミッドサイド(MS:mid-side)コーディングおよびパラメトリックステレオ(PS:parametric stereo)コーディングは、デュアルモノコーディング技法に勝る改善された効率を与え得るステレオコーディング技法である。デュアルモノコーディングでは、左(L)チャネル(または信号)および右(R)チャネル(または信号)は、チャネル間相関を利用することなしに独立してコーディングされる。MSコーディングは、コーディングより前に、左チャネルと右チャネルとを、和チャネルと差チャネル(たとえば、サイドチャネル)とに変換することによって、相関するL/Rチャネルペア間の冗長性を低減する。和信号および差信号は、MSコーディングにおいてコーディングされた波形である。比較的より多くのビットが、サイド信号よりも和信号に費やされる。PSコーディングは、L/R信号を和信号とサイドパラメータのセットとに変換することによって、各サブバンドの冗長性を低減する。サイドパラメータは、チャネル間強度差(IID:inter-channel intensity difference)、チャネル間位相差(IPD:inter-channel phase difference)、チャネル間時間差(ITD:inter-channel time difference)などを示し得る。和信号は、サイドパラメータとともにコーディングおよび送信される波形である。ハイブリッドシステムでは、サイドチャネルは、(たとえば、2キロヘルツ(kHz)よりも小さい)下側帯域中でコーディングされた波形、および、チャネル間位相保存が知覚的にあまり重要でない(たとえば、2kHzよりも大きいかまたはそれに等しい)上側帯域中でコーディングされたPSであり得る。
[0046]MSコーディングおよびPSコーディングは、周波数領域またはサブバンド領域のいずれか中で行われ得る。いくつかの例では、左チャネルと右チャネルとは無相関であり得る。たとえば、左チャネルと右チャネルとは、無相関な統合信号を含み得る。左チャネルと右チャネルとが無相関であるとき、MSコーディング、PSコーディング、またはその両方のコーディング効率は、デュアルモノコーディングのコーディング効率に近づき得る。
[0047]記録構成に応じて、左チャネルと右チャネルとの間の時間的シフト、ならびにエコーおよび室内反響などの他の空間影響があり得る。チャネル間の時間的シフトおよび位相ずれが補償されない場合、和チャネルと差チャネルとは、MSまたはPS技法に関連付けられたコーディング利得を低減する同等のエネルギーを含んでいることがある。コーディング利得の低減は、時間的(または位相)シフトの量に基づき得る。和信号と差信号との同等のエネルギーは、チャネルが時間的にシフトされるが高度に相関されるいくつかのフレーム中のMSコーディングの使用を制限し得る。ステレオコーディングでは、ミッドチャネル(たとえば、和チャネル)およびサイドチャネル(たとえば、差チャネル)は、以下の式に基づいて生成され得る。
Figure 0006929868
[0048]ここで、Mはミッドチャネルに対応し、Sはサイドチャネルに対応し、Lは左チャネルに対応し、Rは右チャネルに対応する。
[0049]いくつかの場合には、ミッドチャネルおよびサイドチャネルは、以下の式に基づいて生成され得る。
Figure 0006929868
[0050]ここで、cは、周波数依存である複素数値に対応する。式1または式2に基づいてミッドチャネルおよびサイドチャネルを生成することは、「ダウンミックス」アルゴリズムを実施することと呼ばれることがある。式1または式2に基づいてミッドチャネルおよびサイドチャネルから左チャネルおよび右チャネルを生成することの逆プロセスは、「アップミックス」アルゴリズムを実施することと呼ばれることがある。
[0051]特定のフレームについてMSコーディングまたはデュアルモノコーディング間で選定するために使用されるアドホック手法は、ミッド信号とサイド信号とを生成することと、ミッド信号とサイド信号とのエネルギーを計算することと、エネルギーに基づいてMSコーディングを実施すべきかどうかを決定することとを含み得る。たとえば、MSコーディングは、サイド信号のエネルギーとミッド信号のエネルギーとの比がしきい値よりも小さいと決定したことに応答して実施され得る。例示のために、右チャネルが少なくとも第1の時間(たとえば、約0.001秒または48kHzにおける48個のサンプル)だけシフトされる場合、(左信号と右信号との和に対応する)ミッド信号の第1のエネルギーは、有声音声フレームについての(左信号と右信号との間の差に対応する)サイド信号の第2のエネルギーと同等であり得る。第1のエネルギーが第2のエネルギーと同等であるとき、サイドチャネルを符号化するためにより高いビット数が使用され、それにより、デュアルモノコーディングに対するMSコーディングのコーディング効率を低減し得る。したがって、第1のエネルギーが第2のエネルギーと同等であるとき(たとえば、第1のエネルギーと第2のエネルギーとの比がしきい値よりも大きいかまたはそれに等しいとき)、デュアルモノコーディングが使用され得る。代替手法では、特定のフレームについてのMSコーディングとデュアルモノコーディングとの間の決定は、しきい値と左チャネルおよび右チャネルの正規化された相互相関値との比較に基づいて行われ得る。
[0052]いくつかの例では、エンコーダは、第2のオーディオ信号に対する第1のオーディオ信号のシフト(または時間的ずれ)を示す、時間的シフト値(または時間的ずれ値)を決定し得る。シフト値は、第1のマイクロフォンにおける第1のオーディオ信号の受信と、第2のマイクロフォンにおける第2のオーディオ信号の受信との間の時間的遅延の量に対応し得る。さらに、エンコーダは、たとえば、各20ミリ秒(ms)音声/オーディオフレームに基づいて、フレームごとにシフト値を決定し得る。たとえば、シフト値は、第2のオーディオ信号の第2のフレームが第1のオーディオ信号の第1のフレームに関して遅延した時間の量に対応し得る。代替的に、シフト値は、第1のオーディオ信号の第1のフレームが第2のオーディオ信号の第2のフレームに関して遅延した時間の量に対応し得る。
[0053]音源が第2のマイクロフォンに対してよりも第1のマイクロフォンに対して近いとき、第2のオーディオ信号のフレームは、第1のオーディオ信号のフレームに対して遅延し得る。この場合、第1のオーディオ信号は、「基準オーディオ信号」または「基準チャネル」と呼ばれることがあり、遅延した第2のオーディオ信号は、「ターゲットオーディオ信号」または「ターゲットチャネル」と呼ばれることがある。代替的に、音源が第1のマイクロフォンに対してよりも第2のマイクロフォンに対して近いとき、第1のオーディオ信号のフレームは、第2のオーディオ信号のフレームに対して遅延し得る。この場合、第2のオーディオ信号は、基準オーディオ信号または基準チャネルと呼ばれることがあり、遅延した第1のオーディオ信号は、ターゲットオーディオ信号またはターゲットチャネルと呼ばれることがある。
[0054]音源(たとえば、話者)が会議またはテレプレゼンス室中のどこに位置するか、あるいは、音源(たとえば、話者)位置がマイクロフォンに対してどのように変化するかに応じて、基準チャネルおよびターゲットチャネルはフレームごとに変化し得、同様に、時間的遅延値もフレームごとに変化し得る。しかしながら、いくつかの実装形態では、シフト値は、「基準」チャネルに対する「ターゲット」チャネルの遅延の量を示すために常に正であり得る。さらに、シフト値は、遅延したターゲットチャネルが「基準」チャネルと整合される(たとえば、最大限に整合される)ように、遅延したターゲットチャネルが時間的にそれだけ「引き戻(pull back)される」「非因果的シフト」値に対応し得る。ミッドチャネルおよびサイドチャネルを決定するためのダウンミックスアルゴリズムは、基準チャネルおよび非因果的シフトされたターゲットチャネルに対して実施され得る。
[0055]エンコーダは、基準オーディオチャネルに基づくシフト値と、ターゲットオーディオチャネルに適用される複数のシフト値とを決定し得る。たとえば、基準オーディオチャネルの第1のフレームXが、第1の時間(m1)において受信され得る。ターゲットオーディオチャネルの第1の特定のフレームYが、第1のシフト値、たとえば、shift1=n1−m1に対応する第2の時間(n1)において受信され得る。さらに、基準オーディオチャネルの第2のフレームが、第3の時間(m2)において受信され得る。ターゲットオーディオチャネルの第2の特定のフレームが、第2のシフト値、たとえば、shift2=n2−m2に対応する第4の時間(n2)において受信され得る。
[0056]デバイスは、第1のサンプリングレートにおいてフレーム(たとえば、20msサンプル)(たとえば、32kHzサンプリングレート(すなわち、フレームごとに640個のサンプル))を生成するために、フレーミングまたはバッファリングアルゴリズムを実施し得る。エンコーダは、第1のオーディオ信号の第1のフレームと第2のオーディオ信号の第2のフレームとがデバイスにおいて同時に到着したと決定したことに応答して、シフト値(たとえば、shift1)を0個のサンプルに等しいものとして推定し得る。(たとえば、第1のオーディオ信号に対応する)左チャネルと(たとえば、第2のオーディオ信号に対応する)右チャネルとは、時間的に整合され得る。いくつかの場合には、左チャネルと右チャネルとは、整合されたときでも、様々な理由(たとえば、マイクロフォン較正)によりエネルギーにおいて異なり得る。
[0057]いくつかの例では、左チャネルと右チャネルとは、様々な理由により時間的に整合されていないことがある(たとえば、話者など、音源が、マイクロフォンのうちのあるマイクロフォンに、別のマイクロフォンよりも近いことがあり、2つのマイクロフォンは、しきい値(たとえば、1〜20センチメートル)距離より大きく離れていることがある)。マイクロフォンに対する音源のロケーションが、左チャネルと右チャネルとにおける異なる遅延をもたらし得る。さらに、左チャネルと右チャネルとの間の利得差、エネルギー差、またはレベル差があり得る。
[0058]いくつかの例では、複数の音源(たとえば、話者)からのマイクロフォンにおけるオーディオ信号の到着時間は、複数の話者が(たとえば、重複なしに)交互に話しているときに変動し得る。そのような場合、エンコーダは、基準チャネルを識別するように話者に基づいて時間的シフト値を動的に調整し得る。いくつかの他の例では、複数の話者は同時に話していることがあり、それは、誰が最も声が大きい話者であるのか、マイクロフォンに最も近いのかなどに応じて様々な時間的シフト値を生じ得る。
[0059]いくつかの例では、第1のオーディオ信号と第2のオーディオ信号とは、2つの信号がより少ない相関(たとえば、相関なし)を潜在的に示すとき、統合されるかまたは人工的に生成され得る。本明細書で説明される例は例示的であり、同様のまたは異なる状況において第1のオーディオ信号と第2のオーディオ信号との間の関係を決定する際に有益であり得ることを理解されたい。
[0060]エンコーダは、第1のオーディオ信号の第1のフレームと第2のオーディオ信号の複数のフレームとの比較に基づいて、比較値(たとえば、差値または相互相関値)を生成し得る。複数のフレームの各フレームは、特定のシフト値に対応し得る。エンコーダは、比較値に基づいて第1の推定されたシフト値を生成し得る。たとえば、第1の推定されたシフト値は、第1のオーディオ信号の第1のフレームと第2のオーディオ信号の対応する第1のフレームとの間のより高い時間類似度(またはより低い差)を示す比較値に対応し得る。
[0061]エンコーダは、複数の段において、一連の推定されたシフト値を改良することによって、最終シフト値を決定し得る。たとえば、エンコーダは、最初に、第1のオーディオ信号および第2のオーディオ信号のステレオ前処理およびリサンプリングされたバージョンから生成された比較値に基づいて、「暫定」シフト値を推定し得る。エンコーダは、推定された「暫定」シフト値に近接したシフト値に関連付けられた補間比較値を生成し得る。エンコーダは、補間比較値に基づいて第2の推定された「補間」シフト値を決定し得る。たとえば、第2の推定された「補間」シフト値は、残りの補間比較値および第1の推定された「暫定」シフト値よりも高い時間類似度(またはより低い差)を示す特定の補間比較値に対応し得る。現在フレーム(たとえば、第1のオーディオ信号の第1のフレーム)の第2の推定された「補間」シフト値が、前のフレーム(たとえば、第1のフレームに先行する第1のオーディオ信号のフレーム)の最終シフト値とは異なる場合、現在フレームの「補間」シフト値は、第1のオーディオ信号とシフトされた第2のオーディオ信号との間の時間類似度を改善するためにさらに「改正」される。特に、第3の推定された「改正」シフト値は、現在フレームの第2の推定された「補間」シフト値および前のフレームの最終の推定されたシフト値の周りを探索することによる時間類似度のより正確な測度に対応し得る。第3の推定された「改正」シフト値は、フレーム間のシフト値のスプリアス変化を制限することによって最終シフト値を推定するようにさらに制約され、本明細書で説明されるように、2つの連続(または連続する)フレーム中で負のシフト値から正のシフト値に(またはその逆に)切り替わらないようにさらに制御される。
[0062]いくつかの例では、エンコーダは、連続するフレーム中でまたは隣接するフレーム中で正のシフト値と負のシフト値との間でまたはその逆で切り替えることを控え得る。たとえば、エンコーダは、第1のフレームの推定された「補間」または「改正」シフト値と、第1のフレームに先行する特定のフレーム中の対応する推定された「補間」または「改正」または最終シフト値とに基づいて、最終シフト値を時間的シフトなしを示す特定の値(たとえば、0)に設定し得る。例示のために、エンコーダは、現在フレーム(たとえば、第1のフレーム)の推定された「暫定」または「補間」または「改正」シフト値の一方が正であり、前のフレーム(たとえば、第1のフレームに先行するフレーム)の推定された「暫定」または「補間」または「改正」または「最終の」推定されたシフト値の他方が負であると決定したことに応答して、時間的シフトなし、すなわち、shift1=0を示すように、現在フレームの最終シフト値を設定し得る。代替的に、エンコーダはまた、現在フレーム(たとえば、第1のフレーム)の推定された「暫定」または「補間」または「改正」シフト値の一方が負であり、前のフレーム(たとえば、第1のフレームに先行するフレーム)の推定された「暫定」または「補間」または「改正」または「最終の」推定されたシフト値の他方が正であると決定したことに応答して、時間的シフトなし、すなわち、shift1=0を示すように、現在フレームの最終シフト値を設定し得る。
[0063]エンコーダは、シフト値に基づいて、第1のオーディオ信号または第2のオーディオ信号のフレームを「基準」または「ターゲット」として選択し得る。たとえば、最終シフト値が正であると決定したことに応答して、エンコーダは、第1のオーディオ信号が「基準」信号であることと、第2のオーディオ信号が「ターゲット」信号であることとを示す第1の値(たとえば、0)を有する基準チャネルまたは信号インジケータを生成し得る。代替的に、最終シフト値が負であると決定したことに応答して、エンコーダは、第2のオーディオ信号が「基準」信号であることと、第1のオーディオ信号が「ターゲット」信号であることとを示す第2の値(たとえば、1)を有する基準チャネルまたは信号インジケータを生成し得る。
[0064]エンコーダは、基準信号と非因果的シフトされたターゲット信号とに関連付けられた相対利得(たとえば、相対利得パラメータ)を推定し得る。たとえば、最終シフト値が正であると決定したことに応答して、エンコーダは、非因果的シフト値(たとえば、最終シフト値の絶対値)によってオフセットされた第2のオーディオ信号に対する第1のオーディオ信号の振幅または電力レベルを正規化または等化するために利得値を推定し得る。代替的に、最終シフト値が負であると決定したことに応答して、エンコーダは、第2のオーディオ信号に対する非因果的シフトされた第1のオーディオ信号の振幅または電力レベルを正規化または等化するために利得値を推定し得る。いくつかの例では、エンコーダは、非因果的シフトされた「ターゲット」信号に対する「基準」信号の振幅または電力レベルを正規化または等化するために利得値を推定し得る。他の例では、エンコーダは、ターゲット信号(たとえば、シフトされないターゲット信号)に対する基準信号に基づいて利得値(たとえば、相対利得値)を推定し得る。
[0065]エンコーダは、基準信号と、ターゲット信号と、非因果的シフト値と、相対利得パラメータとに基づいて、少なくとも1つの符号化された信号(たとえば、ミッド信号、サイド信号、またはその両方)を生成し得る。サイド信号は、第1のオーディオ信号の第1のフレームの第1のサンプルと第2のオーディオ信号の選択されたフレームの選択されたサンプルとの間の差に対応し得る。エンコーダは、最終シフト値に基づいて、選択されたフレームを選択し得る。第1のフレームと同時にデバイスによって受信された第2のオーディオ信号のフレームに対応する第2のオーディオ信号の他のサンプルと比較して、第1のサンプルと選択されたサンプルとの間の低減された差のために、サイドチャネル信号を符号化するためにより少数のビットが使用され得る。デバイスの送信機は、少なくとも1つの符号化された信号、非因果的シフト値、相対利得パラメータ、基準チャネルまたは信号インジケータ、あるいはそれらの組合せを送信し得る。
[0066]エンコーダは、基準信号、ターゲット信号、非因果的シフト値、相対利得パラメータ、第1のオーディオ信号の特定のフレームのローバンドパラメータ、特定のフレームのハイバンドパラメータ、またはそれらの組合せに基づいて、少なくとも1つの符号化された信号(たとえば、ミッド信号、サイド信号、またはその両方)を生成し得る。特定のフレームは第1のフレームに先行し得る。第1のフレームのミッド信号、サイド信号、またはその両方を符号化するために、1つまたは複数の先行するフレームからの、いくつかのローバンドパラメータ、ハイバンドパラメータ、またはそれらの組合せが使用され得る。ローバンドパラメータ、ハイバンドパラメータ、またはそれらの組合せに基づいてミッド信号、サイド信号、またはその両方を符号化することは、非因果的シフト値およびチャネル間相対利得パラメータの推定値を改善し得る。ローバンドパラメータ、ハイバンドパラメータ、またはそれらの組合せは、ピッチパラメータ、有声化パラメータ、コーダタイプパラメータ、ローバンドエネルギーパラメータ、ハイバンドエネルギーパラメータ、チルトパラメータ、ピッチ利得パラメータ、FCB利得パラメータ、コーディングモードパラメータ、ボイスアクティビティパラメータ、雑音推定パラメータ、信号対雑音比パラメータ、ホルマントパラメータ、音声/音楽決定パラメータ、非因果的シフト、チャネル間利得パラメータ、またはそれらの組合せを含み得る。デバイスの送信機は、少なくとも1つの符号化された信号、非因果的シフト値、相対利得パラメータ、基準チャネル(または信号)インジケータ、あるいはそれらの組合せを送信し得る。
[0067]図1を参照すると、システムの特定の例示的な例が開示されており、全体的に100と称される。システム100は、ネットワーク120を介して第2のデバイス106に通信可能に結合された第1のデバイス104を含む。ネットワーク120は、1つまたは複数のワイヤレスネットワーク、1つまたは複数のワイヤードネットワーク、またはそれらの組合せを含み得る。
[0068]第1のデバイス104は、エンコーダ114、送信機110、1つまたは複数の入力インターフェース112、またはそれらの組合せを含み得る。入力インターフェース112のうちの第1の入力インターフェースが、第1のマイクロフォン146に結合され得る。(1つまたは複数の)入力インターフェース112のうちの第2の入力インターフェースが、第2のマイクロフォン148に結合され得る。エンコーダ114は、時間等化器108を含み得、本明細書で説明されるように、複数のオーディオ信号をダウンミックスおよび符号化するように構成され得る。第1のデバイス104は、分析データ190を記憶するように構成されたメモリ153をも含み得る。第2のデバイス106はデコーダ118を含み得る。デコーダ118は、複数のチャネルをアップミックスおよびレンダリングするように構成された時間バランサ124を含み得る。第2のデバイス106は、第1のラウドスピーカー142、第2のラウドスピーカー144、またはその両方に結合され得る。
[0069]動作中に、第1のデバイス104は、第1のマイクロフォン146から第1の入力インターフェースを介して第1のオーディオ信号130を受信し得、第2のマイクロフォン148から第2の入力インターフェースを介して第2のオーディオ信号132を受信し得る。第1のオーディオ信号130は、右チャネル信号または左チャネル信号のうちの一方に対応し得る。第2のオーディオ信号132は、右チャネル信号または左チャネル信号のうちの他方に対応し得る。音源152(たとえば、ユーザ、スピーカー、環境雑音、楽器など)は、第2のマイクロフォン148に対してよりも第1のマイクロフォン146に対して近いことがある。したがって、音源152からのオーディオ信号は、第2のマイクロフォン148を介してよりも早い時間において第1のマイクロフォン146を介して(1つまたは複数の)入力インターフェース112において受信され得る。複数のマイクロフォンを通したマルチチャネル信号収集におけるこの自然な遅延は、第1のオーディオ信号130と第2のオーディオ信号132との間の時間的シフトをもたらし得る。
[0070]時間等化器108は、マイクロフォン146においてキャプチャされたオーディオと、マイクロフォン148においてキャプチャされたオーディオとの間の時間的オフセットを推定するように構成され得る。時間的オフセットは、第1のオーディオ信号130の第1のフレームと第2のオーディオ信号132の第2のフレームとの間の遅延に基づいて推定され得、ここで、第2のフレームは、第1のフレームと実質的に同様のコンテンツを含む。たとえば、時間等化器108は、第1のフレームと第2のフレームとの間の相互相関を決定し得る。相互相関は、一方のフレームの、他方のフレームに対するラグの関数として、2つのフレームの類似度を測定し得る。相互相関に基づいて、時間等化器108は、第1のフレームと第2のフレームとの間の遅延(たとえば、ラグ)を決定し得る。時間等化器108は、遅延と履歴遅延データとに基づいて、第1のオーディオ信号130と第2のオーディオ信号132との間の時間的オフセットを推定し得る。
[0071]履歴データは、第1のマイクロフォン146からキャプチャされたフレームと、第2のマイクロフォン148からキャプチャされた対応するフレームとの間の遅延を含み得る。たとえば、時間等化器108は、第1のオーディオ信号130に関連付けられた前のフレームと、第2のオーディオ信号132に関連付けられた対応するフレームとの間の相互相関(たとえば、ラグ)を決定し得る。各ラグは、「比較値」によって表され得る。すなわち、比較値は、第1のオーディオ信号130のフレームと、第2のオーディオ信号132の対応するフレームとの間の時間シフト(k)を示し得る。一実装形態によれば、前のフレームについての比較値はメモリ153に記憶され得る。時間等化器108の平滑器192は、フレームの長期セットにわたる比較値を「平滑化」(または平均化)し、長期平滑化比較値を、第1のオーディオ信号130と第2のオーディオ信号132との間の時間的オフセット(たとえば、「シフト」)を推定するために使用し得る。
[0072]例示のために、CompValN(k)が、フレームNについてのkのシフトにおける比較値を表す場合、フレームNは、k=T_MIN(最小シフト)からk=T_MAX(最大シフト)までの比較値を有し得る。平滑化は、長期比較値
Figure 0006929868
が、
Figure 0006929868
によって表されるように実施され得る。上式中の関数fは、シフト(k)における過去の比較値のすべて(またはサブセット)の関数であり得る。長期比較値
Figure 0006929868
の代替表現は、
Figure 0006929868
であり得る。関数fまたはgは、それぞれ、単純な有限インパルス応答(FIR)フィルタまたは無限インパルス応答(IIR)フィルタであり得る。たとえば、関数gは、長期比較値
Figure 0006929868
Figure 0006929868
によって表されるようなシングルタップIIRフィルタであり得、ここで、α∈(0,1.0)である。したがって、長期比較値
Figure 0006929868
は、フレームNにおける瞬間比較値CompValN(k)と、1つまたは複数の前のフレームについての長期比較値
Figure 0006929868
との加重混合に基づき得る。αの値が増加するにつれて、長期比較値における平滑化の量は増加する。特定の態様では、関数fは、長期比較値
Figure 0006929868
Figure 0006929868
によって表されるようなLタップFIRフィルタであり得、ここで、α1、α2、...、およびαLは重みに対応する。特定の態様では、α1、α2、...、およびαL∈(0,1.0)の各々、ならびにα1、α2、...、およびαLのうちの1つは、α1、α2、...、およびαLのうちの別のものと同じであるか、またはそれとは別個であり得る。したがって、長期比較値
Figure 0006929868
は、フレームNにおける瞬間比較値CompValN(k)と、前の(L−1個の)フレームにわたる比較値CompValN-i(k)との加重混合に基づき得る。
[0073]上記で説明された平滑化技法は、有声フレーム、無声フレーム、および遷移フレーム間のシフト推定値を実質的に正規化し得る。正規化されたシフト推定値は、フレーム境界におけるサンプル繰返しおよびアーティファクトスキップを低減し得る。さらに、正規化されたシフト推定値は、コーディング効率を改善し得る、低減されたサイドチャネルエネルギーを生じ得る。
[0074]時間等化器108は、第2のオーディオ信号132(たとえば、「基準」)に対する第1のオーディオ信号130(たとえば、「ターゲット」)のシフト(たとえば、非因果的シフト)を示す最終シフト値116(たとえば、非因果的シフト値)を決定し得る。最終シフト値116は、瞬間比較値CompValN(k)と長期比較
Figure 0006929868
とに基づき得る。たとえば、上記で説明された平滑化演算は、図5に関して説明されるように、暫定シフト値、補間シフト値、改正シフト値、またはそれらの組合せに対して実施され得る。最終シフト値116は、図5に関して説明されるように、暫定シフト値と、補間シフト値と、改正シフト値とに基づき得る。最終シフト値116の第1の値(たとえば、正の値)は、第2のオーディオ信号132が第1のオーディオ信号130に対して遅延していることを示し得る。最終シフト値116の第2の値(たとえば、負の値)は、第1のオーディオ信号130が第2のオーディオ信号132に対して遅延していることを示し得る。最終シフト値116の第3の値(たとえば、0)は、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延なしを示し得る。
[0075]いくつかの実装形態では、最終シフト値116の第3の値(たとえば、0)は、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延が、切り替えられた符号を有することを示し得る。たとえば、第1のオーディオ信号130の第1の特定のフレームは、第1のフレームに先行し得る。第1の特定のフレームと、第2のオーディオ信号132の第2の特定のフレームとは、音源152によって発せられた同じ音に対応し得る。第1のオーディオ信号130と第2のオーディオ信号132との間の遅延は、第2の特定のフレームに関して第1の特定のフレームが遅延していることから、第1のフレームに関して第2のフレームが遅延していることに切り替わり得る。代替的に、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延は、第1の特定のフレームに関して第2の特定のフレームが遅延していることから、第2のフレームに関して第1のフレームが遅延していることに切り替わり得る。時間等化器108は、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延が、切り替えられた符号を有すると決定したことに応答して、第3の値(たとえば、0)を示すように最終シフト値116を設定し得る。
[0076]時間等化器108は、最終シフト値116に基づいて基準信号インジケータ164を生成し得る。たとえば、時間等化器108は、最終シフト値116が第1の値(たとえば、正の値)を示すと決定したことに応答して、第1のオーディオ信号130が「基準」信号であることを示す第1の値(たとえば、0)を有するように基準信号インジケータ164を生成し得る。時間等化器108は、最終シフト値116が第1の値(たとえば、正の値)を示すと決定したことに応答して、第2のオーディオ信号132が「ターゲット」信号に対応すると決定し得る。代替的に、時間等化器108は、最終シフト値116が第2の値(たとえば、負の値)を示すと決定したことに応答して、第2のオーディオ信号132が「基準」信号であることを示す第2の値(たとえば、1)を有するように基準信号インジケータ164を生成し得る。時間等化器108は、最終シフト値116が第2の値(たとえば、負の値)を示すと決定したことに応答して、第1のオーディオ信号130が「ターゲット」信号に対応すると決定し得る。時間等化器108は、最終シフト値116が第3の値(たとえば、0)を示すと決定したことに応答して、第1のオーディオ信号130が「基準」信号であることを示す第1の値(たとえば、0)を有するように基準信号インジケータ164を生成し得る。時間等化器108は、最終シフト値116が第3の値(たとえば、0)を示すと決定したことに応答して、第2のオーディオ信号132が「ターゲット」信号に対応すると決定し得る。代替的に、時間等化器108は、最終シフト値116が第3の値(たとえば、0)を示すと決定したことに応答して、第2のオーディオ信号132が「基準」信号であることを示す第2の値(たとえば、1)を有するように基準信号インジケータ164を生成し得る。時間等化器108は、最終シフト値116が第3の値(たとえば、0)を示すと決定したことに応答して、第1のオーディオ信号130が「ターゲット」信号に対応すると決定し得る。いくつかの実装形態では、時間等化器108は、最終シフト値116が第3の値(たとえば、0)を示すと決定したことに応答して、基準信号インジケータ164を不変のままにし得る。たとえば、基準信号インジケータ164は、第1のオーディオ信号130の第1の特定のフレームに対応する基準信号インジケータと同じであり得る。時間等化器108は、最終シフト値116の絶対値を示す非因果的シフト値162を生成し得る。
[0077]時間等化器108は、「ターゲット」信号のサンプルに基づいておよび「基準」信号のサンプルに基づいて、利得パラメータ160(たとえば、コーデック利得パラメータ)を生成し得る。たとえば、時間等化器108は、非因果的シフト値162に基づいて第2のオーディオ信号132のサンプルを選択し得る。代替的に、時間等化器108は、非因果的シフト値162とは無関係に第2のオーディオ信号132のサンプルを選択し得る。時間等化器108は、第1のオーディオ信号130が基準信号であると決定したことに応答して、第1のオーディオ信号130の第1のフレームの第1のサンプルに基づいて、選択されたサンプルの利得パラメータ160を決定し得る。代替的に、時間等化器108は、第2のオーディオ信号132が基準信号であると決定したことに応答して、選択されたサンプルに基づいて第1のサンプルの利得パラメータ160を決定し得る。一例として、利得パラメータ160は、以下の方程式のうちの1つに基づき得る。
Figure 0006929868
[0078]ここで、gDはダウンミックス処理のための相対利得パラメータ160に対応し、Ref(n)は「基準」信号のサンプルに対応し、N1は第1のフレームの非因果的シフト値162に対応し、Targ(n+N1)は「ターゲット」信号のサンプルに対応する。利得パラメータ160(gD)は、フレーム間の利得における大きいジャンプを回避するために、長期平滑化/ヒステリシス論理を組み込むように、たとえば、方程式1a〜方程式1fのうちの1つに基づいて変更され得る。ターゲット信号が第1のオーディオ信号130を含むとき、第1のサンプルはターゲット信号のサンプルを含み得、選択されたサンプルは基準信号のサンプルを含み得る。ターゲット信号が第2のオーディオ信号132を含むとき、第1のサンプルは基準信号のサンプルを含み得、選択されたサンプルはターゲット信号のサンプルを含み得る。
[0079]いくつかの実装形態では、時間等化器108は、基準信号インジケータ164にかかわらず、第1のオーディオ信号130を基準信号として扱うことと、第2のオーディオ信号132をターゲット信号として扱うこととに基づいて、利得パラメータ160を生成し得る。たとえば、時間等化器108は方程式1a〜方程式1fのうちの1つに基づいて、利得パラメータ160を生成し得、ここで、Ref(n)は第1のオーディオ信号130のサンプル(たとえば、第1のサンプル)に対応し、Targ(n+N1)は第2のオーディオ信号132のサンプル(たとえば、選択されたサンプル)に対応する。代替実装形態では、時間等化器108は、基準信号インジケータ164にかかわらず、第2のオーディオ信号132を基準信号として扱うことと、第1のオーディオ信号130をターゲット信号として扱うこととに基づいて、利得パラメータ160を生成し得る。たとえば、時間等化器108は方程式1a〜方程式1fのうちの1つに基づいて、利得パラメータ160を生成し得、ここで、Ref(n)は第2のオーディオ信号132のサンプル(たとえば、選択されたサンプル)に対応し、Targ(n+N1)は第1のオーディオ信号130のサンプル(たとえば、第1のサンプル)に対応する。
[0080]時間等化器108は、第1のサンプルと、選択されたサンプルと、ダウンミックス処理のための相対利得パラメータ160とに基づいて、1つまたは複数の符号化された信号102(たとえば、ミッドチャネル信号、サイドチャネル信号、またはその両方)を生成し得る。たとえば、時間等化器108は、以下の方程式のうちの1つに基づいてミッド信号を生成し得る。
Figure 0006929868
[0081]ここで、Mはミッドチャネル信号に対応し、gDはダウンミックス処理のための相対利得パラメータ160に対応し、Ref(n)は「基準」信号のサンプルに対応し、N1は第1のフレームの非因果的シフト値162に対応し、Targ(n+N1)は「ターゲット」信号のサンプルに対応する。
[0082]時間等化器108は、以下の方程式のうちの1つに基づいてサイドチャネル信号を生成し得る。
Figure 0006929868
[0083]ここで、Sはサイドチャネル信号に対応し、gDはダウンミックス処理のための相対利得パラメータ160に対応し、Ref(n)は「基準」信号のサンプルに対応し、N1は第1のフレームの非因果的シフト値162に対応し、Targ(n+N1)は「ターゲット」信号のサンプルに対応する。
[0084]送信機110は、符号化された信号102(たとえば、ミッドチャネル信号、サイドチャネル信号、またはその両方)、基準信号インジケータ164、非因果的シフト値162、利得パラメータ160、またはそれらの組合せを、ネットワーク120を介して第2のデバイス106に送信し得る。いくつかの実装形態では、送信機110は、さらなる処理のためにまたは後で復号するために、符号化された信号102(たとえば、ミッドチャネル信号、サイドチャネル信号、またはその両方)、基準信号インジケータ164、非因果的シフト値162、利得パラメータ160、またはそれらの組合せを、ネットワーク120のデバイスまたはローカルデバイスにおいて記憶し得る。
[0085]デコーダ118は符号化された信号102を復号し得る。時間バランサ124は、(たとえば、第1のオーディオ信号130に対応する)第1の出力信号126、(たとえば、第2のオーディオ信号132に対応する)第2の出力信号128、またはその両方を生成するためにアップミックスを実施し得る。第2のデバイス106は、第1のラウドスピーカー142を介して第1の出力信号126を出力し得る。第2のデバイス106は、第2のラウドスピーカー144を介して第2の出力信号128を出力し得る。
[0086]したがって、システム100は、時間等化器108がミッド信号よりも少数のビットを使用してサイドチャネル信号を符号化することを可能にし得る。第1のオーディオ信号130の第1のフレームの第1のサンプルと第2のオーディオ信号132の選択されたサンプルとは、音源152によって発せられた同じ音に対応し得、したがって、第1のサンプルと選択されたサンプルとの間の差は、第1のサンプルと第2のオーディオ信号132の他のサンプルとの間の差よりも低くなり得る。サイドチャネル信号は、第1のサンプルと選択されたサンプルとの間の差に対応し得る。
[0087]図2を参照すると、システムの特定の例示的な実装形態が開示されており、全体的に200と称される。システム200は、ネットワーク120を介して第2のデバイス106に結合された第1のデバイス204を含む。第1のデバイス204は図1の第1のデバイス104に対応し得る。システム200は、第1のデバイス204が3つ以上のマイクロフォンに結合されるという点で、図1のシステム100とは異なる。たとえば、第1のデバイス204は、第1のマイクロフォン146、第Nのマイクロフォン248、および1つまたは複数の追加のマイクロフォン(たとえば、図1の第2のマイクロフォン148)に結合され得る。第2のデバイス106は、第1のラウドスピーカー142、第Yのラウドスピーカー244、1つまたは複数の追加のスピーカー(たとえば、第2のラウドスピーカー144)、またはそれらの組合せに結合され得る。第1のデバイス204はエンコーダ214を含み得る。エンコーダ214は図1のエンコーダ114に対応し得る。エンコーダ214は、1つまたは複数の時間等化器208を含み得る。たとえば、(1つまたは複数の)時間等化器208は、図1の時間等化器108を含み得る。
[0088]動作中に、第1のデバイス204は、3つ以上のオーディオ信号を受信し得る。たとえば、第1のデバイス204は、第1のマイクロフォン146を介して第1のオーディオ信号130、第Nのマイクロフォン248を介して第Nのオーディオ信号232、および追加のマイクロフォン(たとえば、第2のマイクロフォン148)を介して1つまたは複数の追加のオーディオ信号(たとえば、第2のオーディオ信号132)を受信し得る。
[0089](1つまたは複数の)時間等化器208は、1つまたは複数の基準信号インジケータ264、最終シフト値216、非因果的シフト値262、利得パラメータ260、符号化された信号202、またはそれらの組合せを生成し得る。たとえば、(1つまたは複数の)時間等化器208は、第1のオーディオ信号130が基準信号であることと、第Nのオーディオ信号232および追加のオーディオ信号の各々がターゲット信号であることとを決定し得る。(1つまたは複数の)時間等化器208は、第1のオーディオ信号130ならびに第Nのオーディオ信号232および追加のオーディオ信号の各々に対応する、基準信号インジケータ164と、最終シフト値216と、非因果的シフト値262と、利得パラメータ260と、符号化された信号202とを生成し得る。
[0090]基準信号インジケータ264は、基準信号インジケータ164を含み得る。最終シフト値216は、第1のオーディオ信号130に対する第2のオーディオ信号132のシフトを示す最終シフト値116、第1のオーディオ信号130に対する第Nのオーディオ信号232のシフトを示す第2の最終シフト値、またはその両方を含み得る。非因果的シフト値262は、最終シフト値116の絶対値に対応する非因果的シフト値162、第2の最終シフト値の絶対値に対応する第2の非因果的シフト値、またはその両方を含み得る。利得パラメータ260は、第2のオーディオ信号132の選択されたサンプルの利得パラメータ160、第Nのオーディオ信号232の選択されたサンプルの第2の利得パラメータ、またはその両方を含み得る。符号化された信号202は、符号化された信号102のうちの少なくとも1つを含み得る。たとえば、符号化された信号202は、第1のオーディオ信号130の第1のサンプルと第2のオーディオ信号132の選択されたサンプルとに対応するサイドチャネル信号、第1のサンプルと第Nのオーディオ信号232の選択されたサンプルとに対応する第2のサイドチャネル、またはその両方を含み得る。符号化された信号202は、第1のサンプルと、第2のオーディオ信号132の選択されたサンプルと、第Nのオーディオ信号232の選択されたサンプルとに対応するミッドチャネル信号を含み得る。
[0091]いくつかの実装形態では、(1つまたは複数の)時間等化器208は、図15を参照しながら説明されるように、複数の基準信号と、対応するターゲット信号とを決定し得る。たとえば、基準信号インジケータ264は、基準信号およびターゲット信号の各ペアに対応する基準信号インジケータを含み得る。例示のために、基準信号インジケータ264は、第1のオーディオ信号130と第2のオーディオ信号132とに対応する基準信号インジケータ164を含み得る。最終シフト値216は、基準信号およびターゲット信号の各ペアに対応する最終シフト値を含み得る。たとえば、最終シフト値216は、第1のオーディオ信号130と第2のオーディオ信号132とに対応する最終シフト値116を含み得る。非因果的シフト値262は、基準信号およびターゲット信号の各ペアに対応する非因果的シフト値を含み得る。たとえば、非因果的シフト値262は、第1のオーディオ信号130と第2のオーディオ信号132とに対応する非因果的シフト値162を含み得る。利得パラメータ260は、基準信号およびターゲット信号の各ペアに対応する利得パラメータを含み得る。たとえば、利得パラメータ260は、第1のオーディオ信号130と第2のオーディオ信号132とに対応する利得パラメータ160を含み得る。符号化された信号202は、基準信号およびターゲット信号の各ペアに対応するミッドチャネル信号とサイドチャネル信号とを含み得る。たとえば、符号化された信号202は、第1のオーディオ信号130と第2のオーディオ信号132とに対応する符号化された信号102を含み得る。
[0092]送信機110は、基準信号インジケータ264、非因果的シフト値262、利得パラメータ260、符号化された信号202、またはそれらの組合せを、ネットワーク120を介して第2のデバイス106に送信し得る。デコーダ118は、基準信号インジケータ264、非因果的シフト値262、利得パラメータ260、符号化された信号202、またはそれらの組合せに基づいて、1つまたは複数の出力信号を生成し得る。たとえば、デコーダ118は、第1のラウドスピーカー142を介して第1の出力信号226、第Yのラウドスピーカー244を介して第Yの出力信号228、1つまたは複数の追加のラウドスピーカー(たとえば、第2のラウドスピーカー144)を介して1つまたは複数の追加の出力信号(たとえば、第2の出力信号128)、またはそれらの組合せを出力し得る。別の実装形態では、送信機110は、基準信号インジケータ264を送信することを控え得、デコーダ118は、(現在フレームの)最終シフト値216と前のフレームの最終シフト値とに基づいて基準信号インジケータ264を生成し得る。
[0093]したがって、システム200は、(1つまたは複数の)時間等化器208が3つ以上のオーディオ信号を符号化することを可能にし得る。たとえば、符号化された信号202は、非因果的シフト値262に基づいてサイドチャネル信号を生成することによって、対応するミッドチャネルよりも少数のビットを使用して符号化された複数のサイドチャネル信号を含み得る。
[0094]図3を参照すると、サンプルの例示的な例が示されており、全体的に300と称される。サンプル300の少なくともサブセットは、本明細書で説明されるように、第1のデバイス104によって符号化され得る。
[0095]サンプル300は、第1のオーディオ信号130に対応する第1のサンプル320、第2のオーディオ信号132に対応する第2のサンプル350、またはその両方を含み得る。第1のサンプル320は、サンプル322、サンプル324、サンプル326、サンプル328、サンプル330、サンプル332、サンプル334、サンプル336、1つまたは複数の追加のサンプル、またはそれらの組合せを含み得る。第2のサンプル350は、サンプル352、サンプル354、サンプル356、サンプル358、サンプル360、サンプル362、サンプル364、サンプル366、1つまたは複数の追加のサンプル、またはそれらの組合せを含み得る。
[0096]第1のオーディオ信号130は、複数のフレーム(たとえば、フレーム302、フレーム304、フレーム306、またはそれらの組合せ)に対応し得る。複数のフレームの各々は、第1のサンプル320の(たとえば、32kHzにおける640個のサンプル、または48kHzにおける960個のサンプルなど、20msに対応する)サンプルのサブセットに対応し得る。たとえば、フレーム302は、サンプル322、サンプル324、1つまたは複数の追加のサンプル、またはそれらの組合せに対応し得る。フレーム304は、サンプル326、サンプル328、サンプル330、サンプル332、1つまたは複数の追加のサンプル、またはそれらの組合せに対応し得る。フレーム306は、サンプル334、サンプル336、1つまたは複数の追加のサンプル、またはそれらの組合せに対応し得る。
[0097]サンプル322は、サンプル352とほぼ同時に図1の(1つまたは複数の)入力インターフェース112において受信され得る。サンプル324は、サンプル354とほぼ同時に図1の(1つまたは複数の)入力インターフェース112において受信され得る。サンプル326は、サンプル356とほぼ同時に図1の(1つまたは複数の)入力インターフェース112において受信され得る。サンプル328は、サンプル358とほぼ同時に図1の(1つまたは複数の)入力インターフェース112において受信され得る。サンプル330は、サンプル360とほぼ同時に図1の(1つまたは複数の)入力インターフェース112において受信され得る。サンプル332は、サンプル362とほぼ同時に図1の(1つまたは複数の)入力インターフェース112において受信され得る。サンプル334は、サンプル364とほぼ同時に図1の(1つまたは複数の)入力インターフェース112において受信され得る。サンプル336は、サンプル366とほぼ同時に図1の(1つまたは複数の)入力インターフェース112において受信され得る。
[0098]最終シフト値116の第1の値(たとえば、正の値)は、第2のオーディオ信号132が第1のオーディオ信号130に対して遅延していることを示し得る。たとえば、最終シフト値116の第1の値(たとえば、+X msまたは+Y個のサンプル、ここでXおよびYは正の実数を含む)は、フレーム304(たとえば、サンプル326〜332)がサンプル358〜364に対応することを示し得る。サンプル326〜332とサンプル358〜364とは、音源152から発せられた同じ音に対応し得る。サンプル358〜364は、第2のオーディオ信号132のフレーム344に対応し得る。図1〜図15のうちの1つまたは複数におけるクロスハッチングをもつサンプルの図解は、それらのサンプルが同じ音に対応することを示し得る。たとえば、サンプル326〜332とサンプル358〜364とは、サンプル326〜332(たとえば、フレーム304)とサンプル358〜364(たとえば、フレーム344)とが音源152から発せられた同じ音に対応することを示すために、図3中でクロスハッチングとともに図示されている。
[0099]図3に示されている、Y個のサンプルの時間的オフセットは例示的であることを理解されたい。たとえば、時間的オフセットは、0よりも大きいかまたはそれに等しいサンプルの数Yに対応し得る。時間的オフセットY=0個のサンプルである第1の場合、(たとえば、フレーム304に対応する)サンプル326〜332と(たとえば、フレーム344に対応する)サンプル356〜362とは、フレームオフセットなしに高い類似度を示し得る。時間的オフセットY=2つのサンプルである第2の場合、フレーム304とフレーム344とは、2つのサンプルだけオフセットされ得る。この場合、第1のオーディオ信号130は、(1つまたは複数の)入力インターフェース112において、Y=2つのサンプルまたはX=(2/Fs)msだけ第2のオーディオ信号132より前に受信され得、ここで、FsはkHz単位のサンプルレートに対応する。いくつかの場合には、時間的オフセットYは、非整数値、たとえば、32kHzにおけるX=0.05msに対応するY=1.6個のサンプルを含み得る。
[0100]図1の時間等化器108は、図1を参照しながら説明されたように、サンプル326〜332とサンプル358〜364とを符号化することによって、符号化された信号102を生成し得る。時間等化器108は、第1のオーディオ信号130が基準信号に対応することと、第2のオーディオ信号132がターゲット信号に対応することとを決定し得る。
[0101]図4を参照すると、サンプルの例示的な例が示されており、全体的に400として称される。サンプル400は、第1のオーディオ信号130が第2のオーディオ信号132に対して遅延しているという点で、サンプル300とは異なる。
[0102]最終シフト値116の第2の値(たとえば、負の値)は、第1のオーディオ信号130が第2のオーディオ信号132に対して遅延していることを示し得る。たとえば、最終シフト値116の第2の値(たとえば、−X msまたは−Y個のサンプル、ここでXおよびYは正の実数を含む)は、フレーム304(たとえば、サンプル326〜332)がサンプル354〜360に対応することを示し得る。サンプル354〜360は、第2のオーディオ信号132のフレーム344に対応し得る。サンプル354〜360(たとえば、フレーム344)とサンプル326〜332(たとえば、フレーム304)とは、音源152から発せられた同じ音に対応し得る。
[0103]図4に示されている、−Y個のサンプルの時間的オフセットは例示的であることを理解されたい。たとえば、時間的オフセットは、0よりも小さいかまたはそれに等しいサンプルの数−Yに対応し得る。時間的オフセットY=0個のサンプルである第1の場合、(たとえば、フレーム304に対応する)サンプル326〜332と(たとえば、フレーム344に対応する)サンプル356〜362とは、フレームオフセットなしに高い類似度を示し得る。時間的オフセットY=−6つのサンプルである第2の場合、フレーム304とフレーム344とは、6つのサンプルだけオフセットされ得る。この場合、第1のオーディオ信号130は、(1つまたは複数の)入力インターフェース112において、Y=−6つのサンプルまたはX=(−6/Fs)msだけ第2のオーディオ信号132の後に受信され得、ここで、FsはkHz単位のサンプルレートに対応する。いくつかの場合には、時間的オフセットYは、非整数値、たとえば、32kHzにおけるX=−0.1msに対応するY=−3.2個のサンプルを含み得る。
[0104]図1の時間等化器108は、図1を参照しながら説明されたように、サンプル354〜360とサンプル326〜332とを符号化することによって、符号化された信号102を生成し得る。時間等化器108は、第2のオーディオ信号132が基準信号に対応することと、第1のオーディオ信号130がターゲット信号に対応することとを決定し得る。特に、時間等化器108は、図5を参照しながら説明されるように、最終シフト値116から非因果的シフト値162を推定し得る。時間等化器108は、最終シフト値116の符号に基づいて、第1のオーディオ信号130または第2のオーディオ信号132のうちの一方を基準信号として、および第1のオーディオ信号130または第2のオーディオ信号132のうちの他方をターゲット信号として識別(たとえば、指示)し得る。
[0105]図5を参照すると、システムの例示的な例が示されており、全体的に500と称される。システム500は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム500の1つまたは複数の構成要素を含み得る。時間等化器108は、リサンプラ504、信号比較器506、補間器510、シフトリファイナ511、シフト変化分析器512、絶対シフト生成器513、基準信号指示器508、利得パラメータ生成器514、信号生成器516、またはそれらの組合せを含み得る。
[0106]動作中に、リサンプラ504は、図6を参照しながらさらに説明されるように、1つまたは複数のリサンプリングされた信号を生成し得る。たとえば、リサンプラ504は、リサンプリング(たとえば、ダウンサンプリングまたはアップサンプリング)ファクタ(D)(たとえば、≧1)に基づいて第1のオーディオ信号130をリサンプリング(たとえば、ダウンサンプリングまたはアップサンプリング)することによって、第1のリサンプリングされた信号530を生成し得る。リサンプラ504は、リサンプリングファクタ(D)に基づいて第2のオーディオ信号132をリサンプリングすることによって、第2のリサンプリングされた信号532を生成し得る。リサンプラ504は、第1のリサンプリングされた信号530、第2のリサンプリングされた信号532、またはその両方を信号比較器506に与え得る。
[0107]信号比較器506は、図7を参照しながらさらに説明されるように、比較値534(たとえば、差値、類似度値、コヒーレンス値、または相互相関値)、暫定シフト値536、またはその両方を生成し得る。たとえば、信号比較器506は、図7を参照しながらさらに説明されるように、第1のリサンプリングされた信号530と、第2のリサンプリングされた信号532に適用される複数のシフト値とに基づいて、比較値534を生成し得る。信号比較器506は、図7を参照しながらさらに説明されるように、比較値534に基づいて暫定シフト値536を決定し得る。一実装形態によれば、信号比較器506は、リサンプリングされた信号530、532の前のフレームについての比較値を取り出し得、前のフレームについての比較値を使用して、長期平滑化演算に基づいて比較値534を変更し得る。たとえば、比較値534は、現在フレーム(N)についての長期比較値
Figure 0006929868
を含み得、
Figure 0006929868
によって表され得、ここで、α∈(0,1.0)である。したがって、長期比較値
Figure 0006929868
は、フレームNにおける瞬間比較値CompValN(k)と、1つまたは複数の前のフレームについての長期比較値
Figure 0006929868
との加重混合に基づき得る。αの値が増加するにつれて、長期比較値における平滑化の量は増加する。
[0108]第1のリサンプリングされた信号530は、第1のオーディオ信号130よりも少数のサンプルまたはそれよりも多くのサンプルを含み得る。第2のリサンプリングされた信号532は、第2のオーディオ信号132よりも少数のサンプルまたはそれよりも多くのサンプルを含み得る。リサンプリングされた信号(たとえば、第1のリサンプリングされた信号530および第2のリサンプリングされた信号532)のより少数のサンプルに基づいて比較値534を決定することは、元の信号(たとえば、第1のオーディオ信号130および第2のオーディオ信号132)のサンプルに基づくよりも少数のリソース(たとえば、時間、動作の数、またはその両方)を使用し得る。リサンプリングされた信号(たとえば、第1のリサンプリングされた信号530および第2のリサンプリングされた信号532)のより多くのサンプルに基づいて比較値534を決定することは、元の信号(たとえば、第1のオーディオ信号130および第2のオーディオ信号132)のサンプルに基づくよりも精度を増加させ得る。信号比較器506は、比較値534、暫定シフト値536、またはその両方を、補間器510に与え得る。
[0109]補間器510は暫定シフト値536を拡張し得る。たとえば、補間器510は、図8を参照しながらさらに説明されるように、補間シフト値538を生成し得る。たとえば、補間器510は、比較値534を補間することによって、暫定シフト値536に近接したシフト値に対応する補間比較値を生成し得る。補間器510は、補間比較値と比較値534とに基づいて、補間シフト値538を決定し得る。比較値534は、シフト値のより粗いグラニュラリティに基づき得る。たとえば、比較値534は、第1のサブセットの第1のシフト値と第1のサブセットの各第2のシフト値との間の差がしきい値(たとえば、≧1)よりも大きいかまたはそれに等しくなるように、シフト値のセットの第1のサブセットに基づき得る。しきい値はリサンプリングファクタ(D)に基づき得る。
[0110]補間比較値は、リサンプリングされた暫定シフト値536に近接したシフト値のより細かいグラニュラリティに基づき得る。たとえば、補間比較値は、第2のサブセットの最も高いシフト値とリサンプリングされた暫定シフト値536との間の差がしきい値(たとえば、≧1)よりも小さくなり、第2のサブセットの最も低いシフト値とリサンプリングされた暫定シフト値536との間の差がしきい値よりも小さくなるように、シフト値のセットの第2のサブセットに基づき得る。シフト値のセットのより粗いグラニュラリティ(たとえば、第1のサブセット)に基づいて比較値534を決定することは、シフト値のセットのより細かいグラニュラリティ(たとえば、すべて)に基づいて比較値534を決定することよりも少数のリソース(たとえば、時間、動作、またはその両方)を使用し得る。シフト値の第2のサブセットに対応する補間比較値を決定することは、シフト値のセットの各シフト値に対応する比較値を決定することなしに、暫定シフト値536に近接したシフト値のより小さいセットのより細かいグラニュラリティに基づいて暫定シフト値536を拡張し得る。したがって、シフト値の第1のサブセットに基づいて暫定シフト値536を決定することと、補間比較値に基づいて補間シフト値538を決定することとは、リソース使用および推定されたシフト値の改良のバランスをとり得る。補間器510は、補間シフト値538をシフトリファイナ511に与え得る。
[0111]一実装形態によれば、補間器510は、前のフレームについての補間シフト値を取り出し得、前のフレームについての補間シフト値を使用して、長期平滑化演算に基づいて補間シフト値538を変更し得る。たとえば、補間シフト値538は、現在フレーム(N)についての長期補間シフト値
Figure 0006929868
を含み得、
Figure 0006929868
によって表され得、ここで、α∈(0,1.0)である。したがって、長期補間シフト値
Figure 0006929868
は、フレームNにおける瞬間補間シフト値InterValN(k)と、1つまたは複数の前のフレームについての長期補間シフト値
Figure 0006929868
との加重混合に基づき得る。αの値が増加するにつれて、長期比較値における平滑化の量は増加する。
[0112]シフトリファイナ511は、図9A〜図9Cを参照しながらさらに説明されるように、補間シフト値538を改良することによって、改正シフト値540を生成し得る。たとえば、シフトリファイナ511は、図9Aを参照しながらさらに説明されるように、第1のオーディオ信号130と第2のオーディオ信号132との間のシフトの変化がシフト変化しきい値よりも大きいことを補間シフト値538が示すかどうかを決定し得る。シフトの変化は、補間シフト値538と図3のフレーム302に関連付けられた第1のシフト値との間の差によって示され得る。シフトリファイナ511は、差がしきい値よりも小さいかまたはそれに等しいと決定したことに応答して、改正シフト値540を補間シフト値538に設定し得る。代替的に、シフトリファイナ511は、図9Aを参照しながらさらに説明されるように、差がしきい値よりも大きいと決定したことに応答して、シフト変化しきい値よりも小さいかまたはそれに等しい差に対応する複数のシフト値を決定し得る。シフトリファイナ511は、第1のオーディオ信号130と、第2のオーディオ信号132に適用される複数のシフト値とに基づいて、比較値を決定し得る。シフトリファイナ511は、図9Aを参照しながらさらに説明されるように、比較値に基づいて改正シフト値540を決定し得る。たとえば、シフトリファイナ511は、図9Aを参照しながらさらに説明されるように、比較値と補間シフト値538とに基づいて、複数のシフト値のうちのシフト値を選択し得る。シフトリファイナ511は、選択されたシフト値を示すように改正シフト値540を設定し得る。フレーム302に対応する第1のシフト値と補間シフト値538との間の0でない差は、第2のオーディオ信号132のいくつかのサンプルが両方のフレーム(たとえば、フレーム302とフレーム304と)に対応することを示し得る。たとえば、第2のオーディオ信号132のいくつかのサンプルは、符号化中に複製され得る。代替的に、0でない差は、第2のオーディオ信号132のいくつかのサンプルがフレーム302にもフレーム304にも対応しないことを示し得る。たとえば、第2のオーディオ信号132のいくつかのサンプルは、符号化中に失われ得る。改正シフト値540を複数のシフト値のうちの1つに設定することは、連続する(または隣接する)フレーム間のシフトの大きい変化を防ぎ、それにより、符号化中のサンプル喪失またはサンプル複製の量を低減し得る。シフトリファイナ511は、改正シフト値540をシフト変化分析器512に与え得る。
[0113]一実装形態によれば、シフトリファイナは、前のフレームについての改正シフト値を取り出し得、前のフレームについての改正シフト値を使用して、長期平滑化演算に基づいて改正シフト値540を変更し得る。たとえば、改正シフト値540は、現在フレーム(N)についての長期改正シフト値
Figure 0006929868
を含み得、
Figure 0006929868
によって表され得、ここで、α∈(0,1.0)である。したがって、長期改正シフト値
Figure 0006929868
は、フレームNにおける瞬間改正シフト値AmendValN(k)と、1つまたは複数の前のフレームについての長期改正シフト値
Figure 0006929868
との加重混合に基づき得る。αの値が増加するにつれて、長期比較値における平滑化の量は増加する。
[0114]いくつかの実装形態では、シフトリファイナ511は、図9Bを参照しながら説明されるように、補間シフト値538を調整し得る。シフトリファイナ511は、調整された補間シフト値538に基づいて改正シフト値540を決定し得る。いくつかの実装形態では、シフトリファイナ511は、図9Cを参照しながら説明されるように改正シフト値540を決定し得る。
[0115]シフト変化分析器512は、図1を参照しながら説明されたように、第1のオーディオ信号130と第2のオーディオ信号132との間のタイミングの切替えまたは逆転を改正シフト値540が示すかどうかを決定し得る。特に、タイミングの逆転または切替えは、フレーム302では、第1のオーディオ信号130が第2のオーディオ信号132より前に(1つまたは複数の)入力インターフェース112において受信され、後続のフレーム(たとえば、フレーム304またはフレーム306)では、第2のオーディオ信号132が第1のオーディオ信号130より前に(1つまたは複数の)入力インターフェースにおいて受信されることを示し得る。代替的に、タイミングの逆転または切替えは、フレーム302では、第2のオーディオ信号132が第1のオーディオ信号130より前に(1つまたは複数の)入力インターフェース112において受信され、後続のフレーム(たとえば、フレーム304またはフレーム306)では、第1のオーディオ信号130が第2のオーディオ信号132より前に(1つまたは複数の)入力インターフェースにおいて受信されることを示し得る。言い換えれば、タイミングの切替えまたは逆転は、フレーム302に対応する最終シフト値がフレーム304に対応する改正シフト値540の第2の符号とは別個である第1の符号を有すること(たとえば、正から負への遷移またはその逆)を示し得る。シフト変化分析器512は、図10Aを参照しながらさらに説明されるように、改正シフト値540とフレーム302に関連付けられた第1のシフト値とに基づいて、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延が、切り替えられた符号を有するかどうかを決定し得る。シフト変化分析器512は、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延が、切り替えられた符号を有すると決定したことに応答して、最終シフト値116を、時間シフトなしを示す値(たとえば、0)に設定し得る。代替的に、シフト変化分析器512は、図10Aを参照しながらさらに説明されるように、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延が、切り替えられた符号を有しないと決定したことに応答して、最終シフト値116を改正シフト値540に設定し得る。シフト変化分析器512は、図10A、図11を参照しながらさらに説明されるように、改正シフト値540を改良することによって、推定されたシフト値を生成し得る。シフト変化分析器512は、最終シフト値116を、推定されたシフト値に設定し得る。最終シフト値116を、時間シフトなしを示すように設定することは、第1のオーディオ信号130と第2のオーディオ信号132とを、第1のオーディオ信号130の連続する(または隣接する)フレームについての反対方向に時間シフトすることを控えることによって、デコーダにおけるひずみを低減し得る。シフト変化分析器512は、最終シフト値116を、基準信号指示器508に、絶対シフト生成器513に、またはその両方に与え得る。いくつかの実装形態では、シフト変化分析器512は、図10Bを参照しながら説明されるように最終シフト値116を決定し得る。
[0116]絶対シフト生成器513は、最終シフト値116に絶対関数を適用することによって、非因果的シフト値162を生成し得る。絶対シフト生成器513は、非因果的シフト値162を利得パラメータ生成器514に与え得る。
[0117]基準信号指示器508は、図12〜図13を参照しながらさらに説明されるように、基準信号インジケータ164を生成し得る。たとえば、基準信号インジケータ164は、第1のオーディオ信号130が基準信号であることを示す第1の値または第2のオーディオ信号132が基準信号であることを示す第2の値を有し得る。基準信号指示器508は、基準信号インジケータ164を利得パラメータ生成器514に与え得る。
[0118]利得パラメータ生成器514は、非因果的シフト値162に基づいてターゲット信号(たとえば、第2のオーディオ信号132)のサンプルを選択し得る。例示のために、利得パラメータ生成器514は、非因果的シフト値162が第1の値(たとえば、+X msまたは+Y個のサンプル、ここでXおよびYは正の実数を含む)を有すると決定したことに応答して、サンプル358〜364を選択し得る。利得パラメータ生成器514は、非因果的シフト値162が第2の値(たとえば、−X msまたは−Y個のサンプル)を有すると決定したことに応答して、サンプル354〜360を選択し得る。利得パラメータ生成器514は、非因果的シフト値162が時間シフトなしを示す値(たとえば、0)を有すると決定したことに応答して、サンプル356〜362を選択し得る。
[0119]利得パラメータ生成器514は、基準信号インジケータ164に基づいて、第1のオーディオ信号130が基準信号であるのか、第2のオーディオ信号132が基準信号であるのかを決定し得る。利得パラメータ生成器514は、図1を参照しながら説明されたように、フレーム304のサンプル326〜332と、第2のオーディオ信号132の選択されたサンプル(たとえば、サンプル354〜360、サンプル356〜362、またはサンプル358〜364)とに基づいて、利得パラメータ160を生成し得る。たとえば、利得パラメータ生成器514は、方程式1a〜方程式1fのうちの1つまたは複数に基づいて、利得パラメータ160を生成し得、ここで、gDは利得パラメータ160に対応し、Ref(n)は基準信号のサンプルに対応し、Targ(n+N1)はターゲット信号のサンプルに対応する。例示のために、非因果的シフト値162が第1の値(たとえば、+X msまたは+Y個のサンプル、ここでXおよびYは正の実数を含む)を有するとき、Ref(n)はフレーム304のサンプル326〜332に対応し得、Targ(n+tN1)はフレーム344のサンプル358〜364に対応し得る。いくつかの実装形態では、図1を参照しながら説明されたように、Ref(n)は第1のオーディオ信号130のサンプルに対応し得、Targ(n+N1)は第2のオーディオ信号132のサンプルに対応し得る。代替実装形態では、図1を参照しながら説明されたように、Ref(n)は第2のオーディオ信号132のサンプルに対応し得、Targ(n+N1)は第1のオーディオ信号130のサンプルに対応し得る。
[0120]利得パラメータ生成器514は、利得パラメータ160、基準信号インジケータ164、非因果的シフト値162、またはそれらの組合せを、信号生成器516に与え得る。信号生成器516は、図1を参照しながら説明されたように、符号化された信号102を生成し得る。たとえば、符号化された信号102は、第1の符号化された信号フレーム564(たとえば、ミッドチャネルフレーム)、第2の符号化された信号フレーム566(たとえば、サイドチャネルフレーム)、またはその両方を含み得る。信号生成器516は、方程式2aまたは方程式2bに基づいて、第1の符号化された信号フレーム564を生成し得、ここで、Mは第1の符号化された信号フレーム564に対応し、gDは利得パラメータ160に対応し、Ref(n)は基準信号のサンプルに対応し、Targ(n+N1)はターゲット信号のサンプルに対応する。信号生成器516は、方程式3aまたは方程式3bに基づいて、第2の符号化された信号フレーム566を生成し得、ここで、Sは第2の符号化された信号フレーム566に対応し、gDは利得パラメータ160に対応し、Ref(n)は基準信号のサンプルに対応し、Targ(n+N1)はターゲット信号のサンプルに対応する。
[0121]時間等化器108は、第1のリサンプリングされた信号530、第2のリサンプリングされた信号532、比較値534、暫定シフト値536、補間シフト値538、改正シフト値540、非因果的シフト値162、基準信号インジケータ164、最終シフト値116、利得パラメータ160、第1の符号化された信号フレーム564、第2の符号化された信号フレーム566、またはそれらの組合せを、メモリ153に記憶し得る。たとえば、分析データ190は、第1のリサンプリングされた信号530、第2のリサンプリングされた信号532、比較値534、暫定シフト値536、補間シフト値538、改正シフト値540、非因果的シフト値162、基準信号インジケータ164、最終シフト値116、利得パラメータ160、第1の符号化された信号フレーム564、第2の符号化された信号フレーム566、またはそれらの組合せを含み得る。
[0122]上記で説明された平滑化技法は、有声フレーム、無声フレーム、および遷移フレーム間のシフト推定値を実質的に正規化し得る。正規化されたシフト推定値は、フレーム境界におけるサンプル繰返しおよびアーティファクトスキップを低減し得る。さらに、正規化されたシフト推定値は、コーディング効率を改善し得る、低減されたサイドチャネルエネルギーを生じ得る。
[0123]図6を参照すると、システムの例示的な例が示されており、全体的に600と称される。システム600は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム600の1つまたは複数の構成要素を含み得る。
[0124]リサンプラ504は、図1の第1のオーディオ信号130をリサンプリング(たとえば、ダウンサンプリングまたはアップサンプリング)することによって、第1のリサンプリングされた信号530の第1のサンプル620を生成し得る。リサンプラ504は、図1の第2のオーディオ信号132をリサンプリング(たとえば、ダウンサンプリングまたはアップサンプリング)することによって、第2のリサンプリングされた信号532の第2のサンプル650を生成し得る。
[0125]第1のオーディオ信号130は、図3の第1のサンプル320を生成するために、第1のサンプルレート(Fs)においてサンプリングされ得る。第1のサンプルレート(Fs)は、広帯域(WB)帯域幅に関連付けられた第1のレート(たとえば、16キロヘルツ(kHz))、超広帯域(SWB)帯域幅に関連付けられた第2のレート(たとえば、32kHz)、全帯域(FB)帯域幅に関連付けられた第3のレート(たとえば、48kHz)、または別のレートに対応し得る。第2のオーディオ信号132は、図3の第2のサンプル350を生成するために、第1のサンプルレート(Fs)においてサンプリングされ得る。
[0126]いくつかの実装形態では、リサンプラ504は、第1のオーディオ信号130(または第2のオーディオ信号132)をリサンプリングするより前に、第1のオーディオ信号130(または第2のオーディオ信号132)を前処理し得る。リサンプラ504は、無限インパルス応答(IIR)フィルタ(たとえば、1次IIRフィルタ)に基づいて第1のオーディオ信号130(または第2のオーディオ信号132)をフィルタ処理することによって、第1のオーディオ信号130(または第2のオーディオ信号132)を前処理し得る。IIRフィルタは以下の方程式に基づき得る。
Figure 0006929868
[0127]ここで、αは、0.68または0.72など、正である。リサンプリングするより前にデエンファシスを実施することは、エイリアシング、信号調整(signal conditioning)、またはその両方などの影響を低減し得る。第1のオーディオ信号130(たとえば、前処理された第1のオーディオ信号130)および第2のオーディオ信号132(たとえば、前処理された第2のオーディオ信号132)は、リサンプリングファクタ(D)に基づいてリサンプリングされ得る。リサンプリングファクタ(D)は、第1のサンプルレート(Fs)(たとえば、D=Fs/8、D=2Fsなど)に基づき得る。
[0128]代替実装形態では、第1のオーディオ信号130および第2のオーディオ信号132は、リサンプリングするより前に、ローパスフィルタ処理されるか、またはアンチエイリアシングフィルタを使用してデシメートされ得る。デシメーションフィルタはリサンプリングファクタ(D)に基づき得る。特定の例では、リサンプラ504は、第1のサンプルレート(Fs)が特定のレート(たとえば、32kHz)に対応すると決定したことに応答して、第1のカットオフ周波数(たとえば、π/Dまたはπ/4)をもつデシメーションフィルタを選択し得る。複数の信号(たとえば、第1のオーディオ信号130および第2のオーディオ信号132)をデエンファシスすることによってエイリアシングを低減することは、複数の信号にデシメーションフィルタを適用することよりも、計算コストがあまり高くないことがある。
[0129]第1のサンプル620は、サンプル622、サンプル624、サンプル626、サンプル628、サンプル630、サンプル632、サンプル634、サンプル636、1つまたは複数の追加のサンプル、またはそれらの組合せを含み得る。第1のサンプル620は、図3の第1のサンプル320のサブセット(たとえば、1/8)を含み得る。サンプル622、サンプル624、1つまたは複数の追加のサンプル、またはそれらの組合せは、フレーム302に対応し得る。サンプル626、サンプル628、サンプル630、サンプル632、1つまたは複数の追加のサンプル、またはそれらの組合せは、フレーム304に対応し得る。サンプル634、サンプル636、1つまたは複数の追加のサンプル、またはそれらの組合せは、フレーム306に対応し得る。
[0130]第2のサンプル650は、サンプル652、サンプル654、サンプル656、サンプル658、サンプル660、サンプル662、サンプル664、サンプル668、1つまたは複数の追加のサンプル、またはそれらの組合せを含み得る。第2のサンプル650は、図3の第2のサンプル350のサブセット(たとえば、1/8)を含み得る。サンプル654〜660はサンプル354〜360に対応し得る。たとえば、サンプル654〜660は、サンプル354〜360のサブセット(たとえば、1/8)を含み得る。サンプル656〜662はサンプル356〜362に対応し得る。たとえば、サンプル656〜662は、サンプル356〜362のサブセット(たとえば、1/8)を含み得る。サンプル658〜664はサンプル358〜364に対応し得る。たとえば、サンプル658〜664は、サンプル358〜364のサブセット(たとえば、1/8)を含み得る。いくつかの実装形態では、リサンプリングファクタは第1の値(たとえば、1)に対応し得、ここで、図6のサンプル622〜636およびサンプル652〜668は、それぞれ、図3のサンプル322〜336およびサンプル352〜366と同様であり得る。
[0131]リサンプラ504は、第1のサンプル620、第2のサンプル650、またはその両方をメモリ153に記憶し得る。たとえば、分析データ190は、第1のサンプル620、第2のサンプル650、またはその両方を含み得る。
[0132]図7を参照すると、システムの例示的な例が示されており、全体的に700と称される。システム700は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム700の1つまたは複数の構成要素を含み得る。
[0133]メモリ153は複数のシフト値760を記憶し得る。シフト値760は、第1のシフト値764(たとえば、−X msまたは−Y個のサンプル、ここでXおよびYは正の実数を含む)、第2のシフト値766(たとえば、+X msまたは+Y個のサンプル、ここでXおよびYは正の実数を含む)、またはその両方を含み得る。シフト値760は、より低いシフト値(たとえば、最小シフト値T_MIN)からより高いシフト値(たとえば、最大シフト値T_MAX)にわたり得る。シフト値760は、第1のオーディオ信号130と第2のオーディオ信号132との間の予想される時間的シフト(たとえば、最大の予想される時間的シフト)を示し得る。
[0134]動作中に、信号比較器506は、第1のサンプル620と、第2のサンプル650に適用されるシフト値760とに基づいて、比較値534を決定し得る。たとえば、サンプル626〜632は第1の時間(t)に対応し得る。例示のために、図1の(1つまたは複数の)入力インターフェース112は、ほぼ第1の時間(t)においてフレーム304に対応するサンプル626〜632を受信し得る。第1のシフト値764(たとえば、−X msまたは−Y個のサンプル、ここでXおよびYは正の実数を含む)は、第2の時間(t−1)に対応し得る。
[0135]サンプル654〜660は第2の時間(t−1)に対応し得る。たとえば、(1つまたは複数の)入力インターフェース112は、ほぼ第2の時間(t−1)においてサンプル654〜660を受信し得る。信号比較器506は、サンプル626〜632とサンプル654〜660とに基づいて、第1のシフト値764に対応する第1の比較値714(たとえば、差値または相互相関値)を決定し得る。たとえば、第1の比較値714は、サンプル626〜632とサンプル654〜660との相互相関の絶対値に対応し得る。別の例として、第1の比較値714は、サンプル626〜632とサンプル654〜660との間の差を示し得る。
[0136]第2のシフト値766(たとえば、+X msまたは+Y個のサンプル、ここでXおよびYは正の実数を含む)は、第3の時間(t+1)に対応し得る。サンプル658〜664は第3の時間(t+1)に対応し得る。たとえば、(1つまたは複数の)入力インターフェース112は、ほぼ第3の時間(t+1)においてサンプル658〜664を受信し得る。信号比較器506は、サンプル626〜632とサンプル658〜664とに基づいて、第2のシフト値766に対応する第2の比較値716(たとえば、差値または相互相関値)を決定し得る。たとえば、第2の比較値716は、サンプル626〜632とサンプル658〜664との相互相関の絶対値に対応し得る。別の例として、第2の比較値716は、サンプル626〜632とサンプル658〜664との間の差を示し得る。信号比較器506は、比較値534をメモリ153に記憶し得る。たとえば、分析データ190は比較値534を含み得る。
[0137]信号比較器506は、比較値534の他の値よりも高い(または低い)値を有する、比較値534の選択された比較値736を識別し得る。たとえば、信号比較器506は、第2の比較値716が第1の比較値714よりも大きいかまたはそれに等しいと決定したことに応答して、第2の比較値716を、選択された比較値736として選択し得る。いくつかの実装形態では、比較値534は相互相関値に対応し得る。信号比較器506は、第2の比較値716が第1の比較値714よりも大きいと決定したことに応答して、サンプル626〜632がサンプル654〜660よりもサンプル658〜664とのより高い相関を有すると決定し得る。信号比較器506は、より高い相関を示す第2の比較値716を、選択された比較値736として選択し得る。他の実装形態では、比較値534は差値に対応し得る。信号比較器506は、第2の比較値716が第1の比較値714よりも低いと決定したことに応答して、サンプル626〜632がサンプル654〜660よりもサンプル658〜664とのより大きい類似度(たとえば、それに対するより低い差)を有すると決定し得る。信号比較器506は、より低い差を示す第2の比較値716を、選択された比較値736として選択し得る。
[0138]選択された比較値736は、比較値534の他の値よりも高い相関(または低い差)を示し得る。信号比較器506は、選択された比較値736に対応するシフト値760の暫定シフト値536を識別し得る。たとえば、信号比較器506は、第2のシフト値766が選択された比較値736(たとえば、第2の比較値716)に対応すると決定したことに応答して、第2のシフト値766を暫定シフト値536として識別し得る。
[0139]信号比較器506は、以下の方程式に基づいて、選択された比較値736を決定し得る。
Figure 0006929868
[0140]ここで、maxXCorrは選択された比較値736に対応し、kはシフト値に対応する。w(n)*l’は、デエンファシスされ、リサンプリングされ、窓掛けされた第1のオーディオ信号130に対応し、w(n)*r’は、デエンファシスされ、リサンプリングされ、窓掛けされた第2のオーディオ信号132に対応する。たとえば、w(n)*l’はサンプル626〜632に対応し得、w(n−1)*r’はサンプル654〜660に対応し得、w(n)*r’はサンプル656〜662に対応し得、w(n+1)*r’はサンプル658〜664に対応し得る。−Kは、シフト値760のより低いシフト値(たとえば、最小シフト値)に対応し得、Kは、シフト値760のより高いシフト値(たとえば、最大シフト値)に対応し得る。方程式5では、w(n)*l’は、第1のオーディオ信号130が右(r)チャネル信号に対応するのか左(l)チャネル信号に対応するのかとは無関係に、第1のオーディオ信号130に対応する。方程式5では、w(n)*r’は、第2のオーディオ信号132が右(r)チャネル信号に対応するのか左(l)チャネル信号に対応するのかとは無関係に、第2のオーディオ信号132に対応する。
[0141]信号比較器506は、以下の方程式に基づいて暫定シフト値536を決定し得る。
Figure 0006929868
[0142]ここで、Tは暫定シフト値536に対応する。
[0143]信号比較器506は、図6のリサンプリングファクタ(D)に基づいて、リサンプリングされたサンプルから元のサンプルに暫定シフト値536をマッピングし得る。たとえば、信号比較器506は、リサンプリングファクタ(D)に基づいて暫定シフト値536を更新し得る。例示のために、信号比較器506は、暫定シフト値536を、暫定シフト値536(たとえば、3)とリサンプリングファクタ(D)(たとえば、4)との積(たとえば、12)に設定し得る。
[0144]図8を参照すると、システムの例示的な例が示されており、全体的に800と称される。システム800は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム800の1つまたは複数の構成要素を含み得る。メモリ153は、シフト値860を記憶するように構成され得る。シフト値860は、第1のシフト値864、第2のシフト値866、またはその両方を含み得る。
[0145]動作中に、補間器510は、本明細書で説明されるように、暫定シフト値536(たとえば、12)に近接したシフト値860を生成し得る。マッピングされたシフト値は、リサンプリングファクタ(D)に基づいて、リサンプリングされたサンプルから元のサンプルにマッピングされたシフト値760に対応し得る。たとえば、マッピングされたシフト値のうちの第1のマッピングされたシフト値は、第1のシフト値764とリサンプリングファクタ(D)との積に対応し得る。マッピングされたシフト値のうちの第1のマッピングされたシフト値と、マッピングされたシフト値のうちの各第2のマッピングされたシフト値との間の差は、しきい値(たとえば、4など、リサンプリングファクタ(D))よりも大きいかまたはそれに等しくなり得る。シフト値860は、シフト値760よりも細かいグラニュラリティを有し得る。たとえば、シフト値860のより低い値(たとえば、最小値)と暫定シフト値536との間の差は、しきい値(たとえば、4)よりも小さくなり得る。しきい値は、図6のリサンプリングファクタ(D)に対応し得る。シフト値860は、第1の値(たとえば、暫定シフト値536−(しきい値−1))から第2の値(たとえば、暫定シフト値536+(しきい値−1))にわたり得る。
[0146]補間器510は、本明細書で説明されるように、比較値534に対して補間を実施することによって、シフト値860に対応する補間比較値816を生成し得る。シフト値860のうちの1つまたは複数に対応する比較値は、比較値534のより低いグラニュラリティのために比較値534から除外され得る。補間比較値816を使用することは、シフト値860のうちの1つまたは複数に対応する補間比較値の探索が、暫定シフト値536に近接した特定のシフト値に対応する補間比較値が、図7の第2の比較値716よりも高い相関(またはより低い差)を示すかどうかを決定することを可能にし得る。
[0147]図8は、補間比較値816および比較値534(たとえば、相互相関値)の例を示すグラフ820を含む。補間器510は、ハニング窓掛けされたsinc補間、IIRフィルタベース補間、スプライン補間、別の形態の信号補間、またはそれらの組合せに基づいて補間を実施し得る。たとえば、補間器510は、以下の方程式に基づいてハニング窓掛けされたsinc補間を実施し得る。
Figure 0006929868
[0148]ここで、
Figure 0006929868
であり、bは窓掛けされたsinc関数に対応し、
Figure 0006929868
は暫定シフト値536に対応する。
Figure 0006929868
は比較値534のうちの特定の比較値に対応し得る。たとえば、
Figure 0006929868
は、iが4に対応するとき、第1のシフト値(たとえば、8)に対応する比較値534の第1の比較値を示し得る。
Figure 0006929868
は、iが0に対応するとき、暫定シフト値536(たとえば、12)に対応する第2の比較値716を示し得る。
Figure 0006929868
は、iが−4に対応するとき、第3のシフト値(たとえば、16)に対応する比較値534の第3の比較値を示し得る。
[0149]R(k)32kHzは、補間比較値816のうちの特定の補間値に対応し得る。補間比較値816の各補間値は、窓掛けされたsinc関数(b)と、第1の比較値、第2の比較値716、および第3の比較値の各々との積の和に対応し得る。たとえば、補間器510は、窓掛けされたsinc関数(b)と第1の比較値との第1の積、窓掛けされたsinc関数(b)と第2の比較値716との第2の積、および窓掛けされたsinc関数(b)と第3の比較値との第3の積を決定し得る。補間器510は、第1の積と、第2の積と、第3の積との和に基づいて特定の補間値を決定し得る。補間比較値816の第1の補間値は、第1のシフト値(たとえば、9)に対応し得る。窓掛けされたsinc関数(b)は、第1のシフト値に対応する第1の値を有し得る。補間比較値816の第2の補間値は、第2のシフト値(たとえば、10)に対応し得る。窓掛けされたsinc関数(b)は、第2のシフト値に対応する第2の値を有し得る。窓掛けされたsinc関数(b)の第1の値は、第2の値とは別個であり得る。したがって、第1の補間値は第2の補間値とは別個であり得る。
[0150]方程式7では、8kHzは、比較値534の第1のレートに対応し得る。たとえば、第1のレートは、比較値534中に含まれるフレーム(たとえば、図3のフレーム304)に対応する比較値の数(たとえば、8)を示し得る。32kHzは、補間比較値816の第2のレートに対応し得る。たとえば、第2のレートは、補間比較値816中に含まれるフレーム(たとえば、図3のフレーム304)に対応する補間比較値の数(たとえば、32)を示し得る。
[0151]補間器510は、補間比較値816の補間比較値838(たとえば、最大値または最小値)を選択し得る。補間器510は、補間比較値838に対応するシフト値860のシフト値(たとえば、14)を選択し得る。補間器510は、選択されたシフト値(たとえば、第2のシフト値866)を示す補間シフト値538を生成し得る。
[0152]暫定シフト値536を決定するために粗い手法を使用することと、補間シフト値538を決定するために暫定シフト値536の周りを探索することとは、探索効率または正確さを損なうことなしに探索複雑さを低減し得る。
[0153]図9Aを参照すると、システムの例示的な例が示されており、全体的に900と称される。システム900は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム900の1つまたは複数の構成要素を含み得る。システム900は、メモリ153、シフトリファイナ911、またはその両方を含み得る。メモリ153は、フレーム302に対応する第1のシフト値962を記憶するように構成され得る。たとえば、分析データ190は第1のシフト値962を含み得る。第1のシフト値962は、フレーム302に関連付けられた暫定シフト値、補間シフト値、改正シフト値、最終シフト値、または非因果的シフト値に対応し得る。フレーム302は、第1のオーディオ信号130中でフレーム304に先行し得る。シフトリファイナ911は、図1のシフトリファイナ511に対応し得る。
[0154]図9Aは、全体的に920と称される例示的な動作方法のフローチャートをも含む。方法920は、図1の時間等化器108、エンコーダ114、第1のデバイス104、図2の(1つまたは複数の)時間等化器208、エンコーダ214、第1のデバイス204、図5のシフトリファイナ511、シフトリファイナ911、またはそれらの組合せによって実施され得る。
[0155]方法920は、901において、第1のシフト値962と補間シフト値538との間の差の絶対値が第1のしきい値よりも大きいかどうかを決定することを含む。たとえば、シフトリファイナ911は、第1のシフト値962と補間シフト値538との間の差の絶対値が第1のしきい値(たとえば、シフト変化しきい値)よりも大きいかどうかを決定し得る。
[0156]方法920は、901において、上記絶対値が第1のしきい値よりも小さいかまたはそれに等しいと決定したことに応答して、902において、補間シフト値538を示すように改正シフト値540を設定することをも含む。たとえば、シフトリファイナ911は、上記絶対値がシフト変化しきい値よりも小さいかまたはそれに等しいと決定したことに応答して、補間シフト値538を示すように改正シフト値540を設定し得る。いくつかの実装形態では、シフト変化しきい値は、第1のシフト値962が補間シフト値538に等しいとき、改正シフト値540が補間シフト値538に設定されるべきであることを示す第1の値(たとえば、0)を有し得る。代替実装形態では、シフト変化しきい値は、より大きい自由度で、902において、改正シフト値540が補間シフト値538に設定されるべきであることを示す第2の値(たとえば、≧1)を有し得る。たとえば、改正シフト値540は、第1のシフト値962と補間シフト値538との間の差の範囲について補間シフト値538に設定され得る。例示のために、改正シフト値540は、第1のシフト値962と補間シフト値538との間の差(たとえば、−2、−1、0、1、2)の絶対値がシフト変化しきい値(たとえば、2)よりも小さいかまたはそれに等しいとき、補間シフト値538に設定され得る。
[0157]方法920は、901において、上記絶対値が第1のしきい値よりも大きいと決定したことに応答して、904において、第1のシフト値962が補間シフト値538よりも大きいかどうかを決定することをさらに含む。たとえば、シフトリファイナ911は、上記絶対値がシフト変化しきい値よりも大きいと決定したことに応答して、第1のシフト値962が補間シフト値538よりも大きいかどうかを決定し得る。
[0158]方法920は、904において、第1のシフト値962が補間シフト値538よりも大きいと決定したことに応答して、906において、より低いシフト値930を第1のシフト値962と第2のしきい値との間の差に設定することと、より大きいシフト値932を第1のシフト値962に設定することとをも含む。たとえば、シフトリファイナ911は、第1のシフト値962(たとえば、20)が補間シフト値538(たとえば、14)よりも大きいと決定したことに応答して、より低いシフト値930(たとえば、17)を第1のシフト値962(たとえば、20)と第2のしきい値(たとえば、3)との間の差に設定し得る。さらに、または代替として、シフトリファイナ911は、第1のシフト値962が補間シフト値538よりも大きいと決定したことに応答して、より大きいシフト値932(たとえば、20)を第1のシフト値962に設定し得る。第2のしきい値は、第1のシフト値962と補間シフト値538との間の差に基づき得る。いくつかの実装形態では、より低いシフト値930は、オフセットされた補間シフト値538としきい値(たとえば、第2のしきい値)との間の差に設定され得、より大きいシフト値932は、第1のシフト値962としきい値(たとえば、第2のしきい値)との間の差に設定され得る。
[0159]方法920は、904において、第1のシフト値962が補間シフト値538よりも小さいかまたはそれに等しいと決定したことに応答して、910において、より低いシフト値930を第1のシフト値962に設定することと、より大きいシフト値932を第1のシフト値962と第3のしきい値との和に設定することとをさらに含む。たとえば、シフトリファイナ911は、第1のシフト値962(たとえば、10)が補間シフト値538(たとえば、14)よりも小さいかまたはそれに等しいと決定したことに応答して、より低いシフト値930を第1のシフト値962(たとえば、10)に設定し得る。さらに、または代替として、シフトリファイナ911は、第1のシフト値962が補間シフト値538よりも小さいかまたはそれに等しいと決定したことに応答して、より大きいシフト値932(たとえば、13)を第1のシフト値962(たとえば、10)と第3のしきい値(たとえば、3)との和に設定し得る。第3のしきい値は、第1のシフト値962と補間シフト値538との間の差に基づき得る。いくつかの実装形態では、より低いシフト値930は、オフセットされた第1のシフト値962としきい値(たとえば、第3のしきい値)との間の差に設定され得、より大きいシフト値932は、補間シフト値538としきい値(たとえば、第3のしきい値)との間の差に設定され得る。
[0160]方法920は、908において、第1のオーディオ信号130と、第2のオーディオ信号132に適用されるシフト値960とに基づいて、比較値916を決定することをも含む。たとえば、シフトリファイナ911(または信号比較器506)は、第1のオーディオ信号130と、第2のオーディオ信号132に適用されるシフト値960とに基づいて、図7を参照しながら説明されたように、比較値916を生成し得る。例示のために、シフト値960は、より低いシフト値930(たとえば、17)から、より大きいシフト値932(たとえば、20)にわたり得る。シフトリファイナ911(または信号比較器506)は、サンプル326〜332と第2のサンプル350の特定のサブセットとに基づいて、比較値916のうちの特定の比較値を生成し得る。第2のサンプル350の特定のサブセットは、シフト値960のうちの特定のシフト値(たとえば、17)に対応し得る。特定の比較値は、サンプル326〜332と第2のサンプル350の特定のサブセットとの間の差(または相関)を示し得る。
[0161]方法920は、912において、第1のオーディオ信号130と第2のオーディオ信号132とに基づいて生成された比較値916に基づいて改正シフト値540を決定することをさらに含む。たとえば、シフトリファイナ911は、比較値916に基づいて改正シフト値540を決定し得る。例示のために、第1の場合、比較値916が相互相関値に対応するとき、シフトリファイナ911は、補間シフト値538に対応する図8の補間比較値838が比較値916の最も高い比較値よりも大きいかまたはそれに等しいと決定し得る。代替的に、比較値916が差値に対応するとき、シフトリファイナ911は、補間比較値838が比較値916の最も低い比較値よりも小さいかまたはそれに等しいと決定し得る。この場合、シフトリファイナ911は、第1のシフト値962(たとえば、20)が補間シフト値538(たとえば、14)よりも大きいと決定したことに応答して、改正シフト値540をより低いシフト値930(たとえば、17)に設定し得る。代替的に、シフトリファイナ911は、第1のシフト値962(たとえば、10)が補間シフト値538(たとえば、14)よりも小さいかまたはそれに等しいと決定したことに応答して、改正シフト値540をより大きいシフト値932(たとえば、13)に設定し得る。
[0162]第2の場合、比較値916が相互相関値に対応するとき、シフトリファイナ911は、補間比較値838が比較値916の最も高い比較値よりも小さいと決定し得、改正シフト値540を、最も高い比較値に対応する、シフト値960のうちの特定のシフト値(たとえば、18)に設定し得る。代替的に、比較値916が差値に対応するとき、シフトリファイナ911は、補間比較値838が比較値916の最も低い比較値よりも大きいと決定し得、改正シフト値540を、最も低い比較値に対応する、シフト値960のうちの特定のシフト値(たとえば、18)に設定し得る。
[0163]比較値916は、第1のオーディオ信号130と、第2のオーディオ信号132と、シフト値960とに基づいて生成され得る。改正シフト値540は、図7を参照しながら説明されたように、信号比較器506によって実施されるものと同様のプロシージャを使用して、比較値916に基づいて生成され得る。
[0164]したがって、方法920は、シフトリファイナ911が、連続する(または隣接する)フレームに関連付けられたシフト値の変化を制限することを可能にし得る。シフト値の低減された変化は、符号化中のサンプル喪失またはサンプル複製を低減し得る。
[0165]図9Bを参照すると、システムの例示的な例が示されており、全体的に950と称される。システム950は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム950の1つまたは複数の構成要素を含み得る。システム950は、メモリ153、シフトリファイナ511、またはその両方を含み得る。シフトリファイナ511は補間シフト調整器958を含み得る。補間シフト調整器958は、本明細書で説明されるように、第1のシフト値962に基づいて、選択的に補間シフト値538を調整するように構成され得る。シフトリファイナ511は、図9A、図9Cを参照しながら説明されるように、補間シフト値538(たとえば、調整された補間シフト値538)に基づいて改正シフト値540を決定し得る。
[0166]図9Bは、全体的に951と称される例示的な動作方法のフローチャートをも含む。方法951は、図1の時間等化器108、エンコーダ114、第1のデバイス104、図2の(1つまたは複数の)時間等化器208、エンコーダ214、第1のデバイス204、図5のシフトリファイナ511、図9Aのシフトリファイナ911、補間シフト調整器958、またはそれらの組合せによって実施され得る。
[0167]方法951は、952において、第1のシフト値962と制約なし補間シフト値956との間の差に基づいてオフセット957を生成することを含む。たとえば、補間シフト調整器958は、第1のシフト値962と制約なし補間シフト値956との間の差に基づいてオフセット957を生成し得る。制約なし補間シフト値956は、(たとえば、補間シフト調整器958による調整より前の)補間シフト値538に対応し得る。補間シフト調整器958は、制約なし補間シフト値956をメモリ153に記憶し得る。たとえば、分析データ190は、制約なし補間シフト値956を含み得る。
[0168]方法951は、953において、オフセット957の絶対値がしきい値よりも大きいかどうかを決定することをも含む。たとえば、補間シフト調整器958は、オフセット957の絶対値がしきい値を満たすかどうかを決定し得る。しきい値は、補間シフト制限MAX_SHIFT_CHANGE(たとえば、4)に対応し得る。
[0169]方法951は、953において、オフセット957の絶対値がしきい値よりも大きいと決定したことに応答して、954において、第1のシフト値962と、オフセット957の符号と、しきい値とに基づいて、補間シフト値538を設定することを含む。たとえば、補間シフト調整器958は、オフセット957の絶対値がしきい値を満たすことができない(たとえば、しきい値よりも大きい)と決定したことに応答して、補間シフト値538を制約し得る。例示のために、補間シフト調整器958は、第1のシフト値962と、オフセット957の符号(たとえば、+1または−1)と、しきい値とに基づいて、補間シフト値538を調整し得る(たとえば、補間シフト値538=第1のシフト値962+符号(オフセット957)*しきい値)。
[0170]方法951は、953において、オフセット957の絶対値がしきい値よりも小さいかまたはそれに等しいと決定したことに応答して、955において、補間シフト値538を制約なし補間シフト値956に設定することを含む。たとえば、補間シフト調整器958は、オフセット957の絶対値がしきい値を満たす(たとえば、しきい値よりも小さいかまたはそれに等しい)と決定したことに応答して、補間シフト値538を変更することを控え得る。
[0171]したがって、方法951は、第1のシフト値962に対する補間シフト値538の変化が補間シフト制限を満たすように、補間シフト値538を制約することを可能にし得る。
[0172]図9Cを参照すると、システムの例示的な例が示されており、全体的に970と称される。システム970は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム970の1つまたは複数の構成要素を含み得る。システム970は、メモリ153、シフトリファイナ921、またはその両方を含み得る。シフトリファイナ921は、図5のシフトリファイナ511に対応し得る。
[0173]図9Cは、全体的に971と称される例示的な動作方法のフローチャートをも含む。方法971は、図1の時間等化器108、エンコーダ114、第1のデバイス104、図2の(1つまたは複数の)時間等化器208、エンコーダ214、第1のデバイス204、図5のシフトリファイナ511、図9Aのシフトリファイナ911、シフトリファイナ921、またはそれらの組合せによって実施され得る。
[0174]方法971は、972において、第1のシフト値962と補間シフト値538との間の差が0でないかどうかを決定することを含む。たとえば、シフトリファイナ921は、第1のシフト値962と補間シフト値538との間の差が0でないかどうかを決定し得る。
[0175]方法971は、972において、第1のシフト値962と補間シフト値538との間の差が0であると決定したことに応答して、973において、改正シフト値540を補間シフト値538に設定することを含む。たとえば、シフトリファイナ921は、第1のシフト値962と補間シフト値538との間の差が0であると決定したことに応答して、補間シフト値538に基づいて改正シフト値540を決定し得る(たとえば、改正シフト値540=補間シフト値538)。
[0176]方法971は、972において、第1のシフト値962と補間シフト値538との間の差が0でないと決定したことに応答して、975において、オフセット957の絶対値がしきい値よりも大きいかどうかを決定することを含む。たとえば、シフトリファイナ921は、第1のシフト値962と補間シフト値538との間の差が0でないと決定したことに応答して、オフセット957の絶対値がしきい値よりも大きいかどうかを決定し得る。オフセット957は、図9Bを参照しながら説明されたように、第1のシフト値962と制約なし補間シフト値956との間の差に対応し得る。しきい値は、補間シフト制限MAX_SHIFT_CHANGE(たとえば、4)に対応し得る。
[0177]方法971は、972において、第1のシフト値962と補間シフト値538との間の差が0でないと決定したこと、あるいは、975において、オフセット957の絶対値がしきい値よりも小さいかまたはそれに等しいと決定したことに応答して、976において、より低いシフト値930を、第1のしきい値と第1のシフト値962および補間シフト値538の最小値との間の差に設定することと、より大きいシフト値932を、第2のしきい値と第1のシフト値962および補間シフト値538の最大値との和に設定することとを含む。たとえば、シフトリファイナ921は、オフセット957の絶対値がしきい値よりも小さいかまたはそれに等しいと決定したことに応答して、第1のしきい値と第1のシフト値962および補間シフト値538の最小値との間の差に基づいて、より低いシフト値930を決定し得る。シフトリファイナ921はまた、第2のしきい値と第1のシフト値962および補間シフト値538の最大値との和に基づいて、より大きいシフト値932を決定し得る。
[0178]方法971は、977において、第1のオーディオ信号130と、第2のオーディオ信号132に適用されるシフト値960とに基づいて、比較値916を生成することをも含む。たとえば、シフトリファイナ921(または信号比較器506)は、第1のオーディオ信号130と、第2のオーディオ信号132に適用されるシフト値960とに基づいて、図7を参照しながら説明されたように、比較値916を生成し得る。シフト値960は、より低いシフト値930から、より大きいシフト値932にわたり得る。方法971は979に進み得る。
[0179]方法971は、975において、オフセット957の絶対値がしきい値よりも大きいと決定したことに応答して、978において、第1のオーディオ信号130と、第2のオーディオ信号132に適用される制約なし補間シフト値956とに基づいて、比較値915を生成することを含む。たとえば、シフトリファイナ921(または信号比較器506)は、第1のオーディオ信号130と、第2のオーディオ信号132に適用される制約なし補間シフト値956とに基づいて、図7を参照しながら説明されたように、比較値915を生成し得る。
[0180]方法971は、979において、比較値916、比較値915、またはそれらの組合せに基づいて、改正シフト値540を決定することをも含む。たとえば、シフトリファイナ921は、図9Aを参照しながら説明されたように、比較値916、比較値915、またはそれらの組合せに基づいて、改正シフト値540を決定し得る。いくつかの実装形態では、シフトリファイナ921は、シフト変動による極大値を回避するために、比較値915と比較値916との比較に基づいて改正シフト値540を決定し得る。
[0181]いくつかの場合には、第1のオーディオ信号130、第1のリサンプリングされた信号530、第2のオーディオ信号132、第2のリサンプリングされた信号532、またはそれらの組合せの固有のピッチが、シフト推定プロセスに干渉し得る。そのような場合、ピッチによる干渉を低減し、複数のチャネル間のシフト推定の信頼性を改善するために、ピッチデエンファシスまたはピッチフィルタ処理が実施され得る。いくつかの場合には、第1のオーディオ信号130、第1のリサンプリングされた信号530、第2のオーディオ信号132、第2のリサンプリングされた信号532、またはそれらの組合せ中に、シフト推定プロセスに干渉し得る背景雑音が存在し得る。そのような場合、複数のチャネル間のシフト推定の信頼性を改善するために、雑音抑圧または雑音消去が使用され得る。
[0182]図10Aを参照すると、システムの例示的な例が示されており、全体的に1000と称される。システム1000は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム1000の1つまたは複数の構成要素を含み得る。
[0183]図10Aは、全体的に1020と称される例示的な動作方法のフローチャートをも含む。方法1020は、シフト変化分析器512、時間等化器108、エンコーダ114、第1のデバイス104、またはそれらの組合せによって実施され得る。
[0184]方法1020は、1001において、第1のシフト値962が0に等しいかどうかを決定することを含む。たとえば、シフト変化分析器512は、フレーム302に対応する第1のシフト値962が時間シフトなしを示す第1の値(たとえば、0)を有するかどうかを決定し得る。方法1020は、1001において、第1のシフト値962が0に等しいと決定したことに応答して、1010に進むことを含む。
[0185]方法1020は、1001において、第1のシフト値962が0でないと決定したことに応答して、1002において、第1のシフト値962が0よりも大きいかどうかを決定することを含む。たとえば、シフト変化分析器512は、フレーム302に対応する第1のシフト値962が、第2のオーディオ信号132が第1のオーディオ信号130に対して時間的に遅延していることを示す第1の値(たとえば、正の値)を有するかどうかを決定し得る。
[0186]方法1020は、1002において、第1のシフト値962が0よりも大きいと決定したことに応答して、1004において、改正シフト値540が0よりも小さいかどうかを決定することを含む。たとえば、シフト変化分析器512は、第1のシフト値962が第1の値(たとえば、正の値)を有すると決定したことに応答して、改正シフト値540が、第1のオーディオ信号130が第2のオーディオ信号132に対して時間的に遅延していることを示す第2の値(たとえば、負の値)を有するかどうかを決定し得る。方法1020は、1004において、改正シフト値540が0よりも小さいと決定したことに応答して、1008に進むことを含む。方法1020は、1004において、改正シフト値540が0よりも大きいかまたはそれに等しいと決定したことに応答して、1010に進むことを含む。
[0187]方法1020は、1002において、第1のシフト値962が0よりも小さいと決定したことに応答して、1006において、改正シフト値540が0よりも大きいかどうかを決定することを含む。たとえば、シフト変化分析器512は、第1のシフト値962が第2の値(たとえば、負の値)を有すると決定したことに応答して、改正シフト値540が、第2のオーディオ信号132が第1のオーディオ信号130に関して時間的に遅延していることを示す第1の値(たとえば、正の値)を有するかどうかを決定し得る。方法1020は、1006において、改正シフト値540が0よりも大きいと決定したことに応答して、1008に進むことを含む。方法1020は、1006において、改正シフト値540が0よりも小さいかまたはそれに等しいと決定したことに応答して、1010に進むことを含む。
[0188]方法1020は、1008において、最終シフト値116を0に設定することを含む。たとえば、シフト変化分析器512は、最終シフト値116を、時間シフトなしを示す特定の値(たとえば、0)に設定し得る。
[0189]方法1020は、1010において、第1のシフト値962が改正シフト値540に等しいかどうかを決定することを含む。たとえば、シフト変化分析器512は、第1のシフト値962と改正シフト値540とが、第1のオーディオ信号130と第2のオーディオ信号132との間の同じ時間遅延を示すかどうかを決定し得る。
[0190]方法1020は、1010において、第1のシフト値962が改正シフト値540に等しいと決定したことに応答して、1012において、最終シフト値116を改正シフト値540に設定することを含む。たとえば、シフト変化分析器512は、最終シフト値116を改正シフト値540に設定し得る。
[0191]方法1020は、1010において、第1のシフト値962が改正シフト値540に等しくないと決定したことに応答して、1014において、推定されたシフト値1072を生成することを含む。たとえば、シフト変化分析器512は、図11を参照しながらさらに説明されるように、改正シフト値540を改良することによって、推定されたシフト値1072を決定し得る。
[0192]方法1020は、1016において、最終シフト値116を推定されたシフト値1072に設定することを含む。たとえば、シフト変化分析器512は、最終シフト値116を推定されたシフト値1072に設定し得る。
[0193]いくつかの実装形態では、シフト変化分析器512は、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延が切り替わらなかったと決定したことに応答して、第2の推定されたシフト値を示すように非因果的シフト値162を設定し得る。たとえば、シフト変化分析器512は、1001、第1のシフト値962が0に等しいこと、1004において、改正シフト値540が0よりも大きいかまたはそれに等しいこと、あるいは、1006において、改正シフト値540が0よりも小さいかまたはそれに等しいことを決定したことに応答して、改正シフト値540を示すように非因果的シフト値162を設定し得る。
[0194]したがって、シフト変化分析器512は、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延が図3のフレーム302とフレーム304との間で切り替わったと決定したことに応答して、時間シフトなしを示すように非因果的シフト値162を設定し得る。非因果的シフト値162が、連続するフレーム間で方向を(たとえば、正から負にまたは負から正に)切り替えるのを防ぐことは、エンコーダ114におけるダウンミックス信号生成のひずみを低減するか、デコーダにおけるアップミックス統合のための追加の遅延の使用を回避するか、またはその両方であり得る。
[0195]図10Bを参照すると、システムの例示的な例が示されており、全体的に1030と称される。システム1030は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム1030の1つまたは複数の構成要素を含み得る。
[0196]図10Bは、全体的に1031と称される例示的な動作方法のフローチャートをも含む。方法1031は、シフト変化分析器512、時間等化器108、エンコーダ114、第1のデバイス104、またはそれらの組合せによって実施され得る。
[0197]方法1031は、1032において、第1のシフト値962が0よりも大きいかどうか、および改正シフト値540が0よりも小さいかどうかを決定することを含む。たとえば、シフト変化分析器512は、第1のシフト値962が0よりも大きいかどうか、および改正シフト値540が0よりも小さいかどうかを決定し得る。
[0198]方法1031は、1032において、第1のシフト値962が0よりも大きいことと、改正シフト値540が0よりも小さいこととを決定したことに応答して、1033において、最終シフト値116を0に設定することを含む。たとえば、シフト変化分析器512は、第1のシフト値962が0よりも大きいことと、改正シフト値540が0よりも小さいこととを決定したことに応答して、最終シフト値116を、時間シフトなしを示す第1の値(たとえば、0)に設定し得る。
[0199]方法1031は、1032において、第1のシフト値962が0よりも小さいかまたはそれに等しいこと、あるいは、改正シフト値540が0よりも大きいかまたはそれに等しいことを決定したことに応答して、1034において、第1のシフト値962が0よりも小さいかどうか、および改正シフト値540が0よりも大きいかどうかを決定することを含む。たとえば、シフト変化分析器512は、第1のシフト値962が0よりも小さいかまたはそれに等しいこと、あるいは、改正シフト値540が0よりも大きいかまたはそれに等しいことを決定したことに応答して、第1のシフト値962が0よりも小さいかどうか、および改正シフト値540が0よりも大きいかどうかを決定し得る。
[0200]方法1031は、第1のシフト値962が0よりも小さいことと、改正シフト値540が0よりも大きいこととを決定したことに応答して、1033に進むことを含む。方法1031は、第1のシフト値962が0よりも大きいかまたはそれに等しいこと、あるいは、改正シフト値540が0よりも小さいかまたはそれに等しいことを決定したことに応答して、1035において、最終シフト値116を改正シフト値540に設定することを含む。たとえば、シフト変化分析器512は、第1のシフト値962が0よりも大きいかまたはそれに等しいこと、あるいは、改正シフト値540が0よりも小さいかまたはそれに等しいことを決定したことに応答して、最終シフト値116を改正シフト値540に設定し得る。
[0201]図11を参照すると、システムの例示的な例が示されており、全体的に1100と称される。システム1100は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム1100の1つまたは複数の構成要素を含み得る。図11は、全体的に1120と称される動作方法を示すフローチャートをも含む。方法1120は、シフト変化分析器512、時間等化器108、エンコーダ114、第1のデバイス104、またはそれらの組合せによって実施され得る。方法1120は、図10Aのステップ1014に対応し得る。
[0202]方法1120は、1104において、第1のシフト値962が改正シフト値540よりも大きいかどうかを決定することを含む。たとえば、シフト変化分析器512は、第1のシフト値962が改正シフト値540よりも大きいかどうかを決定し得る。
[0203]方法1120は、1104において、第1のシフト値962が改正シフト値540よりも大きいと決定したことに応答して、1106において、第1のシフト値1130を改正シフト値540と第1のオフセットとの間の差に設定することと、第2のシフト値1132を第1のシフト値962と第1のオフセットとの和に設定することとをも含む。たとえば、シフト変化分析器512は、第1のシフト値962(たとえば、20)が改正シフト値540(たとえば、18)よりも大きいと決定したことに応答して、改正シフト値540に基づいて、第1のシフト値1130(たとえば、17)を決定し得る(たとえば、改正シフト値540−第1のオフセット)。代替的に、または追加として、シフト変化分析器512は、第1のシフト値962に基づいて、第2のシフト値1132(たとえば、21)を決定し得る(たとえば、第1のシフト値962+第1のオフセット)。方法1120は1108に進み得る。
[0204]方法1120は、1104において、第1のシフト値962が改正シフト値540よりも小さいかまたはそれに等しいと決定したことに応答して、第1のシフト値1130を第1のシフト値962と第2のオフセットとの間の差に設定することと、第2のシフト値1132を改正シフト値540と第2のオフセットとの和に設定することとをさらに含む。たとえば、シフト変化分析器512は、第1のシフト値962(たとえば、10)が改正シフト値540(たとえば、12)よりも小さいかまたはそれに等しいと決定したことに応答して、第1のシフト値962に基づいて、第1のシフト値1130(たとえば、9)を決定し得る(たとえば、第1のシフト値962−第2のオフセット)。代替的に、または追加として、シフト変化分析器512は、改正シフト値540に基づいて、第2のシフト値1132(たとえば、13)を決定し得る(たとえば、改正シフト値540+第2のオフセット)。第1のオフセット(たとえば、2)は、第2のオフセット(たとえば、3)とは別個であり得る。いくつかの実装形態では、第1のオフセットは第2のオフセットと同じであり得る。第1のオフセット、第2のオフセット、またはその両方のより高い値が、探索範囲を改善し得る。
[0205]方法1120は、1108において、第1のオーディオ信号130と、第2のオーディオ信号132に適用されるシフト値1160とに基づいて、比較値1140を生成することをも含む。たとえば、シフト変化分析器512は、第1のオーディオ信号130と、第2のオーディオ信号132に適用されるシフト値1160とに基づいて、図7を参照しながら説明されたように、比較値1140を生成し得る。例示のために、シフト値1160は、第1のシフト値1130(たとえば、17)から第2のシフト値1132(たとえば、21)にわたり得る。シフト変化分析器512は、サンプル326〜332と第2のサンプル350の特定のサブセットとに基づいて、比較値1140のうちの特定の比較値を生成し得る。第2のサンプル350の特定のサブセットは、シフト値1160のうちの特定のシフト値(たとえば、17)に対応し得る。特定の比較値は、サンプル326〜332と第2のサンプル350の特定のサブセットとの間の差(または相関)を示し得る。
[0206]方法1120は、1112において、比較値1140に基づいて、推定されたシフト値1072を決定することをさらに含む。たとえば、シフト変化分析器512は、比較値1140が相互相関値に対応するとき、比較値1140のうちの最も高い比較値を、推定されたシフト値1072として選択し得る。代替的に、シフト変化分析器512は、比較値1140が差値に対応するとき、比較値1140のうちの最も低い比較値を、推定されたシフト値1072として選択し得る。
[0207]したがって、方法1120は、シフト変化分析器512が、改正シフト値540を改良することによって、推定されたシフト値1072を生成することを可能にし得る。たとえば、シフト変化分析器512は、元のサンプルに基づいて比較値1140を決定し得、最も高い相関(または最も低い差)を示す、比較値1140のうちの比較値に対応する推定されたシフト値1072を選択し得る。
[0208]図12を参照すると、システムの例示的な例が示されており、全体的に1200と称される。システム1200は図1のシステム100に対応し得る。たとえば、図1のシステム100、第1のデバイス104、またはその両方は、システム1200の1つまたは複数の構成要素を含み得る。図12は、全体的に1220と称される動作方法を示すフローチャートをも含む。方法1220は、基準信号指示器508、時間等化器108、エンコーダ114、第1のデバイス104、またはそれらの組合せによって実施され得る。
[0209]方法1220は、1202において、最終シフト値116が0に等しいかどうかを決定することを含む。たとえば、基準信号指示器508は、最終シフト値116が時間シフトなしを示す特定の値(たとえば、0)を有するかどうかを決定し得る。
[0210]方法1220は、1202において、最終シフト値116が0に等しいと決定したことに応答して、1204において、基準信号インジケータ164を不変のままにすることを含む。たとえば、基準信号指示器508は、最終シフト値116が時間シフトなしを示す特定の値(たとえば、0)を有すると決定したことに応答して、基準信号インジケータ164を不変のままにし得る。例示のために、基準信号インジケータ164は、同じオーディオ信号(たとえば、第1のオーディオ信号130または第2のオーディオ信号132)が、フレーム302の場合と同様にフレーム304に関連付けられた基準信号であることを示し得る。
[0211]方法1220は、1202において、最終シフト値116が0でないと決定したことに応答して、1206において、最終シフト値116が0よりも大きいかどうかを決定することを含む。たとえば、基準信号指示器508は、最終シフト値116が時間シフトを示す特定の値(たとえば、0でない値)を有すると決定したことに応答して、最終シフト値116が、第2のオーディオ信号132が第1のオーディオ信号130に対して遅延していることを示す第1の値(たとえば、正の値)、または第1のオーディオ信号130が第2のオーディオ信号132に対して遅延していることを示す第2の値(たとえば、負の値)を有するかどうかを決定し得る。
[0212]方法1220は、最終シフト値116が第1の値(たとえば、正の値)を有すると決定したことに応答して、1208において、第1のオーディオ信号130が基準信号であることを示す第1の値(たとえば、0)を有するように基準信号インジケータ164を設定するを含む。たとえば、基準信号指示器508は、最終シフト値116が第1の値(たとえば、正の値)を有すると決定したことに応答して、基準信号インジケータ164を、第1のオーディオ信号130が基準信号であることを示す第1の値(たとえば、0)に設定し得る。基準信号指示器508は、最終シフト値116が第1の値(たとえば、正の値)を有すると決定したことに応答して、第2のオーディオ信号132がターゲット信号に対応すると決定し得る。
[0213]方法1220は、最終シフト値116が第2の値(たとえば、負の値)を有すると決定したことに応答して、1210において、第2のオーディオ信号132が基準信号であることを示す第2の値(たとえば、1)を有するように基準信号インジケータ164を設定するを含む。たとえば、基準信号指示器508は、最終シフト値116が、第1のオーディオ信号130が第2のオーディオ信号132に対して遅延していることを示す第2の値(たとえば、負の値)を有すると決定したことに応答して、基準信号インジケータ164を、第2のオーディオ信号132が基準信号であることを示す第2の値(たとえば、1)に設定し得る。基準信号指示器508は、最終シフト値116が第2の値(たとえば、負の値)を有すると決定したことに応答して、第1のオーディオ信号130がターゲット信号に対応すると決定し得る。
[0214]基準信号指示器508は、基準信号インジケータ164を利得パラメータ生成器514に与え得る。利得パラメータ生成器514は、図5を参照しながら説明されたように、基準信号に基づいてターゲット信号の利得パラメータ(たとえば、利得パラメータ160)を決定し得る。
[0215]ターゲット信号は、基準信号に対して時間的に遅延し得る。基準信号インジケータ164は、第1のオーディオ信号130が基準信号に対応するのか、第2のオーディオ信号132が基準信号に対応するのかを示し得る。基準信号インジケータ164は、利得パラメータ160が第1のオーディオ信号130に対応するのか、第2のオーディオ信号132に対応するのかを示し得る。
[0216]図13を参照すると、特定の動作方法を示すフローチャートが示されており、全体的に1300と称される。方法1300は、基準信号指示器508、時間等化器108、エンコーダ114、第1のデバイス104、またはそれらの組合せによって実施され得る。
[0217]方法1300は、1302において、最終シフト値116が0よりも大きいかまたはそれに等しいかどうかを決定することを含む。たとえば、基準信号指示器508は、最終シフト値116が0よりも大きいかまたはそれに等しいかどうかを決定し得る。方法1300は、1302において、最終シフト値116が0よりも大きいかまたはそれに等しいと決定したことに応答して、1208に進むことをも含む。方法1300は、1302において、最終シフト値116が0よりも小さいと決定したことに応答して、1210に進むことをさらに含む。方法1300は、最終シフト値116が時間シフトなしを示す特定の値(たとえば、0)を有すると決定したことに応答して、基準信号インジケータ164が、第1のオーディオ信号130が基準信号に対応することを示す第1の値(たとえば、0)に設定されるという点で、図12の方法1220とは異なる。いくつかの実装形態では、基準信号指示器508は方法1220を実施し得る。他の実装形態では、基準信号指示器508は方法1300を実施し得る。
[0218]したがって、方法1300は、第1のオーディオ信号130がフレーム302のための基準信号に対応するかどうかとは無関係に、最終シフト値116が時間シフトなしを示すとき、基準信号インジケータ164を、第1のオーディオ信号130が基準信号に対応することを示す特定の値(たとえば、0)に設定することを可能にし得る。
[0219]図14を参照すると、システムの例示的な例が示されており、全体的に1400と称される。システム1400は、図5の信号比較器506と、図5の補間器510と、図5のシフトリファイナ511と、図5のシフト変化分析器512とを含む。
[0220]信号比較器506は、比較値534(たとえば、差値、類似度値、コヒーレンス値、または相互相関値)、暫定シフト値536、またはその両方を生成し得る。たとえば、信号比較器506は、第1のリサンプリングされた信号530と、第2のリサンプリングされた信号532に適用される複数のシフト値1450とに基づいて、比較値534を生成し得る。信号比較器506は、比較値534に基づいて暫定シフト値536を決定し得る。信号比較器506は、リサンプリングされた信号530、532の前のフレームについての比較値を取り出すように構成された平滑器1410を含み、前のフレームについての比較値を使用して、長期平滑化演算に基づいて比較値534を変更し得る。たとえば、比較値534は、現在フレーム(N)についての長期比較値
Figure 0006929868
を含み得、
Figure 0006929868
によって表され得、ここで、α∈(0,1.0)である。したがって、長期比較値
Figure 0006929868
は、フレームNにおける瞬間比較値CompValN(k)と、1つまたは複数の前のフレームについての長期比較値
Figure 0006929868
との加重混合に基づき得る。αの値が増加するにつれて、長期比較値における平滑化の量は増加する。信号比較器506は、比較値534、暫定シフト値536、またはその両方を、補間器510に与え得る。
[0221]補間器510は、補間シフト値538を生成するために暫定シフト値536を拡張し得る。たとえば、補間器510は、比較値534を補間することによって、暫定シフト値536に近接したシフト値に対応する補間比較値を生成し得る。補間器510は、補間比較値と比較値534とに基づいて、補間シフト値538を決定し得る。比較値534は、シフト値のより粗いグラニュラリティに基づき得る。補間比較値は、リサンプリングされた暫定シフト値536に近接したシフト値のより細かいグラニュラリティに基づき得る。シフト値のセットのより粗いグラニュラリティ(たとえば、第1のサブセット)に基づいて比較値534を決定することは、シフト値のセットのより細かいグラニュラリティ(たとえば、すべて)に基づいて比較値534を決定することよりも少数のリソース(たとえば、時間、動作、またはその両方)を使用し得る。シフト値の第2のサブセットに対応する補間比較値を決定することは、シフト値のセットの各シフト値に対応する比較値を決定することなしに、暫定シフト値536に近接したシフト値のより小さいセットのより細かいグラニュラリティに基づいて暫定シフト値536を拡張し得る。したがって、シフト値の第1のサブセットに基づいて暫定シフト値536を決定することと、補間比較値に基づいて補間シフト値538を決定することとは、リソース使用および推定されたシフト値の改良のバランスをとり得る。補間器510は、補間シフト値538をシフトリファイナ511に与え得る。
[0222]補間器510は、前のフレームについての補間シフト値を取り出すように構成された平滑器1420を含み、前のフレームについての補間シフト値を使用して、長期平滑化演算に基づいて補間シフト値538を変更し得る。たとえば、補間シフト値538は、現在フレーム(N)についての長期補間シフト値
Figure 0006929868
を含み得、
Figure 0006929868
によって表され得、ここで、α∈(0,1.0)である。したがって、長期補間シフト値
Figure 0006929868
は、フレームNにおける瞬間補間シフト値InterValN(k)と、1つまたは複数の前のフレームについての長期補間シフト値
Figure 0006929868
との加重混合に基づき得る。αの値が増加するにつれて、長期比較値における平滑化の量は増加する。
[0223]シフトリファイナ511は、補間シフト値538を改良することによって改正シフト値540を生成し得る。たとえば、シフトリファイナ511は、第1のオーディオ信号130と第2のオーディオ信号132との間のシフトの変化がシフト変化しきい値よりも大きいことを補間シフト値538が示すかどうかを決定し得る。シフトの変化は、補間シフト値538と図3のフレーム302に関連付けられた第1のシフト値との間の差によって示され得る。シフトリファイナ511は、差がしきい値よりも小さいかまたはそれに等しいと決定したことに応答して、改正シフト値540を補間シフト値538に設定し得る。代替的に、シフトリファイナ511は、差がしきい値よりも大きいと決定したことに応答して、シフト変化しきい値よりも小さいかまたはそれに等しい差に対応する複数のシフト値を決定し得る。シフトリファイナ511は、第1のオーディオ信号130と、第2のオーディオ信号132に適用される複数のシフト値とに基づいて、比較値を決定し得る。シフトリファイナ511は、比較値に基づいて改正シフト値540を決定し得る。たとえば、シフトリファイナ511は、比較値と補間シフト値538とに基づいて、複数のシフト値のうちのシフト値を選択し得る。シフトリファイナ511は、選択されたシフト値を示すように改正シフト値540を設定し得る。フレーム302に対応する第1のシフト値と補間シフト値538との間の0でない差は、第2のオーディオ信号132のいくつかのサンプルが両方のフレーム(たとえば、フレーム302とフレーム304と)に対応することを示し得る。たとえば、第2のオーディオ信号132のいくつかのサンプルは、符号化中に複製され得る。代替的に、0でない差は、第2のオーディオ信号132のいくつかのサンプルがフレーム302にもフレーム304にも対応しないことを示し得る。たとえば、第2のオーディオ信号132のいくつかのサンプルは、符号化中に失われ得る。改正シフト値540を複数のシフト値のうちの1つに設定することは、連続する(または隣接する)フレーム間のシフトの大きい変化を防ぎ、それにより、符号化中のサンプル喪失またはサンプル複製の量を低減し得る。シフトリファイナ511は、改正シフト値540をシフト変化分析器512に与え得る。
[0224]シフトリファイナ511は、前のフレームについての改正シフト値を取り出すように構成された平滑器1430を含み、前のフレームについての改正シフト値を使用して、長期平滑化演算に基づいて改正シフト値540を変更し得る。たとえば、改正シフト値540は、現在フレーム(N)についての長期改正シフト値
Figure 0006929868
を含み得、
Figure 0006929868
によって表され得、ここで、α∈(0,1.0)である。したがって、長期改正シフト値
Figure 0006929868
は、フレームNにおける瞬間改正シフト値AmendValN(k)と、1つまたは複数の前のフレームについての長期改正シフト値
Figure 0006929868
との加重混合に基づき得る。αの値が増加するにつれて、長期比較値における平滑化の量は増加する。
[0225]シフト変化分析器512は、第1のオーディオ信号130と第2のオーディオ信号132との間のタイミングの切替えまたは逆転を改正シフト値540が示すかどうかを決定し得る。シフト変化分析器512は、改正シフト値540とフレーム302に関連付けられた第1のシフト値とに基づいて、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延が、切り替えられた符号を有するかどうかを決定し得る。シフト変化分析器512は、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延が、切り替えられた符号を有すると決定したことに応答して、最終シフト値116を、時間シフトなしを示す値(たとえば、0)に設定し得る。代替的に、シフト変化分析器512は、第1のオーディオ信号130と第2のオーディオ信号132との間の遅延が、切り替えられた符号を有しないと決定したことに応答して、最終シフト値116を改正シフト値540に設定し得る。
[0226]シフト変化分析器512は、改正シフト値540を改良することによって、推定されたシフト値を生成し得る。シフト変化分析器512は、最終シフト値116を、推定されたシフト値に設定し得る。最終シフト値116を、時間シフトなしを示すように設定することは、第1のオーディオ信号130と第2のオーディオ信号132とを、第1のオーディオ信号130の連続する(または隣接する)フレームについての反対方向に時間シフトすることを控えることによって、デコーダにおけるひずみを低減し得る。シフト変化分析器512は、最終シフト値116を絶対シフト生成器513に与え得る。絶対シフト生成器513は、最終シフト値116に絶対関数を適用することによって、非因果的シフト値162を生成し得る。
[0227]上記で説明された平滑化技法は、有声フレーム、無声フレーム、および遷移フレーム間のシフト推定値を実質的に正規化し得る。正規化されたシフト推定値は、フレーム境界におけるサンプル繰返しおよびアーティファクトスキップを低減し得る。さらに、正規化されたシフト推定値は、コーディング効率を改善し得る、低減されたサイドチャネルエネルギーを生じ得る。
[0228]図14に関して説明されたように、平滑化は、信号比較器506、補間器510、シフトリファイナ511、またはそれらの組合せにおいて実施され得る。補間シフトが入力サンプリングレート(FSin)において暫定シフトとは常に異なる場合、比較値534の平滑化に加えて、または比較値534の平滑化の代わりに、補間シフト値538の平滑化が実施され得る。補間シフト値538の推定中に、補間プロセスは、信号比較器506において生成された平滑化長期比較値に対して、信号比較器506において生成された非平滑化比較値に対して、または補間平滑化比較値と補間非平滑化比較値との加重混合に対して実施され得る。補間器510において平滑化が実施される場合、補間は、現在フレーム中で推定される暫定シフトに加えて、複数のサンプルの付近において実施されるように拡張され得る。たとえば、補間は、前のフレームのシフト(たとえば、前の暫定シフト、前の補間シフト、前の改正シフト、または前の最終シフトのうちの1つまたは複数)に近接して、および現在フレームの暫定シフトに近接して実施され得る。その結果、補間シフト値のための追加のサンプルに対して平滑化が実施され得、これは、補間シフト推定値を改善し得る。
[0229]図15を参照すると、有声フレーム、遷移フレーム、および無声フレームについての比較値を示すグラフが示されている。図15によれば、グラフ1502は、説明された長期平滑化技法を使用せずに処理された有声フレームについての比較値(たとえば、相互相関値)を示し、グラフ1504は、説明された長期平滑化技法を使用せずに処理された遷移フレームについての比較値を示し、グラフ1506は、説明された長期平滑化技法を使用せずに処理された無声フレームについての比較値を示す。
[0230]各グラフ1502、1504、1506において表される相互相関は、実質的に異なり得る。たとえば、グラフ1502は、図1の第1のマイクロフォン146によってキャプチャされた有声フレームと、図1の第2のマイクロフォン148によってキャプチャされた対応する有声フレームとの間のピーク相互相関が、約17サンプルシフトにおいて発生することを示す。しかしながら、グラフ1504は、第1のマイクロフォン146によってキャプチャされた遷移フレームと、第2のマイクロフォン148によってキャプチャされた対応する遷移フレームとの間のピーク相互相関が、約4サンプルシフトにおいて発生することを示す。その上、グラフ1506は、第1のマイクロフォン146によってキャプチャされた無声フレームと、第2のマイクロフォン148によってキャプチャされた対応する無声フレームとの間のピーク相互相関が、約−3サンプルシフトにおいて発生することを示す。したがって、シフト推定値は、比較的高いレベルの雑音により、遷移フレームおよび無声フレームについて不正確であり得る。
[0231]図15によれば、グラフ1512は、説明された長期平滑化技法を使用して処理された有声フレームについての比較値(たとえば、相互相関値)を示し、グラフ1514は、説明された長期平滑化技法を使用して処理された遷移フレームについての比較値を示し、グラフ1516は、説明された長期平滑化技法を使用して処理された無声フレームについての比較値を示す。各グラフ1512、1514、1516における相互相関値は、実質的に類似し得る。たとえば、各グラフ1512、1514、1516は、図1の第1のマイクロフォン146によってキャプチャされたフレームと、図1の第2のマイクロフォン148によってキャプチャされた対応するフレームとの間のピーク相互相関が、約17サンプルシフトにおいて発生することを示す。したがって、(グラフ1514によって示された)遷移フレームおよび(グラフ1516によって示された)無声フレームについてのシフト推定値は、雑音にもかかわらず、有声フレームのシフト推定値に対して比較的正確であり(または類似し)得る。
[0232]図15に関して説明された比較値長期平滑化プロセスは、比較値が各フレーム中で同じシフト範囲に関して推定されるときに適用され得る。平滑化論理(たとえば、平滑器1410、1420、1430)は、生成された比較値に基づくチャネル間のシフトの推定より前に実施され得る。たとえば、平滑化は、暫定シフト、補間シフトの推定、または改正シフトのいずれかの推定より前に実施され得る。無音部分(またはシフト推定のドリフトを引き起こし得る背景雑音)中の比較値の適応を低減するために、比較値は、より高い時定数(たとえば、α=0.995)に基づいて平滑化され得、他の場合、平滑化は、α=0.9に基づき得る。比較値を調整すべきかどうかの決定は、バックグラウンドエネルギーまたは長期エネルギーがしきい値を下回るかどうかに基づき得る。
[0233]図16を参照すると、特定の動作方法を示すフローチャートが示されており、全体的に1600と称される。方法1600は、図1の時間等化器108、エンコーダ114、第1のデバイス104、またはそれらの組合せによって実施され得る。
[0234]方法1600は、1602において、第1のマイクロフォンにおいて第1のオーディオ信号をキャプチャすることを含む。第1のオーディオ信号は第1のフレームを含み得る。たとえば、図1を参照すると、第1のマイクロフォン146は第1のオーディオ信号130をキャプチャし得る。第1のオーディオ信号130は第1のフレームを含み得る。
[0235]1604において、第2のマイクロフォンにおいて第2のオーディオ信号をキャプチャする。第2のオーディオ信号は第2のフレームを含み得、第2のフレームは、第1のフレームと実質的に同様のコンテンツを有し得る。たとえば、図1を参照すると、第2のマイクロフォン148は第2のオーディオ信号132をキャプチャし得る。第2のオーディオ信号132は第2のフレームを含み得、第2のフレームは、第1のフレームと実質的に同様のコンテンツを有し得る。第1のフレームおよび第2のフレームは、有声フレーム、遷移フレーム、または無声フレームのうちの1つであり得る。
[0236]1606において、第1のフレームと第2のフレームとの間の遅延を推定する。たとえば、図1を参照すると、時間等化器108は、第1のフレームと第2のフレームとの間の相互相関を決定し得る。1608において、遅延に基づいて、履歴遅延データに基づいて、第1のオーディオ信号と第2のオーディオ信号との間の時間的オフセットを推定する。たとえば、図1を参照すると、時間等化器108は、マイクロフォン146においてキャプチャされたオーディオと、マイクロフォン148においてキャプチャされたオーディオとの間の時間的オフセットを推定し得る。時間的オフセットは、第1のオーディオ信号130の第1のフレームと第2のオーディオ信号132の第2のフレームとの間の遅延に基づいて推定され得、ここで、第2のフレームは、第1のフレームと実質的に同様のコンテンツを含む。たとえば、時間等化器108は、第1のフレームと第2のフレームとの間の遅延を推定するために相互相関関数を使用し得る。相互相関関数は、一方のフレームの、他方のフレームに対するラグの関数として、2つのフレームの類似度を測定するために使用され得る。相互相関関数に基づいて、時間等化器108は、第1のフレームと第2のフレームとの間の遅延(たとえば、ラグ)を決定し得る。時間等化器108は、遅延と履歴遅延データとに基づいて、第1のオーディオ信号130と第2のオーディオ信号132との間の時間的オフセットを推定し得る。
[0237]履歴データは、第1のマイクロフォン146からキャプチャされたフレームと、第2のマイクロフォン148からキャプチャされた対応するフレームとの間の遅延を含み得る。たとえば、時間等化器108は、第1のオーディオ信号130に関連付けられた前のフレームと、第2のオーディオ信号132に関連付けられた対応するフレームとの間の相互相関(たとえば、ラグ)を決定し得る。各ラグは、「比較値」によって表され得る。すなわち、比較値は、第1のオーディオ信号130のフレームと、第2のオーディオ信号132の対応するフレームとの間の時間シフト(k)を示し得る。一実装形態によれば、前のフレームについての比較値はメモリ153に記憶され得る。時間等化器108の平滑器192は、フレームの長期セットにわたる比較値を「平滑化」(または平均化)し、長期平滑化比較値を、第1のオーディオ信号130と第2のオーディオ信号132との間の時間的オフセット(たとえば、「シフト」)を推定するために使用し得る。
[0238]したがって、履歴遅延データは、第1のオーディオ信号130および第2のオーディオ信号132に関連付けられた平滑化比較値に基づいて生成され得る。たとえば、方法1600は、履歴遅延データを生成するために、第1のオーディオ信号130および第2のオーディオ信号132に関連付けられた比較値を平滑化することを含み得る。平滑化比較値は、第1のフレームよりも時間的に前に生成された第1のオーディオ信号130のフレームに基づき、および第2のフレームよりも時間的に前に生成された第2のオーディオ信号132のフレームに基づき得る。一実装形態によれば、方法1600は、時間的オフセットによって第2のフレームを時間的にシフトすることを含み得る。
[0239]例示のために、CompValN(k)が、フレームNについてのkのシフトにおける比較値を表す場合、フレームNは、k=T_MIN(最小シフト)からk=T_MAX(最大シフト)までの比較値を有し得る。平滑化は、長期比較値
Figure 0006929868
が、
Figure 0006929868
によって表されるように実施され得る。上方程式中の関数fは、シフト(k)における過去の比較値のすべて(またはサブセット)の関数であり得る。上記の代替表現は、
Figure 0006929868
であり得る。関数fまたはgは、それぞれ、単純な有限インパルス応答(FIR)フィルタまたは無限インパルス応答(IIR)フィルタであり得る。たとえば、関数gは、長期比較値
Figure 0006929868
Figure 0006929868
によって表されるようなシングルタップIIRフィルタであり得、ここで、α∈(0,1.0)である。したがって、長期比較値
Figure 0006929868
は、フレームNにおける瞬間比較値CompValN(k)と、1つまたは複数の前のフレームについての長期比較値
Figure 0006929868
との加重混合に基づき得る。αの値が増加するにつれて、長期比較値における平滑化の量は増加する。
[0240]一実装形態によれば、方法1600は、図17〜図18に関してより詳細に説明されるように、第1のフレームと第2のフレームとの間の遅延を推定するために使用される比較値の範囲を調整することを含み得る。遅延は、最も高い相互相関を有する比較値の範囲内の比較値に関連付けられ得る。範囲を調整することは、範囲の境界における比較値が単調に増加しているかどうかを決定することと、境界における比較値が単調に増加しているという決定に応答して境界を拡大することとを含み得る。境界は、左境界または右境界を含み得る。
[0241]図16の方法1600は、有声フレーム、無声フレーム、および遷移フレーム間のシフト推定値を実質的に正規化し得る。正規化されたシフト推定値は、フレーム境界におけるサンプル繰返しおよびアーティファクトスキップを低減し得る。さらに、正規化されたシフト推定値は、コーディング効率を改善し得る、低減されたサイドチャネルエネルギーを生じ得る。
[0242]図17を参照すると、シフト推定のために使用される比較値のための探索範囲を選択的に拡大するためのプロセス図1700が示されている。たとえば、プロセス図1700は、現在フレームについて生成された比較値、過去のフレームについて生成された比較値、またはそれらの組合せに基づいて、比較値のための探索範囲を拡大するために使用され得る。
[0243]プロセス図1700によれば、検出器が、右境界または左境界の近傍における比較値が増加しているのか減少しているのかを決定するように構成され得る。将来の比較値生成のための探索範囲境界は、その決定に基づいてより多くのシフト値に適応するために外向きにプッシュされ得る。たとえば、探索範囲境界は、比較値が再生成されたとき、後のフレームにおける比較値または同じフレームにおける比較値について外向きにプッシュされ得る。検出器は、現在フレームについて生成された比較値に基づいて、または1つまたは複数の前のフレームについて生成された比較値に基づいて、探索境界拡張を開始し得る。
[0244]1702において、検出器は、右境界における比較値が単調に増加しているかどうかを決定し得る。非限定的な例として、探索範囲は、−20から20まで(たとえば、負の方向での20サンプルシフトから正の方向での20サンプルシフトまで)拡張し得る。本明細書で使用される、負の方向でのシフトは、図1の第1のオーディオ信号130などの第1の信号が基準信号であること、および図1の第2のオーディオ信号132などの第2の信号がターゲット信号であることに対応する。正の方向でのシフトは、第1の信号がターゲット信号であること、および第2の信号が基準信号であることに対応する。
[0245]1702において、右境界における比較値が単調に増加している場合、検出器は、1704において、探索範囲を増加させるために右境界を外向きに調整し得る。例示のために、サンプルシフト19における比較値が特定の値を有し、サンプルシフト20における比較値がより高い値を有する場合、検出器は、正の方向で探索範囲を拡張し得る。非限定的な例として、検出器は、−20から25まで探索範囲を拡張し得る。検出器は、1つのサンプル、2つのサンプル、3つのサンプルなどの増分で探索範囲を拡張し得る。一実装形態によれば、1702における決定は、右境界におけるスプリアスジャンプに基づいて探索範囲を拡大する可能性を低減するために、右境界に向かって複数のサンプルにおいて比較値を検出することによって実施され得る。
[0246]1702において、右境界における比較値が単調に増加していない場合、検出器は、1706において、左境界における比較値が単調に増加しているかどうかを決定し得る。1706において、左境界における比較値が単調に増加している場合、検出器は、1708において、探索範囲を増加させるために左境界を外向きに調整し得る。例示のために、サンプルシフト−19における比較値が特定の値を有し、サンプルシフト−20における比較値がより高い値を有する場合、検出器は、負の方向で探索範囲を拡張し得る。非限定的な例として、検出器は、−25から20まで探索範囲を拡張し得る。検出器は、1つのサンプル、2つのサンプル、3つのサンプルなどの増分で探索範囲を拡張し得る。一実装形態によれば、1702における決定は、左境界におけるスプリアスジャンプに基づいて探索範囲を拡大する可能性を低減するために、左境界に向かって複数のサンプルにおいて比較値を検出することによって実施され得る。1706において、左境界における比較値が単調に増加していない場合、検出器は、1710において、探索範囲を不変のままにし得る。
[0247]したがって、図17のプロセス図1700は、将来のフレームのための探索範囲変更を開始し得る。たとえば、過去の3つの連続するフレームが、しきい値の前の最後の10個のシフト値にわたって比較値が単調に増加している(たとえば、サンプルシフト10からサンプルシフト20まで増加しているか、またはサンプルシフト−10からサンプルシフト−20まで増加している)ことが検出された場合、探索範囲は、特定のサンプル数だけ外向きに増加され得る。探索範囲のこの外向き増加は、境界における比較値がもはや単調に増加しなくなるまで、将来のフレームのために連続的に実装され得る。前のフレームについての比較値に基づいて探索範囲を増加させることは、「真のシフト」が、探索範囲の境界の極めて近くにあるが、探索範囲のすぐ外側にある可能性を低減し得る。この可能性を低減することは、サイドチャネルエネルギー最小化およびチャネルコーディングの改善を生じ得る。
[0248]図18を参照すると、シフト推定のために使用される比較値のための探索範囲の選択的拡大を示すグラフが示されている。グラフは、表1中のデータに関連して動き得る。
Figure 0006929868
[0249]表1によれば、検出器は、特定の境界が3つまたはそれ以上の連続するフレームにおいて増加する場合、探索範囲を拡大し得る。第1のグラフ1802は、フレームi−2についての比較値を示す。第1のグラフ1802によれば、左境界は単調に増加しておらず、右境界は1つの連続するフレームについて単調に増加している。その結果、探索範囲は次のフレーム(たとえば、フレームi−1)について不変のままであり、境界は−20から20にわたり得る。第2のグラフ1804は、フレームi−1についての比較値を示す。第2のグラフ1804によれば、左境界は単調に増加しておらず、右境界は2つの連続するフレームについて単調に増加している。その結果、探索範囲は次のフレーム(たとえば、フレームi)について不変のままであり、境界は−20から20にわたり得る。
[0250]第3のグラフ1806は、フレームiについての比較値を示す。第3のグラフ1806によれば、左境界は単調に増加しておらず、右境界は3つの連続するフレームについて単調に増加している。右境界が3つまたはそれ以上の連続するフレームについて単調に増加するので、次のフレーム(たとえば、フレームi+1)のための探索範囲は拡大され得、次のフレームのための境界は−23から23にわたり得る。第4のグラフ1808は、フレームi+1についての比較値を示す。第4のグラフ1808によれば、左境界は単調に増加しておらず、右境界は4つの連続するフレームについて単調に増加している。右境界が3つまたはそれ以上の連続するフレームについて単調に増加する際にので、次のフレーム(たとえば、フレームi+2)のための探索範囲は拡大され得、次のフレームのための境界は−26から26にわたり得る。第5のグラフ1810は、フレームi+2についての比較値を示す。第5のグラフ1810によれば、左境界は単調に増加しておらず、右境界は5つの連続するフレームについて単調に増加している。右境界が3つまたはそれ以上の連続するフレームについて単調に増加する際にので、次のフレーム(たとえば、フレームi+3)のための探索範囲は拡大され得、次のフレームのための境界は−29から29にわたり得る。
[0251]第6のグラフ1812は、フレームi+3についての比較値を示す。第6のグラフ1812によれば、左境界は単調に増加しておらず、右境界は単調に増加していない。その結果、探索範囲は次のフレーム(たとえば、フレームi+4)について不変のままであり、境界は−29から29にわたり得る。第7のグラフ1814は、フレームi+4についての比較値を示す。第7のグラフ1814によれば、左境界は単調に増加しておらず、右境界は1つの連続するフレームについて単調に増加している。その結果、探索範囲は次のフレームについて不変のままであり、境界は−29から29にわたり得る。
[0252]図18によれば、左境界は右境界とともに拡大される。代替実装形態では、左境界は、各フレームについて比較値がそれに関して推定される一定数のシフト値を維持するために、右境界の外向きプッシュを補償するために内向きにプッシュされ得る。別の実装形態では、右境界が外向きに拡大されるべきであることを検出器が示すとき、左境界は一定のままであり得る。
[0253]一実装形態によれば、特定の境界が外向きに拡大されるべきであることを検出器が示すとき、特定の境界が外向きに拡大されるサンプルの量は、比較値に基づいて決定され得る。たとえば、検出器が、比較値に基づいて、右境界が外向きに拡大されるべきであると決定したとき、比較値の新しいセットが、より広いシフト探索範囲に関して生成され得、検出器は、最終探索範囲を決定するために、新たに生成された比較値と既存の比較値とを使用し得る。例示のために、フレームi+1の場合、−30から30にわたるより広い範囲のシフトに関する比較値のセットが生成され得る。最終探索範囲は、より広い探索範囲において生成された比較値に基づいて制限され得る。
[0254]図18中の例は、右境界が外向きに拡張され得ることを示すが、左境界が拡張されるべきであると検出器が決定した場合、同様の類似する機能が、左境界を外向きに拡張するために実施され得る。いくつかの実装形態によれば、探索範囲が無限に増加または減少するのを防ぐために、探索範囲に対する絶対制限が利用され得る。非限定的な例として、探索範囲の絶対値は、8.75ミリ秒(たとえば、CODECのルックアヘッド)を超えて増加することを可能にされないことがある。
[0255]図19を参照すると、オーディオ信号を復号するためのシステム1900が示されている。システム1900は、図1の第1のデバイス104と、第2のデバイス106と、ネットワーク120とを含む。
[0256]図1に関して説明されたように、第1のデバイス104は、ネットワーク120を介して第2のデバイス106に少なくとも1つの符号化された信号(たとえば、符号化された信号102)を送信し得る。符号化された信号102は、ミッドチャネル帯域幅拡張(BWE)パラメータ1950、ミッドチャネルパラメータ1954、サイドチャネルパラメータ1956、チャネル間BWEパラメータ1952、ステレオアップミックスパラメータ1958、またはそれらの組合せを含み得る。一実装形態によれば、ミッドチャネルBWEパラメータ1950は、ミッドチャネルハイバンド線形予測コーディング(LPC:linear predictive coding)パラメータ、利得パラメータのセット、またはその両方を含み得る。一実装形態によれば、チャネル間BWEパラメータ1952は、調整利得パラメータのセット、調整スペクトル形状パラメータ、ハイバンド基準チャネルインジケータ、またはそれらの組合せを含み得る。ハイバンド基準チャネルインジケータは、図1の基準信号インジケータ164と同じであるか、またはそれとは別個であり得る。
[0257]第2のデバイス106は、デコーダ118と、受信機1911と、メモリ1953とを含む。メモリ1953は分析データ1990を含み得る。受信機1911は、第1のデバイス104から符号化された信号102(たとえば、ビットストリーム)を受信するように構成され得、符号化された信号102(たとえば、ビットストリーム)をデコーダ118に与え得る。デコーダ118の異なる実装形態が、図20〜図23に関して説明される。図20〜図23に関して説明されるデコーダ118の実装形態は、説明のためのものにすぎず、限定と見なされるべきでないことを理解されたい。デコーダ118は、符号化された信号102に基づいて第1の出力信号126と第2の出力信号128とを生成するように構成され得る。第1の出力信号126および第2の出力信号128は、それぞれ第1のラウドスピーカー142および第2のラウドスピーカー144に与えられ得る。
[0258]デコーダ118は、符号化された信号102に基づいて複数のローバンド(LB)信号を生成し得、符号化された信号102に基づいて複数のハイバンド(HB)信号を生成し得る。複数のローバンド信号は、第1のLB信号1922と第2のLB信号1924とを含み得る。複数のハイバンド信号は、第1のHB信号1923と第2のHB信号1925とを含み得る。第1のLB信号1922および第2のLB信号1924の生成が、図20〜図23に関してより詳細に説明される。一実装形態によれば、複数のハイバンド信号は、複数のローバンド信号とは無関係に生成され得る。いくつかの実装形態では、複数のハイバンド信号は、ステレオチャネル間帯域幅拡張(ICBWE:inter-channel bandwidth extension)HBアップミックス処理に基づいて生成され得、複数のローバンド信号は、ステレオLBアップミックス処理に基づいて生成され得る。ステレオLBアップミックス処理は、時間領域または周波数領域中でのMS−左右(LR)変換に基づき得る。第1のHB信号1923および第2のHB信号1925の生成が、図20〜図23に関してより詳細に説明される。
[0259]デコーダ118は、複数のローバンド信号のうちの第1のLB信号1922と複数のハイバンド信号のうちの第1のHB信号1923とを合成することによって第1の信号1902を生成するように構成され得る。デコーダ118はまた、複数のローバンド信号のうちの第2のLB信号1924と複数のハイバンド信号のうちの第2のHB信号1925とを合成することによって第2の信号1904を生成するように構成され得る。第2の出力信号128は第2の信号1904に対応し得る。デコーダ118は、第1の信号1902をシフトすることによって第1の出力信号126を生成するように構成され得る。たとえば、デコーダ118は、シフトされた第1の信号1912を生成するために、第1の信号1902の第1のサンプルを、第2の信号1904の第2のサンプルに対して、非因果的シフト値162に基づく量だけ時間シフトし得る。他の実装形態では、デコーダ118は、図9の第1のシフト値962、図5の改正シフト値540、図5の補間シフト値538など、本明細書で説明される他のシフト値に基づいてシフトし得る。したがって、デコーダ118に関して、非因果的シフト値162は、本明細書で説明される他のシフト値を含み得ることを理解されたい。第1の出力信号126は、シフトされた第1の信号1912に対応し得る。
[0260]一実装形態によれば、デコーダ118は、複数のハイバンド信号のうちの第1のHB信号1923を、複数のハイバンド信号のうちの第2のHB信号1925に対して、非因果的シフト値162に基づく量だけ時間シフトすることによって、シフトされた第1のHB信号1933を生成し得る。他の実装形態では、デコーダ118は、図9の第1のシフト値962、図5の改正シフト値540、図5の補間シフト値538など、本明細書で説明される他のシフト値に基づいてシフトし得る。デコーダ118は、図20に関してより詳細に説明される、非因果的シフト値162に基づいて第1のLB信号1922をシフトすることによって、シフトされた第1のLB信号1932を生成し得る。第1の出力信号126は、シフトされた第1のLB信号1932とシフトされた第1のHB信号1933とを合成することによって生成され得る。第2の出力信号128は、第2のLB信号1924と第2のHB信号1925とを合成することによって生成され得る。他の実装形態(たとえば、図21〜図23に関して説明される実装形態)では、ローバンド信号とハイバンド信号とが合成され得、合成された信号がシフトされ得ることに留意されたい。
[0261]説明および例示しやすいように、デコーダ118の追加の動作が、図20〜図26に関して説明される。図19のシステム1900は、図20〜図26に関してさらに説明されるように、チャネル間BWEパラメータ1952と、ターゲットチャネルシフト、一連のアップミックス技法、およびシフト補償技法との統合を可能にし得る。
[0262]図20を参照すると、デコーダ118の第1の実装形態2000が示されている。第1の実装形態2000によれば、デコーダ118は、ミッドBWEデコーダ2002と、LBミッドコアデコーダ2004と、LBサイドコアデコーダ2006と、アップミックスパラメータデコーダ2008と、チャネル間BWE空間バランサ2010と、LBアップミキサ2012と、シフタ2016と、シンセサイザ2018とを含む。
[0263]ミッドチャネルBWEパラメータ1950はミッドBWEデコーダ2002に与えられ得る。ミッドチャネルBWEパラメータ1950は、ミッドチャネルHB LPCパラメータと利得パラメータのセットとを含み得る。ミッドチャネルパラメータ1954はLBミッドコアデコーダ2004に与えられ得、サイドチャネルパラメータ1956はLBサイドコアデコーダ2006に与えられ得る。ステレオアップミックスパラメータ1958はアップミックスパラメータデコーダ2008に与えられ得る。
[0264]LBミッドコアデコーダ2004は、ミッドチャネルパラメータ1954に基づいてコアパラメータ2056とミッドチャネルLB信号2052とを生成するように構成され得る。コアパラメータ2056はミッドチャネルLB励起信号を含み得る。コアパラメータ2056は、ミッドBWEデコーダ2002におよびLBサイドコアデコーダ2006に与えられ得る。ミッドチャネルLB信号2052はLBアップミキサ2012に与えられ得る。ミッドBWEデコーダ2002は、ミッドチャネルBWEパラメータ1950に基づいて、およびLBミッドコアデコーダ2004からのコアパラメータ2056に基づいて、ミッドチャネルHB信号2054を生成し得る。特定の実装形態では、ミッドBWEデコーダ2002は、時間領域帯域幅拡張デコーダ(またはモジュール)を含み得る。時間領域帯域幅拡張デコーダ(たとえば、ミッドBWEデコーダ2002)は、ミッドチャネルHB信号2054を生成し得る。たとえば、時間領域帯域幅拡張デコーダは、ミッドチャネルLB励起信号をアップサンプリングすることによって、アップサンプリングされたミッドチャネルLB励起信号を生成し得る。時間領域帯域幅拡張デコーダは、ハイバンド信号を生成するために、ハイバンドに対応するアップサンプリングされたミッドチャネルLB励起信号に関数(たとえば、非線形関数または絶対値関数)を適用し得る。時間領域帯域幅拡張デコーダは、フィルタ処理済み信号(たとえば、LPC統合ハイバンド励起)を生成するために、HB LPCパラメータ(たとえば、ミッドチャネルHB LPCパラメータ)に基づいてハイバンド信号をフィルタ処理し得る。ミッドチャネルBWEパラメータ1950はHB LPCパラメータを含み得る。時間領域帯域幅拡張デコーダは、サブフレーム利得またはフレーム利得に基づいて、フィルタ処理済み信号をスケーリングすることによって、ミッドチャネルHB信号2054を生成し得る。ミッドチャネルBWEパラメータ1950は、サブフレーム利得、フレーム利得、またはそれらの組合せを含み得る。
[0265]代替実装形態では、ミッドBWEデコーダ2002は、周波数領域帯域幅拡張デコーダ(またはモジュール)を含み得る。周波数領域帯域幅拡張デコーダ(たとえば、ミッドBWEデコーダ2002)は、ミッドチャネルHB信号2054を生成し得る。たとえば、周波数領域帯域幅拡張デコーダは、サブフレーム利得、サブバンド利得(ハイバンド周波数範囲のサブセット)、またはフレーム利得に基づいてミッドチャネルLB励起信号をスケーリングすることによって、ミッドチャネルHB信号2054を生成し得る。ミッドチャネルBWEパラメータ1950は、サブフレーム利得、サブバンド利得、フレーム利得、またはそれらの組合せを含み得る。いくつかの実装形態では、ミッドBWEデコーダ2002は、LPC統合フィルタ処理済みハイバンド励起をチャネル間BWE空間バランサ2010に追加の入力として与えるように構成される。ミッドチャネルHB信号2054はチャネル間BWE空間バランサ2010に与えられ得る。
[0266]チャネル間BWE空間バランサ2010は、ミッドチャネルHB信号2054に基づいておよびチャネル間BWEパラメータ1952に基づいて、第1のHB信号1923と第2のHB信号1925とを生成するように構成され得る。チャネル間BWEパラメータ1952は、調整利得パラメータのセット、ハイバンド基準チャネルインジケータ、調整スペクトル形状パラメータ、またはそれらの組合せを含み得る。特定の実装形態では、チャネル間BWE空間バランサ2010は、調整利得パラメータのセットが単一の調整利得パラメータを含むことと、調整スペクトル形状パラメータがチャネル間BWEパラメータ1952にないこととを決定したことに応答して、調整利得スケーリングされたミッドチャネルHB信号を生成するために、調整利得パラメータに基づいて、(復号された)ミッドチャネルHB信号2054をスケーリングし得る。チャネル間BWE空間バランサ2010は、ハイバンド基準チャネルインジケータに基づいて、調整利得スケーリングされたミッドチャネルHB信号が第1のHB信号1923として指示されるのか第2のHB信号1925として指示されるのかを決定し得る。たとえば、チャネル間BWE空間バランサ2010は、ハイバンド基準チャネルインジケータが第1の値を有すると決定したことに応答して、調整利得スケーリングされたミッドチャネルHB信号を第1のHB信号1923として出力し得る。別の例として、チャネル間BWE空間バランサ2010は、ハイバンド基準チャネルインジケータが第2の値を有すると決定したことに応答して、調整利得スケーリングされたミッドチャネルHB信号を第2のHB信号1925として出力し得る。チャネル間BWE空間バランサ2010は、ミッドチャネルHB信号2054をファクタ(たとえば、2−(調整利得パラメータ))によってスケーリングすることによって、第1のHB信号1923または第2のHB信号1925のうちの他方を生成し得る。
[0267]チャネル間BWE空間バランサ2010は、チャネル間BWEパラメータ1952が調整スペクトル形状パラメータを含むと決定したことに応答して、統合非基準信号(たとえば、LPC統合ハイバンド励起)を生成(またはミッドBWEデコーダ2002から受信)し得る。チャネル間BWE空間バランサ2010はスペクトル形状調整器モジュールを含み得る。スペクトル形状調整器モジュール(たとえば、チャネル間BWE空間バランサ2010)はスペクトル整形フィルタを含み得る。スペクトル整形フィルタは、統合非基準信号(たとえば、LPC統合ハイバンド励起)と調整スペクトル形状パラメータとに基づいて、スペクトル形状調整された信号を生成するように構成され得る。調整スペクトル形状パラメータは、スペクトル整形フィルタのパラメータまたは係数(たとえば、「u」)に対応し得、ここで、スペクトル整形フィルタは、関数(たとえば、H(z)=1/(1−uz-1))によって定義される。スペクトル整形フィルタは、スペクトル形状調整された信号を利得調整モジュールに出力し得る。チャネル間BWE空間バランサ2010は利得調整モジュールを含み得る。利得調整モジュールは、スペクトル形状調整された信号にスケーリングファクタを適用することによって、利得調整された信号を生成するように構成され得る。スケーリングファクタは調整利得パラメータに基づき得る。チャネル間BWE空間バランサ2010は、ハイバンド基準チャネルインジケータの値に基づいて、利得調整された信号が第1のHB信号1923として指示されるのか第2のHB信号1925として指示されるのかを決定し得る。たとえば、チャネル間BWE空間バランサ2010は、ハイバンド基準チャネルインジケータが第1の値を有すると決定したことに応答して、利得調整された信号を第1のHB信号1923として出力し得る。別の例として、チャネル間BWE空間バランサ2010は、ハイバンド基準チャネルインジケータが第2の値を有すると決定したことに応答して、利得調整された信号を第2のHB信号1925として出力し得る。チャネル間BWE空間バランサ2010は、ミッドチャネルHB信号2054をファクタ(たとえば、2−(調整利得パラメータ))によってスケーリングすることによって、第1のHB信号1923または第2のHB信号1925のうちの他方を生成し得る。第1のHB信号1923および第2のHB信号1925はシフタ2016に与えられ得る。
[0268]LBサイドコアデコーダ2006は、サイドチャネルパラメータ1956に基づいておよびコアパラメータ2056に基づいてサイドチャネルLB信号2050を生成するように構成され得る。サイドチャネルLB信号2050はLBアップミキサ2012に与えられ得る。ミッドチャネルLB信号2052およびサイドチャネルLB信号2050はコア周波数においてサンプリングされ得る。アップミックスパラメータデコーダ2008は、ステレオアップミックスパラメータ1958に基づいて、利得パラメータ160と、非因果的シフト値156と、基準信号インジケータ164とを再生成し得る。利得パラメータ160、非因果的シフト値156、および基準信号インジケータ164は、LBアップミキサ2012におよびシフタ2016に与えられ得る。
[0269]LBアップミキサ2012は、ミッドチャネルLB信号2052とサイドチャネルLB信号2050とに基づいて、第1のLB信号1922と第2のLB信号1924とを生成するように構成され得る。たとえば、LBアップミキサ2012は、第1のLB信号1922と第2のLB信号1924とを生成するために、利得パラメータ160、非因果的シフト値162、および基準信号インジケータ164のうちの1つまたは複数を信号2050、2052に適用し得る。他の実装形態では、デコーダ118は、図9の第1のシフト値962、図5の改正シフト値540、図5の補間シフト値538など、本明細書で説明される他のシフト値に基づいてシフトし得る。第1のLB信号1922および第2のLB信号1924はシフタ2016に与えられ得る。非因果的シフト値162もシフタ2016に与えられ得る。
[0270]シフタ2016は、第1のHB信号1923と、非因果的シフト値162と、利得パラメータ160と、非因果的シフト値162と、基準信号インジケータ164とに基づいて、シフトされた第1のHB信号1933を生成するように構成され得る。たとえば、シフタ2016は、シフトされた第1のHB信号1933を生成するために、第1のHB信号1923をシフトし得る。例示のために、シフタ2016は、第1のHB信号1921がターゲット信号に対応することを基準信号インジケータ164が示すと決定したことに応答して、シフトされた第1のHB信号1933を生成するために第1のHB信号1921をシフトし得る。シフトされた第1のHB信号1933はシンセサイザ2018に与えられ得る。シフタ2016は、第2のHB信号1925をもシンセサイザ2018に与え得る。
[0271]シフタ2016はまた、第1のLB信号1922と、非因果的シフト値162と、利得パラメータ160と、非因果的シフト値162と、基準信号インジケータ164とに基づいて、シフトされた第1のLB信号1932を生成するように構成され得る。他の実装形態では、デコーダ118は、図9の第1のシフト値962、図5の改正シフト値540、図5の補間シフト値538など、本明細書で説明される他のシフト値に基づいてシフトし得る。シフタ2016は、シフトされた第1のLB信号1932を生成するために、第1のLB信号1922をシフトし得る。例示のために、シフタ2016は、第1のLB信号1922がターゲット信号に対応することを基準信号インジケータ164が示すと決定したことに応答して、シフトされた第1のLB信号1932を生成するために第1のLB信号1922をシフトし得る。シフトされた第1のLB信号1932はシンセサイザ2018に与えられ得る。シフタ2016は、第2のLB信号1924をもシンセサイザ2018に与え得る。
[0272]シンセサイザ2018は、第1の出力信号126と第2の出力信号128とを生成するように構成され得る。たとえば、シンセサイザ2018は、第1の出力信号126を生成するために、シフトされた第1のLB信号1932とシフトされた第1のHB信号1933とをリサンプリングし、合成し得る。さらに、シンセサイザ2018は、第2の出力信号128を生成するために、第2のLB信号1924と第2のHB信号1925とをリサンプリングし、合成し得る。特定の態様では、第1の出力信号126は左出力信号に対応し得、第2の出力信号128は右出力信号に対応し得る。代替態様では、第1の出力信号126は右出力信号に対応し得、第2の出力信号128は左出力信号に対応し得る。
[0273]したがって、デコーダ118の第1の実装形態2000は、第1のHB信号1923および第2のHB信号1925の生成とは無関係に、第1のLB信号1922および第2のLB信号1924生成を可能にする。また、デコーダ118の第1の実装形態2000は、ハイバンドとローバンドとを個々にシフトし、次いで、シフトされた出力信号を形成するために、得られた信号を合成する。
[0274]図21を参照すると、シフトされた信号を生成するために、シフトを適用する前にローバンドとハイバンドとを合成する、デコーダ118の第2の実装形態2100が示されている。第2の実装形態2100によれば、デコーダ118は、ミッドBWEデコーダ2002と、LBミッドコアデコーダ2004と、LBサイドコアデコーダ2006と、アップミックスパラメータデコーダ2008と、チャネル間BWE空間バランサ2010と、LBリサンプラ2114と、ステレオアップミキサ2112と、コンバイナ2118と、シフタ2116とを含む。
[0275]ミッドチャネルBWEパラメータ1950はミッドBWEデコーダ2002に与えられ得る。ミッドチャネルBWEパラメータ1950は、ミッドチャネルHB LPCパラメータと利得パラメータのセットとを含み得る。ミッドチャネルパラメータ1954はLBミッドコアデコーダ2004に与えられ得、サイドチャネルパラメータ1956はLBサイドコアデコーダ2006に与えられ得る。ステレオアップミックスパラメータ1958はアップミックスパラメータデコーダ2008に与えられ得る。
[0276]LBミッドコアデコーダ2004は、ミッドチャネルパラメータ1954に基づいてコアパラメータ2056とミッドチャネルLB信号2052とを生成するように構成され得る。コアパラメータ2056はミッドチャネルLB励起信号を含み得る。コアパラメータ2056は、ミッドBWEデコーダ2002におよびLBサイドコアデコーダ2006に与えられ得る。ミッドチャネルLB信号2052はLBリサンプラ2114に与えられ得る。ミッドBWEデコーダ2002は、ミッドチャネルBWEパラメータ1950に基づいて、およびLBミッドコアデコーダ2004からのコアパラメータ2056に基づいて、ミッドチャネルHB信号2054を生成し得る。ミッドチャネルHB信号2054はチャネル間BWE空間バランサ2010に与えられ得る。
[0277]チャネル間BWE空間バランサ2010は、図20を参照しながら説明されたように、ミッドチャネルHB信号2054、チャネル間BWEパラメータ1952、非線形拡張された高調波LB励起、ミッドHB統合信号、またはそれらの組合せに基づいて、第1のHB信号1923と第2のHB信号1925とを生成するように構成され得る。チャネル間BWEパラメータ1952は、調整利得パラメータのセット、ハイバンド基準チャネルインジケータ、調整スペクトル形状パラメータ、またはそれらの組合せを含み得る。第1のHB信号1923および第2のHB信号1925はコンバイナ2118に与えられ得る。
[0278]LBサイドコアデコーダ2006は、サイドチャネルパラメータ1956に基づいておよびコアパラメータ2056に基づいてサイドチャネルLB信号2050を生成するように構成され得る。サイドチャネルLB信号2050はLBリサンプラ2114に与えられ得る。ミッドチャネルLB信号2052およびサイドチャネルLB信号2050はコア周波数においてサンプリングされ得る。アップミックスパラメータデコーダ2008は、ステレオアップミックスパラメータ1958に基づいて、利得パラメータ160と、非因果的シフト値162と、基準信号インジケータ164とを再生成し得る。利得パラメータ160、非因果的シフト値156、および基準信号インジケータ164は、ステレオアップミキサ2112におよびシフタ2116に与えられ得る。
[0279]LBリサンプラ2114は、拡張されたミッドチャネル信号2152を生成するために、ミッドチャネルLB信号2052をサンプリングするように構成され得る。拡張されたミッドチャネル信号2152はステレオアップミキサ2112に与えられ得る。LBリサンプラ2114はまた、拡張されたサイドチャネル信号2150を生成するために、サイドチャネルLB信号2050をサンプリングするように構成され得る。拡張されたサイドチャネル信号2150もステレオアップミキサ2112に与えられ得る。
[0280]ステレオアップミキサ2112は、拡張されたミッドチャネル信号2152と拡張されたサイドチャネル信号2150とに基づいて、第1のLB信号1922と第2のLB信号1924とを生成するように構成され得る。たとえば、ステレオアップミキサ2112は、第1のLB信号1922と第2のLB信号1924とを生成するために、利得パラメータ160、非因果的シフト値162、および基準信号インジケータ164のうちの1つまたは複数を信号2150、2152に適用し得る。第1のLB信号1922および第2のLB信号1924はコンバイナ2118に与えられ得る。
[0281]コンバイナ2118は、第1の信号1902を生成するために、第1のHB信号1923を第1のLB信号1922と合成するように構成され得る。コンバイナ2118はまた、第2の信号1904を生成するために、第2のHB信号1925を第2のLB信号1924と合成するように構成され得る。第1の信号1902および第2の信号1904はシフタ2116に与えられ得る。非因果的シフト値162もシフタ2116に与えられ得る。コンバイナ2118は、ハイバンド基準チャネルインジケータとチャネル間BWEパラメータ1952とに基づいて、第1のLB信号1922と合成されるべき第1のHB信号1923または第2のHB信号1925を選択し得る。同様に、コンバイナ2118は、ハイバンド基準チャネルインジケータとチャネル間BWEパラメータ1952とに基づいて、第2のLB信号1924と合成されるべき第1のHB信号1923または第2のHB信号1925のうちの他方を選択し得る。
[0282]シフタ2116はまた、それぞれ第1の信号1902および第2の信号1904に基づいて、第1の出力信号126および第2の出力信号128を生成するように構成され得る。たとえば、シフタ2116は、第1の出力信号126を生成するために、非因果的シフト値162によって第1の信号1902をシフトし得る。図21の第1の出力信号126は、図19のシフトされた第1の信号1912に対応し得る。シフタ2116はまた、第2の信号1904を第2の出力信号128として渡し得る(たとえば、図19の第2の信号1904)。いくつかのインプリメネーションでは、シフタ2116は、基準信号インジケータ164、最終シフト値216の符号、または最終シフト値116の符号に基づいて、チャネルのうちの1つのエンコーダ側非因果的シフトを補償するために第1の信号1902をシフトすべきなのか第2の第2の1904をシフトすべきなのかを決定し得る。
[0283]したがって、デコーダ118の第2の実装形態2100は、シフトされた信号(たとえば、第1の出力信号126)を生成するシフトを実施するより前にローバンド信号とハイバンド信号とを合成し得る。
[0284]図22を参照すると、デコーダ118の第3の実装形態2200が示されている。第3の実装形態2200によれば、デコーダ118は、ミッドBWEデコーダ2002と、LBミッドコアデコーダ2004と、サイドパラメータマッパ2220と、アップミックスパラメータデコーダ2008と、チャネル間BWE空間バランサ2010と、LBリサンプラ2214と、ステレオアップミキサ2212と、コンバイナ2118と、シフタ2116とを含む。
[0285]ミッドチャネルBWEパラメータ1950はミッドBWEデコーダ2002に与えられ得る。ミッドチャネルBWEパラメータ1950は、ミッドチャネルHB LPCパラメータと利得パラメータのセット(たとえば、利得形状パラメータ、利得フレームパラメータ、混合ファクタなど)とを含み得る。ミッドチャネルパラメータ1954はLBミッドコアデコーダ2004に与えられ得、サイドチャネルパラメータ1956はサイドパラメータマッパ2220に与えられ得る。ステレオアップミックスパラメータ1958はアップミックスパラメータデコーダ2008に与えられ得る。
[0286]LBミッドコアデコーダ2004は、ミッドチャネルパラメータ1954に基づいてコアパラメータ2056とミッドチャネルLB信号2052とを生成するように構成され得る。コアパラメータ2056は、ミッドチャネルLB励起信号、LB有声化ファクタ、またはその両方を含み得る。コアパラメータ2056はミッドBWEデコーダ2002に与えられ得る。ミッドチャネルLB信号2052はLBリサンプラ2214に与えられ得る。ミッドBWEデコーダ2002は、ミッドチャネルBWEパラメータ1950に基づいて、およびLBミッドコアデコーダ2004からのコアパラメータ2056に基づいて、ミッドチャネルHB信号2054を生成し得る。ミッドBWEデコーダ2002は、中間信号として非線形拡張された高調波LB励起をも生成し得る。ミッドBWEデコーダ2002は、ミッドHB統合信号を生成するために、合成された非線形高調波LB励起と整形された白色雑音とのハイバンドLP統合を実施し得る。ミッドBWEデコーダ2002は、ミッドHB統合信号に、利得形状パラメータ、利得フレームパラメータ、またはそれらの組合せを適用することによってミッドチャネルHB信号2054を生成し得る。ミッドチャネルHB信号2054はチャネル間BWE空間バランサ2010に与えられ得る。非線形拡張された高調波LB励起(たとえば、中間信号)、ミッドHB統合信号、またはその両方もチャネル間BWE空間バランサ2010に与えられ得る。
[0287]チャネル間BWE空間バランサ2010は、図20を参照しながら説明されたように、ミッドチャネルHB信号2054、チャネル間BWEパラメータ1952、非線形拡張された高調波LB励起、ミッドHB統合信号、またはそれらの組合せに基づいて、第1のHB信号1923と第2のHB信号1925とを生成するように構成され得る。チャネル間BWEパラメータ1952は、調整利得パラメータのセット、ハイバンド基準チャネルインジケータ、調整スペクトル形状パラメータ、またはそれらの組合せを含み得る。第1のHB信号1923および第2のHB信号1925はコンバイナ2118に与えられ得る。
[0288]LBリサンプラ2214は、拡張されたミッドチャネル信号2252を生成するために、ミッドチャネルLB信号2052をサンプリングするように構成され得る。拡張されたミッドチャネル信号2252はステレオアップミキサ2212に与えられ得る。サイドパラメータマッパ2220は、サイドチャネルパラメータ1956に基づいてパラメータ2256を生成するように構成され得る。パラメータ2256はステレオアップミキサ2212に与えられ得る。ステレオアップミキサ2212は、第1のLB信号1922と第2のLB信号1924とを生成するために、拡張されたミッドチャネル信号2252にパラメータ2256を適用し得る。第1のLB信号1922および第2のLB信号1924はコンバイナ2118に与えられ得る。コンバイナ2118およびシフタ2116は、図21に関して説明されたのと実質的に同様の様式で動作し得る。
[0289]デコーダ118の第3の実装形態2200は、シフトされた信号(たとえば、第1の出力信号126)を生成するシフトを実施するより前にローバンド信号とハイバンド信号とを合成し得る。さらに、サイドチャネルLB信号2050の生成は、第2の実装形態2100と比較して信号処理の量を低減するために、第3の実装形態2200ではバイパスされ得る。
[0290]図23を参照すると、デコーダ118の第4の実装形態2300が示されている。第4の実装形態2300によれば、デコーダ118は、ミッドBWEデコーダ2002と、LBミッドコアデコーダ2004と、サイドパラメータマッパ2220と、アップミックスパラメータデコーダ2008と、ミッドサイド生成器2310と、ステレオアップミキサ2312と、LBリサンプラ2214と、ステレオアップミキサ2212と、コンバイナ2118と、シフタ2116とを含む。
[0291]ミッドチャネルBWEパラメータ1950はミッドBWEデコーダ2002に与えられ得る。ミッドチャネルBWEパラメータ1950は、ミッドチャネルHB LPCパラメータと利得パラメータのセットとを含み得る。ミッドチャネルパラメータ1954はLBミッドコアデコーダ2004に与えられ得、サイドチャネルパラメータ1956はサイドパラメータマッパ2220に与えられ得る。ステレオアップミックスパラメータ1958はアップミックスパラメータデコーダ2008に与えられ得る。
[0292]LBミッドコアデコーダ2004は、ミッドチャネルパラメータ1954に基づいてコアパラメータ2056とミッドチャネルLB信号2052とを生成するように構成され得る。コアパラメータ2056はミッドチャネルLB励起信号を含み得る。コアパラメータ2056はミッドBWEデコーダ2002に与えられ得る。ミッドチャネルLB信号2052はLBリサンプラ2214に与えられ得る。ミッドBWEデコーダ2002は、ミッドチャネルBWEパラメータ1950に基づいて、およびLBミッドコアデコーダ2004からのコアパラメータ2056に基づいて、ミッドチャネルHB信号2054を生成し得る。ミッドチャネルHB信号2054はミッドサイド生成器2310に与えられ得る。
[0293]ミッドサイド生成器2310は、ミッドチャネルHB信号2054とチャネル間BWEパラメータ1952とに基づいて、調整されたミッドチャネル信号2354とサイドチャネル信号2350とを生成するように構成され得る。調整されたミッドチャネル信号2354およびサイドチャネル信号2350はステレオアップミキサ2312に与えられ得る。ステレオアップミキサ2312は、調整されたミッドチャネル信号2354とサイドチャネル信号2350とに基づいて、第1のHB信号1923と第2のHB信号1925とを生成し得る。第1のHB信号1923および第2のHB信号1925はコンバイナ2118に与えられ得る。
[0294]サイドパラメータマッパ2220、アップミックスパラメータデコーダ2008、LBリサンプラ2214、ステレオアップミキサ2212、コンバイナ2118、およびシフタ2116は、図20〜図22に関して説明されたのと実質的に同様の様式で動作し得る。
[0295]デコーダ118の第4の実装形態2300は、シフトされた信号(たとえば、第1の出力信号126)を生成するシフトを実施するより前にローバンド信号とハイバンド信号とを合成し得る。
[0296]図24を参照すると、通信の方法2400のフローチャートが示されている。方法2400は、図1および図19の第2のデバイス106によって実施され得る。
[0297]方法2400は、2402において、デバイスにおいて、少なくとも1つの符号化された信号を受信することを含む。たとえば、図19を参照すると、受信機1911は、第1のデバイス104から符号化された信号102を受信し得、符号化された信号をデコーダ118に与え得る。
[0298]方法2400は、2404において、デバイスにおいて、少なくとも1つの符号化された信号に基づいて第1の信号と第2の信号とを生成することをも含む。たとえば、図19を参照すると、デコーダ118は、符号化された信号102に基づいて第1の信号1902と第2の信号1904とを生成し得る。例示のために、図20では、第1の信号は第1のHB信号1923に対応し得、第2の信号は第2のHB信号1925に対応し得る。代替的に、図19では、第1の信号は第1のLB信号1922に対応し得、第2の信号は第2のLB信号1924に対応し得る。別の例として、図20〜図23では、第1の信号および第2の信号は、それぞれ第1の信号1902および第2の信号1904に対応し得る。
[0299]方法2400は、2406において、デバイスにおいて、第1の信号の第1のサンプルを、第2の信号の第2のサンプルに対して、シフト値に基づく量だけ時間シフトすることによって、シフトされた第1の信号を生成することをも含む。たとえば、図19を参照すると、デコーダ118は、シフトされた第1の信号1912を生成するために、第1の信号1902の第1のサンプルを、第2の信号1904の第2のサンプルに対して、非因果的シフト値162に基づく量だけ時間シフトし得る。図20では、シフタ2016は、シフトされた第1のHB信号1933を生成するために、第1のHB信号1923をシフトし得る。さらに、シフタ2016は、シフトされた第1のLB信号1932を生成するために、第1のLB信号1922をシフトし得る。図21〜図23では、シフタ2116は、シフトされた第1の信号1912(たとえば、第1の出力信号126)を生成するために、第1の信号1902をシフトし得る。
[0300]方法2400は、2408において、デバイスにおいて、シフトされた第1の信号に基づいて第1の出力信号を生成することをも含む。第1の出力信号は第1のスピーカーに与えられ得る。たとえば、図19を参照すると、デコーダ118は、シフトされた第1の信号1912に基づいて第1の出力信号126を生成し得る。図20では、シンセサイザ2018は第1の出力信号126を生成する。図21〜図23では、シフトされた第1の信号1912は第1の出力信号126であり得る。
[0301]方法2400は、2410において、デバイスにおいて、第2の信号に基づいて第2の出力信号を生成することをも含む。第2の出力信号は第2のスピーカーに与えられ得る。たとえば、図19を参照すると、デコーダ118は、第2の信号1904に基づいて第2の出力信号128を生成し得る。図20では、シンセサイザ2018は第2の出力信号128を生成する。図21〜図23では、第2の信号1904は第2の出力信号128であり得る。
[0302]一実装形態によれば、方法2400は、少なくとも1つの符号化された信号102に基づいて複数のローバンド信号1922、1924を生成することを含み得る。方法2400は、複数のローバンド信号1922、1924とは無関係に、少なくとも1つの符号化された信号102に基づいて複数のハイバンド信号1923、1925を生成することをも含み得る。複数のハイバンド信号1923、1925は、第1の信号1902と第2の信号1904とを含み得る。方法2400は、複数のローバンド信号1922、1924のうちの第1のローバンド信号1922と複数のハイバンド信号1923、1925のうちの第1のハイバンド信号1923とを合成することによって第1の信号1902を生成することをも含み得る。方法2400は、複数のローバンド信号1922、1924のうちの第2のローバンド信号1924と複数のハイバンド信号1923、1925のうちの第2のハイバンド信号1925とを合成することによって第2の信号1904を生成することをも含み得る。第1の出力信号126はシフトされた第1の信号1912に対応し得、第2の出力信号128は第2の信号1904に対応し得る。
[0303]一実装形態によれば、複数のローバンド信号は第1の信号1902と第2の信号1904とを含み得、方法2400は、複数のハイバンド信号のうちの第1のハイバンド信号1923を、複数のハイバンド信号のうちの第2のハイバンド信号1925に対して、非因果的シフト値162に基づく量だけ時間シフトすることによって、シフトされた第1のハイバンド信号1933を生成することをも含み得る。方法2400は、図20に関して説明されたように、シフトされた第1の信号1912(たとえば、シフトされた第1のLB信号1932)とシフトされた第1のハイバンド信号1933とを合成することによって第1の出力信号126を生成することをも含み得る。方法2400は、第2の信号1904(たとえば、第2のLB信号1924)と第2のハイバンド信号1925とを合成することによって第2の出力信号128を生成することをも含み得る。
[0304]いくつかの実装形態では、方法2400は、少なくとも1つの符号化された信号102に基づいて、第1のローバンド信号1922と、第1のハイバンド信号1923と、第2のローバンド信号1924と、第2のハイバンド信号1925とを生成することを含み得る。第1の信号1902は、第1のローバンド信号1922、第1のハイバンド信号1923、またはその両方に基づき得る。第2の信号1904は、第2のローバンド信号1924、第2のハイバンド信号1925、またはその両方に基づき得る。例示のために、方法2400は、少なくとも1つの符号化された信号に基づいてミッドローバンド信号(たとえば、ミッドチャネルLB信号2052)を生成することと、少なくとも1つの符号化された信号に基づいてサイドローバンド信号(たとえば、サイドチャネルLB信号2050)を生成することとを含み得る。第1のローバンド信号(たとえば、第1のLB信号1922)および第2のローバンド信号(たとえば、第2のLB信号1924)は、ミッドローバンド信号とサイドローバンド信号とに基づき得る。第1のローバンド信号および第2のローバンド信号は、利得パラメータ(たとえば、利得パラメータ160)にさらに基づき得る。第1のローバンド信号および第2のローバンド信号は、第1のハイバンド信号および第2のハイバンド信号とは無関係に生成され得る(たとえば、ローバンド処理経路中の構成要素2012、2114、2112、2214、2212は、ハイバンド処理経路中の構成要素2010とは無関係である)。
[0305]一実装形態によれば、方法2400は、少なくとも1つの符号化された信号に基づいてミッドローバンド信号を生成することを含み得る。方法2400は、1つまたは複数のBWEパラメータを受信することと、1つまたは複数のBWEパラメータに基づいてミッドローバンド信号に対して帯域幅拡張を実施することによってミッド信号を生成することとをも含み得る。本方法は、1つまたは複数のチャネル間BWEパラメータを受信することと、ミッド信号と1つまたは複数のチャネル間BWEパラメータとに基づいて、第1のハイバンド信号と第2のハイバンド信号とを生成することとをも含み得る。
[0306]一実装形態によれば、方法2400は、少なくとも1つの符号化された信号に基づいてミッドローバンド信号を生成することをも含み得る。第1の信号および第2の信号は、ミッド信号と1つまたは複数のサイドパラメータとに基づき得る。
[0307]図24の方法2400は、チャネル間BWEパラメータ1952と、ターゲットチャネルシフト、一連のアップミックス技法、およびシフト補償技法との統合を可能にし得る。
[0308]図25を参照すると、通信の方法2500のフローチャートが示されている。方法2500は、図1および図19の第2のデバイス106によって実施され得る。
[0309]方法2500は、2502において、デバイスにおいて、少なくとも1つの符号化された信号を受信することを含む。たとえば、図19を参照すると、受信機1911は、ネットワーク120を介して第1のデバイス104から符号化された信号102を受信し得る。
[0310]方法2500は、2504において、デバイスにおいて、少なくとも1つの符号化された信号に基づいて複数のハイバンド信号を生成することをも含む。たとえば、図19を参照すると、デコーダ118は、符号化された信号102に基づいて複数のハイバンド信号1923、1925を生成し得る。
[0311]方法2500は、2506において、複数のハイバンド信号とは無関係に、少なくとも1つの符号化された信号に基づいて複数のローバンド信号を生成することをも含む。たとえば、図19を参照すると、デコーダ118は、符号化された信号102に基づいて複数のローバンド信号1922、1924を生成し得る。複数のローバンド信号1922、1924は、複数のハイバンド信号1923、1925とは無関係に生成され得る。たとえば、図20では、チャネル間BWE空間バランサ2010は、LBアップミキサ2012の出力とは無関係に動作する。同様に、LBアップミキサ2012は、チャネル間BWE空間バランサ2010の出力とは無関係に動作する。図21では、チャネル間BWE空間バランサ2010は、LBリサンプラ2114の出力とは無関係に、およびステレオアップミキサ2112の出力とは無関係に動作し、LBリサンプラ2114およびステレオアップミキサ2112は、チャネル間BWE空間バランサ2010の出力とは無関係に動作する。さらに、図22では、チャネル間BWE空間バランサ2010は、LBリサンプラ2214の出力とは無関係に、およびステレオアップミキサ2212の出力とは無関係に動作し、LBリサンプラ2214およびステレオアップミキサ2212は、チャネル間BWE空間バランサ2010の出力とは無関係に動作する。
[0312]一実装形態によれば、方法2500は、少なくとも1つの符号化された信号に基づいてミッドローバンド信号とサイドローバンド信号とを生成することを含み得る。複数のローバンド信号は、ミッドローバンド信号と、サイドローバンド信号と、利得パラメータとに基づき得る。
[0313]一実装形態によれば、方法2500は、複数のローバンド信号のうちの第1のローバンド信号、複数のハイバンド信号のうちの第1のハイバンド信号、またはその両方に基づいて、第1の信号を生成することを含み得る。方法2500は、複数のローバンド信号のうちの第2のローバンド信号、複数のハイバンド信号のうちの第2のハイバンド信号、またはその両方に基づいて、第2の信号を生成することをも含み得る。方法2500は、第1の信号の第1のサンプルを、第2の信号の第2のサンプルに対して、シフト値に基づく量だけ時間シフトすることによって、シフトされた第1の信号を生成することをさらに含み得る。方法2500は、シフトされた第1の信号に基づいて第1の出力信号を生成することと、第2の信号に基づいて第2の出力信号を生成することとをも含み得る。
[0314]一実装形態によれば、方法2500は、シフト値を受信することと、複数のローバンド信号のうちの第1のローバンド信号と複数のハイバンド信号のうちの第1のハイバンド信号とを合成することによって第1の信号を生成することを含み得る。方法2500は、複数のローバンド信号のうちの第2のローバンド信号と複数のハイバンド信号のうちの第2のハイバンド信号とを合成することによって第2の信号を生成することをも含み得る。方法2500は、第1の信号の第1のサンプルを、第2の信号の第2のサンプルに対して、シフト値に基づく量だけ時間シフトすることによって、シフトされた第1の信号を生成することをも含み得る。方法2500は、シフトされた第1の信号を第1のスピーカーに与えることと、第2の信号を第2のスピーカーに与えることとをも含み得る。
[0315]一実装形態によれば、方法2500は、シフト値を受信することと、複数のローバンド信号のうちの第1のローバンド信号を、複数のローバンド信号のうちの第2のローバンド信号に対して、シフト値に基づく量だけ時間シフトすることによって、シフトされた第1のローバンド信号を生成することとを含み得る。方法2500は、複数のハイバンド信号のうちの第1のハイバンド信号を、複数のハイバンド信号のうちの第2のハイバンド信号に対して時間シフトすることによって、シフトされた第1のハイバンド信号を生成することをも含み得る。方法2500は、シフトされた第1のローバンド信号とシフトされた第1のハイバンド信号とを合成することによって、シフトされた第1の信号を生成することをも含み得る。方法2500は、第2のローバンド信号と第2のハイバンド信号とを合成することによって第2の信号を生成することをさらに含み得る。方法2500は、シフトされた第1の信号を第1のラウドスピーカーに与えることと、第2の信号を第2のラウドスピーカーに与えることとをも含み得る。
[0316]図26を参照すると、通信の方法2600のフローチャートが示されている。方法2600は、図1および図19の第2のデバイス106によって実施され得る。
[0317]方法2600は、2602において、デバイスにおいて、1つまたは複数のチャネル間帯域幅拡張(BWE)パラメータを含む少なくとも1つの符号化された信号を受信することを含む。たとえば、図19を参照すると、受信機1911は、ネットワーク120を介して第1のデバイス104から符号化された信号102を受信し得る。符号化された信号102はチャネル間BWEパラメータ1952を含み得る。
[0318]方法2600は、2604において、デバイスにおいて、少なくとも1つの符号化された信号に基づいて帯域幅拡張を実施することによってミッドチャネル時間領域ハイバンド信号を生成することをも含む。たとえば、図20を参照すると、デコーダ118は、符号化された信号102に基づいて帯域幅拡張を実施することによってミッドチャネルHB信号2054を生成し得る。例示のために、符号化された信号102は、ミッドチャネルパラメータ1954、ミッドチャネルBWEパラメータ1950、またはそれらの組合せを含み得る。LBミッドコアデコーダ2004は、ミッドチャネルパラメータ1954に基づいてコアパラメータ2056を生成し得る。図20のミッドBWEデコーダ2002は、図20を参照しながら説明されたように、ミッドチャネルBWEパラメータ1950、コアパラメータ2056、またはそれらの組合せに基づいてミッドチャネルHB信号2054を生成し得る。方法2600に関して、ミッドチャネルHB信号2054は「ミッドチャネル時間領域ハイバンド信号」と呼ばれることもある。
[0319]方法2600は、2606において、ミッドチャネル時間領域ハイバンド信号と1つまたは複数のチャネル間BWEパラメータとに基づいて、第1のチャネル時間領域ハイバンド信号と第2のチャネル時間領域ハイバンド信号とを生成することをさらに含む。たとえば、図19を参照すると、デコーダ118は、図20を参照しながら説明されたように、ミッドチャネルHB信号2054、ミッドチャネルBWEパラメータ1950、非線形拡張された高調波LB励起、ミッドHB統合信号、またはそれらの組合せに基づいて、第1のHB信号1923と第2のHB信号1925とを生成し得る。方法2600に関して、第1のHB信号1923は「第1のチャネル時間領域ハイバンド信号」と呼ばれることもあり、第2のHB信号1925は「第2のチャネル時間領域ハイバンド信号」と呼ばれることもある。
[0320]方法2600は、2608において、デバイスにおいて、第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とを合成することによってターゲットチャネル信号を生成することをも含む。たとえば、図21を参照すると、デコーダ118は、第1のHB信号1923と第1のLB信号1922とを合成することによって第1の信号1902を生成し得る。方法2600に関して、第1の信号1902は「ターゲットチャネル信号」と呼ばれることもあり、第1のLB信号1922は「第1のチャネルローバンド信号」と呼ばれることもある。
[0321]方法2600は、2610において、デバイスにおいて、第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とを合成することによって基準チャネル信号を生成することをさらに含む。たとえば、図21を参照すると、デコーダ118は、第2のHB信号1925と第2のLB信号1924とを合成することによって第2の信号1904を生成し得る。方法2600に関して、第2の信号1904は「基準チャネル信号」と呼ばれることもあり、第2のLB信号1924は「第2のチャネルローバンド信号」と呼ばれることもある。
[0322]方法2600は、2612において、デバイスにおいて、時間的ずれ値に基づいてターゲットチャネル信号を変更することによって、変更されたターゲットチャネル信号を生成することをも含む。たとえば、図21を参照すると、デコーダ118は、非因果的シフト値162に基づいて第1の信号1902を変更することによって、シフトされた第1の信号1912を生成し得る。方法2600に関して、シフトされた第1の信号1912は「変更されたターゲットチャネル信号」と呼ばれることもあり、非因果的シフト値162は「時間的ずれ値」と呼ばれることもある。
[0323]一実装形態によれば、方法2600は、デバイスにおいて、少なくとも1つの符号化された信号に基づいてミッドチャネルローバンド信号とサイドチャネルローバンド信号とを生成することを含み得る。第1のチャネルローバンド信号および第2のチャネルローバンド信号は、ミッドチャネルローバンド信号と、サイドチャネルローバンド信号と、利得パラメータとに基づき得る。方法2600に関して、ミッドチャネルLB信号2052は「ミッドチャネルローバンド信号」と呼ばれることもあり、サイドチャネルLB信号2050は「サイドチャネルローバンド信号」と呼ばれることもある。
[0324]一実装形態によれば、方法2600は、変更されたターゲットチャネル信号に基づいて第1の出力信号を生成することを含み得る。方法2600は、基準チャネル信号に基づいて第2の出力信号を生成することをも含み得る。方法2600は、第1の出力信号を第1のスピーカーに与えることと、第2の出力信号を第2のスピーカーに与えることとをさらに含み得る。
[0325]一実装形態によれば、方法2600は、デバイスにおいて時間的ずれ値を受信することを含み得る。変更されたターゲットチャネル信号は、ターゲットチャネル信号の第1のサンプルを、基準チャネル信号の第2のサンプルに対して、時間的ずれ値に基づく量だけ時間的にシフトすることによって生成され得る。いくつかの実装形態では、時間的シフトは、ターゲットチャネル信号が基準チャネル信号に対して時間的にそれだけ「前方に引(pull forward)かれる」「因果的シフト」に対応する。
[0326]一実装形態によれば、方法2600は、1つまたは複数のサイドパラメータに基づいて、1つまたは複数のマッピングされたパラメータを生成することを含み得る。少なくとも1つの符号化された信号は、1つまたは複数のサイドパラメータを含み得る。方法2600は、ミッドチャネルローバンド信号に1つまたは複数のサイドパラメータを適用することによって、第1のチャネルローバンド信号と第2のチャネルローバンド信号とを生成することをも含み得る。方法2600に関して、図22のパラメータ2256は「マッピングされたパラメータ」と呼ばれることもある。
[0327]図19〜図26に関して説明された技法は、マルチチャネルデコーダ中のアップミックスフレームワークが、非因果的シフトを用いてオーディオ信号を復号することを可能にし得る。本技法によれば、ミッドチャネルが復号される。たとえば、ローバンドミッドチャネルは、ACELPコアのために復号され得、ハイバンドミッドチャネルは、ハイバンドミッドBWEを使用して復号され得る。TCXフルバンドは、(IGFパラメータまたは他のBWEパラメータとともに)MDCTフレームのために復号され得る。傾きと、利得と、ILDと、基準チャネルインジケータとに基づいて、第1および第2のチャネルのためのハイバンドを生成するために、ハイバンドBWE信号にチャネル間空間バランサが適用され得る。ACELPフレームの場合、LPコア信号が、周波数領域または変換領域(たとえば、DFT)リサンプリングを使用してアップサンプリングされ得る。コアミッド信号に対してDFT領域中でサイドチャネルパラメータが適用され得、アップミックスが実施され、その後にIDFTおよびウィンドウ処理が続き得る。第1および第2のローバンドチャネルが、出力サンプリング周波数において時間領域中で生成され得る。フルバンドチャネルを生成するために、時間領域中で、第1および第2のハイバンドチャネルが、それぞれ第1および第2のローバンドチャネルに付加され得る。TCXフレームまたはMDCTフレームの場合、第1および第2のチャネル出力を生成するために、フルバンドにサイドパラメータが適用され得る。チャネル間の時間的整合を引き起こすために、ターゲットチャネルに対して逆非因果的シフトが適用され得る。
[0328]図27を参照すると、デバイス(たとえば、ワイヤレス通信デバイス)の特定の例示的な例のブロック図が示されており、全体的に2700と称される。様々な実装形態では、デバイス2700は、図27に示されているものよりも少ないまたは多い構成要素を有し得る。例示的な実装形態では、デバイス2700は、図1の第1のデバイス104または第2のデバイス106に対応し得る。例示的な実装形態では、デバイス2700は、図1〜図26のシステムおよび方法を参照しながら説明された1つまたは複数の動作を実施し得る。
[0329]特定の実装形態では、デバイス2700はプロセッサ2706(たとえば、中央処理ユニット(CPU))を含む。デバイス2700は、1つまたは複数の追加のプロセッサ2710(たとえば、1つまたは複数のデジタル信号プロセッサ(DSP))を含み得る。プロセッサ2710は、メディア(たとえば、音声および音楽)コーダデコーダ(コーデック)2708と、エコーキャンセラ2712とを含み得る。メディアコーデック2708は、図1の、図1、図19、図20、図21、図22、または図23に関して説明されたようなデコーダ118、エンコーダ114、またはその両方を含み得る。
[0330]デバイス2700は、メモリ2753とコーデック2734とを含み得る。メディアコーデック2708はプロセッサ2710の構成要素(たとえば、専用回路および/または実行可能プログラミングコード)として示されているが、他の実装形態では、デコーダ118、エンコーダ114、またはその両方など、メディアコーデック2708の1つまたは複数の構成要素は、プロセッサ2706、コーデック2734、別の処理構成要素、またはそれらの組合せ中に含まれ得る。
[0331]デバイス2700は、アンテナ2742に結合されたトランシーバ2711を含み得る。デバイス2700は、ディスプレイコントローラ2726に結合されたディスプレイ2728を含み得る。1つまたは複数のスピーカー2748がコーデック2734に結合され得る。1つまたは複数のマイクロフォン2746が、(1つまたは複数の)入力インターフェース112を介してコーデック2734に結合され得る。特定の態様では、スピーカー2748は、図1の第1のラウドスピーカー142、第2のラウドスピーカー144、図2の第Yのラウドスピーカー244、またはそれらの組合せを含み得る。特定の実装形態では、マイクロフォン2746は、図1の第1のマイクロフォン146、第2のマイクロフォン148、図2の第Nのマイクロフォン248、図11の第3のマイクロフォン1146、第4のマイクロフォン1148、またはそれらの組合せを含み得る。コーデック2734は、デジタルアナログ変換器(DAC)2702とアナログデジタル変換器(ADC)2704とを含み得る。
[0332]メモリ2753は、図1〜図26を参照しながら説明された1つまたは複数の動作を実施するために、プロセッサ2706、プロセッサ2710、コーデック2734、デバイス2700の別の処理ユニット、またはそれらの組合せによって実行可能な命令2760を含み得る。メモリ2753は分析データ190、1990を記憶し得る。
[0333]デバイス2700の1つまたは複数の構成要素は、専用ハードウェア(たとえば、回路)を介して、1つまたは複数のタスクを実施するための命令を実行するプロセッサによって、またはそれらの組合せによって、実装され得る。一例として、メモリ2753あるいはプロセッサ2706、プロセッサ2710、および/またはコーデック2734の1つまたは複数の構成要素は、ランダムアクセスメモリ(RAM)、磁気抵抗ランダムアクセスメモリ(MRAM)、スピントルクトランスファーMRAM(STT−MRAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM(登録商標))、レジスタ、ハードディスク、リムーバブルディスク、またはコンパクトディスク読取り専用メモリ(CD−ROM)などのメモリデバイスであり得る。メモリデバイスは、コンピュータ(たとえば、コーデック2734中のプロセッサ、プロセッサ2706、および/またはプロセッサ2710)によって実行されたとき、コンピュータに、図1〜図26を参照しながら説明された1つまたは複数の動作を実施させ得る命令(たとえば、命令2760)を含み得る。一例として、メモリ2753あるいはプロセッサ2706、プロセッサ2710、および/またはコーデック2734の1つまたは複数の構成要素は、コンピュータ(たとえば、コーデック2734中のプロセッサ、プロセッサ2706、および/またはプロセッサ2710)によって実行されたとき、コンピュータに、図1〜図26を参照しながら説明された1つまたは複数の動作を実施させる命令(たとえば、命令2760)を含む非一時的コンピュータ可読媒体であり得る。
[0334]特定の実装形態では、デバイス2700は、システムインパッケージまたはシステムオンチップデバイス(たとえば、移動局モデム(MSM))2722中に含まれ得る。特定の実装形態では、プロセッサ2706、プロセッサ2710、ディスプレイコントローラ2726、メモリ2753、コーデック2734、およびトランシーバ2711は、システムインパッケージまたはシステムオンチップデバイス2722中に含まれる。特定の実装形態では、タッチスクリーンおよび/またはキーパッドなどの入力デバイス2730、ならびに電源2744は、システムオンチップデバイス2722に結合される。その上、特定の実装形態では、図27に示されているように、ディスプレイ2728、入力デバイス2730、スピーカー2748、マイクロフォン2746、アンテナ2742、および電源2744は、システムオンチップデバイス2722の外部にある。ただし、ディスプレイ2728、入力デバイス2730、スピーカー2748、マイクロフォン2746、アンテナ2742、および電源2744の各々は、インターフェースまたはコントローラなど、システムオンチップデバイス2722の構成要素に結合され得る。
[0335]デバイス2700は、ワイヤレス電話、モバイル通信デバイス、モバイルフォン、スマートフォン、セルラーフォン、ラップトップコンピュータ、デスクトップコンピュータ、コンピュータ、タブレットコンピュータ、セットトップボックス、携帯情報端末(PDA)、ディスプレイデバイス、テレビジョン、ゲーミングコンソール、音楽プレーヤ、無線機、ビデオプレーヤ、エンターテインメントユニット、通信デバイス、固定ロケーションデータユニット、パーソナルメディアプレーヤ、デジタルビデオプレーヤ、デジタルビデオディスク(DVD)プレーヤ、チューナー、カメラ、ナビゲーションデバイス、デコーダシステム、エンコーダシステム、基地局、車両、またはそれらの任意の組合せを含み得る。
[0336]特定の実装形態では、本明細書で説明されたシステムおよびデバイス2700の1つまたは複数の構成要素は、復号システムまたは装置(たとえば、その中の電子デバイス、コーデック、またはプロセッサ)に、符号化システムまたは装置に、あるいはその両方に組み込まれ得る。他の実装形態では、本明細書で説明されたシステムおよびデバイス2700の1つまたは複数の構成要素は、ワイヤレス通信デバイス(たとえば、ワイヤレス電話)、タブレットコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、セットトップボックス、音楽プレーヤ、ビデオプレーヤ、エンターテインメントユニット、テレビジョン、ゲームコンソール、ナビゲーションデバイス、通信デバイス、携帯情報端末(PDA)、固定ロケーションデータユニット、パーソナルメディアプレーヤ、基地局、車両、または別のタイプのデバイスに組み込まれ得る。
[0337]本明細書で説明されたシステムおよびデバイス2700の1つまたは複数の構成要素によって実施される様々な機能が、いくつかの構成要素またはモジュールによって実施されるものとして説明されることに留意されたい。構成要素およびモジュールのこの分割は説明のためのものにすぎない。代替実装形態では、特定の構成要素またはモジュールによって実施される機能が、複数の構成要素またはモジュールの間で分割され得る。その上、代替実装形態では、本明細書で説明されたシステムの2つまたはそれ以上の構成要素またはモジュールが、単一の構成要素またはモジュールに組み込まれ得る。本明細書で説明されたシステムに示されている各構成要素またはモジュールは、ハードウェア(たとえば、フィールドプログラマブルゲートアレイ(FPGA)デバイス、特定用途向け集積回路(ASIC)、DSP、コントローラなど)、ソフトウェア(たとえば、プロセッサによって実行可能な命令)、またはそれらの任意の組合せを使用して実装され得る。
[0338]説明された実装形態とともに、装置は、1つまたは複数のチャネル間帯域幅拡張(BWE)パラメータを含む少なくとも1つの符号化された信号を受信するための手段を含む。たとえば、受信するための手段は、図1の第2のデバイス106、図19の受信機1911、図27のトランシーバ2711、少なくとも1つの符号化された信号を受信するように構成された1つまたは複数の他のデバイス、またはそれらの組合せを含み得る。
[0339]本装置は、少なくとも1つの符号化された信号に基づいて帯域幅拡張を実施することによってミッドチャネル時間領域ハイバンド信号を生成するための手段をも含む。たとえば、ミッドチャネル時間領域ハイバンド信号を生成するための手段は、図1の第2のデバイス106、デコーダ118、時間バランサ124、図20のミッドBWEデコーダ2002、図27の音声および音楽コーデック2708、プロセッサ2710、コーデック2734、プロセッサ2706、少なくとも1つの符号化された信号を受信するように構成された1つまたは複数の他のデバイス、またはそれらの組合せを含み得る。
[0340]本装置は、ミッドチャネル時間領域ハイバンド信号と1つまたは複数のチャネル間BWEパラメータとに基づいて、第1のチャネル時間領域ハイバンド信号と第2のチャネル時間領域ハイバンド信号とを生成するための手段をさらに含む。たとえば、第1のチャネル時間領域ハイバンド信号と第2のチャネル時間領域ハイバンド信号とを生成するための手段は、図1の第2のデバイス106、デコーダ118、時間バランサ124、図20のチャネル間BWE空間バランサ2010、図23のステレオアップミキサ2312、図27の音声および音楽コーデック2708、プロセッサ2710、コーデック2734、プロセッサ2706、少なくとも1つの符号化された信号を受信するように構成された1つまたは複数の他のデバイス、またはそれらの組合せを含み得る。
[0341]本装置は、第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とを合成することによってターゲットチャネル信号を生成するための手段をも含む。たとえば、ターゲットチャネル信号を生成するための手段は、図1の第2のデバイス106、デコーダ118、時間バランサ124、図20のチャネル間BWE空間バランサ2010、図21のコンバイナ2118、図27の音声および音楽コーデック2708、プロセッサ2710、コーデック2734、プロセッサ2706、少なくとも1つの符号化された信号を受信するように構成された1つまたは複数の他のデバイス、またはそれらの組合せを含み得る。
[0342]本装置は、第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とを合成することによって基準チャネル信号を生成するための手段をさらに含む。たとえば、基準チャネル信号を生成するための手段は、図1の第2のデバイス106、デコーダ118、時間バランサ124、図20のチャネル間BWE空間バランサ2010、図21のコンバイナ2118、図27の音声および音楽コーデック2708、プロセッサ2710、コーデック2734、プロセッサ2706、少なくとも1つの符号化された信号を受信するように構成された1つまたは複数の他のデバイス、またはそれらの組合せを含み得る。
[0343]本装置は、時間的ずれ値に基づいてターゲットチャネル信号を変更することによって、変更されたターゲットチャネル信号を生成するための手段をも含む。たとえば、変更されたターゲットチャネル信号を生成するための手段は、図1の第2のデバイス106、デコーダ118、時間バランサ124、図20のチャネル間BWE空間バランサ2010、図21のシフタ2116、図27の音声および音楽コーデック2708、プロセッサ2710、コーデック2734、プロセッサ2706、少なくとも1つの符号化された信号を受信するように構成された1つまたは複数の他のデバイス、またはそれらの組合せを含み得る。
[0344]また、説明された実装形態とともに、装置は、少なくとも1つの符号化された信号を受信するための手段を含む。たとえば、受信するための手段は、図19の受信機1911、図27のトランシーバ2711、少なくとも1つの符号化された信号を受信するように構成された1つまたは複数の他のデバイス、またはそれらの組合せを含み得る。
[0345]本装置は、シフトされた第1の信号に基づく第1の出力信号と、第2の信号に基づく第2の出力信号とを生成するための手段をも含み得る。シフトされた第1の信号は、第1の信号の第1のサンプルを、第2の信号の第2のサンプルに対して、シフト値に基づく量だけ時間シフトすることによって生成され得る。第1の信号および第2の信号は、少なくとも1つの符号化された信号に基づき得る。たとえば、生成するための手段は、図19のデコーダ118、第1の出力信号と第2の出力信号とを生成するように構成された1つまたは複数のデバイス/センサー(たとえば、コンピュータ可読記憶デバイスにおいて記憶された命令を実行するプロセッサ)、またはそれらの組合せを含み得る。
[0346]さらに、本明細書で開示される実装形態に関して説明された様々な例示的な論理ブロック、構成、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、ハードウェアプロセッサなどの処理デバイスによって実行されるコンピュータソフトウェア、またはその両方の組合せとして実装され得ることを、当業者は諒解されよう。様々な例示的な構成要素、ブロック、構成、モジュール、回路、およびステップが、上記では概して、それらの機能に関して説明された。そのような機能がハードウェアとして実装されるのか実行可能ソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。
[0347]本明細書で開示される実装形態に関して説明された方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその2つの組合せで実施され得る。ソフトウェアモジュールは、ランダムアクセスメモリ(RAM)、磁気抵抗ランダムアクセスメモリ(MRAM)、スピントルクトランスファーMRAM(STT−MRAM)、フラッシュメモリ、読取り専用メモリ(ROM)、プログラマブル読取り専用メモリ(PROM)、消去可能プログラマブル読取り専用メモリ(EPROM)、電気的消去可能プログラマブル読取り専用メモリ(EEPROM)、レジスタ、ハードディスク、リムーバブルディスク、またはコンパクトディスク読取り専用メモリ(CD−ROM)など、メモリデバイス中に常駐し得る。例示的なメモリデバイスは、プロセッサがメモリデバイスから情報を読み取り、メモリデバイスに情報を書き込むことができるように、プロセッサに結合される。代替として、メモリデバイスはプロセッサと一体であり得る。プロセッサおよび記憶媒体は特定用途向け集積回路(ASIC)中に存在し得る。ASICはコンピューティングデバイスまたはユーザ端末中に存在し得る。代替として、プロセッサおよび記憶媒体は、コンピューティングデバイスまたはユーザ端末中に個別構成要素として存在し得る。
[0348]開示される実装形態の前の説明は、開示される実装形態を当業者が製作または使用することを可能にするために与えられる。これらの実装形態への様々な変更は当業者には容易に明らかになり、本明細書で定義された原理は本開示の範囲から逸脱することなく他の実装形態に適用され得る。したがって、本開示は、本明細書に示された実装形態に限定されるものではなく、以下の特許請求の範囲によって定義される原理および新規の特徴に一致する可能な最も広い範囲を与えられるべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[C1]
1つまたは複数のチャネル間帯域幅拡張(BWE)パラメータを含む少なくとも1つの符号化された信号を受信するように構成された受信機と、
デコーダと
を備え、前記デコーダは、
前記少なくとも1つの符号化された信号に基づいて帯域幅拡張を実施することによってミッドチャネル時間領域ハイバンド信号を生成することと、
前記ミッドチャネル時間領域ハイバンド信号と前記1つまたは複数のチャネル間BWEパラメータとに基づいて、第1のチャネル時間領域ハイバンド信号と第2のチャネル時間領域ハイバンド信号とを生成することと、
前記第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とを合成することによってターゲットチャネル信号を生成することと、
前記第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とを合成することによって基準チャネル信号を生成することと、
時間的ずれ値に基づいて前記ターゲットチャネル信号を変更することによって、変更されたターゲットチャネル信号を生成することと
を行うように構成された、装置。
[C2]
前記1つまたは複数のチャネル間BWEパラメータは、調整利得パラメータのセット、調整スペクトル形状パラメータ、またはそれらの組合せを含む、
[C1]に記載の装置。
[C3]
前記受信機は、1つまたは複数のBWEパラメータを受信するようにさらに構成され、前記デコーダは、
前記少なくとも1つの符号化された信号に基づいてミッドチャネルローバンド信号を生成することと、
前記1つまたは複数のBWEパラメータに基づいて前記ミッドチャネルローバンド信号に対して帯域幅拡張を実施することによって前記ミッドチャネル時間領域ハイバンド信号を生成することと
を行うようにさらに構成された、[C1]に記載の装置。
[C4]
前記BWEパラメータは、ミッドチャネルハイバンド線形予測コーディング(LPC)パラメータ、利得パラメータのセット、またはそれらの組合せを含む、
[C3]に記載の装置。
[C5]
前記デコーダは、時間領域帯域幅拡張デコーダを含み、前記時間領域帯域幅拡張デコーダは、前記BWEパラメータに基づいて前記ミッドチャネル時間領域ハイバンド信号を生成するように構成された、
[C3]に記載の装置。
[C6]
前記デコーダは、
前記少なくとも1つの符号化された信号に基づいて、ミッドチャネルローバンド信号とサイドチャネルローバンド信号とを生成することと、
前記ミッドチャネルローバンド信号と前記サイドチャネルローバンド信号とをアップミックスすることによって、前記第1のチャネルローバンド信号と前記第2のチャネルローバンド信号とを生成することと
を行うようにさらに構成された、[C1]に記載の装置。
[C7]
前記デコーダは、
前記少なくとも1つの符号化された信号に基づいてミッドチャネルローバンド信号を生成することと、
1つまたは複数のサイドパラメータに基づいて、1つまたは複数のマッピングされたパラメータを生成すること、ここにおいて、前記少なくとも1つの符号化された信号は、前記1つまたは複数のサイドパラメータを含む、と、
前記ミッドチャネルローバンド信号に前記1つまたは複数のサイドパラメータを適用することによって、前記第1のチャネルローバンド信号と前記第2のチャネルローバンド信号とを生成することと
を行うようにさらに構成された、[C1]に記載の装置。
[C8]
前記デコーダは、前記ターゲットチャネル信号の第1のサンプルを、前記基準チャネル信号の第2のサンプルに対して、前記時間的ずれ値に基づく量だけ時間的にシフトすることによって、前記変更されたターゲットチャネル信号を生成するようにさらに構成された、
[C1]に記載の装置。
[C9]
前記デコーダは、
前記基準チャネル信号または前記変更されたターゲットチャネル信号のうちの一方に対応する左出力信号を生成することと、
前記基準チャネル信号または前記変更されたターゲットチャネル信号のうちの他方に対応する右出力信号を生成することと
を行うようにさらに構成された、[C1]に記載の装置。
[C10]
前記チャネル間BWEパラメータは、ハイバンド基準チャネルインジケータを含み、前記デコーダは、前記ハイバンド基準チャネルインジケータに基づいて、前記基準チャネル信号に前記左出力信号が対応するのか前記右出力信号が対応するのかを決定するようにさらに構成された、
[C9]に記載の装置。
[C11]
前記デコーダは、
前記左出力信号を第1のラウドスピーカーに与えることと、
前記右出力信号を第2のラウドスピーカーに与えることと
を行うようにさらに構成された、[C9]に記載の装置。
[C12]
前記第1のチャネルローバンド信号および前記第2のチャネルローバンド信号は、ステレオローバンドアップミックス処理に基づいて生成され、前記第1のチャネル時間領域ハイバンド信号および前記第2のチャネル時間領域ハイバンド信号は、ステレオチャネル間帯域幅拡張ハイバンドアップミックス処理に基づいて生成される、
[C1]に記載の装置。
[C13]
前記デコーダは、
前記基準チャネル信号に基づいて第1の出力信号を生成することと、
前記変更されたターゲットチャネル信号に基づいて第2の出力信号を生成することと、
前記第1の出力信号を第1のスピーカーに与えることと、
前記第2の出力信号を第2のスピーカーに与えることと
を行うようにさらに構成された、[C1]に記載の装置。
[C14]
前記受信機に結合されたアンテナをさらに備え、前記受信機は、前記アンテナを介して前記少なくとも1つの符号化された信号を受信するように構成された、
[C1]に記載の装置。
[C15]
前記受信機および前記デコーダは、モバイル通信デバイスに組み込まれる、
[C1]に記載の装置。
[C16]
前記受信機および前記デコーダは、基地局に組み込まれる、
[C1]に記載の装置。
[C17]
デバイスにおいて、1つまたは複数のチャネル間帯域幅拡張(BWE)パラメータを含む少なくとも1つの符号化された信号を受信することと、
前記デバイスにおいて、前記少なくとも1つの符号化された信号に基づいて帯域幅拡張を実施することによってミッドチャネル時間領域ハイバンド信号を生成することと、
前記ミッドチャネル時間領域ハイバンド信号と前記1つまたは複数のチャネル間BWEパラメータとに基づいて、第1のチャネル時間領域ハイバンド信号と第2のチャネル時間領域ハイバンド信号とを生成することと、
前記デバイスにおいて、前記第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とを合成することによってターゲットチャネル信号を生成することと、
前記デバイスにおいて、前記第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とを合成することによって基準チャネル信号を生成することと、
前記デバイスにおいて、時間的ずれ値に基づいて前記ターゲットチャネル信号を変更することによって、変更されたターゲットチャネル信号を生成することと
を備える、通信の方法。
[C18]
前記デバイスにおいて、前記少なくとも1つの符号化された信号に基づいてミッドチャネルローバンド信号とサイドチャネルローバンド信号とを生成することをさらに備え、前記第1のチャネルローバンド信号および前記第2のチャネルローバンド信号は、前記ミッドチャネルローバンド信号と、前記サイドチャネルローバンド信号と、利得パラメータとに基づく、
[C17]に記載の方法。
[C19]
前記変更されたターゲットチャネル信号に基づいて第1の出力信号を生成することと、
前記基準チャネル信号に基づいて第2の出力信号を生成することと
をさらに備える、[C17]に記載の方法。
[C20]
前記第1の出力信号を第1のスピーカーに与えることと、
前記第2の出力信号を第2のスピーカーに与えることと
をさらに備える、[C19]に記載の方法。
[C21]
前記デバイスにおいて前記時間的ずれ値を受信することをさらに備え、
前記変更されたターゲットチャネル信号は、前記ターゲットチャネル信号の第1のサンプルを、前記基準チャネル信号の第2のサンプルに対して、前記時間的ずれ値に基づく量だけ時間的にシフトすることによって生成される、
[C17]に記載の方法。
[C22]
前記デバイスは、モバイル通信デバイスを備える、
[C17]に記載の方法。
[C23]
前記デバイスは、基地局を備える、
[C17]に記載の方法。
[C24]
プロセッサによって実行されたとき、前記プロセッサに、
1つまたは複数のチャネル間帯域幅拡張(BWE)パラメータを含む少なくとも1つの符号化された信号を受信することと、
前記少なくとも1つの符号化された信号に基づいて帯域幅拡張を実施することによってミッドチャネル時間領域ハイバンド信号を生成することと、
前記ミッドチャネル時間領域ハイバンド信号と前記1つまたは複数のチャネル間BWEパラメータとに基づいて、第1のチャネル時間領域ハイバンド信号と第2のチャネル時間領域ハイバンド信号とを生成することと、
前記第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とを合成することによってターゲットチャネル信号を生成することと、
前記第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とを合成することによって基準チャネル信号を生成することと、
時間的ずれ値に基づいて前記ターゲットチャネル信号を変更することによって、変更されたターゲットチャネル信号を生成することと
を備える動作を実施させる命令を記憶する、コンピュータ可読記憶デバイス。
[C25]
前記動作は、
前記基準チャネル信号に基づいて第1の出力信号を生成することと、
前記変更されたターゲットチャネル信号に基づいて第2の出力信号を生成することと、
前記第1の出力信号を第1のラウドスピーカーに与えることと、
前記第2の出力信号を第2のラウドスピーカーに与えることと
をさらに備える、[C24]に記載のコンピュータ可読記憶デバイス。
[C26]
前記動作は、
1つまたは複数のBWEパラメータを受信することと、
前記少なくとも1つの符号化された信号に基づいてミッドチャネルローバンド信号を生成することと
をさらに備え、
前記ミッドチャネル時間領域ハイバンド信号は、前記1つまたは複数のBWEパラメータに少なくとも部分的に基づいて前記ミッドチャネルローバンド信号に対して帯域幅拡張を実施することによって生成される、
[C24]に記載のコンピュータ可読記憶デバイス。
[C27]
前記1つまたは複数のBWEパラメータは、ミッドチャネルハイバンド線形予測コーディング(LPC)パラメータ、利得パラメータのセット、またはそれらの組合せを含む、
[C26]に記載のコンピュータ可読記憶デバイス。
[C28]
前記1つまたは複数のチャネル間BWEパラメータは、調整利得パラメータのセット、調整スペクトル形状パラメータ、またはそれらの組合せを含む、
[C24]に記載のコンピュータ可読記憶デバイス。
[C29]
前記動作は、前記ターゲットチャネル信号の第1のサンプルを、前記基準チャネル信号の第2のサンプルに対して、前記時間的ずれ値に基づく量だけ時間的にシフトすることによって、前記変更されたターゲットチャネル信号を生成することをさらに備える、
[C24]に記載のコンピュータ可読記憶デバイス。
[C30]
1つまたは複数のチャネル間帯域幅拡張(BWE)パラメータを含む少なくとも1つの符号化された信号を受信するための手段と、
前記少なくとも1つの符号化された信号に基づいて帯域幅拡張を実施することによってミッドチャネル時間領域ハイバンド信号を生成するための手段と、
前記ミッドチャネル時間領域ハイバンド信号と前記1つまたは複数のチャネル間BWEパラメータとに基づいて、第1のチャネル時間領域ハイバンド信号と第2のチャネル時間領域ハイバンド信号とを生成するための手段と、
前記第1のチャネル時間領域ハイバンド信号と第1のチャネルローバンド信号とを合成することによってターゲットチャネル信号を生成するための手段と、
前記第2のチャネル時間領域ハイバンド信号と第2のチャネルローバンド信号とを合成することによって基準チャネル信号を生成するための手段と、
時間的ずれ値に基づいて前記ターゲットチャネル信号を変更することによって、変更されたターゲットチャネル信号を生成するための手段と
を備える、装置。
[C31]
前記少なくとも1つの符号化された信号を受信するための前記手段、前記ミッドチャネル時間領域ハイバンド信号を生成するための前記手段、前記第1のチャネル時間領域ハイバンド信号と前記第2のチャネル時間領域ハイバンド信号とを生成するための前記手段、前記ターゲットチャネル信号を生成するための前記手段、前記基準チャネル信号を生成するための前記手段、および前記変更されたターゲットチャネル信号を生成するための前記手段は、モバイルフォン、通信デバイス、コンピュータ、音楽プレーヤ、ビデオプレーヤ、エンターテインメントユニット、ナビゲーションデバイス、携帯情報端末(PDA)、デコーダ、またはセットトップボックスのうちの少なくとも1つに組み込まれる、
[C30]に記載の装置。
[C32]
前記少なくとも1つの符号化された信号を受信するための前記手段、前記ミッドチャネル時間領域ハイバンド信号を生成するための前記手段、前記第1のチャネル時間領域ハイバンド信号と前記第2のチャネル時間領域ハイバンド信号とを生成するための前記手段、前記ターゲットチャネル信号を生成するための前記手段、前記基準チャネル信号を生成するための前記手段、および前記変更されたターゲットチャネル信号を生成するための前記手段は、モバイル通信デバイスに組み込まれる、
[C30]に記載の装置。
[C33]
前記少なくとも1つの符号化された信号を受信するための前記手段、前記ミッドチャネル時間領域ハイバンド信号を生成するための前記手段、前記第1のチャネル時間領域ハイバンド信号と前記第2のチャネル時間領域ハイバンド信号とを生成するための前記手段、前記ターゲットチャネル信号を生成するための前記手段、前記基準チャネル信号を生成するための前記手段、および前記変更されたターゲットチャネル信号を生成するための前記手段は、基地局に組み込まれる、
[C30]に記載の装置。

Claims (7)

  1. 符号化されたオーディオ信号を復号する方法であって、
    デコーダにおいて、1つまたは複数のチャネル間帯域幅拡張(BWE)パラメータと、ミッドチャネルハイバンドLPCパラメータ及び利得パラメータのセットを含む1つまたは複数のミッドチャネルBWEパラメータと、ミッドパラメータと、サイドパラメータと、1つまたは複数のステレオアップミックスパラメータとを含む前記符号化されたオーディオ信号を受信することと、
    前記デコーダのアップミックスパラメータデコーダにおいて、前記1つまたは複数のステレオアップミックスパラメータから、利得パラメータと、非因果的シフト値と、基準信号インジケータとを生成することと、
    前記デコーダのローバンドミッドコアデコーダにおいて、前記ミッドパラメータから、ミッドローバンド(ミッドLB)信号及びコアパラメータを生成すること、ここにおいて、前記コアパラメータは、ミッドローバンド励起信号を含む、と、
    前記デコーダのローバンドサイドコアデコーダにおいて、前記サイドパラメータ及び前記コアパラメータからサイドローバンド(サイドLB)信号を生成することと、
    前記デコーダのローバンドアップミキサにおいて、前記ミッドLB信号及び前記サイドLB信号をアップミックスすることによって第1のチャネルローバンドオーディオ信号と、第2のチャネルローバンドオーディオ信号とを生成することと、
    前記デコーダのミッド帯域幅拡張デコーダにおいて、前記ミッドローバンド励起信号及び前記ミッドチャネルBWEパラメータに基づいて帯域幅拡張を実行することによってミッドチャネル時間領域ハイバンドオーディオ信号を生成することと
    前記デコーダのチャネル間帯域幅拡張空間バランサにおいて、前記ミッドチャネル時間領域ハイバンドオーディオ信号及び前記1つまたは複数のチャネル間BWEパラメータに基づいて、第1のチャネル時間領域ハイバンドオーディオ信号及び第2のチャネル時間領域ハイバンドオーディオ信号を生成することと、
    前記デコーダのコンバイナにおいて、前記第1のチャネル時間領域ハイバンドオーディオ信号及び前記第1のチャネルローバンドオーディオ信号を合成することによって第1のオーディオ信号を生成することと、
    前記デコーダの前記コンバイナにおいて、前記第2のチャネル時間領域ハイバンドオーディオ信号及び前記第2のチャネルローバンドオーディオ信号を合成することによって第2のオーディオ信号を生成することと、
    前記デコーダのシフタにおいて、非因果的シフト値に等しい量だけ前記第1のオーディオ信号をシフトすることによってシフトされた第1のオーディオ出力信号と、前記第2のオーディオ信号を渡すことによって第2のオーディオ出力信号を生成することと を備える、方法。
  2. 前記第1の出力オーディオ信号を第1のスピーカーに与えることと、
    前記第2の出力オーディオ信号を第2のスピーカーに与えることと
    をさらに備える、請求項に記載の方法。
  3. 前記デコーダは、モバイル通信デバイス中に備えられる
    請求項1に記載の方法。
  4. 前記デコーダは、基地局中に備えられる
    請求項1に記載の方法。
  5. プロセッサによって実行されたとき、前記プロセッサに、請求項1乃至4のいずれか1項に従う方法を実施させる命令を記憶する、コンピュータ可読記憶デバイス。
  6. 符号化されたオーディオ信号を復号するための装置であって、
    1つまたは複数のチャネル間帯域幅拡張(BWE)パラメータと、ミッドチャネルハイバンドLPCパラメータ及び利得パラメータのセットを含む1つまたは複数のミッドチャネルBWEパラメータと、ミッドパラメータと、サイドパラメータと、1つまたは複数のステレオアップミックスパラメータとを含む前記符号化されたオーディオ信号を受信するためのデコーダと、
    前記1つまたは複数のステレオアップミックスパラメータから、利得パラメータと、非因果的シフト値と、基準信号インジケータとを生成するための前記デコーダのアップミックスパラメータデコーダと、
    前記ミッドパラメータから、ミッドローバンド(ミッドLB)信号及びコアパラメータを生成するための前記デコーダのローバンドミッドコアデコーダ、ここにおいて、前記コアパラメータは、ミッドローバンド励起信号を含む、と、
    前記サイドパラメータ及び前記コアパラメータからサイドローバンド(サイドLB)信号を生成するための前記デコーダのローバンドサイドコアデコーダと、
    前記ミッドLB信号及び前記サイドLB信号をアップミックスすることによって第1のチャネルローバンドオーディオ信号と、第2のチャネルローバンドオーディオ信号とを生成するための前記デコーダのローバンドアップミキサと、
    前記ミッドローバンド励起信号及び前記ミッドチャネルBWEパラメータに基づいて帯域幅拡張を実行することによってミッドチャネル時間領域ハイバンドオーディオ信号を生成するための前記デコーダのミッド帯域幅拡張デコーダ
    前記ミッドチャネル時間領域ハイバンドオーディオ信号及び前記1つまたは複数のチャネル間BWEパラメータに基づいて、第1のチャネル時間領域ハイバンドオーディオ信号及び第2のチャネル時間領域ハイバンドオーディオ信号を生成するための前記デコーダのチャネル間帯域幅拡張空間バランサと、
    前記第1のチャネル時間領域ハイバンドオーディオ信号及び前記第1のチャネルローバンドオーディオ信号を合成することによって第1のオーディオ信号を生成し、前記第2のチャネル時間領域ハイバンドオーディオ信号及び前記第2のチャネルローバンドオーディオ信号を合成することによって第2のオーディオ信号を生成するための前記デコーダのコンバイナと、
    非因果的シフト値に等しい量だけ前記第1のオーディオ信号をシフトすることによってシフトされた第1のオーディオ出力信号と、前記第2のオーディオ信号を渡すことによって第2のオーディオ出力信号を生成するための前記デコーダのシフタと
    を備える、装置。
  7. 前記デコーダは、モバイルフォン、通信デバイス、コンピュータ、音楽プレーヤ、ビデオプレーヤ、エンターテインメントユニット、ナビゲーションデバイス、携帯情報端末(PDA)、デコーダ、またはセットトップボックスのうちの少なくとも1つに組み込まれる、
    請求項6に記載の装置。
JP2018548775A 2016-03-18 2017-03-17 オーディオ信号復号 Active JP6929868B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662310626P 2016-03-18 2016-03-18
US62/310,626 2016-03-18
US15/460,928 US10157621B2 (en) 2016-03-18 2017-03-16 Audio signal decoding
US15/460,928 2017-03-16
PCT/US2017/023032 WO2017161313A1 (en) 2016-03-18 2017-03-17 Audio signal decoding

Publications (3)

Publication Number Publication Date
JP2019512738A JP2019512738A (ja) 2019-05-16
JP2019512738A5 JP2019512738A5 (ja) 2020-04-02
JP6929868B2 true JP6929868B2 (ja) 2021-09-01

Family

ID=58489062

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018548775A Active JP6929868B2 (ja) 2016-03-18 2017-03-17 オーディオ信号復号

Country Status (9)

Country Link
US (2) US10157621B2 (ja)
EP (1) EP3430622B1 (ja)
JP (1) JP6929868B2 (ja)
KR (1) KR102461410B1 (ja)
CN (1) CN108701465B (ja)
BR (1) BR112018068643B1 (ja)
CA (1) CA3014676A1 (ja)
TW (1) TWI732832B (ja)
WO (1) WO2017161313A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2980797A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, method and computer program using a zero-input-response to obtain a smooth transition
US9407989B1 (en) 2015-06-30 2016-08-02 Arthur Woodrow Closed audio circuit
US10109284B2 (en) * 2016-02-12 2018-10-23 Qualcomm Incorporated Inter-channel encoding and decoding of multiple high-band audio signals
US10157621B2 (en) 2016-03-18 2018-12-18 Qualcomm Incorporated Audio signal decoding
US10304468B2 (en) 2017-03-20 2019-05-28 Qualcomm Incorporated Target sample generation
US10573326B2 (en) * 2017-04-05 2020-02-25 Qualcomm Incorporated Inter-channel bandwidth extension
US10839814B2 (en) * 2017-10-05 2020-11-17 Qualcomm Incorporated Encoding or decoding of audio signals
US10734001B2 (en) * 2017-10-05 2020-08-04 Qualcomm Incorporated Encoding or decoding of audio signals
US10580420B2 (en) * 2017-10-05 2020-03-03 Qualcomm Incorporated Encoding or decoding of audio signals
US10650834B2 (en) 2018-01-10 2020-05-12 Savitech Corp. Audio processing method and non-transitory computer readable medium
CN111740768A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 一种通信方法及设备
US10932122B1 (en) * 2019-06-07 2021-02-23 Sprint Communications Company L.P. User equipment beam effectiveness
CN113763980B (zh) * 2021-10-30 2023-05-12 成都启英泰伦科技有限公司 一种回声消除方法
CN115622634B (zh) * 2022-08-22 2023-08-04 荣耀终端有限公司 辐射杂散rse测试的控制方法、测试系统及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060042B2 (en) * 2008-05-23 2011-11-15 Lg Electronics Inc. Method and an apparatus for processing an audio signal
US8355921B2 (en) * 2008-06-13 2013-01-15 Nokia Corporation Method, apparatus and computer program product for providing improved audio processing
CA2730232C (en) * 2008-07-11 2015-12-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. An apparatus and a method for decoding an encoded audio signal
CA2949616C (en) * 2009-03-17 2019-11-26 Dolby International Ab Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
MX2012010415A (es) * 2010-03-09 2012-10-03 Fraunhofer Ges Forschung Aparato y metodo para procesar una señal de audio de entrada utilizando bancos de filtro en cascada.
CA2800613C (en) * 2010-04-16 2016-05-03 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for generating a wideband signal using guided bandwidth extension and blind bandwidth extension
KR101461774B1 (ko) * 2010-05-25 2014-12-02 노키아 코포레이션 대역폭 확장기
US8638951B2 (en) * 2010-07-15 2014-01-28 Motorola Mobility Llc Electronic apparatus for generating modified wideband audio signals based on two or more wideband microphone signals
AU2014211474B2 (en) * 2013-01-29 2017-04-13 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoders, audio decoders, systems, methods and computer programs using an increased temporal resolution in temporal proximity of onsets or offsets of fricatives or affricates
US9595269B2 (en) * 2015-01-19 2017-03-14 Qualcomm Incorporated Scaling for gain shape circuitry
US10157621B2 (en) 2016-03-18 2018-12-18 Qualcomm Incorporated Audio signal decoding

Also Published As

Publication number Publication date
US10714100B2 (en) 2020-07-14
KR20180125964A (ko) 2018-11-26
CN108701465B (zh) 2023-03-21
BR112018068643B1 (pt) 2023-04-04
US10157621B2 (en) 2018-12-18
JP2019512738A (ja) 2019-05-16
US20170270935A1 (en) 2017-09-21
TWI732832B (zh) 2021-07-11
EP3430622B1 (en) 2021-07-14
US20190139556A1 (en) 2019-05-09
CN108701465A (zh) 2018-10-23
WO2017161313A1 (en) 2017-09-21
TW201737244A (zh) 2017-10-16
BR112018068643A2 (pt) 2019-02-05
CA3014676A1 (en) 2017-09-21
KR102461410B1 (ko) 2022-10-31
EP3430622A1 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
JP6929868B2 (ja) オーディオ信号復号
JP6786679B2 (ja) 複数のオーディオ信号の符号化
KR102557066B1 (ko) 시간적으로 불일치된 신호들에 대한 오디오 프로세싱
JP6910416B2 (ja) 時間的オフセットを推定するための方法、装置、およびコンピュータ可読記憶媒体
KR102551431B1 (ko) 목표 샘플 발생
JP2020042294A (ja) 複数のオーディオ信号の符号化

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210811

R150 Certificate of patent or registration of utility model

Ref document number: 6929868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250