JP5681290B2 - デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイス - Google Patents

デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイス Download PDF

Info

Publication number
JP5681290B2
JP5681290B2 JP2013530513A JP2013530513A JP5681290B2 JP 5681290 B2 JP5681290 B2 JP 5681290B2 JP 2013530513 A JP2013530513 A JP 2013530513A JP 2013530513 A JP2013530513 A JP 2013530513A JP 5681290 B2 JP5681290 B2 JP 5681290B2
Authority
JP
Japan
Prior art keywords
signal
channel
downmix
post
channel signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013530513A
Other languages
English (en)
Other versions
JP2013540283A (ja
Inventor
ユエ・ラン
ダヴィド・ヴィレット
レイ・ミアオ
ウェンハイ・ウ
Original Assignee
ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ホアウェイ・テクノロジーズ・カンパニー・リミテッド filed Critical ホアウェイ・テクノロジーズ・カンパニー・リミテッド
Publication of JP2013540283A publication Critical patent/JP2013540283A/ja
Application granted granted Critical
Publication of JP5681290B2 publication Critical patent/JP5681290B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0364—Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for improving intelligibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)

Description

本発明は、デコードされたマルチチャネルオーディオ信号を後処理すること、および、デコードされたステレオオーディオ信号を後処理することに関し、ステレオオーディオ信号の後処理は、デコードされたマルチチャネルオーディオ信号を後処理する特定の場合を表す。
従来のスピーチコーデックでは、スピーチ信号の分類は、スピーチ信号のコーディング効率を向上させるために行われることが多い。デコーダ側では、送信されたスピーチ信号の分類に応じて、異なるタイプの信号処理ツールが使用される。
1つの分類は、標準スピーチ信号と過渡スピーチ信号の間で区別することである。過渡信号は、短期間信号であり、信号電力および振幅の急速な変化によって特徴付けられる。過渡信号は、例えば、「標準」または「非過渡信号」、例えば、より長い期間、かつ/または、信号電力および振幅の小さい変化のみを有する信号とは区別される。この種類の分類は、スピーチ信号に限定されず、一般にオーディオ信号に適用可能である。
過渡信号の場合、共通の方法は、エンコーダ内で入力信号の時間エンベロープを抽出し、サイド情報としてデコーダへ送信し、後処理としてデコーダ内で適用することである。
ステレオ信号の場合、そのような種類の後処理が必要であることが多いが、従来、両方のチャネルの時間エンベロープをエンコードするために十分なビットがない。
参考文献[1](E. Schuijers, W. Oomen, B. den Brinker, and J. Breebaart, “Advances in parametric coding for high-quality audio,” in Preprint 114th Conv. Aud. Eng. Soc., Mar. 2003) を参照すると、低ビットレートステレオコーディングは、ステレオイメージのパラメトリック表現の抽出および量子化に基づく。パラメータは次いで、コアコーダによってエンコードされたモノラルダウンミックス信号とともにサイド情報として送信される。デコーダで、ステレオ信号は、モノラルダウンミックス信号と、サイド情報、すなわち、ステレオ信号の空間(左および右)情報を含むステレオパラメータとに基づいて、再構成されうる。
ステレオコーデックでは、ダウンミックスモノラル信号が過渡として分類される場合、再構成されたステレオ信号内にプレエコーアーチファクトがありうる。その両方のチャネルが過渡であるか、または、ただ一方のチャネルが過渡である、このタイプの信号の品質を向上させるために、後処理が行われうる。しかし、パラメトリックステレオコーデックの場合、従来、両方のチャネルの時間エンベロープをエンコードするために十分なビットがない。
参考文献[2] (WO 02093560 A1) および[3] (Improved Transient Pre-Noise Performance of Low Bit Rate Audio Coders Using Time Scaling Synthesis, AES 117, October 2004) によれば、入力モノラル信号は、エンコーダ内で過渡カテゴリおよび標準カテゴリに分類される。次いで、デコーダ側で、送信された分類情報に基づいて、品質を向上するために時間スケーリング合成アルゴリズムが使用される。すべてのそれらの種類のアルゴリズムは、モノラルダウンミックス信号に適用される。
信号を送信するために使用可能な帯域幅の制限は、ステレオスピーチまたはオーディオ信号の送信の場合にのみ遭遇するものではなく、マルチチャネルオーディオ信号送信にとって一般的な問題をなし、ステレオオーディオコーディングは、マルチチャネルオーディオコーディングの特定の場合を表す。
本発明によって達成される目的は、改善された低ビットレートパラメトリックマルチチャネルまたはパラメトリックステレオオーディオコーディング方法であって、過渡オーディオ信号の場合のプレエコーアーチファクトを、帯域幅効率の高い方法で低減することを可能にする方法を提供することである。
第1の態様によれば、ステレオ信号の左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するためのデバイスであって、左チャネル信号および右チャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される、デバイスが提案され、このデバイスは、受信器およびポストプロセッサを有する。受信器は、デコードされたダウンミックス信号から生成された左チャネル信号および右チャネル信号、デコードされたダウンミックス信号の時間エンベロープ、ステレオ信号の左チャネル信号と右チャネル信号の間のチャネル間時間差、および、ダウンミックス信号またはステレオ信号の過渡タイプを示す分類指示を受信するように構成される。ポストプロセッサは、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、チャネル間時間差および分類指示に応じて、左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように構成される。
ダウンミックス信号は、ステレオオーディオコーディングの場合、モノラルダウンミックス信号またはモノラル信号と呼ばれることもあり、任意選択で、エンコーダ側で、左チャネル信号および右チャネル信号から生成されうる。生成された、エンコードされたダウンミックス信号は、任意選択で、サイド情報とともに、オーディオチャネルを介して、または一般には、送信リンクを介して、後処理のためのデバイスへ転送されうる。前記後処理のためのデバイスは、デコーダの一部分でありうる。
さらに、任意選択で、エンコーダ内に、ダウンミックス信号が過渡であるかどうかを示す指示を、後処理のためのデバイスに提供するための、過渡検出モデルまたはエンティティがありうる。特に、ダウンミックス信号が過渡検出モデルによって過渡として分類される場合、モノラルダウンミックス信号の時間エンベロープは、任意選択で抽出され、追加のサイド情報として、前記後処理のためのデバイスを含みうるデコーダへ送信されうる。
第1の態様の第1の実装形態によれば、デバイスは、ステレオ信号の左チャネル信号および右チャネル信号のどちらが先に来るかを判断するための判断器をさらに有してもよく、前記判断器は、チャネル間時間差に応じて判断するように構成される。
すなわち、第1の態様の第1の実装形態によれば、デバイスは、チャネル間時間差に応じて、または基づいて、ステレオ信号の左チャネル信号および右チャネル信号のどちらが、ステレオ信号の他方のチャネル信号に関して遅延されるかを判断するために適合された判断器を、さらに有してもよい。
第1の態様の第2の実装形態によれば、デバイスは、チャネル間時間差に基づいて、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延されるかどうかを判断するために、かつ、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延される場合、ダウンミックス信号の時間エンベロープを遅延させて、ステレオ信号の遅延されたチャネル信号を後処理するための遅延された時間エンベロープを得るように適合された判断器を、さらに有してもよい。ポストプロセッサは、それぞれの重み付け係数によって重み付けされた、遅延された時間エンベロープを使用することによって、例えば、遅延されたチャネル信号に、それぞれの重み付け係数によって重み付けされた、遅延された時間エンベロープを乗じることによって、遅延されたチャネル信号を後処理するように適合される。
第1の態様の第3の実装形態によれば、デバイスは、チャネル間時間差に基づいて、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延されるかどうかを判断するために、かつ、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延される場合、ダウンミックス信号の時間エンベロープを遅延させて、ステレオ信号の遅延されたチャネル信号を後処理するための遅延された時間エンベロープを得るように適合された判断器を、さらに有してもよく、判断器は、遅延されたチャネル信号とダウンミックス信号の時間エンベロープとの間の遅延または時間差が低減されるように、ダウンミックス信号の時間エンベロープを遅延させるように適合される。
第1の態様の第4の実装形態によれば、デバイスは、チャネル間時間差に基づいて、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延されるかどうかを判断するために、かつ、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延される場合、ダウンミックス信号の時間エンベロープを遅延させて、ステレオ信号の遅延されたチャネル信号を後処理するための遅延された時間エンベロープを得るように適合された判断器を、さらに有してもよく、判断器は、ダウンミックス信号の時間エンベロープを、チャネル間時間差だけ遅延させるように適合される。
第1の態様の第5の実装形態によれば、デバイスは、チャネル間時間差に基づいて、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延されるかどうかを判断するために、かつ、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延される場合、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の遅延された時間エンベロープを使用して、ステレオ信号の遅延されたチャネル信号を後処理するように適合された判断器を、さらに有してもよい。
第1の態様の第6の実装形態によれば、デバイスは、チャネル間時間差に基づいて、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延されるかどうかを判断するために、かつ、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延される場合、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の遅延された時間エンベロープを使用して、ステレオ信号の遅延されたチャネル信号を後処理するように、かつ、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープを使用して、他方の遅延されていないチャネル信号を後処理するように適合された判断器を、さらに有してもよい。
第1の態様の第7の実装形態によれば、分類指示は、ダウンミックス信号の過渡タイプを示す分類指示である。
第1の態様の第8の実装形態によれば、分類指示は、ステレオ信号の過渡タイプを示す分類指示である。
第1の態様の第9の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、ダウンミックス信号の過渡タイプを示す分類指示に応じて、または、ステレオ信号の過渡タイプを示す分類指示に応じて、判断するように構成される。
第1の態様の第10の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、ダウンミックス信号の過渡タイプを示す分類指示に応じて、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように構成される。
第1の態様の第11の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がモノラル過渡(mono transient)ではないことを示す場合、左チャネル信号および右チャネル信号のいずれも後処理しないように判断するように構成される。
第1の態様の第12の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がモノラル過渡であることを示す場合、左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように判断するように構成される。
第1の態様の第13の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がモノラル過渡であることを示す場合、左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように判断するように構成され、判断器は、チャネル間時間差に基づいて、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、ステレオ信号の他方のチャネル信号に関して遅延されるかどうかを判断し、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延される場合、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の遅延された時間エンベロープを使用して、ステレオ信号の遅延されたチャネル信号を後処理するようにさらに適合される。
第1の態様の第14の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がモノラル過渡であることを示す場合、左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように判断するように構成され、判断器は、チャネル間時間差に基づいて、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、ステレオ信号の他方のチャネル信号に関して遅延されるかどうかを判断し、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延される場合、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の遅延された時間エンベロープを使用して、ステレオ信号の遅延されたチャネル信号を後処理し、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープを使用して、他方の遅延されていないチャネル信号を後処理するようにさらに適合される。
第1の態様の第15の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、ステレオ信号の過渡タイプを示す分類指示に応じて、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように構成される。
第1の態様の第16の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がステレオ過渡(stereo transient)であることを示す場合、左チャネル信号および右チャネル信号のうち一方のみを後処理するように判断するように構成される。
第1の態様の第17の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がステレオ過渡であることを示す場合、左チャネル信号および右チャネル信号のうち一方のみを後処理するように判断するように構成され、判断器は、左チャネル信号および右チャネル信号のうち、より高い信号エネルギーを有する一方が後処理されるべきであると判断するようにさらに適合される。
左チャネル信号および右チャネル信号の信号エネルギーは、例えば、エンコーダによって決定可能であり、デバイスまたはデコーダへ、ダウンミックス信号へのサイド情報として送信されうる。
第1の態様の第18の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がステレオ過渡であることを示す場合、左チャネル信号および右チャネル信号のうち一方のみを後処理するように判断するように構成され、判断器は、左チャネル信号と右チャネル信号の間のチャネルレベル差(CLD)を評価し、チャネルレベル差に基づいて、左チャネル信号および右チャネル信号のうち、より高い信号エネルギーを有する一方が後処理されるべきであると判断するようにさらに適合される。
チャネルレベル差は、例えば、エンコーダによって決定可能であり、デバイスまたはデコーダへ、ダウンミックス信号へのサイド情報として送信されうる。
第1の態様の第19の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がステレオ過渡であることを示す場合、左チャネル信号および右チャネル信号のうち一方のみを後処理するように判断するように構成され、判断器は、左チャネル信号と右チャネル信号の間のチャネルレベル差(CLD)を評価し、重み付け係数によって重み付けされた、ダウンミックス信号の時間エンベロープを使用することによって、かつ、時間エンベロープを遅延させずに、左チャネル信号および右チャネル信号のうち、より高い信号エネルギーを有する一方が後処理されるべきであると判断するようにさらに適合される。
第1の態様の第20の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、ダウンミックス信号の過渡タイプを示す分類指示、および、ステレオ信号の過渡タイプを示すさらなる分類指示に基づいて、判断するように構成される。
第1の態様の第21の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がモノラル過渡であることを示し、かつ、さらなる分類指示が、ステレオ信号がステレオ過渡ではないことを示す場合、両方のチャネル信号、左チャネル信号および右チャネル信号が後処理されると判断するように構成される。
第1の態様の第22の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がモノラル過渡であることを示し、かつ、さらなる分類指示が、ステレオ信号がステレオ過渡ではないことを示す場合、両方のチャネル信号、左チャネル信号および右チャネル信号が後処理されると判断するように構成され、判断器は、チャネル間時間差に基づいて、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、ステレオ信号の他方のチャネル信号に関して遅延されるかどうかを判断し、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延される場合、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の遅延された時間エンベロープを使用して、ステレオ信号の遅延されたチャネル信号を後処理するようにさらに適合される。
第1の態様の第23の実装形態によれば、デバイスは、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに有してもよく、判断器は、分類指示が、ダウンミックス信号がモノラル過渡であることを示し、かつ、さらなる分類指示が、ステレオ信号がステレオ過渡ではないことを示す場合、両方のチャネル信号、左チャネル信号および右チャネル信号が後処理されると判断するように構成され、判断器は、チャネル間時間差に基づいて、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、ステレオ信号の他方のチャネル信号に関して遅延されるかどうかを判断し、ステレオ信号の左チャネル信号および右チャネル信号のうち一方が、他方のチャネル信号に関して遅延される場合、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の遅延された時間エンベロープを使用して、ステレオ信号の遅延されたチャネル信号を後処理し、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープを使用して、他方の遅延されていないチャネル信号を後処理するようにさらに適合される。
第1の態様の第24の実装形態によれば、ステレオ信号の右チャネル信号のエネルギーと左チャネル信号のエネルギーの間の関係の経時的な変化が所定の閾値を超える場合、分類指示は、ステレオ信号がステレオ過渡であることを示す。
第1の態様の第25の実装形態によれば、ステレオ信号の右チャネル信号と左チャネル信号の間で決定されたチャネルレベル差(CLD)の経時的な変化が所定の閾値を超える場合、分類指示は、ステレオ信号がステレオ過渡であることを示す。
第1の態様の第26の実装形態によれば、ダウンミックス信号のエネルギーの経時的な変化が所定の閾値を超える場合、さらなる分類指示は、ダウンミックス信号がダウンミックス過渡(downmix transient)であることを示す。ダウンミックス信号がモノラルダウンミックス信号である場合、ダウンミックス信号はまた、ダウンミックス信号のエネルギーの経時的な変化が所定の閾値を超える場合、モノラル過渡であると呼ばれることもある。
第27の実装形態によれば、ポストプロセッサは、第1の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の、任意選択で遅延された、時間エンベロープを使用して、左チャネル信号を後処理し、第2の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の、任意選択で遅延された、時間エンベロープを使用して、右チャネル信号を後処理するように適合されうる。第1の重み付け係数および第2の重み付け係数は、異なる。
第28の実装形態によれば、ポストプロセッサは、左および/または右チャネル信号を後処理するための、第1の後処理エンティティおよび第2の後処理エンティティを備える。第1の後処理エンティティは、第1の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の、任意選択で遅延された、時間エンベロープを使用して、左チャネル信号を後処理するように構成されうる。第2の後処理エンティティは、第2の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の、任意選択で遅延された、時間エンベロープを使用して、右チャネル信号を後処理するように構成されうる。
第1の態様の第29の実装形態によれば、デバイスは、ステレオ信号の左チャネル信号および右チャネル信号のどちらが最初に来るかを判断するための判断器をさらに有してもよく、前記判断器は、チャネル間時間差に応じて判断するように構成され、ポストプロセッサは、回復された左チャネル信号および右チャネル信号を後処理するための2つの後処理エンティティを有し、2つの後処理エンティティは、第1の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープを使用して、回復された左チャネル信号および右チャネル信号のうち最初に来る一方を後処理し、第2の重み付け係数によって重み付けされ、チャネル間時間差だけ遅延された、デコードされたダウンミックス信号の時間エンベロープを使用して、回復された左チャネル信号および右チャネル信号のうち他方を後処理するように構成される。
第1の態様の第30の実装形態によれば、デバイスは、判断器、第1の後処理エンティティ、および、第2の後処理エンティティをさらに有してもよく、前記判断器は、ステレオ信号の左チャネル信号および右チャネル信号のどちらが最初に来るかを判断するように構成され、前記判断器は、チャネル間時間差に応じて判断するように構成され、左チャネル信号が最初に来る場合、第1の後処理エンティティは、第1の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープを使用して、左チャネル信号を後処理するように構成され、第2の後処理エンティティは、第2の重み付け係数によって重み付けされ、チャネル間時間差だけ遅延された、デコードされたダウンミックス信号の時間エンベロープを使用して、右チャネル信号を後処理するように構成される。
第1の態様の第31の実装形態によれば、デバイスは、判断器、第1の後処理エンティティ、および、第2の後処理エンティティをさらに有してもよく、前記判断器は、ステレオ信号の左チャネル信号および右チャネル信号のどちらが最初に来るかを判断するように構成され、前記判断器は、チャネル間時間差に応じて判断するように構成され、右チャネル信号が最初に来る場合、第1の後処理エンティティは、第1の重み付け係数によって重み付けされ、チャネル間時間差だけ遅延された、デコードされたダウンミックス信号の時間エンベロープを使用して、左チャネル信号を後処理するように構成され、第2の後処理エンティティは、第2の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープを使用して、右チャネル信号を後処理するように構成される。
第1の態様の第32の実装形態によれば、ポストプロセッサは、分類指示がステレオ信号の非過渡タイプを示す場合、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、チャネル間時間差に応じて、回復された左チャネル信号および右チャネル信号を後処理するように構成されうる。
第1の態様の第33の実装形態によれば、ポストプロセッサは、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、チャネル間時間差、および、ステレオ信号の過渡タイプを示す分類指示に応じて、左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように構成されうる。
第1の態様の第34の実装形態によれば、ポストプロセッサは、分類指示が非過渡タイプを示す場合、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、チャネル間時間差に応じて、回復された左チャネル信号および右チャネル信号を後処理するように構成可能であり、ポストプロセッサは、分類指示がステレオ信号の過渡タイプを示す場合、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、分類指示に応じて、左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するようにさらに構成される。
第1の態様の第35の実装形態によれば、ポストプロセッサは、分類指示がステレオ信号の過渡タイプを示す場合、左チャネル信号および右チャネル信号のうち、より高い信号エネルギーを有する一方を後処理するように構成されうる。
第1の態様の第36の実装形態によれば、デバイスは、分類指示がステレオ信号の過渡タイプを示す場合、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するための判断器をさらに有してもよく、前記判断器は、ステレオ信号の過渡タイプを示す分類指示、および、デコードされたダウンミックス信号の過渡タイプを示すさらなる分類指示に応じて、判断するように構成される。
第1の態様の第37の実装形態によれば、デバイスは、分類指示がステレオ信号の過渡タイプを示す場合、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するための判断器をさらに有してもよく、前記判断器は、ステレオ信号の過渡タイプを示す分類指示、および、デコードされたダウンミックス信号の過渡タイプを示すさらなる分類指示に応じて、判断するように構成され、判断器は、第1の後処理エンティティおよび第2の後処理エンティティを制御するように構成される。
第1の態様の第38の実装形態によれば、デバイスは、分類指示がステレオ信号の過渡タイプを示す場合、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するための判断器をさらに有してもよく、判断器は、左チャネル信号および右チャネル信号のうち、より高い信号エネルギーを有する一方が後処理されると判断するように構成される。
ITDに加えて、判断器は、任意選択で、チャネルレベル差(CLD)および他のステレオパラメータを受信および使用してもよい。CLDおよび他のステレオパラメータは、任意選択で、エンコーダによって提供されうる。
いくつかの実装形態によれば、デバイスは、任意選択で、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するための判断器を有してもよく、前記判断器は、ステレオ信号の過渡タイプを示す分類指示に応じて判断するように構成され、判断器は、任意選択で、分類指示がステレオ信号の非過渡タイプを示す場合、右チャネル信号および左チャネル信号が後処理されると判断するように構成されうる。
したがって、ダウンミックス信号が過渡タイプであり、ステレオ信号が非過渡タイプである場合、右チャネル信号および左チャネル信号はともに、任意選択で後処理される。右チャネル信号および左チャネル信号を後処理するために、デコードされたダウンミックス信号の時間エンベロープ-モノラル時間エンベロープとも呼ばれる-は、異なる重み付け係数によって異なって重み付けされて、使用されうる。
いくつかの実装形態によれば、デバイスは、任意選択で、判断器、第1の後処理エンティティ、および、第2の後処理エンティティを有してもよい。判断器は、任意選択で、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように構成可能であり、前記判断器は、任意選択で、分類指示に応じて判断するように構成されうる。第1の後処理エンティティは、任意選択で、第1の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の、受信された時間エンベロープを使用して、左チャネル信号を後処理するように構成されうる。第2の後処理エンティティは、任意選択で、第2の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の、受信された時間エンベロープを使用して、右チャネル信号を後処理するように構成されうる。
判断器は、任意選択で、第1の重み付け係数および第2の重み付け係数を、ステレオ信号の左チャネルおよび右チャネルの受信されたチャネルレベル差(CLD)に応じて、計算するように構成されうる。
いくつかの実装形態によれば、デバイスは、任意選択で、判断器、第1の後処理エンティティ、および、第2の後処理エンティティを有してもよい。判断器は、任意選択で、左チャネル信号および右チャネル信号のうちどの1つまたは複数が後処理されるかを判断するように構成可能であり、前記判断器は、分類指示に応じて判断するように構成されうる。第1の後処理エンティティは、任意選択で、第1の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の、受信された時間エンベロープを使用して、左チャネル信号を後処理するように構成されうる。第2の後処理エンティティは、任意選択で、第2の重み付け係数によって重み付けされた、デコードされたダウンミックス信号の、受信された時間エンベロープを使用して、右チャネル信号を後処理するように構成されうる。判断器は、任意選択で、
Figure 0005681290
によって第1の重み付け係数aleftを、
Figure 0005681290
によって第2の重み付け係数arightを計算するように構成可能であり、ただし、
Figure 0005681290
Figure 0005681290
および
Figure 0005681290
である。
詳細には、チャネルレベル差(CLD)は、任意選択で、エンコーダ側で、以下の式を使用することによって、左チャネル信号および右チャネル信号から抽出されうる。
Figure 0005681290
ただし、kは、周波数ビンのインデックスであり、bは、周波数帯域のインデックスであり、kbは、帯域bの開始ビンであり、X1およびX2は、それぞれ左チャネルおよび右チャネルのスペクトルである。
さらに、分類指示は、任意選択で、CLD監視に基づいて生成されうる。2つの連続したフレーム間のCLDの急速な変化が検出される場合、ステレオ信号は、任意選択で、ステレオ過渡として分類されうる。
CLD_dqという名前のパラメータを使用して、2つのチャネルのエネルギー関係を判断することができる。CLD_dqは、任意選択で、上述の式(1)を使用して、すべてのより高帯域のCLDの平均として計算されうる。さらに、より高帯域の第1の帯域のCLDは、CLD_dqとして使用されうる。
CLD_dqが0よりも大きい場合、左チャネルのエネルギーは、右チャネルのエネルギーよりも高い。
モノラル時間エンベロープに適用された重み付け係数は、任意選択で、以下の方法で計算されうる。第1のステップは、任意選択で、CLDの平均を計算することでありうる。
Figure 0005681290
第2のステップは、cを計算することでありうる。
Figure 0005681290
最後のステップは、任意選択で、左チャネル信号の重み付け係数aleft、および、右チャネル信号の重み付け係数arightを計算することでありうる。
Figure 0005681290
および
Figure 0005681290
モノラルデコーディング処理から来る時間エンベロープを左チャネルおよび右チャネルに適用する前に、時間エンベロープには、任意選択で、対応する計算された重み付け係数が乗じられる。
さらなる実装形態によれば、判断器は、上述の実装形態のいずれかに従って、左チャネル信号および右チャネル信号を後処理するように、または、後処理しないように、ポストプロセッサ(または、第1の後処理エンティティおよび第2の後処理エンティティ)を制御するように適合される。
第1の態様のいかなる実装形態も、第1の態様のいずれかの他の実装形態と組み合わせて、第1の態様の別の実装形態を得ることができる。
第2の態様によれば、低ビットレートオーディオコーディングシステムによって、ステレオ信号から処理されたダウンミックス信号をデコードするためのデコーダが提案され、デコーダは、オーディオチャネルを介して受信されたダウンミックス信号をデコードするためのモノラルデコーダ、および、上記で説明された、デコードされたダウンミックス信号を後処理するためのデバイスを有する。
第2の態様の第1の実装形態によれば、デコーダは、ダウンミックス信号、および、ステレオ信号の左チャネル信号と右チャネル信号の間のチャネル間時間差に応じて、ステレオ信号の左チャネル信号および右チャネル信号を生成するためのアップミキサを有してもよい。
デコーダは、任意選択で、任意のデコーディング手段でありうる。さらに、ポストプロセッサは、任意選択で、任意の後処理手段でありうる。また、アップミキサは、任意選択で、任意のアップミキシング手段でありうる。
それぞれの手段、特に、デコーダ、ポストプロセッサおよびアップミキサは、任意選択で、ハードウェアにおいて、または、ソフトウェアにおいて実装されうる。前記手段がハードウェアにおいて実装される場合、前記手段は、任意選択で、デバイスとして、例えば、コンピュータとして、または、プロセッサとして、または、システム、例えば、コンピュータシステムの一部として実施されうる。前記手段がソフトウェアにおいて実装される場合、前記手段は、任意選択で、コンピュータプログラム製品として、機能として、ルーチンとして、プログラムコードとして、または、実行可能オブジェクトとして実施されうる。
第2の態様のいかなる実装形態も、第2の態様のいずれかの他の実装形態と組み合わせて、第2の態様の別の実装形態を得ることができる。
第3の態様によれば、低ビットレートオーディオコーディングシステムによって、ステレオ信号から処理された、デコードされたステレオ信号を後処理するための方法が提案される。この方法は、ステレオ信号の左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するためのものであり、左チャネル信号および右チャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される。この方法は、デコードされたダウンミックス信号から生成された左チャネル信号および右チャネル信号、デコードされたダウンミックス信号の時間エンベロープ、ステレオ信号の左チャネル信号と右チャネル信号の間のチャネル間時間差、および、ダウンミックス信号またはステレオ信号の過渡タイプを示す分類指示を受信するステップと、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、チャネル間時間差および分類指示に応じて、左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するステップとを有する。
第3の態様のいかなる実装形態も、第1または第2の態様のいずれかの実装形態に従って実装して、第3の態様の対応する実装形態を得ることができる。
第4の態様によれば、本発明は、少なくとも1つのコンピュータ上で実行されるとき、低ビットレートオーディオコーディングシステムによって、ステレオ信号から処理された、デコードされた過渡ダウンミックス信号を後処理するための方法を実行するためのプログラムコードを備える、コンピュータプログラムに関する。
第5の態様によれば、本発明は、マルチチャネル信号の複数のチャネル信号のうち少なくとも1つのチャネル信号を後処理するためのデバイスに関し、少なくとも1つのチャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成され、デバイスは、受信器およびポストプロセッサを備える。受信器は、デコードされたダウンミックス信号から生成された少なくとも1つのチャネル信号、デコードされたダウンミックス信号の時間エンベロープ、チャネル信号とダウンミックス信号の間のチャネル間時間差、および、ダウンミックス信号の過渡タイプを示す分類指示を受信するように適合される。ポストプロセッサは、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、分類指示およびチャネル間時間差に応じて、少なくとも1つのチャネル信号を後処理するように適合される。
3つ以上のチャネル信号を有するマルチチャネル信号をダウンミックスして、マルチチャネル信号が、ただ1つの単一のダウンミックス信号、および、対応する空間オーディオパラメータのセットによって、単一のダウンミックス信号から3つ以上のチャネル信号を再構成可能であるように表されるようにすることができる。この単一のダウンミックス信号はまた、モノラルダウンミックス信号とも呼ばれる。すなわち、モノラルダウンミックスの場合、例えば、5個のチャネル信号、例えば、前方チャネル信号、左チャネル信号、右チャネル信号、左後方チャネル信号、および、右後方チャネル信号を有する、マルチチャネル信号が、1つの単一のモノラルダウンミックス信号へとダウンミックスされる。ステレオ信号の、1つの単一のダウンミックス信号へのダウンミックスは、マルチチャネル信号のモノラルダウンミックスの特定の場合である。
しかし、3つ以上のチャネル信号、すなわち、M>2を有するマルチチャネル信号をダウンミックスして、マルチチャネル信号が、2つ以上のダウンミックス信号(であるが、典型的にはM個未満)、および、対応する空間オーディオパラメータのセットによって、2つ以上のダウンミックス信号から3つ以上のチャネル信号を再構成可能であるように表されるようにすることができる。各ダウンミックス信号は、マルチチャネル信号の3つ以上のチャネル信号のうち、少なくとも2つから導出される。左側の信号および中央の信号(例えば、左側と右側の間の中央に配置された前方チャネル信号)からのチャネル信号が使用されて、第1のダウンミックス信号が得られ、右側の信号および中央の信号からのチャネル信号が使用されて、第2のダウンミックス信号が得られる場合、両方のダウンミックス信号はまた、ステレオダウンミックス信号、すなわち、左ステレオダウンミックス信号および右ステレオダウンミックス信号とも呼ばれる。すなわち、ステレオダウンミックスの場合、例えば、5個のチャネル信号、例えば、前方チャネル信号、左チャネル信号、右チャネル信号、左後方チャネル信号、および、右後方チャネル信号を有する、マルチチャネル信号が、左ステレオダウンミックス信号および右ステレオダウンミックス信号へとダウンミックスされる。2つ以上のダウンミックス信号へのダウンミックスは、ステレオダウンミックス信号に限定されず、マルチチャネル信号の任意の組み合わせのチャネル信号から生じる任意の数のダウンミックス信号を含んでもよい。対応するダウンミックス信号は、したがって、第1、第2などのダウンミックスチャネル信号と呼ばれることもあり、これらの信号は全体として、ダウンミックス信号全体を形成する。
第5の態様の第1の実装形態によれば、このデバイスは、パラメトリックマルチチャネルオーディオデコーダにおいて使用するためのものである。
第5の態様の第2の実装形態によれば、複数のマルチチャネル信号は、ダウンミックス信号に関連するパラメトリックサイド情報を使用して、ダウンミックス信号のデコードおよびアップミックスされたバージョンから生成される。
第5の態様の第3の実装形態によれば、ダウンミックス信号のエネルギーの経時的な変化が所定の閾値を超える場合、分類指示は、ダウンミックス信号がダウンミックス過渡であることを示す。ダウンミックス信号がモノラルダウンミックス信号である場合、ダウンミックス信号はまた、ダウンミックス信号のエネルギーの経時的な変化が所定の閾値を超える場合、モノラル過渡であると呼ばれることもある。
第5の態様の第4の実装形態によれば、デバイスは、複数のチャネル信号のうち少なくとも1つのチャネル信号が後処理されるかどうかを判断するための判断器をさらに備え、判断器は、ダウンミックス信号の過渡タイプを示す分類指示に応じて判断するように構成される。
第5の態様の第5の実装形態によれば、デバイスは、複数のチャネル信号のうち少なくとも1つのチャネル信号が後処理されるかどうかを判断するように適合された判断器をさらに備え、判断器は、分類指示が、ダウンミックス信号がダウンミックス過渡ではないことを示す場合、少なくとも1つのチャネル信号を後処理しないように構成される。
第5の態様の第6の実装形態によれば、受信器は、複数のチャネル信号を受信するように適合され、デバイスは、マルチチャネル信号の複数のチャネル信号のうち、どの1つまたは複数のチャネル信号が後処理されるかを判断するように適合された判断器をさらに備え、判断器は、ダウンミックス信号に応じて判断するように構成される。
第5の態様の第7の実装形態によれば、受信器は、複数のチャネル信号を受信するように適合され、デバイスは、マルチチャネル信号の複数のチャネル信号のうち、どの1つまたは複数のチャネル信号が後処理されるかを判断するように適合された判断器をさらに備え、判断器は、分類指示が、ダウンミックス信号がダウンミックス過渡ではないことを示す場合、複数のチャネル信号のいずれも後処理しないように判断するように構成される。
第5の態様の第8の実装形態によれば、受信器は、複数のチャネル信号および複数のチャネル間時間差を受信するように適合され、チャネル間時間差の各々は、複数のチャネル信号のうちのチャネル信号に関連し、チャネル間時間差の各々は、それぞれのチャネル信号がダウンミックス信号に関して遅延されるかどうかを少なくとも示し、デバイスは、分類指示に応じて、複数のチャネル信号のうち、どの1つまたは複数が後処理されるかを判断するように、かつ、チャネル間時間差に応じて、それぞれのチャネル信号が、それぞれの重み付け係数によって重み付けされた、ダウンミックス信号の遅延された時間エンベロープによって、後処理されるかどうかを判断するように適合された判断器を、さらに備える。
第5の態様の第9の実装形態によれば、デバイスは、チャネル間時間差に基づいて、複数のチャネル信号のうち少なくとも1つのチャネル信号がダウンミックス信号に関して遅延されるかどうかを判断するために適合された判断器を、さらに有してもよい。
第5の態様の第10の実装形態によれば、デバイスは、チャネル間時間差に基づいて、少なくとも1つのチャネル信号がダウンミックス信号に関して遅延されるかどうかを判断するために、かつ、少なくとも1つのチャネル信号がダウンミックス信号に関して遅延される場合、ダウンミックス信号の時間エンベロープを遅延させて、遅延されたチャネル信号を後処理するための遅延された時間エンベロープを得るように適合された判断器を、さらに有してもよい。
第5の態様の第11の実装形態によれば、デバイスは、チャネル間時間差に基づいて、少なくとも1つのチャネル信号がダウンミックス信号に関して遅延されるかどうかを判断するために、かつ、少なくとも1つのチャネル信号がダウンミックス信号に関して遅延される場合、ダウンミックス信号の時間エンベロープを遅延させて、遅延されたチャネル信号を後処理するための遅延された時間エンベロープを得るように適合された判断器を、さらに有してもよく、判断器は、遅延された少なくとも1つのチャネル信号とダウンミックス信号の時間エンベロープとの間の遅延または時間差が低減されるように、ダウンミックス信号の時間エンベロープを遅延させるように適合される。
第5の態様の第12の実装形態によれば、デバイスは、チャネル間時間差に基づいて、少なくとも1つのチャネル信号がダウンミックス信号に関して遅延されるかどうかを判断するために、かつ、少なくとも1つのチャネル信号がダウンミックス信号に関して遅延される場合、ダウンミックス信号の時間エンベロープを遅延させて、遅延されたチャネル信号を後処理するための遅延された時間エンベロープを得るために適合された判断器をさらに有してもよく、判断器は、ダウンミックス信号の時間エンベロープを、チャネル間時間差だけ遅延させるように適合される。
第5の態様の第13の実装形態によれば、デバイスは、チャネル間時間差に基づいて、少なくとも1つのチャネル信号がダウンミックス信号に関して遅延されるかどうかを判断するために、かつ、少なくとも1つのチャネル信号がダウンミックス信号に関して遅延されない場合、ダウンミックス信号がダウンミックス過渡である場合は、重み付け係数によって重み付けされた時間エンベロープを使用して、少なくとも1つのチャネル信号を後処理するように、ポストプロセッサを制御するように適合された判断器を、さらに有してもよい。
第5の態様の第14の実装形態によれば、受信器は、複数のチャネル信号、複数のチャネル間時間差、および、複数のさらなる分類指示を受信するように適合され、さらなる分類指示の各々は、複数のチャネル信号のうちのチャネル信号に関連し、さらなる分類指示の各々は、それが関連するチャネル信号の過渡タイプを示す。デバイスは、複数のチャネル信号のうちどの1つまたは複数が後処理されるかを判断するように適合された判断器をさらに備え、判断器は、ダウンミックス信号の過渡タイプを示す分類指示に応じて、かつ、それぞれのチャネル信号の過渡タイプを示すさらなる分類指示に応じて、判断するように構成される。
第5の態様の第15の実装形態によれば、チャネル信号のエネルギーと基準信号のエネルギーの関係の経時的な変化が所定の閾値を超える場合、分類指示は、チャネルがチャネル過渡(channel transient)であることを示す。
第5の態様の第16の実装形態によれば、それぞれのチャネル信号と基準信号について決定されたチャネルレベル差(CLD)の経時的な変化が所定の閾値を超える場合、分類指示は、チャネルがチャネル過渡であることを示す。
第5の態様の第17の実装形態によれば、チャネル分類指示および/またはCLDを決定するために使用される基準信号は、ダウンミックス信号、複数のチャネル信号のうちの1つ、または、チャネル信号のうち少なくとも1つから導出された信号である。
チャネル信号の分類指示、ダウンミックス信号の分類指示、および、他のコーディングパラメータ、例えば、CLDは、マルチチャネル信号の時間特性および空間特性を定義するため、かつ、デコーダでモノラルダウンミックス信号からマルチチャネル信号の個々のチャネル信号を再構成するために、エンコーダ側で決定されるので、チャネル信号の分類指示、ダウンミックス信号の分類指示、チャネル信号のチャネル間時間差、および、他のコーディングパラメータは、(エンコーディングより前の)元のチャネル信号の特性、および、それらの互いの関係を指定するのみでなく、(デコーディング後の)再構成されたチャネル信号のそれぞれの特性、および、それらの互いの関係を等しく指定する。
第5の態様の第18の実装形態によれば、判断器は、複数のチャネル信号の各々について、それぞれのチャネル信号に関連するチャネル固有のチャネルレベル差CLDmを受信するように適合される。
第5の態様の第19の実装形態によれば、判断器は、分類指示が、ダウンミックス信号がダウンミックス過渡であることを示し、かつ、少なくとも1つのチャネル信号に関連するさらなるチャネル固有の分類指示が、少なくとも1つのチャネルがチャネル過渡ではないことを示す場合、少なくとも1つのチャネル信号を後処理するように、ポストプロセッサを制御するように構成される。
第5の態様の第20の実装形態によれば、判断器は、分類指示が、ダウンミックス信号がダウンミックス過渡であることを示し、少なくとも1つのチャネル信号に関連するさらなるチャネル固有の分類指示が、少なくとも1つのチャネル信号がチャネル過渡ではないことを示し、かつ、チャネル固有のチャネル間時間差が、チャネル信号がダウンミックス信号に関して遅延されることを示す場合、重み付け係数によって重み付けされた、ダウンミックス信号の遅延された時間エンベロープを使用して、少なくとも1つのチャネル信号を後処理するように、ポストプロセッサを制御するように構成される。
第5の態様の第21の実装形態によれば、判断器は、分類指示が、ダウンミックス信号がダウンミックス過渡であることを示し、少なくとも1つのチャネル信号に関連するさらなるチャネル固有の分類指示が、少なくとも1つのチャネル信号がチャネル過渡ではないことを示し、かつ、チャネル固有のチャネル間時間差が、チャネル信号がダウンミックス信号に関して遅延されないことを示す場合、重み付け係数によって重み付けされた(が、遅延されない)、ダウンミックス信号の時間エンベロープを使用して、少なくとも1つのチャネル信号を後処理するように、ポストプロセッサを制御するように構成される。
第5の態様の第22の実装形態によれば、判断器は、少なくとも1つのチャネル信号mと基準信号の間の受信されたチャネルレベル差CLDmに応じて、それによりダウンミックス信号の時間エンベロープが少なくとも1つのチャネル信号の後処理のために重み付けされるべきである、チャネル固有の重み付け係数を決定するように構成される。
第5の態様の第23の実装形態によれば、判断器は、チャネル固有の重み付け係数amを決定するように構成され、
Figure 0005681290
ただし、cは、以下によって決定され、
Figure 0005681290
ただし、acldmは、以下によって決定され、
Figure 0005681290
ただし、CLDm[b]は、以下によって決定され、
Figure 0005681290
および、ただし、mは、チャネルインデックスであり、kは、周波数ビンのインデックスであり、bは、周波数帯域のインデックスであり、kbは、帯域bの開始ビンであり、Xrefは、基準信号のスペクトルであり、Xmは、マルチチャネル信号の各チャネルのスペクトルである。
第5の態様の第24の実装形態によれば、マルチチャネル信号は、ステレオ信号であり、ステレオ信号は、第1のチャネルおよび第2のチャネルを備える。
第5の態様の第25の実装形態によれば、マルチチャネル信号は、ステレオ信号であり、第1のチャネル信号は、左チャネル信号であり、第2のチャネル信号は、ステレオ信号の右チャネル信号であり、または、その逆である。
第5の態様の第26の実装形態によれば、マルチチャネル信号は、ステレオ信号であり、ステレオ信号は、第1のチャネル信号および第2のチャネル信号を備え、基準信号は、ステレオ信号の第1もしくは第2のチャネル信号、または、ダウンミックス信号である。
第5の態様のいかなる実装形態も、第4の態様のいずれかの他の実装形態と組み合わせて、第5の態様の別の実装形態を得ることができる。
第6の態様によれば、パラメトリックマルチチャネルオーディオデコーディングのためのデコーダが提供され、デコーダは、ダウンミックスデコーダ、アップミキサ、および、第5の態様の実装形態のいずれかによるデバイスを備える。ダウンミックスデコーダは、マルチチャネル信号を表す、エンコードされたダウンミックス信号を受信し、エンコードされたダウンミックス信号をデコードして、デコードされたダウンミックス信号を生成するように構成される。アップミキサは、ダウンミックスデコーダからのデコードされたダウンミックス信号、および、デコードされたダウンミックス信号に関連するマルチチャネルパラメータを受信し、ダウンミックス信号のアップミックスおよびデコードされたバージョンを生成するように構成され、ダウンミックス信号のアップミックスおよびデコードされたバージョンは、マルチチャネル信号を形成する。
第6の態様の第1の実装形態によれば、デコーダは、多重化されたオーディオ信号を受信し、多重化されたオーディオ信号から、エンコードされたダウンミックス信号およびマルチチャネルパラメータを抽出するように適合されたデマルチプレクサをさらに備え、マルチチャネルパラメータは、少なくとも、ダウンミックス信号の分類指示、ダウンミックス信号の時間エンベロープ、少なくとも1つのチャネル信号のチャネル間時間差、および、任意選択で少なくとも、少なくとも1つのチャネル信号の過渡タイプを示す分類指示を含む。
第6の態様の第2の実装形態によれば、デマルチプレクサは、チャネル信号の各々について、それぞれのチャネル信号の過渡タイプを示すチャネル固有の分類指示を抽出するように適合される。
第6の態様の第3の実装形態によれば、マルチチャネルパラメータは、複数のチャネル信号の各チャネル信号について、または、少なくとも、複数のチャネル信号のサブセットのチャネル信号について、それぞれのチャネルに関連するチャネル固有のチャネルレベル差を含む。
第6の態様のいかなる実装形態も、第6の態様のいずれかの他の実装形態と組み合わせて、第6の態様の別の実装形態を得ることができる。
第7の態様によれば、マルチチャネル信号の複数のチャネル信号のうち少なくとも1つのチャネル信号を後処理するための方法が提供され、少なくとも1つのチャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される。この方法は、以下のステップを備える。デコードされたダウンミックス信号から生成された少なくとも1つのチャネル信号、デコードされたダウンミックス信号の時間エンベロープ、チャネル信号とダウンミックス信号の間のチャネル間時間差、および、ダウンミックス信号の過渡タイプを示す分類指示を受信するステップであって、チャネル間時間差は、少なくとも1つのチャネル信号に関連する。それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、分類指示およびチャネル間時間差に応じて、少なくとも1つのチャネル信号を後処理するステップである。
第7の態様のいかなる実装形態も、第5または第6の態様のいずれかの実装形態に従って実装して、第7の態様の対応する実装形態を得ることができる。
第8の態様によれば、本発明は、少なくとも1つのコンピュータ上で実行されるとき、第7の態様の実装形態のいずれかに従って、低ビットレートオーディオコーディングシステムによって処理された、デコードされたマルチチャネル信号を後処理するための方法を実行するためのプログラムコードを備える、コンピュータプログラムに関する。
それぞれの手段、特に、デコーダ、受信器、判断器、ポストプロセッサ、および、後処理エンティティは、当業者に知られているように、機能エンティティであり、ハードウェアにおいて、ソフトウェアにおいて、または、両方の組み合わせとして実装されうる。前記手段がハードウェアにおいて実装される場合、前記手段は、デバイスとして、例えば、コンピュータとして、または、プロセッサとして、または、システム、例えば、コンピュータシステムの一部として実施されうる。前記手段がソフトウェアにおいて実装される場合、前記手段は、コンピュータプログラム製品として、機能として、ルーチンとして、プログラムコードとして、または、実行可能オブジェクトとして実施されうる。
第5から第8の態様のステレオ実装形態は、マルチチャネルエンコーディング/デコーディングの特定の実装形態を形成し、その理由は、ステレオ信号は、2つのチャネル信号(M=2)、左チャネル信号および右チャネル信号のみを備えるのに対して、マルチチャネル信号は、2つ以上のチャネル信号(M≧2)を備えうるからである。
第1から第4の態様のステレオ実装形態はまた、(ダウンミックス信号を基準信号として使用する代わりに)チャネル信号のうち一方(すなわち、ステレオ信号の左チャネル信号または右チャネル信号)を、他方チャネル信号のチャネル過渡タイプを決定するための基準信号として使用する、第5から第8の態様によるステレオ/マルチチャネルステレオ実装形態のさらなる発展と見なされうる。第1から第4の態様のステレオ実装形態は、ステレオ信号が2つのチャネルのみを備えるので、同時に2つのチャネル信号のうち他方に関して、2つのチャネルのうち一方について決定された「チャネル過渡分類指示」(および、CLDmも)は、基準チャネル信号の過渡情報(またはエネルギー情報)を備える、という事実を、さらに使用する。したがって、ステレオ過渡分類は、1つのチャネル信号mにのみ関連するのではなく、ステレオ信号の両方のチャネル信号(左チャネル信号および右チャネル信号)に関連する、(マルチチャネル態様の)チャネル過渡分類の特定の場合と見なされうる。
したがって、第1から第4の態様の実装形態は、1つのステレオ分類のみが送信される必要があるので、ステレオ情報、特に、過渡情報およびエネルギー情報(例えば、CLD)を送信するために必要とされる帯域幅をなおさらに低減することを可能にするのに対して、ダウンミックス信号が基準として使用される場合、第5から第8の態様の実装形態は、2つの個々のチャネル分類指示(2つのチャネルの各々について1つ)を必要とする。
マルチチャネル態様の実装形態に戻ると、複数のチャネル信号のうち1つが基準信号として使用される場合、M-1個のチャネル信号(Mは、マルチチャネル信号を形成する複数のチャネル信号の数である)のみのためのチャネル過渡分類指示が必要とされる。基準信号自体の過渡分類は、他のM-1個のチャネル信号のチャネル過渡分類のいずれかに暗黙的に含まれ、基準チャネルのための後処理は、第1から第4の態様によるステレオコーディングのための実装形態におけるように判断されうる。それに応じて、基準チャネル信号を後処理するかどうかの判断は、M-1個のチャネル過渡分類のうち1つに応じて、または、M-1個のチャネル過渡分類のうち1つと組み合わせたダウンミックス信号のダウンミックス過渡分類情報に応じて、行われうる。
代替実装形態では、基準信号のための過渡分類は、基準信号自体に対して、ダウンミックス信号に対するように、すなわち、ダウンミックス過渡分類のように、別の信号との関係を評価せずに、行われうる。
本発明のさらなる実施形態を、以下の図面に関して説明する。
デコードされたステレオ信号を後処理するためのデバイスの一実施形態を示す図である。 デコードされたステレオ信号を後処理するためのデバイスを含むデコーダの第1の実施形態を示す図である。 図2のデコーダと結合可能なエンコーダの第1の実施形態を示す図である。 デコードされたステレオ信号を後処理するための方法の第1の実施形態を示す図である。 デコードされたステレオ信号を後処理するための方法の第2の実施形態を示す図である。 図7のデコーダと結合可能なエンコーダの第2の実施形態を示す図である。 デコードされたステレオ信号を後処理するためのデバイスを含むデコーダの第2の実施形態を示す図である。 デコードされたステレオ信号を後処理するための方法の第3の実施形態を示す図である。 その2つのチャネルが過渡である、元のステレオ信号を例示する図である。 重み付けされたモノラル時間エンベロープを使用する、2つの後処理されたチャネルを有する出力ステレオ信号を例示する図である。 ITDに基づいた後処理がある、出力ステレオ信号を例示する図である。 1つの過渡チャネルおよび1つの標準チャネルを有する、元のステレオ信号を例示する図である。 後処理なしの出力ステレオ信号を例示する図である。 両方のチャネルに対する後処理がある、出力ステレオ信号を例示する図である。 過渡である左チャネルのみの後処理がある、出力ステレオ信号を例示する図である。 左チャネル信号と右チャネル信号の間のITDを例示する図である。 デコードされたマルチチャネル信号を後処理するためのデバイスの一実施形態を示す図である。 デコードされたマルチチャネル信号を後処理するためのデバイスを含むデコーダの第3の実施形態を示す図である。 図18のデコーダと結合可能なエンコーダの第3の実施形態を示す図である。 デコードされたマルチチャネル信号を後処理するための方法の第1の実施形態を示す図である。 デコードされたマルチチャネル信号を後処理するための方法の第2の実施形態を示す図である。 デコードされたマルチチャネル信号を後処理するための方法の第3の実施形態を示す図である。
図1では、低ビットレートオーディオコーディングシステムによって処理された、デコードされたステレオ信号を後処理するためのデバイス101の一実施形態が例示される。デバイス101は、ステレオ信号の左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように適合され、左チャネル信号および右チャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される。以前に説明したように、ステレオイメージを表すパラメータに関連付けられたダウンミックス信号は、そのエンコードおよびデコードされたバージョンにおいて、ステレオ信号を表す。
デバイス101は、受信器103およびポストプロセッサ105を有する。
受信器103は、デコードされたダウンミックス信号から生成された左チャネル信号および右チャネル信号、デコードされたダウンミックス信号の時間エンベロープ、ステレオ信号の左チャネル信号と右チャネル信号の間のチャネル間時間差、および、ダウンミックス信号の過渡タイプを示す分類指示を受信するように構成される。
さらに、ポストプロセッサ105は、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、チャネル間時間差および分類指示に応じて、左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように適合される。例えば、このデバイスによって実行される、対応する方法の1つの特定の実施形態を、図5に基づいてより詳細に説明する。
詳細には、チャネル間時間差は、チャネル信号がダウンミックス信号の遅延された時間エンベロープを使用して後処理されるかどうか、または、どのチャネル信号がそうされるかを制御可能である。さらに、デコードされたダウンミックス信号の重み付けされた時間エンベロープは、選択された1つまたは複数のチャネル信号を後処理するためのツールでありうる。
デバイスのさらなる実施形態では、受信器103は、デコードされたダウンミックス信号から生成された左チャネル信号および右チャネル信号、デコードされたダウンミックス信号の時間エンベロープ、ステレオ信号の左チャネル信号と右チャネル信号の間のチャネル間時間差、および、ステレオ信号の過渡タイプを示す分類指示を受信するように構成される。このさらなる実施形態では、ポストプロセッサは、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、チャネル間時間差、および、ステレオ信号の過渡タイプを示す分類指示に応じて、左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように適合される。対応する方法の1つの特定の実施形態が実行される。
デバイスのなおさらなる実施形態では、受信器103は、デコードされたダウンミックス信号から生成された左チャネル信号および右チャネル信号、デコードされたダウンミックス信号の時間エンベロープ、ステレオ信号の左チャネル信号と右チャネル信号の間のチャネル間時間差、および、ダウンミックス信号の過渡タイプを示す分類指示、および、ステレオ信号の過渡タイプを示すさらなる分類指示を受信するように構成される。このさらなる実施形態では、ポストプロセッサは、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、チャネル間時間差と、ダウンミックス信号の過渡タイプを示す分類指示と、ステレオ信号の過渡タイプを示すさらなる分類指示とに応じて、左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように適合される。例えば、このデバイスによって実行される、対応する方法の1つの特定の実施形態を、図8に基づいてより詳細に説明する。
図2は、デコーダ201の第1の実施形態を示す。デコーダ201は、デマルチプレクサ203、モノラルデコーダ205、アップミキサ207、および、後処理のためのデバイス209を有する。後処理のためのデバイス209は、判断器211、第1の後処理エンティティ213、および、第2の後処理エンティティ215を有する。
デマルチプレクサ203は、受信されたダウンミックス信号217、例えば、ダウンミックスビットストリーム217、および、さらに、信号219、例えば、ステレオ信号の左チャネル信号と右チャネル信号の間のチャネル間時間差(ITD)と、チャネルレベル差(CLD)と、潜在的にさらなるステレオパラメータとを含む、パラメータのセット219を供給する。
モノラルデコーダ205は、ダウンミックス信号217を受信し、デコードされたダウンミックス信号221をアップミキサ207およびデバイス209に供給するように、構成される。
アップミキサ207は、ステレオ信号の左チャネル信号223および右チャネル信号225を出力するために、デコードされたダウンミックス信号221および信号219を受信する。
デバイス209の判断器211は、信号231、例えば、デコードされたダウンミックス信号の時間エンベロープと、デコードされたダウンミックス信号のタイプを示す分類指示とを含む、パラメータのセット231を受信するように構成される。分類指示は、デコードされたダウンミックス信号が過渡であるか標準であるかを示す。デバイス209の判断器211は、ステレオ信号の過渡タイプを示す分類指示を備える、信号219をさらに受信する。
判断器211は、左チャネル信号223および右チャネル信号225のうちどの1つまたは複数が後処理されるか、および、それらの信号がどのように後処理されるか(それらの信号が後処理される場合)を判断するように構成される。特に、前記判断器211は、ITDと、特に、ダウンミックス信号の過渡タイプを示す分類指示と、ステレオ信号の過渡タイプを示す分類指示とに応じて、判断するように構成される。この分類指示は、信号219に含まれうる。さらに、前記判断器211は、第1の制御信号227を用いて第1の後処理エンティティ213を、および、第2の制御信号229を用いて第2の後処理エンティティ215を制御するように構成されうる。
第1の後処理エンティティ213は、受信された、デコードされたダウンミックス信号の時間エンベロープ231を使用して、左チャネル信号223を後処理するように構成され、前記時間エンベロープは、第1の重み付け係数によって重み付けされる。
同様に、前記第2の後処理エンティティ215は、受信された、デコードされたダウンミックス信号の時間エンベロープ231を使用して、右チャネル信号225を後処理するように構成され、前記時間エンベロープは次いで、第2の重み付け係数によって重み付けされる。さらに、最初に来るのではない、または、すなわち、ステレオ信号の他方のチャネル信号に関して遅延される、チャネル信号のための重み付けされた時間エンベロープは、後処理の前に遅延される。
この点について、判断器211は、第1の重み付け係数および第2の重み付け係数を、ステレオ信号の左チャネルおよび右チャネルの、信号219の受信されたチャネルレベル差に応じて、計算するように構成されうる。
図2に関して、図3は、図2のデコーダ201と結合可能であるエンコーダ301の第1の実施形態を示す。図3のエンコーダ301および図2のデコーダ201は、送信チャネル、または、任意の他の通信リンク、例えば、有線もしくは無線通信リンクによって結合されうる。
エンコーダ301は、ダウンミキサ303、ダウンミックス過渡検出器305、エンコーディングエンティティ307、抽出器309、および、マルチプレクサ313を有する。
前記ダウンミキサ303は、ステレオ信号の左チャネル315および右チャネル317を受信する。ダウンミキサ303は、ダウンミックス信号319を出力し、前記ダウンミックス信号319は、ダウンミックス過渡検出器305およびエンコーディングエンティティ307に供給される。
ダウンミキサ303は、左チャネルおよび右チャネルをただ1つの単一のモノラルダウンミックス信号にダウンミックスするように適合されるので、ダウンミキサ303はまた、モノラルダウンミキサ303と呼ばれることもあり、ダウンミックス過渡検出器305は、モノラル過渡検出器305またはモノラルダウンミックス過渡検出器と呼ばれることもある。
モノラル過渡検出器305は、モノラルダウンミックス信号が過渡であるかどうかを検出し、モノラルダウンミックス信号319が過渡であるかどうかを示す分類指示325を出力するように適合される。モノラル過渡検出器は、モノラルダウンミックス信号の連続したフレームのエネルギーを評価し、1つのフレームから連続したフレームまでのモノラルダウンミックス信号のエネルギーの変化が所定の閾値を超えるとき、モノラルダウンミックス信号が過渡であることを検出するように適合されうる。
この検出のために、モノラルダウンミックス信号自体の(または、一般には、ダウンミックス信号自体の)ダイナミクスまたは経時的な変化が評価されるので(2つの信号のエネルギーのダイナミクスが評価される、後に説明するステレオ過渡分類およびチャネル過渡分類とは対照的に)、この過渡分類はまた、モノラル過渡分類(または、一般には、ダウンミックス過渡分類)とも呼ばれ、モノラルダウンミックス信号はまた、上記の条件が満たされる場合、例えば、1つのフレームから連続したフレームまでのモノラルダウンミックス信号の(または、一般には、ダウンミックス信号の)エネルギーの変化が所定の閾値を超える場合、モノラル過渡(または、一般には、ダウンミックス過渡)とも呼ばれる。
したがって、モノラル過渡検出器305の出力である、(モノラル)ダウンミックス信号の過渡タイプを示す分類指示325はまた、モノラルダウンミックス信号のモノラル過渡タイプを示す、すなわち、モノラルダウンミックス信号がモノラル過渡であるかどうかを示す、モノラル過渡分類指示、または、過渡分類と呼ばれることもある。
エンコーディングエンティティ307は、エンコードされたダウンミックス信号321、例えば、エンコードされたダウンミックスビットストリーム321、および、ダウンミックス信号の時間エンベロープ323を出力する。エンコーディングエンティティは、モノラル過渡検出器が、モノラルダウンミックス信号がモノラル過渡であることを検出する場合にのみ、モノラルダウンミックス信号の時間エンベロープを抽出するように適合されうる。エンコーディングエンティティは、例えば、フレーム全体を4つのサブフレームに分割し、各サブフレームのエネルギーを計算し、それらの4つのサブフレームのエネルギーの平方根をエンコードして、ダウンミックス信号の時間エンベロープを表すように適合されうる。
抽出器309は、ITD、CLDおよび他のステレオパラメータをステレオ信号から抽出するように構成される。ステレオ信号からの抽出されたITD、CLDおよび他のステレオパラメータは、信号327、例えば、ビットストリーム327によって転送されうる。
また、検出器311は、ステレオ過渡検出を提供し、ステレオ信号の過渡タイプを示す分類指示329を出力するように構成される。検出器は、ステレオ信号の連続したフレームについて、左チャネル信号と右チャネル信号の間のチャネルレベル差CLDを計算し、1つのフレームから連続したフレームまでのステレオ信号の、すなわち、ステレオ信号の左チャネル信号と右チャネル信号の間のCLDの変化が、所定の閾値を超える場合、ステレオ信号が過渡であることを検出するように実装されうる。
この検出のために、左チャネル信号および右チャネル信号の、すなわち、2つの信号のエネルギーの関係のダイナミクスまたは経時的な変化が評価されるので(ただ1つの信号のエネルギーのダイナミクスが評価される、上記で説明したモノラル過渡分類、または、以下で説明する一般的なダウンミックス過渡分類とは対照的に)、この過渡分類はまた、ステレオ過渡分類とも呼ばれ、ステレオ信号はまた、上記の条件が満たされる場合、例えば、1つのフレームから連続したフレームまでのステレオ信号のCLDの変化の大きさが所定の閾値を超える場合、ステレオ過渡であるとも呼ばれる。
したがって、抽出器309はまた、ステレオ過渡検出器と呼ばれることもあり、ステレオ信号の過渡タイプを示す分類指示(信号327に含まれる)はまた、ステレオ信号のステレオ過渡タイプを示す、すなわち、ステレオ信号がステレオ過渡であるかどうかを示す、ステレオ過渡分類指示、または、分類指示と呼ばれることもある。
図3のエンコーダの代替実施形態は、ダウンミックス信号の過渡タイプを示す分類指示のみを決定する(かつ、ステレオ信号の過渡タイプを示す分類指示を決定しない)ように、または、ステレオ信号の過渡タイプを示す分類指示のみを決定する(かつ、ダウンミックス信号の過渡タイプを示す分類指示を決定しない)ように適合されうる。
それに応じて、図2のデコーダの代替実施形態は、ダウンミックス信号の過渡タイプを示す分類指示のみを評価する(かつ、ステレオ信号の過渡タイプを示す分類指示を評価しない)ように、または、ステレオ信号の過渡タイプを示す分類指示のみを評価する(かつ、ダウンミックス信号の過渡タイプを示す分類指示を評価しない)ように適合されうる。
図4では、デコードされたステレオ信号を後処理するための方法の第1の実施形態が示される。後処理のための方法は、ステレオ信号の左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように適合され、左チャネル信号および右チャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される。
ステップ401で、デコードされたダウンミックス信号から生成された左チャネル信号および右チャネル信号、デコードされたダウンミックス信号の時間エンベロープ、ステレオ信号の左チャネル信号と右チャネル信号の間のチャネル間時間差(ITD)、および、ダウンミックス信号の過渡タイプを示す分類指示、および/または、ステレオ信号の過渡タイプを示す分類指示が受信される。
ステップ403で、左チャネル信号および右チャネル信号のうち少なくとも一方が、それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、ITDおよび分類指示に応じて、後処理される。
図1に関する、特に、ダウンミックス信号の過渡タイプを示す分類インジケータのみ、ステレオ信号の過渡タイプを示す分類インジケータのみ、または両方を使用する実施形態に関する説明は、異なる実施形態に等しく適用される。
さらに、図5は、デコードされたステレオ信号を後処理するための方法の第2の実施形態を示し、ダウンミックス信号の過渡タイプを示す分類指示のみが評価される(が、ステレオ信号の過渡タイプを示す分類指示は評価されない)。後処理のための方法は、ステレオ信号の左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように適合され、左チャネル信号および右チャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される。
ステップ501で、デコードされたダウンミックス信号が過渡であるかどうかがチェックされる。
デコードされたダウンミックス信号が非過渡である、すなわち、過渡ではない場合、例えば、ステップ503で、メモリのみが更新され、左チャネル信号および右チャネル信号のいずれも、重み付けされた時間エンベロープを使用することによって後処理されない。モノラルダウンミックス信号は典型的には、左チャネル信号および右チャネル信号のうち一方または両方が過渡である場合、過渡であるので、ダウンミックス信号の過渡タイプを示す分類インジケータが、ダウンミックス信号が過渡ではないこと、すなわち、モノラルダウンミックス信号がモノラル過渡ではないことを示す場合、左チャネル信号および右チャネル信号の両方のいずれも過渡ではなく、したがって、後処理が必要とされないと仮定することができる。
デコードされたダウンミックス信号が過渡である場合、この方法は、ステップ505へ進む。
ステップ505で、左チャネル信号および右チャネル信号のどちらが最初に来るかがチェックされる。または、すなわち、ステップ505で、チャネル間時間差(ITD)に基づいて、左チャネル信号および右チャネル信号のうち一方が、ステレオ信号の他方のチャネル信号に関して遅延されるかどうかがチェックされる。
ITDすなわちチャネル間時間差は、2つのチャネル間の遅延を表し、ステレオ信号から抽出されうる(が、マルチチャネル信号からも抽出可能であり、例えば、マルチチャネル信号の基準チャネル信号に関する、マルチチャネル信号の1つのチャネルのITDである)。ITDは、遅延を、典型的にはサンプルの数として表し、例えば、以下の式に基づいて計算されうる。
Figure 0005681290
IC(d)は、以下のように定義される、正規化された相互相関であり、
Figure 0005681290
ただし、x1およびx2は、相関されるべき第1の信号および第2の信号を表し、dは、遅延または時間差を表し、nは、時間インデックスを表し、Nは、最大時間インデックスを表す。
この相互相関は、帯域ごとに計算可能であることに留意されたい。その場合、x1およびx2の各々は、帯域制限された時間領域信号を表す。ITDの誤検出を回避するため、最大相関が閾値と比較されうる。最大相関が閾値よりも高い場合、検出された遅延は、ITDに対応する。そうでない場合、検出された遅延は、ITDを表さないことがあり、誤ったITDを導入することを回避するため、その値が0に変更される。したがって、ITD=0は、2つの、例えば、過渡信号が、同じ時点に到着する(すなわち、互いに関して遅延を有していない)こと、または、2つの信号の類似性(すなわち、相関)が十分に有意ではなかったことを意味することがある。
別法として、ITDは、他の相互相関、例えば、正規化されない相互相関において計算されてもよい。加えて、例えば、位相差計算もまた、チャネル間時間差を推定するために使用可能であり、「Estimation of Interchannel Time Difference in Frequency Subbands Based on Nonuniform Discrete Fourier Transform」、Bo Qiu、Yong Xu、Yadong Lu、およびJun Yang、EURASIP Journal on Audio, Speech, and Music Processing, Volume 2008 (2008)で提示されている通りである。
ステレオ信号では、x1およびx2が左チャネル信号および右チャネル信号にそれぞれ対応する場合、ITD<0は、左チャネル信号が最初に来る(すなわち、右チャネル信号が、左チャネル信号に関して遅延される)ことを意味し、ITD>0は、右チャネル信号が最初に来る(すなわち、左チャネル信号が、右チャネル信号と比較して遅延される)ことを意味する。もちろん、異なる取り決めを、ITD計算のために採用することができる。その場合、閾値0との比較は逆にされる。すなわち、x1およびx2が右チャネル信号および左チャネル信号にそれぞれ対応する場合、ITD<0は、右チャネル信号が最初に来る(すなわち、左チャネル信号が、右チャネル信号に関して遅延される)ことを意味し、ITD>0は、左チャネル信号が最初に来る(すなわち、右チャネル信号が、左チャネル信号と比較して遅延される)ことを意味する。ITD=0は、上記の相互相関の計算の両方について、両方の信号、左チャネル信号および右チャネル信号が互いに関して遅延されないか、または、十分に類似していないことを意味する。
ITDを計算するための上記の式を使用して、x1が左チャネル信号に対応し、x2が右チャネル信号に対応する場合において、ITD<0である場合、左チャネル信号が最初に来ること、および、ITD>0である場合、右チャネル信号が最初に来ることが定義される。ITDを計算するための一例は、参考文献[4]においてより詳細に説明されている。
上述のITDの計算(x1が左チャネル信号に対応し、x2が右チャネル信号に対応する)に基づいて、ステップ505で、ITDが0よりも小さい、すなわち、ITD<0であるかどうかが評価される。ITD<0である(すなわち、右チャネルが左チャネル信号に関して遅延される)場合、この方法は、ステップ507へ進む。
ステップ507で、右チャネル信号を後処理するために、モノラル時間エンベロープが、ITD個のサンプルだけ遅延される。
次いで、ステップ509で、右チャネル信号の時間エンベロープが、遅延および重み付けされたモノラル時間エンベロープを使用して回復される。
さらに、ステップ511で、左チャネル信号の時間エンベロープが、重み付けされたモノラル時間エンベロープを使用して回復される。詳細には、ステップ511で、時間シフトはない。
ステップ505で、結果が、ITDが0よりも小さくない、すなわち、ITD≧0である場合(これには、ITD>0、すなわち、左チャネル信号が右チャネル信号に関して遅延される場合、および、ITD=0、すなわち、2つのチャネル信号の間に遅延がない場合が含まれる)、この方法は、ステップ513へ進む。
ステップ513で、左チャネル信号を後処理するために、モノラル時間エンベロープが、ITD個のサンプルだけ遅延される。これには、ITDが0である場合、時間エンベロープを0個のサンプルだけ遅延させること、すなわち、実際には時間エンベロープを遅延させないことが含まれる。次いで、ステップ515で、左チャネル信号の時間エンベロープが、遅延および重み付けされたモノラル時間エンベロープを使用して回復される。
さらに、ステップ517で、右チャネル信号の時間エンベロープが、重み付けされたモノラル時間エンベロープを使用して回復される。詳細には、ステップ517で、重み付けされたモノラル時間エンベロープの時間シフトはない。
代替実施形態は、ステップ505で、(1)ITD>0であるかどうか、(2)ITD<0であるかどうか、および、(3)ITD=0であるかどうかを評価することを備えてもよく、ITD=0である場合に(図5のステップ505の2つの分岐(はいおよびいいえ)のみの代わりに)第3の分岐を含んでもよく、この分岐は、第1のチャネル固有の重み付け係数によって重み付けされた、重み付けされたモノラル時間エンベロープを使用するが、モノラル時間エンベロープを遅延させずに、左チャネル信号の時間エンベロープを回復させること、および、第2のチャネル固有の重み付け係数によって重み付けされた、重み付けされたモノラル時間エンベロープを使用するが、モノラル時間エンベロープを遅延させずに、右チャネル信号の時間エンベロープを回復させることを含む。
デコードされたダウンミックス信号の時間エンベロープに重み付けするためのそれぞれの重み付け係数を計算するための例を、上記に示す。
図6では、エンコーダ601の第2の実施形態が示される。前記エンコーダ601は、図7のデコーダ701と結合されうる。エンコーダ601は、G.722/G.711.1 SWBモノラルに基づいてもよい。
図6のエンコーダ601は、ダウンミキサ603、モノラルエンコーダ605、抽出器607、および、検出器609を有する。抽出器607は、CLDおよび他のステレオパラメータを抽出するように構成される。検出器609は、ステレオ過渡検出を提供するように構成される。
モノラルエンコーダ605は、帯域スプリッタ611、高帯域モノラル過渡検出器613、高帯域エンコーダ615、および、低帯域エンコーダ617を有する。
さらに、エンコーダ601は、マルチプレクサ619を有する。
ダウンミキサ603は、エンコードされるべきステレオ信号の左チャネル信号621および右チャネル信号623を受信する。ダウンミックス信号625は、前記ダウンミキサ603によって左チャネル信号621および右チャネル信号623から生成される。ダウンミックス信号625は、モノラルエンコーダ605に入力される。
入力されたダウンミックス信号625は、例示的にQMF帯域分割フィルタとして実施される帯域スプリッタ611によって、より低い帯域部分およびより高い帯域部分に分割される。これらは、低帯域エンコーダ617および高帯域エンコーダ615への入力として、それぞれ使用される。
高帯域モノラル過渡検出器613は、時間領域内の高帯域信号のエネルギーに基づいて、過渡検出(すなわち、モノラル過渡分類)を提供する。高帯域信号の時間エンベロープが抽出され、デコーダ(図7参照)へ、分類情報とともに送信される。
例えば、フレーム全体は、4つのサブフレームに分割可能であり、各サブフレームのエネルギーが計算されうる。それらの4つのサブフレームのエネルギーの平方根がエンコードされて、ダウンミックス信号の時間エンベロープを表すようにされうる。
CLDは、上述の式を使用することによって、左チャネル信号および右チャネル信号から抽出される。
さらに、ステレオ過渡は、ステレオ過渡検出器609によって検出されうる。この種類の検出はまた、CLD監視に基づいてもよい。2つの連続したフレーム間のCLDの急速な変化またはアタックが検出される場合、例えば、その変化が所定の閾値を超える場合、ステレオ信号は、ステレオ過渡として分類されうる。例えば、この検出は、以下のようにして行われうる。第1のステップで、対数領域内のすべての周波数帯域のCLD和が計算される。第2のステップで、前のN個のフレームのCLD和の平均が計算される。第3のステップで、現在のフレームのCLD和と、前のN個のフレームのCLD和の平均との間の差が計算される。第4のステップで、この差が閾値と比較されて、それが過渡ステレオ信号であるかどうかが判断される。この閾値は、実験に基づいてもよい。
上述のように、図7は、図6のエンコーダ601と結合可能であるデコーダ701の第2の実施形態を示す。
デコーダ701は、デマルチプレクサ703、SWBモノラルデコーダ705、WBモノラルデコーダ707、第1のアップミキサ709、第2のアップミキサ711、および、後処理のためのデバイス713を有する。
後処理のためのデバイス713は、判断器715、第1の後処理エンティティ717、および、第2の後処理エンティティ719を有する。
さらに、デコーダ701は、デコードおよび後処理された左チャネル信号を出力する、第1の直交ミラーフィルタ(QMF)721を有する。
さらに、デコーダ701は、デコードおよび後処理された右チャネル信号を出力するための、第2の直交ミラーフィルタ(QMF)723を有する。
したがって、低帯域ステレオ信号および高帯域ステレオ信号は、アップミキサ709および711の出力によって示すように、別々に再構成可能であり、出力ステレオ信号を生成するために、QMFフィルタ721および723の入力信号として使用されうる。特に、ステレオ後処理アルゴリズムは、高帯域デコーダにのみ適用されうる。
図6のエンコーダの代替実施形態は、ダウンミックス信号の過渡タイプを示す分類指示のみを決定する(かつ、ステレオ信号の過渡タイプを示す分類指示を決定しない)ように、または、ステレオ信号の過渡タイプを示す分類指示のみを決定する(かつ、ダウンミックス信号の過渡タイプを示す分類指示を決定しない)ように適合されうる。
それに応じて、図7のデコーダの代替実施形態は、ダウンミックス信号の過渡タイプを示す分類指示のみを評価する(かつ、ステレオ信号の過渡タイプを示す分類指示を評価しない)ように、または、ステレオ信号の過渡タイプを示す分類指示のみを評価する(かつ、ダウンミックス信号の過渡タイプを示す分類指示を評価しない)ように適合されうる。
図8は、デコードされたステレオ信号を後処理するための方法の第3の実施形態を示し、ダウンミックス信号の過渡タイプを示す分類指示、および、ステレオ信号の過渡タイプを示す分類指示が評価される。後処理のための方法は、ステレオ信号の左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するように適合され、左チャネル信号および右チャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される。図5に関して与えられた説明が、それに応じて適用される。
ステップ801で、デコードされたダウンミックス信号が過渡であるかどうかがチェックされる。デコードされたダウンミックス信号が非過渡である場合、ステップ803に示すように、メモリの更新のみが行われ、2つのチャネル信号のいずれも、左チャネル信号も右チャネル信号も、重み付けされた時間エンベロープを使用して後処理されない。デコードされたダウンミックス信号が過渡、すなわち、モノラル過渡である場合、この方法は、ステップ805へ進む。
ステップ805で、ステレオ信号がステレオ過渡であるかどうかがチェックされる。
ステレオ過渡分類指示は、両方のチャネル信号、左チャネル信号および右チャネル信号が異なるダイナミックを有するかどうか、すなわち、経時的に異なるコースを有するかどうかの、インジケータと見なされうる。左チャネル信号および右チャネル信号のコースの関係は、例えば、CLDに基づいて評価されるので、信号は、典型的には、両方の信号のうち一方のみが過渡であるか、または、両方が過渡であるが同じまたは類似の形ではない場合、例えば、左チャネル信号および右チャネル信号のエネルギーが経時的に異なる方向(増大または減少)に、または、異なる量で変化する場合、ステレオ過渡として分類されるようになる。ステレオ信号がステレオ過渡として分類されるために必要な差の程度は、使用されるメトリック、例えば、エネルギー、および、所定の閾値によって決まる。上述に鑑みて、ダウンミックス信号がモノラル過渡であり(ステップ801を参照)、ステレオ信号がステレオ過渡ではない場合、両方のチャネル信号、左チャネル信号および右チャネル信号は、同様の方法で過渡であると仮定される。したがって、両方のチャネル信号は、それぞれの重み付けされた時間エンベロープを使用して後処理されて、両方の信号の品質が向上される。
ダウンミックス信号がモノラル過渡であり(ステップ801を参照)、ステレオ信号がステレオ過渡である場合、一方のチャネル信号のみ、左チャネル信号または右チャネル信号が過渡であると仮定される。したがって、一方のチャネル信号のみが、それぞれの重み付けされた時間エンベロープを使用して後処理されて、そのチャネル信号の品質が向上されることが必要である。ステップ807が使用されて、両方のチャネル信号のどちらが、後処理されるべき過渡的な信号であるかが判定される。さらに、一方のチャネル信号のみが過渡であるため、両方の信号から生成されたダウンミックス信号の時間エンベロープは、一方の過渡的なチャネル信号の対応する時間エンベロープに大変類似しており、その理由は、元の過渡チャネル信号から直接生成されたであろうからである。したがって、ダウンミックス信号と過渡チャネル信号の間に関連のある遅延はないと仮定することができる。または、すなわち、ダウンミックス信号の時間エンベロープと、過渡チャネル信号の対応する時間エンベロープとの間に有意な遅延がない(それが元の過渡チャネル信号から直接導出されたであろう場合)、ダウンミックス信号の時間エンベロープから再構成されるべきである。したがって、ダウンミックス信号の時間エンベロープを遅延させることは、後処理のために必要とされない。
このようにして、ステップ805の答えがはいである(2つのチャネル信号のうち一方のみが過渡であり、後処理されるべきである)場合、この方法は、ステップ807へ進む。
ステップ805の答えがいいえである(両方のチャネル信号が過渡であり、後処理されるべきである)場合、この方法は、ステップ813へ進む。この場合、これらの信号のうち一方が他方のチャネル信号に関して、および、それに応じて、ダウンミックス信号に関しても、遅延されるかどうかが判定されるのみとなる(ステップ813、ITDの評価を参照)。
ステップ807で、CLD_dqが0よりも大きいかどうかがチェックされる。
CLD_dqが0よりも大きい場合、この方法は、ステップ809へ進む。そうでない場合、この方法は、ステップ811へ進む。
ステップ809で、左チャネルの時間エンベロープが、デコードされたダウンミックス信号の重み付けされた時間エンベロープを使用して回復され、左チャネル信号が、重み付けされた時間エンベロープを使用して後処理される。デコードされたダウンミックス信号の時間エンベロープに重み付けするための重み付け係数を計算するための例を、上記に示す。
ステップ811で、右チャネルの時間エンベロープが、デコードされたダウンミックス信号の重み付けされた時間エンベロープを使用して回復され、右チャネル信号が、重み付けされた時間エンベロープを使用して後処理される。
ステップ807〜811を参照すると、左チャネル信号は、CLD計算のための基準信号である、すなわち、CLDを定義する式(1)の分子の位置にあるチャネル信号であるので、左チャネル信号のエネルギーが右チャネル信号のエネルギーよりも大きい場合、デコードされたCLDは、0よりも大きい。過渡信号は典型的には、非過渡信号よりも高いエネルギーを有するので、CLDをインジケータとして使用して、両方のうちどちらが過渡チャネル信号であるかを判断することができる。したがって、デコードされたCLDがゼロよりも大きい場合、左チャネル信号は、過渡チャネル信号であると仮定され、それぞれの重み付けされた時間エンベロープを使用して後処理される(ステップ809)。デコードされたCLDがゼロよりも小さい場合、右チャネル信号は、過渡チャネル信号であると仮定され、それぞれの重み付けされた時間エンベロープを使用して後処理される(811)。
さらなる実施形態では、右チャネルが基準信号として使用されてもよく、他のメトリックが使用されて、2つの信号のどちらが過渡的な信号であるかが判定されてもよい。
ステップ813で、左チャネル信号および右チャネル信号のどちらが最初に来るかがチェックされる。上記で説明したように、ITD<0である場合、左チャネル信号が最初に来ると定義されうる。ITD>0である場合、右チャネル信号が最初に来る。
ITD<0である(すなわち、右チャネルが左チャネル信号に関して遅延される)場合、この方法は、ステップ815へ進む。ステップ815で、右チャネル信号を後処理するために、モノラル時間エンベロープが、ITD個のサンプルだけ遅延される。
次いで、ステップ817で、右チャネル信号の時間エンベロープが、遅延および重み付けされたモノラル時間エンベロープを使用して回復される。
さらに、ステップ819で、左チャネル信号の時間エンベロープが、重み付けされたモノラル時間エンベロープを使用して回復される。詳細には、ステップ819で、時間シフトはない。
ステップ813で、結果が、ITD≧0である場合(これには、ITD>0、すなわち、左チャネル信号が右チャネル信号に関して遅延される場合、および、ITD=0、すなわち、2つのチャネル信号の間に遅延がない場合が含まれる)、この方法は、ステップ821へ進む。
ステップ821で、左チャネル信号を後処理するために、モノラル時間エンベロープが、ITD個のサンプルだけ遅延される。これには、ITDが0である場合、時間エンベロープを0個のサンプルだけ遅延させること、すなわち、実際には時間エンベロープを遅延させないことが含まれる。
代替実施形態(図5に関して説明したもの)は、ステップ813で、(1)ITD>0であるかどうか、(2)ITD<0であるかどうか、および、(3)ITD=0であるかどうかを評価することを備えてもよく、ITD=0である場合に(図8のステップ813の2つの分岐(はいおよびいいえ)のみの代わりに)第3の分岐を含んでもよく、この分岐は、第1のチャネル固有の重み付け係数によって重み付けされた、重み付けされたモノラル時間エンベロープを使用するが、モノラル時間エンベロープを遅延させずに、左チャネル信号の時間エンベロープを回復させること、および、第2のチャネル固有の重み付け係数によって重み付けされた、重み付けされたモノラル時間エンベロープを使用するが、モノラル時間エンベロープを遅延させずに、右チャネル信号の時間エンベロープを回復させることを含む。
図8(2つの、はいおよびいいえの分岐のみ)によれば、次いで、ステップ823で、左チャネル信号の時間エンベロープが、遅延および重み付けされたモノラル時間エンベロープを使用して回復される。
さらに、ステップ825で、右チャネル信号の時間エンベロープが、重み付けされたモノラル時間エンベロープを使用して回復される。詳細には、ステップ825で、重み付けされたモノラル時間エンベロープの時間シフトはない。
また、現在のフレームのステレオ信号がステレオ過渡として分類される場合、または、前のフレームのダウンミックス信号が過渡であり、ステレオ信号が前のフレームでステレオ過渡として分類された場合、CLD_dqに基づくさらなる判断が必要とされうる(ステップ807の説明を参照)。そうでない場合、そのようなさらなる判断は、ITDに基づいてもよい(ステップ813の説明を参照)。
CLD_dqは、上述の式(2)を使用して、すべてのより高帯域のCLDの平均として計算されうる。さらに、より高帯域の第1の帯域のCLDは、CLD_dqとして使用されうる。
一方のチャネルのみが過渡である場合、そのチャネルのエネルギーは、他方のチャネルのエネルギーよりも高い。したがって、ステレオ過渡分類と組み合わせて、エネルギー情報が使用されて、どのチャネルが過渡であるかが識別されうる。
デコードされたCLDが正である場合、左チャネルのエネルギーは、右チャネルのエネルギーよりも高く、次いで、後処理は、重み付けされたモノラル時間エンベロープを使用して、左チャネルにのみ適用されうる。デコードされたCLDが負である場合、左チャネル信号のエネルギーは、右チャネル信号のエネルギーよりも小さく、次いで、後処理は、重み付けされたモノラル時間エンベロープを使用して、右チャネルにのみ適用されうる。
そのような追加の判断がITDに基づくとき、両方のチャネルを過渡として分類可能であり、それらのチャネルの一方は、ITD個のサンプルの遅延を伴う。
上記の定義によれば、ITD<0である場合、左チャネル信号が最初に来る。ITD>0である場合、右チャネル信号が最初に来る。
ITD>0である場合、重み付けされたモノラル時間エンベロープは、左チャネル信号への適用の前に、ITD個のサンプルだけ遅延されうる。右チャネル信号の時間エンベロープは、重み付けされたモノラル時間エンベロープを使用することのみによって、回復されうる。
ITD<0である場合、重み付けされたモノラル時間エンベロープは、右チャネル信号への適用の前に、ITD個のサンプルだけ遅延されうる。左チャネル信号の時間エンベロープは、重み付けされたモノラル時間エンベロープを使用することのみによって、回復されうる。
両方のチャネルの重み付け係数は、それぞれ上述の式(4)および(5)を使用することによって計算されうる。
その両方のチャネルが過渡であるステレオ信号のプレエコーアーチファクトは、除去されうる。この点について、図9は、その両方のチャネルが過渡である、元のステレオ信号を示す。さらに、重み付けされたモノラル時間エンベロープ(遅延なし)を使用した、2つの後処理されたチャネルを有する出力ステレオ信号が、図10に示される。図11では、ITDに基づいた後処理がある、出力ステレオ信号が示される。図9から図11の上部のチャートは、左チャネル信号を示し、下部のチャートは右チャネル信号を示す。図9からわかるように、左チャネル信号が最初に来るか、または、すなわち、右チャネル信号が、左チャネル信号に関して遅延される。
上記の図9から図11から、重み付けされたモノラル時間エンベロープが、遅延なしで左チャネル信号および右チャネル信号に直接適用される場合、図10の円内に示されるように、明らかなプレエコーアーチファクトが、遅延された右チャネル信号について観察されうることが、導出されうる。上記で説明したアルゴリズムは、特に、2つのチャネル間に遅延があるとき(図11を参照)、両方のチャネルのためにより良く再構成された時間エンベロープにより、状況を改善可能である(特に、改善された右チャネル信号を参照)。
図12から図15は、本発明の実装形態によれば、少なくとも1つの過渡チャネルを有するステレオ信号のプレエコーアーチファクトが除去されうることを例示する、性能を示す。この点について、図12は、1つの過渡チャネル(左チャネル信号、図12の上部)および1つの標準チャネル(右チャネル信号、図12の下部)を有する、元のステレオ信号を例示する図を示し、図13は、後処理なしの出力ステレオ信号を例示する図を示し、図14は、両方のチャネルに対する後処理がある、出力ステレオ信号を例示する図を示し、図15は、過渡である左チャネルのみの後処理がある、出力ステレオ信号を例示する図を示す。図12から図15の上部のチャートは、左チャネル信号を示し、下部のチャートは右チャネル信号を示す。
図13に関して、後処理が再構成されたステレオ信号に適用されない場合、明らかなプレエコーアーチファクトが左チャネル信号において観察されうる(図13の円を参照)。後処理が両方のチャネルに適用される場合、雑音が、右チャネル内で発見されうる(図14の円を参照)。後処理が左チャネル信号(遅延なし)のみに適用される場合、左チャネル信号におけるプレエコーアーチファクトは、少なくとも低減され、または、さらに完全に除去される。
したがって、図9から図15からわかるように、本アルゴリズムは、過渡信号のすべての組み合わせ、すなわち、左チャネルおよび右チャネル、左チャネルのみ、または、右チャネルのみにおいて、両方のチャネルのためにより良く再構成された時間エンベロープにより、状況を改善可能である。
図16は、左チャネル信号1603と右チャネル信号1605の間のITD 1601を例示する図を示す。
さらに、図16は、左チャネル信号1603の時間エンベロープ1607、および、右チャネル信号1605の時間エンベロープ1609を示す。ITD 1601は、参考文献[4]に記載されたように、計算されうる。また、図16は、左チャネル信号1603および右チャネル信号1605から生成されたダウンミックス信号の時間エンベロープ1611を示す。図16からわかるように、過渡左チャネルのエンベロープ1607信号の先頭は、ダウンミックス信号の時間エンベロープ1611の先頭と一致する。すなわち、過渡左チャネル信号の時間エンベロープは、ダウンミックス信号のエンベロープ信号を遅延させずに、回復可能である。しかし、同じく図16からわかるように、過渡右チャネルのエンベロープ1609信号の先頭は、ダウンミックス信号の時間エンベロープ1611の先頭に関して遅延され、この遅延は、左チャネル信号と右チャネル信号の間の遅延に対応する。したがって、ダウンミックス信号の時間エンベロープを遅延させずに、右チャネル信号の時間エンベロープを回復させるために、ダウンミックス信号の時間エンベロープ信号を使用することは、プレエコーアーチファクトをもたらす。ダウンミックス信号の時間エンベロープを遅延させて、右チャネル信号の時間エンベロープを回復させるために、ダウンミックス信号の時間エンベロープ信号を使用することは、プレエコーアーチファクトを低減する。遅延された右チャネル信号の時間エンベロープと、ダウンミックス信号の時間エンベロープとの間の時間差を低減する、ダウンミックス信号の時間エンベロープのいかなる遅延も、遅延を適用しないことと比較して、既にプレエコーアーチファクトを低減するので、再構成された右チャネル信号の品質を向上させる。チャネル間時間差ITDによる、例えば、ITDによって指定されたサンプルの数による、ダウンミックス信号の時間エンベロープの遅延は、遅延を適用しないことと比較して、プレエコーアーチファクトを最小限に低減するので、再構成された右チャネル信号の品質を最も向上させる。
図17では、低ビットレートオーディオコーディングシステムによって処理された、デコードされたマルチチャネル信号を後処理するためのデバイス101'の一実施形態が例示される。デバイス101'は、マルチチャネル信号の複数のチャネル信号のうち少なくとも1つのチャネル信号を後処理するように適合され、少なくとも1つのチャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される。説明したように、ダウンミックス信号は、そのエンコードおよびデコードされたバージョンにおいて、マルチチャネル信号を表す。
デバイス101'は、受信器103'およびポストプロセッサ105'を有する。
受信器103'は、マルチチャネル信号の複数のM個のチャネル信号のうち、少なくとも1つのチャネル信号を受信するように構成され、少なくとも1つのチャネル信号は、デコードされたダウンミックス信号、デコードされたダウンミックス信号の時間エンベロープ、少なくとも1つのチャネル信号とダウンミックス信号の間のチャネル間時間差(ITD)、および、ダウンミックス信号の過渡タイプを示す少なくとも1つの分類指示から生成される。
ポストプロセッサ105'は、重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、分類指示およびチャネル間時間差(ITD)に応じて、少なくとも1つのチャネル信号を後処理するように適合される。分類指示は、ポストプロセッサによって、少なくとも1つのチャネル信号が後処理されるかどうかを制御するために使用される。ITDは、ポストプロセッサによって、少なくとも1つのチャネル信号の後処理のために、ダウンミックス信号の時間エンベロープを遅延させるかどうかを判定するために使用されうる。
複数のMは、1よりも大きい、すなわち、M>1である。以下で、mは、複数のM個のチャネル信号のうちの特定のチャネル信号を記述するために、インデックスとして使用される。
さらなる実施形態は、マルチチャネル信号の複数のチャネル信号のうち一部または全部を受信するように構成された受信器103'を備えてもよく、チャネル信号の各々は、デコードされたダウンミックス信号、デコードされたダウンミックス信号の時間エンベロープ、および、チャネル信号の各々についての(または、少なくとも、チャネル信号のサブセットの各々についての)チャネル間時間差から生成され、チャネル固有のチャネル間時間差の各々は、ダウンミックス信号に関しての対応するチャネル信号の遅延を示す。ITDは、ゼロを含む、負の値から正の値までに及びうる。ゼロ(ITD=0)は、チャネル信号が、ゼロ、例えば、ゼロ個のサンプルの遅延を有することを示す。すなわち、ITD=0は、チャネル信号mがダウンミックス信号に関してゼロだけ遅延されること、すなわち、実際には遅延されないことを示す。さらなる実施形態のポストプロセッサ105'は、デコードされたダウンミックス信号の重み付けされた時間エンベロープに基づいて、かつ、ダウンミックス信号の分類指示、および、チャネル間時間差に応じて、複数のチャネル信号のうち少なくとも1つのチャネル信号を後処理するように適合される。分類指示は、複数のチャネル信号が後処理されるかどうかを制御するために使用される。チャネル固有のITDは、少なくとも1つのチャネル信号の後処理のために、ダウンミックス信号の時間エンベロープを遅延させるかどうかを判定するために使用されうる。
なおさらなる実施形態は、チャネル信号の各々のための(または、少なくとも、チャネル信号のサブセットの各々のための)分類指示を追加で受信するように構成された受信器103'を備えてもよく、チャネル固有の分類指示の各々は、対応するチャネル信号のそれぞれの過渡タイプを示す。さらなる実施形態のポストプロセッサ105'は、デコードされたダウンミックス信号の重み付けされた時間エンベロープに基づいて、かつ、ダウンミックス信号の過渡タイプを示すダウンミックス分類指示、および、それぞれのチャネル信号の過渡タイプを示すさらなるまたは追加のチャネル分類指示に応じて、複数のチャネル信号のうち少なくとも1つのチャネル信号を後処理するように適合されうる。ダウンミックス分類指示およびさらなるチャネル分類指示は、複数のチャネル信号のうちどれが後処理されるかを制御するために使用されうる。さらに、判断器は、チャネル固有のチャネル間時間差に応じて、それぞれのチャネル信号の後処理のために、遅延され重み付けされた時間エンベロープを適用するかどうか、ポストプロセッサを制御するように適合されうる。
さらなる実施形態によれば、デバイスは、判断器をさらに備える。判断器は、ダウンミックス信号の過渡タイプを識別する分類指示、および、チャネル間時間差(任意選択で、チャネルの過渡タイプを示すチャネル固有のさらなる分類指示も)を受信し、分類指示に応じて(任意選択で、加えて、さらなる分類指示に応じて)、チャネル固有に重み付けされた時間エンベロープを使用して少なくとも1つのチャネル信号を後処理するかどうか、および、チャネル間時間差に応じて、遅延され重み付けされた時間エンベロープを適用するかどうか、ポストプロセッサを制御するように適合される。
別の実施形態では、ポストプロセッサ105'は、デコードされたダウンミックス信号の時間エンベロープ、および、チャネル固有の重み付け係数を受信し、時間エンベロープにチャネル固有の重み付け係数を乗じることによって、重み付けされた時間エンベロープを生成するように適合される。
ポストプロセッサの実施形態は、チャネル信号のうち1つ、いくつかまたは全部を後処理するように適合された、ただ1つの後処理エンティティを備えてもよい。複数のチャネル信号のうちどれが後処理されるかの判断は、判断器によって制御される。他の実施形態は、2つ以上の後処理エンティティ、例えば、チャネル信号ごとに、判断器の制御に従って2つ以上のチャネル信号を後処理するように適合された1つまたは複数の専用後処理エンティティを備えてもよい。
図18は、デコーダ201'の第3の実施形態、すなわち、パラメトリックマルチチャネルオーディオデコーディングのためのデコーダを示す。デコーダ201'は、デマルチプレクサ203'、ダウンミックスデコーダ205'、アップミキサ207'、および、後処理のためのデバイス209'を有する。後処理のためのデバイス209'は、判断器211'、第1の後処理エンティティ213'、および、第2の後処理エンティティ215'を有する。
デマルチプレクサ203'は、ダウンミックス信号およびマルチチャネルパラメータを備える、多重化されたオーディオ信号を受信し、受信信号、例えば、受信ビットストリームを逆多重化して、受信されたダウンミックス信号217'、例えば、ダウンミックスビットストリーム217'、および、受信されたダウンミックス信号217'に関連するマルチチャネルオーディオコーディングパラメータ219'を出力するように適合される。マルチチャネルオーディオコーディングパラメータ219'は、ダウンミックス信号によって表されたマルチチャネル信号のチャネル信号の各々についての、チャネル間時間差(ITD)およびチャネルレベル差(CLD)を含む。チャネル固有のチャネル間時間差(ITD)はまた、ITDmとも呼ばれるようになり、チャネル固有のチャネルレベル差はまた、CLDmとも呼ばれるようになり、mは、マルチチャネル信号の複数のM個のチャネル信号のうちのチャネルを指定する、チャネルインデックスを表す。
ダウンミックスデコーダ205'は、エンコードされたダウンミックス信号217'を受信し、デコードされたダウンミックス信号221'を、後処理のためにアップミキサ207'およびデバイス209'に供給するように構成される。
アップミキサ207'は、デコードされたダウンミックス信号221'およびチャネル固有のチャネルレベル差CLDmを受信し、前述のデコードされたダウンミックス信号221'およびチャネル固有のCLDmに基づいて、出力として、マルチチャネル信号のM個のチャネル信号(例示的な2つの参照符号223'および225'によって示される)を生成するように適合される。参照番号223'および225'により参照された信号線の間の点は、マルチチャネル信号がM=2個より多いチャネル信号を有することがあることを示す。
デバイス209'の判断器211'は、デコードされたダウンミックス信号の時間エンベロープと、デコードされたダウンミックス信号の過渡タイプを示す分類指示とを含む、信号231'を受信するように構成される。分類指示は、デコードされたダウンミックス信号が過渡であるか標準であるか、例えば、過渡でないかを示す。デバイス209'の判断器211'は、チャネル固有のチャネル間時間差ITDm、チャネル固有のチャネルレベル差CLDm、および、チャネル固有の分類情報(信号219'を参照)を受信するようにさらに適合される。
判断器211'は、複数のM個のチャネル信号223'、225'のうちどの1つまたは複数が後処理されるかを判断するように構成される。判断器211'は、すなわち、チャネル信号のいずれも後処理されないかどうか、M個のチャネル信号のすべてが後処理されるかどうか、または、チャネル信号のサブセットのみが後処理されるかどうかを判断するように構成される。判断器211'は、チャネル信号の各々について、それぞれのチャネル信号の過渡タイプを示す、すなわち、チャネル信号の各々について、それぞれのチャネル信号が過渡であるか標準であるかを示す、分類指示に応じて、判断するように構成される。この分類指示は、信号219'に含まれうる。判断器はまた、チャネル信号mの後処理が、ダウンミックス信号の時間エンベロープの遅延されたバージョンを使用して行われるべきであるかどうかを判断するようにも適合される。
さらに、判断器211'は、それぞれの制御信号を用いて、後処理エンティティ213'、215'を制御するように構成されうる。図14では、後処理エンティティ213'を制御するための制御信号227'が示され、後処理エンティティ215'を制御するための制御信号229'が示される。後処理エンティティ213'は、受信された、デコードされたダウンミックス信号の時間エンベロープ231'を使用して、チャネル信号223'を後処理するように構成され、時間エンベロープは、対応するITDmによってそのように示される場合、チャネル信号223'に関連するチャネル固有の重み付け係数によって重み付けされ、チャネル固有に遅延される。
同様に、後処理エンティティ215'は、受信された、デコードされたダウンミックス信号の時間エンベロープ231'を使用して、チャネル信号225'を後処理するように構成され、時間エンベロープは、対応するITDmによってそのように示される場合、チャネル信号に関連するチャネル固有の重み付け係数によって重み付けされ、チャネル固有に遅延される。
判断器211'は、チャネル信号223'に関連する重み付け係数、および、チャネル信号225'に関連する重み付け係数を、それぞれの受信されたチャネルレベル差CLDm 219'に応じて計算または決定するように構成されうる。
図18に関して、図19は、オーディオエンコーダの第3の実施形態、例えば、図18のデコーダによってデコードされるべき、エンコードされたマルチチャネルオーディオ信号を供給するための、パラメトリックマルチチャネルオーディオエンコーダ301'を示す。図18のデコーダ201'は、送信チャネル、例えば、有線または無線通信リンクによって、図19のエンコーダ301'に接続されうる。
エンコーダ301'は、ダウンミキサ303'、ダウンミックス過渡検出器305'、エンコーディングエンティティ307'、抽出器309'、および、マルチプレクサ313'を有する。
ダウンミキサ303'は、マルチチャネル信号の複数のM個のチャネル信号を受信する。簡単にするために、図19では、複数のM個のチャネル信号のうち、2つの代表的なチャネル信号315'および317'のみが示される。ダウンミキサ303'は、ダウンミックス信号319'を生成かつ出力するようにさらに適合され、ダウンミックス信号319'は、ダウンミックス過渡検出器305'およびダウンミックスエンコーディングエンティティ307'に供給される。任意選択で、ダウンミックス信号が、チャネル信号のチャネル過渡分類、および/または、チャネル信号についてのチャネルレベル差CLDを決定するための、基準信号として使用される場合、ダウンミックス信号はまた、抽出器309'にも供給されうる。
ダウンミックス過渡検出器305'は、ダウンミックス信号が過渡であるかどうかを検出し、ダウンミックス信号319'が過渡であるかどうかを示す分類指示325'を出力するように適合される。ダウンミックス過渡検出器は、ダウンミックス信号の連続したフレームのエネルギーを評価し、1つのフレームから連続したフレームまでのダウンミックス信号のエネルギーの変化が所定の閾値を超えるとき、ダウンミックス信号が過渡であることを検出するように適合されうる。
この検出のために、ダウンミックス信号自体のダイナミクスまたは経時的な変化が評価されるので(2つの信号のエネルギーのダイナミクスが評価される、ステレオ過渡分類およびチャネル過渡分類とは対照的に)、この過渡分類はまた、ダウンミックス過渡分類とも呼ばれ、ダウンミックス信号はまた、上記の条件が満たされる場合、例えば、1つのフレームから連続したフレームまでのダウンミックス信号のエネルギーの変化が所定の閾値を超える場合、ダウンミックス過渡であるとも呼ばれる。
したがって、ダウンミックス過渡検出器305'によって出力される、ダウンミックス信号の過渡タイプを示す分類指示325'はまた、ダウンミックス信号のダウンミックス過渡タイプを示す、すなわち、ダウンミックス信号がダウンミックス過渡であるかどうかを示す、ダウンミックス過渡分類指示、または、過渡分類と呼ばれることもある。
エンコーディングエンティティ307'は、エンコードされたダウンミックス信号321'、および、ダウンミックス信号の時間エンベロープ323'を、例えば、ダウンミックス信号321'の一部として出力するように適合される。エンコーディングエンティティ307'は、ダウンミックス過渡検出器が、ダウンミックス信号がダウンミックス過渡であることを検出する場合にのみ、ダウンミックス信号の時間エンベロープを抽出するように適合されうる。エンコーディングエンティティは、例えば、フレーム全体を4つのサブフレームに分割し、各サブフレームのエネルギーを計算し、それらの4つのサブフレームのエネルギーの平方根をエンコードして、ダウンミックス信号の時間エンベロープを表すように適合されうる。
時間エンベロープ323'のように、分類指示325'は、ダウンミックス信号とともに、例えば、その一部として、デコーダへ送られる。
抽出器309'は、マルチチャネル信号のM個のチャネル信号を受信し、マルチチャネル信号の各チャネルmについて、チャネル固有のチャネル間時間差ITDm、チャネル固有のチャネルレベル差CLDm、および、他のマルチチャネルオーディオコーディングパラメータを、マルチチャネル信号から抽出するように構成される。マルチチャネル信号からの抽出されたITDm、CLDm、および、他のマルチチャネルコーディングパラメータは、信号327'によって、サイド情報としてデコーダへ転送される。
抽出器309'は、チャネル信号の各々についてチャネル過渡検出を提供し、チャネル信号の各々について、それぞれのチャネル信号の過渡タイプを示すチャネル固有の分類指示を、信号327'によって、サイド情報としてデコーダへ出力するようにさらに適合される。したがって、抽出器309'はまた、検出器309'と呼ばれることもある。
抽出器309'を実装して、マルチチャネル信号の連続したフレームのための各チャネル信号mについて、チャネルレベル差CLDmを計算し、1つのフレームから連続したフレームまでの、チャネル信号mに関連するCLD、例えば、チャネル信号mと基準信号の間で計算されたCLDの変化が所定の閾値を超える場合、チャネル信号mが過渡であることを検出することができる。基準信号は、マルチチャネル信号のダウンミックス信号、チャネル信号のいずれか、または、チャネル信号のうち少なくとも1つから導出されたいずれかの他の信号、例えば、複数のチャネル信号のサブセットから生成された追加のダウンミックス信号でありうる。
この検出のために、実際のチャネル信号mおよび基準信号の、すなわち、2つの信号のエネルギーの関係のダイナミクスまたは経時的な変化が評価されるので(ただ1つの信号のエネルギーのダイナミクスが評価される、ダウンミックス過渡分類およびモノラル過渡分類とは対照的に)、この過渡分類はまた、チャネル過渡分類とも呼ばれて、モノラルまたはダウンミックス過渡分類およびステレオ過渡分類とは区別される。それに応じて、チャネル信号はまた、上記の条件が満たされる場合、例えば、1つのフレームから連続したフレームまでのチャネルm信号に関連するCLDmの変化が所定の閾値を超える場合、チャネル過渡であるとも呼ばれる。
したがって、抽出器309'はまた、チャネル過渡検出器309'と呼ばれることもあり、チャネル信号の過渡タイプを示す分類指示はまた、チャネル信号のチャネル過渡タイプを示す、すなわち、チャネル信号がチャネル過渡であるかどうかを示す、チャネル過渡分類指示、または、分類指示と呼ばれることもある。
一実施形態によれば、ダウンミックス過渡検出器305'は、ダウンミックス過渡検出器305'が、ダウンミックス信号がダウンミックス過渡であることを検出する場合、エンコーディングエンティティがダウンミックス信号の時間エンベロープ323'のみを決定するように、エンコーディングエンティティ307'を制御する(305'から307'への矢印を参照)ように適合される。
代替実施形態では、エンコーディングエンティティ307'は、ダウンミックス過渡検出器が、ダウンミックス信号がダウンミックス過渡であることを検出したかどうかとは無関係に、時間エンベロープ323'を決定するように適合されうる。
図18および図19は、モノラルダウンミックスコーディングのための実施形態を示す。したがって、エンコーダ(図19)は、複数のチャネル信号をただ1つの単一のモノラルダウンミックス信号319'にダウンミックスするように適合されたモノラルダウンミキサ303'、モノラルダウンミックス信号319'をエンコードするように適合されたモノラルダウンミックスエンコーディングエンティティ307'、および、モノラルダウンミックス信号がモノラル過渡であるかどうかを検出するためのモノラル過渡検出器305'を備える。それに応じて、デコーダ(図18)は、受信された、エンコードされたモノラルダウンミックス信号217'をデコードするように適合されたモノラルダウンミックスデコーダ205'、および、1つのデコードされたモノラルダウンミックス信号221'から、複数のM個のチャネル信号223'、225'を生成するように適合されたモノラルアップミキサ207'を備える。
エンコーダおよびデコーダの代替実施形態は、多重またはステレオダウンミックスコーディングを行うために実装可能であり、例えば、マルチチャネル信号をダウンミックスして、マルチチャネル信号が、2つ以上のダウンミックス信号(であるが、典型的にはM個未満)、および、対応する空間オーディオパラメータのセットによって、3つ以上のダウンミックス信号からチャネル信号を再構成可能であるように表されるようにするために、実装可能である。各ダウンミックス信号は、マルチチャネル信号の3つ以上のチャネル信号のうち、少なくとも2つから導出される。そのような実施形態では、エンコーダは、複数のチャネル信号を2つ以上のダウンミックス信号にダウンミックスするように適合されたダウンミキサ、ダウンミックス信号をエンコードするように適合された1つまたは複数のダウンミックスエンコーディングエンティティ、および、少なくとも、ダウンミックス信号のうち1つがダウンミックス過渡であるかどうかを検出するように適合された、1つまたは複数のダウンミックス過渡検出器を備える。それに応じて、デコーダは、受信された、エンコードされたダウンミックス信号をデコードするように適合された1つまたは複数のダウンミックスデコーダ、2つ以上のデコードされたダウンミックス信号から、複数のM個のチャネル信号223'、225'を生成するように適合されたアップミキサ207'、および、ダウンミックス信号のうち少なくとも1つについて、それがダウンミックス過渡として分類されるかどうかを評価するように適合された判断器を備える。
図20は、デコードされたマルチチャネル信号を後処理するための方法の第1の実施形態のフローチャートを示す。この後処理のための方法は、マルチチャネル信号の複数のチャネル信号のうち少なくとも1つのチャネル信号を後処理するように適合され、少なくとも1つのチャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される。説明したように、ダウンミックス信号は、そのエンコードおよびデコードされたバージョンにおいて、マルチチャネル信号を表す。この方法は、以下のステップを備える。
デコードされたダウンミックス信号から生成された少なくとも1つのチャネル信号、デコードされたダウンミックス信号の時間エンベロープ、チャネル信号とダウンミックス信号の間のチャネル間時間差、および、ダウンミックス信号の過渡タイプを示す分類指示を受信するステップ401'であって、チャネル間時間差は、少なくとも1つのチャネル信号に関連する。
それぞれの重み付け係数によって重み付けされた、デコードされたダウンミックス信号の時間エンベロープに基づいて、かつ、分類指示およびチャネル間時間差に応じて、少なくとも1つのチャネル信号を後処理するステップ403'である。
図21は、デコードされたマルチチャネル信号を後処理するための方法の第2の実施形態のフローチャートを示し、ダウンミックス信号が基準信号として使用される。この後処理のための方法は、マルチチャネル信号の複数のチャネル信号のうち少なくとも1つのチャネル信号を後処理するように適合され、少なくとも1つのチャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される。説明したように、ダウンミックス信号は、そのエンコードおよびデコードされたバージョンにおいて、マルチチャネル信号を表す。この方法は、以下のステップを備える。
ステップ501'は、ダウンミックス信号が過渡であるかどうかをチェックすることを備える。
ダウンミックス信号が過渡ではない場合、例えば、ステップ503'で、メモリのみが更新される。ダウンミックス信号のチャネル固有に重み付けされた時間エンベロープを使用する、マルチチャネル信号のいずれの後処理も行われない。ダウンミックス信号は典型的には、それが導出された元のマルチチャネル信号のチャネル信号のうち少なくとも1つが過渡である場合、過渡であるので、ダウンミックス信号の過渡タイプを示す分類インジケータが、ダウンミックス信号が過渡ではないこと、すなわち、ダウンミックス信号がダウンミックス過渡ではないことを示す場合、チャネル信号のいずれもが過渡ではなく、したがって、後処理が必要とされないと仮定することができる。
デコードされたダウンミックス信号が過渡である場合、この方法は、ステップ505'へ進む。
ステップ505'で、チャネル信号mおよびダウンミックス信号のうちどちらが最初に来るかがチェックされる。または、すなわち、ステップ505'で、チャネル間時間差(ITD)に基づいて、チャネル信号が、ダウンミックス信号に関して遅延されるかどうかがチェックされる。
ITDすなわちチャネル間時間差は、2つのチャネル信号間の遅延を表し、マルチチャネル信号の2つの信号のうちいずれかから、または、マルチチャネル信号のいずれかのチャネル信号mおよび基準信号、例えば、ここで使用されるようなダウンミックス信号について、抽出されうる。図21に記載された実施形態では、ダウンミックス信号に関してのチャネル信号mのITDは、例えば、エンコーダで決定され、デコーダで評価される。ITDは、遅延を、典型的にはサンプルの数として表し、例えば、以下の式に基づいて計算されうる。
Figure 0005681290
IC(d)は、以下のように定義される、正規化された相互相関であり、
Figure 0005681290
ただし、x1およびx2は、相関されるべき第1の信号および第2の信号を表し、dは、遅延または時間差を表し、nは、時間インデックスを表し、Nは、最大時間インデックスを表す。
この相互相関は、帯域ごとに計算可能であることに留意されたい。ITDの誤検出を回避するため、最大相関が閾値と比較されうる。最大相関が閾値よりも高い場合、検出された遅延は、ITDに対応する。そうでない場合、検出された遅延は、ITDを表さないことがあり、誤ったITDを導入することを回避するため、その値が0に変更される。したがって、ITD=0は、過渡チャネル信号および過渡ダウンミックス信号が、互いに関して遅延を有していないこと、または、2つの信号の類似性(すなわち、相関)が十分に有意ではなかったことを意味することがある。
別法として、ITDは、他の相互相関、例えば、正規化されない相互相関において計算されてもよい。加えて、例えば、位相差計算もまた、チャネル間時間差を推定するために使用可能であり、「Estimation of Interchannel Time Difference in Frequency Subbands Based on Nonuniform Discrete Fourier Transform」、Bo Qiu、Yong Xu、Yadong Lu、およびJun Yang、EURASIP Journal on Audio, Speech, and Music Processing, Volume 2008 (2008)で提示されている通りである。
マルチチャネル信号では、x1およびx2がダウンミックス信号およびチャネル信号mにそれぞれ対応する場合、ITD<0は、ダウンミックス信号が最初に来る(すなわち、チャネル信号mがダウンミックスチャネル信号に関して遅延される)ことを意味し、ITD>0は、ダウンミックス信号がチャネル信号mと比較して遅延されることを意味する。もちろん、異なる取り決めを、ITD計算のために採用することができる。その場合、閾値0との比較は逆にされる。すなわち、x1およびx2がチャネル信号mおよびダウンミックス信号にそれぞれ対応する場合、ITD<0は、チャネル信号mが最初に来る(すなわち、ダウンミックス信号がチャネル信号mに関して遅延される)ことを意味し、ITD>0は、チャネル信号mがダウンミックス信号と比較して遅延されることを意味する。ITD=0は、上記の相互相関の計算の両方について、両方の信号、ダウンミックス信号およびチャネル信号mが互いに関して遅延されないか、または、十分に類似していないことを意味する。
ITDを計算するための上記の式を使用して、x1がダウンミックス信号に対応し、x2がチャネル信号mに対応する場合、ITD<0である場合、ダウンミックス信号が最初に来ること、および、ITD>0である場合、チャネル信号mが最初に来ることが定義される。ITDを計算するための一例は、参考文献[4]においてより詳細に説明されている。
上述のITDの計算(x1がダウンミックス信号に対応し、x2がチャネル信号mに対応する)に基づいて、ステップ505'で、ITDが0よりも小さい、すなわち、ITD<0であるかどうかが評価される。ITD<0である(すなわち、チャネル信号mがダウンミックス信号に関して遅延される)場合、この方法は、ステップ507'へ進む。
ステップ507'で、チャネル信号mを後処理するために、モノラル時間エンベロープが、ITD個のサンプルだけ遅延される。
次いで、ステップ509'で、チャネル信号mの時間エンベロープが、遅延および重み付けされたモノラル時間エンベロープを使用して回復される。
ステップ505'で、結果が、ITDが0よりも小さくない、すなわち、ITD≧0である場合(これには、ITD>0、すなわち、ダウンミックス信号がチャネル信号mに関して遅延される場合、および、ITD=0、すなわち、2つの信号の間に遅延がない場合が含まれる)、この方法は、ステップ515'へ進む。
次いで、図21によれば、ステップ515'で、チャネル信号の時間エンベロープが、遅延なしに、重み付けされたモノラル時間エンベロープを使用して回復される。
代替実施形態は、ステップ505'で、(1)ITD>0であるかどうか、(2)ITD<0であるかどうか、および、(3)ITD=0であるかどうかを評価することを備えてもよく、(1)および(3)の場合、ダウンミックス信号の(遅延されていない)重み付けされた時間エンベロープにより、チャネル信号mの後処理を行ってもよく、(2)の場合、ダウンミックス信号の遅延され重み付けされた時間エンベロープにより、チャネル信号mの後処理を行ってもよい。
デコードされたダウンミックス信号の時間エンベロープに重み付けするためのそれぞれの重み付け係数を計算するための例を、上記に示す。
図22は、デコードされたマルチチャネル信号を後処理するための方法の第3の実施形態のフローチャートを示し、ダウンミックス信号が基準信号として使用される。この後処理のための方法は、マルチチャネル信号の複数のチャネル信号のうち少なくとも1つのチャネル信号を後処理するように適合され、少なくとも1つのチャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成される。説明したように、ダウンミックス信号は、そのエンコードおよびデコードされたバージョンにおいて、マルチチャネル信号を表す。この方法は、以下のステップを備える。
ステップ801'は、ダウンミックス信号が過渡であるかどうかをチェックすることを備える。
ダウンミックス信号が過渡ではない場合、例えば、ステップ803'で、メモリのみが更新される。ダウンミックス信号のチャネル固有に重み付けされた時間エンベロープを使用する、マルチチャネル信号のいずれの後処理も行われない。ダウンミックス信号は典型的には、それが導出された元のマルチチャネル信号のチャネル信号のうち少なくとも1つが過渡である場合、過渡であるので、ダウンミックス信号の過渡タイプを示す分類インジケータが、ダウンミックス信号が過渡ではないこと、すなわち、ダウンミックス信号がダウンミックス過渡ではないことを示す場合、チャネル信号のいずれもが過渡ではなく、したがって、後処理が必要とされないと仮定することができる。
デコードされたダウンミックス信号が過渡である場合、この方法は、ステップ805'へ進む。ステップ805'は、チャネルmが過渡であるかどうかをチェックすることを備える。チャネル過渡分類指示は、チャネルmが基準信号と比較して異なるダイナミックを有するかどうか、すなわち、チャネル信号mおよび基準信号が経時的に異なるコースを有するかどうかの、インジケータと見なされうる。チャネル信号mおよび基準信号のコースの関係は、例えば、CLDに基づいて評価されるので、チャネル信号は、典型的には、両方の信号のうち一方のみが過渡であるか、または、両方が過渡であるが同じまたは類似の形ではない場合、例えば、チャネル信号mおよび基準チャネル信号のエネルギーが経時的に異なる方向(増大または減少)に、または、異なる量で変化する場合、チャネル過渡として分類されるようになる。チャネル信号がチャネル過渡として分類されるために必要な差の程度は、使用されるメトリック、例えば、エネルギー、および、所定の閾値によって決まる。上述に鑑みて、ダウンミックス信号がダウンミックス過渡として分類され(ステップ801'を参照)、チャネル信号がチャネル過渡ではない場合、両方の信号、チャネル信号mおよび基準信号は、同様の方法で過渡であると仮定される。さらに、上述に鑑みて、ダウンミックス信号がダウンミックス過渡として分類され(ステップ801'を参照)、チャネル信号がチャネル過渡である場合、チャネル信号mは過渡ではないと仮定される。
チャネル信号mがチャネル過渡である場合、この方法は、ステップ807'へ進み、そこで、チャネル信号mの後処理は行われない。
しかし、チャネル信号mがチャネル過渡ではない場合、この方法は、ステップ813'へ進み、チャネルmは、チャネル固有の重み付け係数によって重み付けされ、かつ、ITDによって潜在的に遅延された、ダウンミックス信号の時間エンベロープを使用して、後処理される。
ステップ813'〜821'は、図21のステップ505'〜515'に対応する。
したがって、ステップ813'で、図21のステップ505'と同様に、チャネル信号mおよびダウンミックス信号のうちどちらが最初に来るかがチェックされる。または、すなわち、ステップ505'で、チャネル間時間差(ITD)に基づいて、チャネル信号が、ダウンミックス信号に関して遅延されるかどうかがチェックされる。
図21に関して与えられたITDの計算(x1がダウンミックス信号に対応し、x2がチャネル信号mに対応する)に基づいて、ステップ813'で、ITDが0よりも小さい、すなわち、ITD<0であるかどうかが評価される。ITD<0である(すなわち、チャネル信号mがダウンミックス信号に関して遅延される)場合、この方法は、ステップ815'(はい)へ進む。
ステップ815'で、チャネル信号mを後処理するために、モノラル時間エンベロープが、ITD個のサンプルだけ遅延される。
次いで、ステップ817'で、チャネル信号mの時間エンベロープが、遅延および重み付けされたモノラル時間エンベロープを使用して回復される。
ステップ813'で、結果が、ITDが0よりも小さくない、すなわち、ITD≧0である場合(これには、ITD>0、すなわち、ダウンミックス信号がチャネル信号mに関して遅延される場合、および、ITD=0、すなわち、2つの信号の間に遅延がない場合が含まれる)、この方法は、ステップ821'(いいえ)へ進む。
次いで、ステップ821'で、チャネル信号の時間エンベロープが、遅延なしに、重み付けされたモノラル時間エンベロープを使用して回復される。
代替実施形態に関して、図21に関して与えられた考察は、図22に等しく適用される。
ステップ805'(チャネル過渡評価)のためのさらなる代替実施形態では、チャネル信号のうち1つが基準信号として使用される。この場合、M-1個のチャネル過渡分類指示のみが、M個のチャネル信号を後処理するかどうかを判断するために必要とされる。基準チャネル信号を後処理するかどうかの判断のために、(図5および図8に基づいて)ステレオコーディングについて説明したものと同じまたはそれに類似した方法を使用することができる。
別の代替実施形態では、ダウンミックス信号全体が、1以上かつMより少ないいくつかのダウンミックス信号によって形成される。その場合、基準信号は、ダウンミックス信号のうち1つでありうるものであり、ダウンミックス信号が過渡であるかどうかを示すダウンミックス過渡指示は、このダウンミックス信号に関連付けられる。
図18、図19および図22を参照すると、マルチチャネルオーディオエンコーディングおよびデコーディングは、以下のように行われうる。
最初に、エンコーダ(図19を参照)で、ダウンミックス信号が、マルチチャネル信号を形成する複数のM個のチャネル信号C1〜CM(参照符号315'および317'に対応する)から生成され、ダウンミックスエンコーダ307'への入力として使用される。ダウンミックスエンコーダ内に、過渡検出モデルがある。ダウンミックス信号319'がダウンミックス過渡として分類される場合、ダウンミックス信号の時間エンベロープ323'は、ダウンミックスエンコーダ307'によって抽出され、デコーダへ送信されるようになる。
CLDは、抽出器309'によって、以下の式を使用することによって、マルチチャネル信号から抽出される。
Figure 0005681290
ただし、kは、周波数ビンのインデックスであり、bは、周波数帯域のインデックスであり、kbは、帯域bの開始ビンであり、Xrefは、基準信号のスペクトルであり、Xmは、マルチチャネル信号の各チャネルのスペクトルである。基準信号のスペクトルXrefは、ダウンミックス信号D 319'のスペクトル、または、([1,M]におけるmについて)チャネルXmのうち1つのスペクトルのいずれかでありうる。
チャネル過渡もまた、検出される必要がある。この種類の検出は、例えば、CLDm監視に基づき、また、抽出器309'によっても行われる。2つの連続したフレーム間のCLDmの、アタックとも呼ばれる、急速な変化が検出される場合、チャネルmは、チャネル過渡として分類される。
さらに、各チャネルmについて、チャネル間時間差が、以下の式に基づいて、マルチチャネル信号から、抽出器309'によって計算される(チャネル信号mとダウンミックス信号の間の遅延を表す)。
Figure 0005681290
IC(d)は、以下のように定義される、正規化された相互相関であり、
Figure 0005681290
ただし、x1は、ダウンミックス信号を表し、x2は、チャネル信号mを表す。ITDの誤検出を回避するため、最大相関が閾値と比較されうる。最大相関が閾値よりも高い場合、検出された遅延は、ITDに対応する。そうでない場合、検出された遅延は、ITDを表さないことがあり、誤ったITDを導入することを回避するため、その値が0に変更される。
デコーダ(図18を参照)で、マルチチャネル信号は、デコードされたダウンミックス信号、および、ダウンミックス信号に関連するマルチチャネルパラメータを使用することによって、再構成されうる。
デコードされたダウンミックス信号からの受信された分類が、ダウンミックス過渡である場合、本発明の実施形態は、追加の処理モジュールを使用して、過渡マルチチャネル信号の品質を向上させる。
ダウンミックス信号のダウンミックス時間エンベロープに適用された重み付け係数は、判断器211'によって、以下の方法で計算される。第1のステップは、CLDmの平均を計算することである。
Figure 0005681290
第2のステップは、cを計算することである。
Figure 0005681290
最後のステップで、チャネルmの重み付け係数が、以下によって計算される。
Figure 0005681290
ダウンミックスデコーディング処理から来る時間エンベロープをチャネルmに適用する前に、この時間エンベロープには最初に、対応する重み付け係数amが乗じられる。
マルチチャネルコーディングについて説明したような、チャネルmがチャネル過渡であるかどうか、および、ダウンミックス信号の時間エンベロープに関して遅延されるかどうかの判定と、チャネル固有の重み付け係数amの計算と、ダウンミックス信号の時間エンベロープおよびチャネル固有の重み付け係数amに基づく、チャネル固有の重み付けされた時間エンベロープの生成と、重み付けされた時間エンベロープを遅延させることと、チャネル固有の時間エンベロープに基づくチャネル信号の後処理とは、複数のチャネル信号のうちの各チャネルに対して、または、ただ1つもしくはいくつかに対して行うことができ、並列または直列に行うことができる。
マルチチャネル信号のM個のうち全部(または、1つのチャネル信号が基準信号として使用される場合、M-1個)のチャネルがチャネル過渡分類される実施形態を主に説明したが、エンコーダ、デバイスおよびデコーダ、ならびに、それぞれの方法の他の実施形態は、M個のチャネル信号のサブセットのみがエンコードおよびデコードされるか、または、チャネル分類および後処理されるように、実装されてもよい。M>2個のチャネルを有するマルチチャネル信号の2つのチャネル信号は、ステレオ信号の左チャネル信号および右チャネル信号のように処理されうるので、これらの信号に対して、例えば、ステレオ過渡分類またはチャネル過渡分類によるステレオ処理のための実施形態が適用されうることに留意されたい。
101、101' デバイス
103、103' 受信器
105、105' ポストプロセッサ
201、201'、701 デコーダ
203、203'、703 デマルチプレクサ
205 モノラルデコーダ
205' ダウンミックスデコーダ、モノラルダウンミックスデコーダ
207 アップミキサ
207' アップミキサ、モノラルアップミキサ
209、209' 後処理のためのデバイス、デバイス
211、211'、715 判断器
213、213'、717 第1の後処理エンティティ
215、215'、719 第2の後処理エンティティ
217 ダウンミックス信号、ダウンミックスビットストリーム
217' ダウンミックス信号、ダウンミックスビットストリーム、エンコードされたダウンミックス信号、モノラルダウンミックス信号
219 信号、パラメータのセット
219' マルチチャネルオーディオコーディングパラメータ、信号
221 デコードされたダウンミックス信号
221' デコードされたダウンミックス信号、モノラルダウンミックス信号
223、621、1603 左チャネル信号
225、623、1605 右チャネル信号
223'、225'、315'、317' チャネル信号
227 第1の制御信号
229 第2の制御信号
227'、229' 制御信号
231 信号、パラメータのセット、デコードされたダウンミックス信号の時間エンベロープ
231' 信号、デコードされたダウンミックス信号の時間エンベロープ

Claims (8)

  1. マルチチャネル信号の複数のチャネル信号のうち少なくとも1つのチャネル信号を後処理するためのデバイスであって、前記少なくとも1つのチャネル信号は、低ビットレートオーディオコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成され、前記デバイスは、
    前記デコードされたダウンミックス信号から生成された前記少なくとも1つのチャネル信号、前記デコードされたダウンミックス信号の時間エンベロープ、前記少なくとも1つのチャネル信号と前記ダウンミックス信号の間のチャネル間時間差、および、前記ダウンミックス信号の過渡タイプを示す分類指示を受信するための受信器と、
    それぞれの重み付け係数によって重み付けされた、前記デコードされたダウンミックス信号の前記時間エンベロープに基づいて、かつ、前記分類指示および前記チャネル間時間差に応じて、前記少なくとも1つのチャネル信号を後処理するためのポストプロセッサと
    を備え、
    前記受信器は、前記複数のチャネル信号、および、複数のチャネル間時間差を受信するように適合され、前記複数のチャネル間時間差の各々は、前記複数のチャネル信号のうちのそれぞれのチャネル信号に関連し、前記それぞれのチャネル信号と前記ダウンミックス信号の間の時間差についての情報を備え、前記デバイスは、
    前記ポストプロセッサを制御し、前記分類指示に応じて、前記複数のチャネル信号のうちいずれかが後処理されるかどうかを判断し、前記チャネル間時間差に応じて、前記それぞれのチャネル信号が、前記それぞれの重み付け係数によって重み付けされた、前記ダウンミックス信号の遅延された時間エンベロープによって、後処理されるかどうかを判断するように適合された判断器
    をさらに備えるデバイス。
  2. 前記デバイスは、前記分類指示が、前記ダウンミックス信号がダウンミックス過渡であることを示し、かつ、前記少なくとも1つのチャネル信号に関連するチャネル固有のチャネル間時間差が、前記少なくとも1つのチャネル信号が前記ダウンミックス信号に関して遅延されることを示す場合、前記それぞれの重み付け係数によって重み付けされた、前記ダウンミックス信号の遅延された時間エンベロープを使用して、前記少なくとも1つのチャネル信号を後処理するように、前記ポストプロセッサを制御するように適合された判断器を備える、請求項1に記載のデバイス。
  3. 前記デバイスは、前記チャネル信号の過渡タイプを示すさらなる分類指示に応じて、前記複数のチャネル信号のうち前記少なくとも1つが後処理されるかどうかを判断するように、かつ、前記チャネル間時間差に応じて、前記少なくとも1つのチャネル信号が、前記それぞれの重み付け係数によって重み付けされた、前記ダウンミックス信号の遅延された時間エンベロープによって、後処理されるかどうかを判断するようにさらに適合された判断器を備える、請求項1に記載のデバイス。
  4. 前記デバイスは、前記チャネル間時間差に基づいて、前記少なくとも1つのチャネル信号が前記ダウンミックス信号に関して遅延されるかどうかを判断するために、かつ、前記少なくとも1つのチャネル信号が前記ダウンミックス信号に関して遅延される場合、前記ダウンミックス信号の前記時間エンベロープを遅延させて、前記遅延されたチャネル信号を後処理するための遅延された時間エンベロープを得るように適合された判断器を有し、前記判断器は、前記ダウンミックス信号の前記時間エンベロープを、前記チャネル間時間差だけ遅延させるように適合される、請求項1から3の一項に記載のデバイス。
  5. パラメトリックマルチチャネルオーディオデコーディングのためのデコーダであって、前記デコーダは、ダウンミックスデコーダ、アップミキサ、および、請求項1から4のいずれかに記載のデバイスを備え、前記ダウンミックスデコーダは、前記マルチチャネル信号を表すエンコードされたダウンミックス信号を受信し、前記エンコードされたダウンミックス信号をデコードして、デコードされたダウンミックス信号を生成するように構成され、前記アップミキサは、前記ダウンミックスデコーダからの前記デコードされたダウンミックス信号、および、前記ダウンミックス信号に関連するマルチチャネルパラメータを受信し、前記マルチチャネルパラメータに基づいて、前記デコードされたダウンミックス信号をアップミックスして、前記マルチチャネル信号の前記複数のチャネル信号を生成するように構成される、デコーダ。
  6. ステレオ信号の左チャネル信号および右チャネル信号のうち少なくとも一方を後処理するためのデバイスであって、前記左チャネル信号および前記右チャネル信号は、低ビットレートコーディング/デコーディングシステムによって、デコードされたダウンミックス信号から生成され、前記デバイスは、
    前記デコードされたダウンミックス信号から生成された前記左チャネル信号および前記右チャネル信号、前記デコードされたダウンミックス信号の時間エンベロープ、前記ステレオ信号の前記左チャネル信号と前記右チャネル信号の間のチャネル間時間差、および、前記ダウンミックス信号の過渡タイプを示す分類指示を受信するための受信器と、
    それぞれの重み付け係数によって重み付けされた、前記デコードされたダウンミックス信号の前記時間エンベロープに基づいて、かつ、前記チャネル間時間差および前記分類指示に応じて、前記左チャネル信号および前記右チャネル信号のうち少なくとも一方を後処理するためのポストプロセッサと、
    前記ダウンミックス信号の過渡タイプを示す前記分類指示に応じて、前記左チャネル信号および前記右チャネル信号のうち少なくとも一方が後処理されるかどうかを判断するように、かつ、前記チャネル間時間差に応じて、前記左チャネル信号または前記右チャネル信号が、前記それぞれの重み付け係数によって重み付けされた、前記ダウンミックス信号の遅延された時間エンベロープによって、後処理されるかどうかを判断するように適合された判断器と
    を備えるデバイス。
  7. 前記デバイスは、前記ステレオ信号の過渡タイプを示すさらなる分類指示に応じて、前記左チャネル信号または前記右チャネル信号の一方が、前記それぞれの重み付け係数によって重み付けされた、前記ダウンミックス信号の遅延された時間エンベロープによって、後処理されるかどうかを判断するように、かつ、前記チャネル間時間差に応じて、前記左チャネル信号または前記右チャネル信号が、前記それぞれの重み付け係数によって重み付けされた、前記ダウンミックス信号の遅延された時間エンベロープによって、後処理されるかどうかを判断するようにさらに適合された判断器を備える、請求項6に記載のデバイス。
  8. 低ビットレートオーディオコーディングシステムによってステレオ信号から処理されたダウンミックス信号をデコードするためのデコーダであって、前記デコーダは、オーディオチャネルを介して受信された前記ダウンミックス信号をデコードするためのモノラルデコーダ、および、前記デコードされたダウンミックス信号を後処理するための請求項6または7に記載のデバイスを備える、デコーダ。
JP2013530513A 2010-09-28 2010-09-28 デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイス Expired - Fee Related JP5681290B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2010/077388 WO2012040898A1 (en) 2010-09-28 2010-09-28 Device and method for postprocessing decoded multi-channel audio signal or decoded stereo signal

Publications (2)

Publication Number Publication Date
JP2013540283A JP2013540283A (ja) 2013-10-31
JP5681290B2 true JP5681290B2 (ja) 2015-03-04

Family

ID=45891798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013530513A Expired - Fee Related JP5681290B2 (ja) 2010-09-28 2010-09-28 デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイス

Country Status (5)

Country Link
US (1) US9767811B2 (ja)
EP (1) EP2612321B1 (ja)
JP (1) JP5681290B2 (ja)
CN (1) CN103262158B (ja)
WO (1) WO2012040898A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8886523B2 (en) * 2010-04-14 2014-11-11 Huawei Technologies Co., Ltd. Audio decoding based on audio class with control code for post-processing modes
JP6013646B2 (ja) 2013-04-05 2016-10-25 ドルビー・インターナショナル・アーベー オーディオ処理システム
CN106033671B (zh) * 2015-03-09 2020-11-06 华为技术有限公司 确定声道间时间差参数的方法和装置
EP3067885A1 (en) 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
CN105405445B (zh) * 2015-12-10 2019-03-22 北京大学 一种基于声道间传递函数的参数立体声编码、解码方法
US10115403B2 (en) * 2015-12-18 2018-10-30 Qualcomm Incorporated Encoding of multiple audio signals
US10224042B2 (en) * 2016-10-31 2019-03-05 Qualcomm Incorporated Encoding of multiple audio signals
CN107749299B (zh) * 2017-09-28 2021-07-09 瑞芯微电子股份有限公司 一种多音频输出方法和装置
JP7396459B2 (ja) * 2020-03-09 2023-12-12 日本電信電話株式会社 音信号ダウンミックス方法、音信号符号化方法、音信号ダウンミックス装置、音信号符号化装置、プログラム及び記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
EP1386312B1 (en) 2001-05-10 2008-02-20 Dolby Laboratories Licensing Corporation Improving transient performance of low bit rate audio coding systems by reducing pre-noise
WO2004072956A1 (en) * 2003-02-11 2004-08-26 Koninklijke Philips Electronics N.V. Audio coding
ATE430360T1 (de) 2004-03-01 2009-05-15 Dolby Lab Licensing Corp Mehrkanalige audiodekodierung
WO2005098826A1 (en) * 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Method, device, encoder apparatus, decoder apparatus and audio system
BRPI0509113B8 (pt) * 2004-04-05 2018-10-30 Koninklijke Philips Nv codificador de multicanal, método para codificar sinais de entrada, conteúdo de dados codificados, portador de dados, e, decodificador operável para decodificar dados de saída codificados
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
CA2646961C (en) * 2006-03-28 2013-09-03 Sascha Disch Enhanced method for signal shaping in multi-channel audio reconstruction
US8027479B2 (en) 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
US8200351B2 (en) * 2007-01-05 2012-06-12 STMicroelectronics Asia PTE., Ltd. Low power downmix energy equalization in parametric stereo encoders
AU2011295367B2 (en) * 2010-08-25 2014-07-31 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for decoding a signal comprising transients using a combining unit and a mixer

Also Published As

Publication number Publication date
US9767811B2 (en) 2017-09-19
EP2612321B1 (en) 2016-01-06
EP2612321A4 (en) 2014-08-27
EP2612321A1 (en) 2013-07-10
CN103262158A (zh) 2013-08-21
WO2012040898A1 (en) 2012-04-05
US20130279702A1 (en) 2013-10-24
JP2013540283A (ja) 2013-10-31
CN103262158B (zh) 2015-07-29

Similar Documents

Publication Publication Date Title
JP5681290B2 (ja) デコードされたマルチチャネルオーディオ信号またはデコードされたステレオ信号を後処理するためのデバイス
JP6641018B2 (ja) チャネル間時間差を推定する装置及び方法
JP5122681B2 (ja) パラメトリックステレオアップミクス装置、パラメトリックステレオデコーダ、パラメトリックステレオダウンミクス装置、及びパラメトリックステレオエンコーダ
RU2690885C1 (ru) Стереофонический кодер и декодер аудиосигналов
KR101452722B1 (ko) 신호 부호화 및 복호화 방법 및 장치
US9293145B2 (en) Device and method for postprocessing a decoded multi-channel audio signal or a decoded stereo signal
RU2676233C2 (ru) Многоканальный аудиодекодер, многоканальный аудиокодер, способы и компьютерная программа с использованием регулирования доли декоррелированного сигнала на основании остаточных сигналов
RU2382419C2 (ru) Многоканальный кодер
EP2296142A2 (en) Controlling spatial audio coding parameters as a function of auditory events
JP5053849B2 (ja) マルチチャンネル音響信号処理装置およびマルチチャンネル音響信号処理方法
EP3279893A1 (en) Temporal envelope shaping for spatial audio coding using frequency domain wiener filtering
US20080208600A1 (en) Apparatus for Encoding and Decoding Audio Signal and Method Thereof
US11158330B2 (en) Apparatus and method for decomposing an audio signal using a variable threshold
AU2021221466B2 (en) Apparatus for encoding or decoding an encoded multichannel signal using a filling signal generated by a broad band filter
EP3542362B1 (en) Decomposition of an audio signal into transient and noise-like component signals
CN110462733A (zh) 多声道信号的编解码方法和编解码器
EP2757559A1 (en) Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
EP2876640B1 (en) Audio encoding device and audio coding method
KR101500972B1 (ko) 멀티 채널 신호의 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140603

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150108

R150 Certificate of patent or registration of utility model

Ref document number: 5681290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees