JP5624967B2 - マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法 - Google Patents

マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法 Download PDF

Info

Publication number
JP5624967B2
JP5624967B2 JP2011233577A JP2011233577A JP5624967B2 JP 5624967 B2 JP5624967 B2 JP 5624967B2 JP 2011233577 A JP2011233577 A JP 2011233577A JP 2011233577 A JP2011233577 A JP 2011233577A JP 5624967 B2 JP5624967 B2 JP 5624967B2
Authority
JP
Japan
Prior art keywords
signal
post
processed
channel
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011233577A
Other languages
English (en)
Other versions
JP2012068651A (ja
Inventor
マティアス ノイズィンガー
マティアス ノイズィンガー
ユールゲン ヘレ
ユールゲン ヘレ
サッシャ ディスヒ
サッシャ ディスヒ
ハイコ プルンハーゲン
ハイコ プルンハーゲン
クリストファー クジュルリング
クリストファー クジュルリング
ヨナス エングデガルド
ヨナス エングデガルド
イェルーン ブレーバールト
イェルーン ブレーバールト
エリク スフエイエルス
エリク スフエイエルス
ウェルナー オーメン
ウェルナー オーメン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of JP2012068651A publication Critical patent/JP2012068651A/ja
Application granted granted Critical
Publication of JP5624967B2 publication Critical patent/JP5624967B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0012—Smoothing of parameters of the decoder interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Stabilization Of Oscillater, Synchronisation, Frequency Synthesizers (AREA)

Description

本発明は、マルチチャネルオーディオ処理に関し、特に、パラメトリックサイド情報を用いたマルチチャネル符号化および合成に関する。
本出願は、２００５年４月１５日出願の米国仮出願第６０／６７１，５８２号についての優先権を主張する。
近年、マルチチャネルオーディオ再生技術がますます普及している。これは、周知のＭＰＥＧ−１レイヤ３（ＭＰ３としても周知である）技術等のオーディオ圧縮／符号化技術により、制限のある帯域幅を有するインターネットまたは他の伝送チャネルを介して、オーディオコンテンツを配信することが可能になったという事実によるものである。
このように普及している別の理由は、家庭環境において、マルチチャネルコンテンツがますます利用できるようになり、マルチチャネル再生デバイスがますます浸透しているからである。
ステレオフォーマットの全記録を配信すること、すなわち、第１のつまり左ステレオチャネルと第２のつまり右ステレオチャネルとを含むオーディオ記録のデジタル表現を配信することが可能であるという事実により、ＭＰ３符号化技術はよく知られるようになった。さらに、ＭＰ３技術は、利用できる記憶および伝送帯域幅を与えるオーディオ配信のための新たな可能性を作り出した。
しかしながら、従来の２チャネルサウンドシステムには基本的な欠点がある。２つのスピーカしか用いられていないという事実により、空間イメージが制限されることになる。したがって、サラウンド技術が開発されている。推奨されるマルチチャネルサラウンド表現は、２つのステレオチャネルＬおよびＲに加えて、付加的なセンターチャネルＣおよび２つのサラウンドチャネルＬｓ、Ｒｓをさらに含み、オプションとして、低周波数拡張チャネルまたはサブウーファチャネルを含む。この基準サウンドフォーマットは、３ステレオ／２ステレオ（または５．１フォーマット）とも呼ばれるもので、３つのフロントチャネルおよび２つのサラウンドチャネルを意味する。一般に、５つの伝送チャネルを必要とする。再生環境では、それぞれ５つの異なる場所に配置された少なくとも５つのスピーカは、５つの適切に配置されたスピーカから一定の距離で、最適なスイートスポットを得る必要がある。
マルチチャネルオーディオ信号の伝送に必要なデータ量を低減する本技術では、いくつかの技術が周知である。このような技術は、ジョイントステレオ技術と呼ばれている。このために、図１０を参照すると、ジョイントステレオデバイス６０を示している。このデバイスは、例えば、インテンシティステレオ（ＩＳ）、パラメトリックステレオ（ＰＳ）または（関連した）バイノーラルキュー符号化（ＢＣＣ）を実施するデバイスとすることができる。このようなデバイスは、一般に、入力として少なくとも２つのチャネル（ＣＨ１、ＣＨ２、・・・ＣＨｎ）を受信し、１つのキャリアチャネルおよびパラメトリックデータを出力する。パラメトリックデータは、デコーダにおいて、元のチャネル（ＣＨ１、ＣＨ２、・・・ＣＨｎ）の近似値を算出できるように、定義されている。
通常、キャリアチャネルは、サブバンドサンプル、スペクトル係数、時間領域サンプル等を含み、これらにより、基礎の信号が比較的よい表現になるが、パラメトリックデータはスペクトル係数のこのようなサンプルを含まないが、乗算、時間シフティング、周波数シフティング、位相シフティング等による重み付けのような特定の再構成アルゴリズムを制御するための制御パラメータを含む。したがって、パラメトリックデータは、関連付けられたチャネルの信号の比較的粗い表現しか含んでいない。数字を提示すると、従来の損失の大きいオーディオコーダを用いて符号化されるキャリアチャネルが必要とするデータ量は、６０〜７０キロビット／秒の範囲であるが、１つのチャネルに対してパラメトリックサイド情報が必要とするデータ量は、１．５〜２．５キロビット／秒の範囲である。パラメトリックデータの一例としては、以下に説明するように、周知のスケールファクタ、インテンシティステレオ情報またはバイノーラルキューパラメータが挙げられる。
インテンシティステレオ符号化については、ＡＥＳ予稿集３７９９、「インテンシティステレオ符号化（Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｋ．Ｈ．ブランデンブルグ（Ｂｒａｎｄｅｎｂｕｒｇ）、Ｄ．レーデラー（Ｌｅｄｅｒｅｒ）、１９９４年２月、アムステルダム、第９６回ＡＥＳに記載され、一般に、インテンシティステレオの概念は、２つの立体音響オーディオチャネルのデータに対して行われる主軸変換に基づいている。大部分のデータポイントが第１の原理軸のまわりに集中している場合、符号化を行う前に一定の角度で２つの信号を回転し、ビットストリームにおいて伝送から第２の直交成分を除外することにより、符号化利得を得ることができる。左および右チャネルのための再構成された信号は、同じ伝送信号の別々に重み付けされまたはスケーリングされたバージョンからなる。しかしながら、再構成された信号は、それらの振幅において異なっているが、それらの位相情報については全く同じである。しかしながら、２つの元のオーディオチャネルのエネルギー時間エンベロープは、通常周波数選択的に動作する選択的スケーリング動作により保存される。これは、高い周波数での人間のサウンド認識に一致し、主要な空間キューは、エネルギーエンベロープにより決定される。
また、実際に実施するにあたっては、２つの成分を回転させる代わりに、伝送信号、すなわち、キャリアチャネルが、左チャネルおよび右チャネルの和信号から発生される。さらに、この処理、すなわち、スケーリング動作を実行するためにインテンシティステレオパラメータを発生することは、周波数選択的に実行され、すなわち、各スケールファクタバンド、すなわち、エンコーダの周波数区分に対して独立して実行される。好ましくは、２つのチャネルが結合チャネルまたは「キャリア」チャネルを形成するために結合され、結合チャネルの他に、インテンシティステレオ情報が決定され、これは、第１のチャネルのエネルギー、第２のチャネルのエネルギーまたは結合チャネルのエネルギーに依存する。
ＢＣＣ技術については、ＡＥＳコンベンション論文５５７４、「ステレオおよびマルチチャネルオーディオ圧縮に応用されたバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｓｔｅｒｅｏ ａｎｄ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ）」、Ｃ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、２００２年５月、ミュンヘンに記載されている。ＢＣＣ符号化では、オーバーラップウィンドウを有するＤＦＴベースの変換を用いて、多数のオーディオ入力チャネルは、スペクトル表現に変換されている。得られる均一なスペクトルは、それぞれインデックスを有する重なりのない区分に分割される。各区分は、等価矩形帯域幅（ＥＲＢ）に比例する帯域幅を有する。チャネル間レベル差（ＩＣＬＤ）およびチャネル間時間差（ＩＣＴＤ）は、各フレームｋに対して、この区分毎に推定される。ＩＣＬＤおよびＩＣＴＤは、量子化され符号化されると、ＢＣＣビットストリームが得られる。基準チャネルと比較して、チャネル間レベル差およびチャネル間時間差が各チャネルに与えられる。次に、パラメータが規定の公式にしたがって算出され、これらは、処理される信号の特定の区分に依存する。
デコーダ側では、デコーダは、モノラル信号およびＢＣＣビットストリームを受信する。モノラル信号は、周波数領域に変換され、空間合成ブロックに入力され、このブロックは、復号化されたＩＣＬＤおよびＩＣＴＤ値も受信する。空間合成ブロックでは、マルチチャネル信号を合成するために、モノラル信号の重み付け動作を実行するためにＢＣＣパラメータ（ＩＣＬＤおよびＩＣＴＤ）値が用いられ、マルチチャネル信号は、周波数／時間変換後の元のマルチチャネルオーディオ信号を再構成したものを表す。
ＢＣＣの場合、ジョイントステレオモジュール６０は、パラメトリックチャネルデータが量子化され、ＩＣＬＤまたはＩＣＴＤパラメータを符号化するように、チャネルサイド情報を出力するために動作し、元のチャネルのうちの１つは、基準チャネルとしてチャネルサイド情報を符号化するために用いられる。
通常、最も単純な実施の形態では、キャリアチャネルは、構築する元のチャネルの総計として形成されるものである。
当然、上記の技術では、キャリアチャネルしか処理することができないデコーダに対するモノラル表現を提供するだけであり、パラメトリックデータを処理して、２つ以上の入力チャネルの１つ以上の近似値を発生することはできない。
バイノーラルキュー符号化（ＢＣＣ）として周知のオーディオ符号化技術については、米国特許出願公開第２００３／０２１９１３０Ａ１号、米国特許出願公開第２００３／００２６４４１Ａ１号および米国特許出願公開第２００３／００３５５５３Ａ１号にも詳細に記載されている。さらに引例として、「バイノーラルキュー符号化パートＩＩ：方法および応用例（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ． Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ）」、Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、オーディオおよびスピーチプロシーディング（Ａｕｄｉｏ ａｎｄ Ｓｐｅｅｃｈ Ｐｒｏｃ．）におけるＩＥＥＥトランザクション、１１巻、第６号、２００３年１１月がある。フォーラおよびバウムガルテが著したＢＣＣ技術に関する引例の米国特許出願公開公報および２つの引例の技術刊行物は、ここに引例としてすべて組み込まれている。
パラメトリック方法をもっと広いビットレート範囲に適用可能にする、バイノーラルキュー符号化方法を大幅に向上させることは、ＭＰＥＧ−４高効率ＡＡＣｖ２で標準化されているように、「パラメトリックステレオ」（ＰＳ）として周知である。パラメトリックステレオの重要な拡張の１つは、空間「拡散」パラメータを含むようにすることである。この知覚は、チャネル間相関またはチャネル間コヒーレンス（ＩＣＣ）の数学的特性として取り込まれる。ＰＳパラメータの解析、知覚量子化、伝送および合成処理については、「ステレオオーディオのパラメトリック符号化（Ｐａｒａｍｅｔｒｉｃ ｃｏｄｉｎｇ ｏｆ ｓｔｅｒｅｏ ａｕｄｉｏ）」、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、応用信号処理に関するＥＵＲＡＳＩＰジャーナル（ＥＵＲＡＳＩＰ Ｊ． Ａｐｐｌ． Ｓｉｇｎ． Ｐｒｏｃ．）２００５年９月、１３０５−１３２２頁に詳細に記載されている。別の引例として、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）、Ｅ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、「低ビットレートでの高品質パラメトリック空間オーディオ符号化（Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ａｔ Ｌｏｗ Ｂｉｔ ｒａｔｅｓ）」、２００４年５月、ベルリン、ＡＥＳ第１１６回コンベンション、予稿集６０７２、およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｈ．プルンハーゲン（Ｐｕｒｎｈａｇｅｎ）、Ｊ．エングデガールド（Ｅｎｇｄｅｇａｒｄ）、「低複雑性パラメトリックステレオ符号化（Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」、２００４年５月、ベルリン、ＡＥＳ第１１６回コンベンション、予稿集６０７３がある。
以下に、マルチチャネルオーディオ符号化のための代表的な一般的ＢＣＣ方法について、図１１〜１３を参照して、さらに詳細に説明する。図１１は、マルチチャネルオーディオ信号の符号化／伝送のための、そのような一般的バイノーラルキュー符号化方法を示す。ＢＣＣエンコーダ１１２の入力１１０のマルチチャネルオーディオ入力信号は、ダウンミックスブロック１１４でダウンミキシングされる。本例では、入力１１０の元のマルチチャネル信号は、フロント左チャネル、フロント右チャネル、左サラウンドチャネル、右サラウンドチャネルおよびセンターチャネルを有する、５チャネルサラウンド信号である。本発明の好適な実施の形態では、ダウンミックスブロック１１４は、これらの５つのチャネルを単純に加算して、モノラル信号にすることにより、和信号を生じる。マルチチャネル入力信号を用いて、１つのチャネルを有するダウンミックス信号が得られるような、他のダウンミキシング方法が周知である。この１つのチャネルは、和信号ライン１１５に出力される。ＢＣＣ解析ブロック１１６により得られたサイド情報は、サイド情報ライン１１７に出力される。ＢＣＣ解析ブロックでは、上記で説明したように、チャネル間レベル差（ＩＣＬＤ）およびチャネル間時間差（ＩＣＴＤ）が算出される。最近では、ＢＣＣ解析ブロック１１６は、チャネル間相関値（ＩＣＣ値）の形式で、パラメトリックステレオパラメータを引き継いでいる。好ましくは量子化され符号化された形式で、和信号およびサイド情報がＢＣＣデコーダ１２０に送信される。ＢＣＣデコーダは、出力マルチチャネルオーディオ信号のサブバンドを発生するために、送信された和信号を多数のサブバンドに分解して、スケーリングを行い、遅延して、他の処理を行う。出力１２１の再構成されたマルチチャネル信号のＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータ（キュー）が、ＢＣＣエンコーダ１１２への入力１１０の元のマルチチャネル信号に対するそれぞれのキューと同様になるように、この処理が実行される。このために、ＢＣＣデコーダ１２０は、ＢＣＣ合成ブロック１２２およびサイド情報処理ブロック１２３を含む。
以下に、図１２を参照して、ＢＣＣ合成ブロック１２２の内部構成を説明する。ライン１１５上の和信号が、時間／周波数変換ユニットまたはフィルタバンクＦＢ１２５に入力される。ブロック１２５の出力には、オーディオフィルタバンク１２５が１：１変換を実行する場合、すなわち、Ｎ個の時間領域サンプルからＮ個のスペクトル係数を生じる変換の場合、Ｎ個のサブバンド信号または、極端な場合では、ブロックとなったスペクトル係数が存在する。
ＢＣＣ合成ブロック１２２は、さらに、遅延ステージ１２６、レベル変更ステージ１２７、相関処理ステージ１２８および逆フィルタバンクステージＩＦＢ１２９を備える。ステージ１２９の出力では、５チャネルサラウンドシステムの場合に、図１１に示すように、例えば５つのチャネルを有する再構成されたマルチチャネルオーディオ信号が、１セットのスピーカ１２４に出力される。
図１２に示すように、入力信号ｓ（ｎ）は、エレメント１２５により、周波数領域またはフィルタバンク領域に変換される。同じ信号のいくつかのバージョンが乗算ノード１３０で示されるように得られるように、エレメント１２５による信号出力は乗算される。元の信号のバージョンの数は、再構成される出力信号における出力チャネルの数と等しい。一般に、ノード１３０での元の信号の各バージョンが遅延ｄ1、ｄ2、・・・、ｄi、・・・、ｄNを受ける場合、遅延パラメータは図１１のサイド情報処理ブロック１２３により算出され、ＢＣＣ解析ブロック１１６で決定されるように、チャネル間時間差から導出される。
同じことが、乗算パラメータａ1、ａ2、・・・、ａi、・・・、ａNについて当てはまり、これらについても、ＢＣＣ解析ブロック１１６により算出されるように、チャネル間レベル差に基づいてサイド情報処理ブロック１２３により算出される。
遅延されレベルが操作された信号間の特定の相関がブロック１２８の出力で得られるように、ＢＣＣ解析ブロック１１６により算出されるＩＣＣパラメータがブロック１２８の機能を制御するために用いられる。ステージ１２６、１２７、１２８の順序は、図１２に示す場合と異なっていてもよいことに、ここで留意されたい。
オーディオ信号のフレームに関する処理において、ＢＣＣ解析がフレームに関して実行され、すなわち、時間可変的、そして周波数に関しても実行されることに、ここで留意されたい。これは、各スペクトル帯域に対してＢＣＣパラメータが得られるという意味である。これは、オーディオフィルタバンク１２５が入力信号を例えば３２個のバンドパス信号に分解する場合、ＢＣＣ解析ブロックは、３２個の帯域それぞれに対するＢＣＣパラメータのセットを得るという意味である。当然、図１２に詳細に示される、図１１のＢＣＣ合成ブロック１２２が、本例の３２個の帯域に基づく再構成を実行する。
以下に、図１３を参照して、あるＢＣＣパラメータを決定するセットアップを示す。通常、ＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータは、１対のチャネル間で定義することができる。しかしながら、基準チャネルと互いのチャネルとの間で、ＩＣＬＤおよびＩＣＴＤパラメータを決定することが好ましい。これについて、図１３Ａに示す。
ＩＣＣパラメータは、別の方法で決定することもできる。一般に大抵の場合、図１３Ｂに示すように、考えられるすべてのチャネル対の間で、エンコーダ内のＩＣＣパラメータを推定することができる。この場合、考えられるすべてのチャネル対間の元のマルチチャネル信号とほぼ同じになるように、デコーダがＩＣＣを合成する。しかしながら、各時間で最も強力な２つのチャネル間のＩＣＣパラメータだけを推定することが提案されていた。この方法は、図１３Ｃに示され、１つの時点で、チャネル１とチャネル２との間でＩＣＣパラメータが推定され、別の時点で、チャネル１とチャネル５との間でＩＣＣパラメータが算出される例が示されている。次に、デコーダが、デコーダ内の最も強力なチャネル間のチャネル間相関を合成し、残りのチャネル対に対するチャネル間コヒーレンスを算出して合成するためのある発見的ルールを適用する。
例えば、送信ＩＣＬＤパラメータに基づいてパラメータａ1、ａNを算出するには、上記引例のＡＥＳコンベンション論文５５７４を参照する。ＩＣＬＤパラメータは、元のマルチチャネル信号におけるエネルギー分布を表す。一般性を失うことなく、他の全チャネルとフロント左チャネルとの間のエネルギー差を示す４つのＩＣＬＤパラメータが、図１３Ａに示される。サイド情報処理ブロック１２３では、再構成されたすべての出力チャネルの総エネルギーが送信和信号のエネルギーと同じになるように（または比例するように）、乗算パラメータａ1、・・・、ａNがＩＣＬＤパラメータから導出される。これらのパラメータを決定するための簡単な方法は、２ステージ処理であり、これは、第１のステージでは、左フロントチャネルの乗算ファクタが１に設定され、図１３Ａの他のチャネルの乗算ファクタが送信ＩＣＬＤ値に設定される。次に、第２のステージでは、５つのチャネルすべてのエネルギーが算出され、送信和信号のエネルギーと比較される。次に、全チャネルは、全チャネルに対して等しいダウンスケーリングファクタを用いて、ダウンスケーリングされ、ダウンスケーリングファクタは、ダウンスケーリング後、再構成されたすべての出力チャネルの総エネルギーが送信和信号の総エネルギーと等しくなるように、選択される。
当然、乗算ファクタを算出する他の方法があり、これらは、２ステージ処理を利用せず、１ステージ処理だけを必要とするものである。１ステージの方法については、ＡＥＳ予稿集「ＭＰＥＧ空間オーディオ符号化用基準モデルアーキテクチャ（Ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｍｏｄｅｌ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ＭＰＥＧ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）」、Ｊ．ヘレ（Ｈｅｒｒｅ）ら、２００５年、バルセロナに記載されている。
遅延パラメータに関して、左フロントチャネルの遅延パラメータｄ1がゼロに設定される場合、ＢＣＣエンコーダから送信される遅延パラメータＩＣＴＤは、直接用いることができることに留意されたい。遅延を行っても信号のエネルギーを変更しないので、ここでは再スケーリングを行う必要がない。
ＢＣＣエンコーダからＢＣＣデコーダに送信されるチャネル間コヒーレンス測定値ＩＣＣに関して、２０ｌｏｇ１０（−６）から２０ｌｏｇ１０（６）の間の値の乱数を有する全サブバンドの重み付けファクタを乗算するというように、乗算ファクタａ1、・・・、ａnを変更することにより、コヒーレンス操作を行うことができることに、ここで留意されたい。好ましくは、すべての重要な帯域に対してバリアンスがほぼ一定になり、各々の重要な帯域内で平均がゼロとなるように、疑似乱数シーケンスが選択される。同じシーケンスは、各々の異なるフレームのスペクトル係数に対して適用される。したがって、聴覚によるイメージの幅は、疑似乱数シーケンスのバリアンスを変更することにより、制御される。より大きいバリアンスは、より大きいイメージ幅を作り出す。バリアンス変更は、重要な帯域にわたるそれぞれの帯域で実行することができる。これにより、聴覚による場面において、それぞれ異なるイメージ幅を有する複数の対象を同時に存在させることが可能になる。疑似乱数シーケンスに対し適した振幅分布は、米国特許出願公開第２００３／０２１９１３０Ａ１号で概説されているように、対数目盛に対して均一な分布である。しかしながら、図１１に示すＢＣＣエンコーダからＢＣＣデコーダへ送信される和信号のように、すべてのＢＣＣ合成処理は、１つの送信される入力チャネルと関係付けられる。
図１３を参照してすでに概説したように、パラメトリックサイド情報、すなわち、チャネル間レベル差（ＩＣＬＤ）、チャネル間時間差（ＩＣＴＤ）またはチャネル間コヒーレンスパラメータ（ＩＣＣ）は、算出され、５つのチャネルそれぞれに送信されることができる。このことは、通常、１つの５チャネル信号に対して５つのセットのチャネル間レベル差を送信することを意味している。同じことがチャネル間時間差についても当てはまる。チャネル間コヒーレンスパラメータについては、例えば２つのセットのこれらのパラメータを送信するだけで十分である。
図１２を参照してすでに概説したように、信号の１つのフレームまたは時間部分に対して、レベル差パラメータ、時間差パラメータまたはコヒーレンスパラメータは１つだけではない。むしろ、周波数依存のパラメータ化が行えるように、いくつかの異なる周波数帯域に対してこれらのパラメータが決定される。例えば３２の周波数チャネル、すなわち、３２の周波数帯域を有するフィルタバンクをＢＣＣ解析およびＢＣＣ合成に用いることは好ましいので、パラメータは、かなりの量のデータを占有することになる。他のマルチチャネル伝送と比較して、パラメトリック表示ではデータ速度が相当遅くなるが、２つのチャネル（ステレオ信号）を有する信号またはマルチチャネルサラウンド信号等の３つ以上のチャネルを有する信号のようなマルチチャネル信号を表現するために必要なデータ速度を、継続してさらに低減する必要がある。
このために、エンコーダ側で算出された再構成パラメータが、特定の量子化ルールに従って量子化される。これは、量子化されていない再構成パラメータが、限定されたセットの量子化レベルまたは量子化インデックスにマッピングされることを意味し、本技術で周知であり、特にパラメトリック符号化として、「ステレオオーディオのパラメトリック符号化（Ｐａｒａｍｅｔｒｉｃ ｃｏｄｉｎｇ ｏｆ ｓｔｅｒｅｏ ａｕｄｉｏ）」、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、応用信号処理に関するＥＵＲＡＳＩＰジャーナル（ＥＵＲＡＳＩＰ Ｊ． Ａｐｐｌ． Ｓｉｇｎ． Ｐｒｏｃ．）２００５年９月、１３０５−１３２２頁、およびＣ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ｆｌｅｘｉｂｌｅ ｒｅｎｄｅｒｉｎｇ）」、２００２年１０月、ロサンジェルス、ＡＥＳ第１１３回コンベンション、予稿集５６８６に詳細に記載されている。
量子化は、量子化器がミッドトレッド型なのかまたはミッドライザ型なのかに依存するが、量子化ステップサイズよりも小さいパラメータ値を全て、ゼロに量子化する作用がある。大きなセットの量子化されていない値を小さなセットの量子化された値にマッピングすることにより、さらなるデータ節減が得られる。これらのデータ速度節減は、エンコーダ側で量子化された再構成パラメータにエントロピー符号化を行うことにより、さらに高められる。好適なエントロピー符号化方法は、定義済みのコードテーブルに基づいた、または、実際に決定された信号統計データおよびコードブックの信号適応構成に基づいた、ハフマン法である。あるいは、算術符号化等の他のエントロピー符号化ツールを用いることができる。
一般に、量子化器のステップサイズが大きくなると、再構成パラメータに必要なデータ速度が低下するというルールがある。言い換えれば、量子化のサイズが荒くなるとデータ速度が遅くなり、量子化が微細になるとデータ速度が速くなる。
通常、データ速度が遅い環境ではパラメトリック信号表示が必要になるので、できるだけ荒いサイズで再構成パラメータを量子化することにより、ベースチャネルにおける特定の量のデータと、量子化されエントロピー符号化された再構成パラメータを含むサイド情報の適正な小さな量のデータとを有する信号表示が得られる。
したがって、従来技術の方法では、符号化されるマルチチャネル信号から直接、送信される再構成パラメータを抽出している。上述のように、量子化された再構成パラメータが、デコーダで逆量子化され、マルチチャネル合成に用いられる場合、荒いサイズの量子化を行うと再構成パラメータが歪んでしまう。もちろん、量子化器のステップサイズ、すなわち、選択された「量子化器の荒さ」によって、丸め誤差が大きくなる。このような丸め誤差は、量子化レベルの変化に、すなわち、第１の時点での第１の量子化レベルから後の時点での第２の量子化レベルへの変化になることがあり、ある量子化器のレベルと別の量子化器のレベルとの間の差が、相当大きな量子化器のステップサイズで定義され、このことは、荒いサイズの量子化では好ましい。残念ながら、量子化器のステップサイズが大きくなってしまうこのような量子化器のレベルの変化は、量子化されていないパラメータが２つの量子化レベルの中間にある場合、パラメータにおける小さい変化のみによって、トリガされることが可能になる。サイド情報におけるこのような量子化器インデックスの変化が発生することが、信号合成ステージにおける同じ大きな変化となる。例として、チャネル間レベル差を考える場合、大きな変化により、特定のスピーカ信号の音の大きさが大きく低下し、これに付随して、別のスピーカの信号の音の大きさが大きく増加することが明らかである。荒いサイズの量子化に対する１つの量子化レベル変化のみによってトリガされるこの状況を、（仮想の）第１の場所から（仮想の）第２の場所へ直ちにサウンドソースを再配置することとして認識することができる。ある時点から別の時点へのこのような速やかな再配置は、不自然に聞こえ、すなわち、特に、音信号のサウンドソースはその位置を非常に速く変化しないので、このことは転調作用として認識される。
一般に、伝送エラーにより量子化器インデックスに大きな変化が発生することもあり、これによりマルチチャネル出力信号に大きな変化が直ちに発生し、この状況ではもっとよく当てはまることであるが、データ速度のために荒いサイズの量子化器を採用している。
２つ（「ステレオ」）またはそれ以上の（「マルチチャネル」）オーディオ入力チャネルをパラメトリック符号化する最新技術は、入力信号から直接空間パラメータを導出する。上記で概説したように、このようなパラメータの例としては、チャネル間レベル差（ＩＣＬＤ）またはチャネル間強度差（ＩＩＤ）、チャネル間時間遅延（ＩＣＴＤ）またはチャネル間位相差（ＩＰＤ）、およびチャネル間相関／コヒーレンス（ＩＣＣ）があり、それぞれ、時間と周波数とを選択するやり方で、すなわち、周波数帯域毎に、時間の関数として送信される。このようなパラメータのデコーダへの伝送のために、これらのパラメータの荒い量子化は、サイド情報率を最小限に保つために望ましいことである。その結果として、送信されたパラメータ値をそれらの元の値と比較する際に、かなりの丸め誤差が発生する。このことは、元の信号において１つのパラメータが緩やかに徐々に変化したとしても、１つの量子化されたパラメータ値から次の値への決定閾値を超えると、デコーダにおいて用いられるパラメータ値に急激な変化が発生してしまうことを意味する。これらのパラメータ値が出力信号の合成に用いられるので、パラメータ値における急激な変化は、出力信号に「跳ね上がり」も発生することになり、これは、ある種類の信号にとって、（パラメータの時間的細分性および量子化解像度に依存する）「スイッチング」または「変調」アーティファクトのような気になるものとして認識されることになる。
米国特許出願第１０／８８３，５３８号には、低い解像度でパラメータを表現する場合にある種類の信号のアーティファクトを回避するために、ＢＣＣ型の方法という意味で、送信されたパラメータ値を後処理するためのプロセスが記載されている。合成処理におけるこのような不連続性は、音信号のアーティファクトを導く。したがって、この米国特許出願では、デコーダにおいて調性検出器を用い、送信されたダウンミックス信号を解析することが提案されている。信号が音であると判明した場合、次に、送信されたパラメータに対して経時的に平滑化動作が実行される。したがって、この種の処理は、音信号のためのパラメータの効率的な伝送のための手段になる。
しかしながら、音入力信号以外に入力信号のクラスがあり、同様に空間パラメータの荒い量子化の影響を受ける。
・このような場合の一例として、２つの位置を非常にゆっくりと移動するポイントソースがあげられる（例えば、センタースピーカと左フロントスピーカとの間を非常にゆっくりとパンするノイズ信号である）。レベルパラメータの荒い量子化は、サウンドソースの空間位置および軌道に知覚可能な「跳ね上がり」（不連続性）を導く。これらの信号は一般に音としてデコーダで検出されないので、従来技術の平滑化は、この場合に役に立たないことが明らかである。
・他の例としては、速く移動する正弦曲線等の音素材を有する、急速に移動するポイントソースがあげられる。従来技術の平滑化は、音としてこれらの成分を検出するので、平滑化動作を実行する。しかしながら、移動速度が従来技術の平滑化アルゴリズムではわかっていないので、適用された平滑化時定数は一般に不適当なものとなり、例えば、移動するポイントソースの移動速度が遅すぎて再現され、元々の目的とされる位置と比較して、再現された空間位置に大幅な遅れが生じる。
米国特許出願公開第２００３／０２１９１３０Ａ１号 米国特許出願公開第２００３／００２６４４１Ａ１号 米国特許出願公開第２００３／００３５５５３Ａ１号
「インテンシティステレオ符号化（Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」、Ｊ．ヘレ（Ｈｅｒｒｅ）、Ｋ．Ｈ．ブランデンブルグ（Ｂｒａｎｄｅｎｂｕｒｇ）、Ｄ．レーデラー（Ｌｅｄｅｒｅｒ）、１９９４年２月、アムステルダム、第９６回ＡＥＳ、ＡＥＳ予稿集３７９９ 「ステレオおよびマルチチャネルオーディオ圧縮に応用されたバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｓｔｅｒｅｏ ａｎｄ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ）」、Ｃ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、２００２年５月、ミュンヘン、ＡＥＳコンベンション論文５５７４ 「バイノーラルキュー符号化パートＩＩ：方法および応用例（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ． Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ）」、Ｃ．フォーラ（Ｆａｌｌｅｒ）およびＦ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、オーディオおよびスピーチプロシーディング（Ａｕｄｉｏ ａｎｄ Ｓｐｅｅｃｈ Ｐｒｏｃ．）におけるＩＥＥＥトランザクション、１１巻、第６号、２００３年１１月 「ステレオオーディオのパラメトリック符号化（Ｐａｒａｍｅｔｒｉｃ ｃｏｄｉｎｇ ｏｆ ｓｔｅｒｅｏ ａｕｄｉｏ）」、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、応用信号処理に関するＥＵＲＡＳＩＰジャーナル（ＥＵＲＡＳＩＰ Ｊ． Ａｐｐｌ． Ｓｉｇｎ． Ｐｒｏｃ．）２００５年９月、１３０５−１３２２頁 「低ビットレートでの高品質パラメトリック空間オーディオ符号化（Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ａｔ Ｌｏｗ Ｂｉｔ ｒａｔｅｓ）」、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）、Ｅ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、２００４年５月、ベルリン、ＡＥＳ第１１６回コンベンション、予稿集６０７２ 「低複雑性パラメトリックステレオ符号化（Ｌｏｗ Ｃｏｍｐｌｅｘｉｔｙ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」、Ｅ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｈ．プルンハーゲン（Ｐｕｒｎｈａｇｅｎ）、Ｊ．エングデガールド（Ｅｎｇｄｅｇａｒｄ）、２００４年５月、ベルリン、ＡＥＳ第１１６回コンベンション、予稿集６０７３ 「ＭＰＥＧ空間オーディオ符号化用基準モデルアーキテクチャ（Ｔｈｅ ｒｅｆｅｒｅｎｃｅ ｍｏｄｅｌ ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ ＭＰＥＧ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ）」、Ｊ．ヘレ（Ｈｅｒｒｅ）ら、２００５年、バルセロナ、ＡＥＳ予稿集 「フレキシブルレンダリングを用いたオーディオ圧縮に応用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ ｗｉｔｈ ｆｌｅｘｉｂｌｅ ｒｅｎｄｅｒｉｎｇ）」、Ｃ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、２００２年１０月、ロサンジェルス、ＡＥＳ第１１３回コンベンション、予稿集５６８６
本発明の目的は、一方ではデータ速度が低く、他方では良好な主観的な品質が可能な、向上されたオーディオ信号処理概念を提供することである。
本発明の第１の態様によれば、この目的は、本発明にかかるマルチチャネルシンセサイザにより達成される。
本発明にかかるマルチチャネルシンセサイザは、入力信号から出力信号を発生するためのマルチチャネルシンセサイザであって、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するための制御信号供給器と、前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するためのポストプロセッサであって、前記後処理された再構成パラメータまたは前記後処理された量の値が、前記量子化ルールに従って再量子化を用いて得られる値と異なるように、前記後処理された再構成パラメータまたは前記後処理された量を決定するポストプロセッサと、前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するためのマルチチャネル再構成器とを備え、前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、前記ポストプロセッサは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化動作を実行する、マルチチャネルシンセサイザである。
本発明にかかるマルチチャネルシンセサイザでは、例えば、前記平滑化制御情報は平滑化時定数を示し、前記ポストプロセッサは、前記平滑化時定数に応答してフィルタ特性が設定される、ローパスフィルタリングを実行する。
また、本発明にかかるマルチチャネルシンセサイザでは、例えば、前記マルチチャネルシンセサイザ制御信号は、前記少なくとも１つの入力チャネルの複数の帯域の各帯域に対して、前記平滑化制御情報を含み、前記ポストプロセッサは、前記マルチチャネルシンセサイザ制御信号に応答して、帯域に関する方法において後処理を実行する。
本発明の別の態様は、入力信号から出力信号を発生する方法、レシーバ、伝送システム、受信方法、受信および送信方法、コンピュータプログラム、オーディオプレーヤ、またはオーディオ再生方法に関する。
本発明にかかる入力信号から出力信号を発生する方法は、入力信号から出力信号を発生する方法であって、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するステップと、前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するステップと、前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するステップとを備え、前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、前記後処理された再構成パラメータまたは前記後処理された量を決定する前記ステップは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化を含む、方法である。
本発明にかかるレシーバは、入力信号から出力信号を発生するためのマルチチャネルシンセサイザを有するレシーバであって、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、前記レシーバは、前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するための制御信号供給器と、前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するためのポストプロセッサであって、前記後処理された再構成パラメータまたは前記後処理された量の値が、前記量子化ルールに従って再量子化を用いて得られる値と異なるように、前記後処理された再構成パラメータまたは前記後処理された量を決定するポストプロセッサと、前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するためのマルチチャネル再構成器とを備え、前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、前記ポストプロセッサは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化動作を実行する、レシーバである。
本発明にかかる伝送システムは、トランスミッタおよびレシーバを有する伝送システムであって、前記トランスミッタはマルチチャネルシンセサイザ制御信号を発生するための装置を有し、前記装置は、マルチチャネル入力信号を解析するための信号アナライザと、前記信号アナライザに応答して平滑化制御情報を決定するための平滑化情報カリキュレータであって、前記平滑化制御情報に応答して、シンセサイザ側ポストプロセッサが、処理される入力信号の時間部分に対して後処理された再構成パラメータまたは再構成パラメータから導出される後処理された量を発生するように、前記平滑化制御情報を決定する平滑化情報カリキュレータと、前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を発生するためのデータジェネレータとを備え、前記レシーバは前記入力信号から出力信号を発生するためのマルチチャネルシンセサイザを有し、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を有し、前記レシーバは、前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するための制御信号供給器と、前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の前記時間部分に対して、前記後処理された再構成パラメータまたは前記再構成パラメータから導出される前記後処理された量を決定するための前記シンセサイザ側ポストプロセッサであって、前記後処理された再構成パラメータまたは前記後処理された量の値が、前記量子化ルールに従って再量子化を用いて得られる値と異なるように、前記後処理された再構成パラメータまたは前記後処理された量を決定する前記シンセサイザ側ポストプロセッサと、前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するためのマルチチャネル再構成器とを備え、前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、前記シンセサイザ側ポストプロセッサは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化動作を実行する、伝送システムである。
本発明にかかる受信方法は、受信方法であって、前記方法は入力信号から出力信号を発生する方法を含み、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、前記発生する方法は、前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するステップと、前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するステップと、前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するステップとを備え、前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、前記後処理された再構成パラメータまたは前記後処理された量を決定する前記ステップは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化を含む、受信方法である。
本発明にかかる受信および送信方法は、受信および送信方法であって、前記方法はマルチチャネルシンセサイザ制御信号を発生する方法を有する送信方法を含み、前記方法は、マルチチャネル入力信号を解析するステップと、前記信号解析ステップに応答して平滑化制御情報を決定するステップであって、前記平滑化制御情報に応答して、後処理ステップが、処理される入力信号の時間部分に対して後処理された再構成パラメータまたは再構成パラメータから導出される後処理された量を発生するようにするステップと、前記平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を発生するステップとを備え、さらに入力信号から出力信号を発生する方法を有する受信方法を含み、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を有し、前記発生する方法は、前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するステップと、前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の前記時間部分に対して、前記後処理された再構成パラメータまたは前記再構成パラメータから導出される前記後処理された量を決定するステップと、前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するステップとを備え、前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、前記後処理された再構成パラメータまたは前記後処理された量を決定する前記ステップは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化を含む、受信および送信方法である。
本発明にかかるコンピュータプログラムは、コンピュータ上で動作するときに、本発明にかかる上述の方法のうちのいずれかの方法を実行するためのコンピュータプログラムである。
本発明にかかるオーディオプレーヤは、入力信号から出力信号を発生するためのマルチチャネルシンセサイザを有するオーディオプレーヤであって、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、前記オーディオプレーヤは、前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するための制御信号供給器と、前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するためのポストプロセッサであって、前記後処理された再構成パラメータまたは前記後処理された量の値が、前記量子化ルールに従って再量子化を用いて得られる値と異なるように、前記後処理された再構成パラメータまたは前記後処理された量を決定するポストプロセッサと、前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するためのマルチチャネル再構成器とを備え、前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、前記ポストプロセッサは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化動作を実行する、オーディオプレーヤである。
本発明にかかるオーディオ再生方法は、オーディオ再生方法であって、前記方法は入力信号から出力信号を発生する方法を含み、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、前記発生する方法は、前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するステップと、前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するステップと、前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するステップとを備え、前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、前記後処理された再構成パラメータまたは前記後処理された量を決定する前記ステップは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化を含む、オーディオ再生方法である。
本発明は、エンコーダ側に向かって再構成パラメータを平滑化することにより、合成されたマルチチャネル出力信号のオーディオ品質が向上するという知見に基づいている。エンコーダ側でさらに処理を行なって平滑化制御情報を決定することにより、このようにオーディオ品質を基本的に向上させることができ、本発明の好適な実施の形態では、平滑化制御情報をデコーダに送信することが可能であり、この伝送には、限定した（小さな）数のビット数しか必要としない。
デコーダ側では、平滑化制御情報は、平滑化動作を制御するために用いられる。デコーダ側でパラメータを平滑化する代わりに、例えば調性／過渡検出に基づいて、このようにデコーダ側でエンコーダのガイドによるパラメータを平滑化することができ、または、デコーダ側でのパラメータ平滑化と結合して用いることができる。送信されたダウンミックス信号の特定の時間部分および特定の周波数帯域についても、エンコーダ側で信号アナライザにより決定されるような平滑化制御情報を用いて送信することができる。
要約すると、本発明の利点は、マルチチャネルシンセサイザ内で、エンコーダ側で制御された再構成パラメータの適応平滑化が実行されることにより、一方ではオーディオ品質が基本的に向上し、他方ではビット数の増加を少量にできるようになることである。さらに平滑化制御情報を用いて量子化の固有の品質低下が低減されるという事実により、送信されたビット数を増減することなく、本発明の概念を適用することができるが、これは、量子化された値を符号化するために必要なビット数が少なくなるように、さらにもっと荒い量子化を適用することにより、平滑化制御情報のビット数を節減することができるからである。したがって、符号化された量子化された値とともに、平滑化制御情報は、まだ公開されていない米国特許出願で概説されているように、同じレベルまたはより高いレベルの主観的なオーディオ品質を保ちながらも、平滑化制御情報のない、同じかそれ以下の数の量子化された値のビットレートを要求することができる。
一般に、マルチチャネルシンセサイザに用いられる量子化された再構成パラメータに対して後処理を行うことにより、一方では荒いサイズの量子化と、他方では量子化レベル変化とに付随する問題を、低減したり、解消したりする。
従来技術のシステムでは、シンセサイザにおける再量子化を限定したセットの量子化された値に限って容認できるので、エンコーダにおける小さなパラメータ変化がデコーダでは大きなパラメータ変化となってしまうこともあるが、本発明のデバイスは、入力信号の処理される時間部分に対する後処理された再構成パラメータが、エンコーダを採用した量子化ラスタによって決定されるのではなく、量子化ルールによる量子化で得られる値とは異なる再構成パラメータの値となるように、再構成パラメータの後処理を実行する。
直線量子化器の場合、従来技術の方法では、量子化器のステップサイズの整数倍の逆量子化された値しか求めることができないが、本発明の後処理では、逆量子化された値を量子化器のステップサイズの非整数倍とすることが可能である。２つの隣接する量子化器のレベル間の後処理された再構成パラメータが、後処理によって得られ、後処理された再構成パラメータを利用する本発明のマルチチャネル再構成器によって用いられるので、本発明の後処理は、量子化器のステップサイズの制限を低減することを意味している。
この後処理は、マルチチャネルシンセサイザにおいて、再量子化の前または後で実行することができる。量子化されたパラメータ、すなわち、量子化器インデックスを用いて後処理が実行される場合、逆量子化器が必要になり、これは、量子化器ステップの倍数に逆に量子化できるばかりでなく、量子化器のステップサイズの倍数間の逆量子化された値に逆に量子化することができる。
逆量子化された再構成パラメータを用いて後処理が実行される場合、直接逆量子化器を用いることができ、逆量子化された値を用いて補間／フィルタ／平滑化が実行される。
対数量子化ルール等の非直線量子化ルールの場合、対数量子化は人間の耳によるサウンドの認知と類似しているので、再量子化の前に量子化された再構成パラメータの後処理は好ましく、対数量子化は、低レベルのサウンドに対してより正確で、高レベルのサウンドに対してはあまり正確でない、すなわち、一種の対数圧縮を行う。
ここで、量子化されたパラメータとしてビットストリームに含まれる再構成パラメータ自体を変更することにより、本発明の利点を得るものではないことに留意されたい。再構成パラメータから後処理された量を導出することにより、利点を得ることができる。再構成パラメータが差パラメータで、差パラメータから導出される絶対パラメータに対して平滑化等の操作が実行される場合、これは特に有益である。
本発明の好適な実施の形態では、再構成パラメータの後処理は、信号アナライザにより制御され、これは、信号特性が存在する、求める再構成パラメータに関連付けられる信号部分を解析する。好適な実施の形態では、デコーダが制御する後処理は、信号の音部分に対して（周波数および／または時間に対して）起動され、または、音部分が、ゆっくりと移動するポイントソースに対してのみポイントソースにより発生される場合は起動されるが、音でない部分、すなわち、入力信号の過渡部分、または音素材を有する急速に移動するポイントソースに対して後処理が起動されない。これにより、信号の音部分ではなく、オーディオ信号の過渡部分に対して、フルダイナミックの再構成パラメータ変化が確実に送信される。
好ましくは、ポストプロセッサは、音でない、すなわち、過渡信号部分に対して特に重要な空間検出キューに影響を与えることなく、再構成パラメータの平滑化の形式で変更を実行し、これは、心理音響的な視点から理解できるものである。
本発明により、再構成パラメータをエンコーダ側で量子化すると荒いサイズの量子化が可能となるので、データ速度が遅くなり、ある逆量子化されたレベルから別の逆量子化されたレベルへ再構成パラメータが変化するという理由で、システム設計者がデコーダにおいて大きな変化を気にかける必要がなくなり、２つの再量子化レベル間の値でマッピングして、本発明の処理により、変化が低減される。
本発明の別の利点は、ある再量子化レベルから次の許容再量子化レベルへの変化による可聴アーティファクトが本発明の後処理により低減されるので、システムの品質が向上することであり、２つの許容再量子化レベル間の値でマッピングする。
もちろん、量子化された再構成パラメータに対して本発明の後処理は、エンコーダにおけるパラメータ化と後の再構成パラメータの量子化とにより生じる情報損失に加えて、さらに情報が損失することになる。しかしながら、本発明のポストプロセッサが、好ましくは、実際のまたは直前の量子化された再構成パラメータを用いて、入力信号の実際の時間部分、すなわち、ベースチャネルの再構成に用いられる後処理された再構成パラメータを決定するので、このことは問題ではない。エンコーダ誘導誤用をある程度補償することができるので、主観的な品質が向上することになることがわかる。エンコーダ側誘導誤用が再構成パラメータの後処理によって補償されない場合であっても、再構成されたマルチチャネルオーディオ信号における空間認知の大きな変化は、好ましくは音信号部分に限って低減されるので、さらに情報を損失することになるかどうかという事実にかかわらず、いずれにせよ、主観的な聴き取り品質が向上することになる。
本発明の好ましい実施の形態が添付図面を参照して後に説明されるが、これらの図としては：
図１ａは、本発明の第１の実施の形態によるエンコーダ側デバイスおよび対応するデコーダ側デバイスの概略図である。 図１ｂは、本発明の別の好適な実施の形態によるエンコーダ側デバイスおよび対応するデコーダ側デバイスの概略図である。 図１ｃは、好適な制御信号ジェネレータの概略ブロック図である。 図２ａは、サウンドソースの空間位置を決定するための概略表現である。 図２ｂは、情報を平滑化するための例として平滑化時定数を算出するための好適な実施の形態を示すフローチャートである。 図３ａは、量子化されたチャネル間強度差および対応する平滑化パラメータを算出するための別の実施の形態である。 図３ｂは、１フレーム毎に測定されたＩＩＤパラメータと、１フレーム毎に量子化されたＩＩＤパラメータと、様々な時定数に対して１フレーム毎に処理された量子化されたＩＩＤパラメータとの間の差を示す例示的な図である。 図３ｃは、図３ａに適用される概念の好適な実施の形態を示すフローチャートである。 図４ａは、デコーダ側に向けたシステムを示す概略表現である。 図４ｂは、図１ｂの本発明のマルチチャネルシンセサイザに用いられるポストプロセッサ／信号アナライザの結合の概略図である。 図４ｃは、入力信号の時間部分と、過去の信号部分、処理される実際の信号部分および未来の信号部分に対して関連付けられた量子化された再構成パラメータとの概略表現である。 図５は、図１によるエンコーダのガイドによるパラメータ平滑化デバイスの実施の形態である。 図６ａは、図１に示すエンコーダのガイドによるパラメータ平滑化デバイスの別の実施の形態である。 図６ｂは、エンコーダのガイドによるパラメータ平滑化デバイスの別の好適な実施の形態である。 図７ａは、図１に示すエンコーダのガイドによるパラメータ平滑化デバイスの別の実施の形態である。 図７ｂは、再構成パラメータから導出される量を平滑化可能なことを示す本発明による後処理されるパラメータを示す概略図である。 図８は、直接マッピングまたは拡張マッピングを実行する量子化器／逆量子化器の概略説明である。 図９ａは、後の入力信号部分に関連付けられる量子化された再構成パラメータの例示的な時間経過を示す。 図９ｂは、平滑化（ローパス）機能を実施するポストプロセッサにより後処理された、後処理された再構成パラメータの時間経過を示す。 図１０は、従来技術のジョイントステレオエンコーダを示す。 図１１は、従来技術のＢＣＣエンコーダ／デコーダチェーンを示すブロック図である。 図１２は、従来技術により実施された図１１のＢＣＣ合成ブロックを示すブロック図である。 図１３は、ＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータを決定するための周知の手法を示す図である。 図１４は、伝送システムのトランスミッタおよびレシーバを示す。 図１５は、本発明のエンコーダを有するオーディオレコーダおよびデコーダを有するオーディオプレーヤを示す。
図１ａおよび図１ｂは、本発明のマルチチャネルエンコーダ／シンセサイザシナリオのブロック図を示す。図４ｃを参照して後述するように、デコーダ側に送られてくる信号は、少なくとも１つの入力チャネルと量子化された再構成パラメータのシーケンスとを有し、量子化された再構成パラメータは、量子化ルールに従って量子化されている。時間部分のシーケンスが量子化された再構成パラメータのシーケンスと関連付けられるように、各再構成パラメータは入力チャネルの時間部分と関連付けられている。また、図１ａおよび図１ｂに示すマルチチャネルシンセサイザにより発生された出力信号は、いずれにせよ入力信号における入力チャネルの数よりも多い、多数の合成された出力チャネルを有する。入力チャネルの数が１である場合、すなわち、１つの入力チャネルが存在する場合、出力チャネルの数は２以上である。しかしながら、入力チャネルの数が２または３の場合、出力チャネルの数は、それぞれ、少なくとも３または少なくとも４である。
ＢＣＣの場合では、入力チャネルの数は、１または一般にせいぜい２であるが、出力チャネルの数は、５（左サラウンド、左、センター、右、右サラウンド）若しくは６（５サラウンドチャネルプラス１サブウーハーチャネル）、または、７．１若しくは９．１マルチチャネルフォーマットではそれ以上となる。一般には、出力ソースの数は、入力ソースの数よりも多い。
図１ａは、左側に、マルチチャネルシンセサイザ制御信号を発生するための装置１を示している。「平滑化パラメータ抽出」と示されているボックス１は、信号アナライザ、平滑化情報カリキュレータおよびデータジェネレータを備える。図１ｃに示すように、信号アナライザ１ａは、入力として、元のマルチチャネル信号を受信する。信号アナライザは、解析結果を得るためにマルチチャネル入力信号を解析する。この解析結果は、信号アナライザに応答して平滑化制御情報、すなわち、信号解析結果を決定するために、平滑化情報カリキュレータに転送される。特に、平滑化制御情報に応答して、デコーダ側パラメータポストプロセッサが処理される入力信号の時間部分に対してパラメータから導出される平滑化されたパラメータまたは平滑化された量を発生するように、平滑化情報カリキュレータ１ｂは、平滑化情報を決定するので、平滑化された再構成パラメータまたは平滑化された量の値は、量子化ルールに基づいて再量子化を用いて得られる値と異なる。
さらに、図１ａの平滑化パラメータ抽出デバイス１は、デコーダ制御信号として平滑化制御情報を表す制御信号を出力するためのデータジェネレータを含む。
特に、平滑化された値に基づく再構成されたマルチチャネル出力信号が、平滑化されていない値に基づく再構成されたマルチチャネル出力信号と比較して、向上した品質となるように、平滑化制御情報を表す制御信号を、平滑化マスク、平滑化時定数、またはデコーダ側平滑化動作を制御する任意の他の値とすることができる。
平滑化マスクは、例えば、平滑化に用いられる各周波数の「オン／オフ」状態を示すフラグからなる通知情報を含む。したがって、平滑化マスクは、各帯域に対して１ビットの１つのフレームに関連付けられるベクトルとして理解でき、このビットは、エンコーダのガイドによる平滑化がこの帯域に対してアクティブになっているかどうかを制御する。
図１ａに示す空間オーディオエンコーダは、好ましくは、ダウンミキサ３および後段のオーディオエンコーダ４を含む。さらに、空間オーディオエンコーダは、空間パラメータ抽出デバイス２を含み、これは、チャネル間レベル差（ＩＣＬＤ）、チャネル間時間差（ＩＣＴＤｓ）、チャネル間コヒーレンス値（ＩＣＣ）、チャネル間位相差（ＩＰＤ）、チャネル間強度差（ＩＩＤ）等の量子化された空間キューを出力する。この背景では、チャネル間レベル差は、チャネル間強度差と基本的に同じであることが概説されている。
ダウンミキサ３は、図１１のアイテム１１４に記載のように構成される。さらに、空間パラメータ抽出デバイス２は、図１１のアイテム１１６に記載のように実施されてもよい。いずれにせよ、ダウンミキサ３と空間パラメータ抽出器２との別の実施の形態を、本発明との関連で用いることもできる。
さらに、オーディオエンコーダ４は、必ずしも必要ではない。しかしながら、このデバイスは、エレメント３の出力でのダウンミックス信号のデータ速度が、伝送／記憶手段を介したダウンミックス信号の伝送に対して速すぎる場合に用いられる。
空間オーディオデコーダは、エンコーダのガイドによるパラメータ平滑化デバイス９ａを含み、これは、マルチチャネルアップミキサ１２に接続されている。マルチチャネルアップミキサ１２への入力信号は、通常、送信／格納されたダウンミックス信号を復号化するためのオーディオデコーダ８の出力信号である。
好ましくは、本発明の入力信号から出力信号を発生するためのマルチチャネルシンセサイザは、入力信号が少なくとも１つの入力チャネルと量子化された再構成パラメータのシーケンスとを有し、量子化された再構成パラメータが量子化ルールに従って量子化され、かつ入力信号の後の時間部分に関連付けられ、出力信号が多数の合成された出力チャネルを有し、合成された出力チャネルの数が１以上の入力チャネルの数よりも多く、平滑化制御情報を有する制御信号を供給するための制御信号供給器を備える。この制御信号供給器は、制御情報がパラメータ情報と多重化される場合、データストリームデマルチプレクサとすることができる。しかしながら、パラメータチャネル１４ａまたはダウンミックス信号チャネルとは異なり、オーディオデコーダ８の入力側に接続されている別々のチャネルを介して、平滑化制御情報が図１ａのデバイス１からデバイス９ａに送信される場合、次に、制御信号供給器は、単に、図１ａの平滑化パラメータ抽出デバイス１により発生される制御信号を受信するデバイス９ａの入力となる。
さらに、本発明のマルチチャネルシンセサイザは、ポストプロセッサ９ａを備え、これは、「エンコーダのガイドによるパラメータ平滑化デバイス」とも呼ぶ。ポストプロセサは、後処理された再構成パラメータまたは処理される入力信号の時間部分に対する再構成パラメータから導出される後処理された量を決定し、ポストプロセッサは、後処理された再構成パラメータまたは後処理された量の値が量子化ルールに従って再量子化を用いて得られる値と異なるように、後処理された再構成パラメータまたは後処理された量を決定する。マルチチャネルアップミキサまたはマルチチャネル再構成器１２が、入力チャネルの時間部分と後処理された再構成パラメータまたは後処理された値とを用いて、多数の合成された出力チャネルの時間部分を再構成するための再構成動作を実行することができるように、後処理された再構成パラメータまたは後処理された量は、デバイス９ａからマルチチャネルアップミキサ１２へ転送される。
次に、図１ｂに示す本発明の好適な実施の形態を参照すると、まだ公開されていない米国特許出願第１０／８８３，５３８号に記載の、エンコーダのガイドによるパラメータ平滑化とデコーダのガイドによるパラメータ平滑化とが結合されている。この実施の形態では、図１ｃに詳細が示されている平滑化パラメータ抽出デバイス１が、エンコーダ／デコーダ制御フラグ５ａをさらに発生し、それは結合／スイッチ結果ブロック９ｂに送信される。
図１ｂのマルチチャネルシンセサイザまたは空間オーディオデコーダは、再構成パラメータポストプロセッサ１０を備え、これは、デコーダのガイドによるパラメータ平滑化デバイスおよびマルチチャネル再構成器１２である。デコーダのガイドによるパラメータ平滑化デバイス１０は、入力信号の後の時間部分に対して、量子化され好ましくは符号化された再構成パラメータを受信する。再構成パラメータポストプロセッサ１０は、処理される入力信号の時間部分に対して、後処理された再構成パラメータをその出力で決定する。再構成パラメータポストプロセッサは、後処理ルールに従って動作し、これは、特定の好適な実施の形態では、ローパスフィルタリングルール、平滑化ルール、または別の同様の動作である。特に、ポストプロセッサは、後処理された再構成パラメータの値が、量子化ルールに従って、任意の量子化された再構成パラメータの再量子化により得られる値と異なるように、後処理された再構成パラメータを決定する。
マルチチャネル再構成器１２は、処理された入力チャネルの時間部分および後処理された再構成パラメータを用いて、多数の合成出力チャネルのそれぞれの時間部分を再構成するために用いられる。
本発明の好適な実施の形態では、量子化された再構成パラメータは、チャネル間レベル差、チャネル間時間差またはチャネル間コヒーレンスパラメータまたはチャネル間位相差またはチャネル間強度差等の、量子化されたＢＣＣパラメータである。当然、インテンシティステレオに対するステレオパラメータまたはパラメトリックステレオに対するパラメータ等の他の全ての再構成パラメータについても、本発明に従って処理することができる。
ライン５ａを介して送信されるエンコーダ／デコーダ制御フラグは、スイッチまたは結合デバイス９ｂを制御し、デコーダのガイドによる平滑化値またはエンコーダのガイドによる平滑化値のいずれかをマルチチャネルアップミキサ１２に転送する。
以下には、ビットストリームの例を示す図４ｃを参照する。ビットストリームは、いくつかのフレーム２０ａ、２０ｂ、２０ｃ、・・・を含む。各フレームは、図４ｃの上の４角のフレームで示される入力信号の時間部分を含む。また、各フレームは、各フレーム２０ａ、２０ｂ、２０ｃの下の４角で図４ｃに示される、時間部分に関連付けられる量子化された再構成パラメータのセットを含む。例示として、フレーム２０ｂは、処理される入力信号部分と考えられ、このフレームは、すなわち、処理される入力信号部分の「過去」を形成する、直前の入力信号部分を有する。また、処理される入力信号部分の「未来」を形成する、次の入力信号部分が存在する（処理される入力部分は、「実際の」入力信号部分とも呼ばれる）が、「過去」における入力信号部分は先の入力信号部分と呼ばれ、未来における信号部分は後の入力信号部分と呼ばれる。
本発明の方法は、デコーダにおいて実行される平滑化動作をより明示的なエンコーダ制御を可能にすることにより、好ましくはノイズ様特性を有するゆっくりと移動するポイントソース、または急速に移動する正弦曲線等の音素材を有する急速に移動するポイントソースが存在する問題となる状況を正常に処理する。
上記で概説したように、エンコーダのガイドによるパラメータ平滑化デバイス９ａまたはデコーダのガイドによるパラメータ平滑化デバイス１０内で後処理動作を実行する好適なやり方は、周波数帯域指向のやり方で実行される平滑化動作である。
さらに、エンコーダのガイドによるパラメータ平滑化デバイス９ａにより実行されるデコーダにおける後処理をアクティブに制御するために、エンコーダは、好ましくはサイド情報の一部として通知情報をシンセサイザ／デコーダに送信する。しかしながら、マルチチャネルシンセサイザ制御信号は、また、パラメトリック情報またはダウンミックス信号情報の一部のサイド情報としてではなく、デコーダに別々に送信することもできる。
好適な実施の形態では、この通知情報は、平滑化に用いられる各周波数帯域の「オン／オフ」状態を示すフラグからなる。この情報の効率的な伝送のために、好適な実施の形態は、非常に少ないビット数を有する特定の頻繁に用いられる構成を通知するために「ショートカット」セットを用いることもできる。
このために、図１ｃの平滑化情報カリキュレータ１ｂは、いずれの周波数帯域でも平滑化を実行しないと決定する。これは、データジェネレータ１ｃにより発生される「オールオフ」ショートカット信号を介して通知される。特に、「オールオフ」ショートカット信号を表す制御信号は、特定のビットパターンまたは特定のフラグとすることができる。
さらに、平滑化情報カリキュレータ１ｂは、全周波数帯域において、エンコーダのガイドによる平滑化動作が実行されると決定することもできる。このために、データジェネレータ１ｃは、平滑化が全周波数帯域に適用されることを通知する「オールオン」ショートカット信号を発生する。この信号は、特定のビットパターンまたはフラグとすることができる。
さらに、信号アナライザ１ａが、１つの時間部分から次の時間部分まで、すなわち、現在の時間部分から未来の時間部分まで信号があまり大きく変化しないと決定した場合、平滑化情報カリキュレータ１ｂは、エンコーダのガイドによるパラメータ平滑化動作を変更して実行する必要はないと決定することもできる。次に、データジェネレータ１ｃは、「１つ前のマスクを繰り返す」ショートカット信号を発生し、これは、前のフレームの処理に用いられたように、同じ帯域に関するオン／オフ状態が平滑化のために用いられることを、デコーダ／シンセサイザに通知するものである。
好適な実施の形態では、信号アナライザ１ａは、デコーダ平滑化のインパクトがポイントソースの空間移動速度に適用されるように、移動速度を推定する。この処理の結果として、適した平滑化時定数が平滑化情報カリキュレータ１ｂにより決定され、データジェネレータ１ｃを介して専用サイド情報によりデコーダに通知される。好適な実施の形態では、データジェネレータ１ｃは、インデックス値を発生してデコーダに送信することにより、デコーダは、異なる定義済みの平滑化時定数（１２５ミリ秒、２５０ミリ秒、５００ミリ秒等）から選択することが可能になる。別の好適な実施の形態では、１つの時定数だけが全周波数帯域に送信される。これにより、平滑化時定数に対する通知情報の量を低減して、頻繁に発生する、スペクトルにおける１つの主要な移動するポイントソースに対して十分な量になる。適した平滑化時定数を決定する一例の処理は、図２ａおよび図２ｂに介して説明されている。
デコーダ平滑化処理の明示的な制御は、デコーダのガイドによる平滑化方法と比較して、いくつかのさらなるサイド情報の伝送を必要とする。この制御は、固有の特性を有する全入力信号のあるわずかな部分に対して必要なだけであるので、好ましくは２つのアプローチが１つの方法に結合され、これは、「ハイブリッド法」とも呼ばれる。これは、図１ｂのデバイス１６により実行されるデコーダにおける調性／過渡推定に基づいて、または明示的なエンコーダ制御により、平滑化が実行されるかどうかを決定する１つのビット等の通知情報を送信することにより行うことができる。後者の場合、図１ｂのサイド情報５ａはデコーダに送信される。
次に、ゆっくりと移動するポイントソースを特定して、適切な時定数を推定して、デコーダに通知する好適な実施の形態について説明する。好ましくは、全推定は、エンコーダにおいて実行されるので、信号パラメータの量子化されていないバージョンにアクセすることが可能であり、もちろん、これは、図１ａおよび図１ｂのデバイス２がデータ圧縮のために量子化された空間キューを送信するという事実により、デコーダにおいて利用できない。
次に、ゆっくりと移動するポイントソースを特定する好適な実施の形態を示す図２ａおよび図２ｂを参照する。特定の周波数帯域および時間フレーム内のサウンドイベントの空間位置は、図２ａに示すように特定される。特に、各オーディオ出力チャネルに対して、単位長ベクトルｅxは、通常の聴取構成において対応するスピーカの相対位置を示す。図２ａに示す例では、通常の５チャネル聴取構成が、スピーカＬ、Ｃ、Ｒ、Ｌｓ、およびＲｓと対応する単位長ベクトルｅL、ｅC、ｅR、ｅLs、およびｅRsとにより用いられる。
特定の周波数帯域および時間フレーム内のサウンドイベントの空間位置は、図２ａの式で説明するように、これらのベクトルのエネルギー重み付け平均として算出される。図２ａからわかるように、各単位長ベクトルは、特定のｘ座標および特定のｙ座標を有する。単位長ベクトルの各座標を対応するエネルギーと乗算して、ｘ座標の項およびｙ座標の項を加算することにより、特定の位置ｘ、ｙでの特定の周波数帯域および特定の時間フレームに対する空間位置が得られる。
図２ｂのステップ４０で説明するように、この算出は２つの後の時点に対して実行される。
次に、ステップ４１では、空間位置ｐ1、ｐ2を有するソースがゆっくりと移動しているかどうかが決定される。後の空間位置間の距離が所定の閾値を下回る場合、ソースがゆっくりと移動するソースであると決定される。しかしながら、変位が特定の最大変位閾値を超えている場合、ソースがゆっくりと移動していないと決定され、図２ｂの処理が停止される。
図２ａの値Ｌ、Ｃ、Ｒ、Ｌｓ、およびＲｓは、それぞれ対応するチャネルのエネルギーを表している。あるいは、デシベルで測定されるエネルギーを、空間位置ｐの算出に用いることもできる。
ステップ４２では、ソースがポイントまたはポイントに近いソースであるかが決定される。好ましくは、該当するＩＣＣパラメータが０．８５等の特定の最小閾値を超える場合、ポイントソースが検出される。ＩＣＣパラメータが所定の閾値を下回ると決定される場合、ソースはポイントソースでないので、図２の処理は停止される。しかしながら、ソースがポイントソースまたはポイントに近いソースと決定される場合、図２ｂの処理は、ステップ４３に進む。このステップでは、好ましくは、パラメトリックマルチチャネル方法のチャネル間レベル差パラメータは特定の測定間隔内で決定され、結果は多数の測定値となる。測定間隔は、多数の符号化フレーム、またはフレームのシーケンスで定義される時間分解能よりも高い頻度で発生する測定セットからなる。
ステップ４４では、後の時点に対するＩＣＬＤ曲線の傾斜が算出される。次に、ステップ４５では、平滑化時定数が選択され、これは、曲線の傾斜に反比例する。
次に、ステップ４５では、平滑化情報の一例としての平滑化時定数が出力され、デコーダ側平滑化デバイスにおいて用いられ、これは、図４ａおよび図４ｂからわかるように、平滑化フィルタとすることもできる。したがって、ステップ４５で決定される平滑化時定数は、ブロック９ａにおいて平滑化に用いられるデジタルフィルタのフィルタパラメータを設定するために用いられる。
図１ｂでは、エンコーダのガイドによるパラメータ平滑化９ａおよびデコーダのガイドによるパラメータ平滑化１０を、図４ｂ、図５、または図６ａ等に示す１つのデバイスを用いて実施することができることを強調する。これは、本発明の好適な実施の形態では、一方では平滑化制御情報と、他方では制御パラメータ抽出デバイス１６によるデコーダが算出する情報出力とがともに、平滑化フィルタおよび平滑化フィルタの起動に作用するからである。
１つの共通の平滑化時定数だけが全周波数帯域に通知される場合、例えば、平均またはエネルギー重み付け平均により、各帯域に対する個別の結果が全結果に結合される。この場合、デコーダは、全スペクトルに対する１つの平滑化時定数だけを送信する必要があるように、同じ（エネルギー重み付け）平均平滑化時定数を各帯域に適用する。帯域が結合された時定数から大幅なずれを有することがわかった場合、平均化は、対応する「オン／オフ」フラグを用いて、これらの帯域に対して禁止することもできる。
次に、図３ａ、図３ｂ、および図３ｃを参照すると、エンコーダのガイドによる平滑化制御に対する解析毎に合成するアプローチに基づく別の実施の形態が示されている。基本的な概念は、対応する量子化されていない（すなわち、測定された）（ＩＩＤ／ＩＣＬＤ）パラメータに対する量子化およびパラメータ平滑化から得られる特定の再構成パラメータ（好ましくはＩＩＤ／ＩＣＬＤパラメータ）を比較することからなる。この処理は、図３ａに示す好適な実施の形態に概略でまとめられる。一方ではＬ、他方ではＲといった、２つの異なるマルチチャネル入力チャネルは、それぞれ解析フィルタバンクに入力される。フィルタバンク出力は、適した時間／周波数表現を得るために、セグメント化されウインドウ化される。
したがって、図３ａは、２つの別々の解析フィルタバンク７０ａ、７０ｂを有する解析フィルタバンクデバイスを含む。当然、１つの解析フィルタバンクおよび記憶は、２つのチャネルを解析するために、２回用いることができる。次に、セグメント化およびウインドウ化デバイス７２において、時間セグメント化が実行される。次に、フレーム毎のＩＣＬＤ／ＩＩＤ推定が、デバイス７３において実行される。次に、各フレームに対するパラメータが、量子化器７４に送信される。したがって、デバイス７４の出力で量子化されたパラメータが得られる。次に、量子化されたパラメータが、デバイス７５において異なる時定数セットにより処理される。好ましくは、基本的に、デコーダが利用できるすべての時定数は、デバイス７５により用いられる。最後に、比較・選択ユニット７６が、量子化および平滑化されたＩＩＤパラメータを元の（未処理の）ＩＩＤ推定値と比較する。ユニット７６は、処理されたＩＩＤ値と元の測定されたＩＩＤ値との間で最も良く当てはまる、量子化されたＩＩＤパラメータおよび平滑化時定数を出力する。
次に、図３ａのデバイスに対応する図３ｃのフローチャートを参照する。ステップ４６で説明するように、いくつかのフレームに対してＩＩＤパラメータが発生される。次に、ステップ４７では、これらのＩＩＤパラメータが量子化される。ステップ４８では、量子化されたＩＩＤパラメータが、異なる時定数を用いて平滑化される。次に、ステップ４９では、平滑化シーケンスおよび元の発生されたシーケンス間の誤差が、ステップ４９で用いられる各時定数に対して算出される。最後に、ステップ５０では、量子化されたシーケンスが平滑化時定数とともに選択され、これにより、最も小さい誤差になる。次に、ステップ５０は、最も良い時定数とともに量子化された値のシーケンスを出力する。
高性能のデバイスに好適なさらに詳細な実施の形態では、量子化器から考えられ得るＩＩＤ値のレパートリーから選択される量子化されたＩＩＤ／ＩＣＬＤパラメータセットに対して、この処理を実行することもできる。この場合、比較および選択手順は、送信された（量子化された）ＩＩＤパラメータおよび平滑化時定数の様々な結合に対する、処理されたＩＩＤおよび未処理のＩＩＤパラメータの比較を備える。したがって、ステップ４７の大括弧で説明するように、第１の実施の形態とは異なり、第２の実施の形態は、ＩＩＤパラメータを量子化するために、異なる量子化ルールまたは同じ量子化ルールであるが異なる量子化ステップサイズを用いる。次に、ステップ５１では、誤差が各量子化方法および各時定数に対して算出される。したがって、さらに詳細な実施の形態では、図３ｃのステップ５０と比較する、ステップ５２で決定される候補の数は、第１の実施の形態と比較して、異なる量子化方法の数と等しいファクタだけ大きい。
次に、ステップ５２では、量子化された値のシーケンスと、一致する時定数とを検索するために、（１）誤差および（２）ビットレートに対して２次元最適化が実行される。最後に、ステップ５３では、量子化された値のシーケンスが、ハフマン符号または算術符号を用いてエントロピー符号化される。ステップ５３は、最後に、デコーダまたはマルチチャネルシンセサイザに送信されるビットシーケンスを生じる。
図３ｂは、平滑化による後処理の効果を示す。アイテム７７は、フレームｎに対する量子化されたＩＩＤパラメータを表す。アイテム７８は、フレームインデックスｎ＋１を有するフレームに対する量子化されたＩＩＤパラメータを表す。量子化されたＩＩＤパラメータ７８は、参照番号７９で示す１フレーム毎に測定されたＩＩＤパラメータから量子化により導出される。異なる時定数を用いて、量子化されたパラメータ７７および７８のこのパラメータシーケンスを平滑化することにより、８０ａおよび８０ｂで、より小さい後処理されたパラメータ値となる。後処理された（平滑化された）パラメータ８０ａを生じるパラメータシーケンス７７、７８を平滑化するための時定数は、後処理されたパラメータ８０ｂを生じる平滑化時定数より小さい。当該技術で周知のように、平滑化時定数は、対応するローパスフィルタのカットオフ周波数に対して逆になっている。
図３ｃのステップ５１から５３で説明される実施の形態が好ましいのは、誤差およびビットレートに対して２次元最適化を実行することができ、異なる量子化ルールにより、量子化された値を表すビット数が異なるようになるからである。さらに、この実施の形態は、実際の後処理された再構成パラメータの値が、処理方法とともに、量子化された再構成パラメータに依存するという知見に基づいている。
例えば、フレームからフレームへの（量子化された）ＩＩＤの差が大きいと、大きい平滑化時定数との結合では、処理されたＩＩＤの正味の効果が最も小さくなってしまう。より小さい時定数と比較して、ＩＩＤパラメータの差が最も小さいと、同じ正味の効果を構築することになる。このように自由度がさらに大きくなることは、同時に、エンコーダが、再構成されたＩＩＤとともに得られるビットレートの両方を最適化することができる（特定のＩＩＤ値の伝送が、特定の別のＩＩＤパラメータの伝送よりも、よりコストがかかるという事実による）。
上記で概略したように、平滑化に対するＩＩＤ軌道の効果は、図３ｂに概説され、平滑化時定数の様々な値に対するＩＩＤ軌道を示し、星印はフレーム毎に測定されたＩＩＤを表し、３角形はＩＩＤ量子化器の考えられ得る値を表している。ＩＩＤ量子化器の精度が制限されていると仮定すると、フレームｎ＋１に星印で示すＩＩＤ値を利用することができない。最も近いＩＩＤ値は、３角形で示されている。図のラインは、様々な平滑化定数から得られるフレーム間のＩＩＤ軌道を示している。選択アルゴリズムは、フレームｎ＋１に対する測定されたＩＩＤパラメータに最も近いＩＩＤ軌道となる平滑化時定数を選択する。
上記の例は、すべて、ＩＩＤパラメータに関するものである。原則として、記載の方法は、すべて、ＩＰＤ、ＩＴＤ、またはＩＣＣパラメータに適用することもできる。
したがって、本発明は、エンコーダ側処理およびデコーダ側処理に関し、平滑化制御信号を介して通知される平滑化イネイブル／ディセイブルマスクおよび時定数を用いてシステムを形成している。さらに、周波数帯域毎に帯域に関する通知が実行され、さらに、ショートカットは、全帯域オン、全帯域オフまたは前の状態を繰り返すショートカットに好適である。さらに、全帯域に対して１つの共通の平滑化時定数を用いることは好適である。なお、さらにまたはあるいは、ハイブリッド法を実行するために、明示的なエンコーダ制御に対して自動的に調性ベースの平滑化をするための信号を送信することができる。
次に、エンコーダのガイドによるパラメータ平滑化について動作するデコーダ側の実施例を参照する。
図４ａは、エンコーダ側２１とデコーダ側２２とを示す。エンコーダでは、Ｎ個の元の入力チャネルがダウンミキサステージ２３に入力される。ダウンミキサステージは、チャネルの数を例えば１つのモノラルチャネルに、あるいは可能ならば２つのステレオチャネルに低減する。次に、ダウンミキサ２３のダウンミックスした信号表示は、ソースエンコーダ２４に入力され、ソースエンコーダは、例えば出力ビットストリームを生じるＭＰ３エンコーダまたはＡＡＣエンコーダとして実施される。エンコーダ側２１は、さらに、パラメータ抽出器２５を備え、これは、本発明に従って、ＢＣＣ解析（図１１のブロック１１６）を実行し、量子化された好ましくはハフマン符号化されたチャネル間レベル差（ＩＣＬＤ）を出力する。ソースエンコーダ２４の出力でのビットストリームとともにパラメータ抽出器２５により出力される量子化された再構成パラメータは、デコーダ２２に送信されたり、デコーダに後から送信するために保存されたりすることができる。
デコーダ２２は、ソースデコーダ２６を含み、これは、受信されたビットストリーム（ソースエンコーダ２４から送信されたもの）から信号を再構成する。このために、ソースデコーダ２６は、その出力で、入力信号の後の時間部分をアップミキサ１２に供給し、これは、図１のマルチチャネルアップミキサ１２と同じ機能を実行する。好ましくは、この機能は、図１１のブロック１２２により実施されるようにＢＣＣ合成である。
図１１と異なって、本発明のマルチチャネルシンセサイザは、さらに、ポストプロセッサ１０（図４ａ）を含み、これは、「チャネル間レベル差（ＩＣＬＤ）スムーザ」と呼ばれ、入力信号アナライザ１６により制御され、好ましくは入力信号の調性解析を実行する。
図４ａからわかるように、チャネル間レベル差（ＩＣＬＤｓ）等の再構成パラメータがあり、ＩＣＬＤスムーザに入力されるが、パラメータ抽出器２５とアップミキサ１２とをつなぐ接続がさらにある。このバイパス接続を介して、後処理する必要のない他の再構成パラメータを、パラメータ抽出器２５からアップミキサ１２に供給することができる。
図４ｂは、信号アナライザ１６およびＩＣＬＤスムーザ１０により形成される信号適応再構成パラメータ処理の好適な実施の形態を示す。
信号アナライザ１６は、調性決定ユニット１６ａと後段の閾値処理デバイス１６ｂとから形成される。さらに、図４ａの再構成パラメータポストプロセッサ１０は、平滑化フィルタ１０ａと、ポストプロセッサスイッチ１０ｂとを含む。ポストプロセッサスイッチ１０ｂは、閾値処理デバイス１６ｂにより制御され、調性特性等の入力信号の特定の信号特性が特定の指定の閾値に対して所定の関係にあることを閾値処理デバイス１６ｂが決定した場合、スイッチが作動される。この場合、入力信号の信号部分の調整が、特に、特定の入力信号の時間部分の特定の周波数帯域が調性閾値を超える調性を有する場合に、（図４ｂに示すように）スイッチが上の位置に作動されるという状況である。この場合、逆量子化されたチャネル間差ではなく、後処理されたものがデコーダ／マルチチャネル再構成器／アップミキサ１２に供給されるように、スイッチ１０ｂは、平滑化フィルタ１０ａの出力をマルチチャネル再構成器１２の入力に接続するために作動される。
しかしながら、デコーダが制御を行う実施例では、調性決定手段が、実際の入力信号の時間部分の特定の周波数帯域、すなわち、処理される入力信号部分の特定の周波数帯域が指定の閾値よりも低い調性を有する、すなわち、過渡であると決定する場合、スイッチは平滑化フィルタ１０ａをバイパスするように作動される。
後者の場合、平滑化フィルタ１０ａによる信号適応後処理は、過渡信号に対する再構成パラメータ変化が変更のない後処理ステージを通過して、過渡信号に対して相当高い確率で現実の状況に対応する、空間イメージに関する再構成された出力信号を迅速に変化することを確実にする。
ここで、一方では後処理を起動し、他方では完全に後処理を起動しない図４ｂの実施の形態、すなわち、後処理を行うか行わないかという二者択一は、その単純で効率的な構造のために、単に好適な実施の形態にすぎないことに留意されたい。しかしながら、特に調性に対しては、この信号特性は、質的パラメータばかりでなく、通常０と１との間にすることができる量的パラメータでもあることに留意されたい。量的に決定されたパラメータに従って、音信号が大きい場合に大きな平滑化が起動され、音信号がそうでない場合により低い平滑化度合いを有する平滑化が始められるように、平滑化フィルタの平滑化度合い、または、例えば、ローパスフィルタのカットオフ周波数を設定することができる。
もちろん、過渡信号が大きい場合、再構成パラメータの後処理が、マルチチャネル信号の空間イメージの変化をさらに強調するように、過渡部分を検出したり、定義済みの量子化された値間の値、または量子化インデックス間の値にパラメータの変化を強調したりすることもできる。この場合、後の時間部分に対する後の再構成パラメータにより指示されるように１の量子化ステップサイズを、例えば１．５、１．４、１．３等に高めて、再構成されたマルチチャネル信号の空間イメージをさらに劇的に変化させることができる。
ここで、音信号特性、過渡信号特性または他の信号特性は、それに基づいて信号解析が再構成パラメータポストプロセッサを制御するために実行され得る信号特性の例に過ぎないことに留意されたい。この制御に応答して、再構成パラメータポストプロセッサは、所定の量子化ルールにより決定される、一方では量子化インデックスの任意の値であり、他方では再量子化値である値を有する後処理された再構成パラメータを決定する。
ここで、再構成パラメータの後処理は、信号特性に依存すること、すなわち、信号適応パラメータ後処理はオプションであることに留意されたい。また、信号に依存しない後処理は、多くの信号に対して利点がある。例えば、ユーザが（強調機能の場合に）強められた変化を行ったり、（平滑化機能の場合に）弱められた変化を行ったりするように、特定の後処理機能をユーザが選択することもできる。あるいは、任意のユーザ選択および信号特性に依存しない後処理は、誤り耐性に関してある利点がある。特に、量子化器のステップサイズが大きい場合、量子化器インデックスの伝送エラーにより、可聴アーティファクトになってしまうことが明らかになっている。このために、エラーを起こしやすいチャネルを介して信号を送信する必要がある場合、前進型誤信号訂正または同様の別の動作を実行する。本発明によれば、過去における再構成パラメータに基づく再構成パラメータの後処理は、大量の送信された量子化された再構成パラメータを検出することになり、さらに、このようなエラーに対する適切な対策となるので、後処理は、ビットとして効率的でないエラー訂正符号を不要とすることができる。また、後処理機能が平滑化機能である場合、後述するように、先のまたは後の再構成パラメータと大きく異なる量子化された再構成パラメータは自動的に操作される。
図５は、図４ａの再構成パラメータポストプロセッサ１０の好適な実施の形態を示す。特に、量子化された再構成パラメータが符号化されるという状況を考える。ここでは、符号化された量子化された再構成パラメータはエントロピーデコーダ１０ｃに入り、これは、復号化された量子化された再構成パラメータのシーケンスを出力する。エントロピーデコーダの出力で再構成パラメータは量子化され、このことは、特定の「有益な」値を有していることを意味しているのではなく、後段の逆量子化器により実施される特定の量子化ルールの特定の量子化器インデックスまたは量子化器レベルを示していることを意味している。マニピュレータ１０ｄは、例えば、（好ましくは）必要とする後処理機能により決定される任意のフィルタ特性を有するＩＩＲフィルタまたはＦＩＲフィルタ等のデジタルフィルタとすることができる。平滑化またはローパスフィルタリング後処理機能が好ましい。マニピュレータ１０ｄの出力で、操作された量子化された再構成パラメータのシーケンスが得られ、これらは、整数の数字だけでなく、量子化ルールにより決定される範囲内の任意の実数である。このように操作された量子化された再構成パラメータは、ステージ１０ｄの前の値１、０、１と比較して、１．１、０．１、０．５等の値を有することができる。次に、ブロック１０ｄの出力での値のシーケンスは、後処理された再構成パラメータを得るために拡張逆量子化器１０ｅに入力され、これらは、図１ａおよび図１ｂのブロック１２でマルチチャネル再構成（例えばＢＣＣ合成）に用いることができる。
通常の逆量子化器は、限定した数の量子化インデックスから指定の逆量子化された出力値へ各量子化入力をマッピングするだけであるので、拡張量子化器１０ｅ（図５）は通常の逆量子化器と異なることに留意されたい。通常の逆量子化器は、非整数量子化器インデックスをマッピングすることはできない。したがって、好ましくは、拡張逆量子化器１０ｅは直線または対数量子化ルール等の同じ量子化ルールを用いて実施されるが、非整数入力を受け付けて、整数入力だけを用いて得られる値とは異なる出力値を供給することができる。
再量子化の前（図５を参照）または再量子化の後（図６ａ、図６ｂを参照）で、操作を行うかどうかは、本発明に対して基本的に差は何もない。後者の場合では、逆量子化器は、すでに概略を述べたように、図５の拡張逆量子化器１０ｅと異なる、通常の直接逆量子化器である必要がある。もちろん、図５および図６ａの選択は、特定の実施例に依存する選択の問題である。現在の実施例では、既存のＢＣＣアルゴリズムとより互換性があるので、図５の実施の形態が好ましい。しかしながら、このことは他の応用では別の話である。
図６ｂは、図５の拡張逆量子化器１０ｅが、直接逆量子化器と直線または好ましくは非直線曲線に従ってマッピングするためのマッピング手段１０ｇとに置換される実施の形態を示す。このマッピング手段は、数値動作を実行するための回路またはルックアップテーブル等のハードウェアまたはソフトウェアとして実行することができる。データ操作は、例えばスムーザ１０ｈを用いて、マッピング手段１０ｇの前段、またはマッピング手段１０ｇの後段、または結合して両段で実行することができる。全てのエレメント１０ｆ、１０ｈ、１０ｇはソフトウェアルーチンの回路等の構成部品を直接用いて実施することができるので、後処理が逆量子化器領域で実行される場合に、この実施の形態は好ましい。
一般に、ポストプロセッサ１０は、図７ａに示すようにポストプロセッサとして実施され、実際の量子化された再構成パラメータ、未来の再構成パラメータまたは過去の量子化された再構成パラメータを全てまたは選択して受信する。この場合、ポストプロセッサは、少なくとも１つの過去の再構成パラメータおよび実際の再構成パラメータだけを受信し、ポストプロセッサは、ローパスフィルタとして動作する。しかしながら、ポストプロセッサ１０が、特定の遅延を用いてリアルタイムの応用において可能である、未来の遅延された量子化された再構成パラメータを受信する場合、ポストプロセッサは、例えば特定の周波数帯域の再構成パラメータの時間経過を平滑化するために、未来の量子化された再構成パラメータと現在または過去の量子化された再構成パラメータとの間で補間を実行することができる。
図７ｂは、後処理された値が、逆量子化された再構成パラメータから導出されないが、逆量子化された再構成パラメータから導出される値から導出される実施例を示す。導出するための処理は、導出するための手段７００により実行され、この場合、ライン７０２を介して量子化された再構成パラメータを受信することができ、または、ライン７０４を介して逆量子化されたパラメータを受信することができる。例えば、量子化されたパラメータとして振幅値を受信することができ、これは、エネルギー値を算出するために導出するための手段により用いられる。次に、このエネルギー値に対して、後処理（例えば平滑化）動作を行う。量子化されたパラメータは、ライン７０８を介してブロック７０６に転送される。したがって、ライン７１０に示すように量子化されたパラメータを直接用いて、またはライン７１２に示すように逆量子化されたパラメータを用いて、またはライン７１４に示すように逆量子化されたパラメータから導出される値を用いて、後処理を実行することができる。
すでに概説したように、パラメトリック符号化されたマルチチャネル信号内のベースチャネルに付属する再構成パラメータから導出される量について、荒いサイズの量子化環境での量子化ステップサイズによるアーティファクトを克服するデータ操作を実行することができる。例えば、量子化された再構成パラメータが差パラメータ（ＩＣＬＤ）である場合、変更をしないで、このパラメータを逆量子化することができる。次に、出力チャネルの絶対レベル値を導出することができ、絶対値に対して本発明のデータ操作が実行される。この手順は、後処理された再構成パラメータまたは後処理された量の値が、量子化ルールに従って再量子化を用いて、すなわち「ステップサイズ制限」を克服する操作を行わずに、得られる値と異なるように、量子化された再構成パラメータと実際の再構成との間の処理経路でデータ操作が実行される限りにおいて、本発明のアーティファクトを低減することにもなる。
操作された量を量子化された再構成パラメータから最終的に導出するためのマッピング機能の多くは、導出可能で、本技術で用いられ、これらのマッピング機能は、後処理されない量を得るためにマッピングルールに従って入力値を出力値に一意的にマッピングするための機能を含み、それは、次に、マルチチャネル再構成（合成）アルゴリズムに用いられる後処理された量を得るために後処理される。
以下では、図８を参照して、図５の拡張逆量子化器１０ｅと、図６ａの直接逆量子化器１０ｆとの間の違いを説明する。このために、図８の図では、横軸は、量子化されていない値の入力値軸を示す。縦軸は、量子化器レベルまたは量子化器インデックスを示し、これは、好ましくは０、１、２、３の値を有する整数である。ここで、図８の量子化器では、０から１の間の値または１から２の間の値にはならないことに留意されたい。これらの量子化器レベルに対するマッピングは、例えば−１０から１０の間の値が０にマッピングされ、１０から２０の間の値が１に量子化される等のように、階段関数により制御される。
考えられる逆量子化器関数は、０の量子化器レベルを０の逆量子化された値にマッピングする。１の量子化器レベルは、１０の逆量子化された値にマッピングされる。同様に、例えば、２の量子化器レベルは２０の逆量子化された値にマッピングされる。したがって、再量子化は、参照番号３１で示す逆量子化器関数により制御される。直接逆量子化器は、ライン３０とライン３１との交点に限って可能であることに留意されたい。このことは、図８の逆量子化器ルールを有する直接逆量子化器では、０、１０、２０、３０の値だけを、再量子化により得ることができることを意味している。
これは、拡張逆量子化器が０．５の値等の、０から１または１から２の間の値を入力として受信するので、拡張逆量子化器１０ｅにおいて異なっている。マニピュレータ１０ｄにより得られる０．５の値の進んだ再量子化により、５の逆量子化された出力値となり、すなわち、後処理された再構成パラメータは、量子化ルールに従って再量子化により得られる値と異なる値を有する。通常の量子化ルールでは、０または１０の値だけが得られるが、好適な逆量子化器関数３１に従って動作する好適な逆量子化器では、異なる値、すなわち、図８に示す５の値が得られる。
直接逆量子化器では、整数量子化器レベルを量子化されたレベルにマッピングするだけであるが、拡張逆量子化器は、非整数量子化器「レベル」を受信し、これらの値を逆量子化器ルールにより決定される値間の「逆量子化された値」にマッピングする。
図９は、図５の実施の形態に対する好適な後処理の効果を示す。図９ａは、０から３の間で変化する量子化された再構成パラメータのシーケンスを示す。図９ｂは、図９ａの波形がローパス（平滑化）フィルタに入力される場合、「変更された量子化器インデックス」とも呼ぶ、後処理された再構成パラメータのシーケンスを示す。ここで、時点１、４、６、８、９、および１０での増減は、図９ｂの実施の形態では低減していることに留意されたい。アーティファクトとして考えられる時点８と時点９との間のピークが、量子化ステップ全体で抑制されていることを強調して述べる。しかしながら、すでに概説したように、このような極端な値を、量的調性値に従って後処理の度合いにより制御することができる。
本発明は、本発明の後処理が、変動を平滑化したり、短期の極端な値を平滑化したりするという利点がある。この状況は、特に、同じエネルギーを有するいくつかの入力チャネルからの信号部分が、信号の周波数帯域、すなわち、ベースチャネルまたは入力信号チャネルと重ね合わされる場合に発生する。次に、この周波数帯域は、時間部分毎に対応し、個々の出力チャネルを非常に変動するように混合した即座の状況に依存する。しかしながら、心理音響的な視点から、これらの変動は、基本的にソースの位置の検出に寄与せずに、主観的な聴き取り印象を悪くするような影響を与えるので、これらの変動を平滑化する方がよい。
本発明の好適な実施の形態によれば、システムにおける異なる場所で品質損失を発生することなく、あるいは送信された再構成パラメータの高い解像度／量子化（したがって、速いデータ速度）を必要とすることなく、このような可聴アーティファクトが低減されたり、解消されたりする。本発明は、重要な空間ローカライゼーション検出キューに基本的に影響を与えることなく、パラメータの信号適応変更（平滑化）を実行することにより、本目的を達成する。
再構成された出力信号の特性に突然変化が発生すると、高い定常特性を有するオーディオ信号に対して、特に可聴アーティファクトが発生する。これは、音信号がある場合である。したがって、このような信号に対する量子化された再構成パラメータ間に「スムーザ」によるトランジションを供給することは重要なことである。これは、例えば、平滑化、補間等により得ることができる。
また、このようなパラメータ値の変更により、他の種類のオーディオ信号に可聴歪みが発生してしまう。これは、信号特性に急速に発生する変動を含む信号の場合である。このような特性は、過渡部分または打楽器のアタックに見られる。この場合、本実施の形態により、パラメータ平滑化を起動しないようにする。
これは、信号適応法で、送信された量子化された再構成パラメータの後処理により、得られる。
適応性は、直線または非直線である。適応性が非直線の場合、図３ｃで説明されるように閾値処理手順が実行される。
適応性を制御するための別の基準は、信号特性の特定の定常性を決定することである。信号特性の定常性を決定するための特定の形式は、信号エンベロープ、または、特に、信号の調性を評価することである。ここで、全周波数範囲に対して、または、好ましくは、オーディオ信号の異なる周波数帯域それぞれに対して、調性を決定することができることに留意されたい。
本実施の形態により、パラメータ値を送信するための必要とされたデータ速度が速くなることなく、今まで不可避であったアーティファクトを低減したり、または解消したりすることになる。
図４ａおよび図４ｂですでに概説したように、検討中の信号部分に音特性がある場合に、デコーダ制御モードでの本発明の好適な実施の形態では、チャネル間レベル差の平滑化を実行する。エンコーダで算出されて、エンコーダで量子化されるチャネル間レベル差は、信号適応平滑化動作を行うためにデコーダに送信される。適応構成要素は、閾値決定に関する調性決定であり、音スペクトル成分に対してチャネル間レベル差のフィルタリングを起動して、ノイズ様および過渡スペクトル成分に対してはこのような後処理を起動しない。本実施の形態では、エンコーダの付加的なサイド情報は、適応平滑化アルゴリズムを実行するために必要としない。
ここで、本発明の後処理は、パラメトリックステレオ、ＭＰ３サラウンド、および同様の方法などのマルチチャネル信号に対してパラメトリック符号化を行う他の概念に用いることもできることに留意されたい。
本発明の方法またはデバイスまたはコンピュータプログラムは、いくつかのデバイスから実施することができる。図１４は、本発明のエンコーダを含むトランスミッタと、本発明のデコーダを含むレシーバとを有する伝送システムを示す。伝送チャネルは、無線または有線チャネルとすることができる。さらに、図１５に示すように、エンコーダをオーディオレコーダに含ませることもできるし、デコーダをオーディオプレーヤに含ませることもできる。オーディオレコーダからのオーディオ記録は、インターネットを介して、または、メール、宅配業者リソース、またはメモリカード、ＣＤまたはＤＶＤ等の記憶媒体を配信するための他の可能性を用いて配信される記憶媒体を介して、オーディオプレーヤに配信することができる。
本発明の方法の特定の実現要求によっては、本発明の方法は、ハードウェアまたはソフトウェアで実施することができる。この実施は、本発明の方法が実行されるように、プログラム可能なコンピュータシステムと協働する、デジタル記憶媒体、特に、それに格納される電子的に読み取り可能な制御信号を有するディスクまたはＣＤを用いて、実行することができる。したがって、一般に、本発明は、機械読み取り可能なキャリアに格納されるプログラムコードを有するコンピュータプログラム製品であり、そのプログラムコードは、そのコンピュータプログラム製品がコンピュータ上で実行されるときに、少なくとも１つの本発明の方法を実行するために構成される。したがって、言い換えれば、本発明の方法は、コンピュータプログラムがコンピュータ上で実行されるときに、本発明の方法を実行するためのプログラムコードを有するコンピュータプログラムである。
前述のように、特定の実施の形態を参照して特に図示して説明してきたが、本発明の精神、範囲を逸脱することなく、形態や詳細を様々変更することができることが、当業者ならば理解できるであろう。ここに開示するより広い概念から逸脱することなく、異なる実施の形態に適用して、変更が可能なことが、特許請求の範囲から理解できるであろう。

Claims (11)

  1. 入力信号から出力信号を発生するためのマルチチャネルシンセサイザであって、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、
    前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するための制御信号供給器と、
    前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するためのポストプロセッサであって、前記後処理された再構成パラメータまたは前記後処理された量の値が、前記量子化ルールに従って再量子化を用いて得られる値と異なるように、前記後処理された再構成パラメータまたは前記後処理された量を決定するポストプロセッサと、
    前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するためのマルチチャネル再構成器とを備え、
    前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、
    前記ポストプロセッサは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化動作を実行する、マルチチャネルシンセサイザ。
  2. 前記平滑化制御情報は平滑化時定数を示し、
    前記ポストプロセッサは、前記平滑化時定数に応答してフィルタ特性が設定される、ローパスフィルタリングを実行する、請求項１に記載のマルチチャネルシンセサイザ。
  3. 前記マルチチャネルシンセサイザ制御信号は、前記少なくとも１つの入力チャネルの複数の帯域の各帯域に対して、前記平滑化制御情報を含み、
    前記ポストプロセッサは、前記マルチチャネルシンセサイザ制御信号に応答して、帯域に関する方法において後処理を実行する、請求項１に記載のマルチチャネルシンセサイザ。
  4. 入力信号から出力信号を発生する方法であって、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、
    前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するステップと、
    前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するステップと、
    前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するステップとを備え、
    前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、
    前記後処理された再構成パラメータまたは前記後処理された量を決定する前記ステップは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化を含む、方法。
  5. 入力信号から出力信号を発生するためのマルチチャネルシンセサイザを有するレシーバであって、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、前記レシーバは、
    前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するための制御信号供給器と、
    前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するためのポストプロセッサであって、前記後処理された再構成パラメータまたは前記後処理された量の値が、前記量子化ルールに従って再量子化を用いて得られる値と異なるように、前記後処理された再構成パラメータまたは前記後処理された量を決定するポストプロセッサと、
    前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するためのマルチチャネル再構成器とを備え、
    前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、
    前記ポストプロセッサは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化動作を実行する、レシーバ。
  6. トランスミッタおよびレシーバを有する伝送システムであって、
    前記トランスミッタはマルチチャネルシンセサイザ制御信号を発生するための装置を有し、前記装置は、
    マルチチャネル入力信号を解析するための信号アナライザと、
    前記信号アナライザに応答して平滑化制御情報を決定するための平滑化情報カリキュレータであって、前記平滑化制御情報に応答して、シンセサイザ側ポストプロセッサが、処理される入力信号の時間部分に対して後処理された再構成パラメータまたは再構成パラメータから導出される後処理された量を発生するように、前記平滑化制御情報を決定する平滑化情報カリキュレータと、
    前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を発生するためのデータジェネレータとを備え、
    前記レシーバは前記入力信号から出力信号を発生するためのマルチチャネルシンセサイザを有し、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を有し、前記レシーバは、
    前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するための制御信号供給器と、
    前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の前記時間部分に対して、前記後処理された再構成パラメータまたは前記再構成パラメータから導出される前記後処理された量を決定するための前記シンセサイザ側ポストプロセッサであって、前記後処理された再構成パラメータまたは前記後処理された量の値が、前記量子化ルールに従って再量子化を用いて得られる値と異なるように、前記後処理された再構成パラメータまたは前記後処理された量を決定する前記シンセサイザ側ポストプロセッサと、
    前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するためのマルチチャネル再構成器とを備え、
    前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、
    前記シンセサイザ側ポストプロセッサは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化動作を実行する、伝送システム。
  7. 受信方法であって、前記方法は入力信号から出力信号を発生する方法を含み、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、前記発生する方法は、
    前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するステップと、
    前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するステップと、
    前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するステップとを備え、
    前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、
    前記後処理された再構成パラメータまたは前記後処理された量を決定する前記ステップは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化を含む、受信方法。
  8. 受信および送信方法であって、前記方法はマルチチャネルシンセサイザ制御信号を発生する方法を有する送信方法を含み、前記方法は、マルチチャネル入力信号を解析するステップと、前記信号解析ステップに応答して平滑化制御情報を決定するステップであって、前記平滑化制御情報に応答して、後処理ステップが、処理される入力信号の時間部分に対して後処理された再構成パラメータまたは再構成パラメータから導出される後処理された量を発生するようにするステップと、前記平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を発生するステップとを備え、さらに
    入力信号から出力信号を発生する方法を有する受信方法を含み、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を有し、前記発生する方法は、前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するステップと、前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の前記時間部分に対して、前記後処理された再構成パラメータまたは前記再構成パラメータから導出される前記後処理された量を決定するステップと、前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するステップとを備え、
    前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、
    前記後処理された再構成パラメータまたは前記後処理された量を決定する前記ステップは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化を含む、受信および送信方法。
  9. コンピュータ上で動作するときに、請求項４、請求項７または請求項８のいずれかに記載の方法を実行するためのコンピュータプログラム。
  10. 入力信号から出力信号を発生するためのマルチチャネルシンセサイザを有するオーディオプレーヤであって、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、前記オーディオプレーヤは、
    前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するための制御信号供給器と、
    前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するためのポストプロセッサであって、前記後処理された再構成パラメータまたは前記後処理された量の値が、前記量子化ルールに従って再量子化を用いて得られる値と異なるように、前記後処理された再構成パラメータまたは前記後処理された量を決定するポストプロセッサと、
    前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するためのマルチチャネル再構成器とを備え、
    前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、
    前記ポストプロセッサは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化動作を実行する、オーディオプレーヤ。
  11. オーディオ再生方法であって、前記方法は入力信号から出力信号を発生する方法を含み、前記入力信号は多数の入力チャネルを有し、前記多数の入力チャネルは少なくとも１つのかつ量子化された再構成パラメータのシーケンスであり、前記量子化された再構成パラメータは量子化ルールに従って量子化され、かつ前記入力信号の後の時間部分に関連付けられ、前記出力信号は多数の合成された出力チャネルを有し、前記多数の合成された出力チャネルは入力チャネルの数よりも多く、前記入力信号はそれに関連付けられた平滑化制御情報を表すマルチチャネルシンセサイザ制御信号を有し、前記発生する方法は、
    前記平滑化制御情報を表す前記マルチチャネルシンセサイザ制御信号を供給するステップと、
    前記マルチチャネルシンセサイザ制御信号に応答して、処理される前記入力信号の時間部分に対して、後処理された再構成パラメータまたは前記再構成パラメータから導出される後処理された量を決定するステップと、
    前記入力チャネルの前記時間部分および前記後処理された再構成パラメータまたは前記後処理された値を用いて、前記多数の合成された出力チャネルの時間部分を再構成するステップとを備え、
    前記マルチチャネルシンセサイザ制御信号は、オールオフショートカット信号、オールオンショートカット信号または１つ前のマスクを繰り返すショートカット信号を含み、
    前記後処理された再構成パラメータまたは前記後処理された量を決定する前記ステップは、前記オールオフショートカット信号、前記オールオンショートカット信号または前記１つ前のマスクを繰り返すショートカット信号に応答して、平滑化を含む、オーディオ再生方法。
JP2011233577A 2005-04-15 2011-10-25 マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法 Active JP5624967B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US67158205P 2005-04-15 2005-04-15
US60/671,582 2005-04-15
US11/212,395 US7983922B2 (en) 2005-04-15 2005-08-27 Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US11/212,395 2005-08-27

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007528890A Division JP5511136B2 (ja) 2005-04-15 2006-01-19 マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法

Publications (2)

Publication Number Publication Date
JP2012068651A JP2012068651A (ja) 2012-04-05
JP5624967B2 true JP5624967B2 (ja) 2014-11-12

Family

ID=36274412

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2007528890A Active JP5511136B2 (ja) 2005-04-15 2006-01-19 マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法
JP2011233577A Active JP5624967B2 (ja) 2005-04-15 2011-10-25 マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法
JP2012263339A Active JP5625032B2 (ja) 2005-04-15 2012-11-30 マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007528890A Active JP5511136B2 (ja) 2005-04-15 2006-01-19 マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2012263339A Active JP5625032B2 (ja) 2005-04-15 2012-11-30 マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法

Country Status (18)

Country Link
US (2) US7983922B2 (ja)
EP (1) EP1738356B1 (ja)
JP (3) JP5511136B2 (ja)
KR (1) KR100904542B1 (ja)
CN (1) CN101816040B (ja)
AU (1) AU2006233504B2 (ja)
BR (1) BRPI0605641B1 (ja)
CA (1) CA2566992C (ja)
ES (1) ES2399058T3 (ja)
HK (1) HK1095195A1 (ja)
IL (1) IL180046A (ja)
MX (1) MXPA06014987A (ja)
MY (1) MY141404A (ja)
NO (1) NO338934B1 (ja)
PL (1) PL1738356T3 (ja)
RU (1) RU2361288C2 (ja)
TW (1) TWI307248B (ja)
WO (1) WO2006108456A1 (ja)

Families Citing this family (131)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7711123B2 (en) * 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
EP2782337A3 (en) 2002-10-15 2014-11-26 Verance Corporation Media monitoring, management and information system
US9055239B2 (en) 2003-10-08 2015-06-09 Verance Corporation Signal continuity assessment using embedded watermarks
US7369677B2 (en) * 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
KR101283525B1 (ko) * 2004-07-14 2013-07-15 돌비 인터네셔널 에이비 오디오 채널 변환
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
WO2006126844A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method and apparatus for decoding an audio signal
JP4988716B2 (ja) 2005-05-26 2012-08-01 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及び装置
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
TWI396188B (zh) * 2005-08-02 2013-05-11 Dolby Lab Licensing Corp 依聆聽事件之函數控制空間音訊編碼參數的技術
WO2007046659A1 (en) 2005-10-20 2007-04-26 Lg Electronics Inc. Method for encoding and decoding multi-channel audio signal and apparatus thereof
DE602006012370D1 (de) * 2005-12-13 2010-04-01 Nxp Bv Einrichtung und verfahren zum verarbeiten eines audio-datenstroms
US8332216B2 (en) * 2006-01-12 2012-12-11 Stmicroelectronics Asia Pacific Pte., Ltd. System and method for low power stereo perceptual audio coding using adaptive masking threshold
TWI329462B (en) * 2006-01-19 2010-08-21 Lg Electronics Inc Method and apparatus for processing a media signal
US8560303B2 (en) * 2006-02-03 2013-10-15 Electronics And Telecommunications Research Institute Apparatus and method for visualization of multichannel audio signals
JP5054035B2 (ja) * 2006-02-07 2012-10-24 エルジー エレクトロニクス インコーポレイティド 符号化／復号化装置及び方法
US7584395B2 (en) * 2006-04-07 2009-09-01 Verigy (Singapore) Pte. Ltd. Systems, methods and apparatus for synthesizing state events for a test data stream
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US8374365B2 (en) * 2006-05-17 2013-02-12 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
US8712061B2 (en) * 2006-05-17 2014-04-29 Creative Technology Ltd Phase-amplitude 3-D stereo encoder and decoder
US9697844B2 (en) * 2006-05-17 2017-07-04 Creative Technology Ltd Distributed spatial audio decoder
US8041041B1 (en) * 2006-05-30 2011-10-18 Anyka (Guangzhou) Microelectronics Technology Co., Ltd. Method and system for providing stereo-channel based multi-channel audio coding
US20070299657A1 (en) * 2006-06-21 2007-12-27 Kang George S Method and apparatus for monitoring multichannel voice transmissions
US20080235006A1 (en) * 2006-08-18 2008-09-25 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
CN101652810B (zh) * 2006-09-29 2012-04-11 Lg电子株式会社 用于处理混合信号的装置及其方法
EP2084901B1 (en) * 2006-10-12 2015-12-09 LG Electronics Inc. Apparatus for processing a mix signal and method thereof
WO2008060111A1 (en) * 2006-11-15 2008-05-22 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
KR101062353B1 (ko) * 2006-12-07 2011-09-05 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 그 장치
WO2008082276A1 (en) * 2007-01-05 2008-07-10 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8612237B2 (en) * 2007-04-04 2013-12-17 Apple Inc. Method and apparatus for determining audio spatial quality
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
KR101505831B1 (ko) * 2007-10-30 2015-03-26 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 방법 및 장치
KR101235830B1 (ko) * 2007-12-06 2013-02-21 한국전자통신연구원 음성코덱의 품질향상장치 및 그 방법
KR101230479B1 (ko) 2008-03-10 2013-02-06 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 트랜지언트 이벤트를 갖는 오디오 신호를 조작하기 위한 장치 및 방법
US20090243578A1 (en) * 2008-03-31 2009-10-01 Riad Wahby Power Supply with Digital Control Loop
US8259938B2 (en) 2008-06-24 2012-09-04 Verance Corporation Efficient and secure forensic marking in compressed
EP2169665B1 (en) * 2008-09-25 2018-05-02 LG Electronics Inc. A method and an apparatus for processing a signal
EP2169664A3 (en) * 2008-09-25 2010-04-07 LG Electronics Inc. A method and an apparatus for processing a signal
WO2010036059A2 (en) * 2008-09-25 2010-04-01 Lg Electronics Inc. A method and an apparatus for processing a signal
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
WO2010087627A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
EP2402941B1 (en) * 2009-02-26 2015-04-15 Panasonic Intellectual Property Corporation of America Channel signal generation apparatus
EP2413314A1 (en) * 2009-03-24 2012-02-01 Huawei Technologies Co., Ltd. Method and device for switching a signal delay
GB2470059A (en) * 2009-05-08 2010-11-10 Nokia Corp Multi-channel audio processing using an inter-channel prediction model to form an inter-channel parameter
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
KR101613975B1 (ko) * 2009-08-18 2016-05-02 삼성전자주식회사 멀티 채널 오디오 신호의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101599884B1 (ko) * 2009-08-18 2016-03-04 삼성전자주식회사 멀티 채널 오디오 디코딩 방법 및 장치
WO2011034090A1 (ja) * 2009-09-18 2011-03-24 日本電気株式会社 音声品質解析装置、音声品質解析方法およびプログラム
AU2010303039B9 (en) 2009-09-29 2014-10-23 Dolby International Ab Audio signal decoder, audio signal encoder, method for providing an upmix signal representation, method for providing a downmix signal representation, computer program and bitstream using a common inter-object-correlation parameter value
CN102812511A (zh) * 2009-10-16 2012-12-05 法国电信公司 优化的参数立体声解码
PL2491551T3 (pl) * 2009-10-20 2015-06-30 Fraunhofer Ges Forschung Urządzenie do dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu, urządzenie do dostarczania strumienia bitów reprezentującego wielokanałowy sygnał audio, sposoby, program komputerowy i strumień bitów wykorzystujący sygnalizację sterowania zniekształceniami
KR101591704B1 (ko) * 2009-12-04 2016-02-04 삼성전자주식회사 스테레오 신호로부터 보컬 신호를 제거하는 방법 및 장치
EP2357649B1 (en) 2010-01-21 2012-12-19 Electronics and Telecommunications Research Institute Method and apparatus for decoding audio signal
EP2532178A1 (en) * 2010-02-02 2012-12-12 Koninklijke Philips Electronics N.V. Spatial sound reproduction
TWI443646B (zh) * 2010-02-18 2014-07-01 Dolby Lab Licensing Corp 音訊解碼器及使用有效降混之解碼方法
EP3779975B1 (en) 2010-04-13 2023-07-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder and related methods for processing multi-channel audio signals using a variable prediction direction
CN102314882B (zh) * 2010-06-30 2012-10-17 华为技术有限公司 声音信号通道间延时估计的方法及装置
US20120035940A1 (en) * 2010-08-06 2012-02-09 Samsung Electronics Co., Ltd. Audio signal processing method, encoding apparatus therefor, and decoding apparatus therefor
US8463414B2 (en) * 2010-08-09 2013-06-11 Motorola Mobility Llc Method and apparatus for estimating a parameter for low bit rate stereo transmission
TWI516138B (zh) * 2010-08-24 2016-01-01 杜比國際公司 從二聲道音頻訊號決定參數式立體聲參數之系統與方法及其電腦程式產品
US9607131B2 (en) 2010-09-16 2017-03-28 Verance Corporation Secure and efficient content screening in a networked environment
CN103250206B (zh) 2010-10-07 2015-07-15 弗朗霍夫应用科学研究促进协会 用于比特流域中的编码音频帧的强度估计的装置及方法
FR2966277B1 (fr) * 2010-10-13 2017-03-31 Inst Polytechnique Grenoble Procede et dispositif de formation d'un signal mixe numerique audio, procede et dispositif de separation de signaux, et signal correspondant
PL2671222T3 (pl) * 2011-02-02 2016-08-31 Ericsson Telefon Ab L M Określanie międzykanałowej różnicy czasu wielokanałowego sygnału audio
BR112013029850B1 (pt) * 2011-05-26 2021-02-09 Koninklijke Philips N.V. sistema de áudio e método de operação de um sistema de áudio
US9299355B2 (en) 2011-08-04 2016-03-29 Dolby International Ab FM stereo radio receiver by using parametric stereo
US9589550B2 (en) * 2011-09-30 2017-03-07 Harman International Industries, Inc. Methods and systems for measuring and reporting an energy level of a sound component within a sound mix
US8682026B2 (en) 2011-11-03 2014-03-25 Verance Corporation Efficient extraction of embedded watermarks in the presence of host content distortions
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US8533481B2 (en) 2011-11-03 2013-09-10 Verance Corporation Extraction of embedded watermarks from a host content based on extrapolation techniques
US8615104B2 (en) 2011-11-03 2013-12-24 Verance Corporation Watermark extraction based on tentative watermarks
US8745403B2 (en) 2011-11-23 2014-06-03 Verance Corporation Enhanced content management based on watermark extraction records
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9547753B2 (en) 2011-12-13 2017-01-17 Verance Corporation Coordinated watermarking
EP2834814B1 (en) 2012-04-05 2016-03-02 Huawei Technologies Co., Ltd. Method for determining an encoding parameter for a multi-channel audio signal and multi-channel audio encoder
JP6063555B2 (ja) 2012-04-05 2017-01-18 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチチャネルオーディオエンコーダ及びマルチチャネルオーディオ信号を符号化する方法
JP2015517121A (ja) * 2012-04-05 2015-06-18 ホアウェイ・テクノロジーズ・カンパニー・リミテッド インターチャネル差分推定方法及び空間オーディオ符号化装置
EP2862166B1 (en) * 2012-06-14 2018-03-07 Dolby International AB Error concealment strategy in a decoding system
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US8726304B2 (en) 2012-09-13 2014-05-13 Verance Corporation Time varying evaluation of multimedia content
US9106964B2 (en) 2012-09-13 2015-08-11 Verance Corporation Enhanced content distribution using advertisements
US8869222B2 (en) 2012-09-13 2014-10-21 Verance Corporation Second screen content
EP2743922A1 (en) 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
US9654527B1 (en) 2012-12-21 2017-05-16 Juniper Networks, Inc. Failure detection manager
KR101757341B1 (ko) 2013-01-29 2017-07-14 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 저-복잡도 음조-적응 오디오 신호 양자화
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9485089B2 (en) 2013-06-20 2016-11-01 Verance Corporation Stego key management
EP2830061A1 (en) 2013-07-22 2015-01-28 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding and decoding an encoded audio signal using temporal noise/patch shaping
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
TWI847206B (zh) 2013-09-12 2024-07-01 瑞典商杜比國際公司 多聲道音訊系統中之解碼方法、解碼裝置、包含用於執行解碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置的音訊系統
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
CN103702274B (zh) * 2013-12-27 2015-08-12 三星电子（中国）研发中心 立体环绕声重建方法及装置
KR20240116835A (ko) * 2014-01-08 2024-07-30 돌비 인터네셔널 에이비 사운드 필드의 고차 앰비소닉스 표현을 코딩하기 위해 요구되는 사이드 정보의 코딩을 개선하기 위한 방법 및 장치
US10504200B2 (en) 2014-03-13 2019-12-10 Verance Corporation Metadata acquisition using embedded watermarks
EP3117626A4 (en) 2014-03-13 2017-10-25 Verance Corporation Interactive content acquisition using embedded codes
US10754925B2 (en) 2014-06-04 2020-08-25 Nuance Communications, Inc. NLU training with user corrections to engine annotations
US10373711B2 (en) 2014-06-04 2019-08-06 Nuance Communications, Inc. Medical coding system with CDI clarification request notification
WO2016028936A1 (en) 2014-08-20 2016-02-25 Verance Corporation Watermark detection using a multiplicity of predicted patterns
US9747922B2 (en) * 2014-09-19 2017-08-29 Hyundai Motor Company Sound signal processing method, and sound signal processing apparatus and vehicle equipped with the apparatus
US9942602B2 (en) 2014-11-25 2018-04-10 Verance Corporation Watermark detection and metadata delivery associated with a primary content
US9769543B2 (en) 2014-11-25 2017-09-19 Verance Corporation Enhanced metadata and content delivery using watermarks
WO2016100916A1 (en) 2014-12-18 2016-06-23 Verance Corporation Service signaling recovery for multimedia content using embedded watermarks
EP3067885A1 (en) * 2015-03-09 2016-09-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multi-channel signal
WO2016176056A1 (en) 2015-04-30 2016-11-03 Verance Corporation Watermark based content recognition improvements
WO2017015399A1 (en) 2015-07-20 2017-01-26 Verance Corporation Watermark-based data recovery for content with multiple alternative components
US10366687B2 (en) * 2015-12-10 2019-07-30 Nuance Communications, Inc. System and methods for adapting neural network acoustic models
FR3048808A1 (fr) * 2016-03-10 2017-09-15 Orange Codage et decodage optimise d'informations de spatialisation pour le codage et le decodage parametrique d'un signal audio multicanal
WO2017184648A1 (en) 2016-04-18 2017-10-26 Verance Corporation System and method for signaling security and database population
CN107452387B (zh) * 2016-05-31 2019-11-12 华为技术有限公司 一种声道间相位差参数的提取方法及装置
EP3264802A1 (en) 2016-06-30 2018-01-03 Nokia Technologies Oy Spatial audio processing for moving sound sources
US10949602B2 (en) 2016-09-20 2021-03-16 Nuance Communications, Inc. Sequencing medical codes methods and apparatus
US10362423B2 (en) 2016-10-13 2019-07-23 Qualcomm Incorporated Parametric audio decoding
WO2018237191A1 (en) 2017-06-21 2018-12-27 Verance Corporation ACQUISITION AND TREATMENT OF METADATA BASED ON A WATERMARK
US11133091B2 (en) 2017-07-21 2021-09-28 Nuance Communications, Inc. Automated analysis system and method
CN117292695A (zh) * 2017-08-10 2023-12-26 华为技术有限公司 时域立体声参数的编码方法和相关产品
US10891960B2 (en) * 2017-09-11 2021-01-12 Qualcomm Incorproated Temporal offset estimation
US11024424B2 (en) 2017-10-27 2021-06-01 Nuance Communications, Inc. Computer assisted coding systems and methods
GB2571949A (en) * 2018-03-13 2019-09-18 Nokia Technologies Oy Temporal spatial audio parameter smoothing
US11468149B2 (en) 2018-04-17 2022-10-11 Verance Corporation Device authentication in collaborative content screening
CN109710058A (zh) * 2018-11-27 2019-05-03 南京恩诺网络科技有限公司 触觉信息录制方法及装置、系统
WO2021041623A1 (en) * 2019-08-30 2021-03-04 Dolby Laboratories Licensing Corporation Channel identification of multi-channel audio signals
AU2021357364B2 (en) * 2020-10-09 2024-06-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method, or computer program for processing an encoded audio scene using a parameter smoothing
BR112023006291A2 (pt) * 2020-10-09 2023-05-09 Fraunhofer Ges Forschung Dispositivo, método ou programa de computador para processar uma cena de áudio codificada usando uma conversão de parâmetro
US11722741B2 (en) 2021-02-08 2023-08-08 Verance Corporation System and method for tracking content timeline in the presence of playback rate changes
CN115410584A (zh) * 2021-05-28 2022-11-29 华为技术有限公司 多声道音频信号的编码方法和装置
US12052573B2 (en) * 2021-11-11 2024-07-30 Verizon Patent And Licensing Inc. Systems and methods for mitigating fraud based on geofencing

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001650A (en) * 1989-04-10 1991-03-19 Hughes Aircraft Company Method and apparatus for search and tracking
DE3943879B4 (de) 1989-04-17 2008-07-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Digitales Codierverfahren
US5267317A (en) * 1991-10-18 1993-11-30 At&T Bell Laboratories Method and apparatus for smoothing pitch-cycle waveforms
FI90477C (fi) * 1992-03-23 1994-02-10 Nokia Mobile Phones Ltd Puhesignaalin laadun parannusmenetelmä lineaarista ennustusta käyttävään koodausjärjestelmään
US5703999A (en) 1992-05-25 1997-12-30 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Process for reducing data in the transmission and/or storage of digital signals from several interdependent channels
DE4217276C1 (ja) 1992-05-25 1993-04-08 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung Ev, 8000 Muenchen, De
DE4236989C2 (de) 1992-11-02 1994-11-17 Fraunhofer Ges Forschung Verfahren zur Übertragung und/oder Speicherung digitaler Signale mehrerer Kanäle
DE4409368A1 (de) 1994-03-18 1995-09-21 Fraunhofer Ges Forschung Verfahren zum Codieren mehrerer Audiosignale
US5664055A (en) * 1995-06-07 1997-09-02 Lucent Technologies Inc. CS-ACELP speech compression system with adaptive pitch prediction filter gain based on a measure of periodicity
JP3319677B2 (ja) * 1995-08-08 2002-09-03 三菱電機株式会社 周波数シンセサイザ
US5812971A (en) * 1996-03-22 1998-09-22 Lucent Technologies Inc. Enhanced joint stereo coding method using temporal envelope shaping
US5815117A (en) * 1997-01-02 1998-09-29 Raytheon Company Digital direction finding receiver
US6345246B1 (en) * 1997-02-05 2002-02-05 Nippon Telegraph And Telephone Corporation Apparatus and method for efficiently coding plural channels of an acoustic signal at low bit rates
DE19716862A1 (de) * 1997-04-22 1998-10-29 Deutsche Telekom Ag Sprachaktivitätserkennung
US5890125A (en) 1997-07-16 1999-03-30 Dolby Laboratories Licensing Corporation Method and apparatus for encoding and decoding multiple audio channels at low bit rates using adaptive selection of encoding method
US6249758B1 (en) * 1998-06-30 2001-06-19 Nortel Networks Limited Apparatus and method for coding speech signals by making use of voice/unvoiced characteristics of the speech signals
US6104992A (en) * 1998-08-24 2000-08-15 Conexant Systems, Inc. Adaptive gain reduction to produce fixed codebook target signal
JP4008607B2 (ja) 1999-01-22 2007-11-14 株式会社東芝 音声符号化／復号化方法
SE9903553D0 (sv) * 1999-01-27 1999-10-01 Lars Liljeryd Enhancing percepptual performance of SBR and related coding methods by adaptive noise addition (ANA) and noise substitution limiting (NSL)
US6421454B1 (en) * 1999-05-27 2002-07-16 Litton Systems, Inc. Optical correlator assisted detection of calcifications for breast biopsy
US6718309B1 (en) * 2000-07-26 2004-04-06 Ssi Corporation Continuously variable time scale modification of digital audio signals
US7003467B1 (en) 2000-10-06 2006-02-21 Digital Theater Systems, Inc. Method of decoding two-channel matrix encoded audio to reconstruct multichannel audio
JP2002208858A (ja) * 2001-01-10 2002-07-26 Matsushita Electric Ind Co Ltd 周波数シンセサイザと周波数生成方法
US20030035553A1 (en) 2001-08-10 2003-02-20 Frank Baumgarte Backwards-compatible perceptual coding of spatial cues
US7006636B2 (en) 2002-05-24 2006-02-28 Agere Systems Inc. Coherence-based audio coding and synthesis
US7116787B2 (en) 2001-05-04 2006-10-03 Agere Systems Inc. Perceptual synthesis of auditory scenes
US8605911B2 (en) * 2001-07-10 2013-12-10 Dolby International Ab Efficient and scalable parametric stereo coding for low bitrate audio coding applications
SE0202159D0 (sv) 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
US7027982B2 (en) * 2001-12-14 2006-04-11 Microsoft Corporation Quality and rate control strategy for digital audio
US7299190B2 (en) 2002-09-04 2007-11-20 Microsoft Corporation Quantization and inverse quantization for audio
US7502743B2 (en) * 2002-09-04 2009-03-10 Microsoft Corporation Multi-channel audio encoding and decoding with multi-channel transform selection
JP4676140B2 (ja) * 2002-09-04 2011-04-27 マイクロソフト コーポレーション オーディオの量子化および逆量子化
US7110940B2 (en) * 2002-10-30 2006-09-19 Microsoft Corporation Recursive multistage audio processing
US7383180B2 (en) * 2003-07-18 2008-06-03 Microsoft Corporation Constant bitrate media encoding techniques
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
JP4151020B2 (ja) 2004-02-27 2008-09-17 日本ビクター株式会社 音声信号伝送方法及び音声信号復号化装置
ATE527654T1 (de) * 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
DE602005011439D1 (de) * 2004-06-21 2009-01-15 Koninkl Philips Electronics Nv Verfahren und vorrichtung zum kodieren und dekodieren von mehrkanaltonsignalen
US8843378B2 (en) * 2004-06-30 2014-09-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Multi-channel synthesizer and method for generating a multi-channel output signal
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
WO2006091139A1 (en) * 2005-02-23 2006-08-31 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive bit allocation for multi-channel audio encoding
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
TWI313362B (en) 2005-07-28 2009-08-11 Alpha Imaging Technology Corp Image capturing device and its image adjusting method
DE602006021347D1 (de) * 2006-03-28 2011-05-26 Fraunhofer Ges Forschung Verbessertes verfahren zur signalformung bei der mehrkanal-audiorekonstruktion
PL2491551T3 (pl) * 2009-10-20 2015-06-30 Fraunhofer Ges Forschung Urządzenie do dostarczania reprezentacji sygnału upmixu w oparciu o reprezentację sygnału downmixu, urządzenie do dostarczania strumienia bitów reprezentującego wielokanałowy sygnał audio, sposoby, program komputerowy i strumień bitów wykorzystujący sygnalizację sterowania zniekształceniami

Also Published As

Publication number Publication date
CA2566992A1 (en) 2006-10-19
JP5625032B2 (ja) 2014-11-12
KR100904542B1 (ko) 2009-06-25
HK1095195A1 (en) 2007-04-27
MXPA06014987A (es) 2007-08-03
CN101816040B (zh) 2011-12-14
MY141404A (en) 2010-04-30
US20110235810A1 (en) 2011-09-29
EP1738356B1 (en) 2012-11-28
NO20065383L (no) 2007-11-15
BRPI0605641B1 (pt) 2020-04-07
RU2006147255A (ru) 2008-07-10
JP2013077017A (ja) 2013-04-25
TWI307248B (en) 2009-03-01
AU2006233504B2 (en) 2008-07-31
WO2006108456A1 (en) 2006-10-19
JP5511136B2 (ja) 2014-06-04
KR20070088329A (ko) 2007-08-29
US7983922B2 (en) 2011-07-19
BRPI0605641A (pt) 2007-12-18
CA2566992C (en) 2013-12-24
TW200701821A (en) 2007-01-01
JP2012068651A (ja) 2012-04-05
JP2008511849A (ja) 2008-04-17
PL1738356T3 (pl) 2013-04-30
IL180046A0 (en) 2007-05-15
AU2006233504A1 (en) 2006-10-19
IL180046A (en) 2011-07-31
CN101816040A (zh) 2010-08-25
NO338934B1 (no) 2016-10-31
ES2399058T3 (es) 2013-03-25
RU2361288C2 (ru) 2009-07-10
US20080002842A1 (en) 2008-01-03
EP1738356A1 (en) 2007-01-03
US8532999B2 (en) 2013-09-10

Similar Documents

Publication Publication Date Title
JP5624967B2 (ja) マルチチャネルシンセサイザ制御信号を発生するための装置および方法並びにマルチチャネル合成のための装置および方法
JP4712799B2 (ja) マルチチャネル出力信号を発生するためのマルチチャネルシンセサイザおよび方法
JP6641018B2 (ja) チャネル間時間差を推定する装置及び方法
JP4574626B2 (ja) マルチチャネル出力信号を構築する装置および方法またはダウンミックス信号を生成する装置および方法
JP5189979B2 (ja) 聴覚事象の関数としての空間的オーディオコーディングパラメータの制御
JP4664431B2 (ja) アンビエンス信号を生成するための装置および方法
US20080040103A1 (en) Temporal envelope shaping for spatial audio coding using frequency domain wiener filtering
CN107077861B (zh) 音频编码器和解码器

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130129

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20130424

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20130430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140501

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140508

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140718

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140929

R150 Certificate of patent or registration of utility model

Ref document number: 5624967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250