JP6196249B2 - 複数のチャネルを有するオーディオ信号を符号化する装置と方法 - Google Patents

複数のチャネルを有するオーディオ信号を符号化する装置と方法 Download PDF

Info

Publication number
JP6196249B2
JP6196249B2 JP2015020813A JP2015020813A JP6196249B2 JP 6196249 B2 JP6196249 B2 JP 6196249B2 JP 2015020813 A JP2015020813 A JP 2015020813A JP 2015020813 A JP2015020813 A JP 2015020813A JP 6196249 B2 JP6196249 B2 JP 6196249B2
Authority
JP
Japan
Prior art keywords
signal
transient
phase information
phase
decorrelator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015020813A
Other languages
English (en)
Other versions
JP2015129953A (ja
Inventor
アヒム クンツ
アヒム クンツ
サーシャ デッシュ
サーシャ デッシュ
イエルゲン ヘルレ
イエルゲン ヘルレ
ファビアン ケッヒ
ファビアン ケッヒ
ヨハネス ヒルペルト
ヨハネス ヒルペルト
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=44509236&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6196249(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2015129953A publication Critical patent/JP2015129953A/ja
Application granted granted Critical
Publication of JP6196249B2 publication Critical patent/JP6196249B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/022Blocking, i.e. grouping of samples in time; Choice of analysis windows; Overlap factoring
    • G10L19/025Detection of transients or attacks for time/frequency resolution switching

Description

本発明は、オーディオ処理及びオーディオ復号化の分野に関し、特に過渡(transient)を含む信号の復号化の分野に関する。
オーディオ処理及び/又は復号化は、種々の方法で進歩してきた。特に、空間オーディオアプリケーションは一層重要になってきた。オーディオ信号処理は、信号をデコリレートし又はレンダリングするために度々使用されてきた。さらに、信号のデコリレーションとレンダリングは、モノラルからステレオへのアップミックス、モノラル/ステレオから多チャネルへのアップミックス、人工的な残響、ステレオ拡張又はユーザーとの双方向ミキシング/レンダリングの処理において使用される。
デコリレータは、幾つかのオーディオ信号処理システムで使用されている。重要な実例は、1つ又は複数のダウンミックス信号から再構成された2つ又はそれ以上の信号間の特定のデコリレーション特性を回復するための、パラメトリック空間オーディオ復号器におけるデコリレーションシステムの適用である。デコリレータを適用することで、例えばインテンシティ・ステレオと比較した場合、出力信号の知覚的品質をかなり改善できている。具体的には、デコリレータを使用することで、幅広い音声イメージ、複数の同時発生音声オブジェクト、及び/又は雰囲気を持つ空間音の適切な合成を可能にする。しかしながら、デコリレータはまた、時間的信号構造や音色等における変化のようなアーチファクトを導入してしまうことが知られている。
オーディオ処理におけるデコリレータの他の適用例としては、例えば空間的印象を変化させるための人工的な残響の生成や、収斂性を改善するために多チャネル音響エコー消去システムにおけるデコリレータの使用などがある。
パラメトリック・ステレオ(PS)において適用されるような、モノラルからステレオへのアップミキサーにおいて、デコリレータの典型的な現状の適用技術が図1に示されており、そこではモノラル入力信号M(「ドライ」信号)がデコリレータ110に供給される。デコリレータ110は、そのモノラル入力信号Mをデコリレーション方法によってデコリレートし、その出力においてデコリレート済み信号D(「ウエット」信号)を提供する。デコリレート済み信号Dは第1ミキサー入力信号として、第2ミキサー入力信号であるドライモノラル信号Mと共に、ミキサー120へ供給される。さらに、アップミックス制御ユニット130は、アップミックス制御パラメータをミキサー120へ供給する。そこで、ミキサー120は、ミキシング行列Hに従って2つの出力チャネルL,R(L=左ステレオ出力チャネル、R=右ステレオ出力チャネル)を生成する。ミキシング行列の係数は、固定値か、信号依存型か、又はユーザーによって制御可能であっても良い。
代替的に、ミキシング行列はダウンミックスと共に伝送されるサイド情報によって制御可能であり、そのサイド情報は、所望の多チャネル出力を形成するために、ダウンミックスの信号を如何にしてアップミックスするかについてのパラメトリック記述を含む。この空間サイド情報は、対応する信号符号器におけるモノラル・ダウンミックス処理の間に通常生成されるものである。
この原理は、例えば非特許文献1に開示されたパラメトリック・ステレオのような、空間オーディオ符号化において広く適用されている。
さらなるパラメトリック・ステレオ・復号器の典型的な現状の技術が図2に示されており、そこではデコリレーション処理は、変換ドメインで実行される。分析フィルタバンク210は、モノラル入力信号を変換ドメイン、例えば周波数ドメインへと変換する。変換されたモノラル入力信号Mのデコリレーションは、次にデコリレータ220で実行され、デコリレート済み信号Dを生成する。変換されたモノラル入力信号Mとデコリレート済み信号Dの両方がミキシング行列230へ供給される。次に、ミキシング行列230は、パラメータ修正ユニット240から供給されるアップミックス・パラメータを考慮して2つの出力信号L,Rを生成する。パラメータ修正ユニット240には、空間パラメータが供給され、パラメータ制御ユニット250と接続されている。図2では、空間パラメータはユーザー又は追加的ツール、例えばバイノーラル・レンダリング/表示のための後処理によって修正され得る。この例では、アップミックス・パラメータはバイノーラル・フィルタからのパラメータと結合され、アップミックス行列のための入力パラメータを構成している。最後に、ミキシング行列230によって生成された出力信号が合成フィルタバンク260に供給され、その合成フィルタバンクはステレオ出力信号を決定する。
ミキシング行列230の出力L/Rは、モノラル入力信号Mとデコリレート済み信号Dとからミキシング規則にしたがって、例えば次のような公式を適用することにより、計算される。
Figure 0006196249
このミキシング行列において、出力に供給されたデコリレート済みサウンドの総計は伝送されたパラメータ、例えばチャネル間相関/コヒーレンス(ICC)、及び/又は固定値、又はユーザーが決定した設定値に基づいて制御される。
概念的に、デコリレータ出力Dの出力信号は、オリジナルのL/R信号の完全な復号化のために理想的には考慮に入れるであろう残余信号(residual signal)に代えて使用される。アップミッキサにおいて、残余信号に代えてデコリレータ出力Dを利用すれば、もし残余信号を伝送する場合には必要になったであろうビットレートの節約をもたらす。よって、デコリレータの目的は、モノラル信号Mから信号Dを生成することであり、信号Dは、当該信号Dによって置き換えられた残余信号と同様な特性を示すものである。
同様に、符号器側では2つのタイプの空間パラメータが抽出される。パラメータの第1グループは、符号化されるべき2つの入力チャネル間のコヒーレンス又はクロス相関を表す相関/コヒーレンス・パラメータ(例えばICCs=チャネル間相関/コヒーレンス・パラメータ)を含む。パラメータの第2グループは、2つの入力チャネル間のレベル差を表すレベル差パラメータ(例えばILDs=チャネル間レベル差パラメータ)を含む。
さらに、ダウンミックス信号は2つの入力チャネルをダウンミックスすることによって生成される。加えて、残余信号が生成される。残余信号は、ダウンミックス信号とアップミックス行列とを追加的に使用してオリジナル信号を再生するのに使用可能な信号のことである。例えば、もしN個の信号が1信号にダウンミックスされた場合、そのダウンミックスは典型的には、N個の入力信号のマッピングの結果得られたN個の成分の1つである。マッピングの結果の残りの成分(例えば(N−1)個の成分)は、残余信号であり、逆マッピングによってオリジナルのN個の信号を再構成するのを可能にする。例えばそのマッピングは回転であってもよい。マッピングは、ダウンミックス信号が最大化され、残余信号が最小化されるように、例えば主軸変換(principal axis transformation)と同様に処理されるべきである。例えば、ダウンミックス信号のエネルギーが最大化され、残余信号のエネルギーが最小化されても良い。2つの信号を1つの信号へダウンミックスする場合、ダウンミックスとは、通常は2つの入力信号のマッピングから生じる2つの成分の中の1つである。マッピングの結果として生じる残りの成分は残余信号であり、逆マッピングによってオリジナルの2個の信号を再構成することを可能にする。
幾つかのケースでは、残余信号は、2つの信号をダウンミックスと関連するパラメータとを用いて表現することに関連した、誤差を表していても良い。例えば、残余信号が、オリジナル・チャネルL,Rと、オリジナル・チャネルL,Rに基づいて生成されたダウンミックス信号をアップミックスすることで生成されたチャネルL',R'と、の間の誤差を表す誤差信号であってもよい。
換言すれば、残余信号は時間ドメイン、周波数ドメイン又はサブバンド・ドメインにおける信号として認識することができ、その残余信号は、ダウンミックス信号だけと共に、又はダウンミックス信号及びパラメトリック情報と共に、オリジナル・チャネルの正確な又はほぼ正確な再構成を可能にするものである。ほぼ正確とは、ゼロより大きなエネルギーを持つ残余信号を用いた再構成が、残余信号なしでダウンミックスを用いた再構成又は残余信号なしでダウンミックスとパラメトリック情報とを用いた再構成と比べて、オリジナル・チャネルにより近くなるという意味で理解されるべきである。
MPEGサラウンド(MPS)を考慮すると、空間オーディオ復号化ツリーにおいて、PSで名付けられた1→2ボックス(OTTボックス)に似た構造が使用される。このことは、モノラル−ステレオ・アップミックス概念から多チャネル空間オーディオ符号化/復号化スキームへの一般化とみなすことができる。MPSでは、TTT操作モードに基づいてデコリレータを適用できる2→3アップミックス・システム(TTTボックス)も存在する。詳細は非特許文献2に記載されている。
方向性音声符号化(DirAC)については、方向性音声符号化は、固定されたスピーカ位置を持つ固定数のオーディオ出力チャネルに制限されない、パラメトリック音場符号化スキームに関連している。方向性音声符号化は、そのDirACレンダラー内、すなわち空間オーディオ復号器内で、音場の非コヒーレントな成分を合成するために、デコリレータを適用している。方向性音声符号化に関するさらなる情報は、非特許文献3に開示されている。
空間オーディオ復号器における現状技術のデコリレータに関して、非特許文献4や非特許文献5を参照されたい。IIR格子型全域通過構造が、非特許文献2や非特許文献4に開示されるように、MPSのような空間オーディオ復号器におけるデコリレータとして使用されている。他の現状技術のデコリレータは、ノイズバーストを指数関数的に減衰させながら、信号をデコリレートし又は入力信号を畳み込むために(潜在的に周波数依存の)遅延を適用する。空間オーディオ・アップミックス・システムのための現状技術のデコリレータを総括するために、非特許文献6を参照されたい。
信号処理の他の技術としては、「意味論的アップミックス処理(semantic upmix processing)」がある。意味論的アップミックス処理は、信号を異なる意味論的特性(すなわち、信号の種類)を持つ成分に分解し、前記異なる信号成分に対して異なるアップミックス手順を適用する技術である。それらの異なるアップミックス・アルゴリズムは、全体の信号処理スキームを改善するために、異なる意味論的特性に従って最適化可能である。この概念は特許文献1に開示されている。
さらなる空間オーディオ符号化スキームは、非特許文献7に開示された「時間置換法(temporal permutation method)」である。この文献では、拍手喝采状の信号の符号化/復号化に適合した空間オーディオ符号化スキームが提案されている。このスキームは、モノラルオーディオ信号、特に空間オーディオ符号器のダウンミックス信号のセグメントの知覚的類似性に基づいている。そのモノラルオーディオ信号は、オーバーラップする時間セグメントへと区分される。これらセグメントは、「スーパー」ブロック内で疑似ランダム的に(n出力チャネル毎に互いに独立している)時間的に並び替えられ、デコリレート済みの出力チャネルを形成する。
さらなる空間オーディオ符号化技術は、「時間遅延及び交換法」である。特許文献2には、バイノーラル表現のための拍手喝采状の信号の符号化/復号化にも適合しているスキームが提案されている。このスキームは、モノラルオーディオ信号のセグメントの知覚的類似性と、出力チャネル上の他のチャネルに対する遅延と、に基づいている。先行するチャネルに対する定位偏重を避けるために、先行するチャネルと遅れるチャネルとが周期的に交換される。
一般に、パラメトリック空間オーディオ符号器で符号化/復号化されたステレオ又は多チャネルの拍手喝采状の信号は、信号品質を低下させるという結果を招くことが知られている(例えば、非特許文献7及び特許文献2を参照)。拍手喝采状の信号は、異なる方向からの過渡の時間的に密集した混合を含む。そのような信号の例として、拍手喝采、雨音、馬の疾駆音などがある。拍手喝采状の信号は、しばしば遠方の音源からの音声成分を含むが、そのような音はノイズ状で、平坦な背景音場の中に知覚的に溶け込んでいる。
MPEGサラウンドのような空間オーディオ復号器に用いられる現状のデコリレータ技術は、格子型全域通過構造を含む。これら構造は人工的な残響生成器として作用し、その結果として、(室内残響テールのように)均質で、平坦で、ノイズ状の、埋没させるような音場(immersive sound field)を生成するのに良好に適している。しかしながら、聴取者をも包み込むような非均質な時空構造を持つ音場の例がある。その1つの顕著な例は拍手喝采のような音場であって、均質なノイズ状音場によってだけでなく、様々な方向から到来する単一の拍手のかなり濃密な続発によって、聴取者エンベロープを形成している場合である。よって、拍手喝采の音場の非均質な成分は、空間的に分配された過渡の混合によって特徴付けられ得る。明らかにこれら別個の拍手は、均質でも、平坦でも、またノイズ状でも決してない。
格子型全域通過デコリレータは、その残響状の挙動のために、例えば拍手喝采の特徴を持つ、埋没させるような音場を生成することは不可能である。むしろ、拍手喝采状の信号に適用されたとき、前記デコリレータは信号内の過渡を時間的に混乱させる傾向がある。そのような望ましくない結果は、拍手喝采状の音場の明白な時空間構造を持たない、ノイズ状の埋没させるような音場となる。さらに、単一の拍手のような過渡事象は、デコリレータ・フィルタの耳障りなアーチファクトを引き起こす可能性もある。
非特許文献7に従うシステムでは、出力オーディオ信号におけるある反復性により、出力音の知覚可能な低落を示すであろう。それは、入力信号の1つの同じセグメントが全ての出力チャネル内に(時間的に異なるポイントではあるが)不変に現れるからである。さらに、拍手喝采の濃度の増大を避けるために、いくつかのオリジナル・チャネルがアップミックスの中での除外を免れず、その結果、いくつかの重要な聴覚事象が、結果として得られるアップミックスの中から除外される可能性がある。この方法は、同じ知覚的特性を共有する信号セグメント、すなわち同じように聞こえる信号セグメント、を見つけることができる場合にのみ適用可能である。この方法は、通常、信号の時間的構造を大きく変更するため、ごく僅かな信号においてのみ受け入れ可能であるかもしれない。(例えば信号の分類ミスによって)非喝采状の信号にそのスキームを適用する場合には、そのような時間的置換は、受け入れ不能な結果を非常に頻繁にもたらすであろう。さらにそのような時間的置換によって、さらに複数の信号セグメントがエコーのようなアーチファクトやコム・フィルタリングを伴わずに一緒にミックスされるような場合にのみ、適用可能性が制限される。同様な問題点は、特許文献2に記載された方法にもある。
特許文献1に開示された意味論的アップミックス処理は、デコリレータの適用の前に信号の過渡成分を分離する。残り(過渡なし)の信号は既存のデコリレーションとアップミックス処理器へ供給され、その一方で、過渡成分は異なるように処理される。すなわち、過渡成分は、振幅パニング技術を適用して、ステレオ又は多チャネル出力信号の異なるチャネルへと(例えばランダムに)分配される。その振幅パニングはいくつかの利点を有する。
振幅パニングは、オリジナル信号に近似した出力信号を必ずしも生成するものではない。オリジナル信号への過渡の分配が振幅パニング規則によって記述され得る場合にだけ、その出力信号はオリジナル信号に近似するかもしれない。すなわち、振幅パニングは、純粋に振幅パニングされた事象だけを正確に再生することができ、異なる出力チャネルにおける過渡成分間の位相差又は時間差を再生できないからである。
さらに、MPSにおける振幅パニング法の適用は、デコリレータだけでなくアップミックス行列をも迂回することを必要とするであろう。アップミックス行列は、正確な空間的特性を示すアップミックス出力を合成するのに必要な、空間パラメータ(チャネル間相関:ICCs,チャネル間レベル差:ILDs)を反映しているので、パニングシステムそれ自体が、正確な空間特性を持つ出力信号を合成するために、いくつかの規則を適用しなければならない。それを実行するための一般的な規則は公知ではない。さらに、この構成は、空間パラメータが2度にわたって考慮されるべきであるため、複雑性を増すことになる。1度目は信号の非過渡部分のため、2度目はその信号の振幅パニングされた過渡部分のためである。
WO/2010/017967, An apparatus for determining a spatial output multichannel-channel audio signal, International patent application, PCT/EP2009/005828, 11.8.2009, 11.6.2010 (FH090802PCT) DE 10 2007 018032 A: 20070417, Erzeugung dekorrelierter Signale, 17.4.2007, 23.10.2008 (FH070414PDE)
J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers, "High-Quality Parametric Spatial Audio Coding at Low Bitrates" in Proceedings of the AES 116th Convention, Berlin, Preprint 6072, May 2004 J. Herre, K. Kjoerling, J. Breebaart, et al., "MPEG surround-the ISO/MPEG standard for efficient and compatible multi-channel audio coding," in Proceedings of the 122th AES Convention, Vienna, Austria, May 2007 Pulkki, Ville: "Spatial Sound Reproduction with Directional Audio Coding," in J. Audio Eng. Soc., Vol. 55, No. 6, 2007 ISO/IEC International Standard "Information Technology-MPEG audio technologies - Part1: MPEG Surround", ISO/IEC 23003-1:2007 J. Engdegard, H. Purnhagen, J. Roeden, L.Liljeryd, "Synthetic Ambience in Parametric Stereo Coding" in Proceedings of the AES 116th Convention, Berlin, Preprint, May 2004 "Synthetic Ambience in Parametric Stereo Coding" in Proceedings of the AES 116th Convention, Berlin, Preprint, May 2004 Hotho, G., van de Par, S., and Breebaart, J.: "Multichannel coding of applause signals", EURASIP Journal on Advances in Signal Processing, Jan. 2008, art. 10. DOI=http://dx.doi.org/10.1155/2008/ Andreas Walther, Christian Uhle, Sascha Disch "Using Transient Suppression in Blind Multi-channel Up-mix Algorithms," in Proc. 122nd AES Convention, Vienna, Austria, May 2007 Christian Uhle, "Applause Sound Detection with Low Latency", in Audio Engineering Society Convention 127, New York, 2009
したがって、本発明の目的は、オーディオ信号の符号化ための改良された概念を提供することである。本発明の目的は、請求項1に係る装置、請求項4に係る方法、及び請求項7に係るコンピュータプログラムによって達成できる。
本発明の一実施形態にかかる装置は、複数のチャネルを有するオーディオ信号を符号化する装置であって、前記複数のチャネルをダウンミックスして、ダウンミックス信号を得るダウンミキサーと、残余信号を計算するための残余信号計算器と、前記ダウンミックス信号と前記残余信号との間の位相差に関する情報を計算し、位相情報を得る位相情報計算器と、前記位相情報を出力する出力生成器と、を備える。
デコリレート済み信号を生成する装置は、入力信号を第1の信号成分と第2の信号成分とに分離する過渡分離器(transient separator)を含み、第1の信号成分は入力信号の過渡信号部分を含み、第2の信号成分は入力信号の非過渡信号部分を含む。過渡分離器は、過渡を含む信号成分が過渡を含まない信号成分とは異なる処理がされることを許可するように、互いに異なる信号成分を分離してもよい。さらに、前記装置は、過渡を含む信号成分をデコリレートするのに特に好適なデコリレーション法に従って、過渡を含む信号成分をデコリレートするための過渡デコリレータ(transient decorrelator)を備えている。さらに、前記装置は、過渡を含まない信号成分をデコリレートするための第2デコリレータを備えている。
そのため、前記装置は、標準的なデコリレータを用いて信号成分を処理するか、又は過渡信号成分を処理するのに特に好適な過渡デコリレータを用いて信号成分を代替的に処理するかの何れかを実行できる。ある実施形態では、過渡分離器は信号成分が標準的なデコリレータ又は過渡デコリレータのいずれに供給されるかを決定する。
さらに、前記装置は、1つの信号成分を分離して、その信号成分の一部が過渡デコリレータに供給され、一部が第2デコリレータに供給されるように構成されても良い。
加えて、前記装置は、標準的デコリレータと過渡デコリレータとによって出力された信号成分を結合し、デコリレート済み結合信号を生成するための結合ユニットを備えている。
ある実施形態では、本装置は位相情報を受け取るための受信ユニットを備えており、過渡デコリレータはその位相情報を第1の信号成分へ適用する。その場合、位相情報は適切な符号器によって生成されてもよい。
ある実施形態では、過渡分離器は、装置入力信号の考慮対象となる信号部分が過渡を含むか、又はその信号部分が過渡を含まないかを示す過渡分離情報に基づいて、装置入力信号の前記考慮対象となる信号部分を過渡デコリレータへ供給するか、又はその信号部分を第2デコリレータへ供給する。そのような実施形態では、過渡分離情報の処理が簡単になる。
他の実施形態では、過渡分離器は、装置入力信号の考慮対象となる信号部分を過渡デコリレータへ部分的に供給し、かつその信号部分を第2デコリレータへも部分的に供給する。過渡分離器へ供給された前記考慮対象となる信号部分の総計と、第2デコリレータへ供給された前記考慮対象となる信号部分の総計とは、過渡分離情報に依存する。これにより、過渡の強度を考慮に入れることができる。
さらなる実施形態では、過渡分離器は、周波数ドメインで表現された装置入力信号を分離する。このことは、周波数依存型の過渡処理(分離とデコリレーション)を可能にする。よって、第1の周波数帯域のある信号成分は、過渡デコリレーション法にしたがって処理されてもよく、別の周波数帯域の信号成分は、他の方法、例えば在来のデコリレーション法にしたがって処理されてもよい。したがって、一実施形態では、過渡分離器は周波数依存型の過渡分離情報に基づいて装置入力信号を分離する。しかしながら、代替的な実施形態では、過渡分離器は、周波数独立型の過渡分離情報に基づいて装置入力信号を分離する。この例では、一層効率のよい過渡信号処理が可能になる。
他の実施形態では、過渡分離器は周波数ドメインで表現された装置入力信号を分離し、第1の周波数領域内にある装置入力信号の全信号部分が第2デコリレータへ供給される。したがって、対応する装置は、過渡信号処理を第2の周波数領域にある信号周波数を持つ信号成分に制限し、その一方で、前記第1の周波数領域の信号周波数を持つ信号成分は過渡デコリレータへ供給されない(その代わり、第2デコリレータへ供給される)。
さらなる実施形態では、過渡デコリレータは、残余信号とダウンミックス信号との間の位相差を表す位相情報を適用することで、第1の信号成分をデコリレートしてもよい。符号器側では、例えば上述のようにステレオ信号の2つのチャネルからダウンミックス信号と残余信号とを生成するために、「逆」のミキシング行列が用いられても良い。ダウンミックス信号が復号器へ送信される一方で、残余信号は廃棄されてもよい。ある実施形態に従えば、過渡デコリレータによって用いられた位相差は、残余信号とダウンミックス信号との間の位相差であってもよい。よって、残余信号の元の位相をダウンミックスへ適用することにより、「人工的」残余信号を再構成することが可能になるかもしれない。ある実施形態では、位相差はある周波数帯域に関係している、すなわち周波数依存型であってもよい。その代わりに、位相差はある周波数帯域には関連しておらず、周波数独立型の広帯域パラメータとして適用されてもよい。
さらなる実施形態では、位相項(phase terms)を第1の信号成分に乗算することによって、その位相項が第1の信号成分に適用されてもよい。
さらなる実施形態では、第2デコリレータは在来型デコリレータ(conventional decorrelator)、例えば格子型IIRデコリレータであってもよい。
ある実施形態では、前記装置は、入力信号を受け取り、さらに入力信号とミキシング規則とに基づいて出力信号を出力するミキサーを備えている。装置入力信号は、過渡分離器に供給され、その後、上述のように過渡分離器及び/又は第2デコリレータによってデコリレートされる。結合ユニットとミキサーとは、デコリレート済み結合信号が第1ミキサー入力信号としてミキサーに供給されるよう配置されている。第2ミキサー入力信号は前記装置入力信号又は装置入力信号から導出された信号であってもよい。デコリレート済み結合信号がミキサーに供給された時にはデコリレーション処理は既に完了しているので、過渡デコリレーションはミキサーによって考慮される必要はない。したがって、既存のミキサーを使用できる。
さらなる実施形態では、前記ミキサーは2つの信号間の相関又はコヒーレンスを示す相関/コヒーレンス・パラメータデータを受け取り、前記相関/コヒーレンス・パラメータデータに基づいて前記出力信号を生成する。他の実施形態では、前記ミキサーは2つの信号間のエネルギー差を示すレベル差パラメータデータを受け取り、前記レベル差パラメータデータに基づいて前記出力信号を生成する。このような実施形態では、ミキサーが対応するデータの処理を担当するので、過渡デコリレータ、第2デコリレータ、及び結合ユニットはそのようなパラメータデータを処理する必要がない。他方、在来の相関/コヒーレンス・パラメータとレベル差パラメータの処理を行う在来型ミキサーが、そのような実施形態に用いられても良い。
各実施形態について、図面を参照して以下に詳細に説明する。
モノラルからステレオへのアップミキサーにおけるデコリレータの現状技術の適用例を示す図である。 モノラルからステレオへのアップミキサーにおけるデコリレータの現状技術のさらなる適用例を示す図である。 デコリレート済み信号を生成する装置の一実施形態に従う図である。 信号を復号化する装置の一実施形態に従う図である。 1→2(OTT)システムの一実施形態に従う図である。 受信ユニットを含むデコリレート済み信号を生成する装置の更なる実施形態に従う図である。 1→2(OTT)システムの他の実施形態に従う図である。 位相一貫性の値(phrase consistency measure)から過渡分離強度へのマッピングの実例を示す図である。 1→2(OTT)システムのさらに他の実施形態に従う図である。 複数のチャネルを持つオーディオ信号を符号化する装置を示す図である。
図3は、デコリレート済み信号を生成する装置の本発明の一実施形態を示す。この装置は、過渡分離器310と、過渡デコリレータ320と、在来型デコリレータ330と、結合ユニット340とを備える。この実施例の過渡処理手法は、拍手喝采状のオーディオ信号からデコリレート済み信号を生成することを目的しており、例えば空間オーディオ復号器のアップミックス処理において適用できるものである。
図3において、入力信号は過渡分離器310に供給される。その入力信号は、例えばハイブリッドQMFフィルタバンクを適用することによって、周波数ドメインに変換されたものであってもよい。過渡分離器310は、入力信号の考慮対象となる各信号成分について、その信号成分が過渡を含むかどうかを判定してもよい。さらに、過渡分離器310は、もし考慮対象となる信号部分が過渡を含む場合(信号成分s1)には、その考慮対象となる信号部分を過渡デコリレータ320へ供給するよう構成されてもよく、もしその考慮対象となる信号部分が過渡を含まない場合(信号成分s2)には、その考慮対象となる信号部分を在来型デコリレータ330へ供給してもよい。過渡分離器310は、考慮対象となる信号部分内での過渡の存在に依存して、その考慮対象となる信号部分を分割するように構成されてもよく、さらにそれら分割された信号部分の一部を過渡デコリレータ320へ、一部を在来型デコリレータ330へ供給するようにしてもよい。
一実施形態では、過渡デコリレータ320は、過渡信号成分をデコリレートするのに特に適した過渡デコリレーション法にしたがって信号成分s1をデコリレートする。例えば、過渡信号成分のデコリレーションは、位相情報を適用することによって、例えば位相項を適用することによって実行されてもよい。位相項が過渡信号成分へ適用されるようなデコリレーション法は、図5にかかる実施形態に関連して後述する。そのようなデコリレーション法は、図3における実施形態の過渡デコリレータ320の過渡デコリレーション法として用いることもできる。
非過渡信号部分を含む信号成分s2は、在来型デコリレータ330へ供給される。次いで、この在来型デコリレータ330は、信号成分s2を在来のデコリレーション法、例えば格子型IIR(無限インパルス応答)フィルタのような格子型全域通過構造を適用することによって、デコリレートする。
在来型デコリレータ330によってデコリレートされた後、在来型デコリレータ330からのデコリレート済み信号成分は結合ユニット340へ供給される。過渡デコリレータ320からのデコリレート済み過渡信号成分もまた結合ユニット340へ供給される。次に、結合ユニット340は両方のデコリレート済み信号成分を例えば加算することによって結合し、デコリレート済み結合信号を得る。
過渡を含む信号をデコリレートするための一実施形態に係る方法は、一般に次のように実行することができる。
分離ステップでは、入力信号は2つの成分に分離される。1つの成分s1は入力信号の過渡部分を含み、他の成分s2は入力信号の残りの(非過渡の)部分を含む。信号の非過渡成分s2は、この実施形態の過渡デコリレータのデコリレーション法を適用しないようなシステムにおいて処理されてもよい。すなわち、過渡がない信号s2は、格子型IIR全域通過構造のような1つ又は複数の在来のデコリレーション信号処理構造へと供給されてもよい。
さらに、過渡を含む信号成分(過渡ストリームs1)は、在来のデコリレーション構造に比べて特別な信号特性をより良好に維持しながら、その過渡ストリームをデコリレートする「過渡デコリレータ」構造へと供給される。過渡ストリームのデコリレーションは、位相情報を高い時間的分解能で適用することによって実行される。望ましくは、その位相情報は位相項を含む。さらに、その位相情報が符号器によって供給されるのが更に望ましい。
さらにまた、在来型デコリレータと過渡デコリレータとの両方の出力信号は結合されてデコリレート済み信号を形成し、そのデコリレート済み信号を空間オーディオ符号器のアップミックス処理において利用することも可能である。空間オーディオ復号器のミキシング行列(Mmix)の要素(h11,h12,h21,h22)は不変のままとしてもよい。
図4は、本発明の一実施形態に従って装置入力信号を復号化するための装置を示し、そこでは装置入力信号が過渡分離器410へ供給される。この装置は、過渡分離器410と、過渡デコリレータ420と、在来型デコリレータ430と、結合ユニット440と、ミキサー450とを備える。この実施形態の過渡分離器410と過渡デコリレータ420と在来型デコリレータ430と結合ユニット440とは、図3の実施形態の過渡分離器310と過渡デコリレータ320と在来型デコリレータ330と結合ユニット340と、とそれぞれ同じであってもよい。結合ユニット440によって生成されたデコリレート済みの結合信号は、ミキサー450に第1のミキサー入力信号として供給される。さらに、過渡分離器410に供給されていた装置入力信号は、ミキサー450に第2のミキサー入力信号としても供給される。これに代えて、装置入力信号はミキサー450に直接的に入力されず、装置入力信号から導出された信号がミキサー450に供給されてもよい。例えば、在来の信号処理方法を装置入力信号に対して適用すること、例えばフィルタを適用することによって、装置入力信号からある信号を導出してもよい。図4の実施形態にかかるミキサー450は、入力信号とミキシング規則とに基づいて出力信号を生成する。そのようなミギキング規則とは、例えば次式を適用することによって、入力信号とミキシング行列とを乗算することでもよい。
Figure 0006196249
ミキサー450は、チャネル間相関/コヒーレンス(ICC)のような相関/コヒーレンス・パラメータデータ、及び又はチャネル間レベル差(ILD)のようなレベル差パラメータデータに基づいて、出力チャネルL,Rを生成してもよい。例えばミキシング行列の係数は、前記相関/コヒーレンス・パラメータデータ、及び又は前記レベル差パラメータデータに依存していてもよい。図4の実施形態では、ミキサー450は2つの出力チャネルL,Rを生成する。しかしながら、代替的な実施形態では、ミキサーが複数の出力信号、例えば3個、4個、5個又は9個の出力信号を生成してもよく、それら信号はサラウンド音声信号であってもよい。
図5は、ある実施形態の1→2(OTT)アップミックス・システム、例えばMPS(MPEGサラウンド)空間オーディオ復号器の1→2ボックスにおける過渡処理方法のシステム概観を示す。一実施形態に係る分離済みの過渡のための並列信号経路は、U字形過渡処理ボックスの中に設けられている。装置入力信号DMXは過渡分離器510に供給される。その装置入力信号は周波数ドメインで表現されてもよい。例えば、MPEGサラウンドで使用されるようなQMFフィルタバンクを適用することによって、時間ドメイン入力信号が周波数ドメインへ変換されたものであってもよい。過渡分離器510は、次に装置入力信号DMXの成分を過渡デコリレータ520及び/又は格子型IIRデコリレータ530へ供給してもよい。次に、装置入力信号のその成分は、過渡デコリレータ520及び/又は格子型IIRデコリレータ530によってデコリレートされる。その後、デコリレート済み信号成分D1及びD2は、結合ユニット540によって、例えば両方の信号成分を加算することによって結合され、デコリレート済み結合信号Dを得る。デコリレート済み結合信号はミキサー552へ第1のミキサー入力信号Dとして供給される。さらに、装置入力信号DMX(又はそれに代えて、装置入力信号DMXから導出された信号)は、ミキサー552へ第2のミキサー入力信号として供給される。次に、ミキサー552は、装置入力信号DMXに依存して第1と第2の「ドライ」信号を生成する。また、ミキサー552は、デコリレート済み結合信号Dに依存して第1と第2の「ウエット」信号を生成する。ミキサー552によって生成された信号は、伝送されたパラメータ、例えばチャネル間相関/コヒーレンス(ICC)のような相関/コヒーレンス・パラメータデータ、及び/又はチャネル間レベル差(ILD)のようなレベル差パラメータデータに基づいて、生成されてもよい。ある実施形態では、ミキサー552によって生成された信号は、提供された時間的成形データに基づいて提供された信号を成形する成形ユニット554へ提供されてもよい。他の実施形態では、信号成形は行われない。生成された信号は、第1の加算ユニット556又は第2の加算ユニット558へ供給され、そこで供給された信号を結合し、第1の出力信号Lと第2の出力信号Rとをそれぞれ生成する。
図5に示された処理原理は、モノラルからステレオへのアップミックス・システム(例えばステレオオーディオ符号器)だけでなく、多チャネル設定(例えばMPEGサラウンド)に適用されてもよい。いくつかの実施形態では、並列のデコリレータ信号経路だけがアップミックス処理そのものを変更せずに導入されるので、本発明が提案する過渡処理方法は、アップミックス・システムの大きな概念変更を伴わない、既存のアップミックス・システムに対するアップグレードとして適用されてもよい。
過渡と非過渡への信号分離は、符号器内で生成され、及び/又は空間オーディオ復号器内で生成されたかもしれないパラメータによって制御される。過渡デコリレータ520は位相情報、例えば符号器又は空間オーディオ復号器で取得された可能性のある位相項を利用する。過渡処理パラメータ(すなわち、過渡位置又は分離強度のような過渡分離パラメータと、位相情報のような過渡デコリレーション・パラメータ)を得るための可能性のある変形例を、以下に説明する。
入力信号は周波数ドメインで表現されてもよい。例えば、分析フィルタバンクを用いることによって、信号が周波数ドメインへ変換されたものでもよい。QMFフィルタバンクは、1つの時間ドメイン信号から複数のサブバンド信号を得るために適用されてもよい。
最良の知覚的品質のためには、過渡信号処理は、望ましくはある制限された周波数領域内の信号周波数に制限されてもよい。一例として、MPSにおけるガイド付き包絡成形(GES)の周波数帯域制限と同様に、処理範囲をMPSで用いられるようなハイブリッドQMFフィルタバンクの周波数帯域指数k≧8へと制限してもよい。
以下に、過渡分離器510の実施形態を詳細に説明する。過渡分離器510は、入力信号DMXを過渡成分s1と非過渡成分s2とにそれぞれ分割する。過渡分離器510は、入力信号DMXを分割するために、例えば過渡分離パラメータβ[n]のような過渡分離情報を用いても良い。入力信号DMXの分割は、成分の合計s1+s2が入力信号DMXに等しくなるように実行されてもよい。
Figure 0006196249
ここで、nはダウンサンプリングされたサブバンド信号の時間指数であり、前記時間変化型の過渡分離パラメータβ[n]のための有効な値は、範囲[0,1]内にある。β[n]は周波数独立型のパラメータであってもよい。周波数独立型の分離パラメータに基づいて装置入力信号を分離する過渡分離器510は、時間指数nを持つ全てのサブバンド信号部分を、β[n]の値に依存して、過渡デコリレータ520又は第2デコリレータのいずれかへ供給してもよい。
代替的に、β[n]は周波数依存型のパラメータであってもよい。周波数依存型の過渡分離情報に基づいて装置入力信号を分離する過渡分離器510は、もしそれらの対応する過渡分離情報が互いに異なる場合には、同じ時間指数nを持つサブバンド信号部分を異なるように処理してもよい。
さらに、前記周波数依存性は、例えば上述のように過渡処理の周波数領域を制限するために用いられても良い。
ある実施形態では、過渡分離情報は、入力信号DMXの考慮対象となる信号部分が過渡を含むことを示すか、又はその考慮対象となる信号部分が過渡を含まないことを示すか、のいずれかであるパラメータであってもよい。もし、考慮対象となる信号部分が過渡を含むことを過渡分離情報が示している場合には、過渡分離器510は前記考慮対象となる信号部分を過渡デコリレータ520へ供給する。一方、考慮対象となる信号部分が過渡を含むことを過渡分離情報が示している場合には、過渡分離器510は前記考慮対象となる信号部分を例えば格子型IIRデコリレータ530のような第2デコリレータへ供給する。
例えば、過渡分離パラメータβ[n]を、二値パラメータである過渡分離情報として用いても良い。nは入力信号DMXの考慮対象となる信号部分の時間指数である。β[n]は、1(考慮対象となる信号部分が過渡デコリレータへ供給されるべきことを示す)か、又は0(考慮対象となる信号部分が第2デコリレータへ供給されるべきことを示す)のいずれかであってもよい。β[n]をβ∈{0,1}に限定することによって、過渡/非過渡の硬判定、すなわち過渡として扱われる成分が入力(β=1)から完全に分離されるような判定をもたらす。
他の実施形態では、過渡分離器510は装置入力信号の考慮対象となる信号部分を過渡デコリレータ520へ部分的に供給し、その考慮対象となる信号部分を第2デコリレータ530へ部分的に供給する。前記考慮対象となる信号部分の過渡デコリレータ520へ供給される総計と、前記考慮対象となる信号部分の第2デコリレータ530へ供給される総計とは、過渡分離情報に依存する。さらなる実施形態では、β[n]は、[0,1]の範囲内になければならない。別の実施形態では、β[n]はβ[n]∈{0,βmax}に制限されてもよく、ここで、βmax<1の場合には、過渡の部分的な分離に帰結し、過渡処理スキームの効果は顕著ではなくなる。したがって、βmaxの変更を、過渡処理を含まない在来のアップミックス処理の出力と、過渡処理を含むアップミックス処理の出力との間で次第に変化させることが可能になる。
以下に、一実施形態に従う過渡デコリレータ520を詳細に説明する。
一実施形態に従う過渡デコリレータ520は、入力に対して十分にデコリレートされた出力信号を生成する。この過渡デコリレータ520は、単一のクラップ音/過渡の時間的構造は変更しない(つまり、時間的な混乱や遅延を生まない)。その代わり、オリジナル(符号化されていない)信号における空間的分布と同様な、過渡信号成分(アップミックス処理の後)の空間的分布をもたらす。過渡デコリレータ520は、ビットレート対品質の妥協(例えば、低いビットレートでの完全にランダムな空間的過渡分布と、高いビットレートでのオリジナルに近似した(ほぼ透明な)分布と、の間の妥協)を可能とする。さらに、このような妥協は低い演算量によって達成できる。
上述のように、符号器側では、例えばステレオ信号の2つのチャネルからダウンミックス信号と残余信号とを生成するために、「逆」ミキシング行列を使用できる。ダウンミックス信号は復号器へ送信されてもよい一方、残余信号は廃棄されてもよい。一実施形態によれば、残余信号とダウンミックスとの間の位相差が例えば符号器で決定され、その位相差は信号をデコリレートする際に復号器で使用されてもよい。これにより、残余信号のオリジナル位相をダウンミックス信号へ適用することによって、「人工的」残余信号を再構成することが可能になる。
一実施形態に係る過渡デコリレータ520の対応するデコリレーション方法を以下に説明する。
過渡デコリレーション方法によれば、位相項が使用されてもよい。過渡ストリームに位相項を高い時間分解能で、例えばMPSのような変換ドメインシステムではサブバンド信号時間分解能で、単純に乗算することにより、デコリレーションが達成される。
Figure 0006196249
この式で、nはダウンサンプリングされたサブバンド信号の時間指数である。Δφは、理想的にはダウンミックスと残余の間の位相差を反映している。したがって、過渡残余は、オリジナル位相を表すように修正されたダウンミックスからの過渡のコピーに置換される。
位相情報を適用することは、本来的にアップミックス処理においてオリジナル位置への過渡のパニングをもたらす。説明上の例として、ICC=0,ILD=0の場合を考える。出力信号の過渡部分は次のようになる。
Figure 0006196249
Δφ=0では、L=2c*s,R=0となり、一方、Δφ=πでは、L=0,R=2c*sとなる。Δφ、ICC及びILDが他の値をとる場合には、レンダリングされた過渡の間に異なるレベル関係や異なる位相関係をもたらす。
Δφ[n]値は、周波数独立型の広帯域パラメータ、又は周波数依存型のパラメータとして適用されてもよい。調性成分を持たない拍手喝采状の信号の場合には、広帯域Δφ[n]値は、より低いデータレートの必要性と広帯域過渡の一貫した処理(周波数にわたる処理の一貫性)に起因して、有利であるかもしれない。
図5の過渡処理構造は、在来型デコリレータ530だけが過渡信号成分に関して迂回される一方、ミキシング行列は変更せずに残しておくように構成される。したがって、空間パラメータ(ICC,ILD)は過渡信号にとって本来的に考慮される。例えば、ICCはレンダリングされた過渡分布の幅を自動的に制御する。
位相情報を如何にして取得するかという点について考慮すると、一実施形態では、位相情報は符号器から受け取られても良い。
図6はデコリレート済み信号を生成する装置の一例を示す。この装置は、過渡分離器610と、過渡デコリレータ620と、在来型デコリレータ630と、結合ユニット640と、受信ユニット650とを備える。過渡分離器610と在来型デコリレータ630と結合ユニット640は、図3に示された実施形態の過渡分離器310と在来型デコリレータ330と結合ユニット340と同様である。しかしながら、図6は位相情報を受け取る受信ユニット650をさらに示している。この位相情報は符号器(図示せず)によって送信されたものでもよい。例えば、符号器は残余信号とダウンミックス信号との間の位相差(残余信号のダウンミックスに対する相対的な位相)を計算していてもよい。その位相差は、ある周波数帯域又は広帯域(例えば時間ドメインで)について計算されたものでもよい。符号器は、均一な又は不均一な量子化と潜在的に損失のない符号化とによって、位相値を適切に符号化してもよい。その後、符号器は符号化された位相値を空間オーディオ復号化システムへ送信してもよい。符号器から位相情報を得ることは、次にオリジナル位相情報が(量子化エラーを除いて)復号器で利用可能になるので、有利である。
受信ユニット650は位相情報を過渡デコリレータ620へ供給し、過渡デコリレータ620は信号成分をデコリレートする時にその位相情報を用いる。例えば位相情報は位相項であってもよく、過渡デコリレータ620は受け取った過渡信号成分をその位相項によって乗算してもよい。
符号器から復号器へ位相情報Δφ[n]を送信する場合には、必要となるデータレートは次のように低減される。
位相情報Δφ[n]は、復号器において過渡信号成分に対してのみ適用されてもよい。したがって、デコリレートされるべき信号内に過渡成分が存在する場合に限り、位相情報が復号器内で利用可能である必要がある。よって、必要な情報だけが復号器に送信されるように、符号器によって位相情報の送信が制限されることができる。このような制限は、以下に述べるように符号器内で過渡検出を適用することによって可能となる。位相情報Δφ[n]は、時間nにおける時点、つまり過渡が符号器内で検出された時点についてのみ送信される。
過渡分離の態様について考慮すれば、一実施形態では、過渡分離は符号器作動型であってもよい。
一実施形態によれば、過渡分離情報(また「過渡情報」とも呼ぶ)は符号器から得られても良い。符号器は、非特許文献8に記載のように、過渡検出方法を符号器入力信号又はダウンミックス信号のいずれかへ適用してもよい。過渡情報は次に復号器へ送信され、望ましくは例えばダウンサンプリングされたサブバンド信号の時間分解能で取得される。
過渡情報は、時間軸上の各信号サンプルについて、好ましくは単純な二値(過渡/非過渡)決定を含んでも良い。この情報は、また好ましくは、時間軸における過渡位置と過渡持続時間とによって表現されてもよい。
過渡情報は、その過渡情報を符号器から復号器へ送信するために必要なデータレートを削減するために、損失なく符号化(例えばランレングス符号化、エントロピー符号化など)されてもよい。
過渡情報は、広帯域情報として又は周波数依存型の情報として、所定の周波数分解能で送信されてもよい。広帯域パラメータとして過渡情報を送信することは、過渡情報データレートを削減することになり、広帯域の過渡の一貫した処理により、オーディオ品質を潜在的に改善する。
二値(過渡/非過渡)決定に代えて、例えば2又は4ステップで量子化された過渡強度が送信されてもよい。過渡強度は、次に以下のように空間オーディオ復号器において過渡の分離を制御してもよい。すなわち、強い過渡はIIR格子型デコリレータ入力から完全に分離される一方、弱い過渡は部分的に分離されるだけである。
もし符号器が、例えば非特許文献9に記載のような拍手喝采検出システムを用いて拍手喝采状の信号を検出したとき、過渡情報が送信されるだけでもよい。
拍手喝采状の信号に対する入力信号の類似性についての検出結果は、過渡分離の強度を制御するために、より低い時間分解能(例えば、MPSにおける空間パラメータ更新レート)で復号器へ送信されてもよい。拍手喝采検出結果は、二値パラメータ(すなわち、硬判定)として送信されるか、又は非二値パラメータ(すなわち、軟判定)として送信されてもよい。このパラメータは、空間オーディオ復号器における分離強度を制御する。したがって、そのパラメータは復号器における過渡処理の(二値的な又は非二値的な)スイッチオン/オフの切替を可能とする。このような切替によって、例えば調性成分を含む信号に広帯域過渡処理スキームを適用した場合に起こり得るかもしれない、アーチファクトを回避することが可能になる。
図7は、一実施形態にかかる信号を復号化する装置を示す。この装置は、過渡分離器710と、過渡デコリレータ720と、格子型IIRデコリレータ730と、結合ユニット740と、ミキサー752と、任意の成形ユニット754と、第1の加算ユニット756と、第2の加算ユニット758とを備える。これら要素は、図5の実施形態における過渡分離器510と、過渡デコリレータ520と、格子型IIRデコリレータ530と、結合ユニット540と、ミキサー552と、任意の成形ユニット554と、第1の加算ユニット556と、第2の加算ユニット558とにそれぞれ対応している。図7の実施形態では、符号器は位相情報と過渡位置情報とを取得し、その情報を復号装置へと送信する。残余信号は送信されない。図7は、MPSにおけるOTTボックスのような1→2アップミックス構成を示している。その構成は、一実施形態におけるモノラル・ダウンミックスからステレオ出力へのアップミックスのために、ステレオコーデック内で適用可能である。図7の実施形態では、図7から明らかなように、3個の過渡処理パラメータが周波数独立型パラメータとして符号器から復号器へと送信される。
送信されるべき第1の過渡処理パラメータは、符号器内で作動している過渡検出器の二値の過渡/非過渡決定である。そのパラメータは、復号器内で過渡分離を制御するために使用される。単純なスキームでは、二値の過渡/非過渡決定は、さらなる符号化を行うことなく、サブバンド時間サンプル毎の二値フラグとして送信されてもよい。
送信されるべきさらなる過渡処理パラメータは、過渡デコリレータで必要となる、一つの位相値(又は複数の位相値)Δφ[n]である。Δφは、過渡が符号器内で検出された時間nについてだけ送信される。Δφ値は、量子化器の指数として、例えば1サンプル当り3ビットの分解能で送信される。
送信されるべき他の過渡処理パラメータは、分離強度(すなわち、過渡処理スキームの効果強度)である。この情報は、空間パラメータILD,ICCと同じ時間的分解能で送信される。
符号器から復号器へ過渡分離決定と広帯域位相情報とを送信するのに必要なビットレートBRは、MPSのようなシステムについては、次式で推定することができる。
Figure 0006196249
ここで、σは過渡密度(過渡としてマークされた時間スロット(=サブバンド時間サンプル)の比)、Qは送信された位相値当りのビット数、fsはサンプリングレートである。ここで、(fs/64)はダウンサンプリングされたサブバンド信号のサンプリングレートであることに留意すべきである。
いくつかの代表的な拍手喝采項目の1組のために、E{σ}<0.25が計測されており、ここでE{.}はその項目の持続時間にわたる平均値を示す。位相値の正確性とパラメータ・ビットレートとの間の合理的な妥協は、Q=3である。パラメータ・データレートを低減するために、ICCやILDは広帯域キューとして送信されてもよい。広帯域キューとしてのICCやILDの送信は、拍手喝采のような非調性の信号に特に適用可能である。
加えて、分離強度を信号化するためのパラメータは、ICCs/ILDsの更新レートで送信される。MPSにおける長い空間フレーム(64サンプルの32倍)と4段階の量子化された分離強度にとって、このことは次のような追加的なビットレートをもたらす。
Figure 0006196249
分離強度パラメータは、符号器内において、拍手喝采状信号との類似性、調性、又は他の信号特性であって、本実施形態の過渡デコリレータを適用した場合に潜在的な利点又は問題点を示す信号特性、を評価する信号分析アルゴリズムの結果から導出されてもよい。
過渡処理のために送信されたパラメータには、冗長性を削減し、より低いパラメータ・ビットレートをもたらすロスレス符号化(例えば過渡分離情報のランレングス符号化やエントロピー符号化)が施されても良い。
位相情報を取得する点に話を戻すと、一実施形態においては、位相情報は復号器内で取得されてもよい。
そのような実施形態では、復号化装置は符号器から位相情報を取得するのではなく、その位相情報を自分で決定しても良い。したがって、全体の送信レートの低下をもたらす位相情報の送信は必要ではない。
一実施形態では、位相情報は、「ガイド付き包絡成形(GES)」データからMPSベースの復号器内で取得される。このことは、GESデータが送信された場合、すなわちGES特徴が符号器内で活性化された場合にのみ適用可能である。GES特徴とは、例えばMPSシステムにおいて利用可能である。出力チャネル間のGES包絡値の比は、過渡のパニング位置を高い時間分解能で反映している。このGES包絡比(GESR)は、過渡処理に必要な位相情報にマップされることができる。GESでは、そのマッピングは、適切な試験信号の代表的なセットについてGESR分布に対する位相の統計を確立することから、経験的に得られたマッピング規則に従って実行される。マッピング規則を決定することは、過渡処理システムを設計するための1ステップであり、その過渡処理システムを適用する際の実行時間処理(run time process)ではない。したがって、もしGESデータがいずれにせよGES特徴の適用に必要であるならば、位相データのために追加的な送信コストを使う必要がない点で有利である。ビットストリーム後方互換性はMPSビットストリーム/復号器で達成できる。しかしながら、GESデータから抽出された位相情報は、符号器で取得されたであろう位相情報と比べて正確ではない(例えば、推定位相の符号は未知である)。
さらなる実施形態では、位相情報は復号器内で取得されてもよいが、送信された非全帯域残余から取得されてもよい。この例は、例えばもし帯域制限された残余信号(典型的には所定の遷移周波数までの周波数領域をカバーしている)がMPS符号化スキームにおいて送信された場合には、適用可能である。そのような実施形態では、ダウンミックスと残余帯域内の送信された残余信号との位相関係が、すなわち残余信号が送信されている周波数について、計算される。さらに、残余帯域から非残余帯域までの位相情報は、補外法(extrapolated)(及び/又は補間法(interpolated))により推定される。1つの可能性は、残余帯域において取得された位相関係を、包括的な周波数独立型の位相関係値へマップすることである。その周波数独立型の位相関係値は次に過渡デコリレータで使用される。このことは、もし非全帯域残余が何らかの方法で送信された場合には、位相データのために追加的な送信コストが発生しないという利点をもたらす。しかしながら、位相推定の正確性は、残余信号が送信された周波数帯域の幅に依存していることを考慮すべきである。位相推定の正確性は、また、ダウンミックス信号と残余信号との周波数軸に沿った位相関係の一貫性にも依存している。明確な過渡信号については、通常は高い一貫性が見受けられる。
さらなる実施形態においては、位相情報は、符号器から送信された追加的な修正情報を用いて復号器内で取得される。そのような実施形態は前述の2つの実施形態(GESからの位相、残余からの位相)と同様であるが、復号器へ送信される修正データを符号器内で追加的に生成する必要がある。その修正データは、前述の2つの変形例(GESからの位相、残余からの位相)においては発生し得る位相推定誤差を低減することを可能にする。さらに、修正データは復号器側の位相推定誤差を符号器内で推定することから導出してもよい。修正データは、この(潜在的に符号化された)見積もりの推定誤差であってもよい。さらに、GESデータからの位相推定手法に関して、修正データは単に符号器で生成された位相値の正確な符号であってもよい。このことは、復号器内で正確な符号を持つ位相項を生成するのを可能にする。このような手法の利点は、修正データにより、復号器内で回復可能な位相情報の正確性が符号器で生成された位相情報の正確性にさらに近くなることである。しかしながら、修正情報のエントロピーは正確な位相情報それ自体のエントロピーより低い。よって、符号器内で取得された位相情報を直接送信する場合に比べて、パラメータ・ビットレートを低減できる。
他の実施形態では、位相情報/位相項は、復号器内の(疑似)ランダム処理により取得される。そのような手法の利点は、高い時間的分解能でいかなる位相情報も送信する必要がないことである。これにより、データレートを低減できる。一実施形態では、単純な方法は、[-180°,180°]の範囲内で一様なランダム分布を持つ位相値を生成することである。
さらなる実施形態では、符号器内での位相分布の統計的特性が測定される。これら特性は符号化され、ついで復号器へ(低い時間分解能で)送信される。ランダム位相値は復号器内で生成されるが、それらは送信された統計的特性に左右される。これら特性は、統計的位相分布の平均値、その変形値、又は他の統計値であってもよい。
二つ以上のデコリレータ例が並列に(例えば多チャネル・アップミックスのように)作動している場合、互いにデコリレートされたデコリレータ出力が得られるように注意しなければならない。(疑似)ランダム位相値の(単一ベクトルではなく)多数のベクトルが、第1のデコリレータ例を除く全てのデコリレータ例のために生成される実施形態では、すべてのデコリレータ例にわたって位相値の最小相関をもたらすような、ベクトルの一セットが選択される。
符号器から復号器へ位相修正情報を送信する場合には、必要とされるデータレートを以下のように削減できる。
デコリレートされるべき信号内に過渡成分が存在する場合に限り、位相修正情報が復号器内で利用可能になる必要がある。そのため、必要な情報だけが復号器へ送信されるように、位相修正情報の送信は符号器によって制限することができる。このことは、上述のように符号器内での過渡検出を適用することによって可能になる。位相修正情報は、符号器内で過渡が検出された時点nについてのみ送信される。
過渡分離の態様に説明を戻すと、一実施形態では過渡分離は復号器作動型であってもよい。
そのような実施形態では、過渡分離情報は復号器内で、例えば非特許文献8に記載のような過渡検出方法をダウンミックス信号に適用することにより、取得されてもよい。そのダウンミックス信号とは、ステレオ又は多チャネルの出力信号へとアップミックスする前に空間オーディオ復号器において利用可能なものである。この場合には、過渡情報が送信される必要がなく、送信データレートを節約できる。
しかしながら、復号器内で過渡検出を行うことは、例えば過渡処理スキームを規格化する場合に、問題を引き起こす可能性がある。例えば、異なる数字上の精度やラウンディング・スキームなどを含む異なるアーキテクチャー/プラットフォーム上に構成された場合に、厳密に同じ過渡検出結果となるような過渡検出アルゴリズムを見つけ出すことは難しいかも知れない。そのような予測可能な復号器の動作は、規格化のためには往々にして必須である。さらに、規格化された過渡検出アルゴリズムは、いくつかの入力信号については機能しない可能性があり、出力信号内への許容できない歪みをもたらすかもしれない。その場合、規格に適合していない復号器を構築することなく、規格化の後に、機能しないアルゴリズムを修正することは困難になるかもしれない。この問題は、少なくとも過渡分離強度を制御するパラメータを符号器から復号器へ低い時間分解能(例えばMPSの空間パラメータ更新レートで)で送信するならば、それほど厳しくはならない可能性がある。
さらなる実施形態では、過渡分離はまた復号器で行われ、非全帯域残余信号が送信される。この実施形態では、復号器作動の過渡分離は、送信された非全帯域残余(上記の通り)から得られた位相推定を用いることにより、精製されてもよい。この精製は、符号器から復号器へ追加データを送信することなしに、復号器内で適用可能である点に留意すべである。
この実施形態では、過渡デコリレータに適用される位相項は、正確な位相値を残余帯域から如何なる残余も利用できない周波数へと補外することによって得られる。1つの方法は、残余信号を利用できる周波数について計算され得る位相値から(潜在的に、例えば信号パワーで重み付けされた)平均位相値を計算することである。この平均位相値は、次に周波数独立型のパラメータとして過渡デコリレータへ適用されてもよい。
ダウンミックス信号と残余信号との正確な位相関係が周波数独立型である限り、平均位相値は正確な位相値の良好な推定を表している。しかし、位相関係が周波数軸にそって一貫していない場合には、平均位相値はあまり正確な推定にはならず、不正確な位相値と可聴のアーチファクトを潜在的にもたらすかもしれない。
したがって、ダウンミックスと送信された残余との間の位相関係の周波数軸にそった一貫性は、過渡デコリレータにおいて適用される補外法による位相推定の信頼度値として用いることが可能である。可聴のアーチファクトのリスクを低減するために、復号器において得られた一貫性の値が、例えば以下のように、復号器で過渡分離強度を制御するために使用されてもよい。
対応する位相情報(すなわち、同じ時間指数nについての位相情報)が周波数にそって一貫性があるような過渡は、在来型デコリレータ入力から完全に分離され、かつ過渡デコリレータへ完全に供給される。大きな位相推定誤差が殆ど生じないので、過渡処理の能力全体が使用される。
対応する位相情報が周波数にそってあまり一貫性がないような過渡は、一部だけが分離され、過渡処理スキームの顕著な効果を低下させてしまう。
対応する位相情報が周波数にそって殆ど一貫性がないような過渡は、分離されず、本発明が提案する過渡処理を行わない、在来のアップミックス・システムの標準的挙動をもたらす。よって、大きな位相推定誤差に起因するアーチファクトは発生し得ない。
位相情報に関する一貫性の値は、例えば周波数に沿った位相情報の標準偏差の(潜在的に信号パワーで重み付けされた)分散から差し引かれてもよい。
残余信号が送信されるごく僅かの周波数だけが利用可能になるので、一貫性の値は周波数に沿ったほんの数個のサンプルから推定されなければならず、そのため一貫性の値は殆ど極値(「完全に一貫した」又は「完全に一貫しない」)に達しないことになる。よって、一貫性の値は、過渡分離強度を制御するために使用される前に、線形的に又は非線形的に歪ませられてもよい。一実施形態では、しきい特性が図8の右側のグラフに示されたように設定される。
図8は、位相一貫性値から過渡分離強度への様々な例示的マッピングを示し、過渡処理パラメータの変形例が、過渡の分類誤りに対するロバスト性に与える影響を示すものである。上述の過渡分離情報と位相情報とを得るための変形例は、パラメータ・データレートにおいて相違しており、したがって本発明が提案する過渡処理技術を構成しているコーデックの全体のビットレートに関して、異なる作動ポイントを表している。これとは別に、位相情報を得るための供給元の選択はまた、間違った過渡分類に対するロバスト性のような特性にも影響を及ぼす。つまり、正確な位相情報が過渡処理に適用された場合には、非過渡信号を過渡として処理することが殆ど聴覚的な歪みをもたらさない。よって、位相値を送信する方法は、復号器でランダムに位相生成する方法に比べて、信号分類エラーが重大なアーチファクトをもたらすことが少ない。
図9は、さらなる実施形態に従う過渡処理を持つ1→2システムの概観であり、そこでは狭帯域残余信号が送信される。位相データΔφは、残余信号の周波数帯域におけるダウンミックス(DMX)と残余信号との間の位相関係から推定される。任意には、位相推定エラーを低減するために、位相修正データが送信される。
図9は、過渡分離器910と、過渡デコリレータ920と、格子型IIRデコリレータ930と、結合ユニット940と、ミキサー952と、任意の成形ユニット954と、第1の加算ユニット956と、第2の加算ユニット958とを備えており、これら要素は、図5の実施形態における過渡分離器510と、過渡デコリレータ520と、格子型IIRデコリレータ530と、結合ユニット540と、ミキサー552と、任意の成形ユニット554と、第1の加算ユニット556と、第2の加算ユニット558とにそれぞれ対応している。図9の実施形態は、さらに位相推定ユニット960を備えている。この位相推定ユニット960は、入力信号DMXと、残余信号である「残余」と、任意の位相修正デッタと、を受信する。受信した情報に基づいて、位相推定ユニットは位相データΔφを計算する。任意ではあるが、このユニットは位相一貫性情報をも決定し、その位相一貫性情報を過渡分離器910へ送る。例えば、位相一貫性情報は過渡分離器によって過渡分離強度を制御するために使用されてもよい。
図9の実施形態は、もし残余信号が非全帯域型の符号化スキーム内で送信された場合には、その残余信号とダウンミックス信号との間の信号パワー重み付き平均位相差(Δφresidual_bands)が、分離された過渡(Δφ=Δφlow residual_bands)に対して広帯域位相情報として適用されてもよい、という知見を適用している。この場合には、追加の位相情報は送信される必要がなく、過渡処理のためのビットレート要求を低減できる。図9の実施形態では、残余帯域からの位相推定は、符号器において利用可能なより正確な広帯域位相推定からかなり逸脱するかもしれない。したがって、1つのオプションは、正確なΔφが復号器において利用可能となるように、位相修正データ(例えば、Δφcorrection Δφ−Δφresidual_bands)を送信することである。しかしながら、ΔφcorrectionはΔφより低いエントロピーを示す可能性があるので、必要なパラメータ・データレートはΔφを送信する場合に必要となるであろうレートに比べて低くできるかもしれない。(この方式は、符号化における予測の一般的な使用に似ている:データを直接的に符号化するのに代えて、低いエントロピーの予測誤差が符号化される。図9の実施形態では、予測ステップは残余周波数帯域から非残余帯域への位相の補外法による推定である。)周波数軸に沿った残余周波数帯域(Δφresidual_bands)における位相差の一貫性は、過渡分離強度を制御するために使用されてもよい。
幾つかの実施形態では、復号器は符号器から位相情報を受信するか、又は復号器それ自身が位相情報を決定することも可能である。さらに、復号器は符号器から過渡分離情報を受信してもよいし、復号器それ自身が過渡分離情報を決定してもよい。
幾つかの実施形態では、過渡処理の態様は、入力に対して位相項を乗算することに基づく「過渡デコリレータ」と共に、特許文献1に開示された「意味論的デコリレーション」の考え方を適用することである。両方の処理ステップが過渡信号の時間的構造を変更するのを回避しているので、レンダリングされた拍手喝采状の信号の知覚的品質は改善される。さらに、過渡の空間的分布と、過渡同士の間の位相関係とは、出力チャネルの中で再構成される。さらに、これら実施形態はまた、演算上効率がよく、PSやMPSのようなアップミックス・システムに対して容易に統合することができる。実施形態によれば、過渡処理はミキシング行列処理に影響を及ぼさないので、ミキシング行列によって定義された全ての空間的レンダリング特性もまた、その過渡信号に対して適用される。
幾つかの実施形態においては、アップミックス・システムにおけるアプリケーションに最適な、新規なデコリレーション方式が適用される。すなわち、その方式は、PSやMPSのような空間オーディオ符号化スキームのアプリケーションに特に適しており、拍手喝采状の信号、すなわち空間的に分布された過渡の濃密な混合を含む信号の場合に、出力信号の知覚的品質を改善できるものであり、及び/又は包括的な「意味論的デコリレーション」の枠組みの特に強化された構成として見なすことが可能である。さらに、幾つかの実施形態においては、新規なデコリレーション方式であって、過渡の空間的/時間的分布をオリジナル信号における分布に似るように再構成し、過渡信号の時間的構造を保存し、ビットレート対品質の妥協点を変化させることを可能とし、及び/又は非全帯域残余又はGESのようなMPSの特徴との結合に理想的に適するような、デコリレーション方式が用いられる。このような結合は、標準的なMPSの特徴の情報が過渡処理のために再利用されるという点で補足的である
図10は、複数のチャネルを持つオーディオ信号を符号化するための装置を示す。2個の入力チャネルL,Rは、ダウンミキサー1010と残余信号計算器1020とに供給される。他の実施形態では、複数のチャネル、例えば3個、5個又は9個のサラウンド・チャネルは、ダウンミキサー1010と残余信号計算器1020とに供給される。次に、ダウンミキサー1010は2つのチャネルL,Rをダウンミックスしてダウンミックス信号を得る。例えば、ダウンミキサー1010はミキシング行列を使用し、そのミキシング行列と2つの入力チャネルL,Rとを行列乗算して、ダウンミックス信号を得ても良い。そのダウンミックス信号は復号器へ送信されてもよい。
さらに、残余信号計算器1020は、残余信号と呼ばれるさらなる信号を計算する。残余信号は、ダウンミックス信号とアップミックス行列とを追加的に用いることによってオリジナル信号を再生成するために使用できる信号である。例えば、N個の信号が1個の信号へとダウンミックスされる場合、そのダウンミックスは典型的には、N個の入力信号のマッピングの結果であるN個の成分中の1個である。マッピング結果の残りの成分(例えばN−1個の成分)は、残余信号であり、逆マッピングによりオリジナルのN個の信号を再構成可能とするものである。例えば、そのマッピングは回転(rotation)であってもよい。マッピングは、ダウンミックス信号が最大化され、残余信号が最小化されるように、例えば主軸変換と同様にして、実行されるべきである。例えば、ダウンミックス信号のエネルギーは最大化され、残余信号のエネルギーが最小化されるべきである。2個の信号を1個の信号にダウンミックスする場合には、そのダウンミックスは通常、2つの入力信号のマッピングの結果得られる2つの成分の中の1つである。マッピングの結果得られる残りの成分は、残余信号であり、逆マッピングによりオリジナルの2個の信号を再構成可能とする。
幾つかのケースでは、残余信号は、2個の信号をそれらのダウンミックスと関連するパラメータとによって表現することに関連した誤差を表してもよい。例えば、残余信号は、オリジナル・チャネルL,Rと、そのオリジナル・チャネルL,Rに基づいて生成されたダウンミックス信号をアップミックスすることで得られるチャネルL',R'との間の誤差を表現する誤差信号であってもよい。
換言すれば、残余信号は、時間ドメイン、周波数ドメイン、又はサブバンド・ドメインの信号と考えることもでき、その信号は、ダウンミックス信号のみと共に、又はダウンミックス信号及びパラメータ情報と共に、正確な又はほぼ正確なオリジナル・チャネルの再構成を可能とするものである。ここで、ほぼ正確とは、ゼロより大きなエネルギーを持つ残余信号を用いた再構成が、残余信号を用いずにダウンミックスを使用して再構成すること、又は残余信号を用いずにダウンミックスとパラメータ情報とを使用して再構成することと比べて、オリジナル・チャネルにより近いことと理解すべきである。
さらに、符号器は位相情報計算器1030を有している。ダウンミックス信号と残余信号とは位相情報計算器1030へ供給される。次に、位相情報計算器はダウンミックスと残余信号との位相差に関する情報を計算し、位相情報を得る。例えば、位相情報計算器は、ダウンミックスと残余信号との相互相関(cross-correlation)を計算する関数を適用してもよい。
さらに、符号器は出力生成器1040を有する。位相情報計算器1030で生成された位相情報は、出力生成器1040へ供給される。次に、出力生成器1040は位相情報を出力する。
一実施形態では、本装置は位相情報を量子化するための位相情報量子化器をさらに備える。位相情報計算器によって生成された位相情報は、位相情報量子化器に供給されてもよい。次に、位相情報量子化器は位相情報を量子化する。例えば、位相情報は8個の異なる値、例えば値0,1,2,3,4,5,6又は7の中の1つにマップされてもよい。これら値は、位相差0,π/4,π/2,3π/4,π,5π/4,3π/2及び7π/4をそれぞれ表していても良い。量子化された位相情報は、次に出力生成器1040へ供給されても良い。
さらなる実施形態では、本装置はロスレス符号器をさらに含む。位相情報計算器1030からの位相情報、又は位相情報量子化器からの量子化された位相情報は、そのロスレス符号器に供給されてもよい。ロスレス符号器は、損失がない符号化を適用することによって、位相情報を符号化する。如何なる種類のロスレス符号化方法を用いても良い。例えば、符号器は算術符号化を用いることもできる。次に、ロスレス符号器は、損失なく符号化された位相情報を出力生成器1040へと供給する。
上述の実施形態における復号器、符号器、及び方法に関して、次のことが言える。
幾つかの態様を装置の文脈の中で説明してきたが、これら態様は対応する方法をもまた表すものであり、ブロックや装置は方法ステップ又は方法ステップの特徴に相当していることは明らかである。同様に、方法ステップの文脈の中で表された態様は、また対応するブロック、項目、又は対応する装置の特徴をも表している。
所定の構成要件にも依るが、本発明の実施形態は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読み取り可能な制御信号を有し、本発明の各方法が実行されるようにプログラム可能なコンピュータシステムと協働する(又は協働可能な)、デジタル記憶媒体、例えばフレキシブルディスク,DVD,CD,ROM,PROM,EPROM,EEPROM,フラッシュメモリなどを使用して実行することができる。
本発明に従う幾つかの実施形態は、電子的に読み取り可能な制御信号を有するデータキャリアを含んでも良く、その制御信号は、上述した方法の1つを実行するようプログラム可能なコンピュータシステムと協働可能である。
一般的に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として構成することができ、このプログラムコードは当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法を実行するよう作動する。そのプログラムコードは例えば機械読み取り可能なキャリアに記憶されていても良い。
本発明の他の実施形態は、上述した方法の1つを実行するための、機械読み取り可能なキャリア、又は非遷移型 (non-transitory)記憶媒体上に記憶されたコンピュータプログラムを含む。
換言すれば、本発明方法のある実施形態は、そのコンピュータプログラムがコンピュータ上で作動するときに、上述した方法の1つを実行するためのプログラムコードを有する、コンピュータプログラムである。
本発明の他の実施形態は、上述した方法の1つを実行するために記録されたプログラムコードを含む、データキャリア(又はデジタル記憶媒体、又はコンピュータ読み取り可能な媒体)である。
本発明の他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムを表現する、データストリーム又は信号のシーケンスである。そのデータストリーム又は信号のシーケンスは、例えばインターネットを介したデータ通信接続を介して伝送されるように構成されても良い。
他の実施形態は、上述した方法の1つを実行するように構成又は適用された、例えばコンピュータ又はプログラム可能な論理デバイスのような処理手段を含む。
他の実施形態は、上述した方法の1つを実行するためのコンピュータプログラムがインストールされたコンピュータを含む。
幾つかの実施形態においては、(例えば書換え可能ゲートアレイのような)プログラム可能な論理デバイスが、上述した方法の幾つか又は全ての機能を実行するために使用されても良い。幾つかの実施形態では、書換え可能ゲートアレイは、上述した方法の1つを実行するためにマイクロプロセッサと協働しても良い。一般的に、そのような方法は、好適には任意のハードウエア装置によって実行される。
上述した実施の形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について、修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではなく、添付した特許請求の範囲によってのみ限定されるべきである。

Claims (11)

  1. 複数のチャネルを有するオーディオ信号を符号化して符号化済みオーディオ信号を得る装置であって、
    前記複数のチャネルをダウンミックスして、ダウンミックス信号を得るダウンミキサー(1010)と、
    残余信号を計算するための残余信号計算器(1020)と、
    前記ダウンミックス信号と前記残余信号との間の位相差に関する情報を計算し、位相情報を得る位相情報計算器(1030)と、
    前記ダウンミックス信号と前記位相情報とを含む前記符号化済みオーディオ信号を出力する出力部と、を備える装置。
  2. 請求項1に記載のオーディオ信号を符号化する装置であって、
    前記位相情報計算器(1030)によって計算された前記位相情報は計算済み位相情報であり、
    前記計算済み位相情報を量子化して量子化済み位相情報を得る位相情報量子化器をさらに備え、
    前記出力部は、前記ダウンミックス信号と前記量子化済み位相情報とを含む前記符号化済みオーディオ信号を出力するよう構成されている、装置。
  3. 請求項2に記載のオーディオ信号を符号化する装置であって、
    前記位相情報量子化器は、前記計算済み位相情報を8個の異なる値にマッピングすることにより、前記計算済み位相情報を量子化して前記量子化済み位相情報を得るよう構成されている、装置。
  4. 請求項3に記載のオーディオ信号を符号化する装置であって、
    前記位相情報量子化器は、前記計算済み位相情報を、位相差0、π/4、π/2、3π/4、π、5π/4、3π/2、及び7π/4を示す8個の異なる値にマッピングすることを含む、装置。
  5. 請求項1〜4のいずれか1項に記載のオーディオ信号を符号化する装置であって、
    ロスレス符号化を適用することにより前記位相情報を損失なく符号化するロスレス符号器をさらに備える、装置。
  6. 複数のチャネルを有するオーディオ信号を符号化して符号化済みオーディオ信号を得る方法であって、
    前記複数のチャネルをダウンミックスして、ダウンミックス信号を得るステップと、
    残余信号を計算するステップと、
    前記ダウンミックス信号と前記残余信号との間の位相差に関する情報を計算し、位相情報を得るステップと、
    前記ダウンミックス信号と前記位相情報とを含む前記符号化済みオーディオ信号を出力するステップと、を含む方法。
  7. 請求項6に記載のオーディオ信号を符号化する方法において、
    前記位相情報は計算済み位相情報であり、
    前記方法は、前記計算済み位相情報を量子化して量子化済み位相情報を得る量子化ステップをさらに含み、
    前記符号化済みオーディオ信号を出力するステップは、前記ダウンミックス信号と前記量子化済み位相情報とを含む前記符号化済みオーディオ信号を出力することである、方法。
  8. 請求項7に記載のオーディオ信号を符号化する方法であって、
    前記量子化ステップは、前記計算済み位相情報を8個の異なる値にマッピングすることにより、前記計算済み位相情報を量子化して前記量子化済み位相情報を得ることである、方法。
  9. 請求項8に記載のオーディオ信号を符号化する方法であって、
    前記量子化ステップは、前記計算済み位相情報を、位相差0、π/4、π/2、3π/4、π、5π/4、3π/2、及び7π/4を示す8個の異なる値にマッピングすることを含む、方法。
  10. 請求項6〜9のいずれか1項に記載のオーディオ信号を符号化する方法において、
    ロスレス符号化を適用することにより前記位相情報を損失なく符号化するステップをさらに含むことを特徴とする方法。
  11. 請求項6〜10のいずれか1項に記載の方法を実行するためのコンピュータプログラム。
JP2015020813A 2010-08-25 2015-02-05 複数のチャネルを有するオーディオ信号を符号化する装置と方法 Active JP6196249B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US37698010P 2010-08-25 2010-08-25
US61/376,980 2010-08-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013525199A Division JP5775583B2 (ja) 2010-08-25 2011-07-06 送信された位相情報を用いてデコリレート済み信号を生成する装置

Publications (2)

Publication Number Publication Date
JP2015129953A JP2015129953A (ja) 2015-07-16
JP6196249B2 true JP6196249B2 (ja) 2017-09-13

Family

ID=44509236

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2013525199A Active JP5775583B2 (ja) 2010-08-25 2011-07-06 送信された位相情報を用いてデコリレート済み信号を生成する装置
JP2013525198A Active JP5775582B2 (ja) 2010-08-25 2011-07-06 結合ユニットとミキサーとを用いて過渡を含む信号を復号化する装置
JP2015020813A Active JP6196249B2 (ja) 2010-08-25 2015-02-05 複数のチャネルを有するオーディオ信号を符号化する装置と方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2013525199A Active JP5775583B2 (ja) 2010-08-25 2011-07-06 送信された位相情報を用いてデコリレート済み信号を生成する装置
JP2013525198A Active JP5775582B2 (ja) 2010-08-25 2011-07-06 結合ユニットとミキサーとを用いて過渡を含む信号を復号化する装置

Country Status (21)

Country Link
US (3) US9431019B2 (ja)
EP (5) EP2609590B1 (ja)
JP (3) JP5775583B2 (ja)
KR (2) KR101445291B1 (ja)
CN (2) CN103460282B (ja)
AR (3) AR082542A1 (ja)
AU (2) AU2011295367B2 (ja)
BR (2) BR112013004365B1 (ja)
CA (3) CA2887939C (ja)
ES (3) ES2706490T3 (ja)
HK (2) HK1186833A1 (ja)
MX (2) MX2013002187A (ja)
MY (3) MY178197A (ja)
PL (3) PL3144932T3 (ja)
PT (2) PT3144932T (ja)
RU (3) RU2640650C2 (ja)
SG (3) SG2014006738A (ja)
TR (1) TR201900417T4 (ja)
TW (2) TWI459380B (ja)
WO (2) WO2012025282A1 (ja)
ZA (1) ZA201302050B (ja)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG2014006738A (en) * 2010-08-25 2014-03-28 Fraunhofer Ges Forschung An apparatus for encoding an audio signal having a plurality of channels
EP2612321B1 (en) * 2010-09-28 2016-01-06 Huawei Technologies Co., Ltd. Device and method for postprocessing decoded multi-channel audio signal or decoded stereo signal
US9064318B2 (en) 2012-10-25 2015-06-23 Adobe Systems Incorporated Image matting and alpha value techniques
US10638221B2 (en) 2012-11-13 2020-04-28 Adobe Inc. Time interval sound alignment
US9201580B2 (en) 2012-11-13 2015-12-01 Adobe Systems Incorporated Sound alignment user interface
US9355649B2 (en) * 2012-11-13 2016-05-31 Adobe Systems Incorporated Sound alignment using timing information
US9076205B2 (en) 2012-11-19 2015-07-07 Adobe Systems Incorporated Edge direction and curve based image de-blurring
US10249321B2 (en) 2012-11-20 2019-04-02 Adobe Inc. Sound rate modification
US9451304B2 (en) 2012-11-29 2016-09-20 Adobe Systems Incorporated Sound feature priority alignment
US10455219B2 (en) 2012-11-30 2019-10-22 Adobe Inc. Stereo correspondence and depth sensors
US9135710B2 (en) 2012-11-30 2015-09-15 Adobe Systems Incorporated Depth map stereo correspondence techniques
US9208547B2 (en) 2012-12-19 2015-12-08 Adobe Systems Incorporated Stereo correspondence smoothness tool
US10249052B2 (en) 2012-12-19 2019-04-02 Adobe Systems Incorporated Stereo correspondence model fitting
US9214026B2 (en) 2012-12-20 2015-12-15 Adobe Systems Incorporated Belief propagation and affinity measures
WO2014126688A1 (en) 2013-02-14 2014-08-21 Dolby Laboratories Licensing Corporation Methods for audio signal transient detection and decorrelation control
TWI618051B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於利用估計之空間參數的音頻訊號增強的音頻訊號處理方法及裝置
CN104981867B (zh) * 2013-02-14 2018-03-30 杜比实验室特许公司 用于控制上混音频信号的通道间相干性的方法
TWI618050B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
US9659569B2 (en) 2013-04-26 2017-05-23 Nokia Technologies Oy Audio signal encoder
EP2830053A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2830333A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel decorrelator, multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a premix of decorrelator input signals
EP2838086A1 (en) * 2013-07-22 2015-02-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. In an reduction of comb filter artifacts in multi-channel downmix with adaptive phase alignment
CN105612766B (zh) 2013-07-22 2018-07-27 弗劳恩霍夫应用研究促进协会 使用渲染音频信号的解相关的多声道音频解码器、多声道音频编码器、方法、以及计算机可读介质
EP2830052A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder, audio encoder, method for providing at least four audio channel signals on the basis of an encoded representation, method for providing an encoded representation on the basis of at least four audio channel signals and computer program using a bandwidth extension
CN105408955B (zh) * 2013-07-29 2019-11-05 杜比实验室特许公司 用于降低去相关器电路中瞬态信号的时间伪差的系统和方法
CN105531761B (zh) * 2013-09-12 2019-04-30 杜比国际公司 音频解码系统和音频编码系统
US9848272B2 (en) * 2013-10-21 2017-12-19 Dolby International Ab Decorrelator structure for parametric reconstruction of audio signals
KR102231755B1 (ko) * 2013-10-25 2021-03-24 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP6235725B2 (ja) 2014-01-13 2017-11-22 ノキア テクノロジーズ オサケユイチア マルチ・チャンネル・オーディオ信号分類器
KR102244612B1 (ko) * 2014-04-21 2021-04-26 삼성전자주식회사 무선 통신 시스템에서 음성 데이터를 송신 및 수신하기 위한 장치 및 방법
EP2963648A1 (en) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio processor and method for processing an audio signal using vertical phase correction
EP2980789A1 (en) * 2014-07-30 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for enhancing an audio signal, sound enhancing system
KR20160101692A (ko) 2015-02-17 2016-08-25 한국전자통신연구원 다채널 신호 처리 방법 및 상기 방법을 수행하는 다채널 신호 처리 장치
US11234072B2 (en) 2016-02-18 2022-01-25 Dolby Laboratories Licensing Corporation Processing of microphone signals for spatial playback
TWI616095B (zh) * 2016-08-26 2018-02-21 配信裝置、配信系統、配信方法、電子機器、播放裝置及接收程式
EP3539127B1 (en) 2016-11-08 2020-09-02 Fraunhofer Gesellschaft zur Förderung der Angewand Downmixer and method for downmixing at least two channels and multichannel encoder and multichannel decoder
AU2017357453B2 (en) 2016-11-08 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding a multichannel signal using a side gain and a residual gain
EP3382702A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a predetermined characteristic related to an artificial bandwidth limitation processing of an audio signal
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US11232804B2 (en) 2017-07-03 2022-01-25 Dolby International Ab Low complexity dense transient events detection and coding
CN117690442A (zh) 2017-07-28 2024-03-12 弗劳恩霍夫应用研究促进协会 用于使用宽频带滤波器生成的填充信号对已编码的多声道信号进行编码或解码的装置
US10306391B1 (en) 2017-12-18 2019-05-28 Apple Inc. Stereophonic to monophonic down-mixing
EP3550561A1 (en) 2018-04-06 2019-10-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downmixer, audio encoder, method and computer program applying a phase value to a magnitude value
EP3899929A1 (en) * 2018-12-20 2021-10-27 Telefonaktiebolaget LM Ericsson (publ) Method and apparatus for controlling multichannel audio frame loss concealment
FR3136099A1 (fr) * 2022-05-30 2023-12-01 Orange Codage audio spatialisé avec adaptation d’un traitement de décorrélation

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001519995A (ja) * 1998-02-13 2001-10-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ サラウンド音声再生システム、音声/視覚再生システム、サラウンド信号処理ユニット、および入力サラウンド信号を処理する方法
RU2316154C2 (ru) 2002-04-10 2008-01-27 Конинклейке Филипс Электроникс Н.В. Кодирование стереофонических сигналов
ATE426235T1 (de) * 2002-04-22 2009-04-15 Koninkl Philips Electronics Nv Dekodiervorrichtung mit dekorreliereinheit
CN1748247B (zh) * 2003-02-11 2011-06-15 皇家飞利浦电子股份有限公司 音频编码
SG149871A1 (en) 2004-03-01 2009-02-27 Dolby Lab Licensing Corp Multichannel audio coding
US20090299756A1 (en) * 2004-03-01 2009-12-03 Dolby Laboratories Licensing Corporation Ratio of speech to non-speech audio such as for elderly or hearing-impaired listeners
JP4521633B2 (ja) 2004-03-12 2010-08-11 直樹 末広 符号分割多重信号の相関分離識別方式
RU2390857C2 (ru) 2004-04-05 2010-05-27 Конинклейке Филипс Электроникс Н.В. Многоканальный кодировщик
WO2005098824A1 (en) * 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Multi-channel encoder
JP4934427B2 (ja) * 2004-07-02 2012-05-16 パナソニック株式会社 音声信号復号化装置及び音声信号符号化装置
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
US7283634B2 (en) * 2004-08-31 2007-10-16 Dts, Inc. Method of mixing audio channels using correlated outputs
SE0402649D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
BRPI0611505A2 (pt) 2005-06-03 2010-09-08 Dolby Lab Licensing Corp reconfiguração de canal com informação secundária
RU2393550C2 (ru) * 2005-06-30 2010-06-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Устройство и способ кодирования и декодирования звукового сигнала
WO2007029412A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. マルチチャンネル音響信号処理装置
KR101218776B1 (ko) * 2006-01-11 2013-01-18 삼성전자주식회사 다운믹스된 신호로부터 멀티채널 신호 생성방법 및 그 기록매체
TW200742275A (en) * 2006-03-21 2007-11-01 Dolby Lab Licensing Corp Low bit rate audio encoding and decoding in which multiple channels are represented by fewer channels and auxiliary information
CA2646961C (en) * 2006-03-28 2013-09-03 Sascha Disch Enhanced method for signal shaping in multi-channel audio reconstruction
KR20080052813A (ko) * 2006-12-08 2008-06-12 한국전자통신연구원 채널별 신호 분포 특성을 반영한 오디오 코딩 장치 및 방법
DE102007018032B4 (de) * 2007-04-17 2010-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Erzeugung dekorrelierter Signale
US8064624B2 (en) * 2007-07-19 2011-11-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for generating a stereo signal with enhanced perceptual quality
WO2009046223A2 (en) * 2007-10-03 2009-04-09 Creative Technology Ltd Spatial audio analysis and synthesis for binaural reproduction and format conversion
AU2008344084A1 (en) 2008-01-01 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing a signal
EP2248352B1 (en) * 2008-02-14 2013-01-23 Dolby Laboratories Licensing Corporation Stereophonic widening
WO2009116280A1 (ja) 2008-03-19 2009-09-24 パナソニック株式会社 ステレオ信号符号化装置、ステレオ信号復号装置およびこれらの方法
EP2144229A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
KR101428487B1 (ko) * 2008-07-11 2014-08-08 삼성전자주식회사 멀티 채널 부호화 및 복호화 방법 및 장치
EP2154911A1 (en) 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
SG2014006738A (en) * 2010-08-25 2014-03-28 Fraunhofer Ges Forschung An apparatus for encoding an audio signal having a plurality of channels

Also Published As

Publication number Publication date
AU2011295368B2 (en) 2015-05-07
AR082543A1 (es) 2012-12-12
EP3144932B1 (en) 2018-11-07
AU2011295367A1 (en) 2013-04-11
JP2015129953A (ja) 2015-07-16
EP2924687B1 (en) 2016-11-02
MX2013002188A (es) 2013-03-18
TW201214414A (en) 2012-04-01
US20140222441A1 (en) 2014-08-07
EP3144932A1 (en) 2017-03-22
WO2012025282A1 (en) 2012-03-01
EP2924687A1 (en) 2015-09-30
RU2015102326A (ru) 2015-06-10
RU2013112903A (ru) 2014-09-27
EP2609591A1 (en) 2013-07-03
US9431019B2 (en) 2016-08-30
AR098078A2 (es) 2016-04-27
MY180970A (en) 2020-12-14
SG188254A1 (en) 2013-04-30
ES2585402T3 (es) 2016-10-05
KR20130069770A (ko) 2013-06-26
TR201900417T4 (tr) 2019-02-21
PL2609591T3 (pl) 2016-11-30
PL2609590T3 (pl) 2015-10-30
ZA201302050B (en) 2013-12-23
CN103460282A (zh) 2013-12-18
EP2609590A1 (en) 2013-07-03
SG187950A1 (en) 2013-03-28
CA2809404A1 (en) 2012-03-01
BR112013004362B1 (pt) 2020-12-01
EP2609591B1 (en) 2016-06-01
JP2013539553A (ja) 2013-10-24
TW201214417A (en) 2012-04-01
CA2809437C (en) 2016-06-21
MX2013002187A (es) 2013-03-18
JP5775583B2 (ja) 2015-09-09
CA2809437A1 (en) 2012-03-01
PT3144932T (pt) 2019-02-04
US20130173273A1 (en) 2013-07-04
CA2887939C (en) 2017-11-07
CN103180898B (zh) 2015-04-08
US8831931B2 (en) 2014-09-09
EP3471091A1 (en) 2019-04-17
BR112013004365B1 (pt) 2021-01-12
RU2580084C2 (ru) 2016-04-10
CA2809404C (en) 2016-06-21
PL3144932T3 (pl) 2019-04-30
RU2013112853A (ru) 2014-09-27
AU2011295367B2 (en) 2014-07-31
JP5775582B2 (ja) 2015-09-09
ES2706490T3 (es) 2019-03-29
BR112013004362A2 (pt) 2017-09-19
MY156770A (en) 2016-03-31
RU2573774C2 (ru) 2016-01-27
BR112013004365A2 (pt) 2020-06-02
EP2609590B1 (en) 2015-05-20
CN103180898A (zh) 2013-06-26
HK1187144A1 (zh) 2014-03-28
AU2011295368A1 (en) 2013-03-28
US9368122B2 (en) 2016-06-14
RU2640650C2 (ru) 2018-01-10
PT2609591T (pt) 2016-07-12
US20130173274A1 (en) 2013-07-04
ES2544077T3 (es) 2015-08-27
SG2014006738A (en) 2014-03-28
MY178197A (en) 2020-10-06
KR101445291B1 (ko) 2014-09-29
WO2012025283A1 (en) 2012-03-01
KR20130079507A (ko) 2013-07-10
CN103460282B (zh) 2015-08-19
HK1186833A1 (en) 2014-03-21
TWI459380B (zh) 2014-11-01
JP2013539554A (ja) 2013-10-24
KR101445293B1 (ko) 2014-09-29
CA2887939A1 (en) 2012-03-01
TWI457912B (zh) 2014-10-21
AR082542A1 (es) 2012-12-12

Similar Documents

Publication Publication Date Title
JP6196249B2 (ja) 複数のチャネルを有するオーディオ信号を符号化する装置と方法
KR101657916B1 (ko) 멀티채널 다운믹스/업믹스의 경우에 대한 일반화된 공간적 오디오 객체 코딩 파라미터 개념을 위한 디코더 및 방법
AU2015201672B2 (en) Apparatus for generating a decorrelated signal using transmitted phase information

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170817

R150 Certificate of patent or registration of utility model

Ref document number: 6196249

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250