JP5337941B2 - マルチチャネル・パラメータ変換のための装置および方法 - Google Patents

マルチチャネル・パラメータ変換のための装置および方法 Download PDF

Info

Publication number
JP5337941B2
JP5337941B2 JP2009532702A JP2009532702A JP5337941B2 JP 5337941 B2 JP5337941 B2 JP 5337941B2 JP 2009532702 A JP2009532702 A JP 2009532702A JP 2009532702 A JP2009532702 A JP 2009532702A JP 5337941 B2 JP5337941 B2 JP 5337941B2
Authority
JP
Japan
Prior art keywords
parameter
channel
audio
speaker
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009532702A
Other languages
English (en)
Other versions
JP2010507114A (ja
Inventor
ジョーハン ヒルペアト
カルステン リンツマイアー
ユールゲン ヘレ
ラルフ スペルシュナイダー
アンドレーアス ヘルツァー
ラルス ヴィレモエス
ヨナス エングデガルド
ハイコ プルンハーゲン
クリストファー クジュルリング
イェルーン ブレーバールト
ウェルナー オーメン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Publication of JP2010507114A publication Critical patent/JP2010507114A/ja
Application granted granted Critical
Publication of JP5337941B2 publication Critical patent/JP5337941B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/173Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/18Vocoders using multiple modes
    • G10L19/20Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S1/00Two-channel systems
    • H04S1/002Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)

Description

本発明は、マルチチャネル・パラメータの変換に関し、特に、空間音声場面のオブジェクト・パラメータ・ベースの表現に基づく2つの音声信号の間の空間特性を示すコヒーレンス・パラメータおよびレベル・パラメータの生成に関する。
例えば、「パラメトリック・ステレオ(PS)」、「ナチュラル・レンダリングのためのバイノーラルキュー符号化(BCC)」および「MPEGサラウンド」といったマルチチャンネル音声信号のパラメトリック符号化のためのいくつかの方法がある。それらは、モノラルでもあり得たかまたはいくつかのチャンネルを含むダウンミックス信号および空間防音スタジオを特徴付けているパラメトリックサイド情報(「空間音響情報(Spatial Cue)」)の手段によってマルチチャンネル音声信号を表現することを目的とする。
それらの技術は、チャンネル・ベースであると言われ、すなわち、ビットレートの効率化の方法ですでに存在するか生成されるマルチチャンネル信号を送信する技術である。つまり、空間音声場面は、予め定められたスピーカのセットアップにマッチするために信号の伝送前にチャンネルの予め定められた数までミックスされ、そして、それらの技術は、個々のスピーカに関連する音声チャンネルの圧縮を目指す。
パラメトリック符号化技術は、パラメータとともにオーディオ・コンテンツを持つダウンミックス・チャンネルに依存する。そのパラメータは、元の空間音声場面の空間特性を記載して、そして、マルチチャンネル信号または空間音声場面を再構築するために受信側において使用される。
例えば、フレキシブルなレンダリングのためのBCCである、密接に関連したグループの技術は、インタラクティブにそれらを任意に空間ポジションにレンダリングし、そして、先験的な符号器の知識のない単一のオブジェクトをインタラクティブに増幅するかまたは抑制することのために、同じマルチチャンネルのチャンネルというよりむしろ個々の音声オブジェクトの効果的な符号化のために設計される。(符号器から復号器まで音声チャンネル信号のセットを与える伝達をする)共通のパラメトリック・マルチチャンネル音声符号化技術とは対照的に、この種のオブジェクト符号化技術は、いかなる再現セットアップにも、復号化オブジェクトのレンダリングを許す。すなわち、復号化する側におけるユーザは、そのユーザの好みによる再現セットアップ(例えば、ステレオ、5.1サラウンド)を選択するために自由である。
オブジェクト符号化の概念を受けて、パラメータは、受信側のフレキシブルなレンダリングを考慮にいれるように、空間において音声オブジェクトの位置を定めるように定義する。受信側でのレンダリングは、非理想のスピーカ・セットアップまたは任意のスピーカのセットアップでさえ、高品質の空間音声場面を再現するために使用できる利点を有する。加えて、例えば、個々のオブジェクトに関連した音声チャンネルのダウンミックスのような音声信号は、受信側において再現の元となるように送信されなければならない。
両方で述べられた方法は、元の空間音声場面の空間印象の高品質な再現を考慮するために、受信側においてマルチチャンネル・スピーカ・セットアップに依存する。
前に概説されたように、空間音像を再生することができるマルチチャンネル音声信号のパラメータ符号化のいくつかの最高水準の技術がある。そして、それは、−利用できるデータレートに依存しており−元のマルチチャンネル・オーディオ・コンテンツのそれと多少類似している。
しかしながら、いくらかのプレ符号化音声材料(すなわち、所定の数の再現チャンネル信号によって記載されている空間音)を考えると、この種のコーデックは、リスナーの好みによって、いかなる手段も単一の音声オブジェクトの経験に基づいたおよびインタラクティブ・レンダリングに対しても提供しない。他方では、後の目的のために特別に設計されている空間音声オブジェクト技術がある、しかし、この種のシステムにおいて使用するパラメトリックの表示が、マルチチャンネル音声信号に対するものと異なるので、この場合に平行に両方の技術から利益を得たい場合に備えて、別々の復号器が必要である。この状況から生じる欠点は、与えられるスピーカのセットにおける空間音声場面のレンダリングである同じタスクを両システムのバックエンドが成し遂げるにもかかわらず、それらが、冗長に行わなければならない。すなわち、2つの別々の復号器は、両方の機能を提供する必要がある。
従来技術のオブジェクト符号化技術の他の制限は、下位互換性の方法におけるプレレンダリングされた空間音声オブジェクト場面の格納および/または送信するための手段の欠如である。空間音声オブジェクト符号化のパラダイムによって提供された単一の音声オブジェクトのインタラクティブ・ポジショニングを可能にすることの特徴は、直ちにレンダリングされた音声場面の同一の再現を生じる場合に、欠点であることがわかる。
要約すると、マルチチャンネル再生環境が上記の方法の1つをインプリメントすることを提示するにもかかわらず、さらなる再生環境が、第2の方法をインプリメントすることを必要とする。より長い歴史によれば、チャンネル・ベースの方式が、例えば、DVDまたはそれに同等のものに保存される有名な5.1または7.1/7.2のマルチチャンネル信号等よりはるかに一般的である。
すなわち、ユーザが、オブジェクト・ベースの符号化音声データを再生したい場合、マルチチャンネル音声復号器および関連した再生装置(増幅段およびスピーカ)が存在する場合であっても、ユーザは、追加的な完全なセットアップ、言い換えれば、少なくとも音声復号器を必要とする。通常は、マルチチャンネル音声復号器は、増幅段に直接関連し、そして、ユーザは、スピーカを駆動するために使用される増幅段に直接アクセスされない。これは、例えば、一般に入手可能なマルチチャンネル音声またはマルチメディアの受信機の事例である。既存の家電に基づいて、両方のアプローチによって符号化されるオーディオ・コンテンツを聴くことが可能なことを望んでいるユーザは、実に一式の二次アンプを必要とし、そして、それはもちろん、満足感の得られない状況である。
従って、システムの複雑さを減少するための方法を提供することを可能なことが望ましい。そして、それは、パラメータ的に符号化空間音声オブジェクト・ストリームと同様にパラメータのマルチチャンネル音声ストリームの両方の復号化ができる。
本発明の実施例は、マルチチャンネル空間音声信号の表現の第1音声信号と第2音声信号とのエネルギー関係を示しているレベル・パラメータを生成するためのマルチチャンネル・パラメータ変換器であって、音声オブジェクトに関連するオブジェクト音声信号に依存しているダウンミックス・チャンネルに関連する複数の音声オブジェクトのためにオブジェクト・パラメータを提供するためのオブジェクト・パラメータ・プロバイダであって、前記オブジェクト・パラメータは、前記オブジェクト音声信号のエネルギー情報を示している各音声オブジェクトのためのエネルギー・パラメータを含む、オブジェクト・パラメータ・プロバイダと、前記エネルギー・パラメータとレンダリングの構成に関連したオブジェクト・レンダリング・パラメータとを合成することによって前記レベル・パラメータを導き出すためのパラメータ・ジェネレータとを含む。
本発明の他の実施例によれば、パラメータ変換器が、相関またはコヒーレンスならびにマルチチャンネルのスピーカの構成に関連するマルチチャンネル音声信号の第1および第2音声信号のエネルギー関係を示している、コヒーレンス・パラメータおよびレベル・パラメータを生成する。相関およびレベル・パラメータは、ダウンミックス・チャンネルに関連する少なくとも1つの音声オブジェクトのための提供されたオブジェクト・パラメータに基づいて生成する。そして、それは、音声オブジェクトに関連するオブジェクト音声信号を使用してそれ自体を生成する。オブジェクト・パラメータは、オブジェクト音声信号のエネルギーを示しているエネルギー・パラメータを含む。コヒーレンスおよびレベル・パラメータを導き出すために、再生構成によって影響を与える、エネルギー・パラメータとさらなるオブジェクト・レンダリング・パラメータを合成するパラメータ・ジェネレータが使用される。いくつかの実施例によれば、オブジェクト・レンダリング・パラメータは、リスニング位置に対して再生スピーカの位置を示しているスピーカ・パラメータを含む。いくつかの実施例によれば、オブジェクト・レンダリング・パラメータは、リスニング位置に対してオブジェクトの位置を示しているオブジェクト位置パラメータを含む。この目的を達成するために、パラメータ・ジェネレータは、両方の空間音声符号化のパラダイムから生じている相乗効果を利用する。
本発明のさらなる実施例によれば、マルチチャンネル・パラメータ変換器は、MPEGサラウンドに準拠したコヒーレンスおよびレベル・パラメータ(ICCおよびCLD)を導き出すために作動する。そして、それは、さらに、MPEGサラウンド復号器を駆動するために使用することができる。内部チャンネルコヒーレンス/相互相関(ICC)は、2つの入力チャンネルの間のコヒーレンスまたは相互相関を表わすことに注意されたい。時間差が含まれない場合は、コヒーレンスおよび相関は同じである。言い換えれば、内部チャンネル時間差または内部チャンネル位相差が使用されない場合、両方の条件は、同じ特性を示している。
このようにして、標準MPEGサラウンド変換器とともにマルチチャンネル・パラメータ変換器は、オブジェクト・ベースの符号化された音声信号を再現するために使用することができる。これは、追加のパラメータ変換器が必要である、空間音声オブジェクト符号化(SAOC)音声信号を受信し、そしてオブジェクト・パラメータを変換するような利点を有し、それらは、既存の再生装置を介してマルチチャンネル音声信号を再現するために、標準MPEGサラウンド復号器によって使用される。従って、一般の再生装置は、空間音声オブジェクト符号化のコンテンツを再現するために、大きな修正なしで使用される。
本発明の他の実施例によれば、生成されたコヒーレンスおよびレベル・パラメータは、MPEGサラウンドに準拠するビットストリームに、関連するダウンミックス・チャンネルによって多重送信される。この種のビットストリームは、既存の再生環境にいかなる更なる修正も必要とすることのない標準MPEGサラウンド復号器に供給することができる。
本発明の他の実施例によれば、生成されたコヒーレンスおよびレベル・パラメータは、わずかに修正されたMPEGサラウンド復号器に直接発信される。その結果、マルチチャンネル・パラメータ変換器の計算の複雑性は、低く保たれる。
本発明の他の実施例によれば、生成されたマルチチャンネル・パラメータ(コヒーレンス・パラメータおよびレベル・パラメータ)が、生成の後に格納される。その結果、マルチチャンネル・パラメータ変換器は、場面のレンダリングの間、得られる空間情報を保存するための手段として使用できる。信号を生成するとともに、この種の場面のレンダリングは、例えば、音楽スタジオで実行できる。その結果、マルチチャンネルに準拠した信号は、以下の段落において更に詳細に記載されるようなマルチチャンネル・パラメータ変換器を使用して、いかなる追加的な作動なしでも生成することができる。従って、プレレンダリングされた場面は、従来の装置を使用して再現することができる。
本発明のいくつかの実施例のより詳細な説明の前に、マルチチャネル音声符号化およびオブジェクト音声符号化の技術ならびに空間音声オブジェクト符号化の技術が、簡潔に概説される。この目的を達成するために、参照は、添付された図面にもなされる。
図1aは、既知の発明であるマルチチャネル音声方法を示す。 図1bは、既知の発明であるオブジェクト符号化方法を示す。 図2は、空間音声オブジェクト符号化方法を示す。 図3は、マルチチャネル・パラメータ変換器の実施例を示す。 図4は、空間オーディオ・コンテンツの再生のためのマルチチャネルのスピーカの構成のための実施例を示す。 図5は、空間オーディオ・コンテンツの考えられるマルチチャネル・パラメータ表現のための実施例を示す。 図6aおよび図6bは、空間音声オブジェクト符号化コンテンツのためのアプリケーション・シナリオを示す。 図7は、マルチチャネル・パラメータ変換器の実施例を示す。 図8は、コヒーレンス・パラメータおよび相関パラメータを生成する方法の実施例を示す。
図1aはマルチチャネル音声符号化および復号化方法の概略図を示すが、図1bは従来の音声オブジェクト・符号化システムの概略図を示す。マルチチャンネル符号化方法は、多くの提供された音声チャンネル、すなわち、スピーカの所定数に適合するようにすでにミックスされた音声チャンネルを使用する。マルチチャンネル符号器4(SAC)は、音声チャンネル2a〜2dを使用して生成された音声信号であるダウンミックス信号6を生成する。このダウンミックス信号6は、例えば、モノラル音声信号または2つの音声チャンネル、すなわちステレオ信号である。ダウンミックスの間、部分的に情報の損失を補償するために、マルチチャンネル符号器4は、音声チャンネル2a〜2dの信号の空間的相互関係を記述しているマルチチャンネル・パラメータを抽出する。サイド情報8と呼ばれるこの情報は、ダウンミックス信号6とともにマルチチャンネル復号器10に送信される。マルチチャンネル復号器10は、できるだけ正確にチャンネル2a〜2dを再構成する目的でチャンネル12a〜12dを作るためにサイド情報8のマルチチャンネル・パラメータを利用する。これは、例えば、元の音声チャンネル2aと2dのチャンネル対の個々のチャンネルのエネルギー関係を記載し、そして、音声チャンネル2a〜2dのチャンネル対の間の相関度を提供する、レベル・パラメータおよび相関パラメータを送信することによって達成することができる。
復号化するとき、この情報は、再構成された音声チャンネル12a〜12dにダウンミックス信号に含まれる音声チャンネルを再分配するために用いることができる。一般のマルチチャンネル音声方法は、マルチチャンネル音声符号器4に入力する元の音声チャンネル2a〜2dの数として、同じ数の再構成されたチャンネル12a〜12dを再現するために実装されることに留意すべきである。しかしながら、他の復号化方法は、元の音声チャンネル2a〜2dの数よりも多いか、または少ないチャンネルで再生するように実装することもできる。
見方によれば、図1aにおいて図式的に描かれたマルチチャンネル音声技術(例えば、最近標準化されたMPEG空間的音声符号化方法、すなわち、MPEGサラウンド)は、マルチチャンネル音声/サラウンド・サウンドの方の既存の音声分配の基礎構造のビットレートの効率化および互換性をもつ拡張として理解することができる。
図1bは、オブジェクト・ベース音声符号化への既知の発明のアプローチを詳述する。例えば、音声オブジェクトの符号化および「コンテンツベースの双方向性」の能力は、MPEG−4の概念の一部である。図1bにおいて図式的に描かれた通常の音声オブジェクト符号化技術は、異なるアプローチに従う。それは、既に多くの既存の音声チャンネルを送信するが、むしろ、スペースにおいて分配された複数の音声オブジェクト22a〜22dを有する完全な音声場面を送信しない。この目的を達成するために、標準となる音声オブジェクト・コーダ20は、複数の音声オブジェクト22a〜22dをエレメンタリーストリーム24a〜24dに符号化するために使用される。各音声オブジェクトは、関連したエレメンタリーストリームを有する。音声オブジェクト22a〜22b(音源)は、例えば、場面における音声オブジェクトに関して音声オブジェクトの相対レベルを示している、モノラル音声チャンネルおよび関連したエネルギー・パラメータによって表現することができる。もちろん、より高度な実装において、音声オブジェクトは、モノラル音声チャンネルによって表現するために制限されない。代わりに、例えば、ステレオ音声オブジェクトまたはマルチチャンネル音声オブジェクトが符号化される。
通常の音声オブジェクト復号器28は、再構成された音声オブジェクト28a〜28dを導き出すために、音声オブジェクト22a〜22dの再生を目指す。通常の音声オブジェクト復号器に含まれるシーン・コンポーザ30は、再構成された音声オブジェクト28a〜28dの別々のポジショニングおよび様々なスピーカ・セットアップの適応を考慮にいれる。場面は、シーン記述34および関連した音声オブジェクトによって完全に定義される。いくつかの通常のシーン・コンポーザ30は、標準化された言語(例えばBIFS(シーン記述のためのバイナリーフォーマット))におけるシーン記述を予期する。復号器側で、任意のスピーカ・セットアップが存在してもよく、および音声場面における完全な情報が、復号器側において利用可能であるとき、復号器は、音声場面の再構成に合わせて最適に調整される、個々のスピーカに音声チャンネル32a〜32eを提供する。例えば、バイノーラル・レンダリングは、ヘッドホンを介して聴かれる場合に、空間的な印象を提供するために生成した2つの音声チャンネルを得ることを可能にする。
シーン・コンポーザ30に対する任意のユーザインタラクションは、再現側における個々の音声オブジェクトの再配置/リパニングを可能にする。加えて、会議において異なる話し手に関連した周辺雑音オブジェクトまたは他の音声オブジェクトは、レベルにおいて減少するように抑制される場合、特に選択された音声オブジェクトの位置またはレベルは、話す人の理解度を増加させるように修正される。
言い換えれば、通常の音声オブジェクト・コーダは、多くの音声オブジェクトをエレメンタリーストリームに符号化する。各ストリームは、ある単一の音声オブジェクトと関連する。通常の復号器は、これらのストリームを復号化し、シーン記述(BIFS)の制御の元でおよび任意にユーザインタラクションに基づいて音声場面を構成する。実用化に関して、このアプローチは、いくつかの不利点を持つ。
各個々の音声(音)オブジェクトの別々の符号化のため、全ての場面の送信のために必要なビットレートは、圧縮された音声のモノラル/ステレオ送信のために使用されるレートよりも著しく高い。明らかに、必要なビットレートは、送信された音声オブジェクトの数によって、言い換えれば、音声場面の複雑さによって、比例しておよそ増大する。
従って、各音声オブジェクトの別々の復号化のため、復号化するプロセスのための計算の複雑性は、規則的なモノラル/ステレオ音声復号器の1つのそれをおおきく上回る。復号化のための必要な計算の複雑性は、(低い複雑性の構成手順であると仮定した場合)さらに送信されたオブジェクトの数によって比例しておよそ増大する。高度な構成能力を使用する場合、すなわち、異なる計算のノードを使用する場合、これらの不利点は、対応する音声ノードの同期および構造化された音声エンジンを実行する際の全体に関連した複雑性によって、さらに増加する。
さらに、全体のシステムが、いくつかの音声復号器の構成要素およびBIFSに基づく構成単位を必要とするので、必要な構造の複雑さは、現実のアプリケーションの実装に対する障害になる。高度な構成能力は、さらに、上述の複雑さを有する構造化された音声エンジンの実装を必要とする。
図2は、非常に効果的な音声オブジェクト符号化を考慮し、記述の不利点を回避している、本発明の空間音声オブジェクト符号化の概念の実施例を示す。
それが、下記の図3に関する議論から明らかになる場合、その概念は、既存のMPEGサラウンドの構造を修正することによって実装することができる。しかしながら、他の一般のマルチチャンネル符号化/復号化のフレームワークは、発明の概念を実装するために使用することもできるので、MPEGサラウンド−フレームワークの使用は、義務的ではない。
MPEGサラウンドのような既存のマルチチャンネル音声符号化構造を利用して、発明の概念は、オブジェクト・ベースの表現を使用する能力の方へ、既存の音声分布の基礎構造のビットレートの効率化および互換性を有する拡張に発展する。音声オブジェクト符号化(AOC)および空間音声符号化(マルチチャンネル音声符号化)の従来のアプローチと区別するために、以下の本発明の実施例が、ターム空間音声オブジェクト符号化またはその略語であるSAOCを使用することにゆだねられる。
図2に示される空間音声オブジェクト符号化方法は、個別の入力音声オブジェクト50a〜50dに使用する。空間音声オブジェクト符号器52は、元の音声場面の特性の情報を有するサイド情報55とともに、1以上のダウンミックス信号54(例えば、モノラルまたはステレオ信号)を導き出す。
SAOC復号器56は、サイド情報55とともにダウンミックス信号54を受信する。ダウンミックス信号54およびサイド情報55に基づいて、空間音声オブジェクト復号器56は、一組の音声オブジェクト58a〜58dを再構成する。再構成された音声オブジェクト58a〜58dは、通常、再生のために使用することを目的とするマルチチャンネル・スピーカのセットアップに対応する所望の出力チャンネル62aおよび62bを生成するために、個々の音声オブジェクト58a〜58dのオーディオ・コンテンツをミックスするミキサー/レンダリング段60に入力される。
任意には、ミキサー/レンダラー60のパラメータは、インタラクティブな音声構成を考慮して、このように音声オブジェクト符号化の高い柔軟性を維持するために、ユーザインタラクションまたは制御64によって影響される。
図2に示される空間音声オブジェクト符号化の概念は、他のマルチチャンネル再構成シナリオと比較して、いくつかの大きな効果を有する。
送信は、ダウンミックス信号および付随のオブジェクト・パラメータの使用の理由から極度なビットレートの効率化である。すなわち、サイド情報に基づくオブジェクトは、個々の音声オブジェクトに関連する音声オブジェクトから成るダウンミックス信号とともに送信される。従って、ビットレートの要求は、アプローチと比較した場合、著しく減少する、ここで、各個別の音声オブジェクトは、別々に符号化され、送信される。さらに、概念は、すでに既存の送信構造に下位互換性をもつ。従来の装置は、単に、ダウンミックス信号をレンダー(構成)する。
再構成された音声オブジェクト58a〜58dは、直接的にミキサー/レンダラー60(シーン・コンポーザ)に運ばれる。一般に、再構成された音声オブジェクト58a〜58dは、本発明の概念が、すでに既存の再生環境に容易に行う事ができるように、いくつかの外部のミキシングデバイス(ミキサー/レンダラー60)に接続される。個別の音声オブジェクト58a〜58dは、それらが、通常、高品質の単独の再現として役立つことを意図しないにもかかわらず、単独の再現、すなわち、単一の音声ストリームとして再現するとして主に使用される。
別々のSAOCの復号化および次のミキシングとは対照的に、合成されたSAOC復号器およびミキサー/レンダラーは、非常に魅力がある。なぜなら、大変低いインプリメンテーションの複雑さに至るからである。直通信号方式アプローチと比較すると、中間表現として、オブジェクト58a〜58dの完全な復号化/再構成は、回避される。必要な計算は、主に、所望の出力のレンダリング・チャンネル62aおよび62bの数に関連がある。図2から明らかになるように、SAOC復号器に関連するミキサー/レンダラー60は、原則として、単一の音声オブジェクトを場面に合成することで、すなわち、マルチチャンネル・スピーカ・セットアップの個別のスピーカに関連する出力音声チャンネル62aおよび62bを生成するのに適切な、いかなるアルゴリズムでもありえる。例えば、これは、振幅パニング(または振幅および遅延パニング)、振幅パニング(VBAP方式)に基づくベクトルおよびバイノーラル・レンダリング、すなわち、2つのスピーカまたはヘッドホンだけを利用している空間リスニング体験を提供することを目的とするレンダリングを実行しているミキサーを含むことができる。例えば、MPEGサラウンドは、そのようなバイノーラル・レンダリング・アプローチを採用する。
一般に、対応する音声オブジェクト情報55に関連した送信ダウンミックス信号54は、例えば、パラメトリック・ステレオ、キュー符号化またはMPEGサラウンドのような、任意のマルチチャンネル音声符号化方法と合成される。
図3は、本発明の実施例を示す。ここで、オブジェクト・パラメータは、ダウンミックス信号とともに送信される。SAOC復号器の構成120において、MPEGサラウンド復号器は、受信された音声オブジェクトを使用してMPEGパラメータを生成するマルチチャンネル・パラメータ変換器とともに用いられる。この合成は、極めて低い複雑さを有する空間音声オブジェクト復号器120を結果として得る。言い換えれば、この特定の実施例は、各音声オブジェクトに関連する(空間音声)オブジェクト・パラメータおよびパニング情報を標準対応MPEGサラウンド・ビットストリームに変える方法を提案する。このように、マルチチャンネル・オーディオ・コンテンツを再生することから空間音声オブジェクト符号化場面のインタラクティブ・レンダリングの方へ、従来のMPEGサラウンド復号器の使用を延長する。これは、修正をMPEGサラウンド復号器自体に適用することなしに達成される。
図3に示した実施例は、MPEGサラウンド復号器とともにマルチチャンネル・パラメータ変換器を使用することによって、従来の技術の欠点を回避する。MPEGサラウンド復号器が、共通に利用できる技術である一方、マルチチャンネル・パラメータ変換器は、SAOCからMPEGサラウンドまで、トランスコーディングの機能を提供する。これらは、以下のパラグラフにおいて詳述される。そして、それは、加えて、図4および図5に言及し、そして、複合技術の特定の態様を例示する。
図3において、SAOC復号器120は、オーディオ・コンテンツを有するダウンミックス信号102を受信するMPEGサラウンド復号器100を有する。ダウンミックス信号は、サンプル方法によって各音声オブジェクトの音声オブジェクト信号をサンプルに合成(加算)することによって、符号器側のダウン・ミキサーによって生成する。あるいは、合成動作は、スペクトル領域またはフィルターバンク領域において生じさせることもできる。ダウンミックス・チャンネルは、パラメータ・ビットストリーム122から分離するか、またはパラメータ・ビットストリームとして同じビットストリームにおいてありえる。
加えて、MPEGサラウンド復号器100は、コヒーレンス・パラメータICCおよびレベル・パラメータCLDのような、MPEGサラウンド符号化/復号化の方法の範囲内での2つの音声信号の間に信号の特性を表わして、MPEGサラウンド・ビットストリームの空間音響情報104を受信する。そして、それは、図5において示され、そして、それは以下において更に詳細に説明される。
マルチチャンネル・パラメータ変換器106は、ダウンッミックス信号102の範囲内に含まれる付随する音声信号の特性を示す音声オブジェクトと関連付けたSAOCパラメータ(オブジェクト・パラメータ)を受信する。さらにまた、変換器106は、オブジェクト・レンダリング・パラメータ入力を介してオブジェクト・レンダリング・パラメータを受信する。これらのパラメータは、レンダリング・マトリックスのパラメータでありえるか、またはレンダリング・シナリオへの音声オブジェクトをマッピングするために役立つパラメータでありえる。ユーザによって調整され、そしてブロック12に入力される見本となるオブジェクト位置に依存して、レンダリング・マトリックスは、ブロック112によって計算される。それから、ブロック112の出力は、ブロック106に入力され、特に、空間音声パラメータを計算するために、パラメータ・ジェネレータ108に入力される。スピーカの構成が変化するとき、レンダリング・マトリックス、または、一般に少なくともオブジェクト・レンダリング・パラメータのいくつかは、同様に変化する。このように、レンダリング・パラメータは、スピーカの構成/再生の構成または送信され若しくはユーザにより選択されたオブジェクト位置を含むレンダリングの構成に依存する。そして、その両方は、ブロック112に入力される。
パラメータ・ジェネレータ108は、オブジェクト・パラメータ・プロバイダ(SAOCパーサー)によって提供されたオブジェクト・パラメータに基づいてMPEGサラウンドの空間音響情報104を導き出す。パラメータ・ジェネレータ108は、加えて、重み係数ジェネレータ112によって提供されるレンダリング・パラメータを利用する。いくつかまたは全てのレンダリング・パラメータは、空間音声オブジェクト復号器120によって生成されるチャンネルにダウンミックス信号102を含む音声オブジェクトの寄与を記述している重みパラメータである。例えば、重みパラメータは、マトリックスにおいて体系化される。その理由は、これらは、再生のために使用されるマルチチャンネル・スピーカ・セットアップの個々のスピーカに関連する、N個の音声オブジェクトをM個の音声チャンネルにマッピングするための役割を果たすためである。2種類の入力データが、マルチチャンネル・パラメータ変換器(SAOC 2 MPSトランスコーダ)にある。第1入力は、個々の音声オブジェクトに関連するオブジェクト・パラメータを有するSAOCビットストリーム122である。そして、それは、送信されたマルチ・オブジェクト音声場面に関連する音声オブジェクトの空間特性(例えば、エネルギー情報)を示す。第2入力は、N個のオブジェクトをM個の音声チャンネルにマッピングするために使用されるレンダリング・パラメータ(重みパラメータ)124である。
前述のように、SAOCビットストリーム122は、MPEGサラウンド復号器100に入力されるダウンミックス信号102を生成するためにともにミックスされた音声オブジェクトについてのパラメータ情報を含む。SAOCビットストリーム122のオブジェクト・パラメータが、ダウンミックス・チャンネル102に関連する少なくとも1つの音声オブジェクトのために提供される。SAOCビットストリーム122のオブジェクト・パラメータは、少なくとも音声オブジェクトに関連するオブジェクト音声信号を使用して順に生成されたダウンミックス・チャンネル102に関連する少なくとも1つの音声オブジェクトに提供される。例えば、適切なパラメータは、すなわち、ダウンミックス信号に対するオブジェクト音声信号の貢献の強さである、オブジェクト音声信号のエネルギーを示しているエネルギー・パラメータである。ステレオ・ダウンミックスが用いられる場合において、方向パラメータは、ステレオ・ダウンミックスの範囲内での音声オブジェクトの位置を示して提供される。しかしながら、他のオブジェクト・パラメータは、明らかに適していても、それゆえに、実装のために用いられる。
送信されたダウンミックスが、必ずしも、モノラル信号である必要があるわけではない。例えば、それは、ステレオ信号でもありえる。その場合、2つのエネルギー・パラメータは、ステレオ信号の2つのチャンネルのうちの1つに貢献する各オブジェクトを示している各パラメータであるオブジェクト・パラメータとして送信される。すなわち、例えば、もし、20個の音声オブジェクトが、ステレオ・ダウンミックス信号の生成のために使用される場合、40個のエネルギー・パラメータが、オブジェクト・パラメータとして送信されるだろう。
SAOCビットストリーム122は、SAOC構文解析ブロック、すなわち、パラメータ情報を取り戻す、オブジェクト・パラメータ・プロバイダ110に入れられる。そして、後者は、取り扱われる複数の実際の音声オブジェクトの他に、現在、各々の音声オブジェクトの時間的に変化するスペクトル・エンベロープを記載する、主にレベル・エンベロープ(OLE)・パラメータを含む。
例えば、特定のオブジェクトが出てきて、または、他が場面から去る場合、それらが、情報を移動する場合、マルチチャンネル音声場面が時間とともに変化する方法に関しては、SAOCパラメータは、一般に強く時間に依存している。反対に、レンダリング・マトリックスの重みパラメータは、強い時間または周波数依存を有さない。もちろん、もし、オブジェクトが、場面に入るか去る場合、場面の音声オブジェクトの数に合致するように、必要パラメータの数は急に変化する。さらにまた、インタラクティブなユーザ制御を有するアプリケーションにおいて、それらが、ユーザの実際の入力に依存する場合、マトリックス要素は、時間により変化する。
本発明の更なる実施例において、重みパラメータまたはオブジェクト・レンダリング・パラメータ若しくは時間依存性のオブジェクト・レンダリング・パラメータ(重みパラメータ)自身の変化を導くパラメータが、レンダリング・マトリックス124の変化を引き起こすように、SAOCビットストリームに伝達される。もし、(例えば、特定のオブジェクトの周波数選択ゲインが要求される場合に)周波数依存のレンダリング特性が要求される場合、重み係数またはレンダリング・マトリックスの要素は、周波数に依存する。
図3の実施例において、レンダリング・マトリックスは、再生の構成(すなわち、シーン記述)に関する情報に基づいて、重み係数ジェネレータ112(レンダリング・マトリックス生成ブロック)によって生成(計算)される。一方では、これは、例えば、再生のために使用されるマルチチャンネル・スピーカの構成のスピーカの多くの個々のスピーカの位置または空間ポジショニングを示しているスピーカ・パラメータのような再生の構成情報である。レンダリング・マトリックスは、さらにまた、例えば、音声オブジェクトの値を示している、及び、音声オブジェクトの信号の増幅または減衰を示している情報におけるオブジェクト・レンダリング・パラメータに基づいて計算される。一方、もし、マルチチャンネル音声場面の現実の再現が要求される場合、オブジェクト・レンダリング・パラメータは、SAOCビットストリームの範囲内において提供される。オブジェクト・レンダリング・パラメータ(例えば、位置パラメータおよび増幅情報(パニング・パラメータ))は、ユーザ・インターフェースを介して、代わりにインタラクティブに提供される。当然、所望のレンダリング・マトリックス、すなわち、所望の重みパラメータも、復号器側においてインタラクティブのレンダリングのための出発点として音声場面の自然な音の再現から始めるために、オブジェクトとともに送信される。
パラメータ・ジェネレータ(場面レンダリングエンジン)108は、N個の音声オブジェクトをM個の出力チャンネルにマッピングする計算をするために、重み係数およびオブジェクト・パラメータ(例えば、エネルギー・パラメータ OLE)の両方を受信する。ここで、Mは、Nより大きいか、小さいか、または等しく、そして、時間とともに変化する。標準のMPEGサラウンド復号器100を使用する場合、結果として得られる空間音響情報(例えば、コヒーレンスおよびレベル・パラメータ)は、SAOCビットストリームとともに送信されるダウンミックス信号にマッチしている標準対応サラウンド・ビットストリームの手段によって、MPEG復号器100に送信される。
前述したように、マルチチャンネル・パラメータ変換器106を使用することは、与えられたスピーカを介して音声場面の再構成を再生するために、ダウンミックス信号とパラメータ変換器106によって提供される送信されたパラメータを処理するための標準のMPEGサラウンド復号器を使用することを考慮する。すなわち、再生側における本格的なユーザインタラクションを許容することによって、これは、音声オブジェクト符号化方法の高い柔軟性によって達成される。
マルチチャンネル・スピーカ・セットアップの再生に代わるものとして、MPEGサラウンド復号器のバイノーラルを復号化しているモードは、ヘッドホンを介して信号を再生するために利用される。
しかしながら、もし、MPEGサラウンド復号器100に対する軽微な修正が、例えば、ソフトウェアを実装する範囲内で受け入れられる場合、MPEGサラウンド復号器への空間音響情報の送信は、パラメータ領域において直接的に実行もされる。すなわち、MPEGサラウンドの互換性ビットストリームにパラメータを多重送信する計算の効果は、省略される。計算の複雑性の減少とは別に、さらなる効果は、MPEGに合致するパラメータ量子化によって取り込まれる品質悪化を回避することである。その理由は、生成された空間音響情報のこの種の量子化は、この場合、もはや必要ではないからである。すでに述べたように、この利点は、より柔軟なMPEGサラウンド復号器の実装を必要とする。そして、ピュアなビットストリームの供給よりむしろ直接のパラメータの供給の可能性を提供する。
本発明の他の実施例において、MPEGサラウンドの互換性ビットストリームは、生成された空間音響情報およびダウンミックス信号を多重送信することによって作成される。このように、従来の装置を介した再生の可能性を提供する。マルチチャンネル・パラメータ変換器106は、このように符号器側で、音声オブジェクト符号化データをマルチチャンネル符号化データに変換する目的を果たす。本発明のさらなる実施例は、図3のマルチチャンネル・パラメータ変換器に基づいて、特定のオブジェクト音声およびマルチチャンネルの実装について記載されている。これらの実装の重要な態様は、図4および図5において例示される。
オブジェクト・レンダリング・パラメータとして方向(位置)パラメータとオブジェクト・パラメータとしてエネルギー・パラメータとを使用して、図4は、1つの特定の実装に基づいて、振幅パニングを実行するための方法を例示する。オブジェクト・レンダリング・パラメータは、音声オブジェクトの位置を示す。以下のパラグラフにおいて、角度αi150が、リスニング位置154に関して音声オブジェクトの元の方向を記載するオブジェクト・レンダリング(位置)パラメータとして使用される。以下の実施例において、簡略化した二次元のケースは、1つの単一のパラメータ、すなわち、角度は、音声オブジェクトに関連した音声信号の元の方向をパラメータ化するために、明白に使用される。しかしながら、それは、一般の三次元のケースが、大きな変更を適用するために有することはなく実装されるのは言うまでもない。すなわち、三次元空間に例示されて有するベクトルは、空間音声場面の範囲内で音声オブジェクトの位置を示すために使用される。MPEGサラウンド復号器は、以下において発明の概念を実装するために使用するとおり、図4は、加えて、5チャンネルのマルチチャンネル・スピーカの構成のスピーカの位置を示す。中心のスピーカ156a(C)の位置が、0度と定義した場合、右前スピーカ156bは30度に位置し、右サラウンドスピーカ156cは110度に位置し、左サラウンドスピーカは−110度に位置し、左前スピーカ156eは−30度に位置する。
以下の実施例は、さらに、MPEGサラウンド標準における特定のマルチチャンネル音声信号の5.1チャンネル再生に基づく。そして、それは、図5において示されるツリー構造によって視覚化できるように、2つの可能なパラメータ化を定義する。
モノラル・ダウンミックス160の送信の場合には、MPEGサラウンド復号器が、ツリー構造のパラメータ化を使用する。ツリーは、第1のパラメータ化に対して、いわゆるOTTエレメント(ボックス)162a〜162eによって、及び第2のパラメータ化に対して、164a〜164bによってデータを読み込まれる。
各OTTエレメントは、モノラル入力を2つの出力音声信号にアップミックスする。アップミックスを実行するために、各OTTエレメントは、各OTTエレメントの出力信号の間の所望の相互相関を記載しているICCパラメータ、及び2つの出力信号の間の相対レベル差を記載しているCLDパラメータ使用する。
構造的に類似的な場合であっても、図5の2つのパラメータ化は、音声チャンネル・コンテンツが、モノラル・ダウンミックス160から分配される方法において異なる。例えば、左のツリー構造において、第1OTTエレメント162aは、第1出力チャンネル166aおよび第2出力チャンネル166bを生成する。図5の視覚化によれば、第1出力チャンネル166aは、左前、右前、中央および低音特性強化チャンネルの音声チャンネルにおける情報を含む。第2出力信号166bは、サラウンドチャンネル、すなわち、左サラウンドおよび右サラウンドチャンネルの情報のみを含む。第2の実装と比較したとき、第1OTTエレメントの出力は、含まれる音声チャンネルに関連して著しく異なる。
しかしながら、マルチチャンネル・パラメータ変換器は、2つの実装のいずれかに基づいても実装することができる。発明の概念が理解されると、以下に説明したより別のマルチチャンネルの構成にも適用される。簡潔性のために、以下の発明の実施例は、大部分の損失なしに、図5の左のパラメータ化に焦点をあわせる。図5が、MPEG音声概念の適切な視覚化として役立つだけであることが、そして、計算が、図5の視覚化によって確信するように導かれるように、順次的に実行されない。通常、計算は、平行して実行される。すなわち、出力チャンネルは、単一の計算のステップにおいて導き出される。
短時間に以下のパラグラフで述べられる実施例において、SAOCビットストリームは、(例えば、フィルターバンクまたは時間−周波数変換を使用している周波数領域のフレームワークの範囲内における共通に実施されるように、別々の時間−周波数タイル毎に)ダウンミックス信号における各音声オブジェクトの(相関的な)レベルを含む。
さらにまた、本発明は、オブジェクトの特定のレベル表現に限定されない。以下の記載は、SAOCオブジェクトのパラメータ化から導き出されるオブジェクト・パワー・指標に基づくMPEGサラウンド・ビットストリームから空間音響情報を算出するための方法を例示したにすぎない。
Figure 0005337941
Figure 0005337941
それが、見られえる場合、OTTエレメント162aの第1出力信号166aは、さらに、OTTエレメント162b,162cおよび162dによって処理される。そして、最終的に、出力チャンネルLF,RF,CおよびLFEを結果として得る。第2出力チャンネル166bは、さらに、OTTエレメント162eによって処理される。そして、出力チャンネルLSおよびRSを結果として得る。単一のレンダリング・マトリックスWとともに図5のOTTエレメントを置換することは、以下のマトリックスWを使用することによって実行される。

Figure 0005337941
Nが変化する音声オブジェクトの数である場合、マトリックスWのN個の列は、固定されない。
Figure 0005337941
Figure 0005337941
Figure 0005337941
Figure 0005337941
クロスパワーR0は、以下によって与えられる:

Figure 0005337941
Figure 0005337941
図5の左部分が考慮された場合、上記に示すように決定されるp0,1およびp0,2に対する両方の信号は、仮想信号である。なぜなら、これらの信号は、スピーカ信号の合成を表わし、実際に発生している音声信号を構成しないからである。この時点で、図5におけるツリー構造が信号の生成のために用いられないと強調される。これは、MPEGサラウンド復号器において、1対2ボックスの間のいかなる信号も存在しないことを意味する。その代わりに、多かれ少なかれスピーカ信号を直接的に生成するために、ダウンミックスおよび異なるパラメータを使用している大きなアップミックス・マトリックスがある。
下記に、グループ化または図5の左の構成のためのチャンネルの識別が記載される。
ボックス162aに関して、第1仮想信号は、スピーカ信号lf,rf,c,lfeの合成を表わしている信号である。第2仮想信号は、lsおよびrsの合成を表わしている仮想信号である。
ボックス162bに関して、第1音声信号は仮想信号であり、左前チャンネルおよび右前チャンネルを含んでいるグループを表わし、そして、第2音声信号は仮想信号であり、中央チャンネルおよび低音特性強化チャンネルを含んでいるグループを表わす。
ボックス162eに関して、第1音声信号は左サラウンドチャンネルに対するスピーカ信号であり、そして、第2音声信号は右サラウンドチャンネルに対するスピーカ信号である。
ボックス162cに関して、第1音声信号は左前チャンネルに対するスピーカ信号であり、そして、第2音声チャンネルは右前チャンネルに対するスピーカ信号である。
ボックス162dに関して、第1音声信号は中央チャンネルに対するスピーカ信号であり、そして、第2音声信号は低音特性強化チャンネルに対するスピーカ信号である。
これらのボックスにおいて、後ほど概説されるように、第1音声信号または第2音声信号のための重みパラメータは、第1音声信号または第2音声信号によって表わされるチャンネルに関連するオブジェクト・レンダリング・パラメータを合成することによって導き出される。
下記に、グループ化または図5の右の構成のためのチャンネルの識別が記載される。
ボックス164aに関して、第1音声信号は仮想信号であり、左前チャンネル、左サラウンドチャンネル、右前チャンネルおよび右サラウンドチャンネルを含んでいるグループを表わし、そして、第2音声信号は仮想信号であり、中央チャンネルおよび低音特性強化チャンネルを含んでいるグループを表わす。
ボックス164bに関して、第1音声信号は仮想信号であり、左前チャンネルおよび左サラウンドチャンネルを含んでいるグループを表わし、第2音声信号は仮想信号であり、右前チャンネルおよび右サラウンドチャンネルを含んでいるグループを表わす。
ボックス164eに関して、第1音声信号は中央チャンネルに対するスピーカ信号であり、そして、第2音声信号は低音特性強化チャンネルに対するスピーカ信号である。
ボックス164cに関して、第1音声信号は左前チャンネルに対するスピーカ信号であり、そして、第2音声信号は左サラウンドチャンネルに対するスピーカ信号である。
ボックス164dに関して、第1音声信号は右前チャンネルのためのスピーカ信号であり、そして、第2音声信号は右サラウンドチャンネルに対するスピーカ信号である。
これらのボックスにおいて、後ほど概説されるように、第1音声信号または第2音声信号のための重みパラメータは、第1音声信号または第2音声信号によって表わされるチャンネルに関連するオブジェクト・レンダリング・パラメータを合成することによって導き出される。
Figure 0005337941
Figure 0005337941
ボックス162bに関して、サブ・レンダリング・マトリックスは、以下のように定義される。

Figure 0005337941
ボックス162eに関して、サブ・レンダリング・マトリックスは、以下のように定義される。

Figure 0005337941
ボックス162cに関して、サブ・レンダリング・マトリックスは、以下のように定義される。

Figure 0005337941
ボックス162dに関して、サブ・レンダリング・マトリックスは、以下のように定義される。

Figure 0005337941
図5における右の構成に関して、事情は以下の通りである:
ボックス164aに関して、サブ・レンダリング・マトリックスは、以下のように定義される。

Figure 0005337941
ボックス164bに関して、サブ・レンダリング・マトリックスは、以下のように定義される。

Figure 0005337941
ボックス164eに関して、サブ・レンダリング・マトリックスは、以下のように定義される。

Figure 0005337941
ボックス164cに関して、サブ・レンダリング・マトリックスは、以下のように定義される。

Figure 0005337941
ボックス164dに関して、サブ・レンダリング・マトリックスは、以下のように定義される。

Figure 0005337941
Figure 0005337941
前述のように、CLDおよびICCパラメータの計算は、マルチチャンネル・スピーカの構成のスピーカに関連するオブジェクト音声信号の一部のエネルギーを示している重みパラメータを利用する。これらの重み係数は、場面データおよび再生・構造データ、すなわち、音声オブジェクトの相対的位置およびマルチチャンネル・スピーカ・セットアップのスピーカに、一般的に依存する。以下のパラグラフは、各音声オブジェクトに関連するオブジェクト・パラメータとして、アジマス角および利得測定を用いて、図4において導入されたオブジェクト音声パラメータ化に基づき、重みパラメータを導き出すための1つの可能性を提供する。
Figure 0005337941
Figure 0005337941
上記の方程式に関して、2次元の場合において、空間音声場面の音声オブジェクトに関連するオブジェクト音声信号は、音声オブジェクトに近い最も近いマルチチャンネル・スピーカの構成の2つのスピーカの間で分布される点に留意すべきである。しかしながら、上記の実装のために選択されるオブジェクト・パラメータは、本発明のさらなる実施例を実施するために使用される唯一のオブジェクト・パラメータではない。例えば、3次元の場合において、スピーカ、または音声オブジェクトの位置を示しているオブジェクト・パラメータは、3次元ベクトルでもよい。一般的に、位置が、明白に定められる場合、2つのパラメータは、2次元の場合に対して必要であり、そして、3つのパラメータは、3次元の場合に対して必要である。しかしながら、2次元の場合でさえ、例えば、直交座標系において2つの座標を送信するように使用される。1〜2の範囲の中にある任意のパニング・ルール・パラメータpが、再現システム/空間の空間音響特性を反映するように設定され、そして、本発明の若干の実施例に従って、追加的に適用される任意のパニング・ルール・パラメータである。パニング重みV1,iおよびV2,iが、上述の方程式によって導き出された後に、最後に、重みパラメータws,iは、以下の公式に従って導き出される。マトリックス・エレメントは、以下の方程式によって最後に与えられる:

Figure 0005337941
各音声オブジェクトに任意に関連する、前に導かれたゲイン係数giは、個々のオブジェクトを強調するかまたは抑制するために使用される。これは、例えば、個々に選ばれた音声オブジェクトの了解度を改良するために、受信側、すなわち復号器において、実行される。
図4の音声オブジェクト152の以下の例は、上記の方程式のアプリケーションを明らかにするのに再び役立つ。実施例は、前述されている3/2チャンネルのセットアップに合致しているITU−R BS.775−1を利用する。1(すなわち、0dB)の任意のパニング・ゲインgiを有するアジマス角αi=60度によって特徴付けられる音声オブジェクトiの所望のパニング方向を導き出すことが目的である。この実施例において、再生空間は、若干の残響を示す。そして、パニング・ルール・パラメータp=2によって、パラメータ化される。図4によると、最も近いスピーカは、右前スピーカ156bと右サラウンドスピーカ156cであることは、明らかである。従って、パニング重みは、以下の方程式を解析することによって求められる:

Figure 0005337941
多少の計算の後、これは解答に至る:

Figure 0005337941
従って、上記の指示によれば、方向αiに位置する特定の音声オブジェクトに関連する重みパラメータ(マトリックス・エレメント)は、以下のように導き出される:

w1=w2=w3=0;w4=0.8374;w5=0.5466.
上記のパラグラフは、モノラル信号、すなわち、点状のソースによって表わされる、音声オブジェクトのみを利用している本発明の実施例を詳述する。しかしながら、フレキシブルな概念は、モノラルの音声ソースを有するアプリケーションに制限されない。それとは反対に、空間的に「拡散」として考慮される1つ以上のオブジェクトが、本発明の概念によく合っている。点状でないソースまたは音声オブジェクトが、表わされる場合、マルチチャンネル・パラメータは、適切な方法において、導き出されなければならない。1つ以上の音声オブジェクトの間に拡散の量を定量化する適切な計測は、オブジェクトに関連する相互相関パラメータICCである。
今まで述べられたSAOCシステムにおいて、すべての音声オブジェクトは、点状のソース、すなわち、いかなる空間的広がりのない対毎(pair−wise)の非相関のモノラルサウンドソースであるように仮定された。しかしながら、ある程度の対毎の(非)相関を提示している、ただ1つ以上の音声チャンネルを含む音声オブジェクトを考慮することが望ましいアプリケーション・シナリオもある。これらの最もシンプルな、およびおそらく最も重要な場合は、ステレオ・オブジェクト、すなわち、一緒に帰属する2つの多少相関されたチャンネルからなるオブジェクトによって、表わされる。例えば、そのようなオブジェクトは、交響楽団によって作り出される空間的な画像を表わす。
Figure 0005337941
ステレオ・オブジェクトの正確なレンダリングのために、SAOC復号器は、ステレオ・オブジェクトのレンダリングにおいて加わるそれらの再生チャンネル間の正確な相関を定めるための手段を提供する必要がある。その結果、それぞれのチャンネルに対するステレオ・オブジェクトの貢献は、対応するICCi,jパラメータによって請求されるように相関を示す。順に、ステレオ・オブジェクトを扱うことができるMPEGサラウンド・トランスコーダに対するSAOCは、関連した再生信号を再生することを必要とするOTTボックスのためのICCパラメータを導き出す必要がある。その結果、MPEGサラウンド復号器の出力チャンネル間の非相関性の量は、この条件を満たす。
そうするために、この文章の前のセクションにおいて挙げられる実施例と比較して、パワーp0,1およびp0,2ならびにクロスパワーR0が変化する必要がある。2つの音声オブジェクトのインデックスを仮定することが、以下の方法において、i1およびi2の式変形であるステレオ・オブジェクトをともに構築する。

Figure 0005337941
Figure 0005337941
ステレオ・オブジェクトを使用する能力を有することは、点ソース以外の音声ソースが適切に処理された場合に、空間音声場面の再現品質が非常に強化されるという、明らかに効果がある。さらにまた、多くの音声オブジェクトに対して広く利用できる使用前にミックスされたステレオ信号を使用する能力を有する場合、空間音声場面の生成は、より効率的に実行される。
以下の考慮すべき問題は、発明の概念が、「固有の」拡散を有する点のようなソースの集積化を考慮に入れることをさらに示す。点のソースを再生しているオブジェクトの代わりに、前の実施例におけるように、1以上のオブジェクトは、空間的な「拡散」として考えることもできる。拡散の量は、オブジェクトに関連する相互相関パラメータICCi,jによって特徴付けられる。ICCi,j=1に対して、オブジェクトiは、点のソースを表わし、その一方で、ICCi,j=0に対して、オブジェクトは、最大限に拡散される。オブジェクトに依存する拡散は、正確なICCi,j値を満たすことによって、上記に与えられる方程式において集積される。
ステレオ・オブジェクトが利用される場合、マトリックスMの重み係数の導出が適応される必要がある。しかしながら、ステレオ・オブジェクトの処理に関しては、(ステレオ・オブジェクトの左および右の「エッジ」のアジマス値を表わしている)2つのアジマス位置が、レンダリング・マトリックスの要素に変換する場合、その適応は、発明の技術なしで実行されえる。
すでに述べたように、使用する音声オブジェクトのタイプに関係なく、レンダリング・マトリックスの要素は、通常、異なる時間/周波数タイルのために個々に定義され、一般に各々は異なる。例えば、時間を通じての変化は、ユーザインタラクションを反映することができる。そして、それによって、あらゆる個々のオブジェクトのためのパニング角度およびゲイン値が、時間とともに任意に修正される。例えば、同様に、周波数を通じての変化は、音声場面の空間知覚に影響している異なる特徴を考慮に入れる。
マルチチャンネル・パラメータ変換器を使用している発明概念の実施をすることは、以前には実現できなかった、多くの完全に新規なアプリケーションを考慮に入れる。一般的な意味では、SAOCの機能性は、効果的な符号化および音声オブジェクトのインタラクティブ・レンダリングとして特徴付けられる場合、インタラクティブな音声を必要としている多数のアプリケーションは、発明の概念、すなわち、発明のマルチチャンネル・パラメータ変換器の実装、またはマルチチャンネル・パラメータ変換のための発明の方法から利益を得る。
例えば、完全に新しいインタラクティブなテレビ会議シナリオが可能になる。現在の遠隔通信基盤(電話、テレビ会議等)は、モノラルである。すなわち、音声オブジェクトにつき1つの基本のストリームの伝送が送信される必要があるので、古典的オブジェクト音声符号化は、適用できない。しかしながら、これらの従来の伝送チャンネルは、単一のダウンミックス・チャンネルを有するSAOCを導くことによって、それらの機能性において拡張することができる。主にマルチチャンネル・パラメータ変換器、または発明のオブジェクト・パラメータ・トランスコーダである、SAOC拡張を有する遠隔通信端末は、いくつかの音源(オブジェクト)を拾って、それらを既存のコーダ(例えば、音声コーダ)を使用することによって、互換性を有する方法で送信される単一のモノラル・ダウンミックス信号にミックスすることが可能である。サイド情報(空間音声オブジェクト・パラメータまたはオブジェクト・パラメータ)は、秘密に下位互換性を有する方法で伝達されえる。そのような高度な端末は、いくつかの音声オブジェクトを含んでいる出力オブジェクト・ストリームを生成する一方、従来の端末が、ダウンミックス信号を再現する。逆に言えば、従来の端末(すなわち、ダウンミックス信号のみ)によって生成される出力は、単一の音声オブジェクトとして、SAOCトランスコーダによって考慮される。
原理は、図6aにおいて例示される。第1のテレビ会議サイト200において、Aオブジェクト(話し手)が存在し、第2のテレビ会議サイト202において、Bオブジェクト(話し手)が存在する。SAOCによれば、オブジェクト・パラメータは、関連するダウンミックス信号204と共にテレビ会議サイト200から送信され、第2のテレビ会議サイト202においてBオブジェクトの各々ための音声オブジェクト・パラメータによって関連する、ダウンミックス信号206は、第2のテレビ会議サイト202から第1のテレビ会議サイト200に送信される。これは、複数の話し手の出力が、ただ1つの単一のダウンミックス・チャンネルを使用して送信され、個々の話し手に関連した追加の音声オブジェクト・パラメータについて、ダウンミックス信号に関連して送信された場合、さらに、追加の話し手が受信しているサイトで強調されるといった、多大な効果がある。
これは、例えば、ユーザが、オブジェクトに関連するゲイン値giを適用することによって興味のある1つの特定の話し手を強調することができる。したがって、残りの話し手は、ほとんど聞こえなくさせる。これらは、選択された音声オブジェクトを強調するためにユーザインタラクションの許可する可能性なしで、できるだけ、自然に元の空間音声場面を再現しようとするので、これは、従来のマルチチャンネル音声技術の場合、可能ではない。
図6bは、より複雑なシナリオを例示する。ここで、テレビ会議は、3つのテレビ会議サイト200,202および208の間で実行される。各サイトは、1つの音声信号を送受信することができるだけであるので、基礎構造は、いわゆる多地点制御装置MCU210を使用する。各サイト200,202および208は、MCU210に接続している。各サイトからMCU210に、単一のアップストリームが各サイトからの信号を含む。各サイトのためのダウンストリームは、全ての他のサイトの信号の混合である。そして、場合により、サイト自身の信号(いわゆる、N−1信号)を通さない。
先に述べた概念および発明のパラメータ・トランスコーダによれば、SAOCビットストリーム・フォーマットは、2以上のオブジェクト・ストリーム、すなわち、ダウンミックス・チャンネルおよび関連する音声オブジェクト・パラメータを有する2つのストリームを計算機的に効率的な方法、すなわち、送信サイトの空間音声場面の以前の完全な再構成を必要としない方法の単一のストリームに合成するために能力をサポートする。そのような合成は、本発明によるオブジェクトの復号化/再符号化なしにサポートされる。低遅延MPEG通信コーダ、例えば、低遅延のACCを使用する場合、そのような空間的な音声オブジェクト符号化シナリオが、特に魅力的である。
発明の概念のために関心がある他の分野は、ゲームなどのためのインタラクティブな音声である。特定のレンダリング・セットアップからのその低い計算の複雑性および独立性のため、SAOCは、例えば、ゲーム・アプリケーションのようなインタラクティブな音声のための音を表わすことに理想的に適している。音声は、出力端子の能力に依存して、さらにレンダリングされる。例えば、ユーザ/プレイヤは、現在の音声場面のレンダリング/ミキシングに直接影響を与える。仮想場面においてあちこち移動することは、レンダリング・パラメータの適合によって反映される。SAOCのシーケンス/ビットストリームの適応性のあるセットを使用することは、ユーザインタラクションによって制御される非線形なゲームのストーリーの再現を可能にする。
本発明の他の実施例によれば、本発明のSAOC符号化は、ユーザが、同じ仮想世界/場面の他のプレイヤと相互に作用するようなマルチ・プレイヤ・ゲームの範囲内で適用される。ユーザ毎に、ビデオおよび音声場面は、仮想世界における彼の位置および位置確認に基づいており、彼のローカル端末に適応してレンダリングされる。一般のゲーム・パラメータおよび特定のユーザデータ(位置、個々の音声;チャットその他)は、共通のゲーム・サーバを使用している異なるプレイヤの間で交換される。従来の技術については、ゲーム・シーンにおける各クライアント・ゲーム・デバイス(特に、ユーザ・チャット、特別な音声効果)上の不履行によって入手不可能なあらゆる個々の音源は、符号化される必要があり、個々の音声ストリームとしてゲーム・シーンの各プレイヤに送られる必要がある。SAOCを使用して、プレイヤ毎の関連した音声ストリームが、ゲーム・サーバにおいて容易に構成され/合成され、プレイヤ(すべてに関連したオブジェクトを含む)に単一の音声ストリームとして送信され、そして、音声オブジェクト(他のゲーム・プレイヤの音声)毎に、正確な空間位置においてレンダリングされる。
さらに、本発明の他の実施例によれば、SAOCは、リスナーの好みに従って計測器の相対レベル、空間的な位置および聴度を調節するための可能性を使用しているマルチチャンネル・ミキシング・デスクのそれと類似の制御を有するオブジェクト・サウンドトラックを再生するために使用される。
そのような、ユーザは、
−(カラオケ・タイプのアプリケーション)を協力するためのある機器を抑制し/減らす。
−それらの選択(例えば、ダンス・パーティに対するドラム音が大きく、弦楽器音が小さいか、リラクセーション音楽に対するドラム音が小さく、ボーカルが大きい)を反映するために元のミックスを修正する。
−それらの選択にしたがって、異なるボーカル・トラック(弾性のリード・ボーカルを介した女性のリード・ボーカル)の間で選択する。
上記例が示したように、発明の概念のアプリケーションが、以前に実行不可能なアプリケーションのための新規の多種多様な分野を開く。図7の発明のマルチチャンネル・パラメータ変換器を使用する場合、または図8に示されるように、第1および第2音声信号の間の相関を示しているコヒーレンス・パラメータおよびレベル・パラメータを生成するための方法を実装する場合に、これらのアプリケーションは、可能になる。
図7は、本発明のさらなる実施例を示す。マルチチャンネル・パラメータ変換器300は、音声オブジェクトに関連するオブジェクト音声信号を使用して生成されたダウンミックス・チャンネルに関連する少なくとも1つの音声オブジェクトのためのオブジェクト・パラメータを提供するためのオブジェクト・パラメータ・プロバイダ302を含む。さらに、マルチチャンネル・パラメータ変換器300は、コヒーレンス・パラメータおよびレベル・パラメータを導き出すためのパラメータ・ジェネレータ304を含み、コヒーレンス・パラメータは、マルチチャンネル・スピーカの構成に関連するマルチチャンネル音声信号の表現の第1および第2音声信号の間の相関を示しており、レベル・パラメータは、音声信号の間のエネルギー関係を示している。マルチチャンネル・パラメータは、オブジェクト・パラメータおよび再生のために使用されるマルチチャンネル・スピーカの構成のスピーカの位置を示している追加のスピーカ・パラメータを使用することにより生成される。
図8は、マルチチャンネル・スピーカの構成に関連するマルチチャンネル音声信号の表現の第1および第2音声信号の間の相関を示しているコヒーレンス・パラメータを生成するための、ならびに音声信号の間のエネルギー関係を示しているレベル・パラメータを生成するための発明の方法の実施形態の実施例を示す。提供するステップ310において、音声オブジェクトに関連するオブジェクト音声信号を使用して生成されたダウンミックス信号に関連する少なくとも1つの音声オブジェクトのためのオブジェクト・パラメータ、音声オブジェクトの位置を示している方向パラメータを含んでいるオブジェクト・パラメータ、およびオブジェクト音声信号のエネルギーを示しているエネルギー・パラメータが提供される。
変換ステップ312において、コヒーレンス・パラメータおよびレベル・パラメータが、再生のために使用されることを目的とするマルチチャンネル・スピーカの構成のスピーカの位置を示している追加のスピーカ・パラメータとともに方向パラメータおよびエネルギー・パラメータを合成して導き出される。
更なる実施例は、マルチチャンネル・スピーカの構成に関連するマルチチャンネル音声信号の表現の2つの音声信号の間の相関を示しているコヒーレンス・パラメータを生成するために、および空間的な音声オブジェクトの符号化したビットストリームに基づく2つの音声信号の間におけるエネルギー関係を示しているレベル・パラメータを生成するためのオブジェクト・パラメータ・トランスコーダを含む。この装置は、前述のように、空間的な音声オブジェクトの符号化したビットストリームからダウンミックス・チャンネルおよび関連したオブジェクト・パラメータを抽出するためのビットストリーム・デコンポーザならびにマルチチャンネル・パラメータ変換器を含む。
あるいは、またはさらに、オブジェクト・パラメータ・トランスコーダは、マルチチャンネル信号のマルチチャンネル表現を導き出すためのダウンミックス・チャンネル、コヒーレンス・パラメータおよびレベル・パラメータを合成するためのマルチチャンネル・ビットストリーム・ジェネレータ、または、量子化および/またはエントロピー符号化なしにレベル・パラメータおよびコヒーレンス・パラメータを直接出力するための出力インターフェースを含む。
他のオブジェクト・パラメータ・トランスコーダは、コヒーレンス・パラメータおよびレベル・パラメータに関連してダウンミックス・チャンネルを出力するためにさらに作用している出力インターフェースを有するか、または記憶媒体においてレベル・パラメータおよびコヒーレンス・パラメータを記憶するための出力インターフェースに接続される記憶インターフェースを有する。
さらにまた、オブジェクト・パラメータ・トランスコーダは、前述のようにマルチチャンネル・パラメータ変換器を有する。そして、それは、マルチチャンネル・スピーカの構成の異なるスピーカを表現している音声信号の異なる対のための複数のコヒーレンス・パラメータおよびレベル・パラメータ対を導き出すために作用する。
進歩的な本方法の実施要件によっては、本方法は、ハードウェアまたはソフトウェアにおいて実施することができる。本実施は、電子的に読み出し可能な制御信号を記憶するデジタル記憶媒体、特にディスク、DVDまたはCDを使用して行うことができ、進歩的な本方法が行われるようなプログラム可能なコンピュータシステムと共に動作する。したがって、一般的に、本発明は、機械読み出し可能な担体上に記憶されたプログラム・コードを伴うコンピュータ・プログラム製品であって、プログラム・コードは、コンピュータ・プログラム製品がコンピュータ上で実行される場合に、進歩的な本方法を行うために動作する。したがって、言い換えれば、進歩的な本方法は、コンピュータ・プログラムがコンピュータ上で実行される場合に、本方法の少なくとも1つが実行させるためのプログラム・コードを有するコンピュータ・プログラムである。
前述の内容が特にその特定の実施例に関して開示されると共に記載される一方、形態および詳細のさまざまな他の変化が、その趣旨および範囲から逸脱することなくなされることが、当業者には分かる。さまざまな変化が本願明細書において開示された上位概念から逸脱することなく、異なる実施例に適応され、以下の請求項によって理解されることが分かる。

Claims (21)

  1. Figure 0005337941
  2. 前記オブジェクト・レンダリング・パラメータは、前記音声オブジェクトの位置を示しているオブジェクト位置パラメータに依存する、請求項1に記載のマルチチャンネル・パラメータ変換器。
  3. 前記レンダリングの構成は、マルチチャンネル・スピーカの構成を含み、
    前記オブジェクト・レンダリング・パラメータは、前記マルチチャンネル・スピーカの構成のスピーカの位置を示しているスピーカ・パラメータに依存する、請求項1に記載のマルチチャンネル・パラメータ変換器。
  4. 前記オブジェクト・パラメータ・プロバイダは、リスニング位置に対して前記音声オブジェクトの位置を示している方向パラメータをさらに含むオブジェクト・パラメータを提供するために作動し、
    前記パラメータ・ジェネレータは、前記リスニング位置に対してスピーカの位置を示しているスピーカ・パラメータと前記方向パラメータとに依存しているオブジェクト・レンダリング・パラメータを使用するために作動する、請求項1に記載のマルチチャンネル・パラメータ変換器。
  5. 前記オブジェクト・パラメータ・プロバイダは、スピーカの構成の範囲内でリスニング位置に対して前記オブジェクトのユーザに選択された位置を示している方向パラメータをさらに含んでいるユーザの入力オブジェクト・パラメータを受信するために作動し、
    前記パラメータ・ジェネレータは、前記リスニング位置に対してスピーカの位置を示しているスピーカ・パラメータと前記ユーザの入力方向パラメータとに依存している前記オブジェクト・レンダリング・パラメータを使用するために作動する、請求項1に記載のマルチチャンネル・パラメータ変換器。
  6. 前記オブジェクト・パラメータ・プロバイダおよび前記パラメータ・ジェネレータは、基準面の範囲内の角度を示している方向パラメータを使用するために作動し、
    前記基準面は、前記リスニング位置を含み、そして前記スピーカ・パラメータによって示される位置を有する前記スピーカを含む、請求項に記載のマルチチャンネル・パラメータ変換器。
  7. 前記パラメータ・ジェネレータは、前記マルチチャンネルのスピーカの構成の第1および第2スピーカに分配される前記オブジェクト音声信号の前記エネルギーの部分を示すオブジェクト・レンダリング・パラメータとして第1および第2重み付けパラメータを使用するために適用され、第1および第2スピーカが、前記音声オブジェクトの位置に対して最小距離を有している前記スピーカの間で前記スピーカ・パラメータが示す場合、前記重み付けパラメータがゼロと同じでないように、前記第1および第2重み付けパラメータは、前記マルチチャンネルのスピーカの構成のスピーカの位置を示しているスピーカ・パラメータに依存している、請求項1に記載のマルチチャンネル・パラメータ変換器。
  8. 前記スピーカ・パラメータが、前記第2スピーカと前記音声オブジェクトの位置との間よりも低い距離の前記第1スピーカと前記音声オブジェクトの位置との間を示す場合、前記パラメータ・ジェネレータは、前記第1スピーカのための音声信号の前記エネルギーよりも大きな部分を示している重み付けパラメータを使用するために適用される、請求項に記載のマルチチャンネル・パラメータ変換器。
  9. 前記パラメータ・ジェネレータは、
    前記第1および第2スピーカのためのスピーカ・パラメータΘ1およびΘ2ならびに前記音声オブジェクトの方向パラメータαに依存している前記第1および前記第2重み付けパラメータw1およびw2を提供するための重み係数ジェネレータを含み、
    前記スピーカ・パラメータΘ1,Θ2および前記方向パラメータαは、前記スピーカの位置およびリスニング位置に対して前記音声オブジェクトの方向を示す、請求項8に記載のマルチチャンネル・パラメータ変換器。
  10. 前記重み係数ジェネレータは、以下の方程式を満たすように前記重み付けパラメータw1およびw2を提供するように作動し、
    Figure 0005337941
    ここで、pは、再現システム/室内の空間音響特性を反映するためにセットされる任意のパニング・ルール・パラメータであり、1≦p≦2として定義される、請求項に記載のマルチチャンネル・パラメータ変換器。
  11. 前記重み係数ジェネレータは、前記音声オブジェクトに関連する共通の乗算のゲイン値を適用することによって前記重み付けパラメータをさらにスケーリングするために作動する、請求項に記載のマルチチャンネル・パラメータ変換器。
  12. 前記パラメータ・ジェネレータは、前記第1音声信号に関連する第1パワー推定値pk,1および前記第2音声信号に関連する第2パワー推定値pk,2に基づき前記レベル・パラメータおよび前記コヒーレンス・パラメータを導き出すために作動し、
    ここで、前記第1音声信号は、スピーカを対象とするかまたはスピーカ信号のグループを表している仮想信号であり、前記第2音声信号は、異なるスピーカを対象とするかまたはスピーカ信号の異なるグループを表している仮想信号であり、
    前記第1音声信号の前記第1パワー推定値pk,1は、前記第1音声信号に関連する前記エネルギー・パラメータおよび重み付けパラメータに依存し、前記第2音声信号に関連する前記第2パワー推定値pk,2は、前記第2音声信号に関連する前記エネルギー・パラメータおよび重み付けパラメータに依存し、
    kは、異なる第1および第2の信号の一対の複数の対を示している整数であり、
    前記重み付けパラメータは、前記オブジェクト・レンダリング・パラメータに依存する、請求項1に記載のマルチチャンネル・パラメータ変換器。
  13. kはゼロに等しく、前記第1音声信号は、仮想信号であり、そして左前チャンネル、右前チャンネル、中央チャンネルおよび低音特性強化チャンネルを含むグループを表現し、ならびに前記第2音声信号は、仮想信号であり、そして左サラウンドチャンネルおよび右サラウンドチャンネルを含むグループを表現する、請求項1に記載のマルチチャンネル・パラメータ変換器。
  14. kはゼロに等しく、前記第1音声信号は、仮想信号であり、そして左前チャンネル、左サラウンドチャンネル、右前チャンネルおよび右サラウンドチャンネルを含むグループを表現し、ならびに前記第2音声信号は、仮想信号であり、そして中央チャンネルおよび低音特性強化チャンネルを含むグループを表現する、請求項1に記載のマルチチャンネル・パラメータ変換器。
  15. 前記パラメータ・ジェネレータは、以下の方程式に基づいて前記レベル・パラメータCLDkを導き出すために適用される、請求項1に記載のマルチチャンネル・パラメータ変換器。
    Figure 0005337941
  16. 前記パラメータ・ジェネレータは、以下の方程式に基づき前記コヒーレンス・パラメータICCを導き出すために作動する、請求項1に記載のマルチチャンネル・パラメータ変換器。
    Figure 0005337941
  17. 前記オブジェクト・パラメータ・プロバイダは、各音声オブジェクトおよび各複数の周波数帯のために、エネルギー・パラメータを提供するために適用され、
    前記パラメータ・ジェネレータは、前記各周波数帯に対する前記レベル・パラメータおよび前記コヒーレンス・パラメータを算出するために作動する、請求項1に記載のマルチチャンネル・パラメータ変換器。
  18. 前記パラメータ・ジェネレータは、前記オブジェクト音声信号の異なる時間−部分に対して異なるオブジェクト・レンダリング・パラメータを使用するために作動する、請求項1に記載のマルチチャンネル・パラメータ変換器。
  19. 前記重み係数ジェネレータは、各音声オブジェクトiのために、以下の方程式に基づき、オブジェクト方向パラメータαiおよびスピーカ・パラメータθ s に依存している番目のスピーカのための前記重み係数w s,iを導き出すために、作動
    ここで、Mは、スピーカの数であり、g i は、各音声オブジェクトのゲイン係数であり、θ s は、s番目のスピーカのアジマス角であり、v 1,i およびv 2,i は、パニング重みであり、pは、再現システム/空間の空間音響特性を反映するように設定し、1 ≦ p ≦ 2である任意のパニング・ルール・パラメータである、請求項に記載のマルチチャンネル・パラメータ変換器。
    Figure 0005337941
  20. Figure 0005337941
  21. コンピュータに、請求項20に記載の方法を実行させるためのコンピュータ・プログラム・コードを伴うコンピュータ・プログラムが記憶された機械読み出し可能な担体
JP2009532702A 2006-10-16 2007-10-05 マルチチャネル・パラメータ変換のための装置および方法 Active JP5337941B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US82965306P 2006-10-16 2006-10-16
US60/829,653 2006-10-16
PCT/EP2007/008682 WO2008046530A2 (en) 2006-10-16 2007-10-05 Apparatus and method for multi -channel parameter transformation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013140421A Division JP5646699B2 (ja) 2006-10-16 2013-07-04 マルチチャネル・パラメータ変換のための装置および方法

Publications (2)

Publication Number Publication Date
JP2010507114A JP2010507114A (ja) 2010-03-04
JP5337941B2 true JP5337941B2 (ja) 2013-11-06

Family

ID=39304842

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009532702A Active JP5337941B2 (ja) 2006-10-16 2007-10-05 マルチチャネル・パラメータ変換のための装置および方法
JP2013140421A Active JP5646699B2 (ja) 2006-10-16 2013-07-04 マルチチャネル・パラメータ変換のための装置および方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013140421A Active JP5646699B2 (ja) 2006-10-16 2013-07-04 マルチチャネル・パラメータ変換のための装置および方法

Country Status (15)

Country Link
US (1) US8687829B2 (ja)
EP (2) EP2437257B1 (ja)
JP (2) JP5337941B2 (ja)
KR (1) KR101120909B1 (ja)
CN (1) CN101529504B (ja)
AT (1) ATE539434T1 (ja)
AU (1) AU2007312597B2 (ja)
BR (1) BRPI0715312B1 (ja)
CA (1) CA2673624C (ja)
HK (1) HK1128548A1 (ja)
MX (1) MX2009003564A (ja)
MY (1) MY144273A (ja)
RU (1) RU2431940C2 (ja)
TW (1) TWI359620B (ja)
WO (1) WO2008046530A2 (ja)

Families Citing this family (156)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
WO2007028094A1 (en) * 2005-09-02 2007-03-08 Harman International Industries, Incorporated Self-calibrating loudspeaker
US8249283B2 (en) * 2006-01-19 2012-08-21 Nippon Hoso Kyokai Three-dimensional acoustic panning device
CN101410891A (zh) 2006-02-03 2009-04-15 韩国电子通信研究院 使用空间线索控制多目标或多声道音频信号的渲染的方法和装置
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8571875B2 (en) * 2006-10-18 2013-10-29 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding multichannel audio signals
CA2669091C (en) 2006-11-15 2014-07-08 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
JP5394931B2 (ja) * 2006-11-24 2014-01-22 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号の復号化方法及びその装置
EP2102858A4 (en) 2006-12-07 2010-01-20 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
JP5463143B2 (ja) 2006-12-07 2014-04-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号のデコーディング方法及びその装置
EP2595149A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Apparatus for transcoding downmix signals
US8200351B2 (en) * 2007-01-05 2012-06-12 STMicroelectronics Asia PTE., Ltd. Low power downmix energy equalization in parametric stereo encoders
JP5554065B2 (ja) * 2007-02-06 2014-07-23 コーニンクレッカ フィリップス エヌ ヴェ 複雑さの軽減されたパラメトリックステレオデコーダ
KR101049143B1 (ko) * 2007-02-14 2011-07-15 엘지전자 주식회사 오브젝트 기반의 오디오 신호의 부호화/복호화 장치 및 방법
CN101542597B (zh) * 2007-02-14 2013-02-27 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置
KR20080082916A (ko) * 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
US8463413B2 (en) * 2007-03-09 2013-06-11 Lg Electronics Inc. Method and an apparatus for processing an audio signal
WO2008120933A1 (en) * 2007-03-30 2008-10-09 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
EP2560164A3 (en) * 2007-06-27 2013-04-17 Nec Corporation Signal control device, its system, method, and program
US8385556B1 (en) * 2007-08-17 2013-02-26 Dts, Inc. Parametric stereo conversion system and method
EP2191462A4 (en) * 2007-09-06 2010-08-18 Lg Electronics Inc METHOD AND DEVICE FOR DECODING A SOUND SIGNAL
BRPI0816556A2 (pt) * 2007-10-17 2019-03-06 Fraunhofer Ges Zur Foerderung Der Angewandten Forsschung E V codificação de áudio usando downmix
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
US8315396B2 (en) * 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
AU2013200578B2 (en) * 2008-07-17 2015-07-09 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
MX2011011399A (es) * 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
WO2010064877A2 (en) 2008-12-05 2010-06-10 Lg Electronics Inc. A method and an apparatus for processing an audio signal
CN102246543B (zh) 2008-12-11 2014-06-18 弗兰霍菲尔运输应用研究公司 产生多信道音频信号的装置
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
CN102016982B (zh) * 2009-02-04 2014-08-27 松下电器产业株式会社 结合装置、远程通信系统以及结合方法
EP2626855B1 (en) 2009-03-17 2014-09-10 Dolby International AB Advanced stereo coding based on a combination of adaptively selectable left/right or mid/side stereo coding and of parametric stereo coding
KR20120062758A (ko) * 2009-08-14 2012-06-14 에스알에스 랩스, 인크. 오디오 객체들을 적응적으로 스트리밍하기 위한 시스템
EP2483887B1 (en) * 2009-09-29 2017-07-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mpeg-saoc audio signal decoder, method for providing an upmix signal representation using mpeg-saoc decoding and computer program using a time/frequency-dependent common inter-object-correlation parameter value
CN102714035B (zh) * 2009-10-16 2015-12-16 弗兰霍菲尔运输应用研究公司 用以提供一或多个经调整参数的装置及方法
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화/복호화 장치 및 방법
EP2323130A1 (en) * 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
CN102714038B (zh) * 2009-11-20 2014-11-05 弗兰霍菲尔运输应用研究公司 用以基于下混信号表示型态而提供上混信号表示型态的装置、用以提供表示多声道音频信号的位流的装置、方法
EP2346028A1 (en) * 2009-12-17 2011-07-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. An apparatus and a method for converting a first parametric spatial audio signal into a second parametric spatial audio signal
US9536529B2 (en) * 2010-01-06 2017-01-03 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
WO2011119401A2 (en) 2010-03-23 2011-09-29 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
US10158958B2 (en) 2010-03-23 2018-12-18 Dolby Laboratories Licensing Corporation Techniques for localized perceptual audio
US8675881B2 (en) * 2010-10-21 2014-03-18 Bose Corporation Estimation of synthetic audio prototypes
US9078077B2 (en) * 2010-10-21 2015-07-07 Bose Corporation Estimation of synthetic audio prototypes with frequency-based input signal decomposition
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
WO2012122397A1 (en) * 2011-03-09 2012-09-13 Srs Labs, Inc. System for dynamically creating and rendering audio objects
KR101748760B1 (ko) 2011-03-18 2017-06-19 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에.베. 오디오 콘텐츠를 표현하는 비트스트림의 프레임들 내의 프레임 요소 배치
EP2523472A1 (en) 2011-05-13 2012-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method and computer program for generating a stereo output signal for providing additional output channels
WO2012164444A1 (en) * 2011-06-01 2012-12-06 Koninklijke Philips Electronics N.V. An audio system and method of operating therefor
RU2554523C1 (ru) 2011-07-01 2015-06-27 Долби Лабораторис Лайсэнзин Корпорейшн Система и инструментальные средства для усовершенствованной авторской разработки и представления трехмерных аудиоданных
TWI603632B (zh) 2011-07-01 2017-10-21 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
US9253574B2 (en) 2011-09-13 2016-02-02 Dts, Inc. Direct-diffuse decomposition
US9392363B2 (en) 2011-10-14 2016-07-12 Nokia Technologies Oy Audio scene mapping apparatus
CN103890841B (zh) 2011-11-01 2017-10-17 皇家飞利浦有限公司 音频对象编码和解码
JP6090334B2 (ja) * 2012-01-17 2017-03-08 ギブソン イノベーションズ ベルジャム エヌヴイ マルチチャンネルオーディオレンダリング
ITTO20120274A1 (it) * 2012-03-27 2013-09-28 Inst Rundfunktechnik Gmbh Dispositivo per il missaggio di almeno due segnali audio.
CN103534753B (zh) * 2012-04-05 2015-05-27 华为技术有限公司 用于信道间差估计的方法和空间音频编码装置
KR101945917B1 (ko) 2012-05-03 2019-02-08 삼성전자 주식회사 오디오 신호 처리 방법 및 이를 지원하는 단말기
WO2013192111A1 (en) * 2012-06-19 2013-12-27 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
EP2863657B1 (en) 2012-07-31 2019-09-18 Intellectual Discovery Co., Ltd. Method and device for processing audio signal
KR101950455B1 (ko) * 2012-07-31 2019-04-25 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
KR101949756B1 (ko) * 2012-07-31 2019-04-25 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
KR101949755B1 (ko) * 2012-07-31 2019-04-25 인텔렉추얼디스커버리 주식회사 오디오 신호 처리 방법 및 장치
US9489954B2 (en) * 2012-08-07 2016-11-08 Dolby Laboratories Licensing Corporation Encoding and rendering of object based audio indicative of game audio content
KR102033985B1 (ko) 2012-08-10 2019-10-18 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 공간적 오디오 객체 코딩에 오디오 정보를 적응시키기 위한 장치 및 방법
JP6186436B2 (ja) * 2012-08-31 2017-08-23 ドルビー ラボラトリーズ ライセンシング コーポレイション 個々に指定可能なドライバへの上方混合されたコンテンツの反射されたおよび直接的なレンダリング
BR122021021487B1 (pt) * 2012-09-12 2022-11-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V Aparelho e método para fornecer capacidades melhoradas de downmix guiado para áudio 3d
US9729993B2 (en) 2012-10-01 2017-08-08 Nokia Technologies Oy Apparatus and method for reproducing recorded audio with correct spatial directionality
KR20140046980A (ko) * 2012-10-11 2014-04-21 한국전자통신연구원 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법
SG10201709574WA (en) * 2012-12-04 2018-01-30 Samsung Electronics Co Ltd Audio providing apparatus and audio providing method
CN104885151B (zh) * 2012-12-21 2017-12-22 杜比实验室特许公司 用于基于感知准则呈现基于对象的音频内容的对象群集
CN105009207B (zh) * 2013-01-15 2018-09-25 韩国电子通信研究院 处理信道信号的编码/解码装置及方法
EP2757559A1 (en) * 2013-01-22 2014-07-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for spatial audio object coding employing hidden objects for signal mixture manipulation
CN105075117B (zh) 2013-03-15 2020-02-18 Dts(英属维尔京群岛)有限公司 根据多个音频主干进行自动多声道音乐混合的系统和方法
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
CN105264600B (zh) 2013-04-05 2019-06-07 Dts有限责任公司 分层音频编码和传输
EP2991383B1 (en) 2013-04-26 2021-01-27 Sony Corporation Audio processing device and audio processing system
KR102148217B1 (ko) * 2013-04-27 2020-08-26 인텔렉추얼디스커버리 주식회사 위치기반 오디오 신호처리 방법
WO2014175591A1 (ko) * 2013-04-27 2014-10-30 인텔렉추얼디스커버리 주식회사 오디오 신호처리 방법
EP2804176A1 (en) 2013-05-13 2014-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio object separation from mixture signal using object-specific time/frequency resolutions
RU2630754C2 (ru) 2013-05-24 2017-09-12 Долби Интернешнл Аб Эффективное кодирование звуковых сцен, содержащих звуковые объекты
IL290275B2 (en) 2013-05-24 2023-02-01 Dolby Int Ab Encoding audio scenes
US9666198B2 (en) 2013-05-24 2017-05-30 Dolby International Ab Reconstruction of audio scenes from a downmix
ES2643789T3 (es) 2013-05-24 2017-11-24 Dolby International Ab Codificación eficiente de escenas de audio que comprenden objetos de audio
CN104240711B (zh) 2013-06-18 2019-10-11 杜比实验室特许公司 用于生成自适应音频内容的方法、系统和装置
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置
EP2830334A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
SG11201600466PA (en) 2013-07-22 2016-02-26 Fraunhofer Ges Forschung Multi-channel audio decoder, multi-channel audio encoder, methods, computer program and encoded audio representation using a decorrelation of rendered audio signals
EP2830332A3 (en) * 2013-07-22 2015-03-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method, signal processing unit, and computer program for mapping a plurality of input channels of an input channel configuration to output channels of an output channel configuration
CN105556837B (zh) 2013-09-12 2019-04-19 杜比实验室特许公司 用于各种回放环境的动态范围控制
TWI671734B (zh) 2013-09-12 2019-09-11 瑞典商杜比國際公司 在包含三個音訊聲道的多聲道音訊系統中之解碼方法、編碼方法、解碼裝置及編碼裝置、包含用於執行解碼方法及編碼方法的指令之非暫態電腦可讀取的媒體之電腦程式產品、包含解碼裝置及編碼裝置的音訊系統
EP3044783B1 (en) 2013-09-12 2017-07-19 Dolby International AB Audio coding
JP6392353B2 (ja) 2013-09-12 2018-09-19 ドルビー・インターナショナル・アーベー マルチチャネル・オーディオ・コンテンツの符号化
US9071897B1 (en) * 2013-10-17 2015-06-30 Robert G. Johnston Magnetic coupling for stereo loudspeaker systems
WO2015059154A1 (en) * 2013-10-21 2015-04-30 Dolby International Ab Audio encoder and decoder
EP2866227A1 (en) 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
EP3657823A1 (en) 2013-11-28 2020-05-27 Dolby Laboratories Licensing Corporation Position-based gain adjustment of object-based audio and ring-based channel audio
US10063207B2 (en) * 2014-02-27 2018-08-28 Dts, Inc. Object-based audio loudness management
JP6439296B2 (ja) * 2014-03-24 2018-12-19 ソニー株式会社 復号装置および方法、並びにプログラム
JP6863359B2 (ja) * 2014-03-24 2021-04-21 ソニーグループ株式会社 復号装置および方法、並びにプログラム
EP2925024A1 (en) 2014-03-26 2015-09-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for audio rendering employing a geometric distance definition
WO2015145782A1 (en) * 2014-03-26 2015-10-01 Panasonic Corporation Apparatus and method for surround audio signal processing
WO2015150384A1 (en) 2014-04-01 2015-10-08 Dolby International Ab Efficient coding of audio scenes comprising audio objects
WO2015152661A1 (ko) * 2014-04-02 2015-10-08 삼성전자 주식회사 오디오 오브젝트를 렌더링하는 방법 및 장치
US10331764B2 (en) * 2014-05-05 2019-06-25 Hired, Inc. Methods and system for automatically obtaining information from a resume to update an online profile
US9959876B2 (en) * 2014-05-16 2018-05-01 Qualcomm Incorporated Closed loop quantization of higher order ambisonic coefficients
US9570113B2 (en) 2014-07-03 2017-02-14 Gopro, Inc. Automatic generation of video and directional audio from spherical content
CN105320709A (zh) * 2014-08-05 2016-02-10 阿里巴巴集团控股有限公司 终端设备上的信息提示方法及装置
US9774974B2 (en) * 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
CN106716525B (zh) * 2014-09-25 2020-10-23 杜比实验室特许公司 下混音频信号中的声音对象插入
CN107004421B (zh) * 2014-10-31 2020-07-07 杜比国际公司 多通道音频信号的参数编码和解码
CN106537942A (zh) * 2014-11-11 2017-03-22 谷歌公司 3d沉浸式空间音频系统和方法
WO2016126819A1 (en) 2015-02-03 2016-08-11 Dolby Laboratories Licensing Corporation Optimized virtual scene layout for spatial meeting playback
EP3254435B1 (en) 2015-02-03 2020-08-26 Dolby Laboratories Licensing Corporation Post-conference playback system having higher perceived quality than originally heard in the conference
CN104732979A (zh) * 2015-03-24 2015-06-24 无锡天脉聚源传媒科技有限公司 一种音频数据的处理方法及装置
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
CN105070304B (zh) * 2015-08-11 2018-09-04 小米科技有限责任公司 实现对象音频录音的方法及装置、电子设备
AU2016311335B2 (en) 2015-08-25 2021-02-18 Dolby International Ab Audio encoding and decoding using presentation transform parameters
US9877137B2 (en) 2015-10-06 2018-01-23 Disney Enterprises, Inc. Systems and methods for playing a venue-specific object-based audio
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US9949052B2 (en) 2016-03-22 2018-04-17 Dolby Laboratories Licensing Corporation Adaptive panner of audio objects
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
US10861467B2 (en) 2017-03-01 2020-12-08 Dolby Laboratories Licensing Corporation Audio processing in adaptive intermediate spatial format
EP3711047B1 (en) 2017-11-17 2022-10-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for encoding or decoding directional audio coding parameters using different time/frequency resolutions
US11032580B2 (en) 2017-12-18 2021-06-08 Dish Network L.L.C. Systems and methods for facilitating a personalized viewing experience
US10365885B1 (en) 2018-02-21 2019-07-30 Sling Media Pvt. Ltd. Systems and methods for composition of audio content from multi-object audio
GB2572650A (en) * 2018-04-06 2019-10-09 Nokia Technologies Oy Spatial audio parameters and associated spatial audio playback
GB2574239A (en) * 2018-05-31 2019-12-04 Nokia Technologies Oy Signalling of spatial audio parameters
GB2574667A (en) * 2018-06-15 2019-12-18 Nokia Technologies Oy Spatial audio capture, transmission and reproduction
JP6652990B2 (ja) * 2018-07-20 2020-02-26 パナソニック株式会社 サラウンドオーディオ信号処理のための装置及び方法
CN109257552B (zh) * 2018-10-23 2021-01-26 四川长虹电器股份有限公司 平板电视机音效参数设计方法
JP7092050B2 (ja) * 2019-01-17 2022-06-28 日本電信電話株式会社 多地点制御方法、装置及びプログラム
JP7092047B2 (ja) * 2019-01-17 2022-06-28 日本電信電話株式会社 符号化復号方法、復号方法、これらの装置及びプログラム
JP7092048B2 (ja) * 2019-01-17 2022-06-28 日本電信電話株式会社 多地点制御方法、装置及びプログラム
JP7092049B2 (ja) * 2019-01-17 2022-06-28 日本電信電話株式会社 多地点制御方法、装置及びプログラム
JP7176418B2 (ja) * 2019-01-17 2022-11-22 日本電信電話株式会社 多地点制御方法、装置及びプログラム
JP2022521694A (ja) * 2019-02-13 2022-04-12 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオオブジェクトクラスタリングのための適応型音量正規化
US11937065B2 (en) * 2019-07-03 2024-03-19 Qualcomm Incorporated Adjustment of parameter settings for extended reality experiences
JP7443870B2 (ja) * 2020-03-24 2024-03-06 ヤマハ株式会社 音信号出力方法および音信号出力装置
CN111711835B (zh) * 2020-05-18 2022-09-20 深圳市东微智能科技股份有限公司 多路音视频整合方法、系统及计算机可读存储介质
WO2022042908A1 (en) * 2020-08-31 2022-03-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel signal generator, audio encoder and related methods relying on a mixing noise signal
KR102363652B1 (ko) * 2020-10-22 2022-02-16 주식회사 이누씨 멀티 오디오 분리 재생 방법 및 장치
CN112221138B (zh) * 2020-10-27 2022-09-27 腾讯科技(深圳)有限公司 虚拟场景中的音效播放方法、装置、设备及存储介质
WO2024076829A1 (en) * 2022-10-05 2024-04-11 Dolby Laboratories Licensing Corporation A method, apparatus, and medium for encoding and decoding of audio bitstreams and associated echo-reference signals
CN115588438B (zh) * 2022-12-12 2023-03-10 成都启英泰伦科技有限公司 一种基于双线性分解的wls多通道语音去混响方法

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0699334B1 (en) 1994-02-17 2002-02-20 Motorola, Inc. Method and apparatus for group encoding signals
US5912976A (en) 1996-11-07 1999-06-15 Srs Labs, Inc. Multi-channel audio enhancement system for use in recording and playback and methods for providing same
JP3743671B2 (ja) 1997-11-28 2006-02-08 日本ビクター株式会社 オーディオディスク及びオーディオ再生装置
JP2005093058A (ja) 1997-11-28 2005-04-07 Victor Co Of Japan Ltd オーディオ信号のエンコード方法及びデコード方法
US6016473A (en) 1998-04-07 2000-01-18 Dolby; Ray M. Low bit-rate spatial coding method and system
US6788880B1 (en) 1998-04-16 2004-09-07 Victor Company Of Japan, Ltd Recording medium having a first area for storing an audio title set and a second area for storing a still picture set and apparatus for processing the recorded information
JP4610087B2 (ja) 1999-04-07 2011-01-12 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 損失のない符号化・復号へのマトリックス改良
KR100392384B1 (ko) * 2001-01-13 2003-07-22 한국전자통신연구원 엠펙-2 데이터에 엠펙-4 데이터를 동기화시켜 전송하는장치 및 그 방법
US7292901B2 (en) 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
JP2002369152A (ja) 2001-06-06 2002-12-20 Canon Inc 画像処理装置、画像処理方法、画像処理プログラム及び画像処理プログラムが記憶されたコンピュータにより読み取り可能な記憶媒体
KR100926589B1 (ko) * 2001-09-14 2009-11-11 코루스 알루미늄 발쯔프로두크테 게엠베하 금속 코팅 스크랩 조각의 코팅을 제거하는 방법
JP3994788B2 (ja) 2002-04-30 2007-10-24 ソニー株式会社 伝達特性測定装置、伝達特性測定方法、及び伝達特性測定プログラム、並びに増幅装置
KR100981699B1 (ko) 2002-07-12 2010-09-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
US7542896B2 (en) 2002-07-16 2009-06-02 Koninklijke Philips Electronics N.V. Audio coding/decoding with spatial parameters and non-uniform segmentation for transients
JP2004151229A (ja) * 2002-10-29 2004-05-27 Matsushita Electric Ind Co Ltd 音声情報変換方法、映像・音声フォーマット、エンコーダ、音声情報変換プログラム、および音声情報変換装置
JP2004193877A (ja) * 2002-12-10 2004-07-08 Sony Corp 音像定位信号処理装置および音像定位信号処理方法
JP2006521577A (ja) 2003-03-24 2006-09-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチチャネル信号を表す主信号と副信号の符号化
US7447317B2 (en) 2003-10-02 2008-11-04 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Compatible multi-channel coding/decoding by weighting the downmix channel
JP4378157B2 (ja) * 2003-11-14 2009-12-02 キヤノン株式会社 データ処理方法および装置
US7555009B2 (en) 2003-11-14 2009-06-30 Canon Kabushiki Kaisha Data processing method and apparatus, and data distribution method and information processing apparatus
US7805313B2 (en) 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
WO2005098826A1 (en) 2004-04-05 2005-10-20 Koninklijke Philips Electronics N.V. Method, device, encoder apparatus, decoder apparatus and audio system
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US7391870B2 (en) 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
TWI393121B (zh) 2004-08-25 2013-04-11 Dolby Lab Licensing Corp 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
JP2006101248A (ja) * 2004-09-30 2006-04-13 Victor Co Of Japan Ltd 音場補正装置
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
US8340306B2 (en) 2004-11-30 2012-12-25 Agere Systems Llc Parametric coding of spatial audio with object-based side information
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
EP1866912B1 (en) 2005-03-30 2010-07-07 Koninklijke Philips Electronics N.V. Multi-channel audio coding
US7991610B2 (en) * 2005-04-13 2011-08-02 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Adaptive grouping of parameters for enhanced coding efficiency
US7961890B2 (en) * 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
AU2006266579B2 (en) * 2005-06-30 2009-10-22 Lg Electronics Inc. Method and apparatus for encoding and decoding an audio signal
US20070055510A1 (en) * 2005-07-19 2007-03-08 Johannes Hilpert Concept for bridging the gap between parametric multi-channel audio coding and matrixed-surround multi-channel coding
JP5113051B2 (ja) * 2005-07-29 2013-01-09 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法
AU2006285538B2 (en) * 2005-08-30 2011-03-24 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
KR100857106B1 (ko) * 2005-09-14 2008-09-08 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
JP5147727B2 (ja) * 2006-01-19 2013-02-20 エルジー エレクトロニクス インコーポレイティド 信号デコーディング方法及び装置
CN101410891A (zh) * 2006-02-03 2009-04-15 韩国电子通信研究院 使用空间线索控制多目标或多声道音频信号的渲染的方法和装置
US8560303B2 (en) * 2006-02-03 2013-10-15 Electronics And Telecommunications Research Institute Apparatus and method for visualization of multichannel audio signals
WO2007091870A1 (en) * 2006-02-09 2007-08-16 Lg Electronics Inc. Method for encoding and decoding object-based audio signal and apparatus thereof
KR20080093422A (ko) 2006-02-09 2008-10-21 엘지전자 주식회사 오브젝트 기반 오디오 신호의 부호화 및 복호화 방법과 그장치
US8126152B2 (en) * 2006-03-28 2012-02-28 Telefonaktiebolaget L M Ericsson (Publ) Method and arrangement for a decoder for multi-channel surround sound
US7965848B2 (en) * 2006-03-29 2011-06-21 Dolby International Ab Reduced number of channels decoding
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
ES2396072T3 (es) 2006-07-07 2013-02-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato para combinar múltiples fuentes de audio paramétricamente codificadas
US20080235006A1 (en) * 2006-08-18 2008-09-25 Lg Electronics, Inc. Method and Apparatus for Decoding an Audio Signal
WO2008039038A1 (en) * 2006-09-29 2008-04-03 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi-object audio signal with various channel
MX2008012251A (es) 2006-09-29 2008-10-07 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
CA2874454C (en) 2006-10-16 2017-05-02 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding

Also Published As

Publication number Publication date
JP5646699B2 (ja) 2014-12-24
KR20090053958A (ko) 2009-05-28
HK1128548A1 (en) 2009-10-30
RU2431940C2 (ru) 2011-10-20
ATE539434T1 (de) 2012-01-15
RU2009109125A (ru) 2010-11-27
WO2008046530A3 (en) 2008-06-26
CN101529504A (zh) 2009-09-09
TWI359620B (en) 2012-03-01
JP2010507114A (ja) 2010-03-04
EP2437257B1 (en) 2018-01-24
JP2013257569A (ja) 2013-12-26
TW200829066A (en) 2008-07-01
EP2082397A2 (en) 2009-07-29
CA2673624C (en) 2014-08-12
WO2008046530A2 (en) 2008-04-24
KR101120909B1 (ko) 2012-02-27
BRPI0715312A2 (pt) 2013-07-09
US8687829B2 (en) 2014-04-01
AU2007312597A1 (en) 2008-04-24
US20110013790A1 (en) 2011-01-20
MX2009003564A (es) 2009-05-28
BRPI0715312B1 (pt) 2021-05-04
MY144273A (en) 2011-08-29
EP2437257A1 (en) 2012-04-04
AU2007312597B2 (en) 2011-04-14
EP2082397B1 (en) 2011-12-28
CA2673624A1 (en) 2008-04-24
CN101529504B (zh) 2012-08-22

Similar Documents

Publication Publication Date Title
JP5646699B2 (ja) マルチチャネル・パラメータ変換のための装置および方法
TWI443647B (zh) 用以將以物件為主之音訊信號編碼與解碼之方法與裝置
US9792918B2 (en) Methods and apparatuses for encoding and decoding object-based audio signals
JP5134623B2 (ja) 複数のパラメータ的に符号化された音源を合成するための概念
RU2449388C2 (ru) Способы и устройства для кодирования и декодирования объектно-базированных аудиосигналов
JP2012234192A (ja) オーディオソースのパラメトリックジョイント符号化
KR20080042128A (ko) 신호 디코딩 방법 및 장치
RU2407072C1 (ru) Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111122

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120214

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20121122

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20121130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130704

R150 Certificate of patent or registration of utility model

Ref document number: 5337941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250