JP4966981B2 - 空間キューを用いたマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御方法及びその装置 - Google Patents

空間キューを用いたマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御方法及びその装置 Download PDF

Info

Publication number
JP4966981B2
JP4966981B2 JP2008553176A JP2008553176A JP4966981B2 JP 4966981 B2 JP4966981 B2 JP 4966981B2 JP 2008553176 A JP2008553176 A JP 2008553176A JP 2008553176 A JP2008553176 A JP 2008553176A JP 4966981 B2 JP4966981 B2 JP 4966981B2
Authority
JP
Japan
Prior art keywords
audio signal
rendering
cld
spatial cue
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008553176A
Other languages
English (en)
Other versions
JP2009525671A (ja
Inventor
スン−グォン ペク
ジョン−イル ソ
デ−ヨン チャン
テ−ジン イ
ヨン−ジュ イ
ジン−ウ ホン
ジン−ウン キム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of JP2009525671A publication Critical patent/JP2009525671A/ja
Application granted granted Critical
Publication of JP4966981B2 publication Critical patent/JP4966981B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、マルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御に関し、より詳細には、マルチオブジェクト又はマルチチャネルのオーディオ信号をデコードする過程において、空間キュー（ｓｐａｔｉａｌ ｃｕｅ）を用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを制御する方法及び装置に関する。
図１は、従来のマルチオブジェクト又はマルチチャネルオーディオ信号のエンコーダに関する一実施形態を概略的に示す図であり、図示のように、従来のマルチオブジェクト又はマルチチャネルオーディオ信号のエンコーダに関する一実施形態であって、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式のエンコーダ１０１は、入力信号のマルチオブジェクト又はマルチチャネルオーディオ信号から後述の空間キューを抽出して伝送し、オーディオ信号をダウンミックスしてモノ又はステレオ信号として伝送する。
ＳＡＣ技術は、マルチオブジェクト又はマルチチャネルオーディオ信号をダウンミックスされたモノ又はステレオ信号及び空間キュー情報として表現、伝送及び復元する方法に関するものであり、低ビットレートでも高品質のマルチチャネル信号を伝送できる技術である。ＳＡＣ技術の主な戦略は、マルチオブジェクト又はマルチチャネルオーディオ信号をサブバンド毎に分析し、サブバンド毎の空間キュー情報に基づいてダウンミックスされた信号から原信号を復元することである。したがって、空間キュー情報は、デコード過程において原信号の復元のための重要な情報を含み、ＳＡＣデコード装置で再生されるオーディオ信号の音質を左右する主な要因である。ＳＡＣ技術を根幹とするＭＰＥＧは、ＭＰＥＧサラウンドという名称でＳＡＣ技術に関する標準化を進めており、ＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）を空間キューとして活用する。
本発明は、エンコーダからダウンミックスされ伝送されたマルチオブジェクト又はマルチチャネルオーディオ信号をデコードする過程において、エンコーダから伝送された空間キューを用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを制御する方法及び装置に関する。
従来技術によれば、モノ又はステレオベースのオーディオ信号の再生のために、周波数分析器を用いたグラフィックイコライザが主に活用されていた。
しかし、マルチオブジェクト又はマルチチャネルオーディオ信号は、当該オーディオ信号の位置を空間上に多様に提供できるとはいえ、現在、マルチオブジェクト又はマルチチャネルオーディオ信号によって生成されるオーディオ信号の位置は、デコード装置に固有のものとして認知され再生されるのにとどまっている。
本発明の目的は、マルチオブジェクト又はマルチチャネルオーディオ信号をデコードする過程において、空間キューを用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを制御する方法及び装置を提供することである。
本発明の属する技術分野における通常の知識を有する者は、本明細書の図面、発明の詳細な説明及び特許請求の範囲から本発明の他の目的及び長所を容易に認識することができる。
上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御装置において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段とを備え、前記デコード手段が、前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行うオーディオ信号のレンダリング制御装置を提供する。
Figure 0004966981
Figure 0004966981
また、上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御装置において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段とを備え、前記デコード手段が、前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、前記空間キュー情報が、入力オーディオ信号のダウンミックス比率を示すＣＰＣ（Ｃｈａｎｎｅｌ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）及び入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）であり、前記空間キューレンダリング手段が、前記エンコード手段から伝送されるＣＰＣ及びＣＬＤの各々からＣＰＣパラメータ及びＣＬＤパラメータを抽出するＣＰＣ／ＣＬＤパース部と、該ＣＰＣ／ＣＬＤパース部で抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出して各信号のパワーゲインを算出し、ＣＬＤパラメータから左信号成分及び右信号成分の各々のパワーゲインを抽出するゲイン要素変換部と、該ゲイン要素変換部で抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御部とを備えるオーディオ信号のレンダリング制御装置を提供する。
更に、上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御装置において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段とを備え、前記デコード手段が、前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、前記空間キュー情報が、入力オーディオ信号間の相関性を示すＩＣＣ（Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ）であり、前記空間キューレンダリング手段が、線形補間過程により、ＩＣＣパラメータを制御するオーディオ信号のレンダリング制御装置を提供する。
また、上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御方法において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップとを含み、前記デコードステップが、前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行うオーディオ信号のレンダリング制御方法を提供する。
Figure 0004966981
Figure 0004966981
更に、上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御方法において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップとを含み、前記デコードステップが、前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、前記空間キュー情報が、入力オーディオ信号のダウンミックス比率を示すＣＰＣ（Ｃｈａｎｎｅｌ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）及び入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）であり、前記空間キューレンダリングステップが、前記エンコード手段から伝送されるＣＰＣ及びＣＬＤの各々からＣＰＣパラメータ及びＣＬＤパラメータを抽出するＣＰＣ／ＣＬＤパースステップと、該ＣＰＣ／ＣＬＤパースステップで抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出して各信号のパワーゲインを算出し、ＣＬＤパラメータから左信号成分及び右信号成分の各々のパワーゲインを抽出するゲイン要素変換ステップと、該ゲイン要素変換ステップで抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御ステップとを含むオーディオ信号のレンダリング制御方法を提供する。
なお、上記の目的を達成するための本発明は、オーディオ信号のレンダリング制御方法において、空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップとを含み、前記デコードステップが、前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、前記空間キュー情報が、入力オーディオ信号間の相関性を示すＩＣＣ（Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ）であり、前記空間キューレンダリングステップが、線形補間過程により、ＩＣＣパラメータを制御するオーディオ信号のレンダリング制御方法を提供する。
本発明によれば、ユーザ又は外部連動システムの要請に応じた空間キューの直接制御によりマルチオブジェクト又はマルチチャネルオーディオ信号の位置を柔軟に制御することができる。
本発明によれば、マルチオブジェクト又はマルチチャネルオーディオ信号をデコードする過程において、空間キューを用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを制御する方法及び装置を提供することができる。
以下の内容は、単に本発明の原理を例示している。そのため、当業者は、たとえ本明細書に明確に説明又は図示されていなくても、本発明の原理を具現し、本発明の概念及び範囲に含まれた多様な装置を発明することができる。また、本明細書に挙げられた全ての条件付き用語及び実施形態は原則的に、本発明の概念が理解されるようにする目的としてのみ明確に意図されており、このように特別に挙げられた実施形態及び状態に限るものではないものとして理解されなければならない。更に、本発明の原理、観点及び実施形態のみならず、特定の実施形態を挙げた全ての詳細な説明は、このような事項の構造的及び機能的均等物を含むように意図されたものとして理解されなければならない。なお、このような均等物は、現在公知の均等物のみならず、将来開発される均等物、すなわち、構造とは無関係に同じ機能を果たすように発明された全ての素子を含むものとして理解されなければならない。したがって、例えば、本明細書のブロック図は、本発明の原理を具体化する例示的な回路の概念的な観点を示すものとして理解されなければならない。これと同様に、全てのフローチャート、状態変換図、擬似コードなどは、コンピュータの読取可能な媒体に実質的に示すことができ、コンピュータ又はプロセッサが明確に図示されているかどうかを問わず、コンピュータ又はプロセッサによって行われる多様なプロセスを示すものとして理解されなければならない。
プロセッサ又はこれと類似の概念で表された機能ブロックを含む図に示された多様な素子の機能は、専用ハードウェアのみならず、適切なソフトウェアに関連してソフトウェアを実行する能力を有するハードウェアの使用によって提供可能である。プロセッサによって提供される場合、前記機能は、単一の専用プロセッサ、単一の共有プロセッサ又は複数の個別プロセッサによって提供可能であり、これらの一部は共有可能である。また、プロセッサ、制御又はこれと類似の概念として示される用語の明確な使用は、ソフトウェアを実行する能力を有するハードウェアを排他的に引用して解釈されてはならず、制限なくデジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのＲＯＭ、ＲＡＭ及び不揮発性メモリを暗示的に含むものとして理解されなければならない。周知寛容の他のハードウェアも含むことができる。これと同様に、図示のスイッチは、概念的にのみ示されたものであり得る。このようなスイッチの作用は、プログラムロジック又は専用ロジックにより、プログラム制御及び専用ロジックの相互作用によるか、又は手動で行われ得るものとして理解されなければならない。特定の技術は、本明細書のより詳細な理解のために設計者によって選択可能である。
本明細書の請求の範囲において、詳細な説明に記載された機能を果たすための手段として表現された構成要素は、例えば、上記機能を果たす回路素子の組合せ又はファームウェア／マイクロコードなどを含む全ての形式のソフトウェアを含む機能を果たす全ての方法を含むものとして意図されており、上記機能を果たすように前記ソフトウェアを実行するための適切な回路と結合する。このような請求の範囲によって定義される本発明は、多様に挙げられた手段によって提供される機能が結合し、請求項の要求する方式と結合するため、上記機能を提供し得るいかなる手段も、本明細書から把握されるものと均等のものとして理解されなければならない。
上述した目的、特徴及び長所は、添付図面に関連した以下の詳細な説明により更に明確になるであろう。本発明の説明において、関連する公知技術に関する具体的な説明が、本発明の要旨を不明確にする可能性があると判断された場合、その詳細な説明を省略する。以下、添付図面を参照して本発明に係る好ましい実施形態を詳細に説明する。
図２は、本発明の一実施形態に係るオーディオ信号のレンダリング制御装置を概略的に示す図であって、図示のように、図１のＳＡＣエンコーダ１０１に対応する、ＳＡＣデコード手段２０３を一実施形態として採用した構成であり、空間キューレンダリング手段２０１を更に備えている。
ＳＡＣデコード手段２０３に入力される信号は、エンコーダ（例えば、図１のエンコーダ）から伝送されるダウンミックス信号（モノ又はステレオ）であり、空間キューレンダリング手段２０１に入力される信号は、エンコーダ（例えば、図１のエンコーダ）から伝送される空間キューである。
空間キューレンダリング手段２０１は、空間キュー領域でレンダリングを制御する。すなわち、ＳＡＣデコード手段２０３の出力信号を直接制御してレンダリングを行うのではなく、空間キューからオーディオ信号に関する情報を抽出して制御することによってレンダリングを制御する。
ここで、空間キュー領域とは、エンコーダから伝送された空間キューがパラメータとして認識され制御されるパラメータドメインを意味する。レンダリングとは、入力オーディオ信号が出力される位置及びレベルなどを決定して出力オーディオ信号を生成する過程を意味する。
ＳＡＣデコード手段２０３として、ＭＰＥＧサラウンド、ＢＣＣ（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ）又はＳＳＬＣＣ（Ｓｏｕｎｄ Ｓｏｕｒｃｅ Ｌｏｃａｔｉｏｎ Ｃｕｅ Ｃｏｄｉｎｇ）などの方式が適用され得、これらに限定されない。
本発明の一実施形態として、活用可能な空間キューの定義は、次のとおりである。
ＣＬＤ［Ｃｈａｎｎｅｌ（ａｕｄｉｏ ｓｉｇｎａｌ） Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ］：入力オーディオ信号間のレベル差
ＩＣＣ［Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ］：入力オーディオ信号間の相関性
ＣＰＣ［Ｃｈａｎｎｅｌ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ］：入力オーディオ信号のダウンミックス比率
すなわち、ＣＬＤは、オーディオ信号のパワーゲイン情報、ＩＣＣは、オーディオ信号間の相関性情報、ＣＴＤは、オーディオ信号間の時間差情報、ＣＰＣは、オーディオ信号のダウンミックスゲイン情報を示す。
空間キューの主な役割は、空間画像、すなわち、サウンドシーンを維持することである。したがって、本発明によれば、オーディオ出力信号を直接操作する代わりに、これらの空間キューパラメータを制御することにより、サウンドシーンを制御することができる。
オーディオ信号の再生環境を考慮する際、空間キューの中で最も多用される空間キューは、ＣＬＤであって、ＣＬＤだけでも基本的な出力信号を生成することができる。そのため、以下では、本発明の一実施形態として、ＣＬＤを中心として空間キュー領域で信号を制御する技術について説明するが、本発明は、ＣＬＤにのみ限定されず、多様な空間キューに関連する実施形態が存在し得るということは、本発明の属する技術分野における通常の知識を有する者にとって自明である。したがって、本発明は、ＣＬＤに限定されないものとして理解されなければならない。
ＣＬＤを用いる一実施形態において、パワーゲイン係数にサウンドパンニング法（ｐａｎｎｉｎｇ ｌａｗ）を直接適用することにより、マルチオブジェクト又はマルチチャネルオーディオ信号をパンニングすることができる。
Figure 0004966981
図４は、本発明の一実施形態として、ＣＬＤを空間キューとして用いた場合における、図２に示す空間キューレンダリング手段２０１の詳細ブロック図である。
図示のように、ＣＬＤを空間キューとして用いる空間キューレンダリング手段２０１は、ＣＬＤパース部４０１と、ゲイン要素変換部４０３と、ゲイン要素制御部４０５と、ＣＬＤ変換部４０７とを備える。
ＣＬＤパース部４０１は、受信した空間キュー（ＣＬＤ）からＣＬＤパラメータを抽出する。
ＣＬＤは、オーディオ信号のレベル差情報を含んでおり、［数１］のように表現される。
Figure 0004966981
Figure 0004966981
Figure 0004966981
そのため、ｍ番目のサブバンドに対してＭ−１個のＣＬＤ値からＭ個の入力オーディオ信号に対するパワーゲインを算出することができる。
一方、空間キューは、入力オーディオ信号のサブバンド単位で抽出されるため、パワーゲインも、サブバンド単位で抽出される。したがって、ｍ番目のサブバンドに含まれている全ての入力オーディオ信号のパワーゲインを抽出すると、下記［数３］のように、ベクトル行列で表現される。
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
これをより具体的に表現すると、下記［数６］のとおりである。
Figure 0004966981
Figure 0004966981
Figure 0004966981
これをより具体的に表現すると、下記［数８］のとおりである。
Figure 0004966981
このように、入力オーディオ信号を出力オーディオ信号間にマッピングさせる方法の一般化された一実施形態は、パンニング法を適用したマッピング方法である。パンニング法には、サインパンニング法（Ｓｉｎｅ Ｐａｎｎｉｎｇ ｌａｗ）、タンジェントパンニング法（Ｔａｎｇｅｎｔ Ｐａｎｎｉｎｇ ｌａｗ）、コンスタントパワーパンニング法（Ｃｏｎｓｔａｎｔ Ｐｏｗｅｒ Ｐａｎｎｉｎｇ ｌａｗ、ＣＰＰ ｌａｗ）があり、どの方法でも、パンニング法によって達成される目的は同じである。
以下では、本発明の一実施形態として、ＣＰＰを適用してオーディオ信号を所望の位置にマッピングさせる方法について説明するが、本発明は、ＣＰＰにのみ限定されず、多様なパンニング法に関連する実施形態が存在し得るということは、本発明の属する技術分野における通常の知識を有する者にとって自明である。したがって、本発明は、ＣＰＰに限定されないものとして理解されなければならない。
本発明の一実施形態によれば、全てのマルチオブジェクト又はマルチチャネルオーディオ信号は、与えられたパンニング角度に対してＣＰＰに基づいてパンニングされる。また、空間キューを用いるために、ＣＰＰ法が出力オーディオ信号に適用されるのではなく、ＣＬＤ値から抽出されたパワーゲインに適用される。ＣＰＰの適用後、オーディオ信号の制御されたパワーゲインは、ＣＬＤに変換された後、前記変換されたＣＬＤがＳＡＣデコード手段２０３に提供されることにより、パンニングされたマルチオブジェクト又はマルチチャネルオーディオ信号が生成される。
Figure 0004966981
Figure 0004966981
Figure 0004966981
これをより具体的に表現すると、下記［数１０］のとおりである。
Figure 0004966981
Figure 0004966981
本発明の一実施形態によれば、空間キュー領域で空間キュー（例えば、入力オーディオ信号のパワーゲイン情報）を制御し、入力オーディオ信号が所望の位置にマッピングされるようにレンダリングを制御することができる。
以上では、入力オーディオ信号のパワーゲインと出力オーディオ信号のパワーゲインとの個数が等しい場合について説明した。一般的な場合として、出力オーディオ信号のパワーゲインと入力オーディオ信号のパワーゲインとの個数が互いに異なる場合、上記［数６］、［数８］、［数１０］の行列の次元は、Ｍ×Ｍでない、Ｍ×Ｎで表現される。
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
以下では、本発明のより具体的な一実施形態として、ＳＡＣデコード手段２０３がＭＰＥＧサラウンドステレオモード（５２５モードと呼ばれ、入力オーディオ信号として左信号のＬ０と右信号のＲ０とを受信し、出力オーディオ信号としてマルチチャネル信号を出力する）の場合に、空間キューとして、ＣＬＤ、ＣＰＣ及びＩＣＣが用いられた場合の構成について説明する。ＭＰＥＧサラウンドステレオモードは、ＩＳＯ／ＩＥＣ ＪＴＣにより、２００５年２月に公開された国際標準ＭＰＥＧサラウンド（ＷＤ Ｎ７１３６，２３００３−１：２００６／ＦＤＩＳ）に詳細に開示されている。本明細書において、ＭＰＥＧサラウンドステレオモードは、本発明を説明するための一実施形態に過ぎないことから、その詳細な説明は省略し、本発明の説明に役立つ範囲内で、前記国際標準は、本明細書の一部を構成する。
ＳＡＣデコード手段２０３がＭＰＥＧサラウンドステレオモードの場合、ＳＡＣデコード手段２０３が入力オーディオ信号のＬ０及びＲ０からマルチチャネルを生成するために必要なベクトルの対角行列要素が、下記［数１８］に表されているように、０に固定されており、これは、ＭＰＥＧサラウンドステレオモードにおいて、Ｌｆ、Ｌｓ信号の生成にＲ０信号が寄与できず、Ｒｆ、Ｒｓ信号の生成にＬ０信号が寄与できないということを意味する。したがって、入力オーディオ信号のレンダリングに関する制御情報に基づいてオーディオ信号のレンダリングが不可能である。
Figure 0004966981
Figure 0004966981
ＭＰＥＧサラウンドステレオモードのＳＡＣデコード手段２０３において、［数１８］により、入力された左右の信号（Ｌ０，Ｒ０）から、中央信号（Ｃ）、左半平面信号（Ｌｓ＋Ｌｆ）及び右半平面信号（Ｒｆ＋Ｒｓ）が抽出される。左半平面信号（Ｌｓ＋Ｌｆ）及び右半平面信号（Ｒｆ＋Ｒｓ）の各々は、再び左信号成分（Ｌｓ，Ｌｆ）及び右信号成分（Ｒｆ，Ｒｓ）の生成に用いられる。
［数１８］から、左半平面信号（Ｌｓ＋Ｌｆ）は、入力された左信号（Ｌ０）から生成できることがわかる。すなわち、右半平面信号（Ｒｆ＋Ｒｓ）及び中央信号（Ｃ）は、左信号成分（Ｌｓ，Ｌｆ）の生成には寄与しない。逆の場合も同じである（Ｌｆ、Ｌｓ信号の生成にＲ０信号が寄与できず、同じように、Ｒｆ、Ｒｓ信号の生成にＬ０信号が寄与できないとの意味）。これは、オーディオ信号のレンダリングにおいて、パンニング角度が約±３０度の範囲に制限されることを意味する。
したがって、本発明の一実施形態により、入力オーディオ信号に対して空間キューを用いてマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリングを柔軟に制御するため、［数１８］は、下記［数１９］として修正される。
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
ここで、中央信号（Ｃ）に対してＣＬとＣＲとに分けて計算するのは、Ｌ０，Ｒ０の各々から中央信号が算出されなければならないからである。ＭＰＥＧサラウンドステレオモードの場合、ゲイン要素制御部４０５は、［数２３］の制御されたパワーゲインを出力し、ＳＡＣデコード手段２０３では、［数１９］のベクトルに基づいて入力オーディオ信号のＬ０及びＲ０に適用されることにより、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいたレンダリングが行われる。
Figure 0004966981
一方、図７は、ＳＡＣデコード手段２０３がＭＰＥＧサラウンドステレオモードの場合、本発明の一実施形態に係る空間キューレンダリング手段２０１の詳細ブロック図である。図示のように、ＣＬＤ及びＣＰＣを空間キューとして用いる空間キューレンダリング手段２０１は、ＣＰＣ／ＣＬＤパース部７０１と、ゲイン要素変換部７０３と、ゲイン要素制御部７０５と、ＣＬＤ変換部７０７とを備える。
ＳＡＣデコード手段２０３がＭＰＥＧサラウンドステレオモードの場合、空間キューとしてＣＰＣ及びＣＬＤが用いられた場合、ＣＰＣは、ダウンミックス信号及び再生出力信号の品質を保障するため、エンコーダに含まれているいくつかの適切な基準によって推定される。結果的に、ＣＰＣは、圧縮的なゲイン比率として示され、本発明に係るオーディオ信号のレンダリング装置に伝送される。
結果的に、基準に関する情報不足のため、ＣＰＣパラメータに対する正確な分析が空間キューレンダリング手段２０１では達成できない。すなわち、仮に空間キューレンダリング手段２０１でオーディオ信号のパワーゲインが制御できるとしても、オーディオ信号のパワーゲインがオーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づき、例えば、パンニング法に従って変更された（制御された）後、当該変更された（制御された）オーディオ信号のパワーゲインからはＣＰＣ値が算出できない。
本発明の一実施形態によれば、入力オーディオ信号のＬ０及びＲ０から、ＣＰＣにより、中央信号（Ｃ）、左半平面信号（Ｌｓ＋Ｌｆ）及び右半平面信号（Ｒｆ＋Ｒｓ）が抽出され、ＣＬＤにより、残りのオーディオ信号、すなわち、左信号成分（Ｌｓ，Ｌｆ）及び右信号成分（Ｒｆ，Ｒｓ）が抽出され、このように抽出されたオーディオ信号のパワーゲインが算出された後、前記算出されたパワーゲインがオーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいて変更（制御）されるようにすることにより、オーディオ出力信号を直接操作する代わりに、空間キューパラメータを制御することにより、サウンドシーンを制御することができる。
まず、ＣＰＣ／ＣＬＤパース部７０１は、受信した空間キュー（ＣＰＣ及びＣＬＤ）からＣＰＣ及びＣＬＤパラメータを抽出し、ゲイン要素変換部７０３は、ＣＰＣ／ＣＬＤパース部７０１で抽出されたＣＰＣパラメータから、下記［数２４］により、中央信号（Ｃ）、左半平面信号（Ｌｓ＋Ｌｆ）及び右半平面信号（Ｒｆ＋Ｒｓ）を抽出する。
Figure 0004966981
Figure 0004966981
次に、ゲイン要素制御部７０５は、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）を受信し、ゲイン要素変換部７０３によって算出された各サブバンドのパワーゲインを調整し、例えば、［数４］のように、制御されたパワーゲインを算出する。
このように制御されたパワーゲインは、ＳＡＣデコード手段２０３において、［数１９］のベクトルに基づいて入力オーディオ信号のＬ０及びＲ０に適用されることにより、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいたレンダリングが行われる。
一方、ＳＡＣデコード手段２０３がＭＰＥＧサラウンドステレオモードの場合に、空間キューとしてＩＣＣが用いられた場合、空間キューレンダリング手段２０１では、線形補間過程により、下記［数２５］のようにＩＣＣパラメータが修正される。
Figure 0004966981
Figure 0004966981
一方、本明細書の図面に示されたブロックの機能は、１つのユニットとして結合され得る。例えば、空間キューレンダリング手段２０１は、ＳＡＣデコード手段２０３に含まれるように構成され得る。これら構成要素の全ての結合は、本発明の範疇に含まれる。図示のブロックは、明確化のためにそれぞれ分離されて示されているが、必ずしも個別のユニットで構成されることを意味するものではない。
図８及び図９は、図２のオーディオ信号のレンダリング制御装置を適用可能な一実施形態であって、マルチオブジェクト又はマルチチャネルのオーディオ信号をデコードするデコーダを示す図である。図８は、マルチオブジェクト又はマルチチャネルのオーディオ信号をデコードする空間キューベースのデコーダ全体の概略図であり、図９は、空間キューベースのデコーダであって、特に、３次元ステレオ（３Ｄステレオ）オーディオ信号デコーダの概略図である。
図８及び図９のＳＡＣデコーダ８０３，９０３には、空間キューを用いたオーディオ復号化器方式として、ＭＰＥＧサラウンド、ＢＣＣ（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ）又はＳＳＬＣＣ（Ｓｏｕｎｄ Ｓｏｕｒｃｅ Ｌｏｃａｔｉｏｎ Ｃｕｅ Ｃｏｄｉｎｇ）などの方式が適用可能である。図８及び図９において、パンニングツール８０１，９０１は、図２の空間キューレンダリング手段２０１に対応する。
図１０は、図２に示す空間キューレンダリング手段２０１の一実施形態であって、図８及び図９に適用可能な空間キューレンダリング手段の一実施形態を説明するための図である。
Figure 0004966981
図８、図９を更に参照して、本発明の一実施形態によれば、マルチオブジェクト又はマルチチャネルオーディオ信号は、パンニングレンダリングツール８０５，９０５に入力され、パンニングツール８０１，９０１により空間キュー領域で制御された入力オーディオ信号のレンダリング情報に基づき、パンニング方式に従ってレンダリングされる。この場合、パンニングレンダリングツール８０５，９０５に入力された入力オーディオ信号は、周波数領域（複素数領域）で処理されるため、サブバンド単位のレンダリングも可能である。
パンニングレンダリングツール８０５，９０５から出力された信号は、ＨＲＴＦレンダリングツール８０７，９０７により、ＨＲＴＦ方式でレンダリング可能である。ＨＲＴＦ方式のレンダリングは、オブジェクト毎又はチャネル毎にＨＲＴＦフィルタを適用する方式である。
パンニングレンダリングツール８０５，９０５のパンニング方式及びＨＲＴＦレンダリングツール８０７，９０７のＨＲＴＦ方式を用いたレンダリング過程は、選択的に行われ得る。すなわち、パンニングレンダリングツール８０５，９０５及びＨＲＴＦレンダリングツール８０７，９０７は、選択的要素である。しかし、パンニングレンダリングツール８０５，９０５及びＨＲＴＦレンダリングツール８０７，９０７の全てが採用される場合には、パンニングレンダリングツール８０５，９０５がＨＲＴＦレンダリングツール８０７，９０７に先行する。
Figure 0004966981
ダウンミキサ８０９は、出力オーディオ信号の個数がデコードされるマルチオブジェクト又はマルチチャネルオーディオ信号の個数よりも少なくダウンミックスを行う。
逆Ｔ／Ｆ８１１は、逆Ｔ／Ｆ変換を行うことにより、レンダリングされた周波数領域のマルチオブジェクト又はマルチチャネルオーディオ信号を時間領域の信号に変換する。
図９に示す空間キューベースのデコーダであって、特に、３次元ステレオ（３Ｄステレオ）オーディオ信号デコーダも、パンニングレンダリングツール９０５と、ＨＲＴＦレンダリングツール９０７とを備える。ただし、ＨＲＴＦレンダリングツール９０７は、ステレオ出力のために、ＭＰＥＧサラウンドのバイノーラルデコード方式に従う。すなわち、パラメータベースのＨＲＴＦフィルタリングが適用される。
図８、図９のパンニングレンダリングツール８０５，９０５及びＨＲＴＦレンダリングツール８０７，９０７は、公知の要素であって、その具体的な説明は省略する。
バイノーラルデコード方式は、入力オーディオ信号を受信してバイノーラルステレオ信号（３Ｄステレオ信号）として出力するデコード方式であって、一般的に、ＨＲＴＦフィルタリングが適用される。
ＳＡＣマルチチャネルデコーダを介してバイノーラルステレオ（３Ｄステレオ）が再生される場合も、本発明を適用することができる。一般的に、５．１チャネルに相応するバイノーラルステレオ信号は、下記［数２６］によって生成される。
Figure 0004966981
Figure 0004966981
すなわち、各入力オーディオ信号に対してＨＲＴＦ関数が複素積分されてダウンミックスされた結果が、バイノーラルステレオ信号となる。
従来では、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいてバイノーラルステレオ信号のレンダリングが制御されるためには、各入力オーディオ信号に適用されるＨＲＴＦ関数の各々を制御位置の関数に変換して適用しなければならない。例えば、Ｌｆの仮想位置を、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）が４０度の場合、［数２６］は、下記［数２７］に変換されなければならない。
Figure 0004966981
しかし、本発明の一実施形態によれば、バイノーラルステレオのレンダリングを制御する過程において、［数２７］とは異なり、ＨＲＴＦ関数を制御するのではなく、出力オーディオ信号に対して入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいて空間キューパラメータを制御することにより、サウンドシーンを制御した後、［数２６］の一定のＨＲＴＦ関数のみを適用することにより、バイノーラル信号のレンダリングを制御することができる。
すなわち、空間キューレンダリング手段２０１により、空間キュー領域で制御された空間キューに基づいて出力オーディオ信号をレンダリング制御すると、［数２７］のように、ＨＲＴＦ関数を制御することなく、常に［数２６］を適用することができる。
つまり、出力オーディオ信号のレンダリング制御は、空間キューレンダリング手段２０１により、入力オーディオ信号のレンダリングに関する制御情報（相互制御信号）に基づいて空間キュー領域で制御され、ＨＲＴＦ関数は、常に一定して同様に適用可能である。
本発明の一実施形態によれば、限定されたＨＲＴＦ関数だけでもバイノーラルステレオ信号に対してレンダリング制御が可能である反面、従来のバイノーラルデコード方式によれば、バイノーラルステレオ信号のレンダリングを制御するために、できるだけ多くのＨＲＴＦ関数を確保していなければならない。
図１１は、バイノーラルステレオデコード方式を適用したＭＰＥＧサラウンドデコーダの概略図であって、図９と概念的に同じ構成を示す図である。ここで、空間キューレンダリングブロックは、空間キューレンダリング手段２０１であって、制御されたパワーゲインを出力する。残りの構成は、図９と概念的に同じ構成を示し、バイノーラルステレオデコード方式を適用したＭＰＥＧサラウンドデコーダの構成を示している。空間キューレンダリングブロックの出力は、ＭＰＥＧサラウンドデコーダのパラメータ変換ブロックにおいてＨＲＴＦ関数の周波数応答特性が調整されるのに用いられる。
図１２〜図１４は、本発明の他の実施形態を示す図であって、図１２は、本発明の他の実施形態に係るオーディオ信号のレンダリング装置を概略的に示す図である。本発明の他の実施形態によれば、空間キューの制御だけでマルチチャネルオーディオ信号を効率的に制御することができ、双方向の３次元オーディオ／ビデオサービスなどに有用に活用可能である。
図示のように、本発明の他の実施形態に係るオーディオ信号のレンダリング装置は、図１のＳＡＣエンコーダ１０１に対応する、ＳＡＣデコード手段１２０５を一実施形態として採用した構成であり、付加情報復号化部１２０１と、空間化手段１２０３とを更に備えている。
付加情報復号化部１２０１及び空間化手段１２０３は、図２の空間キューレンダリング手段２０１に対応する構成であって、特に、付加情報復号化部１２０１は、図４のＣＬＤパース部４０１に対応する。
付加情報復号化部１２０１は、伝送された付加情報、すなわち、空間キューとして、例えば、ＣＬＤを受信し、上記［数１］により、ＣＬＤパラメータを抽出する。
抽出されたＣＬＤパラメータは、空間化手段１２０３に入力される。
図１３は、図１２に示す空間化手段１２０３の詳細ブロック図であって、図示のように、空間化手段１２０３は、仮想位置推定部１３０１と、ＣＬＤ変換部１３０３とを備える。
仮想位置推定部１３０１及びＣＬＤ変換部１３０３は、機能的に、図４のゲイン要素変換部４０３、ゲイン要素制御部４０５、及びＣＬＤ変換部４０７に対応する。
仮想位置推定部１３０１は、入力されたＣＬＤパラメータから各入力オーディオ信号のパワーゲインを算出する。パワーゲインは、ＣＬＤ算出方式に従って多様な方法で算出され得る。例えば、入力オーディオ信号の全てのＣＬＤが基準オーディオ信号から算出されると、下記［数２８］のように、各入力オーディオ信号のパワーゲインが算出され得る。
Figure 0004966981
Figure 0004966981
例えば、入力オーディオ信号が５チャネルの場合、下記［数２９］のように、空間ベクトル推定（仮想音源の位置推定）を行うことができる。
Figure 0004966981
Figure 0004966981
各ベクトルに対する角度（仮想音源のパンニング角度）情報は、下記［数３０］から算出される。
Figure 0004966981
Figure 0004966981
Figure 0004966981
Figure 0004966981
空間化手段１２０３は、マルチチャネルが生成する仮想音源の位置を柔軟に制御できる構成であって、以上で説明したように、仮想位置推定部１３０１は、ＣＬＤパラメータから仮想音源位置ベクトルを推定する。ＣＬＤ変換部１３０３は、仮想位置推定部１３０１によって推定された仮想音源位置ベクトル及びレンダリング制御情報として仮想音源の位置の変化量（Δδ）を受信し、制御された仮想音源位置ベクトルを、下記［数３２］を用いて算出する。
Figure 0004966981
Figure 0004966981
また、ＣＬＤ変換部１３０３は、制御されたパワーゲインを再びＣＬＤ値に変換する。
変換されたＣＬＤ値は、ＳＡＣデコード手段１２０５に入力される。
上記のような本発明の一実施形態は、一般のマルチチャネルオーディオ信号に対して適用可能である。図１４は、本発明の一実施形態を適用したマルチチャネルオーディオデコーダであって、図示のように、付加情報復号化手段１２０１と、空間化手段１２０３とを更に備えている。
時間領域のマルチチャネル信号は、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）、ＱＭＦ（Ｑｕａｄｒａｔｕｒｅ Ｍｉｒｒｏｒ Ｆｉｌｔｅｒｂａｎｋ ｔｒａｎｓｆｏｒｍ）などの変換手段１４０３によって周波数領域に変換される。
付加情報復号化部１２０１は、変換手段１４０３によって変換された信号から空間キュー（例えば、ＣＬＤ）を抽出して空間化手段１２０３に伝送する。空間化手段１２０３は、［数３２］によるＣＬＤ、すなわち、制御された仮想音源位置ベクトルから算出された、制御されたパワーゲインを示すＣＬＤをパワーゲイン制御手段１４０５に伝送し、パワーゲイン制御手段１４０５は、受信したＣＬＤに基づいて周波数領域でサブバンド毎に各オーディオチャネルのパワーを調整する。調整方法は、下記［数３３］のとおりである。
Figure 0004966981
Figure 0004966981
上記のような本発明の一実施形態によれば、空間キューの変化量をマルチチャネル信号の生成に反映することにより、オーディオ信号の仮想音源の位置を制御することができる。
以上、本発明は、装置の観点から記述されているが、当業者であれば、本明細書の記載から本発明を方法の観点からも構成可能であることを容易に理解することができる。
上述した本発明の方法は、プログラムとして具現され、コンピュータで読み取り可能な記録媒体（ＣＤ−ＲＯＭ、ＲＡＭ、ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスクなど）に格納され得る。
以上で説明した本発明は、上述した実施形態及び添付図面によって限定されるものではなく、本発明の技術思想を逸脱しない範囲内で様々な置換、変形及び変更が可能であることが、本発明の属する技術分野における通常の知識を有する者にとって自明である。
本発明は、マルチオブジェクト又はマルチチャネルオーディオ信号のデコーディングに用いられる。
従来のマルチオブジェクト又はマルチチャネルオーディオ信号のエンコーダに関する一実施形態を概略的に示す図である。 本発明の一実施形態に係るオーディオ信号のレンダリング制御装置を概略的に示す図である。 再生されたパンニングマルチチャネル信号の一形態を示す図である。 本発明の一実施形態として、ＣＬＤを空間キューとして用いた場合における、図２に示す空間キューレンダリング手段の詳細ブロック図である。 本発明の一実施形態として、ＣＰＰを適用してオーディオ信号を所望の位置にマッピングさせる方法を説明するための図である。 信号の角度関係を含むレイアウトを概略的に示す図である。 ＳＡＣデコード手段がＭＰＥＧサラウンドステレオモードの場合における、本発明の一実施形態に係る空間キューレンダリング手段の詳細ブロック図である。 マルチオブジェクト又はマルチチャネルのオーディオ信号をデコードする空間キューベースのデコーダ全体の概略図である。 空間キューベースのデコーダであって、特に、３次元ステレオ（３Ｄステレオ）オーディオ信号デコーダの概略図である。 図８及び図９に適用可能な空間キューレンダリング手段の一例を説明するための図である。 バイノーラルステレオデコード方式を適用したＭＰＥＧサラウンドデコーダの概略図である。 本発明の他の実施形態に係るオーディオ信号のレンダリング装置を概略的に示す図である。 図１２に示す空間化手段の詳細ブロック図である。 本発明の一実施形態を適用したマルチチャネルオーディオデコーダを示す図である。

Claims (60)

  1. オーディオ信号のレンダリング制御装置において、
    空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコード手段によりエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、
    空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段と
    を備え、
    前記デコード手段が、
    前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行うことを特徴とするオーディオ信号のレンダリング制御装置。
  2. 前記空間キュー情報が、下記［数１］で表現される、入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）であり、
    前記空間キューレンダリング手段が、
    前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパース部と、
    該ＣＬＤパース部で抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換部と、
    該ゲイン要素変換部で抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御部と
    を備えることを特徴とする請求項１に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ここで、
    Figure 0004966981
    はＣＬＤインデックス（
    Figure 0004966981
    ）、Ｎはｍ番目のサブバンドにおける入力オーディオ信号の個数、
    Figure 0004966981
    はｍ番目のサブバンドにおけるｋ番目の入力オーディオ信号に対するサブバンドパワーである。）
  3. 前記ゲイン要素変換部が、
    下記［数２］のように表現される前記入力オーディオ信号のパワーゲイン（
    Figure 0004966981
    ）を抽出することを特徴とする請求項２に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ただし、ｍはサブバンドインデックス、
    Figure 0004966981
    はｍ番目のサブバンドにおけるｋ（
    Figure 0004966981
    ）番目の入力オーディオ信号に対するサブバンドパワーゲイン、
    Figure 0004966981
    はｍ番目のサブバンドにおける全ての入力オーディオ信号のパワーゲインを示すベクトルである。）
  4. 前記ゲイン要素制御部が、
    前記ゲイン要素変換部で抽出された入力オーディオ信号のパワーゲイン（
    Figure 0004966981
    ）を、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数３］で表現される、制御されたパワーゲイン（
    Figure 0004966981
    ）を算出することを特徴とする請求項３に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ただし、Ｍは出力オーディオ信号の個数、Ｎは入力オーディオ信号の個数、
    Figure 0004966981
    はＭ×Ｎ次元のベクトルであって、前記パンニング法に従って前記入力オーディオ信号（
    Figure 0004966981
    ）が任意の出力オーディオ信号間にマッピングされるように算出される係数
    Figure 0004966981
    から構成される。）
  5. 前記パンニング法が、コンスタントパワーパンニング（Ｃｏｎｓｔａｎｔ Ｐｏｗｅｒ ｐａｎｎｉｎｇ、ＣＰＰ）法であり、
    前記
    Figure 0004966981
    は、それぞれ
    Figure 0004966981
    であり、
    前記
    Figure 0004966981
    は、前記入力オーディオ信号（
    Figure 0004966981
    ）がマッピングされる前記出力オーディオ信号間の角度情報であることを特徴とする請求項４に記載のオーディオ信号のレンダリング制御装置。
  6. 前記空間キューレンダリング手段が、
    前記ゲイン要素制御部から出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換部を更に備え、
    前記デコード手段が、
    前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換部によって変換されたＣＬＤ値を用いることを特徴とする請求項２に記載のオーディオ信号のレンダリング制御装置。
  7. 前記ＣＬＤ変換部が、
    下記［数４］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項６に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
     （ただし、ｃｏｎｖｅｒｔｅｄ
    Figure 0004966981
    は前記ＣＬＤ変換部で変換されたＣＬＤ値、
    Figure 0004966981
    はＣＬＤインデックス（
    Figure 0004966981
    ）、Ｍはｍ番目のサブバンドにおけるオーディオ信号の個数、
    Figure 0004966981
    はそれぞれ前記制御されたパワーゲインであって、ｍ番目のサブバンドにおけるｊ番目、ｋ番目のオーディオ信号に対する制御されたパワーゲインである。）
  8. 前記デコード手段が、
    ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項１に記載のオーディオ信号のレンダリング制御装置。
  9. オーディオ信号のレンダリング制御装置において、
    空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコード手段によりエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、
    空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段と
    を備え、
    前記デコード手段が、
    前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
    前記空間キュー情報が、
    Figure 0004966981
    で表現される、入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）であり、
    前記空間キューレンダリング手段が、
    前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパース部と、
    該ＣＬＤパース部で抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換部と、
    該ゲイン要素変換部で抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御部と
    を備え、
    前記
    Figure 0004966981
    において、
    Figure 0004966981
    はサブバンドインデックス、
    Figure 0004966981
    はパラメータセットインデックスであることを特徴とするオーディオ信号のレンダリング制御装置。
  10. 前記ゲイン要素変換部が、
    下記［数５］のように表現される前記入力オーディオ信号のパワーゲイン（
    Figure 0004966981
    ）を抽出することを特徴とする請求項９に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ただし、
    Figure 0004966981
    の係数はｍ番目のサブバンドのパワーゲイン、
    Figure 0004966981
    はｍ番目のサブバンドにおける全ての入力オーディオ信号のパワーゲインを示すベクトルである。）
  11. 前記ゲイン要素制御部が、
    前記ゲイン要素変換部で抽出された入力オーディオ信号のパワーゲイン（
    Figure 0004966981
    ）を、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数６］で表現される、制御されたパワーゲイン（
    Figure 0004966981
    ）を算出することを特徴とする請求項１０に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ただし、Ｍは出力オーディオ信号の個数、Ｎは入力オーディオ信号の個数、
    Figure 0004966981
    はＭ×Ｎ次元のベクトルであって、上記パンニング法に従って前記入力オーディオ信号（
    Figure 0004966981
    ）が任意の出力オーディオ信号間にマッピングされるように算出される係数
    Figure 0004966981
    から構成される。）
  12. 前記パンニング法が、コンスタントパワーパンニング（Ｃｏｎｓｔａｎｔ Ｐｏｗｅｒ Ｐａｎｎｉｎｇ、ＣＰＰ）法であり、
    前記
    Figure 0004966981
    は、下記［数７］で表現されることを特徴とする請求項１１に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ただし、
    Figure 0004966981
    は前記入力オーディオ信号（
    Figure 0004966981
    ）がマッピングされる前記出力オーディオ信号間の角度情報、
    Figure 0004966981
    は前記出力オーディオ信号間の角度情報、
    Figure 0004966981
    は前記出力オーディオ信号中における基準出力オーディオ信号の角度情報である。）
  13. 前記空間キューレンダリング手段が、
    前記ゲイン要素制御部から出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換部を更に備え、
    前記デコード手段が、
    前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換部によって変換されたＣＬＤ値を用いることを特徴とする請求項９に記載のオーディオ信号のレンダリング制御装置。
  14. 前記ＣＬＤ変換部が、
    下記［数８］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項１３に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
  15. 前記デコード手段が、
    ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項９に記載のオーディオ信号のレンダリング制御装置。
  16. オーディオ信号のレンダリング制御装置において、
    空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、
    空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段と
    を備え、
    前記デコード手段が、
    前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、特に、前記ダウンミックス信号のＬ０及びＲ０から、下記［数９］により、中央信号（Ｃ）、左半平面信号（Ｌｆ＋Ｌｓ）及び右半平面信号（Ｒｆ＋Ｒｓ）を抽出し、
    前記空間キュー情報が、
    Figure 0004966981
    で表現される、入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）であり、
    前記空間キューレンダリング手段が、
    前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパース部と、
    該ＣＬＤパース部で抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換部と、
    該ゲイン要素変換部で抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御部と
    を備えることを特徴とするオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ただし、
    Figure 0004966981
    （ｉ，ｊはベクトル行列インデックス、
    Figure 0004966981
    はサブバンドインデックス、
    Figure 0004966981
    はパラメータセットインデックス）は前記ＣＬＤ（
    Figure 0004966981
    及び
    Figure 0004966981
    ）から算出されるパワーゲインから生成される係数、
    Figure 0004966981
    はサブバンドの個数、
    Figure 0004966981
    はそれぞれ中央信号、左前信号、左後信号、右前信号、右後信号のパワーゲイン、
    Figure 0004966981
    は
    Figure 0004966981
    の組合せに比例するパンニング法による投影パワー、
    Figure 0004966981
    は
    Figure 0004966981
    の組合せに比例するパンニング法による投影パワー、
    Figure 0004966981
    及び
    Figure 0004966981
    はそれぞれ左半平面及び右半平面の中央チャネルに対するパンニングパワーゲインである。）
  17. 前記ゲイン要素変換部が、
    前記ＣＬＤ（
    Figure 0004966981
    及び
    Figure 0004966981
    ）から前記入力オーディオ信号のパワーゲイン（
    Figure 0004966981
    ）を抽出することを特徴とする請求項１６に記載のオーディオ信号のレンダリング制御装置。
  18. 前記ゲイン要素制御部が、
    前記ゲイン要素変換部で抽出された入力オーディオ信号のパワーゲイン（
    Figure 0004966981
    ）を、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、前記パワーゲイン（
    Figure 0004966981
    ）を追加的に算出し、
    該算出されたパワーゲイン（
    Figure 0004966981
    ）に基づいて制御されたパワーゲインを算出することを特徴とする請求項１７に記載のオーディオ信号のレンダリング制御装置。
  19. 前記制御されたパワーゲインが、下記［数１０］によって算出されることを特徴とする請求項１８に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
  20. 前記デコード手段が、
    ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項１６に記載のオーディオ信号のレンダリング制御装置。
  21. オーディオ信号のレンダリング制御装置において、
    空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、
    空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段と
    を備え、
    前記デコード手段が、
    前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
    前記空間キュー情報が、入力オーディオ信号のダウンミックス比率を示すＣＰＣ（Ｃｈａｎｎｅｌ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）及び入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）であり、
    前記空間キューレンダリング手段が、
    前記エンコード手段から伝送されるＣＰＣ及びＣＬＤの各々からＣＰＣパラメータ及びＣＬＤパラメータを抽出するＣＰＣ／ＣＬＤパース部と、
    該ＣＰＣ／ＣＬＤパース部で抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出して各信号のパワーゲインを算出し、ＣＬＤパラメータから左信号成分及び右信号成分の各々のパワーゲインを抽出するゲイン要素変換部と、
    該ゲイン要素変換部で抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御部と
    を備えることを特徴とするオーディオ信号のレンダリング制御装置。
  22. 前記ゲイン要素変換部が、
    下記［数１１］により、前記ＣＰＣ／ＣＬＤパース部で抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出することを特徴とする請求項２１に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ただし、
    Figure 0004966981
    はそれぞれ入力オーディオ信号のＬ０及びＲ０、左半平面信号（Ｌｓ＋Ｌｆ）、右半平面信号（Ｒｆ＋Ｒｓ）及び中央信号（Ｃ）であり、
    Figure 0004966981
    は前記ＣＰＣ／ＣＬＤパース部で抽出されたＣＰＣパラメータベクトルである。）
  23. 前記ＣＰＣ／ＣＬＤパース部で抽出されたＣＬＤパラメータが、左信号成分間のレベル差情報及び右信号成分間のレベル差情報（
    Figure 0004966981
    ）であり、
    前記ゲイン要素変換部が、
    前記抽出された中央信号、左半平面信号及び右半平面信号から、前記ＣＬＤパラメータに基づいて左信号成分（Ｌｓ，Ｌｆ）及び右信号成分（Ｒｆ，Ｒｓ）の各々のパワーゲインを算出することを特徴とする請求項２２に記載のオーディオ信号のレンダリング制御装置。
  24. 前記ゲイン要素制御部が、
    前記ゲイン要素変換部で抽出された入力オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数１２］で表現される、制御されたパワーゲインを算出することを特徴とする請求項２３に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ただし、
    Figure 0004966981
    は入力オーディオ信号のパワーゲインベクトル、
    Figure 0004966981
    は制御されたパワーゲインベクトル、Ｍは出力オーディ信号の個数、Ｎは入力オーディオ信号の個数、
    Figure 0004966981
    はＭ×Ｎ次元のベクトルであって、前記パンニング法に従って前記入力オーディオ信号（
    Figure 0004966981
    ）が任意の出力オーディオ信号間にマッピングされるように算出される係数
    Figure 0004966981
    から構成される。）
  25. 前記パンニング法が、コンスタントパワーパンニング（Ｃｏｎｓｔａｎｔ Ｐｏｗｅｒ Ｐａｎｎｉｎｇ、ＣＰＰ）法であり、
    前記
    Figure 0004966981
    は、それぞれ
    Figure 0004966981
    であり、
    前記
    Figure 0004966981
    は、前記入力オーディオ信号（
    Figure 0004966981
    ）がマッピングされる前記出力オーディオ信号間の角度情報であることを特徴とする請求項２４に記載のオーディオ信号のレンダリング制御装置。
  26. 前記空間キューレンダリング手段が、
    前記ゲイン要素制御部から出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換部を更に備え、
    前記デコード手段が、
    前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換部によって変換されたＣＬＤ値を用いることを特徴とする請求項２１に記載のオーディオ信号のレンダリング制御装置。
  27. 前記ＣＬＤ変換部が、
    下記［数１３］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項２６に記載のオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ただし、ｃｏｎｖｅｒｔｅｄ
    Figure 0004966981
    は前記ＣＬＤ変換部で変換されたＣＬＤ値、
    Figure 0004966981
    はＣＬＤインデックス（
    Figure 0004966981
    ）、Ｍはｍ番目のサブバンドにおけるオーディオ信号の個数、
    Figure 0004966981
    はそれぞれ前記制御されたパワーゲインであって、ｍ番目のサブバンドにおけるｊ番目、ｋ番目のオーディオ信号に対する制御されたパワーゲインである。）
  28. 前記デコード手段が、
    ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項２１に記載のオーディオ信号のレンダリング制御装置。
  29. オーディオ信号のレンダリング制御装置において、
    空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコード手段と、
    空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリング手段と
    を備え、
    前記デコード手段が、
    前記空間キューレンダリング手段によって制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
    前記空間キュー情報が、入力オーディオ信号間の相関性を示すＩＣＣ（Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ）であり、
    前記空間キューレンダリング手段が、
    線形補間過程により、下記［数１４］のように、ＩＣＣパラメータを制御することを特徴とするオーディオ信号のレンダリング制御装置。
    Figure 0004966981
    （ただし、
    Figure 0004966981
    は前記入力オーディオ信号のレンダリングに関する制御情報である。）
  30. 前記デコード手段が、
    ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項２９に記載のオーディオ信号のレンダリング制御装置。
  31. オーディオ信号のレンダリング制御方法において、
    空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、
    空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップと
    を含み、
    前記デコードステップが、
    前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行うことを特徴とするオーディオ信号のレンダリング制御方法。
  32. 前記空間キュー情報が、下記［数１５］で表現される、入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）であり、
    前記空間キューレンダリングステップが、
    前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパースステップと、
    該ＣＬＤパースステップで抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換ステップと、
    該ゲイン要素変換ステップで抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御ステップと
    を含むことを特徴とする請求項３１に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    （ここで、
    Figure 0004966981
    はＣＬＤインデックス（
    Figure 0004966981
    ）、Ｎはｍ番目のサブバンドにおける入力オーディオ信号の個数、
    Figure 0004966981
    はｍ番目のサブバンドにおけるｋ番目の入力オーディオ信号に対するサブバンドパワーである。）
  33. 前記ゲイン要素変換ステップが、
    下記［数１６］のように表現される前記入力オーディオ信号のパワーゲイン（
    Figure 0004966981
    ）を抽出することを特徴とする請求項３２に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    （ただし、ｍはサブバンドインデックス、
    Figure 0004966981
    はｍ番目のサブバンドにおける
    Figure 0004966981
    の入力オーディオ信号に対するサブバンドパワーゲイン、
    Figure 0004966981
    はｍ番目のサブバンドにおける全ての入力オーディオ信号のパワーゲインを示すベクトルである。）
  34. 前記ゲイン要素制御ステップが、
    前記ゲイン要素変換ステップで抽出された入力オーディオ信号のパワーゲイン（
    Figure 0004966981
    ）を、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数１７］で表現される、制御されたパワーゲイン（
    Figure 0004966981
    ）を算出することを特徴とする請求項３３に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    （ただし、Ｍは出力オーディオ信号の個数、Ｎは入力オーディオ信号の個数、
    Figure 0004966981
    はＭ×Ｎ次元のベクトルであって、前記パンニング法に従って前記入力オーディオ信号（
    Figure 0004966981
    ）が任意の出力オーディオ信号間にマッピングされるように算出される係数
    Figure 0004966981
    から構成される。）
  35. 前記パンニング法が、コンスタントパワーパンニング（Ｃｏｎｓｔａｎｔ Ｐｏｗｅｒ Ｐａｎｎｉｎｇ、ＣＰＰ）法であり、
    前記
    Figure 0004966981
    は、それぞれ
    Figure 0004966981
    であり、
    前記
    Figure 0004966981
    は、前記入力オーディオ信号（
    Figure 0004966981
    ）がマッピングされる前記出力オーディオ信号間の角度情報であることを特徴とする請求項３４に記載のオーディオ信号のレンダリング制御方法。
  36. 前記空間キューレンダリングステップが、
    前記ゲイン要素制御ステップで出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換ステップを更に含み、
    前記デコードステップが、
    前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換ステップで変換されたＣＬＤ値を用いることを特徴とする請求項３２に記載のオーディオ信号のレンダリング制御方法。
  37. 前記ＣＬＤ変換ステップが、
    下記［数１８］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項３６に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    Figure 0004966981
  38. 前記デコードステップが、
    ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項３１に記載のオーディオ信号のレンダリング制御方法。
  39. オーディオ信号のレンダリング制御方法において、
    空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、
    空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップと
    を含み、
    前記デコードステップが、
    前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
    前記空間キュー情報が、
    Figure 0004966981
    で表現される、入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）であり、
    前記空間キューレンダリングステップが、
    前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパースステップと、
    該ＣＬＤパースステップで抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換ステップと、
    該ゲイン要素変換ステップで抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御ステップと
    を含み、
    Figure 0004966981
  40. 前記ゲイン要素変換ステップが、
    下記［数１９］のように表現される前記入力オーディオ信号のパワーゲイン（
    Figure 0004966981
    ）を抽出することを特徴とする請求項３９に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    （ただし、
    Figure 0004966981
    の係数はｍ番目のサブバンドのパワーゲイン、
    Figure 0004966981
    はｍ番目のサブバンドにおける全ての入力オーディオ信号のパワーゲインを示すベクトルである。）
  41. 前記ゲイン要素制御ステップが、
    前記ゲイン要素変換ステップで抽出された入力オーディオ信号のパワーゲイン（
    Figure 0004966981
    ）を、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数２０］で表現される、制御されたパワーゲイン（
    Figure 0004966981
    ）を算出することを特徴とする請求項４０に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    Figure 0004966981
  42. 前記パンニング法が、コンスタントパワーパンニング（Ｃｏｎｓｔａｎｔ Ｐｏｗｅｒ Ｐａｎｎｉｎｇ、ＣＰＰ）法であり、
    前記、
    Figure 0004966981
    は、下記［数２１］で表現されることを特徴とする請求項４１に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    Figure 0004966981
  43. 前記空間キューレンダリングステップが、
    前記ゲイン要素制御ステップで出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換ステップを更に含み、
    前記デコードステップが、
    前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換ステップで変換されたＣＬＤ値を用いることを特徴とする請求項３９に記載のオーディオ信号のレンダリング制御方法。
  44. 前記ＣＬＤ変換ステップが、
    下記［数２２］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項４３に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
  45. 前記デコードステップが、
    ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項３９に記載のオーディオ信号のレンダリング制御方法。
  46. オーディオ信号のレンダリング制御方法において、
    空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、
    空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップと
    を含み、
    前記デコードステップが、
    前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、特に、前記ダウンミックス信号のＬ０及びＲ０から、下記［数２３］により、中央信号（Ｃ）、左半平面信号（Ｌｆ＋Ｌｓ）及び右半平面信号（Ｒｆ＋Ｒｓ）を抽出し、
    Figure 0004966981
    前記空間キューレンダリングステップが、
    前記エンコード手段から伝送されるＣＬＤからＣＬＤパラメータを抽出するＣＬＤパースステップと、
    該ＣＬＤパースステップで抽出されたＣＬＤパラメータから各オーディオ信号のパワーゲインを抽出するゲイン要素変換ステップと、
    該ゲイン要素変換ステップで抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御ステップと
    を含むことを特徴とするオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    Figure 0004966981
  47. 前記ゲイン要素変換ステップが、
    Figure 0004966981
    を抽出することを特徴とする請求項４６に記載のオーディオ信号のレンダリング制御方法。
  48. 前記ゲイン要素制御ステップが、
    Figure 0004966981
    に基づいて制御されたパワーゲインを算出することを特徴とする請求項４７に記載のオーディオ信号のレンダリング制御方法。
  49. 前記制御されたパワーゲインが、下記［数２４］によって算出されることを特徴とする請求項４８に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
  50. 前記デコードステップが、
    ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項４６に記載のオーディオ信号のレンダリング制御方法。
  51. オーディオ信号のレンダリング制御方法において、
    空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコード手段によりエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、
    空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップと
    を含み、
    前記デコードステップが、
    前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
    前記空間キュー情報が、入力オーディオ信号のダウンミックス比率を示すＣＰＣ（Ｃｈａｎｎｅｌ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）及び入力オーディオ信号間のレベル差を示すＣＬＤ（Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ）であり、
    前記空間キューレンダリングステップが、
    前記エンコード手段から伝送されるＣＰＣ及びＣＬＤの各々からＣＰＣパラメータ及びＣＬＤパラメータを抽出するＣＰＣ／ＣＬＤパースステップと、
    該ＣＰＣ／ＣＬＤパースステップで抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出して各信号のパワーゲインを算出し、ＣＬＤパラメータから左信号成分及び右信号成分の各々のパワーゲインを抽出するゲイン要素変換ステップと、
    該ゲイン要素変換ステップで抽出された各オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいて調整することにより、制御されたパワーゲインを算出するゲイン要素制御ステップと
    を含むことを特徴とするオーディオ信号のレンダリング制御方法。
  52. 前記ゲイン要素変換ステップが、
    下記［数２５］により、前記ＣＰＣ／ＣＬＤパースステップで抽出されたＣＰＣパラメータから中央信号、左半平面信号及び右半平面信号を抽出することを特徴とする請求項５１に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    Figure 0004966981
  53. 前記ＣＰＣ／ＣＬＤパースステップで抽出されたＣＬＤパラメータが、左信号成分間の
    レベル差情報及び右信号成分間のレベル差情報（
    Figure 0004966981
    ）であり、
    前記ゲイン要素変換ステップが、
    前記抽出された中央信号、左半平面信号及び右半平面信号から、前記ＣＬＤパラメータに基づいて左信号成分（Ｌｓ，Ｌｆ）及び右信号成分（Ｒｆ，Ｒｓ）の各々のパワーゲインを算出することを特徴とする請求項５２に記載のオーディオ信号のレンダリング制御方法。
  54. 前記ゲイン要素制御ステップが、
    前記ゲイン要素変換ステップで抽出された入力オーディオ信号のパワーゲインを、前記入力オーディオ信号のレンダリングに関する制御情報に基づいてパンニング法に従って調整することにより、下記［数２６］で表現される、制御されたパワーゲインを算出することを特徴とする請求項５３に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    Figure 0004966981
  55. Figure 0004966981
    がマッピングされる前記出力オーディオ信号間の角度情報であることを特徴とする請求項５４に記載のオーディオ信号のレンダリング制御方法。
  56. 前記空間キューレンダリングステップが、
    前記ゲイン要素制御ステップで出力される、制御されたパワーゲインをＣＬＤ値に変換するＣＬＤ変換ステップを更に含み、
    前記デコードステップが、
    前記入力オーディオ信号のレンダリングを行うために必要な前記制御された空間キュー情報として、前記ＣＬＤ変換ステップで変換されたＣＬＤ値を用いることを特徴とする請求項５１に記載のオーディオ信号のレンダリング制御方法。
  57. 前記ＣＬＤ変換ステップが、
    下記［数２７］により、前記制御されたパワーゲインを前記ＣＬＤ値に変換することを特徴とする請求項５６に記載のオーディオ信号のレンダリング制御方法。
    Figure 0004966981
    Figure 0004966981
    それぞれ前記制御されたパワーゲインであって、ｍ番目のサブバンドにおけるｊ番目、ｋ番目のオーディオ信号に対する制御されたパワーゲインである。）
  58. 前記デコードステップが、
    ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項５１に記載のオーディオ信号のレンダリング制御方法。
  59. オーディオ信号のレンダリング制御方法において、
    空間キューベースのオーディオ符号化（Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ、ＳＡＣ）方式でエンコードされた入力オーディオ信号のダウンミックス信号をＳＡＣ方式でデコードするデコードステップと、
    空間キュー情報及び前記入力オーディオ信号のレンダリングに関する制御情報を受信し、前記制御情報に基づいて空間キュー領域で前記空間キュー情報を制御する空間キューレンダリングステップと
    を含み、
    前記デコードステップが、
    前記空間キューレンダリングステップで制御された空間キュー情報に基づいて前記入力オーディオ信号のレンダリングを行い、
    前記空間キュー情報が、入力オーディオ信号間の相関性を示すＩＣＣ（Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ）であり、
    前記空間キューレンダリングステップが、
    線形補間過程により、下記［数２８］のように、ＩＣＣパラメータを制御することを特徴とするオーディオ信号のレンダリング制御方法。
    Figure 0004966981
  60. 前記デコードステップが、
    ＨＲＴＦ係数を適用するバイノーラルデコード方式に従ってバイノーラルステレオ信号を出力することを特徴とする請求項５９に記載のオーディオ信号のレンダリング制御方法。
JP2008553176A 2006-02-03 2007-02-05 空間キューを用いたマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御方法及びその装置 Active JP4966981B2 (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
KR10-2006-0010559 2006-02-03
KR20060010559 2006-02-03
US78699906P 2006-03-29 2006-03-29
US60/786,999 2006-03-29
US83005206P 2006-07-11 2006-07-11
US81990706P 2006-07-11 2006-07-11
US60/819,907 2006-07-11
US60/830,052 2006-07-11
KR20060066488 2006-07-14
KR10-2006-0066488 2006-07-14
KR10-2006-0069961 2006-07-25
KR20060069961 2006-07-25
KR20070001996 2007-01-08
KR10-2007-0001996 2007-01-08
PCT/KR2007/000611 WO2007089131A1 (en) 2006-02-03 2007-02-05 Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue

Publications (2)

Publication Number Publication Date
JP2009525671A JP2009525671A (ja) 2009-07-09
JP4966981B2 true JP4966981B2 (ja) 2012-07-04

Family

ID=46859111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008553176A Active JP4966981B2 (ja) 2006-02-03 2007-02-05 空間キューを用いたマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御方法及びその装置

Country Status (6)

Country Link
US (4) US9426596B2 (ja)
EP (4) EP3267439A1 (ja)
JP (1) JP4966981B2 (ja)
KR (2) KR101294022B1 (ja)
CN (3) CN103366747B (ja)
WO (1) WO2007089131A1 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007032646A1 (en) * 2005-09-14 2007-03-22 Lg Electronics Inc. Method and apparatus for decoding an audio signal
AU2007207861B2 (en) * 2006-01-19 2011-06-09 Blackmagic Design Pty Ltd Three-dimensional acoustic panning device
EP3267439A1 (en) 2006-02-03 2018-01-10 Electronics and Telecommunications Research Institute Method and apparatus for control of rendering multiobject or multichannel audio signal using spatial cue
KR100829870B1 (ko) * 2006-02-03 2008-05-19 한국전자통신연구원 멀티채널 오디오 압축 코덱의 음질 평가 장치 및 그 방법
JP2009526467A (ja) 2006-02-09 2009-07-16 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号の符号化及び復号化方法とその装置
US8036767B2 (en) 2006-09-20 2011-10-11 Harman International Industries, Incorporated System for extracting and changing the reverberant content of an audio input signal
AU2007300813B2 (en) 2006-09-29 2010-10-14 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US20100040135A1 (en) * 2006-09-29 2010-02-18 Lg Electronics Inc. Apparatus for processing mix signal and method thereof
EP2084901B1 (en) * 2006-10-12 2015-12-09 LG Electronics Inc. Apparatus for processing a mix signal and method thereof
SG175632A1 (en) * 2006-10-16 2011-11-28 Dolby Sweden Ab Enhanced coding and parameter representation of multichannel downmixed object coding
JP5337941B2 (ja) * 2006-10-16 2013-11-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャネル・パラメータ変換のための装置および方法
EP2115739A4 (en) 2007-02-14 2010-01-20 Lg Electronics Inc METHODS AND APPARATUSES FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS
US20080298610A1 (en) * 2007-05-30 2008-12-04 Nokia Corporation Parameter Space Re-Panning for Spatial Audio
US8295494B2 (en) 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
WO2009048239A2 (en) * 2007-10-12 2009-04-16 Electronics And Telecommunications Research Institute Encoding and decoding method using variable subband analysis and apparatus thereof
CA2701457C (en) 2007-10-17 2016-05-17 Oliver Hellmuth Audio coding using upmix
KR101566025B1 (ko) * 2007-10-22 2015-11-05 한국전자통신연구원 다객체 오디오 부호화 및 복호화 방법과 그 장치
US20090123523A1 (en) * 2007-11-13 2009-05-14 G. Coopersmith Llc Pharmaceutical delivery system
KR100943215B1 (ko) 2007-11-27 2010-02-18 한국전자통신연구원 음장 합성을 이용한 입체 음장 재생 장치 및 그 방법
CN101960865A (zh) * 2008-03-03 2011-01-26 诺基亚公司 用于捕获和呈现多个音频声道的装置
KR101461685B1 (ko) 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
US8620009B2 (en) 2008-06-17 2013-12-31 Microsoft Corporation Virtual sound source positioning
ATE538469T1 (de) 2008-07-01 2012-01-15 Nokia Corp Vorrichtung und verfahren zum justieren von räumlichen hinweisinformationen eines mehrkanaligen audiosignals
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
WO2011000409A1 (en) * 2009-06-30 2011-01-06 Nokia Corporation Positional disambiguation in spatial audio
KR101600354B1 (ko) * 2009-08-18 2016-03-07 삼성전자주식회사 사운드에서 오브젝트 분리 방법 및 장치
CA2774415C (en) * 2009-10-05 2017-09-05 Harman International Industries, Incorporated System for spatial extraction of audio signals
US9311925B2 (en) * 2009-10-12 2016-04-12 Nokia Technologies Oy Method, apparatus and computer program for processing multi-channel signals
AU2010321013B2 (en) * 2009-11-20 2014-05-29 Dolby International Ab Apparatus for providing an upmix signal representation on the basis of the downmix signal representation, apparatus for providing a bitstream representing a multi-channel audio signal, methods, computer programs and bitstream representing a multi-channel audio signal using a linear combination parameter
WO2011072729A1 (en) * 2009-12-16 2011-06-23 Nokia Corporation Multi-channel audio processing
US8887074B2 (en) 2011-02-16 2014-11-11 Apple Inc. Rigging parameters to create effects and animation
US9420394B2 (en) 2011-02-16 2016-08-16 Apple Inc. Panning presets
EP2509337B1 (en) * 2011-04-06 2014-09-24 Sony Ericsson Mobile Communications AB Accelerometer vector controlled noise cancelling method
CN104160442B (zh) * 2012-02-24 2016-10-12 杜比国际公司 音频处理
EP2930952B1 (en) * 2012-12-04 2021-04-07 Samsung Electronics Co., Ltd. Audio providing apparatus
WO2014168618A1 (en) * 2013-04-11 2014-10-16 Nuance Communications, Inc. System for automatic speech recognition and audio entertainment
CN108806704B (zh) 2013-04-19 2023-06-06 韩国电子通信研究院 多信道音频信号处理装置及方法
US10075795B2 (en) 2013-04-19 2018-09-11 Electronics And Telecommunications Research Institute Apparatus and method for processing multi-channel audio signal
CN103237240A (zh) * 2013-05-08 2013-08-07 无锡北斗星通信息科技有限公司 地面信道传输超高清数字电视信号的数字机顶盒
CN104240711B (zh) 2013-06-18 2019-10-11 杜比实验室特许公司 用于生成自适应音频内容的方法、系统和装置
EP2830049A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for efficient object metadata coding
EP2830048A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
US9319819B2 (en) 2013-07-25 2016-04-19 Etri Binaural rendering method and apparatus for decoding multi channel audio
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
EP2866227A1 (en) * 2013-10-22 2015-04-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for decoding and encoding a downmix matrix, method for presenting audio content, encoder and decoder for a downmix matrix, audio encoder and audio decoder
CA2944355C (en) * 2014-03-28 2019-06-25 Samsung Electronics Co., Ltd. Method and apparatus for rendering acoustic signal, and computer-readable recording medium
US9462406B2 (en) 2014-07-17 2016-10-04 Nokia Technologies Oy Method and apparatus for facilitating spatial audio capture with multiple devices
CN105336335B (zh) 2014-07-25 2020-12-08 杜比实验室特许公司 利用子带对象概率估计的音频对象提取
TWI587286B (zh) * 2014-10-31 2017-06-11 杜比國際公司 音頻訊號之解碼和編碼的方法及系統、電腦程式產品、與電腦可讀取媒體
CN107004421B (zh) * 2014-10-31 2020-07-07 杜比国际公司 多通道音频信号的参数编码和解码
TWI607655B (zh) * 2015-06-19 2017-12-01 Sony Corp Coding apparatus and method, decoding apparatus and method, and program
EP3260977B1 (en) * 2016-06-21 2019-02-20 Stichting IMEC Nederland A circuit and a method for processing data
CN110235428B (zh) * 2017-02-02 2022-02-25 伯斯有限公司 会议室音频设置
GB201808897D0 (en) * 2018-05-31 2018-07-18 Nokia Technologies Oy Spatial audio parameters
CN110881157B (zh) * 2018-09-06 2021-08-10 宏碁股份有限公司 正交基底修正的音效控制方法及音效输出装置
KR20220151953A (ko) 2021-05-07 2022-11-15 한국전자통신연구원 부가 정보를 이용한 오디오 신호의 부호화 및 복호화 방법과 그 방법을 수행하는 부호화기 및 복호화기

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69428939T2 (de) * 1993-06-22 2002-04-04 Deutsche Thomson-Brandt Gmbh Verfahren zur Erhaltung einer Mehrkanaldekodiermatrix
US6009179A (en) * 1997-01-24 1999-12-28 Sony Corporation Method and apparatus for electronically embedding directional cues in two channels of sound
US6016473A (en) 1998-04-07 2000-01-18 Dolby; Ray M. Low bit-rate spatial coding method and system
US6230130B1 (en) 1998-05-18 2001-05-08 U.S. Philips Corporation Scalable mixing for speech streaming
US6694027B1 (en) * 1999-03-09 2004-02-17 Smart Devices, Inc. Discrete multi-channel/5-2-5 matrix system
US6898411B2 (en) * 2000-02-10 2005-05-24 Educational Testing Service Method and system for online teaching using web pages
US7660424B2 (en) * 2001-02-07 2010-02-09 Dolby Laboratories Licensing Corporation Audio channel spatial translation
KR100414196B1 (ko) 2001-04-24 2004-01-07 금호타이어 주식회사 타이어의 배수성 측정장치
US20030007648A1 (en) 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
US7583805B2 (en) 2004-02-12 2009-09-01 Agere Systems Inc. Late reverberation-based synthesis of auditory scenes
ES2323294T3 (es) 2002-04-22 2009-07-10 Koninklijke Philips Electronics N.V. Dispositivo de decodificacion con una unidad de decorrelacion.
KR20050021484A (ko) 2002-07-16 2005-03-07 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 코딩
AU2003269551A1 (en) * 2002-10-15 2004-05-04 Electronics And Telecommunications Research Institute Method for generating and consuming 3d audio scene with extended spatiality of sound source
US7698006B2 (en) * 2002-10-15 2010-04-13 Electronics And Telecommunications Research Institute Apparatus and method for adapting audio signal according to user's preference
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
FI118247B (fi) * 2003-02-26 2007-08-31 Fraunhofer Ges Forschung Menetelmä luonnollisen tai modifioidun tilavaikutelman aikaansaamiseksi monikanavakuuntelussa
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
US8135136B2 (en) 2004-09-06 2012-03-13 Koninklijke Philips Electronics N.V. Audio signal enhancement
US7720230B2 (en) 2004-10-20 2010-05-18 Agere Systems, Inc. Individual channel shaping for BCC schemes and the like
US20060106620A1 (en) * 2004-10-28 2006-05-18 Thompson Jeffrey K Audio spatial environment down-mixer
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
SE0402649D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
KR101215868B1 (ko) * 2004-11-30 2012-12-31 에이저 시스템즈 엘엘시 오디오 채널들을 인코딩 및 디코딩하는 방법, 및 오디오 채널들을 인코딩 및 디코딩하는 장치
US7787631B2 (en) 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7573912B2 (en) * 2005-02-22 2009-08-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschunng E.V. Near-transparent or transparent multi-channel encoder/decoder scheme
DE602006015294D1 (de) * 2005-03-30 2010-08-19 Dolby Int Ab Mehrkanal-audiocodierung
ES2347274T3 (es) * 2005-03-30 2010-10-27 Koninklijke Philips Electronics N.V. Codificacion de audio multicanal ajustable a escala.
MX2007015118A (es) * 2005-06-03 2008-02-14 Dolby Lab Licensing Corp Aparato y metodo para codificacion de senales de audio con instrucciones de decodificacion.
WO2007037613A1 (en) * 2005-09-27 2007-04-05 Lg Electronics Inc. Method and apparatus for encoding/decoding multi-channel audio signal
RU2008132156A (ru) * 2006-01-05 2010-02-10 Телефонактиеболагет ЛМ Эрикссон (пабл) (SE) Персонализированное декодирование многоканального объемного звука
DE602006016017D1 (de) * 2006-01-09 2010-09-16 Nokia Corp Steuerung der dekodierung binauraler audiosignale
KR100803212B1 (ko) * 2006-01-11 2008-02-14 삼성전자주식회사 스케일러블 채널 복호화 방법 및 장치
EP1974344A4 (en) * 2006-01-19 2011-06-08 Lg Electronics Inc METHOD AND APPARATUS FOR DECODING A SIGNAL
EP3267439A1 (en) * 2006-02-03 2018-01-10 Electronics and Telecommunications Research Institute Method and apparatus for control of rendering multiobject or multichannel audio signal using spatial cue
US8139775B2 (en) * 2006-07-07 2012-03-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Concept for combining multiple parametrically coded audio sources
US7876904B2 (en) * 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
JP5337941B2 (ja) * 2006-10-16 2013-11-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ マルチチャネル・パラメータ変換のための装置および方法
EP2115739A4 (en) 2007-02-14 2010-01-20 Lg Electronics Inc METHODS AND APPARATUSES FOR ENCODING AND DECODING AUDIO SIGNALS BASED ON OBJECTS
WO2008120933A1 (en) * 2007-03-30 2008-10-09 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel

Also Published As

Publication number Publication date
CN101410891A (zh) 2009-04-15
US10277999B2 (en) 2019-04-30
EP2629292B1 (en) 2016-06-29
US20120294449A1 (en) 2012-11-22
US20200267488A1 (en) 2020-08-20
KR101395253B1 (ko) 2014-05-15
EP2528058A3 (en) 2012-12-12
EP2528058A2 (en) 2012-11-28
EP2629292A2 (en) 2013-08-21
WO2007089131A1 (en) 2007-08-09
US20190215633A1 (en) 2019-07-11
EP1989704A4 (en) 2012-02-22
KR20120099192A (ko) 2012-09-07
CN102693727A (zh) 2012-09-26
KR20070079945A (ko) 2007-08-08
CN103366747B (zh) 2017-05-17
EP2528058B1 (en) 2017-05-17
EP2629292A3 (en) 2014-04-02
US20090144063A1 (en) 2009-06-04
US11375331B2 (en) 2022-06-28
KR101294022B1 (ko) 2013-08-08
JP2009525671A (ja) 2009-07-09
CN102693727B (zh) 2015-06-10
EP1989704A1 (en) 2008-11-12
US10652685B2 (en) 2020-05-12
EP1989704B1 (en) 2013-10-16
EP3267439A1 (en) 2018-01-10
CN103366747A (zh) 2013-10-23
US9426596B2 (en) 2016-08-23

Similar Documents

Publication Publication Date Title
JP4966981B2 (ja) 空間キューを用いたマルチオブジェクト又はマルチチャネルオーディオ信号のレンダリング制御方法及びその装置
JP5081838B2 (ja) オーディオ符号化及び復号
JP5490143B2 (ja) ダウンミックスオーディオ信号をアップミックスするためのアップミキサー、方法、および、コンピュータ・プログラム
EP2198632B1 (en) Method and apparatus for generating a binaural audio signal
JP5694279B2 (ja) 符号化装置
JP5563647B2 (ja) マルチチャンネル復号化方法及びマルチチャンネル復号化装置
RU2643644C2 (ru) Кодирование и декодирование аудиосигналов
KR102551796B1 (ko) 프레젠테이션 변환 파라미터들을 사용하는 오디오 인코딩 및 디코딩
JP6797187B2 (ja) オーディオ・デコーダおよびデコード方法
JP2012516461A (ja) ダウンミックスオーディオ信号をアップミックスするための装置、方法およびコンピュータ・プログラム
JP7229218B2 (ja) データ・ストリームを形成するための方法、媒体、システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110826

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111128

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111226

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120402

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4966981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150406

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250