JP6843945B2 - オーディオ提供装置及びオーディオ提供方法 - Google Patents

オーディオ提供装置及びオーディオ提供方法 Download PDF

Info

Publication number
JP6843945B2
JP6843945B2 JP2019208303A JP2019208303A JP6843945B2 JP 6843945 B2 JP6843945 B2 JP 6843945B2 JP 2019208303 A JP2019208303 A JP 2019208303A JP 2019208303 A JP2019208303 A JP 2019208303A JP 6843945 B2 JP6843945 B2 JP 6843945B2
Authority
JP
Japan
Prior art keywords
channel
audio signal
audio
rendering
providing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019208303A
Other languages
English (en)
Other versions
JP2020025348A (ja
Inventor
ジョン，サン−ベ
キム，ソン−ミン
パク，ジェ−ハ
ソン，サン−モ
チョウ，ヒョン
チョン，ヒョン−ジュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2020025348A publication Critical patent/JP2020025348A/ja
Application granted granted Critical
Publication of JP6843945B2 publication Critical patent/JP6843945B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Description

本発明は、オーディオ提供装置及びオーディオ提供方法に係り、さらに詳細には、多様なフォーマットのオーディオ信号を、オーディオ再生システムに最適化されるように、レンダリングして出力するオーディオ提供装置及びオーディオ提供方法に関する。
現在、マルチメディア市場は、多様なオーディオフォーマットが混在している状況である。例えば、オーディオ提供装置は、２チャネルのオーディオフォーマットから２２．２チャネルのオーディオフォーマットまで、多様なオーディオフォーマットを提供している。特に、最近では、立体的な空間において音源を表現することができる７．１チャネル、１１．１チャネル及び２２．２チャネルのようなオーディオシステムが提供されている。
しかし、現在提供されるほとんどのオーディオ信号は、２．１チャネルフォーマットや、５．１チャネルフォーマットであり、立体的な空間において音源を表現するのに限界が存在する。また、７．１チャネル、１１．１チャネル及び２２．２チャネルのオーディオ信号を再生するためのオーディオシステムを家庭に設けるには、現実的な困難さが伴う。
従って、入力信号のフォーマット、及びオーディオ提供装置によって能動的にオーディオ信号をレンダリングするための方案の模索が要請される。
本発明は、前述の問題点を解決するために案出されたものであり、チャネルオーディオ信号をアップミキシングまたはダウンミキシングを介して、聴取環境に最適化され、オブジェクトオーディオ信号を軌道情報によってレンダリングし、聴取環境に最適化された音像を提供することができるオーディオ提供方法、及びそれを適用したオーディオ提供装置を提供するところある。
前記目的を達成するための本発明の一実施形態によるオーディオ提供装置は、オブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングするオブジェクト・レンダリング部と、第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングするチャネル・レンダリング部と、前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングするミキシング部と、を含む。
そして、前記オブジェクト・レンダリング部は、前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する軌道情報分析部と、前記変換された三次元座標情報を基に、距離制御情報を生成する距離制御部と、前記変換された三次元座標情報を基に、デプス制御情報を生成するデプス制御部と、前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する定位部と、前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングするレンダリング部と、を含んでもよい。
また、前記距離制御部は、前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることができる。
そして、前記デプス制御部は、前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、前記デプスゲインは、ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現される。
また、前記定位部は、前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することができる。
そして、前記レンダリング部は、前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることができる。
また、前記オブジェクト・レンダリング部は、前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することができる。
そして、前記オーディオ提供装置が同一高度を有する複数のスピーカを利用してオーディオを再生する場合、前記オブジェクト・レンダリング部は、前記オブジェクトオーディオ信号のスペクトル特性（spectral characteristics）を補正し、前記オブジェクトオーディオ信号に仮想高度情報を提供する仮想フィルタ部と、前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする仮想レンダリング部と、を含んでもよい。
また、前記仮想フィルタ部は、複数の段階で構成されたツリー構造をなすことができる。
そして、前記チャネル・レンダリング部は、前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元でもある。
また、前記チャネル・レンダリング部は、前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元でもある。
そして、前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含んでもよい。
また、前記チャネル・レンダリング部は、前記第１チャネル数を有するオーディオ信号を、前記第２チャネル数を有するオーディオ信号にレンダリングする過程において、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することができる。
そして、前記ミキシング部は、前記レンダリングされたオブジェクトオーディオ信号と、前記第２チャネル数を有するオーディオ信号とをミキシングする間、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することができる。
また、前記オブジェクトオーディオ信号は、ユーザにオブジェクトオーディオ信号の選択のためのオブジェクトオーディオ信号のＩＤ及び類型情報のうち少なくとも一つを保存することができる。
一方、前記目的を達成するための本発明の一実施形態によるオブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングする段階と、第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングする段階と、前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングする段階と、を含む。
そして、前記オブジェクトオーディオ信号をレンダリングする段階は、前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する段階と、前記変換された三次元座標情報を基に、距離制御情報を生成する段階と、前記変換された三次元座標情報を基に、デプス制御情報を生成する段階と、前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する段階と、前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含んでもよい。
また、前記距離制御情報を生成する段階は、前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることができる。
そして、前記デプス制御情報を生成する段階は、前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、前記デプスゲインは、ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現される。
また、前記定位情報を生成する段階は、前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することができる。
そして、前記レンダリングする段階は、前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることができる。
また、前記オブジェクトオーディオ信号をレンダリングする段階は、前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することができる。
そして、前記オーディオ提供装置が同一高度を有する複数のスピーカを利用してオーディオを再生する場合、前記オブジェクトオーディオ信号をレンダリングする段階は、前記オブジェクトオーディオ信号のスペクトル特性（spectral characteristics）を補正し、前記オブジェクトオーディオ信号に仮想高度情報を算出する段階と、前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含んでもよい。
また、前記算出する段階は、複数の段階で構成されたツリー構造をなす仮想フィルタを利用して、前記オブジェクトオーディオ信号の仮想高度情報を算出することができる。
そして、前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元でもある。
また、前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元でもある。
また、前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含んでもよい。
前述のような本発明の多様な実施形態によって、オーディオ提供装置は、多様なフォーマットを有するオーディオ信号を、オーディオシステム空間に最適化されるように再生することができる。
本発明の一実施形態によるオーディオ提供装置の構成を示すブロック図である。 本発明の一実施形態によるオブジェクト・レンダリング部の構成を図示したブロック図である。 本発明の一実施形態によるオブジェクトオーディオ信号の軌道情報について説明するための図面である。 本発明の一実施形態によるオブジェクトオーディオ信号の距離情報による距離ゲインについて説明するためのグラフである。 本発明の一実施形態によるオブジェクトオーディオ信号のデプス情報によるデプスゲインについて説明するためのグラフである。 本発明の一実施形態によるオブジェクトオーディオ信号のデプス情報によるデプスゲインについて説明するためのグラフである。 本発明の他の実施形態による仮想三次元オブジェクトオーディオ信号を提供するためのオブジェクト・レンダリング部の構成を示すブロック図である。 本発明の一実施形態による仮想フィルタ部について説明するための図面である。 本発明の一実施形態による仮想フィルタ部について説明するための図面である。 本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。 本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。 本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。 本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。 本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。 本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。 本発明の多様な実施形態によるオーディオ信号のチャネル・レンダリングについて説明するための図面である。 本発明の一実施形態によるオーディオ信号提供方法について説明するための流れ図である。 本発明の他の実施形態によるオーディオ提供装置の構成を図示したブロック図である。
以下では、図面を参照し、本発明についてさらに詳細に説明する。図１は、本発明の一実施形態によるオーディオ提供装置１００の構成を示すブロック図である。図１に図示されているように、オーディオ提供装置１００は、入力部１１０、分離部１２０、オブジェクト・レンダリング部１３０、チャネル・レンダリング部１４０、ミキシング部１５０及び出力部１６０を含む。
入力部１１０は、多様なソースからオーディオ信号を受信することができる。このとき、オーディオソースは、チャネルオーディオ信号及びオブジェクトオーディオ信号を含んでもよい。ここで、チャネルオーディオ信号は、当該フレームの背景音を含むオーディオ信号であり、第１チャネル数（例えば、５．１チャネル、７．１チャネルなど）を有することができる。また、オブジェクトオーディオ信号は、モーションを有するオブジェクトであるか、あるいは当該フレームで重要なオブジェクトのオーディオ信号でもある。オブジェクトオーディオ信号の一例として、人の声、銃声などを含んでもよい。オブジェクトオーディオ信号には、オブジェクトオーディオ信号の軌道情報が含まれてもよい。
分離部１２０は、入力されたオーディオ信号を、チャネルオーディオ信号と、オブジェクトオーディオ信号とに分離する。そして、分離部１２０は、分離されたオブジェクトオーディオ信号及びチャネルオーディオ信号を、それぞれオブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０に出力することができる。
オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号の軌道情報を基に、入力されたオブジェクトオーディオ信号をレンダリングする。このとき、オブジェクト・レンダリング部１３０は、オーディオ提供装置１００のスピーカレイアウトによって入力されたオブジェクトオーディオ信号をレンダリングすることができる。例えば、オーディオ提供装置１００のスピーカレイアウトが同一高度を有する二次元である場合、オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号を二次元にレンダリングすることができる。また、オーディオ提供装置１００のスピーカレイアウトが複数の高度を有する三次元である場合、オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号を三次元にレンダリングすることができる。また、オーディオ提供装置１００のスピーカレイアウトが同一高度を有する二次元であるとしても、オブジェクト・レンダリング部１３０は、入力されたオブジェクトオーディオ信号に仮想高度情報を付与し、三次元にレンダリングすることができる。オブジェクト・レンダリング部１３０は、図２ないし図７Ｂを参照して詳細に説明する。
図２は、本発明の一実施形態によるオブジェクト・レンダリング部１３０の構成を示すブロック図である。図２に図示されているように、オブジェクト・レンダリング部１３０は、軌道情報分析部１３１、距離制御部１３２、デプス制御部１３３、定位部１３４及びレンダリング部１３５を含む。
軌道情報分析部１３１は、オブジェクトオーディオ信号の軌道情報を入力されて分析する。具体的には、軌道情報分析部１３１は、オブジェクトオーディオ信号の軌道情報を、レンダリングに必要な三次元座標情報に変換することができる。例えば、軌道情報分析部１３１は、図３に図示されているように、入力されたオブジェクトオーディオ信号Ｏを（ｒ，θ，φ）の座標情報に分析することができる。このとき、ｒは、原点とオブジェクトオーディオ信号との距離であり、θは、音像の水平面上の角度であり、φは、音像の高度角度である。
距離制御部１３２は、変換された三次元座標情報を基に、距離制御情報を生成する。具体的には、距離制御部１３２は、軌道情報分析部１３１を介して分析された三次元上の距離ｒを基に、オブジェクトオーディオ信号の距離ゲインを算出する。このとき、距離制御部１３２は、三次元上の距離ｒに反比例して距離ゲインを算出することができる。すなわち、距離制御部１３２は、オブジェクトオーディオ信号の距離が遠いほど、オブジェクトオーディオ信号の距離ゲインを減少させ、オブジェクトオーディオ信号の距離が近いほど、オブジェクトオーディオ信号の距離ゲインを増大させることができる。また、距離制御部１３２は、原点に近くなる場合、距離ゲインが発散しないように、純粋反比例ではない上限ゲイン値を設定することができる。例えば、距離制御部１３２は、下記数式（１）のように、距離ゲインｄｇを算出することができる。
すなわち、距離制御部１３２は、前述の数式を基に、図４に図示されているように、距離ゲイン値ｄｇが１以上３．３以下になるように設定することができる。
デプス制御部１３３は、変換された三次元座標情報を基に、デプス制御情報を生成する。このとき、デプス制御部１３３は、原点と、オブジェクトオーディオ信号の水平面投影距離ｄとを基に、デプスゲインを獲得することができる。
このとき、デプス制御部１３３は、ネガティブベクトル及びポジティブベクトルの和でもってデプスゲインを表現することができる。具体的には、オブジェクトオーディオ信号の三次元座標において、ｒ＜１である場合、すなわち、オブジェクトオーディオ信号がオーディオ提供装置１００に含まれたスピーカで構成された区間内に存在する場合、ポジティブベクトルは、（ｒ，θ，φ）と定義され、ネガティブベクトルは、（ｒ，θ＋１８０，φ）と定義される。デプス制御部１３３は、オブジェクトオーディオ信号を定位するために、オブジェクトオーディオ信号の軌道ベクトル（trajectory vector）をポジティブベクトルとネガティブベクトルとの和で表現するためのポジティブベクトルのデプスゲインｖｐ、及びネガティブバックトのデプスゲインｖｎを計算することができる。このとき、ポジティブベクトルのデプスゲインｖｐ、及びネガティブバックトのデプスゲインｖｎは、下記数式（２）のように計算される。
すなわち、デプス制御部１３３は、水平面投影距離ｄが０から１までであるポジティブベクトルのデプスゲイン、及びネガティブベクトルのデプスゲインを図５Ａに図示されているように算出することができる。
また、デプス制御部１３３は、ポジティブベクトル及びヌルベクトルの和でもってデプスゲインを表現することができる。具体的には、全てのチャネルのパニングゲインと位置との積の和が０に収斂される方向がない場合のパニングゲインを、ヌルベクトル（null vector）と定義することができる。特に、デプス制御部１３３は、水平面投影距離ｄが０に近くなれば、ヌルベクトルのデプスゲインは、１にマッピングされ、水平面投影距離ｄが１に近くなれば、ポジティブベクトルのデプスゲインが、１にマッピングされるように、ポジティブベクトルのデプスゲインｖｐ、及びヌルベクトルのデプスゲインｖｎｌｌを計算することができる。このとき、ポジティブベクトルのデプスゲインｖｐ、及びヌルベクトルのデプスゲインｖｎｌｌは、下記数式（３）のように計算される。
すなわち、デプス制御部１３３は、水平面投影距離ｄが０から１までであるポジティブベクトルのデプスゲイン、及びヌルベクトルのデプスゲインを図５Ｂに図示されているように算出することができる。
一方、デプス制御部１３３によってデプス制御を行えば、水平面投影距離ｄが０に近くなる場合、全てのスピーカに音が出力される。これにより、パニング境界（panning boundary）に発生する不連続性が低減する。
定位部１３４は、変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する。特に、定位部１３４は、オーディオ提供装置１００のスピーカレイアウトによって、オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することができる。具体的には、定位部１３４は、オブジェクトオーディオ信号の軌道と同一方向のポジティブベクトルを定位させるためのトリプレット（triplet）スピーカを選択し、ポジティブベクトルのトリプレットスピーカに係わる三次元パニング係数ｇｐを計算することができる。そして、デプス制御部１３３が、ポジティブベクトル及びネガティブベクトルでデプスゲインを表現する場合、定位部１３４は、オブジェクトオーディオ信号の軌道と反対方向のネガティブベクトルを定位させるためのトリプレットスピーカを選択し、ネガティブベクトルのトリプレットスピーカに係わる三次元パニング係数ｇｎを計算することができる。
レンダリング部１３５は、距離制御情報、デプス制御情報及び定位情報を基に、オブジェクトオーディオ信号をレンダリングする。特に、レンダリング部１３５は、距離制御部１３２から距離ゲインｄｇを受信し、デプス制御部１３３からデプスゲインｖを受信し、定位部１３４からパニングゲインｇを受信し、距離ゲインｄｇ、デプスゲインｖ、パニングゲインｇをオブジェクトオーディオ信号に適用させ、マルチチャネルのオブジェクトオーディオ信号を生成することができる。特に、オブジェクトオーディオ信号のデプスゲインが、ポジティブベクトルとネガティブベクトルとの和によって表現される場合、レンダリング部１３５は、ｍ番目チャネルの最終ゲインＧｍを、下記数式（４）のように算出することができる。
このとき、ｇｐ，ｍは、ポジティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数であり、ｇｎ，ｍは、ネガティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数でもある。
また、オブジェクトオーディオ信号のデプスゲインが、ポジティブベクトルとヌルベクトルとの和によって表現される場合、レンダリング部１３５は、ｍ番目チャネルの最終ゲインＧｍを、下記数式（５）のように算出することができる。
このとき、ｇｐ，ｍは、ポジティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数であり、ｇｎｌｌ，ｍは、ネガティブベクトルを定位した場合、ｍチャネルに適用されるパニング係数でもある。一方、Σｇｎｌｌ，ｍは、０にもなる。
そして、レンダリング部１３５は、オブジェクトオーディオ信号であるｘに適用させ、ｍ番目チャネルのオブジェクトオーディオ信号の最終出力Ｙｍを、下記数式（６）のように算出することができる。
前述のように算出されたオブジェクトオーディオ信号の最終出力Ｙｍは、ミキシング部１５０に出力される。
また、オブジェクトオーディオ信号が複数個存在する場合、オブジェクト・レンダリング部１３０は、複数のオブジェクトオーディオ信号間の位相差を算出し、複数のオブジェクトオーディオ信号のうち一つを、算出された位相差ほど移動させ、複数のオブジェクトオーディオ信号を合成することができる。
具体的には、複数のオブジェクトオーディオ信号が入力される間、複数のオブジェクトオーディオ信号それぞれが、同一信号であるか、あるいは位相が互いに反対である場合、複数のオブジェクトオーディオ信号をそのまま合成すれば、複数のオブジェクトオーディオ信号の重畳によるオーディオ信号の歪曲が発生する。従って、オブジェクト・レンダリング部１３０は、複数のオブジェクトオーディオ信号間の相関度（correlation）を算出し、相関度が既設定値以上である場合、複数のオブジェクトオーディオ信号間の位相差を算出し、複数のオブジェクトオーディオ信号のうち一つを、算出された位置差ほど移動させ、複数のオブジェクトオーディオ信号を合成することができる。それにより、類似した複数のオブジェクトオーディオ信号が入力される場合、複数のオブジェクトオーディオ信号の合成による歪曲を防止することができる。
一方、前述の実施形態では、オーディオ提供装置１００のスピーカレイアウトが異なる高度感を有する三次元であるが、それは、一実施形態に過ぎず、オーディオ提供装置１００のスピーカレイアウトが同一高度感を有する二次元でもある。特に、オーディオ提供装置１００のスピーカレイアウトが、同一高度感を有する二次元である場合、オブジェクト・レンダリング部１３０は、前述のオブジェクトオーディオ信号の軌道情報のうち、φ値を０に設定する。
また、オーディオ提供装置１００のスピーカレイアウトが、同一高度感を有する二次元でもあるが、オーディオ提供装置１００は、二次元のスピーカレイアウトを介して、仮想で三次元のオブジェクトオーディオ信号を提供することができる。
以下では、仮想の三次元オブジェクトオーディオ信号を提供する実施形態について、図６及び図７を参照して説明する。
図６は、本発明の他の実施形態による、仮想三次元オブジェクトオーディオ信号を提供するためのオブジェクト・レンダリング部１３０’の構成を示すブロック図である。図６に図示されているように、オブジェクト・レンダリング部１３０’は、仮想フィルタ部１３６、三次元レンダリング部１３７、仮想レンダリング部１３８及びミキシング部１３９を含む。
三次元レンダリング部１３７は、図２ないし図５Ｂに図示されているような方法を利用して、オブジェクトオーディオ信号をレンダリングすることができる。このとき、三次元レンダリング部１３７は、オーディオ提供装置１００の物理的なスピーカに出力することができるオブジェクトオーディオ信号をミキシング部１３９に出力し、異なる高度感を提供する仮想スピーカの仮想パニングゲインｇｍ，ｔｏｐを仮想レンダリング部１３７に出力することができる。
仮想フィルタ部１３６は、オブジェクトオーディオ信号の音色を補正させるブロックであり、心理音響を基に、入力されたオブジェクトオーディオ信号のスペクトル特性（spectral characteristics）を補正し、仮想スピーカの位置に音像を提供する。このとき、仮想フィルタ部１３６は、ＨＲＴＦ（head related transfer function）、ＢＲＩＲ（binaural room impulse response）のような多様な形態のフィルタによって具現される。
また、仮想フィルタ部１３６の長さがフレーム長より短い場合、仮想フィルタ部１３６を、ブロックコンボルーション（block convolution）を介して適用させることができる。
また、ＦＦＴ（fast Fourier transform）、ＭＤＣＴ（modified discrete cosine transform）、ＱＭＦ（quadrature mirror filter）のような周波数ドメインでレンダリングを行う場合、仮想フィルタ部１３６は、乗算によって適用される。
複数の仮想トップレイヤスピーカ（virtual top layer speaker）の場合、仮想フィルタ部１３６は、１つの高度フィルタ（elevation filter）及び物理的なスピーカの配分式を介して、複数の仮想トップレイヤスピーカを生成することができる。
また、複数の仮想トップレイヤスピーカ及び仮想バックスピーカ（virtual back speaker）の場合、仮想フィルタ部１３６は、それぞれ異なる位置で、スペクトル相関（spectral coloration）を適用させるための複数の仮想フィルタ及び物理的なスピーカの配分式を介して、複数の仮想トップレイヤスピーカ及び仮想バックスピーカを生成することができる。
また、仮想フィルタ部１３６は、Ｈ１，Ｈ２，…，ＨＮのようなＮ個の異なるスペクトル相関を使用する場合、演算量を減らすために、ツリー構造で設計が可能である。具体的には、仮想フィルタ部１３６は、図７Ａに図示されているように、高さ（height）を認知するのに共通して使用するnotch／peakをＨ０と設計し、Ｈ１ないしＨＮからＨ０の特性を差し引いた残りの成分であるＫ１ないしＫＮを、ＨＯとカスケード（cascade）形態で連結することができる。また、仮想フィルタ部１３６は、共通成分とスペクトル相関とによって、図７Ｂに図示されているような複数の段階で構成されたツリー構造をなすことができる。
仮想レンダリング部１３８は、仮想チャネルを物理的なチャネルで表現するためのレンダリングブロックである。特に、仮想レンダリング部１３８は、仮想フィルタ部１３６から出力された仮想チャネル配分式によって、仮想スピーカに出力されたオブジェクトオーディオ信号を生成し、生成された仮想スピーカのオブジェクトオーディオ信号に、仮想パニングゲインｇｍ，ｔｏｐを乗じ、出力信号を合成することができる。このとき、複数の物理的な平面スピーカに配分する程度によって、仮想スピーカの位置が異なり、この配分の程度を仮想チャネル配分式と定義する。
ミキシング部１３９は、物理的なチャネルのオブジェクトオーディオ信号と、仮想チャネルのオブジェクトオーディオ信号とをミキシングする。
これにより、二次元のスピーカレイアウトを有するオーディオ提供装置１００を介して、オブジェクトオーディオ信号が三次元上に位置するように表現することができる。
再び図１について説明すれば、チャネル・レンダリング部１２０は、第１チャネル数を有するチャネルオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングすることができる。このとき、チャネル・レンダリング部１２０は、スピーカレイアウトによって入力された第１チャネル数を有するチャネルオーディオ信号を、第２チャネル数を有するオーディオ信号に変更することができる。
具体的には、チャネルオーディオ信号のレイアウトと、オーディオ提供装置１００のスピーカレイアウトとが同一である場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号を、チャネルの変化なしに、レンダリングすることができる。
また、チャネルオーディオ信号のチャネル数が、オーディオ提供装置１００のスピーカレイアウトのチャネル数より多い場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号をダウンミックスし、レンダリングを行うことができる。例えば、チャネルオーディオ信号のチャネルが７．１チャネルであり、オーディオ提供装置１００のスピーカレイアウトが５．１チャネルである場合、チャネル・レンダリング部１２０は、７．１チャネルのチャネルオーディオ信号を、５．１チャネルにダウンミックスする。
特に、チャネルオーディオ信号のダウンミックスを行う場合、チャネル・レンダリング部１２０は、入力されたチャネルオーディオ信号の軌道が一定に停止しているオブジェクトであると判断し、ダウンミックスを行うことができる。また、三次元のチャネルオーディオ信号を二次元ダウンミックスする場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号の高度成分を除去して二次元ダウンミックスするか、あるいは図６で説明したような仮想の高度感を有するように、仮想三次元にダウンミックスすることができる。また、チャネル・レンダリング部１２０は、正面のオーディオ信号を形成するフロントレフトチャネル、フロントライトチャネル、センターチャネルを除いた全ての信号をダウンミックスし、ライトサラウンドチャネル及びレフトサラウンドチャネルとして具現することができる。また、チャネル・レンダリング部１２０は、マルチチャネル・ダウンミックス方程式を利用して、ダウンミックスを行うことができる。
また、チャネルオーディオ信号のチャネル数が、オーディオ提供装置１００のスピーカレイアウトのチャネル数より少ない場合、チャネル・レンダリング部１２０は、チャネルオーディオ信号をアップミックスし、レンダリングを行うことができる。例えば、チャネルオーディオ信号のチャネルが７．１チャネルであり、オーディオ提供装置１００のスピーカレイアウトが９．１チャネルである場合、チャネル・レンダリング部１２０は、７．１チャネルのチャネルオーディオ信号を、９．１チャネルにアップミックスすることができる。
特に、二次元のチャネルオーディオ信号を三次元にアップミックスする場合、チャネル・レンダリング部１２０は、フロントチャネル及びサラウンドチャネル間の相関度（correlation）を基に、高度成分を有するトップレイヤを生成し、アップミックスを行うか、あるいはチャネル間の分析を介してセンター及びアンビエンス（ambience）に分けてアップミックスを行うことができる。
また、チャネル・レンダリング部１４０は、第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングする過程において、相関度を有するオーディオ信号間の位相差を算出し、複数のオーディオ信号のうち一つを、算出された位相差ほど移動させ、複数のオーディオ信号を合成することができる。
一方、オブジェクトオーディオ信号、及び第１チャネル数を有するチャネルオーディオ信号のうち少なくとも一つは、特定フレームに対して、仮想三次元レンダリングを行うか、あるいは二次元レンダリングを行うかということを決定するガイド情報を含んでもよい。従って、オブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０それぞれは、オブジェクトオーディオ信号及びチャネルオーディオ信号に含まれたガイド情報を基に、レンダリングを行うことができる。例えば、第１フレームにおいて、オブジェクトオーディオ信号に対して、仮想三次元レンダリングを遂行せよというガイド情報が含まれた場合、オブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０は、第１フレームにおいて、オブジェクトオーディオ信号及びチャネルオーディオ信号に対して、仮想三次元レンダリングを行うことができる。また、第２フレームにおいて、オブジェクトオーディオ信号を二次元レンダリングせよというガイド情報が含まれた場合、オブジェクト・レンダリング部１３０及びチャネル・レンダリング部１４０は、第２フレームにおいて、オブジェクトオーディオ信号及びチャネルオーディオ信号に対して、二次元レンダリングを行うことができる。
ミキシング部１５０は、オブジェクト・レンダリング部１３０から出力されたオブジェクトオーディオ信号と、チャネル・レンダリング部１４０から出力された第２チャネル数を有するチャネルオーディオ信号とをミキシングすることができる。
一方、ミキシング部１５０は、レンダリングされたオブジェクトオーディオ信号と、第２チャネル数を有するオーディオ信号とをミキシングする間、相関度を有するオーディオ信号間の位相差を算出し、複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、複数のオーディオ信号を合成することができる。
出力部１６０は、ミキシング部１５０から出力されたオーディオ信号を出力する。このとき、出力部１６０は、複数のスピーカを含んでもよい。例えば、出力部１６０は、５．１チャネル、７．１チャネル、９．１チャネル、２２．２チャネルのようなスピーカによって具現される。
以下では、図８Ａないし図８Ｇを参照し、本発明の多様な実施形態について説明する。
図８Ａは、本発明の第１実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。このとき、９．１チャネルのチャネルオーディオ信号は、フロントレフトチャネル（ＦＬ：front left channel）、フロントライトチャネル（ＦＲ：front right channel）、フロントセンターチャネル（ＦＣ：front center channel）、サブウーファーチャネル（ＬＦｅ：subwoofer channel）、サラウンドレフトチャネル（ＳＬ：surround left channel）、サラウンドライトチャネル（ＳＲ：surround right channel）、トップフロントレフトチャネル（ＴＬ：top front left channel）、トップフロントライトチャネル（ＴＲ：top front right channel）、バックレフトチャネル（ＢＬ：back left channel）、バックライトチャネル（ＢＲ：back right channel）を含む。
一方、オーディオ提供装置１００は、５．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル（ＦＲＬ、フロントレフトチャネル（ＦＬ）、フロントセンターチャネル（ＦＣ）、サブウーファーチャネル（ＬＦｅ）、サラウンドレフトチャネル（ＳＬ）及びサラウンドライトチャネル（ＳＲ）それぞれに対応するスピーカを具備することができる。
オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、バックレフトチャネル、バックライトチャネルのそれぞれに対応する信号に仮想フィルタリング（virtual filtering）を行い、レンダリングすることができる。
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する仮想三次元レンダリング（virtual ３Ｄ rendering）を行うことができる。
オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、てフロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、５．１チャネルのスピーカを利用して、９．１チャネルの仮想三次元オーディオ環境を構築することができる。
図８Ｂは、本発明の第２実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
一方、オーディオ提供装置１００は、７．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル及びバックライトチャネルそれぞれに対応するスピーカを具備することができる。
オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネルそれぞれに対応する信号に仮想フィルタリングを行ってレンダリングすることができる。
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する仮想三次元レンダリングを行うことができる。
オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、仮想レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックレフトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックライトチャネルのチャネルオーディオ信号、仮想レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックライトチャネルに対応するスピーカに出力することができる。
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、７．１チャネルのスピーカを利用して、９．１チャネルの仮想三次元オーディオ環境を構築することができる。
図８Ｃは、本発明の第３実施形態によるオブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
一方、オーディオ提供装置１００は、９．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル及びトップフロントライトチャネルそれぞれに対応するスピーカを具備することができる。
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する三次元レンダリング（３Ｄ rendering）を行うことができる。
オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号それぞれに、三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、対応するスピーカに出力することができる。
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、９．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。
図８Ｄは、本発明の第４実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
一方、オーディオ提供装置１００は、１１．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル、トップサラウンドライトチャネル、トップバックレフトチャネル及びトップバックライトチャネルそれぞれに対応するスピーカを具備することができる。
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する三次元レンダリングを行うことができる。
オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネル、トップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号それぞれに、三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、対応するスピーカに出力することができる。
そして、オーディオ提供装置１００は、三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２それぞれを，トップサラウンドレフトチャネル、トップサラウンドライトチャネル、トップバックレフトチャネル及びトップバックライトチャネルそれぞれに対応するスピーカに出力することができる。
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、１１．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。
図８Ｅは、本発明の第５実施形態による，オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
一方、オーディオ提供装置１００は、５．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル及びサラウンドライトチャネルそれぞれに対応するスピーカを具備することができる。
オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、バックレフトチャネル、バックライトチャネルそれぞれに対応する信号に、二次元レンダリングを行う。
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する二次元レンダリングを行うことができる。
オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、５．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。すなわち、図８Ａに比べ、本実施形態は、仮想三次元オーディオ信号にレンダリングするのではなく、二次元オーディオ信号にレンダリングすることができる。
図８Ｆは、本発明の第６実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
一方、オーディオ提供装置１００は、７．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル、サラウンドライトチャネル、バックレフトチャネル及びバックライトチャネルそれぞれに対応するスピーカを具備することができる。
オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネルそれぞれに対応する信号に、二次元レンダリングを行うことができる。
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する二次元レンダリングを行うことができる。
オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックレフトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、バックライトチャネルのチャネルオーディオ信号、二次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、バックライトチャネルに対応するスピーカに出力することができる。
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、７．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。すなわち、図８Ｂに比べ、本実施形態は、仮想三次元オーディオ信号にレンダリングするのではなく、二次元オーディオ信号にレンダリングすることができる。
図８Ｇは、本発明の第７実施形態による、オブジェクトオーディオ信号及びチャネルオーディオ信号のレンダリングについて説明するための図面である。
まず、オーディオ提供装置１００は、９．１チャネルのチャネルオーディオ信号、及び２個のオブジェクトオーディオ信号Ｏ１，Ｏ２を受信する。
一方、オーディオ提供装置１００は、５．１チャネルのスピーカレイアウトで構成される。すなわち、オーディオ提供装置１００は、フロントライトチャネル、フロントレフトチャネル、フロントセンターチャネル、サブウーファーチャネル、サラウンドレフトチャネル及びサラウンドライトチャネルそれぞれに対応するスピーカを具備することができる。
オーディオ提供装置１００は、入力されたチャネルオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、バックレフトチャネル、バックライトチャネルそれぞれに対応する信号に、二次元ダウンミックス（２Ｄ down mixing）してレンダリングを行う。
そして、オーディオ提供装置１００は、第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２に対する仮想三次元レンダリングを行うことができる。
オーディオ提供装置１００は、フロントレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、フロントライトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、フロントセンターチャネル及びサブウーファーチャネルそれぞれのチャネルオーディオ信号を、そのままフロントセンターチャネル及びサブウーファーチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドレフトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドレフトチャネルに対応するスピーカに出力することができる。また、オーディオ提供装置１００は、サラウンドライトチャネルのチャネルオーディオ信号、二次元レンダリングされたトップフロントレフトチャネル及びトップフロントライトチャネルのチャネルオーディオ信号、二次元レンダリングされたバックレフトチャネル及びバックライトチャネルのチャネルオーディオ信号、仮想三次元レンダリングされた第１オブジェクトオーディオ信号Ｏ１及び第２オブジェクトオーディオ信号Ｏ２をミキシングし、サラウンドライトチャネルに対応するスピーカに出力することができる。
前述のようなチャネル・レンダリング及びオブジェクトレンダリングを介して、オーディオ提供装置１００は、５．１チャネルのスピーカを利用して、９．１チャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を出力することができる。すなわち、図８Ａと比べ、チャネルオーディオ信号の音像よりは音質が重要であると判断された場合、オーディオ提供装置１００は、チャネルオーディオ信号のみを二次元ダウンミックスし、オブジェクトオーディオ信号を仮想三次元にレンダリングすることができる。
図９は、本発明の一実施形態によるオーディオ信号提供方法について説明するための流れ図である。
まず、オーディオ提供装置１００は、オーディオ信号を入力される（Ｓ９１０）。このとき、オーディオ信号は、第１チャネル数を有するチャネルオーディオ信号及びオブジェクトオーディオ信号を含んでもよい。
そして、オーディオ提供装置１００は、入力されたオーディオ信号を分離する（Ｓ９２０）。具体的には、オーディオ提供装置１００は、入力されたオーディオ信号を、チャネルオーディオ信号及びオブジェクトオーディオ信号に分離することができる。
そして、オーディオ提供装置１００は、オブジェクトオーディオ信号をレンダリングする（Ｓ９３０）。具体的には、オーディオ提供装置１００は、図２ないし図５Ｂで説明したように、オブジェクトオーディオ信号を、二次元または三次元にレンダリングすることができる。また、オーディオ提供装置１００は、図６ないし図７Ｂで説明したように、オブジェクトオーディオ信号を、仮想の三次元オーディオ信号にレンダリングすることができる。
そして、オーディオ提供装置１００は、第１チャネル数を有するチャネルオーディオ信号を第２チャネル数にレンダリングする（Ｓ９４０）。このとき、オーディオ提供装置１００は、入力されたチャネルオーディオ信号をダウンミックスするか、あるいはアップミックスし、レンダリングを行うことができる。また、オーディオ提供装置１００は、入力されたチャネルオーディオ信号のチャネル数を維持し、レンダリングを行うことができる。
そして、オーディオ提供装置１００は、レンダリングされたオブジェクトオーディオ信号と、第２チャネル数を有するチャネルオーディオ信号とをミキシングする（Ｓ９５０）。具体的には、オーディオ提供装置１００は、図８Ａないし図８Ｇで説明したように、レンダリングされたオブジェクトオーディオ信号及びチャネルオーディオ信号をミキシングすることができる。
そして、オーディオ提供装置１００は、ミキシングされたオーディオ信号を出力する（Ｓ９６０）。
前述のようなオーディオ提供方法によって、オーディオ提供装置１００は、多様なフォーマットを有するオーディオ信号を、オーディオシステム空間に最適化されるように再生することができる。
以下では、図１０を参照し、本発明の他の実施形態について説明する。図１０は、本発明の他の実施形態によるオーディオ提供装置１０００の構成を示すブロック図である。図１０に図示されているように、オーディオ提供装置１０００は、入力部１０１０、分離部１０２０、オーディオ信号デコーディング部１０３０、付加情報デコーディング部１０４０、レンダリング部１０５０、ユーザ入力部１０６０、インターフェース部１０７０及び出力部１０８０を含む。
入力部１０１０は、圧縮されたオーディオ信号を入力される。このとき、圧縮されたオーディオ信号には、チャネルオーディオ信号と、オブジェクトオーディオ信号とが含まれた圧縮された形態のオーディオ信号だけではなく、付加情報を含んでもよい。
分離部１０２０は、圧縮されたオーディオ信号を、オーディオ信号と付加情報とに分離し、オーディオ信号をオーディオ信号デコーディング部１０３０に出力し、付加情報を付加情報デコーディング部１０４０に出力する。
オーディオ信号デコーディング部１０３０は、圧縮された形態のオーディオ信号を解除し、レンダリング部１０５０に出力する。一方、オーディオ信号は、マルチチャネルのチャネルオーディオ信号及びオブジェクトオーディオ信号を含む。このとき、マルチチャネルのチャネルオーディオ信号は、背景音及び背景音楽のようなオーディオ信号でもあり、オブジェクトオーディオ信号は、人の声、銃声のような特定物体に係わるオーディオ信号でもある。
付加情報デコーディング部１０４０は、入力されたオーディオ信号の付加情報をデコーディングする。このとき、入力されたオーディオ信号の付加情報には、入力されたオーディオ信号のチャネル数、長さ、ゲイン値、パニングゲイン、位置、角度のような多様な情報が含まれてもよい。
レンダリング部１０５０は、入力された付加情報及びオーディオ信号を基に、レンダリングを行うことができる。このとき、レンダリング部１０５０は、ユーザ入力部１０６０に入力されたユーザ命令により、図２ないし図８Ｇで説明したような多様な方法を利用して、レンダリングを行うことができる。例えば、入力されたオーディオ信号が７．１チャネルのオーディオ信号であり、オーディオ提供装置１０００のスピーカレイアウトが５．１チャネルである場合、レンダリング部１０５０は、ユーザ入力部１０６０を介して入力されたユーザ命令により、７．１チャネルのオーディオ信号を、二次元の５．１チャネルオーディオ信号にダウンミックスすることができ、７．１チャネルのオーディオ信号を、仮想三次元５．１チャネルオーディオ信号にダウンミックスすることができる。また、レンダリング部１０５０は、ユーザ入力部１０６０を介して入力されたユーザ命令により、チャネルオーディオ信号を二次元にレンダリングし、オブジェクトオーディオ信号を、仮想三次元にレンダリングすることができる。
また、レンダリング部１０５０は、ユーザ命令及びスピーカレイアウトによって、レンダリングされたオーディオ信号を、出力部１０８０を介して即座に出力することができるが、オーディオ信号及び付加情報を、インターフェース部１０７０を介して、外部機器１０９０に伝送することができる。特に、７．１チャネルを超えるスピーカレイアウトを有するオーディオ提供装置１０００の場合、レンダリング部１０５０は、オーディオ信号及び付加情報のうち少なくとも一部を、インターフェース部１０７０を介して、外部機器１０９０に伝送することができる。このとき、インターフェース部１０７０は、ＨＤＭＩ（登録商標）インターフェースのようなデジタルインターフェースによって具現される。外部機器１０９０は、入力されたオーディオ信号及び付加情報を利用して、レンダリングを行った後、レンダリングされたオーディオ信号を出力することができる。
しかし、前述のように、レンダリング部１０５０がオーディオ信号及び付加情報を外部機器１０９０に伝送することは、一実施形態に過ぎず、レンダリング部１０５０がオーディオ信号及び付加情報を利用して、オーディオ信号をレンダリングした後、レンダリングされたオーディオ信号を出力することができる。
一方、本発明の一実施形態によるオブジェクトオーディオ信号には、ID（identification）、類型情報または優先順位情報などが含まれたメタデータが含まれてもよい。例えば、オブジェクトオーディオ信号の類型が、対話（dialog）であるか、あるいはコメンタリー（commentary）であるかということを示す情報が含まれてもよい。また、オーディオ信号が放送オーディオ信号である場合、オブジェクトオーディオ信号の類型が第１アンカーであるか、第２アンカーであるか、第１キャスターであるか、第２キャスターであるか、あるいは背景音であるかということを示す情報が含まれてもよい。また、オーディオ信号が音楽オーディオ信号である場合、オブジェクトオーディオ信号の類型が第１ボーカルであるか、第２ボーカルであるか、第１楽器音であるか、あるいは第２楽器音であるかということを示す情報が含まれてもよい。また、オーディオ信号がゲームオーディオ信号である場合、オブジェクトオーディオ信号の類型が、第１効果音であるか、あるいは第２効果音であるかということを示す情報が含まれてもよい。
レンダリング部１０５０は、前述のようなオブジェクトオーディオ信号に含まれたメタデータを分析し、オブジェクトオーディオ信号の優先順位によって、オブジェクトオーディオ信号をレンダリングすることができる。
また、レンダリング部１０５０は、ユーザ選択によって、特定オブジェクトオーディオ信号を除去することができる。例えば、オーディオ信号が運動競技に係わるオーディオ信号である場合、オーディオ提供装置１０００は、ユーザに現在入力されるオブジェクトオーディオ信号の類型を案内するＵＩ（user interface）をディスプレイすることができる。このとき、オブジェクトオーディオ信号には、キャスターの声、解説の声、喊声のようなオブジェクトオーディオ信号が含まれてもよい。ユーザ入力部１０６０を介して、複数のオブジェクトオーディオ信号のうちキャスターの声を除去するユーザ命令が入力された場合、レンダリング部１０５０は、入力されたオブジェクトオーディオ信号のうちキャスターの声を除去し、残りのオブジェクトオーディオ信号を利用して、レンダリングを行うことができる。
また、出力部１０８０は、ユーザ選択によって、特定オブジェクトオーディオ信号に係わるボリュームを増大させるか、あるいは低減させることができる。例えば、オーディオ信号が、映画コンテンツに含まれたオーディオ信号である場合、オーディオ提供装置１０００は、ユーザに現在入力されるオブジェクトオーディオ信号の類型を案内するＵＩをディスプレイすることができる。このとき、オブジェクトオーディオ信号には、第１主人公の声、第２主人公の声、砲弾音、飛行機音などが含まれてもよい。ユーザ入力部１０６０を介して、複数のオブジェクトオーディオ信号のうち、第１主人公の声、第２主人公の声のボリュームを増大させ、砲弾音、飛行機音のボリュームを低減させるユーザ命令が入力された場合、出力部１０８０は、第１主人公の声及び第２主人公の声のボリュームを増大させ、砲弾音、飛行機音のボリュームを低減させることができる。
前述のような実施形態によって、ユーザは、自らが所望するオーディオ信号を操作することができ、ユーザに適するオーディオ環境を構築することができる。
一方、前述の多様な実施形態によるオーディオ提供方法は、プログラムで具現され、ディスプレイ装置または入力装置に提供される。特に、ディスプレイ装置の制御方法を含むプログラムは、非一時的可読媒体（non-transitory computer readable medium）に保存されて提供される。
非一時的可読媒体とは、レジスタ、キャッシュ、メモリのように短い瞬間の間にデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって判読（reading）が可能な媒体を意味する。具体的には、前述の多様なアプリケーションまたはプログラムは、ＣＤ（compact disc）、ＤＶＤ（digital versatile disc）、ハードディスク、ブルーレイディスク、ＵＳＢ（universal serial bus）、メモリカード、ＲＯＭ（read only memory）のような非一時的可読媒体に保存されて提供される。
また、以上では、本発明の望ましい実施形態について図示して説明したが、本発明は、前述の特定の実施形態に限定されるものではなく、特許請求の範囲で請求する本発明の要旨を外れることなしに、当該発明が属する技術分野において、当業者によって多様な変形実施が可能であるということは言うまでもなく、そのような変形実施は、本発明の技術的思想や展望から個別的に理解されることがあってはならない。
上記の実施形態につき以下の付記を残しておく。
（付記１）
オブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングするオブジェクト・レンダリング部と、
第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングするチャネル・レンダリング部と、
前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングするミキシング部と、を含むオーディオ提供装置。
（付記２）
前記オブジェクト・レンダリング部は、
前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する軌道情報分析部と、
前記変換された三次元座標情報を基に、距離制御情報を生成する距離制御部と、
前記変換された三次元座標情報を基に、デプス制御情報を生成するデプス制御部と、
前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する定位部と、
前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングするレンダリング部と、を含むことを特徴とする付記１に記載のオーディオ提供装置。
（付記３）
前記距離制御部は、
前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることを特徴とする付記２に記載のオーディオ提供装置。
（付記４）
前記デプス制御部は、
前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、
前記デプスゲインは、
ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現されることを特徴とする付記３に記載のオーディオ提供装置。
（付記５）
前記定位部は、
前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することを特徴とする付記４に記載のオーディオ提供装置。
（付記６）
前記レンダリング部は、
前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることを特徴とする付記５に記載のオーディオ提供装置。
（付記７）
前記オブジェクト・レンダリング部は、
前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することを特徴とする付記２に記載のオーディオ提供装置。
（付記８）
前記オーディオ提供装置が同一高度を有する複数のスピーカを利用して、オーディオを再生する場合、
前記オブジェクト・レンダリング部は、
前記オブジェクトオーディオ信号のスペクトル特性を補正し、前記オブジェクトオーディオ信号に仮想高度情報を提供する仮想フィルタ部と、
前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする仮想レンダリング部と、を含むことを特徴とする付記１に記載のオーディオ提供装置。
（付記９）
前記仮想フィルタ部は、
複数の段階で構成されたツリー構造をなすことを特徴とする付記８に記載のオーディオ提供装置。
（付記１０）
前記チャネル・レンダリング部は、
前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元であることを特徴とする付記１に記載のオーディオ提供装置。
（付記１１）
前記チャネル・レンダリング部は、
前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元であることを特徴とする付記１に記載のオーディオ提供装置。
（付記１２）
前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含むことを特徴とする付記１に記載のオーディオ提供装置。
（付記１３）
前記チャネル・レンダリング部は、
前記第１チャネル数を有するオーディオ信号を、前記第２チャネル数を有するオーディオ信号にレンダリングする過程において、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することを特徴とする付記１に記載のオーディオ提供装置。
（付記１４）
前記ミキシング部は、
前記レンダリングされたオブジェクトオーディオ信号と、前記第２チャネル数を有するオーディオ信号とをミキシングする間、相関度を有するオーディオ信号間の位相差を算出し、前記複数のオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオーディオ信号を合成することを特徴とする付記１に記載のオーディオ提供装置。
（付記１５）
前記オブジェクトオーディオ信号は、
ユーザにオブジェクトオーディオ信号の選択のためのオブジェクトオーディオ信号のＩＤ及び類型情報のうち少なくとも一つを保存することを特徴とする付記１に記載のオーディオ提供装置。
（付記１６）
オブジェクトオーディオ信号の軌道情報を利用して、前記オブジェクトオーディオ信号をレンダリングする段階と、
第１チャネル数を有するオーディオ信号を、第２チャネル数を有するオーディオ信号にレンダリングする段階と、
前記レンダリングされたオブジェクトオーディオ信号、及び前記第２チャネル数を有するオーディオ信号をミキシングする段階と、を含むオーディオ提供方法。
（付記１７）
前記オブジェクトオーディオ信号をレンダリングする段階は、
前記オブジェクトオーディオ信号の軌道情報を三次元座標情報に変換する段階と、
前記変換された三次元座標情報を基に、距離制御情報を生成する段階と、
前記変換された三次元座標情報を基に、デプス制御情報を生成する段階と、
前記変換された三次元座標情報を基に、オブジェクトオーディオ信号を定位させるための定位情報を生成する段階と、
前記距離制御情報、デプス制御情報及び定位情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含むことを特徴とする付記１６に記載のオーディオ提供方法。
（付記１８）
前記距離制御情報を生成する段階は、
前記オブジェクトオーディオ信号の距離ゲインを算出し、前記オブジェクトオーディオ信号の距離が遠いほど、前記オブジェクトオーディオ信号の距離ゲインを減少させ、前記オブジェクトオーディオ信号の距離が近いほど、前記オブジェクトオーディオ信号の距離ゲインを増大させることを特徴とする付記１７に記載のオーディオ提供方法。
（付記１９）
前記デプス制御情報を生成する段階は、
前記オブジェクトオーディオ信号の水平面上の投影距離を基に、デプスゲインを獲得し、
前記デプスゲインは、
ネガティブベクトル及びポジティブベクトルの和によって表現されるか、あるいはポジティブベクトル及びヌルベクトルの和によって表現されることを特徴とする付記１８に記載のオーディオ提供方法。
（付記２０）
前記定位情報を生成する段階は、
前記オーディオ提供装置のスピーカレイアウトによって、前記オブジェクトオーディオ信号を定位させるためのパニングゲインを算出することを特徴とする付記１９に記載のオーディオ提供方法。
（付記２１）
前記レンダリングする段階は、
前記オブジェクト信号の距離ゲイン、デプスゲイン及びパニングゲインを基に、前記オブジェクトオーディオ信号をマルチチャネルにレンダリングすることを特徴とする付記２０に記載のオーディオ提供方法。
（付記２２）
前記オブジェクトオーディオ信号をレンダリングする段階は、
前記オブジェクトオーディオ信号が複数個存在する場合、前記複数のオブジェクトオーディオ信号のうち相関度を有するオブジェクト間の位相差を算出し、前記複数のオブジェクトオーディオ信号のうち一つを、前記算出された位相差ほど移動させ、前記複数のオブジェクトオーディオ信号を合成することを特徴とする付記１７に記載のオーディオ提供段階。
（付記２３）
前記オーディオ提供装置が同一高度を有する複数のスピーカを利用して、オーディオを再生する場合、
前記オブジェクトオーディオ信号をレンダリングする段階は、
前記オブジェクトオーディオ信号のスペクトル特性を補正し、前記オブジェクトオーディオ信号に仮想高度情報を算出する段階と、
前記仮想フィルタ部によって提供された仮想高度情報を基に、前記オブジェクトオーディオ信号をレンダリングする段階と、を含むことを特徴とする付記１６に記載のオーディオ提供方法。
（付記２４）
前記算出する段階は、
複数の段階で構成されたツリー構造をなす仮想フィルタを利用して、前記オブジェクトオーディオ信号の仮想高度情報を算出することを特徴とする付記２３に記載のオーディオ提供方法。
（付記２５）
前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、
前記第１チャネル数を有するオーディオ信号のレイアウトが二次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より多い前記第２チャネル数を有するオーディオ信号にアップミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、前記第１チャネル数を有するオーディオ信号と異なる高度情報を有する三次元であることを特徴とする付記１６に記載のオーディオ提供方法。
（付記２６）
前記第２チャネル数を有するオーディオ信号にレンダリングする段階は、
前記第１チャネル数を有するオーディオ信号のレイアウトが三次元である場合、前記第１チャネル数を有するオーディオ信号を、前記第１チャネル数より少ない前記第２チャネル数を有するオーディオ信号にダウンミキシングし、
前記第２チャネル数を有するオーディオ信号のレイアウトは、複数のチャネルが同一高度成分を有する二次元であることを特徴とする付記１６に記載のオーディオ提供方法。
（付記２７）
前記オブジェクトオーディオ信号、及び前記第１チャネル数を有するオーディオ信号のうち少なくとも一つは、特定フレームに対して仮想三次元レンダリングを行うか否かということを決定する情報を含むことを特徴とする付記１６に記載のオーディオ提供方法。
１００ オーディオ提供装置
１１０ 入力部
１２０ 分離部
１３０ オブジェクト・レンダリング部
１４０ チャネル・レンダリング部
１５０ ミキシング部
１６０ 出力部

Claims (3)

  1. オブジェクト入力信号を受信する段階と、
    前記オブジェクト入力信号を出力レイアウトに基づいて出力オブジェクト信号にコンバーティングする段階と、
    １つの高さ入力チャネル信号を含む複数の入力チャネル信号を受信する段階と、
    前記受信した複数の入力チャネル信号のうち、相関度を有する入力チャネル信号の位相差を整列する段階と、
    前記整列された位相差、入力レイアウト、及び出力レイアウトに基づいて、高度感のあるサウンドを提供するために、前記複数の入力チャネル信号を複数の出力チャネル信号にコンバーティングする段階と、
    前記出力オブジェクト信号と前記複数の出力チャネル信号とをミキシングする段階と、
    を含み、
    前記複数の出力チャネル信号は、ヘッド関連伝達関数とパニングゲインを使用してコンバーティングされ、
    前記複数の入力チャネル信号の前記入力レイアウトは、１つの高度角度情報を含み、前記複数の出力チャネル信号の前記出力レイアウトは、水平面である、ことを特徴とするオーディオ提供方法。
  2. 前記出力レイアウトは、５．１チャネル信号である、ことを特徴とする請求項１に記載のオーディオ提供方法。
  3. 前記入力チャネル信号の数は、前記出力チャネル信号の数よりも多い、ことを特徴とする請求項１に記載のオーディオ提供方法。
JP2019208303A 2012-12-04 2019-11-18 オーディオ提供装置及びオーディオ提供方法 Active JP6843945B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261732938P 2012-12-04 2012-12-04
US201261732939P 2012-12-04 2012-12-04
US61/732,938 2012-12-04
US61/732,939 2012-12-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017126130A Division JP2017201815A (ja) 2012-12-04 2017-06-28 オーディオ提供装置及びオーディオ提供方法

Publications (2)

Publication Number Publication Date
JP2020025348A JP2020025348A (ja) 2020-02-13
JP6843945B2 true JP6843945B2 (ja) 2021-03-17

Family

ID=50883694

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2015546386A Active JP6169718B2 (ja) 2012-12-04 2013-12-04 オーディオ提供装置及びオーディオ提供方法
JP2017126130A Pending JP2017201815A (ja) 2012-12-04 2017-06-28 オーディオ提供装置及びオーディオ提供方法
JP2019208303A Active JP6843945B2 (ja) 2012-12-04 2019-11-18 オーディオ提供装置及びオーディオ提供方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2015546386A Active JP6169718B2 (ja) 2012-12-04 2013-12-04 オーディオ提供装置及びオーディオ提供方法
JP2017126130A Pending JP2017201815A (ja) 2012-12-04 2017-06-28 オーディオ提供装置及びオーディオ提供方法

Country Status (13)

Country Link
US (3) US9774973B2 (ja)
EP (1) EP2930952B1 (ja)
JP (3) JP6169718B2 (ja)
KR (2) KR102037418B1 (ja)
CN (2) CN104969576B (ja)
AU (3) AU2013355504C1 (ja)
BR (1) BR112015013154B1 (ja)
CA (2) CA2893729C (ja)
MX (3) MX368349B (ja)
MY (1) MY172402A (ja)
RU (3) RU2613731C2 (ja)
SG (2) SG11201504368VA (ja)
WO (1) WO2014088328A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6174326B2 (ja) * 2013-01-23 2017-08-02 日本放送協会 音響信号作成装置及び音響信号再生装置
US9913064B2 (en) * 2013-02-07 2018-03-06 Qualcomm Incorporated Mapping virtual speakers to physical speakers
KR101619760B1 (ko) 2013-03-28 2016-05-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링
US20160066118A1 (en) * 2013-04-15 2016-03-03 Intellectual Discovery Co., Ltd. Audio signal processing method using generating virtual object
US9838823B2 (en) 2013-04-27 2017-12-05 Intellectual Discovery Co., Ltd. Audio signal processing method
EP2879131A1 (en) 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
US10034117B2 (en) 2013-11-28 2018-07-24 Dolby Laboratories Licensing Corporation Position-based gain adjustment of object-based audio and ring-based channel audio
JP6306958B2 (ja) * 2014-07-04 2018-04-04 日本放送協会 音響信号変換装置、音響信号変換方法、音響信号変換プログラム
EP2975864B1 (en) * 2014-07-17 2020-05-13 Alpine Electronics, Inc. Signal processing apparatus for a vehicle sound system and signal processing method for a vehicle sound system
CN106797525B (zh) 2014-08-13 2019-05-28 三星电子株式会社 用于生成和回放音频信号的方法和设备
WO2016049106A1 (en) * 2014-09-25 2016-03-31 Dolby Laboratories Licensing Corporation Insertion of sound objects into a downmixed audio signal
US10856042B2 (en) 2014-09-30 2020-12-01 Sony Corporation Transmission apparatus, transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
CN114554386A (zh) 2015-02-06 2022-05-27 杜比实验室特许公司 用于自适应音频的混合型基于优先度的渲染系统和方法
JP6904250B2 (ja) * 2015-04-08 2021-07-14 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
WO2016172111A1 (en) * 2015-04-20 2016-10-27 Dolby Laboratories Licensing Corporation Processing audio data to compensate for partial hearing loss or an adverse hearing environment
EP3286930B1 (en) 2015-04-21 2020-05-20 Dolby Laboratories Licensing Corporation Spatial audio signal manipulation
CN106303897A (zh) * 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
GB2543275A (en) * 2015-10-12 2017-04-19 Nokia Technologies Oy Distributed audio capture and mixing
JP2019518373A (ja) * 2016-05-06 2019-06-27 ディーティーエス・インコーポレイテッドＤＴＳ，Ｉｎｃ． 没入型オーディオ再生システム
CN109479178B (zh) 2016-07-20 2021-02-26 杜比实验室特许公司 基于呈现器意识感知差异的音频对象聚集
HK1219390A2 (zh) 2016-07-28 2017-03-31 Siremix Gmbh 終端混音設備
US10979844B2 (en) * 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10602296B2 (en) * 2017-06-09 2020-03-24 Nokia Technologies Oy Audio object adjustment for phase compensation in 6 degrees of freedom audio
KR102409376B1 (ko) * 2017-08-09 2022-06-15 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
JP6988904B2 (ja) * 2017-09-28 2022-01-05 株式会社ソシオネクスト 音響信号処理装置および音響信号処理方法
JP6431225B1 (ja) * 2018-03-05 2018-11-28 株式会社ユニモト 音響処理装置、映像音響処理装置、映像音響配信サーバおよびそれらのプログラム
BR112020019890A2 (pt) * 2018-04-11 2021-01-05 Dolby International Ab Métodos, aparelho e sistemas para sinal pré-renderizado para renderização de áudio
BR112021005241A2 (pt) 2018-09-28 2021-06-15 Sony Corporation dispositivo, método e programa de processamento de informações
JP6678912B1 (ja) * 2019-05-15 2020-04-15 株式会社Ｔｈｄ 拡張サウンドシステム、及び拡張サウンド提供方法
JP7136979B2 (ja) * 2020-08-27 2022-09-13 アルゴリディム ゲー・エム・ベー・ハー オーディオエフェクトを適用するための方法、装置、およびソフトウェア
US11576005B1 (en) * 2021-07-30 2023-02-07 Meta Platforms Technologies, Llc Time-varying always-on compensation for tonally balanced 3D-audio rendering
CN113889125B (zh) * 2021-12-02 2022-03-04 腾讯科技（深圳）有限公司 音频生成方法、装置、计算机设备和存储介质
TW202348047A (zh) * 2022-03-31 2023-12-01 瑞典商都比國際公司 用於沉浸式3自由度/6自由度音訊呈現的方法和系統

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5228085A (en) * 1991-04-11 1993-07-13 Bose Corporation Perceived sound
JPH07222299A (ja) * 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd 音像移動処理編集装置
JPH0922299A (ja) 1995-07-07 1997-01-21 Kokusai Electric Co Ltd 音声符号化通信方式
DE69924896T2 (de) 1998-01-23 2005-09-29 Onkyo Corp., Neyagawa Vorrichtung und Verfahren zur Schallbildlokalisierung
JPH11220800A (ja) * 1998-01-30 1999-08-10 Onkyo Corp 音像移動方法及びその装置
KR100904985B1 (ko) * 2001-02-07 2009-06-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 채널 변환
US7508947B2 (en) * 2004-08-03 2009-03-24 Dolby Laboratories Licensing Corporation Method for combining audio signals using auditory scene analysis
US7283634B2 (en) 2004-08-31 2007-10-16 Dts, Inc. Method of mixing audio channels using correlated outputs
JP4556646B2 (ja) * 2004-12-02 2010-10-06 ソニー株式会社 図形情報生成装置、画像処理装置、情報処理装置、および図形情報生成方法
EP1905002B1 (en) 2005-05-26 2013-05-22 LG Electronics Inc. Method and apparatus for decoding audio signal
US8560303B2 (en) 2006-02-03 2013-10-15 Electronics And Telecommunications Research Institute Apparatus and method for visualization of multichannel audio signals
CN102693727B (zh) * 2006-02-03 2015-06-10 韩国电子通信研究院 用于控制音频信号的渲染的方法
WO2007091850A1 (en) 2006-02-07 2007-08-16 Lg Electronics Inc. Apparatus and method for encoding/decoding signal
JP2009526467A (ja) * 2006-02-09 2009-07-16 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号の符号化及び復号化方法とその装置
FR2898725A1 (fr) * 2006-03-15 2007-09-21 France Telecom Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale
US9014377B2 (en) * 2006-05-17 2015-04-21 Creative Technology Ltd Multichannel surround format conversion and generalized upmix
US7756281B2 (en) 2006-05-20 2010-07-13 Personics Holdings Inc. Method of modifying audio content
EP2054875B1 (en) * 2006-10-16 2011-03-23 Dolby Sweden AB Enhanced coding and parameter representation of multichannel downmixed object coding
WO2008046530A2 (en) 2006-10-16 2008-04-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for multi -channel parameter transformation
CA2670864C (en) 2006-12-07 2015-09-29 Lg Electronics Inc. A method and an apparatus for processing an audio signal
JP5941610B2 (ja) 2006-12-27 2016-06-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ トランスコーディング装置
US8270616B2 (en) 2007-02-02 2012-09-18 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
AU2008215231B2 (en) 2007-02-14 2010-02-18 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US9015051B2 (en) 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
US8290167B2 (en) * 2007-03-21 2012-10-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
KR101453732B1 (ko) * 2007-04-16 2014-10-24 삼성전자주식회사 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
KR101312470B1 (ko) * 2007-04-26 2013-09-27 돌비 인터네셔널 에이비 출력 신호 합성 장치 및 방법
KR20090022464A (ko) * 2007-08-30 2009-03-04 엘지전자 주식회사 오디오 신호 처리 시스템
WO2009084919A1 (en) 2008-01-01 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing an audio signal
WO2009084916A1 (en) 2008-01-01 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing an audio signal
CN101903943A (zh) * 2008-01-01 2010-12-01 Lg电子株式会社 用于处理信号的方法和装置
US8315396B2 (en) 2008-07-17 2012-11-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating audio output signals using object based metadata
EP2154911A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
EP2175670A1 (en) 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
US8670575B2 (en) 2008-12-05 2014-03-11 Lg Electronics Inc. Method and an apparatus for processing an audio signal
KR20100065121A (ko) 2008-12-05 2010-06-15 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2214162A1 (en) 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
GB2467534B (en) * 2009-02-04 2014-12-24 Richard Furse Sound system
JP5564803B2 (ja) 2009-03-06 2014-08-06 ソニー株式会社 音響機器及び音響処理方法
US8666752B2 (en) 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
US20110087494A1 (en) * 2009-10-09 2011-04-14 Samsung Electronics Co., Ltd. Apparatus and method of encoding audio signal by switching frequency domain transformation scheme and time domain transformation scheme
EP2663099B1 (en) * 2009-11-04 2017-09-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for providing drive signals for loudspeakers of a loudspeaker arrangement based on an audio signal associated with a virtual source
EP2323130A1 (en) 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
KR101690252B1 (ko) 2009-12-23 2016-12-27 삼성전자주식회사 신호 처리 방법 및 장치
EP2532178A1 (en) 2010-02-02 2012-12-12 Koninklijke Philips Electronics N.V. Spatial sound reproduction
JP5417227B2 (ja) * 2010-03-12 2014-02-12 日本放送協会 マルチチャンネル音響信号のダウンミックス装置及びプログラム
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法
CN102222503B (zh) 2010-04-14 2013-08-28 华为终端有限公司 一种音频信号的混音处理方法、装置及系统
CN102270456B (zh) * 2010-06-07 2012-11-21 华为终端有限公司 一种音频信号的混音处理方法及装置
KR20120004909A (ko) * 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP5658506B2 (ja) 2010-08-02 2015-01-28 日本放送協会 音響信号変換装置及び音響信号変換プログラム
JP5826996B2 (ja) * 2010-08-30 2015-12-02 日本放送協会 音響信号変換装置およびそのプログラム、ならびに、３次元音響パンニング装置およびそのプログラム
US20120093323A1 (en) 2010-10-14 2012-04-19 Samsung Electronics Co., Ltd. Audio system and method of down mixing audio signals using the same
KR20120038891A (ko) 2010-10-14 2012-04-24 삼성전자주식회사 오디오 시스템 및 그를 이용한 오디오 신호들의 다운 믹싱 방법
US20120155650A1 (en) * 2010-12-15 2012-06-21 Harman International Industries, Incorporated Speaker array for virtual surround rendering
US9088858B2 (en) 2011-01-04 2015-07-21 Dts Llc Immersive audio rendering system
TWI651005B (zh) * 2011-07-01 2019-02-11 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
KR101619760B1 (ko) * 2013-03-28 2016-05-11 돌비 레버러토리즈 라이쎈싱 코오포레이션 임의적 라우드스피커 배치들로의 겉보기 크기를 갖는 오디오 오브젝트들의 렌더링

Also Published As

Publication number Publication date
MY172402A (en) 2019-11-23
SG11201504368VA (en) 2015-07-30
KR101802335B1 (ko) 2017-11-28
CA3031476C (en) 2021-03-09
CN107690123B (zh) 2021-04-02
KR102037418B1 (ko) 2019-10-28
AU2013355504C1 (en) 2016-12-15
KR20150100721A (ko) 2015-09-02
CN104969576A (zh) 2015-10-07
RU2695508C1 (ru) 2019-07-23
MX368349B (es) 2019-09-30
US20180359586A1 (en) 2018-12-13
AU2013355504A1 (en) 2015-07-23
EP2930952A1 (en) 2015-10-14
SG10201709574WA (en) 2018-01-30
US20150350802A1 (en) 2015-12-03
MX2019011755A (es) 2019-12-02
BR112015013154A2 (pt) 2017-07-11
EP2930952B1 (en) 2021-04-07
CA2893729A1 (en) 2014-06-12
US9774973B2 (en) 2017-09-26
AU2018236694A1 (en) 2018-10-18
US10149084B2 (en) 2018-12-04
JP2020025348A (ja) 2020-02-13
CN107690123A (zh) 2018-02-13
AU2013355504B2 (en) 2016-07-07
JP6169718B2 (ja) 2017-07-26
RU2613731C2 (ru) 2017-03-21
MX347100B (es) 2017-04-12
CA3031476A1 (en) 2014-06-12
KR20170132902A (ko) 2017-12-04
US20180007483A1 (en) 2018-01-04
WO2014088328A1 (ko) 2014-06-12
EP2930952A4 (en) 2016-09-14
AU2018236694B2 (en) 2019-11-28
MX2015007100A (es) 2015-09-29
JP2016503635A (ja) 2016-02-04
BR112015013154B1 (pt) 2022-04-26
AU2016238969B2 (en) 2018-06-28
CN104969576B (zh) 2017-11-14
AU2016238969A1 (en) 2016-11-03
US10341800B2 (en) 2019-07-02
CA2893729C (en) 2019-03-12
JP2017201815A (ja) 2017-11-09
RU2015126777A (ru) 2017-01-13
RU2672178C1 (ru) 2018-11-12

Similar Documents

Publication Publication Date Title
JP6843945B2 (ja) オーディオ提供装置及びオーディオ提供方法
RU2625953C2 (ru) Посегментная настройка пространственного аудиосигнала к другой установке громкоговорителя для воспроизведения
JP2018201224A (ja) オーディオ信号レンダリング方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210224

R150 Certificate of patent or registration of utility model

Ref document number: 6843945

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250