JP7181371B2 - レンダリング方法、レンダリング装置及び記録媒体 - Google Patents
レンダリング方法、レンダリング装置及び記録媒体 Download PDFInfo
- Publication number
- JP7181371B2 JP7181371B2 JP2021191226A JP2021191226A JP7181371B2 JP 7181371 B2 JP7181371 B2 JP 7181371B2 JP 2021191226 A JP2021191226 A JP 2021191226A JP 2021191226 A JP2021191226 A JP 2021191226A JP 7181371 B2 JP7181371 B2 JP 7181371B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- channel
- audio
- virtual
- rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo five- or more-channel type, e.g. virtual surround
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/02—Spatial or constructional arrangements of loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S3/00—Systems employing more than two channels, e.g. quadraphonic
- H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation
- H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、オーディオ装置及びそのオーディオ提供方法に係り、同一平面に位置する複数個のスピーカを利用して、高度感を有する仮想オーディオを生成して提供するオーディオ装置及びそのオーディオ提供方法に関する。
映像及び音響処理技術の発達により、高画質高音質のコンテンツが量産されている。高画質高音質のコンテンツを要求していたユーザは、臨場感ある映像及びオーディオを願っており、それによって、立体映像及び立体オーディオに係わる研究が活発に進められている。
立体オーディオは、複数個のスピーカを、水平面上の他の位置に配置し、それぞれのスピーカにおいて、同一であったり異なったりするオーディオ信号を出力することにより、ユーザに空間感を感じさせる技術である。しかし、実際のオーディオは、水平面上の多様な位置で発生するだけではなく、異なった高度でも発生する。従って、異なる高度で発生するオーディオ信号を効果的に再生する技術が必要である。
従来には、図1Aに図示されているように、オーディオ信号を、第1高度に対応する音色変換フィルタ(例えば、HRTF補正フィルタ)を通過させ、フィルタリングされたオーディオ信号をコピーし、複数個のオーディオ信号を生成し、複数のゲイン適用部によって、コピーされたオーディオ信号が出力されるスピーカそれぞれに該当するゲイン値に基づいて、コピーされたオーディオ信号それぞれを増幅または減衰させ、増幅または減衰された音響信号を、対応するスピーカを介して出力した。これにより、同一平面に位置する複数個のスピーカを利用して、高度感を有する仮想オーディオを生成することができた。
しかし、従来の仮想オーディオ信号生成方法は、スイートスポット(sweet spot)が狭く、現実的にシステムに再現する場合、性能の限界が存在した。すなわち、従来の仮想オーディオ信号は、図1Bに図示されているように、1つの地点(例えば、中央に位置した0領域)だけで最適化されてレンダリングされたために、1つの地点以外の領域(例えば、中央から左側に位置したX領域)では、高度感を有する仮想オーディオ信号を思うように聴取することができないという問題点が発生した。
本発明は、前述の問題点を解決するためのものであり、本発明の目的は、複数の仮想オーディオ信号が平面波を有する音場を形成するように、ディレイ値を適用して、多様な領域でも、仮想オーディオ信号を聴取することを可能とするオーディオ装置及びそのオーディオ提供方法を提供するところにある。
また、本発明の他の目的は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用して、多様な領域でも、仮想オーディオ信号を聴取することを可能とするオーディオ装置及びそのオーディオ提供方法を提供するところにある。
前述の目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する段階と、前記複数のスピーカを介して出力される複数の仮想オーディオ信号が平面波を有する音場を形成するために、前記複数の仮想オーディオ信号に、合成ゲイン値及びディレイ値を適用する段階と、前記合成ゲイン値及びディレイ値が適用された複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する段階と、を含む。
そして、前記生成する段階は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーする段階と、前記フィルタリングされたオーディオ信号が仮想の高度感を有するように、前記コピーされたオーディオ信号それぞれに、前記複数のスピーカそれぞれに対応するパンニングゲイン値を適用し、前記複数の仮想オーディオ信号を生成する段階と、を含んでもよい。
また、前記適用する段階は、前記複数のスピーカのうち平面波を有する音場を具現するための少なくとも2つのスピーカに対応する仮想オーディオ信号に、合成ゲイン値を乗じる段階と、前記少なくとも2つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用する段階と、を含んでもよい。
そして、前記適用する段階は、前記複数のスピーカのうち前記少なくとも2つのスピーカを除いたスピーカに対応するオーディオ信号に、ゲイン値を0に適用する段階をさらに含んでもよい。
また、前記適用する段階は、前記複数のスピーカに対応する複数の仮想オーディオ信号に、ディレイ値を適用する段階と、前記ディレイ値が適用された前記複数の仮想オーディオ信号に、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を乗じる段階と、を含んでもよい。
そして、前記オーディオ信号を、高度感を有するように処理するフィルタは、HRTF(head related transfer filter)フィルタでもある。
また、出力する段階は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、前記特定チャネルに対応するスピーカを介して出力することができる。
一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置は、複数のチャネルを含むオーディオ信号を入力される入力部;前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する仮想オーディオ生成部;前記複数のスピーカを介して出力される複数の仮想オーディオ信号が平面波を有する音場を形成するために、前記複数の仮想オーディオ信号に、合成ゲイン値及びディレイ値を適用する仮想オーディオ処理部;並びに前記合成ゲイン値及びディレイ値が適用された複数の仮想オーディオ信号を出力する出力部;を含む。
そして、前記仮想オーディオ生成部は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーして、前記フィルタリングされたオーディオ信号が仮想の高度感を有するように、前記コピーされたオーディオ信号それぞれに、前記複数のスピーカそれぞれに対応するパンニングゲイン値を適用し、前記複数の仮想オーディオ信号を生成することができる。
また、前記仮想オーディオ処理部は、前記複数のスピーカのうち平面波を有する音場を具現するための少なくとも2つのスピーカに対応する仮想オーディオ信号に合成ゲイン値を乗じ、前記少なくとも2つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用することができる。
そして、前記仮想オーディオ処理部は、前記複数のスピーカのうち前記少なくとも2つのスピーカを除いたスピーカに対応するオーディオ信号に、ゲイン値を0に適用することができる。
また、前記仮想オーディオ処理部は、前記複数のスピーカに対応する複数の仮想オーディオ信号にディレイ値を適用し、前記ディレイ値が適用された前記複数の仮想オーディオ信号に、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を乗じることができる。
そして、前記オーディオ信号を、高度感を有するように処理するフィルタは、HRTFフィルタでもある。
また、前記出力部は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、前記特定チャネルに対応するスピーカを介して出力することができる。
一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用する段階と、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、複数の仮想オーディオ信号を生成する段階と、前記複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する段階と、を含んでもよい。
そして、前記生成する段階は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーする段階と、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側(ipsilateral)スピーカと他側(contralateral)スピーカとを判断する段階と、前記同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、前記他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用する段階と、前記同側スピーカに対応するオーディオ信号、及び前記他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、前記複数の仮想オーディオ信号を生成する段階と、を含んでもよい。
一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置は、複数のチャネルを含むオーディオ信号を入力される入力部;前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、複数の仮想オーディオ信号を生成する仮想オーディオ生成部;及び前記複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する出力部;を含む。
そして、前記仮想オーディオ生成部は、前記フィルタリングされたオーディオ信号を、前記複数のスピーカの個数に対応するようにコピーし、前記仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側スピーカと他側スピーカとを判断し、前記同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、前記他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用し、前記同側スピーカに対応するオーディオ信号、及び前記他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、前記複数の仮想オーディオ信号を生成することができる。
一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、前記複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号に対して、高度感を有する形態でレンダリングを行うか否かということを判断する段階と、前記判断結果によって、前記高度感を有するチャネルの一部を、高度感を有するように処理するフィルタに適用する段階と、前記フィルタが適用された信号にゲイン値を適用し、複数の仮想オーディオ信号を生成する段階と、前記複数の仮想オーディオ信号を、前記複数のスピーカを介して出力する段階と、を含む。
そして、前記判断する段階は、複数のチャネル間の相関(correlation)及び類似度(similarity)を利用して、前記高度感を有するチャネルに対するオーディオ信号に対して、高度感を有する形態でレンダリングを行うか否かということを判断することができる。
一方、前記目的を達成するための本発明の一実施形態によるオーディオ装置のオーディオ提供方法は、複数のチャネルを含むオーディオ信号を入力される段階と、入力されたオーディオ信号のうち少なくとも一部のチャネルを、異なる高度感を有するように処理するフィルタに適用し、仮想オーディオ信号を生成する段階と、前記生成された仮想オーディオ信号を外部装置が行うことができるコーデックに再エンコーディングする段階と、前記再エンコーディングされた仮想オーディオ信号を外部に伝送する段階と、を含む。
前述のような本発明の多様な実施形態によって、ユーザは、多様な位置からオーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。
本実施形態は、多様な変換を加えることができ、さまざまな実施例を有することができるが、特定実施形態を図面に例示し、詳細な説明で詳細に説明する。しかし、それらは、特定の実施形態について範囲を限定するものではなく、開示された思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むものであると理解されなければならない。実施形態についての説明において、関連公知技術についての具体的な説明が要旨を不明確にすると判断される場合、その詳細な説明を省略する。
第1、第2のような用語は、多様な構成要素についての説明に使用されるが、構成要素は、用語によって限定されるものではない。用語は、1つの構成要素を他の構成要素から区別する目的にのみ使用される。
本出願で使用された用語は、ただ特定の実施形態についての説明に使用されたものであり、権利範囲を限定する意図ではない。単数の表現は、文脈上明白に異なって意味しない限り、複数の表現を含む。本出願において、「含む」または「構成される」というような用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせが存在するということを指定するものであって、一つ、またはそれ以上の他の特徴、数字、段階、動作、構成要素、部品、またはそれらの組み合わせの存在または付加の可能性をあらかじめ排除するものではないと理解されなければならない。
実施形態において、「モジュール」あるいは「部」は、少なくとも1つの機能や動作を遂行し、ハードウェアまたはソフトウェアで具現されるか、あるいはハードウェアとソフトウェアとの結合によって具現されるものである。また、複数の「モジュール」、あるいは複数の「部」は、特定のハードウェアによって具現される必要がある「モジュール」あるいは「部」を除いては、少なくとも1つのモジュールに一体化され、少なくとも1つのプロセッサ(図示せず)でもって具現されるのである。
以下、実施形態について、添付図面を参照して詳細に説明するが、添付図面を参照しての説明において、同一であるか、あるいは対応する構成要素は、同一の図面番号を付し、それについての重複説明は省略する。
図2は、本発明の一実施形態によるオーディオ装置100の構成を図示したブロック図である。図2に図示されているように、オーディオ装置100は、入力部110、仮想オーディオ生成部120、仮想オーディオ処理部130及び出力部140を含む。一方、本発明の一実施形態によるオーディオ装置100は、複数のスピーカを含み、複数のスピーカは、同一の水平面上に配置される。
入力部110は、複数のチャネルを含むオーディオ信号を入力される。このとき、入力部110は、異なる高度感を有する複数のチャネルを含むオーディオ信号を入力される。例えば、入力部110は、11.1チャネルのオーディオ信号を入力される。
仮想オーディオ生成部120は、複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理する音色変換フィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する。特に、仮想オーディオ生成部120は、水平面上に配置されたスピーカを利用して、実際のスピーカより高い高度で発生する音をモデリングするために、HRTF(head related transfer filter)補正フィルタを使用することができる。このとき、HRTF補正フィルタは、音源の空間的な位置から、ユーザの両耳までの経路情報、すなわち、周波数伝達特性を含む。HRTF補正フィルタは、両耳間のレベル差(ILD:inter-aural level difference)、及び両耳間で音響時間が逹する時間差(ITD:inter-aural time difference)のような単純な経路差だけではなく、頭表面での回折、耳介による反射など、複雑な経路上の特性異音の到来方向によって変化する現象によって、立体音響を認識させる。空間上の各方向において、HRTF補正フィルタは、唯一の特性を有するために、それを利用すれば、立体音響を生成することができる。
例えば、11.1チャネルのオーディオ信号が入力された場合、仮想オーディオ生成部120は、11.1チャネルのオーディオ信号のうちトップフロントレフト(top front left)チャネルのオーディオ信号をHRTF補正フィルタに適用し、7.1チャネルのレイアウトを有する複数のスピーカに出力される7個の仮想オーディオ信号を生成することができる。
本発明の一実施形態において、仮想オーディオ生成部120は、音色変換フィルタによってフィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、フィルタリングされたオーディオ信号が、仮想の高度感を有するように、コピーされたオーディオ信号それぞれに、複数のスピーカそれぞれに対応するパンニングゲイン値を適用し、複数の仮想オーディオ信号を生成することができる。本発明の他の実施形態では、仮想オーディオ生成部120は、音色変換フィルタによってフィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、複数の仮想オーディオ信号を生成することができる。その場合、パンニングゲイン値は、仮想オーディオ処理部130によって適用される。
仮想オーディオ処理部130は、複数のスピーカを介して出力される複数の仮想オーディオ信号が、平面波を有する音場を形成するために、複数の仮想オーディオ信号に、合成ゲイン値及びディレイ値を適用する。具体的には、仮想オーディオ処理部130は、図3に図示されているように、一地点にスイートスポットが生成されるものではない平面波を有する音場を形成するように、仮想オーディオ信号を生成し、多様な地点で仮想オーディオ信号を聴取することができる。
本発明の一実施形態において、仮想オーディオ処理部130は、複数のスピーカのうち平面波を有する音場を具現するための少なくとも2つのスピーカに対応する仮想オーディオ信号に合成ゲイン値を乗じ、少なくとも2つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用することができる。仮想オーディオ処理部130は、複数のスピーカのうち少なくとも2つのスピーカを除いたスピーカに対応するオーディオ信号に、ゲイン値を0に適用することができる。例えば、11.1チャネルのトップフロントレフトチャネルに対応するオーディオ信号を、仮想オーディオ信号に生成するために、仮想オーディオ生成部120が7個の仮想オーディオを生成すれば、生成された7個の仮想オーディオのうちフロントレフトに再生されなければならない信号FLTFLは、仮想オーディオ処理部130において、7.1チャネルのスピーカのうちフロントセンターチャネル、フロントレフトチャネル及びサラウンドレフトチャネルに対応する仮想オーディオ信号に合成ゲイン値を乗じ、それぞれのオーディオ信号に、ディレイ値を適用し、フロントセンターチャネル、フロントレフトチャネル及びサラウンドレフトチャネルに対応するスピーカに出力される仮想オーディオ信号を処理することができる。そして、仮想オーディオ処理部130は、FLTFLの具現において、7.1チャネルのスピーカのうち他側(contralateral)チャネルであるフロントライトチャネル、サラウンドライトチャネル、バックレフトチャネル、バックライトチャネルに対応する仮想オーディオ信号に、合成ゲイン値を0として乗じることができる。
本発明の他の実施形態では、仮想オーディオ処理部130は、複数のスピーカに対応する複数の仮想オーディオ信号にディレイ値を適用し、ディレイ値が適用された複数の仮想オーディオ信号に、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を適用し、平面波を有する音場を形成することができる。
出力部140は、処理された複数の仮想オーディオ信号を、対応するスピーカを介して出力する。このとき、出力部140は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、特定チャネルに対応するスピーカを介して出力することができる。例えば、出力部140は、フロントレフトチャネルに対応するオーディオ信号と、トップフロントレフトチャネルが処理されて生成された仮想オーディオ信号をミキシングし、フロントレフトチャネルに対応するスピーカを介して出力することができる。
前述のようなオーディオ装置100によって、ユーザは、多様な位置において、オーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。
以下では、図4ないし図7を参照し、本発明の一実施形態による11.1チャネルのオーディオ信号のうち異なる高度感を有するチャネルに対応するオーディオ信号を、7.1チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法についてさらに詳細に説明する。
図4は、本発明の一実施形態による、11.1チャネルのトップフロントレフトチャネルのオーディオ信号を、7.1チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法について説明するための図面である。
まず、11.1チャネルのトップフロントレフトチャネルのオーディオ信号が入力された場合、仮想オーディオ生成部120は、入力されたトップフロントレフトチャネルのオーディオ信号を、音色変換フィルタHに適用する。そして、仮想オーディオ生成部120は、音色変換フィルタHが適用されたトップフロントレフトチャネルに対応するオーディオ信号を、7個のオーディオ信号にコピーした後、コピーされた7個のオーディオ信号を、7チャネルのスピーカにそれぞれ対応するゲイン適用部に入力することができる。仮想オーディオ生成部120は、7個のゲイン適用部によって7チャネルそれぞれのパンニングゲインGTFL,FL,GTFL,FR,GTFL,FC,GTFL,SL,GTFL,SR,GTFL,BL,GTFL,BRを、音色変換されたオーディオ信号に乗じ、7チャネルの仮想オーディオ信号を生成することができる。
そして、仮想オーディオ処理部130は、入力された7チャネルの仮想オーディオ信号のうち、複数のスピーカのうち平面波を有する音場を具現するための少なくとも2つのスピーカに対応する仮想オーディオ信号に合成ゲイン値を乗じ、少なくとも2つのスピーカに対応する仮想オーディオ信号に、ディレイ値を適用することができる。具体的には、図3のように、フロントレフトチャネルのオーディオ信号を、特定角度(例えば、30°)の位置から入ってくる平面波にする場合、仮想オーディオ処理部130は、入射方向と同一の半面(例えば、左側信号の場合、左半面及びセンター、右側信号の場合、右半面及びセンター)内にあるスピーカであるフロントレフトチャネル、フロントセンターチャネル、サラウンドレフトチャネルのスピーカを利用して、平面波合成に必要な合成ゲイン値であるAFL,FL,AFL,FC,AFL,SLを乗じ、ディレイ値であるdTFL,FL,dTFL,FC,dTFL,SLを適用し、平面波形態の仮想オーディオ信号を生成することができる。それを数式で表現すれば、下記数式の通りである。
従って、仮想オーディオ処理部130は、図4に図示されているように、平面波を具現するための7個の仮想オーディオ信号として、FLTFL
W、FRTFL
W、FCTFLW、SLTFL
W、SRTFL
W、BLTFL
W、BRTFL
Wを生成することができる。
一方、図4では、仮想オーディオ生成部120で、パンニングゲイン値を乗じ、仮想オーディオ処理部130で、合成ゲイン値を乗じると説明したが、それは、一実施形態に過ぎず、仮想オーディオ処理部130が、パンニングゲイン値及び合成ゲイン値を乗じた最終ゲイン値を乗じることができる。
具体的には、仮想オーディオ処理部130は、図6に開示されているように、音色変換フィルタHを介して音色が変換された複数の仮想オーディオ信号に、ディレイ値をまず適用した後、最終ゲイン値を適用し、平面波形態の音場を有する複数の仮想オーディオ信号を生成することができる。このとき、仮想オーディオ処理部130は、図4の仮想オーディオ生成部120のゲイン適用部のパンニングゲイン値Gと、図4の仮想オーディオ処理部130のゲイン適用部の合成ゲイン値Aとを統合し、最終ゲイン値PTFL,FLを算出することができる。それを数式で表現すれば、下記数式の通りである。
一方、図4ないし図6は、11.1チャネルのオーディオ信号のうちトップフロントレフトチャネルに対応するオーディオ信号を、仮想オーディオ信号にレンダリングする実施形態について説明しているが、11.1チャネルのオーディオ信号のうち、異なる高度感を有するトップフロントライトチャネル、トップサラウンドレフトチャネル及びトップサラウンドライトチャネルも、前述の方法のようにレンダリングを行うことができる。
具体的には、図7に図示されているように、トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル及びトップサラウンドライトチャネルに対応するオーディオ信号は、仮想オーディオ生成部120及び仮想オーディオ処理部130が含まれた複数の仮想チャネル合成部を介して、仮想オーディオ信号にレンダリングされ、レンダリングされた複数の仮想オーディオ信号は7.1チャネルのスピーカそれぞれに対応するオーディオ信号とミキシングされて出力される。
図8は、本発明の一実施形態によるオーディオ装置100のオーディオ提供方法について説明するためのフローチャートである。
まず、オーディオ装置100は、オーディオ信号を入力される(S810)。このとき、入力されたオーディオ信号は、複数の高度感を有するマルチチャネルオーディオ信号(例えば、11.1チャネル)でもある。
オーディオ装置100は、複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理する音色変換フィルタに適用し、複数のスピーカに出力される複数の仮想オーディオ信号を生成する(S820)。
オーディオ装置100は、生成された複数の仮想オーディオに、合成ゲイン値及びディレイ値を適用する(S830)。このとき、オーディオ装置100は、複数の仮想オーディオが平面波形態の音場を有するように、合成ゲイン値及びディレイ値を適用することができる。
オーディオ装置100は、生成された複数の仮想オーディオを、複数のスピーカを介して出力する(S840)。
前述のように、仮想オーディオ信号それぞれにディレイ値及び合成ゲイン値を適用し、平面波形態の音場を有する仮想オーディオ信号をレンダリングすることにより、ユーザは、多様な位置からオーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。
一方、前述の実施形態では、ユーザが、1地点ではない多様な位置で高度感を有する仮想オーディオ信号を聴取するために、仮想オーディオ信号を、平面波形態の音場を有するように処理したが、それは、一実施形態に過ぎず、他の方法を利用して、ユーザが多様な位置で、高度感を有する仮想オーディオ信号を聴取することができるように、仮想オーディオ信号を処理することができる。具体的には、オーディオ装置は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、多様な領域でも、仮想オーディオ信号を聴取することが可能となる。
以下では、図9ないし図12を参照し、本発明の他の実施形態による仮想オーディオ信号提供方法について説明する。図9は、本発明の他の実施形態によるオーディオ装置の構成を示すブロック図である。まず、オーディオ装置900は、入力部910、仮想オーディオ生成部920及び出力部930を含む。
入力部910は、複数のチャネルを含むオーディオ信号を入力される。このとき、入力部910は、異なる高度感を有する複数のチャネルを含むオーディオ信号を入力される。例えば、入力部110は、11.1チャネルのオーディオ信号を入力される。
仮想オーディオ生成部920は、複数のチャネルのうち高度感を有するチャネルに対するオーディオ信号を、高度感を有するように処理するフィルタに適用し、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって互いに異なるゲイン値を適用し、複数の仮想オーディオ信号を生成する。
具体的には、仮想オーディオ生成部920は、フィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側(ipsilateral)スピーカと他側(contralateral)スピーカとを判断する。具体的には、仮想オーディオ生成部920は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同一の方向に位置するスピーカを、同側スピーカと判断し、反対方向に位置するスピーカを、他側スピーカと判断する。例えば、仮想オーディオ信号に生成するオーディオ信号が、トップフロントレフトチャネルのオーディオ信号である場合、仮想オーディオ生成部920は、トップフロントレフトチャネルと同一の方向、または最も近い方向に位置するフロントレフトチャネル、サラウンドレフトチャネル、バックレフトチャネルに対応するスピーカを、同側スピーカと判断し、トップフロントレフトチャネルと反対方向に位置するフロントライトチャネル、サラウンドライトチャネル、バックライトチャネルに対応するスピーカを、他側スピーカと判断することができる。
そして、仮想オーディオ生成部920は、同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用する。具体的には、仮想オーディオ生成部920は、同側スピーカに対応する仮想オーディオ信号に、全体的なトーンバランス(tone balance)を合わせるために、低周波ブースタフィルタを適用し、他側スピーカに対応する仮想オーディオ信号には、音像定位に影響を与える高周波領域を通過させるために、高周波通過フィルタを適用する。
一般的に、オーディオ信号の低周波成分は、ITD(interaural time delay)による音像定位に多くの影響を与え、オーディオ信号の高周波成分は、ILD(interaural level difference)による音像定位に多くの影響を与える。特に、聴取者が1方向に移動した場合、ILDは、パンニングゲインを効果的に設定し、左側音源が右側にくるか右側の音源が左側に移動する程度を調節することにより、聴取者が続けて円滑なオーディオ信号を聴取することができる。
しかし、ITDの場合、近い方のスピーカ音がまず耳に入ってくるために、聴取者が移動する場合、左右定位逆転現象が発生する。
このような左右定位逆転現象は、音像定位で必ず解決されなければならない問題であり、かような問題を解決するために、仮想オーディオ処理部920は、音源の反対方向に位置する他側スピーカに対応する仮想オーディオ信号のうち、ITDに影響を与える低周波成分を除去し、ILDに支配的な影響を与える高周波成分のみを通過させることができる。これにより、低周波成分による左右定位逆転現象が防止され、高周波成分に対するILDによって、音像の位置が維持される。
そして、仮想オーディオ生成部920は、同側スピーカに対応するオーディオ信号、及び他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、複数の仮想オーディオ信号を生成することができる。具体的には、仮想オーディオ生成部920は、低周波ブースタフィルタを通過した同側スピーカに対応するオーディオ信号、及び高周波通過フィルタを通過した他側スピーカに対応するオーディオ信号それぞれに、音像定位のためのパンニングゲイン値を乗じ、複数の仮想オーディオ信号を生成することができる。すなわち、仮想オーディオ生成部920は、音像の位置を基に、複数の仮想オーディオ信号の周波数によって異なるゲイン値を適用し、最終的に複数の仮想オーディオ信号を生成することができる。
出力部930は、複数の仮想オーディオ信号を、複数のスピーカを介して出力する。
このとき、出力部930は、特定チャネルに対応する仮想オーディオ信号、及び特定チャネルのオーディオ信号をミキシングし、特定チャネルに対応するスピーカを介して出力することができる。
例えば、出力部930は、フロントレフトチャネルに対応するオーディオ信号と、トップフロントレフトチャネルが処理されて生成された仮想オーディオ信号とをミキシングし、フロントレフトチャネルに対応するスピーカを介して出力することができる。
以下では、図10を参照し、本発明の一実施形態による11.1チャネルのオーディオ信号のうち異なる高度感を有するチャネルに対応するオーディオ信号を、7.1チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法についてさらに詳細に説明する。
図10は、本発明の一実施形態による、11.1チャネルのトップフロントレフトチャネルのオーディオ信号を7.1チャネルのスピーカに出力するために、仮想オーディオ信号にレンダリングする方法について説明するための図面である。
まず、11.1チャネルのトップフロントレフトチャネルのオーディオ信号が入力された場合、仮想オーディオ生成部920は、入力されたトップフロントレフトチャネルのオーディオ信号を、音色変換フィルタHに適用することができる。そして、仮想オーディオ生成部920は、音色変換フィルタHが適用されたトップフロントレフトチャネルに対応するオーディオ信号を、7個のオーディオ信号にコピーした後、トップフロントレフトチャネルのオーディオ信号の位置によって、同側スピーカ及び他側スピーカを判断することができる。すなわち、仮想オーディオ生成部920は、トップフロントレフトチャネルのオーディオ信号と同一の方向に位置するフロントレフトチャネル、サラウンドレフトチャネル、バックレフトチャネルに対応するスピーカを、同側スピーカと判断し、トップフロントレフトチャネルのオーディオ信号と反対方向に位置するフロントライトチャネル、サラウンドライトチャネル、バックライトチャネルに対応するスピーカを、他側スピーカと判断することができる。
そして、仮想オーディオ生成部920は、コピーされた複数の仮想オーディオ信号のうち同側スピーカに対応する仮想オーディオ信号を、低周波ブースタフィルタに通過させる。
そして、仮想オーディオ生成部920は、低周波ブースタフィルタを通過した仮想オーディオ信号を、フロントレフトチャネル、サラウンドレフトチャネル、バックレフトチャネルに対応するゲイン適用部にそれぞれ入力させ、トップフロントレフトチャネルの位置にオーディオ信号を定位させるための多チャネルパンニングゲイン値GTFL,FL,GTFL,SL,GTFL,BLを乗じ、3チャネルの仮想オーディオ信号を生成することができる。
そして、仮想オーディオ生成部920は、コピーされた複数の仮想オーディオ信号のうち他側スピーカに対応する仮想オーディオ信号を、高周波通過フィルタに通過させる。そして、仮想オーディオ生成部920は、高周波通過フィルタを通過した仮想オーディオ信号を、フロントライトチャネル、サラウンドライトチャネル、バックライトチャネルに対応するゲイン適用部にそれぞれ入力させ、トップフロントレフトチャネルの位置にオーディオ信号を定位させるための多チャネルパンニングゲイン値GTFL,FR,GTFL,SR,GTFL,BRを乗じ、3チャネルの仮想オーディオ信号を生成することができる。
また、同側スピーカでも他側スピーカでもないフロントセンターチャネルに対応する仮想オーディオ信号の場合、仮想オーディオ生成部920は、フロントセンターチャネルに対応する仮想オーディオ信号を、同側スピーカと同一の方法を利用して処理することができ、他側スピーカと同一の方法を利用して処理することができる。本発明の一実施形態では、図10に図示されているように、フロントセンターチャネルに対応する仮想オーディオ信号は、同側スピーカに対応する仮想オーディオ信号と同一の方法によって処理された。
一方、図10では、11.1チャネルのオーディオ信号のうちトップフロントレフトチャネルに対応するオーディオ信号を、仮想オーディオ信号にレンダリングする実施形態について説明したが、11.1チャネルのオーディオ信号のうち、異なる高度感を有するトップフロントライトチャネル、トップサラウンドレフトチャネル及びトップサラウンドライトチャネルも、図10で説明したような方法を利用して、レンダリングを行うことができる。
一方、本発明の他の実施形態では、図6で説明したような仮想オーディオ提供方法と、図10で説明したような仮想オーディオ提供方法とを統合し、図11に図示されているようなオーディオ装置1100として具現される。具体的には、オーディオ装置1100は、入力されたオーディオ信号に対して、音色変換フィルタHを利用して音色変換を処理した後、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって異なるゲイン値が適用されるように、同側スピーカに対応する仮想オーディオ信号を、低周波ブースタフィルタに通過させ、他側スピーカに対応する仮想オーディオ信号を、高周波通過フィルタに通過させる。そして、オーディオ装置100は、複数の仮想オーディオ信号が平面波を有する音場を形成するように入力されたそれぞれの仮想オーディオ信号に、ディレイ値d及び最終ゲイン値Pを適用し、仮想オーディオ信号を生成することができる。
図12は、本発明の一実施形態によるオーディオ装置900のオーディオ提供方法について説明するための図面である。
まず、オーディオ装置900は、オーディオ信号を入力される(S1210)。このとき、入力されたオーディオ信号は、複数の高度感を有するマルチチャネルオーディオ信号(例えば、11.1チャネル)でもある。
そして、オーディオ装置900は、複数のチャネルのうち高度感を有するチャネルのオーディオ信号を、高度感を有するように処理するフィルタに適用する(S1220)。このとき、複数のチャネルのうち高度感を有するチャネルのオーディオ信号は、トップフロントレフトチャネルのオーディオ信号でもあり、高度感を有するように処理するフィルタは、HRTF補正フィルタでもある。
そして、オーディオ装置900は、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって異なるゲイン値を適用し、仮想オーディオ信号を生成する(S1230)。具体的には、オーディオ装置900は、フィルタリングされたオーディオ信号を、複数のスピーカの個数に対応するようにコピーし、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、同側スピーカと他側スピーカとを判断し、同側スピーカに対応する仮想オーディオ信号に、低周波ブースタフィルタを適用し、他側スピーカに対応する仮想オーディオ信号に、高周波通過フィルタを適用し、同側スピーカに対応するオーディオ信号及び他側スピーカに対応するオーディオ信号それぞれにパンニングゲイン値を乗じ、複数の仮想オーディオ信号を生成することができる。
そして、オーディオ装置900は、複数の仮想オーディオ信号を力する(S1240)。
前述のように、仮想オーディオ信号に生成するオーディオ信号のチャネル種類を基に、周波数によって異なるゲイン値を適用することにより、ユーザは、多様な位置において、オーディオ装置が提供する高度感を有する仮想オーディオ信号を聴取することができる。
以下では、本発明の他の実施形態について説明する。具体的には、図13は、従来の11.1チャネルのオーディオ信号を、7.1チャネルのスピーカを介して出力する方法について説明する図面である。まず、エンコーダ1310は、11.1チャネルのチャネルオーディオ信号、複数のオブジェクトオーディオ信号、及び複数のオブジェクトのオーディオ信号についての複数の軌跡情報をエンコードし、ビットストリームを生成する。そして、デコーダ1320は、受信されたビットストリームをデコーディングし、11.1チャネルのチャネルオーディオ信号は、ミキシング部1340に出力し、複数のオブジェクトオーディオ信号及び対応する軌跡情報は、オブジェクトレンダリング部1330に出力する。オブジェクトレンダリング部1330は、軌跡情報を利用して、オブジェクトオーディオ信号を、11.1チャネルにレンダリングした後、ミキシング部1340に出力する。
ミキシング部1340は、11.1チャネルのチャネルオーディオ信号と、11.1チャネルにレンダリングされたオブジェクトオーディオ信号とを11.1チャネルのオーディオ信号にミキシングし、仮想オーディオレンダリング部1350に出力する。仮想オーディオレンダリング部1340は、11.1チャネルのオーディオ信号のうち異なる高度感を有する4チャネル(トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル、トップサラウンドライトチャネル)のオーディオ信号を利用し、図2ないし図12で説明したように、複数の仮想オーディオ信号に生成し、生成された複数のオーディオ信号を、残りのチャネルとミキシングした後、ミキシングされた7.1チャネルのオーディオ信号を出力することができる。
しかし、前述のように、11.1チャネルのオーディオ信号のうち異なる高度感を有する4個のチャネルオーディオ信号を、画一的に処理して仮想オーディオ信号に生成する場合、拍手音や雨音のように、広帯域(wideband)であり、チャネル間の相関がなく(low correlation)、インパルシブ(impulsive)な特性を有するオーディオ信号を仮想オーディオ信号にレンダリングすれば、オーディオ音質の劣化が発生する。特に、かような音質の劣化は、仮想オーディオ信号を生成する場合、さらに好ましくない傾向を示すために、インパルシブな特性を有するオーディオ信号は、仮想オーディオを生成するレンダリング作業を遂行せず、音色に重点を置いたダウンミックスを介して、レンダリング作業を遂行することにより、さらに優れた音質を提供することができる。
以下では、図14ないし図16を参照し、本発明の一実施形態によるオーディオ信号のレンダリング情報を利用して、オーディオ信号のレンダリング種類を判断する実施形態について説明する。
図14は、本発明の一実施形態による、オーディオ装置が11.1チャネルのオーディオ信号をオーディオ信号のレンダリング情報によって、異なる方法のレンダリングを行い、7.1チャネルのオーディオ信号に生成する方法について説明するための図面である。
エンコーダ1410は、11.1チャネルのチャネルオーディオ信号、複数のオブジェクトオーディオ信号、複数のオブジェクトオーディオ信号に対応する軌跡情報、及びオーディオ信号のレンダリング情報を受信し、エンコーディングすることができる。このとき、オーディオ信号のレンダリング情報は、オーディオ信号の種類を示すものであり、入力されたオーディオ信号が、インパルシブな特性を有するオーディオ信号であるか否かということについての情報、入力されたオーディオ信号が、広帯域のオーディオ信号であるか否かということについての情報、及び入力されたオーディオ信号がチャネル間の相関(correlation)が低いか否かということについての情報のうち少なくとも一つを含んでもよい。また、オーディオ信号のレンダリング情報は、オーディオ信号のレンダリング方法についての情報を直接含んでもよい。すなわち、オーディオ信号のレンダリング情報には、オーディオ信号が音質レンダリング(timbral rendering)方法及び空間レンダリング(spatial rendering)方法のうちいずれの方法でレンダリングを行うかということについての情報が含まれる。
デコーダ1420は、エンコーディングされたオーディオ信号をデコーディングし、11.1チャネルのチャネルオーディオ信号及びオーディオ信号のレンダリング情報をミキシング部1440に出力し、複数のオブジェクトオーディオ信号及び対応する軌跡情報、そしてオーディオ信号のレンダリング情報をミキシング部1440に出力することができる。
オブジェクトレンダリング部1430は、入力された複数のオブジェクトオーディオ信号及び対応する軌跡情報を利用して、11.1チャネルのオブジェクトオーディオ信号を生成し、生成された11.1チャネルのオブジェクトオーディオ信号をミキシング部1440に出力することができる。
第1ミキシング部1440は、入力された11.1チャネルのチャネルオーディオ信号、及び11.1チャネルのオブジェクトオーディオ信号をミキシングし、ミキシングされた11.1チャネルのオーディオ信号を生成することができる。そして、第1ミキシング部1440は、オーディオ信号のレンダリング情報を利用して生成された11.1チャネルのオーディオ信号をレンダリングするレンダリング部を判断することができる。具体的には、第1ミキシング部1440は、オーディオ信号のレンダリング情報を利用して、オーディオ信号がインパルシブな特性を有しているか否かということ、オーディオ信号が広帯域のオーディオ信号であるか否かということ、オーディオ信号がチャネル間の相関が低い否かということを判断することができる。オーディオ信号がインパルシブな特性を有するか、広帯域のオーディオ信号であるか、オーディオ信号のチャネル間の相関が低い場合、第1ミキシング部1440は、11.1チャネルのオーディオ信号を、第1レンダリング部1450に出力することができ、前述の特性を有さない場合、第1ミキシング部1440は、11.1チャネルのオーディオ信号を、第2レンダリング部1460に出力することができる。
第1レンダリング部1450は、入力された11.1チャネルのオーディオ信号のうち異なる高度感を有する4個のオーディオ信号を音色レンダリング方法を介して、レンダリングを行うことができる。
具体的には、第1レンダリング部1450は、11.1チャネルのオーディオ信号のうち、トップフロントレフトチャネル、トップフロントライトチャネル、トップサラウンドレフトチャネル、トップサラウンドライトチャネルに対応するオーディオ信号を、それぞれフロントレフトチャネル、フロントライトチャネル、サラウンドレフトチャネル、トップサラウンドライトチャネルにレンダリングする1チャネルダウンミキシング方法を介してレンダリングした後、ダウンミキシングされた4個のチャネルのオーディオ信号と、残りのチャネルのオーディオ信号とミキシングした後、7.1チャネルのオーディオ信号を、第2ミキシング部1470に出力することができる。
第2レンダリング部1460は、入力された11.1チャネルのオーディオ信号のうち、異なる高度感を有する4個のオーディオ信号を、図2ないし図13で説明したような空間レンダリング方法で、高度感を有する仮想オーディオ信号にレンダリングすることができる。
第2ミキシング部1470は、第1レンダリング部1450及び第2レンダリング部1460のうち少なくとも一つを介して出力される7.1チャネルのオーディオ信号を出力することができる。
一方、前述の実施形態では、第1レンダリング部1450及び第2レンダリング部1460が、音色レンダリング方法及び空間レンダリング方法のうち一つで、オーディオ信号をレンダリングすると説明したが、それは、一実施形態に過ぎず、オブジェクトレンダリング部1430がオーディオ信号のレンダリング情報を利用して、音色レンダリング方法及び空間レンダリング方法のうち一つで、オブジェクトオーディオ信号をレンダリングすることも可能である。
また、前述の実施形態では、エンコーディング前に、オーディオ信号のレンダリング情報が、信号分析を介して決定されると説明したが、それは、コンテンツ創作意図を反映させるために、サウンドミキシングエンジニアによって生成されてエンコーディングされることも可能な例であり、その以外にも、多様な方法によって獲得される。
具体的には、オーディオ信号のレンダリング情報は、エンコーダ1410が複数のチャネルオーディオ信号、複数のオブジェクトオーディオ信号及び軌跡情報を分析して生成される。
さらに具体的には、エンコーダ1410は、オーディオ信号分類に多く利用される特徴(feature)を抽出して分類器に学習させ、入力されたチャネルオーディオ信号、または複数のオブジェクトオーディオ信号が、インパルシブな特性を有する否かということを分析することができる。また、エンコーダ1410は、オブジェクトオーディオ信号の軌道情報を分析し、オブジェクトオーディオ信号が静的である場合、音色レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができ、オブジェクトオーディオ信号がモーションが存在する場合、空間レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができる。すなわち、エンコーダ1410は、インパルシブな特徴を有し、モーションがない静的な特性を有するオーディオ信号の場合、音色レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができ、そうではない場合、空間レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができる。
そのとき、モーション検出いかんは、オブジェクトオーディオ信号のフレーム当たり移動距離を計算して推定される。
一方、音色レンダリング方法によってレンダリングを行うか、あるいは空間レンダリング方法によってレンダリングを行うかということを分析することがハードデシジョン(hard decision)ではないソフトデシジョン(soft decision)である場合、エンコーダ1410は、オーディオ信号の特性によって、音色レンダリング方法によるレンダリング作業と、空間レンダリング方法によるレンダリング作業とを混合し、レンダリングを行うことができる。例えば、図15に図示されているように、第1オブジェクトオーディオ信号OBJ1、第1軌道情報TRJ1及びエンコーダ1410がオーディオ信号の特性を分析して生成したレンダリング加重値RCが入力された場合、オブジェクトレンダリング部1430は、レンダリング加重値RCを利用して、音色レンダリング方法に係わる加重値WT、及び空間レンダリング方法に係わる加重値WSを判断することができる。
そして、オブジェクトレンダリング部1430は、入力された第1オブジェクトオーディオ信号OBJ1に、音色レンダリング方法に係わる加重値WT、及び空間レンダリング方法に係わる加重値WS値をそれぞれ乗じ、音色レンダリング方法によるレンダリング、及び空間レンダリングによるレンダリングを行うことができる。そして、オブジェクトレンダリング部1430は、残りのオブジェクトオーディオ信号についても、前述のようにレンダリングを行うことができる。
他の例において、図16に図示されているように、第1チャネルオーディオ信号CH1、及びエンコーダ1410がオーディオ信号の特性を分析して生成したレンダリング加重値RCが入力された場合、第1ミキシング部1430は、レンダリング加重値RCを利用して、音色レンダリング方法に係わる加重値WT、及び空間レンダリング方法に係わる加重値WSを判断することができる。そして、第1ミキシング部1440は、入力された第1オブジェクトオーディオ信号OBJ1に、音色レンダリング方法に係わる加重値WTを乗じ、第1レンダリング部1450に出力し、入力された第1オブジェクトオーディオ信号OBJ1に、空間レンダリング方法に係わる加重値WS値を乗じ、第2レンダリング部1460に出力することができる。そして、第1ミキシング部1440は、残りのチャネルオーディオ信号についても、前述のように加重値を乗じた後、第1レンダリング部1450及び第2レンダリング部1460に出力することができる。
一方、前述の実施形態では、エンコーダ1410がオーディオ信号のレンダリング情報を獲得すると説明したが、それは、一実施形態に過ぎず、デコーダ1420がオーディオ信号のレンダリング情報を獲得することもできる。その場合、レンダリング情報は、エンコーダ1410から伝送される必要なしに、デコーダ1420によってすぐに生成される。
また、本発明の他の実施形態では、デコーダ1420は、チャネルオーディオ信号に対して、音色レンダリング方法を利用してレンダリングを遂行し、オブジェクトオーディオ信号に対して、空間レンダリング方法を利用してレンダリングを遂行せよというレンダリング情報を生成することができる。
前述のように、オーディオ信号のレンダリング情報によって、異なる方法でもってレンダリング作業を遂行することにより、オーディオ信号の特性による音質劣化を防止することができる。
以下では、オブジェクトオーディオ信号が別途に分離されるものではない、全てのオーディオ信号がレンダリング及びミキシングされているチャネルオーディオ信号だけ存在する場合、チャネルオーディオ信号を分析し、チャネルオーディオ信号をレンダリングする方法を決定する方法について説明する。特に、チャネルオーディオ信号において、オブジェクトオーディオ信号を分析し、オブジェクトオーディオ信号成分を抽出し、オブジェクトオーディオ信号については、空間レンダリング方法を利用して、仮想の高度感を提供するレンダリングを行い、アンビエンス(ambience)オーディオ信号については、音質レンダリング方法を利用して、レンダリングを行う方法について説明する。
図17は、本発明の一実施形態による、11.1チャネルのうち異なる高度感を有する4個のトップオーディオ信号において、拍手音が検出された否かということにより、異なる方法でレンダリングを行う実施形態について説明するための図面である。
まず、拍手音感知部1710は、11.1チャネルのうち異なる高度感を有する4個のトップオーディオ信号に対して、拍手音が感知されるか否かということを判断する。
拍手音感知部1710がハードデシジョンを利用する場合、拍手音感知部1710は、次のような出力信号を決定する。
拍手音が感知された場合:TFLA=TFL,TFRA=TFR,TSLA=TSL,TSRA=TSR,TFLG=0,TFRG=0,TSLG=0,TSRG=0
拍手音が感知されていない場合:TFLA=0,TFRA=0,TSLA=0,TSRA=0,TFLG=TFL,TFRG=TFR,TSLG=TSL,TSRG=TS
このとき、出力信号は、拍手音感知部1710ではないエンコーダで計算され、フラグ形態で伝送される。
拍手音が感知されていない場合:TFLA=0,TFRA=0,TSLA=0,TSRA=0,TFLG=TFL,TFRG=TFR,TSLG=TSL,TSRG=TS
このとき、出力信号は、拍手音感知部1710ではないエンコーダで計算され、フラグ形態で伝送される。
拍手音感知部1710がソフトデシジョンを利用する場合、拍手音感知部1710は、拍手音の感知いかん及び強度によって、下記のように加重値α,βが乗じられて出力信号を決定する。
TFLA=αTFLTFL,TFRA=αTFRTFR,TSLA=αTSLTSL,TSRA=αTSRTSR,TFLG=βTFLTFL,TFRG=βTFRTFR,TSLG=βTSLTSL,TSRG=βTSRTSR
出力信号のうち、TFLG,TFRG,TSLG,TSRG信号は、空間レンダリング部1730に出力され、空間レンダリング方法によってレンダリングが行われる。
出力信号のうち、TFLG,TFRG,TSLG,TSRG信号は、空間レンダリング部1730に出力され、空間レンダリング方法によってレンダリングが行われる。
出力信号のうち、TFLA,TFRA,TSLA,TSRA信号は、拍手音成分と判断され、レンダリング分析部1720に出力される。
レンダリング分析部1720が拍手音成分を判断し、レンダリング方法を分析する方法については、図18を参照して説明する。レンダリング分析部1720は、周波数変換部1721、コヒーレンス(coherence)算出部1723、レンダリング方法決定部1725及び信号分離部1727を含む。
周波数変換部1721は、入力されたTFLA,TFRA,TSLA,TSRA信号を周波数ドメインに変換し、TFLA
F,TFRA
F,TSLA
F,TSRA
F信号を出力することができる。このとき、周波数変換部1721は、QMF(quadrature mirror filterbank)のようなフィルタバンクのサブバンドサンプルに表した後、TFLA
F,TFRA
F,TSLA
F,TSRA
F信号を出力することができる。
コヒーレンス算出部1723は、入力された信号を聴覚器官を模写するequivalent rectangular band(ERBand)またはcritical bandwidth(CB)にバンドマッピングを行う。
そして、コヒーレンス算出部1723は、それぞれのバンド別に、TFLA
F信号とTSLA
F信号とのコヒーレンスであるxLF、TFRA
F信号とTSRA
F信号とのコヒーレンスであるxRF、TFLA
F信号とTFRA
F信号とのコヒーレンスであるxFF、TSLA
F信号とTSRA
F信号とのコヒーレンスであるxSFを計算する。このとき、コヒーレンス算出部1723は、一方の信号が0である場合、コヒーレンスを1として計算することができる。それは、信号が一方のチャネルにのみ定位されている場合、空間レンダリング方法を利用しなければならないからである。
そして、レンダリング方法決定部1725は、コヒーレンス算出部1723を介して算出されたコヒーレンスから、各チャネル別、バンド別に空間レンダリング方法に使用される加重値であるwTFLF、wTFRF、wTSLF、wTSRFを、次のような数式を介して算出することができる。
wTFLF=mapper(max(xLF,xFF))
wTFRF=mapper(max(xRF,xFF))
wTSLF=mapper(max(xLF,xSF))
wTSRF=mapper(max(xRF,xSF))
このとき、maxは、2係数のうちその数字を選ぶ関数であり、mapperは、非線形マッピングにおいて、0と1との間の値を、0と1との間の値にマッピングさせる多様な形態の関数でもある。
wTFRF=mapper(max(xRF,xFF))
wTSLF=mapper(max(xLF,xSF))
wTSRF=mapper(max(xRF,xSF))
このとき、maxは、2係数のうちその数字を選ぶ関数であり、mapperは、非線形マッピングにおいて、0と1との間の値を、0と1との間の値にマッピングさせる多様な形態の関数でもある。
一方、レンダリング方法決定部1725は、周波数帯域別に異なるmapperを使用することができる。具体的には、高周波では、ディレイに対する信号干渉がさらにはなはだしくなり、バンド幅が広くなり、多くの信号が混ざるために、全てのバンドで、同一のmapperを使用することに比べ、バンド別に異なるmapperを使用する場合、音質及び信号分離度がさらに向上する。図19は、レンダリング方法決定部1725が、周波数帯域別に異なる特性を有するmapperを使用された場合、mapperの特性を示すグラフである。
また、一方の信号がない場合(すなわち、類似度関数値(similarity function)が0または1であり、一方でのみパンニングされた場合、コヒーレンス算出部1723は、コヒーレンスを1と算出した。しかし、実際には、周波数ドメインへの変換によって発生するside lobeまたはnoise floorに該当する信号が発生するので、類似度関数値に臨界値(例えば、0.1)を設定し、臨界値以下の類似度値を有せば、空間的レンダリング方法を選択してノイズに防止することができる。図20は、類似度関数値によって、レンダリング方法に係わる加重値を決定するグラフである。例えば、類似度関数値が0.1以下である場合には、空間的レンダリング方法を選択するように加重値が設定される。
信号分離部1727は、周波数ドメインに変換されたTFLA
F,TFRA
F,TSLA
F,TSRA
F信号に、レンダリング方法決定部1725によって決定された加重値であるwTFLF、wTFRF、wTSLF、wTSRFを乗じ、時間ドメインに変換した後、空間レンダリング部1730で、TFLA
S,TFRA
S,TSLA
S,TSRA
S信号を出力する。
また、信号分離部1727は、入力されたTFLA
F,TFRA
F,TSLA
F,TSRA
F信号から、空間レンダリング部1730に出力したTFLA
S,TFRA
S,TSLA
S,TSRA
S信号を差し引いた残りの信号であるTFLA
T,TFRA
T,TSLA
T,TSRA
T信号を音質レンダリング部1740に出力する。
結果として、空間レンダリング部1730に出力されたTFLA
S,TFRA
S,TSLA
S,TSRA
S信号は、4個のトップチャネルオーディオ信号に定位されたオブジェクトに対抗する信号を形成し、音質レンダリング部1740に出力されたTFLA
T,TFRA
T,TSLA
T,TSRA
T信号はディフューズされた(diffused)サウンドに該当する信号を形成することができる。
それにより、チャネル間のコヒーレンスが低い拍手音や雨音のようなオーディオ信号を、前記のような過程で、空間レンダリング方法及び音質レンダリング方法に分けてレンダリングする場合、音質劣化を最小化することができる。
現実的な場合、マルチチャネルオーディオコーデックは、データを圧縮するために、MPEG SURROUNDのように、チャネル間の相関を使用する場合が多い。その場合、一般的にチャネル間のレベル差であるCLD(channel level difference)と、チャネル間の相関であるICC(interchannel cross correlation)をパラメータとして利用する場合がほとんどである。オブジェクト符号化技術であるMPEG SAOC(spatia laudio object coding)も、類似の形態を有することができる。その場合、内部デコーディング過程において、ダウンミックス信号からマルチチャネルオーディオ信号に拡張するチャネル拡張技術が使用される。
図21は、本発明の一実施形態による、MPEG SURROUNDのような構造のチャネル拡張コーデックを使用する場合、複数のレンダリング方法でレンダリングを行う実施形態について説明するための図面である。
チャネルコーデックのデコーダ内部で、トップレイヤのオーディオ信号に対応するビットストリームに対して、CLD基盤でチャネルを分離した後、ICC基盤で、逆相関器を介して、チャネル間のコヒーレンスを補正することができる。その結果、ドライな(dry)チャネル音源と、ディフューズされたチャネル音源とが分離されて出力される。ドライなチャネル音源は、空間レンダリング方法によってレンダリングが行われ、ディフューズされたチャネル音源は、音質レンダリング方法によってレンダリングが行われる。
一方、本構造を効率的に使用するためには、チャネルコーデックにおいて、ミドルレイヤとトップレイヤとのオーディオ信号を別途に圧縮して伝送するか、OTT/TTT(one-to-two/two-to-three)BOXのTREE構造で、ミドルレイヤとトップレイヤとのオーディオ信号を分離した後、分離されたそれぞれのチャネルを圧縮して伝送することができる。
また、トップレイヤのチャネルについては、拍手音検出を行い、ビットストリームに伝送し、デコーダ端で拍手音に該当するほどのチャネルデータであるTFLA,TFRA,TSLA,TSRAを算出する過程において、CLDによるチャネル分離された音源に対して、空間レンダリング方法を利用してレンダリングを遂行すればよいが、空間レンダリングの演算要素であるfiltering、weighting、summationを周波数ドメインで行えば、multiplication、weighting、summationを行えばよいので、大きい演算量の追加なしに遂行が可能である。また、ICCによって生成されたディフューズされた音源に対して、音質レンダリング方法を利用してレンダリングを行う段階でも、weighting,summation段階で可能であるので、既存のチャネルデコーダに、若干の演算量追加だけで、空間/音質レンダリングをいずれも行うことができる。
以下では、図22ないし図25を参照し、本発明の多様な実施形態によるマルチチャネルオーディオ提供システムについて説明する。特に、図22ないし図25は、同一の平面上に配置されたスピーカを利用して、高度感を有する仮想オーディオ信号を提供するマルチチャネルオーディオ提供システムでもある。
図22は、本発明の第1実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。
まず、該オーディオ装置は、メディアからマルチチャネルオーディオ信号を入力される。
そして、オーディオ装置は、マルチチャネルオーディオ信号をデコーディングし、デコーディングされたマルチチャネルオーディオ信号のうちスピーカと対応するチャネルオーディオ信号を外部から入力されるインタラクティブエフェクトオーディオ信号とミキシングし、第1オーディオ信号を生成する。
そして、該オーディオ装置は、デコーディングされたマルチチャネルオーディオ信号のうち異なる高度感を有するチャネルオーディオ信号に垂直面オーディオ信号処理を行う。このとき、垂直面オーディオ信号処理は、水平面スピーカを利用して、高度感を有する仮想オーディオ信号を生成する処理であり、前述のような仮想オーディオ信号生成技術を利用することができる。
そして、該オーディオ装置は、外部から入力されるインタラクティブエフェクトオーディオ信号を、垂直面処理されたオーディオ信号とミキシングし、第2オーディオ信号を処理する。
そして、該オーディオ装置は、第1オーディオ信号と第2オーディオ信号とをミキシングし、対応する水平面のオーディオスピーカに出力する。
図23は、本発明の第2実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。
まず、該オーディオ装置は、メディアからマルチチャネルオーディオ信号を入力される。
そして、該オーディオ装置は、マルチチャネルオーディオ信号と、外部から入力されるインタラクティブエフェクトオーディオとをミキシングし、第1オーディオ信号を生成することができる。
そして、該オーディオ装置は、第1オーディオ信号に対して、水平面オーディオスピーカのレイアウトに対応するように垂直面オーディオ信号処理を行い、対応する水平面オーディオスピーカに出力することができる。
また、該オーディオ装置は、垂直面オーディオ信号処理が行われた第1オーディオ信号をさらにエンコーディングし、外部のAV(audio video)レシーバに伝送することができる。このとき、オーディオ装置は、ドルビーデジタル(Dolby digital)またはDTSフォーマットのように、既存のAVレシーバが支援可能なフォーマットでオーディオをエンコーディングすることができる。
外部のAVレシーバは、垂直面オーディオ信号処理が行われた第1オーディオ信号を処理し、対応する水平面オーディオスピーカに出力することができる。
図24は、本発明の第3実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。
まず、オーディオ装置は、メディアからマルチチャネルオーディオ信号を入力され、外部(例えば、リモコン)からインタラクティブエフェクトオーディオを入力される。
そして、オーディオ装置は、入力されたマルチチャネルオーディオ信号に対して、水平面オーディオスピーカのレイアウトに対応するように垂直面オーディオ信号処理を行い、入力されるインタラクティブエフェクトオーディオに対しても、スピーカレイアウトに対応するように垂直面オーディオ信号処理を行うことができる。
そして、オーディオ装置は、垂直面オーディオ信号処理が行われたマルチチャネルオーディオ信号と、インタラクティブエフェクトオーディオとをミキシングし、第1オーディオ信号を生成し、第1オーディオ信号を対応する水平面オーディオスピーカに出力することができる。
また、オーディオ装置は、ミキシングされた第1オーディオ信号をさらにエンコーディングし、外部のAVレシーバに伝送することができる。このとき、オーディオ装置は、ドルビーデジタルまたはDTSフォーマットのように、既存のAVレシーバが支援可能なフォーマットでオーディオをエンコーディングすることができる。
外部のAVレシーバは、垂直面オーディオ信号処理が行われた第1オーディオ信号を処理し、対応する水平面オーディオスピーカに出力することができる。
図25は、本発明の第4実施形態によるマルチチャネルオーディオ提供システムを図示した図面である。
オーディオ装置は、メディアから入力されるマルチチャネルオーディオ信号を外部のAVレシーバに即座に伝送することができる。
外部のAVレシーバは、マルチチャネルオーディオ信号をデコーディングし、デコーディングされたマルチチャネルオーディオ信号に対して、水平面オーディオスピーカのレイアウトに対応するように垂直面オーディオ信号処理を行うことができる。
そして、外部のAVレシーバは、垂直面オーディオ信号処理が行われたマルチチャネルオーディオ信号を、対応する水平面スピーカを介して出力することができる。
以上では、本発明の望ましい実施形態について図示して説明したが、本発明は、前述の特定の実施形態に限定されるものではなく、特許請求の範囲で請求する本発明の要旨を外れることなしに、当該発明が属する技術分野で当業者によって、多様な変形実施が可能であるとういことは言うまでもなく、かような変形実施は、本発明の技術的思想や展望から個別的に理解されるものではない。
100 オーディオ装置
110 入力部
120 仮想オーディオ生成部
130 仮想オーディオ処理部
140 出力部
110 入力部
120 仮想オーディオ生成部
130 仮想オーディオ処理部
140 出力部
Claims (4)
- 高さ入力チャネル信号を含む複数の入力チャネル信号を受信する段階と、
複数の出力チャネル信号が形成する2次元の出力レイアウトを識別する段階と、
前記高さ入力チャネル信号の位置に基づいてフィルタのタイプを獲得する段階と、
前記高さ入力チャネル信号の位置及び周波数範囲に基づいてパンニングゲインのセットを獲得する段階と、
上昇された音像を提供するために、前記フィルタのタイプ及び前記パンニングゲインのセットに基づいて、前記複数の入力チャネル信号を高度レンダリングして前記複数の出力チャネル信号を生成する段階と、を含み、
前記高さ入力チャネル信号の位置は、高度情報及び方位情報を含み、
前記パンニングゲインのセットは、前記周波数範囲によって第1グループまたは第2グループに含まれる、オーディオ信号をレンダリングする方法。 - 前記複数の出力チャネル信号は、水平チャネル信号である、請求項1に記載のオーディオ信号をレンダリングする方法。
- 前記高さ入力チャネル信号は、前記複数の出力チャネル信号のうち、少なくとも1つを生成するために使用される請求項1に記載のオーディオ信号をレンダリングする方法。
- 高さ入力チャネル信号を含む複数の入力チャネル信号を受信する受信部と、
複数の出力チャネル信号が形成する2次元の出力レイアウトを識別し、前記高さ入力チャネル信号の位置に基づいてフィルタのタイプを獲得し、前記高さ入力チャネル信号の位置及び周波数範囲に基づいてパンニングゲインのセットを獲得する獲得部と、
上昇された音像を提供するために、前記フィルタのタイプ及び前記パンニングゲインのセットに基づいて、前記複数の入力チャネル信号を高度レンダリングして前記複数の出力チャネル信号を生成するレンダリング部と、を含み、
前記高さ入力チャネル信号の位置は、高度情報及び方位情報を含み、
前記パンニングゲインのセットは、前記周波数範囲により第1グループまたは第2グループに含まれる、オーディオ信号をレンダリングする装置。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361806654P | 2013-03-29 | 2013-03-29 | |
US61/806,654 | 2013-03-29 | ||
US201361809485P | 2013-04-08 | 2013-04-08 | |
US61/809,485 | 2013-04-08 | ||
JP2017232041A JP6510021B2 (ja) | 2013-03-29 | 2017-12-01 | オーディオ装置及びそのオーディオ提供方法 |
JP2019071413A JP6985324B2 (ja) | 2013-03-29 | 2019-04-03 | レンダリング方法、レンダリング装置及び記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019071413A Division JP6985324B2 (ja) | 2013-03-29 | 2019-04-03 | レンダリング方法、レンダリング装置及び記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022020858A JP2022020858A (ja) | 2022-02-01 |
JP7181371B2 true JP7181371B2 (ja) | 2022-11-30 |
Family
ID=51624833
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015562940A Pending JP2016513931A (ja) | 2013-03-29 | 2014-03-28 | オーディオ装置及びそのオーディオ提供方法 |
JP2017232041A Active JP6510021B2 (ja) | 2013-03-29 | 2017-12-01 | オーディオ装置及びそのオーディオ提供方法 |
JP2019071413A Active JP6985324B2 (ja) | 2013-03-29 | 2019-04-03 | レンダリング方法、レンダリング装置及び記録媒体 |
JP2021191226A Active JP7181371B2 (ja) | 2013-03-29 | 2021-11-25 | レンダリング方法、レンダリング装置及び記録媒体 |
Family Applications Before (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015562940A Pending JP2016513931A (ja) | 2013-03-29 | 2014-03-28 | オーディオ装置及びそのオーディオ提供方法 |
JP2017232041A Active JP6510021B2 (ja) | 2013-03-29 | 2017-12-01 | オーディオ装置及びそのオーディオ提供方法 |
JP2019071413A Active JP6985324B2 (ja) | 2013-03-29 | 2019-04-03 | レンダリング方法、レンダリング装置及び記録媒体 |
Country Status (13)
Country | Link |
---|---|
US (3) | US9549276B2 (ja) |
EP (1) | EP2981101B1 (ja) |
JP (4) | JP2016513931A (ja) |
KR (3) | KR101859453B1 (ja) |
CN (2) | CN107623894B (ja) |
AU (2) | AU2014244722C1 (ja) |
BR (1) | BR112015024692B1 (ja) |
CA (2) | CA2908037C (ja) |
MX (3) | MX366000B (ja) |
MY (1) | MY174500A (ja) |
RU (2) | RU2676879C2 (ja) |
SG (1) | SG11201507726XA (ja) |
WO (1) | WO2014157975A1 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2981101B1 (en) * | 2013-03-29 | 2019-08-14 | Samsung Electronics Co., Ltd. | Audio apparatus and audio providing method thereof |
KR102231755B1 (ko) | 2013-10-25 | 2021-03-24 | 삼성전자주식회사 | 입체 음향 재생 방법 및 장치 |
KR102443054B1 (ko) * | 2014-03-24 | 2022-09-14 | 삼성전자주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
WO2015147619A1 (ko) | 2014-03-28 | 2015-10-01 | 삼성전자 주식회사 | 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
EP3131313A4 (en) | 2014-04-11 | 2017-12-13 | Samsung Electronics Co., Ltd. | Method and apparatus for rendering sound signal, and computer-readable recording medium |
MX365637B (es) | 2014-06-26 | 2019-06-10 | Samsung Electronics Co Ltd | Metodo y dispositivo para representar una señal acustica y medio de grabacion legible por computadora. |
WO2016039168A1 (ja) * | 2014-09-12 | 2016-03-17 | ソニー株式会社 | 音声処理装置および方法 |
WO2016089180A1 (ko) * | 2014-12-04 | 2016-06-09 | 가우디오디오랩 주식회사 | 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법 |
KR20160122029A (ko) * | 2015-04-13 | 2016-10-21 | 삼성전자주식회사 | 스피커 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치 |
BR112018008504B1 (pt) * | 2015-10-26 | 2022-10-25 | Fraunhofer - Gesellschaft Zur Förderung Der Angewandten Forschung E.V | Aparelho para gerar um sinal de áudio filtrado e seu método, sistema e método para fornecer informações de modificação de direção |
US11128978B2 (en) * | 2015-11-20 | 2021-09-21 | Dolby Laboratories Licensing Corporation | Rendering of immersive audio content |
PT3406086T (pt) * | 2016-01-22 | 2020-06-26 | Glauk S R L | Método e aparelho para reproduzir áudio por meios de transdutores acústicos planares |
US20170325043A1 (en) * | 2016-05-06 | 2017-11-09 | Jean-Marc Jot | Immersive audio reproduction systems |
CN106060758B (zh) * | 2016-06-03 | 2018-03-23 | 北京时代拓灵科技有限公司 | 虚拟现实声场元数据的处理方法 |
CN105872940B (zh) * | 2016-06-08 | 2017-11-17 | 北京时代拓灵科技有限公司 | 一种虚拟现实声场生成方法及系统 |
US10187740B2 (en) * | 2016-09-23 | 2019-01-22 | Apple Inc. | Producing headphone driver signals in a digital audio signal processing binaural rendering environment |
US10979844B2 (en) * | 2017-03-08 | 2021-04-13 | Dts, Inc. | Distributed audio virtualization systems |
US10542491B2 (en) * | 2017-03-17 | 2020-01-21 | Qualcomm Incorporated | Techniques and apparatuses for control channel monitoring using a wakeup signal |
US9820073B1 (en) | 2017-05-10 | 2017-11-14 | Tls Corp. | Extracting a common signal from multiple audio signals |
US10348880B2 (en) * | 2017-06-29 | 2019-07-09 | Cheerful Ventures Llc | System and method for generating audio data |
KR102418168B1 (ko) | 2017-11-29 | 2022-07-07 | 삼성전자 주식회사 | 오디오 신호 출력 장치 및 방법, 이를 이용한 디스플레이 장치 |
IT201800004209A1 (it) * | 2018-04-05 | 2019-10-05 | Dispositivo semiconduttore di potenza con relativo incapsulamento e corrispondente procedimento di fabbricazione | |
KR102637876B1 (ko) * | 2018-04-10 | 2024-02-20 | 가우디오랩 주식회사 | 메타데이터를 이용하는 오디오 신호 처리 방법 및 장치 |
CN109089203B (zh) * | 2018-09-17 | 2020-10-02 | 中科上声(苏州)电子有限公司 | 汽车音响系统的多声道信号转换方法及汽车音响系统 |
CN113615210A (zh) * | 2019-03-06 | 2021-11-05 | 哈曼国际工业有限公司 | 无上发和环绕扬声器的条形音箱中的虚拟高度和环绕效果 |
IT201900013743A1 (it) | 2019-08-01 | 2021-02-01 | St Microelectronics Srl | Dispositivo elettronico di potenza incapsulato, in particolare circuito a ponte comprendente transistori di potenza, e relativo procedimento di assemblaggio |
IT202000016840A1 (it) | 2020-07-10 | 2022-01-10 | St Microelectronics Srl | Dispositivo mosfet incapsulato ad alta tensione e dotato di clip di connessione e relativo procedimento di fabbricazione |
US11924628B1 (en) * | 2020-12-09 | 2024-03-05 | Hear360 Inc | Virtual surround sound process for loudspeaker systems |
CN112731289B (zh) * | 2020-12-10 | 2024-05-07 | 深港产学研基地(北京大学香港科技大学深圳研修院) | 一种基于加权模板匹配的双耳声源定位方法和装置 |
US11595775B2 (en) * | 2021-04-06 | 2023-02-28 | Meta Platforms Technologies, Llc | Discrete binaural spatialization of sound sources on two audio channels |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120008789A1 (en) | 2010-07-07 | 2012-01-12 | Korea Advanced Institute Of Science And Technology | 3d sound reproducing method and apparatus |
US20120093323A1 (en) | 2010-10-14 | 2012-04-19 | Samsung Electronics Co., Ltd. | Audio system and method of down mixing audio signals using the same |
Family Cites Families (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07111699A (ja) * | 1993-10-08 | 1995-04-25 | Victor Co Of Japan Ltd | 音像定位制御装置 |
JP3528284B2 (ja) * | 1994-11-18 | 2004-05-17 | ヤマハ株式会社 | 3次元サウンドシステム |
JPH0918999A (ja) * | 1995-04-25 | 1997-01-17 | Matsushita Electric Ind Co Ltd | 音像定位装置 |
JPH09322299A (ja) * | 1996-05-24 | 1997-12-12 | Victor Co Of Japan Ltd | 音像定位制御装置 |
JP4500434B2 (ja) * | 2000-11-28 | 2010-07-14 | キヤノン株式会社 | 撮像装置及び撮像システム、並びに撮像方法 |
CN1275498C (zh) * | 2001-02-07 | 2006-09-13 | 多尔拜实验特许公司 | 声道转换方法 |
US7660424B2 (en) | 2001-02-07 | 2010-02-09 | Dolby Laboratories Licensing Corporation | Audio channel spatial translation |
WO2006089148A2 (en) * | 2005-02-17 | 2006-08-24 | Panasonic Automotive Systems Company Of America Division Of Panasonic Corporation Of North America | Method and apparatus for optimizing reproduction of audio source material in an audio system |
KR100608025B1 (ko) | 2005-03-03 | 2006-08-02 | 삼성전자주식회사 | 2채널 헤드폰용 입체 음향 생성 방법 및 장치 |
JP4581831B2 (ja) * | 2005-05-16 | 2010-11-17 | ソニー株式会社 | 音響装置、音響調整方法および音響調整プログラム |
CN1937854A (zh) * | 2005-09-22 | 2007-03-28 | 三星电子株式会社 | 用于再现双声道虚拟声音的装置和方法 |
KR100739776B1 (ko) * | 2005-09-22 | 2007-07-13 | 삼성전자주식회사 | 입체 음향 생성 방법 및 장치 |
KR100739798B1 (ko) * | 2005-12-22 | 2007-07-13 | 삼성전자주식회사 | 청취 위치를 고려한 2채널 입체음향 재생 방법 및 장치 |
KR100677629B1 (ko) * | 2006-01-10 | 2007-02-02 | 삼성전자주식회사 | 다채널 음향 신호에 대한 2채널 입체 음향 생성 방법 및장치 |
CN101379555B (zh) * | 2006-02-07 | 2013-03-13 | Lg电子株式会社 | 用于编码/解码信号的装置和方法 |
WO2007091779A1 (en) | 2006-02-10 | 2007-08-16 | Lg Electronics Inc. | Digital broadcasting receiver and method of processing data |
US8374365B2 (en) * | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
JP4914124B2 (ja) * | 2006-06-14 | 2012-04-11 | パナソニック株式会社 | 音像制御装置及び音像制御方法 |
US8520873B2 (en) * | 2008-10-20 | 2013-08-27 | Jerry Mahabub | Audio spatialization and environment simulation |
JP5114981B2 (ja) * | 2007-03-15 | 2013-01-09 | 沖電気工業株式会社 | 音像定位処理装置、方法及びプログラム |
US8639498B2 (en) * | 2007-03-30 | 2014-01-28 | Electronics And Telecommunications Research Institute | Apparatus and method for coding and decoding multi object audio signal with multi channel |
KR101430607B1 (ko) | 2007-11-27 | 2014-09-23 | 삼성전자주식회사 | 휴대용 단말기에서 스테레오 효과를 제공하기 위한 장치 및방법 |
CN101483797B (zh) * | 2008-01-07 | 2010-12-08 | 昊迪移通(北京)技术有限公司 | 一种针对耳机音响系统的人脑音频变换函数(hrtf)的生成方法和设备 |
EP2124486A1 (de) * | 2008-05-13 | 2009-11-25 | Clemens Par | Winkelabhängig operierende Vorrichtung oder Methodik zur Gewinnung eines pseudostereophonen Audiosignals |
ES2425814T3 (es) | 2008-08-13 | 2013-10-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato para determinar una señal de audio espacial convertida |
US9628934B2 (en) | 2008-12-18 | 2017-04-18 | Dolby Laboratories Licensing Corporation | Audio channel spatial translation |
GB2467534B (en) * | 2009-02-04 | 2014-12-24 | Richard Furse | Sound system |
JP5499513B2 (ja) * | 2009-04-21 | 2014-05-21 | ソニー株式会社 | 音響処理装置、音像定位処理方法および音像定位処理プログラム |
US20120109645A1 (en) | 2009-06-26 | 2012-05-03 | Lizard Technology | Dsp-based device for auditory segregation of multiple sound inputs |
JP5400225B2 (ja) * | 2009-10-05 | 2014-01-29 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | オーディオ信号の空間的抽出のためのシステム |
US9055381B2 (en) * | 2009-10-12 | 2015-06-09 | Nokia Technologies Oy | Multi-way analysis for audio processing |
JP5597975B2 (ja) * | 2009-12-01 | 2014-10-01 | ソニー株式会社 | 映像音響装置 |
CN102792378B (zh) | 2010-01-06 | 2015-04-29 | Lg电子株式会社 | 处理音频信号的设备及其方法 |
EP2360681A1 (en) * | 2010-01-15 | 2011-08-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information |
US8665321B2 (en) | 2010-06-08 | 2014-03-04 | Lg Electronics Inc. | Image display apparatus and method for operating the same |
KR101679570B1 (ko) * | 2010-09-17 | 2016-11-25 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
JP5730555B2 (ja) * | 2010-12-06 | 2015-06-10 | 富士通テン株式会社 | 音場制御装置 |
JP5757093B2 (ja) * | 2011-01-24 | 2015-07-29 | ヤマハ株式会社 | 信号処理装置 |
US9408010B2 (en) * | 2011-05-26 | 2016-08-02 | Koninklijke Philips N.V. | Audio system and method therefor |
KR101901908B1 (ko) * | 2011-07-29 | 2018-11-05 | 삼성전자주식회사 | 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치 |
JP2013048317A (ja) * | 2011-08-29 | 2013-03-07 | Nippon Hoso Kyokai <Nhk> | 音像定位装置及びそのプログラム |
CN202353798U (zh) * | 2011-12-07 | 2012-07-25 | 广州声德电子有限公司 | 数字影院音频处理器 |
EP2645749B1 (en) | 2012-03-30 | 2020-02-19 | Samsung Electronics Co., Ltd. | Audio apparatus and method of converting audio signal thereof |
EP2981101B1 (en) * | 2013-03-29 | 2019-08-14 | Samsung Electronics Co., Ltd. | Audio apparatus and audio providing method thereof |
-
2014
- 2014-03-28 EP EP14773799.3A patent/EP2981101B1/en active Active
- 2014-03-28 RU RU2015146225A patent/RU2676879C2/ru not_active Application Discontinuation
- 2014-03-28 SG SG11201507726XA patent/SG11201507726XA/en unknown
- 2014-03-28 MX MX2017003988A patent/MX366000B/es unknown
- 2014-03-28 CA CA2908037A patent/CA2908037C/en active Active
- 2014-03-28 KR KR1020177037709A patent/KR101859453B1/ko active IP Right Grant
- 2014-03-28 CN CN201710850984.6A patent/CN107623894B/zh active Active
- 2014-03-28 CN CN201480019359.1A patent/CN105075293B/zh active Active
- 2014-03-28 AU AU2014244722A patent/AU2014244722C1/en active Active
- 2014-03-28 KR KR1020177002771A patent/KR101815195B1/ko active IP Right Grant
- 2014-03-28 CA CA3036880A patent/CA3036880C/en active Active
- 2014-03-28 MY MYPI2015703394A patent/MY174500A/en unknown
- 2014-03-28 WO PCT/KR2014/002643 patent/WO2014157975A1/ko active Application Filing
- 2014-03-28 BR BR112015024692-3A patent/BR112015024692B1/pt active IP Right Grant
- 2014-03-28 JP JP2015562940A patent/JP2016513931A/ja active Pending
- 2014-03-28 KR KR1020157022453A patent/KR101703333B1/ko active IP Right Grant
- 2014-03-28 US US14/781,235 patent/US9549276B2/en active Active
- 2014-03-28 RU RU2018145527A patent/RU2703364C2/ru active
- 2014-03-28 MX MX2015013783A patent/MX346627B/es active IP Right Grant
-
2015
- 2015-09-28 MX MX2019006681A patent/MX2019006681A/es unknown
-
2016
- 2016-12-01 AU AU2016266052A patent/AU2016266052B2/en active Active
- 2016-12-07 US US15/371,453 patent/US9986361B2/en active Active
-
2017
- 2017-12-01 JP JP2017232041A patent/JP6510021B2/ja active Active
-
2018
- 2018-05-25 US US15/990,053 patent/US10405124B2/en active Active
-
2019
- 2019-04-03 JP JP2019071413A patent/JP6985324B2/ja active Active
-
2021
- 2021-11-25 JP JP2021191226A patent/JP7181371B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120008789A1 (en) | 2010-07-07 | 2012-01-12 | Korea Advanced Institute Of Science And Technology | 3d sound reproducing method and apparatus |
US20120093323A1 (en) | 2010-10-14 | 2012-04-19 | Samsung Electronics Co., Ltd. | Audio system and method of down mixing audio signals using the same |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7181371B2 (ja) | レンダリング方法、レンダリング装置及び記録媒体 | |
KR102131748B1 (ko) | 2차원 또는 3차원 음장의 앰비소닉스 표현의 연속 프레임을 인코딩 및 디코딩하는 방법 및 장치 | |
KR101341523B1 (ko) | 스테레오 신호들로부터 멀티 채널 오디오 신호들을생성하는 방법 | |
CN111316354B (zh) | 目标空间音频参数和相关联的空间音频播放的确定 | |
KR101471798B1 (ko) | 다운믹스기를 이용한 입력 신호 분해 장치 및 방법 | |
JP2015509212A (ja) | 空間オーディオ・レンダリング及び符号化 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221018 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7181371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |