JP6382965B2 - オーディオ信号レンダリング方法及び装置 - Google Patents

Description

本発明は、立体音響再生方法及びその装置に係り、特に、多チャネルオーディオ信号を再生する方法及びその装置に関する。

映像処理技術及び音響処理技術の発達により、高画質・高音質のコンテンツが量産されている。高画質・高音質のコンテンツを要求したユーザは、臨場感あふれる映像及び音響を望み、それにより、立体映像及び立体音響に係わる研究が活発に進められている。

立体音響は、複数個のスピーカを水平面上の異なる位置に配置し、それぞれのスピーカから、同一であったり異なったりする音響信号を出力することにより、ユーザに空間感を感じさせる技術である。しかし、実際の音響は、水平面上の多様な位置で発生するだけではなく、異なる高度でも発生する。従って、異なる高度で発生する音響信号を、水平面上に配置されたスピーカを介して再生する技術が必要である。

本発明は、立体音響再生方法及びその装置に係り、高度音響信号を含む多チャネルオーディオ信号を、水平面レイアウト環境で再生するための方法に関する。

本発明の一実施形態による、立体音響再生方法は、多チャネルオーディオ信号を獲得する段階と、前記多チャネルオーディオ信号のチャネル情報、及び周波数によって再生されるチャネルにレンダリングする段階と、前記レンダリングされた信号をミキシングする段階と、を含むことを特徴とする。

前記立体音響再生方法は、前記多チャネルオーディオ信号からアプローズ信号を分離する段階をさらに含み、前記レンダリングする段階は、前記アプローズ信号は、２Ｄ（two-dimensional）レンダリング方法によってレンダリングされるか、あるいは前記アプローズ信号の各チャネル別に、水平面上に配置された出力チャネルのうち最も近いチャネルにレンダリングされる段階を含むことを特徴とする。

前記ミキシングする段階は、前記レンダリングされたアプローズ信号を、エネルギーブースト方式によってミキシングする段階を含むことを特徴とする。

前記アプローズ信号を分離する段階は、前記多チャネル入力信号にトーナルしない広帯域信号が存在し、前記広帯域信号のレベルがチャネル別に類似しているか否かということ、短い区間のインパルス形態が反復されているか否かということ、及びチャネル間関連性が低いか否かということのうち少なくとも一つに基づいて、前記多チャネル入力信号が、前記アプローズ信号を含むか否かということを判断する段階と、前記判断結果によって、前記アプローズ信号を分離する段階と、を含むことを特徴とする。

前記レンダリングする段階は、前記多チャネルオーディオ信号を、前記チャネル情報に基づいて、水平面チャネル信号及びオーバーヘッドチャネル信号に分離する段階と、前記オーバーヘッドチャネル信号を、低周波信号と高周波信号とに分離する段階と、前記低周波信号は、前記低周波信号の各チャネル別に、水平面上に配置された出力チャネルのうち最も近いチャネルにレンダリングする段階と、前記高周波信号は、３Ｄレンダリング方法によってレンダリングする段階と、前記水平面チャネル信号は、２Ｄレンダリング方法によってレンダリングする段階と、を含むことを特徴とする。

前記ミキシングする段階は、前記チャネル情報及び周波数によって、前記レンダリングされた信号に適用するゲインを決定する段階と、前記決定されたゲインを前記レンダリングされた信号に適用してミキシングする段階と、を含むことを特徴とする。

前記ミキシングする段階は、前記レンダリングされた信号のパワー値に基づいて、前記パワー値が保存されるように、前記レンダリングされた信号をミキシングする段階を含むことを特徴とする。

前記ミキシングする段階は、前記レンダリングされた信号のパワー値に基づいて、所定区間単位にミキシングする段階と、前記レンダリングされた信号のうち低周波信号を分離する段階と、前記低周波信号は、以前区間での前記レンダリングされた信号のパワー値に基づいて、前記レンダリングされた信号をミキシングする段階と、を含むことを特徴とする。

前記レンダリングする段階は、前記多チャネルオーディオ信号のチャネル情報、及び周波数によって再生されるチャネルにレンダリングする段階を含むことを特徴とする。

本発明の一実施形態による立体音響再生装置は、多チャネルオーディオ信号を獲得し、前記多チャネルオーディオ信号のチャネル情報、及び周波数によって再生されるチャネルにレンダリングするレンダラ；及び前記レンダリングされた信号をミキシングするミキサ；を含むことを特徴とする。

本発明の一実施形態による立体音響再生装置は、音声信号のうち高度成分を水平面上に配置されたスピーカで高度感あるように再生することができる。

本発明の一実施形態による立体音響再生装置は、多チャネルオーディオ信号をチャネル数が少ない環境で再生するとき、音色（tone）が変わったり、音が消えたりする現象を最小化することができる。

本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。 本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。 本発明の一実施形態による立体音響再生方法を図示したフローチャートである。 本発明の一実施形態において、アプローズ信号を含むオーディオ信号に対する立体音響再生方法を図示したフローチャートである。 本発明の一実施形態において、３Ｄレンダラの内部構造を示したブロック図である。 本発明の一実施形態による、レンダリングされたオーディオ信号をミキシングする方法を図示したフローチャートである。 本発明の一実施形態による、レンダリングされたオーディオ信号を周波数によってミキシングする方法を図示したフローチャートである。 本発明の一実施形態による、レンダリングされたオーディオ信号を周波数によってミキシングする一例を図示した例示図である。 本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。 本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。

以下、本発明の望ましい実施例について、添付した図面を参照して詳細に説明する。ただし、下記の説明、及び添付された図面において、本発明の要旨を不明確にする公知機能または構成に係わる詳細な説明は省略する。また、図面全体にわたって、同一構成要素は、可能な限り、同一図面符号でもって示されているということに留意しなければならない。

以下で説明される本明細書及び特許請求の範囲に使用された用語や単語は、一般的であったり、辞書的であったりする意味に限定して解釈されるものではなく、発明者は、その自身の発明を最善の方法で説明するための用語でもって適切に定義することができるという原則に立脚し、本発明の技術的思想に符合する意味及び概念に解釈されなければならない。従って、本明細書に記載された実施形態と、図面に図示された構成は、本発明の最も望ましい一実施形態に過ぎず、本発明の技術的思想をいずれも代弁するものではないので、本出願時点において、それらを代替する多様な均等物と変形例とがあるということを理解しなければならない。

明細書全体において、ある部分がある構成要素を「含む」とするとき、それは、特別に反対になる記載がない限り、他の構成要素を除くものではなく、他の構成要素をさらに含んでもよいということを意味する。また、明細書に記載された「…部」、「モジュール」というような用語は、少なくとも１つの機能や動作を処理する単位を意味し、それは、ハードウェアまたはソフトウェアによって具現されるか、ハードウェアとソフトウェアとの結合によって具現されるのである。

以下、添付した図面を参照し、本発明の実施形態について、本発明が属する技術分野で当業者が容易に実施することができるように詳細に説明する。しかし、本発明は、さまざまに異なる形態に具現され、ここで説明する実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明と関係ない部分は省略し、明細書全体を通じて類似した部分については、類似した図面符号を付した。

以下、添付された図面を参照し、本発明の望ましい実施形態について説明する。

図１及び図２は、本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。

本発明の一実施形態による立体音響再生装置１００は、再生されるチャネルで、ダウンミキシングされた多チャネルオーディオ信号を出力することができる。

立体音響とは、音の高低、音色（tone）だけではなく、方向や距離感まで再生して臨場感を有するものにし、音源が発生させた空間に位置していない聴取者に、方向感、距離感及び空間感を知覚させる空間情報を付加した音響を意味する。

以下の説明において、オーディオ信号のチャネルは、音響が出力されるスピーカの個数を意味する。チャネル数が多いほど、音響が出力されるスピーカの個数が多くなる。本発明の一実施形態による立体音響再生装置１００は、チャネル数が多い多チャネルオーディオ信号が、チャネル数が少ない環境で出力されて再生されるように、多チャネルオーディオ信号を、再生されるチャネルにレンダリングしてミキシングすることができる。このとき、多チャネルオーディオ信号は、高度音響を出力することができるチャネルを含んでもよい。

高度音響を出力することができるチャネルは、高度感を感じるように、聴取者の頭上に位置したスピーカを介して、音響信号を出力することができるチャネルを意味する。水平面チャネルは（horizontal channel）、聴取者と水平した面に位置したスピーカを介して、音響信号を出力することができるチャネルを意味する。

前述のチャネル数が少ない環境は、高度音響を出力することができるチャネルを含まず、水平面チャネルによって、水平面上に配置されたスピーカを介して音響を出力する環境を意味する。

また、以下の説明において、水平面チャネルは、水平面上に配置されたスピーカを介して出力されるオーディオ信号を含むチャネルを意味する。オーバーヘッドチャネル（overhead channel）は、水平面ではない高度上に配置されて高度音を出力することができるスピーカを介して出力されるオーディオ信号を含むチャネルを意味する。

図１を参照すれば、本発明の一実施形態による立体音響再生装置１００は、レンダラ１１０及びミキサ１２０を含んでもよい。

本発明の一実施形態による立体音響再生装置１００は、多チャネルオーディオ信号をレンダリングしてミキシングし、再生されるチャネルに出力することができる。例えば、多チャネルオーディオ信号は、２２．２チャネル信号であり、再生されるチャネルは、５．１チャネルまたは７．１チャネルでもある。立体音響再生装置１００は、多チャネルオーディオ信号の各チャネルを対応させるチャネルを決定することにより、レンダリングを行い、再生されるチャネルと対応した各チャネルの信号を合わせ、最終信号として出力することにより、レンダリングされたオーディオ信号をミキシングすることができる。

レンダラ１１０は、多チャネルオーディオ信号を、チャネル及び周波数によってレンダリングすることができる。レンダラ１１０は、多チャネルオーディオ信号に対して、オーバーヘッドチャネルと水平面チャネルとによる信号を、それぞれ３Ｄ（three-dimensional）レンダリング及び２Ｄ（two-dimensional）レンダリングすることができる。

レンダラ１１０は、オーバーヘッドチャネルを３Ｄレンダリングするために、ＨＲＴＦ（head related transfer filter）フィルタを通過したオーバーヘッドチャネルを、周波数によって、それぞれ異なる方法でレンダリングすることができる。ＨＲＴＦフィルタは、両耳間のレベル差、及び両耳間での、音響時間の到逹時間差のような単純な経路差だけではなく、頭表面での回折、耳たぶによる反射のような複雑な経路上の特性が、音の到来方向によって変化する現象によって、立体音響を認識させる。ＨＲＴＦフィルタは、オーディオ信号の音質を変化させることにより、立体音響が認識されるように、オーバーヘッドチャネルに含まれたオーディオ信号を処理することができる。

レンダラ１１０は、オーバーヘッドチャネル信号のうち低周波信号については、アド・ツー・クローゼストチャネル（add to the closest channel）方法によってレンダリングし、高周波信号については、マルチチャネルパンニング（multichannel panning）方法によってレンダリングすることができる。マルチチャネルパンニング方法によれば、多チャネルオーディオ信号の各チャネルの信号が、各チャネル信号にレンダリングされるチャネルごとに互いに異なるように設定されたゲイン値が適用され、少なくとも１つの水平面チャネルにそれぞれレンダリングされる。ゲイン値が適用された各チャネルの信号は、ミキシングを介して合わされることにより、最終信号として出力される。

低周波信号は、回折性が強いので、マルチチャネルパンニング方法によって、多チャネルオーディオ信号の各チャネルを、さまざまなチャネルにそれぞれ分けてレンダリングせず、１つのチャネルにのみレンダリングしても、聴取者の聴取に、同じような音質を有することができる。従って、本発明の一実施形態による立体音響再生装置１００は、低周波信号をアド・ツー・クローゼストチャネル方法によってレンダリングすることにより、１つの出力チャネルにさまざまなチャネルがミキシングされるとこによって発生する音質劣化を防止することができる。すなわち、１つの出力チャネルにさまざまなチャネルがミキシングされれば、各チャネル信号間の干渉によって、音質が増幅されたり低減されたりして劣化されるので、１つの出力チャネルに１つのチャネルをミキシングすることにより、音質劣化を防止することができる。

アド・ツー・クローゼストチャネル方法によれば、多チャネルオーディオ信号の各チャネルは、さまざまなチャネルに分けてレンダリングする代わりに、再生されるチャネルのうち最も近いチャネルにレンダリングされる。

また、立体音響再生装置１００は、周波数によって異なる方法でレンダリングを行うことにより、スイートスポット（sweet spot）を音質劣化なしに広げることができる。すなわち、回折特性が強い低周波信号に対しては、アド・ツー・クローゼストチャネル方法によってレンダリングすることにより、１つの出力チャネルにさまざまなチャネルがミキシングされることによって発生する音質劣化を防止することができる。スイートスポットとは、聴取者が、歪曲されていない立体音響を最適に聴取することができる所定範囲を意味する。スイートスポットが広いほど、聴取者は、広い範囲で、歪曲されていない立体音響を最適に聴取することができ、聴取者がスイートスポットに位置しない場合、音質または音像などが歪曲された音響を聴取することになる。

周波数によってことなるパンニング（panning）方法でレンダリングする方法については、以下の図４または図５でさらに詳細に説明する。

ミキサ１２０は、レンダラ１１０によって水平チャネルと対応した各チャネルの信号を合わせ、最終信号として出力することができる。ミキサ１２０は、所定区間別に、各チャネルの信号をミキシングすることができる。例えば、ミキサ１２０は、１フレーム別に、各チャネルの信号をミキシングすることができる。

本発明の一実施形態によるミキサ１２０は、再生される各チャネルにレンダリングされた信号のパワー値に基づいてミキシングすることができる。言い換えれば、ミキサ１２０は、再生される各チャネルにレンダリングされた信号のパワー値に基づいて、最終信号の振幅、または最終信号に適用されるゲイン（gain）を決定することができる。

図２を参照すれば、本発明の一実施形態による立体音響再生装置２００は、音響分析部２１０、レンダラ２２０、ミキサ２３０及び出力部２４０を含んでもよい。図２の立体音響再生装置２００、レンダラ２２０及びミキサ２３０は、図１の立体音響再生装置１００、レンダラ１１０及びミキサ１２０と対応し、重複説明は省略する。

音響分析部２１０は、多チャネルオーディオ信号を分析してレンダリングモードを選択し、多チャネルオーディオ信号に含まれた一部信号を分離して出力することができる。音響分析部２１０は、レンダリングモード選択部２１１とレンダリング信号分離部２１２とを含んでもよい。

レンダリングモード選択部２１１は、多チャネルオーディオ信号に、拍手音や雨の音のように、トランジェント（transient）な信号が多い否かということを所定区間別に判断することができる。以下の説明において、拍手（applause）音や雨の音のように、トランジェント、すなわち、瞬間的であって一時的な信号が多いオーディオ信号をアプローズ（applause）信号と称する。

本発明の一実施形態による立体音響再生装置２００は、アプローズ信号を分離し、アプローズ信号の特徴によって、チャネルレンダリング及びミキシングを処理することができる。

レンダリングモード選択部２１１は、アプローズ信号が、多チャネルオーディオ信号に含まれているか否かということによって、レンダリングモードを、一般（general）モードまたはアプローズモードのうち一つに選択することができる。レンダラ２２０は、レンダリングモード選択部２１１によって選択されたモードによってレンダリングすることができる。すなわち、レンダラ２２０は、選択されたモードによって、アプローズ信号に対するレンダリングを行うことができる。

レンダリングモード選択部２１１は、アプローズ信号が、多チャネルオーディオ信号に含まれていない場合、一般モードを選択することができる。一般モードによれば、オーバーヘッドチャネル信号は、３Ｄレンダラ２２１によってレンダリングされ、水平チャネル信号は、２Ｄレンダラ２２２によってレンダリングされる。すなわち、アプローズ信号に対する考慮なしにレンダリングが行われる。

レンダリングモード選択部２１１は、アプローズ信号が、多チャネルオーディオ信号に含まれている場合、アプローズモードを選択することができる。アプローズモードによれば、アプローズ信号が分離され、分離されたアプローズ信号に対してレンダリングが行われる。

レンダリングモード選択部２１１は、多チャネルオーディオ信号に含まれているか、あるいは他の装置から別途に受信されたアプローズビット情報を利用して、アプローズ信号が、多チャネルオーディオ信号に含まれているか否かということを、所定区間別に判断することができる。アプローズビット情報は、ＭＰＥＧ（Moving Picture Experts Group）系のコーデックスによれば、ｂｓＴｓＥｎａｂｌｅフラグ情報またはｂｓＴｅｍｐＳｈａｐｅＥｎａｂｌｅＣｈａｎｎｅｌフラグ情報を含み、前述のフラグ情報によって、レンダリングモードが、レンダリングモード選択部２１１によって選択される。

また、レンダリングモード選択部２１１は、判断する所定区間の多チャネルオーディオ信号の特性に基づいて、レンダリングモードを選択することができる。すなわち、レンダリングモード選択部２１１は、所定区間の多チャネルオーディオ信号の特性がアプローズ信号を含むオーディオ信号の特性を有するか否かということによって、レンダリングモードを選択することができる。

レンダリングモード選択部２１１は、所定区間の多チャネルオーディオ信号において、多数の入力チャネルに、トーナル（tonal）ではない広帯域（wideband）信号が存在し、該信号のレベルがチャネル別に類似しているか否かということ、短い区間のインパルス（impulse）形態が反復されているか否かということ、及びチャネル間の関連性（correlation）が低いか否かということのうち少なくとも１つの条件に基づいて、アプローズ信号が、多チャネルオーディオ信号に含まれているか否かということを判断することができる。

レンダリングモード選択部２１１は、アプローズ信号が、現在区間において、多チャネルオーディオ信号に含まれていると判断した場合、レンダリングモードをアプローズモードに選択することができる。

レンダリング信号分離部２１２は、レンダリング信号選択部２１１によってアプローズモードが選択された場合、多チャネルオーディオ信号に含まれたアプローズ信号を一般音響信号と分離することができる。

ＭＰＥＧ ＵＳＡＣ系でのｂｓＴｓｄＥｎａｂｌｅフラグが使用される場合、当該チャネルの高度（elevation）に係わりなく、フラグ情報によって、水平チャネル信号のように２Ｄレンダリングされる。また、オーバーヘッド信号も、フラグ情報によって、水平チャネル信号と仮定されてミキシングされる。すなわち、レンダリング信号分離部２１２は、フラグ情報によって、所定区間の多チャネルオーディオ信号に含まれたアプローズ信号を分離することができ、分離されたアプローズ信号は、水平チャネル信号のように２Ｄレンダリングされる。

フラグが使用されない場合、レンダリング信号分離部２１２は、チャネル間の信号を分析し、アプローズ信号成分を分離することができる。オーバーヘッド信号中にで分離されたアプローズ信号は、２Ｄレンダリングされ、アプローズ信号ではない残りの信号は、３Ｄレンダリングされる。

レンダラ２２０は、オーバーヘッド信号を、３Ｄレンダリング方法によってレンダリングする３Ｄレンダラ２２１と、水平面チャネル信号またはアプローズ信号を２Ｄレンダリング方法によってレンダリングする２Ｄレンダラ２２２と、を含んでもよい。

３Ｄレンダラ２２１は、オーバーヘッド信号を、周波数によってそれぞれ異なる方法でレンダリングすることができる。３Ｄレンダラ２２１は、低周波信号は、アド・ツー・クローゼストチャネル方法でレンダリングし、高周波信号は、３Ｄレンダリング方法によってレンダリングすることができる。以下において、３Ｄレンダリング方法は、オーバーヘッド信号をレンダリングする方法を意味し、３Ｄレンダリング方法は、マルチチャネルパンニング方法を含んでもよい。

２Ｄレンダラ２２２は、水平面チャネル信号またはアプローズ信号を、２Ｄレンダリング方法、アド・ツー・クローゼストチャネル方法及びエネルギーブースト（energy boost）方法のうち少なくとも１つの方法によってレンダリングすることができる。以下において、２Ｄレンダリング方法は、水平面チャネル信号をレンダリングする方法を意味し、２Ｄレンダリング方法は、ダウンミックス数式（downmix equation）またはＶＢＡＰ（vector base amplitude panning）方法を含んでもよい。

３Ｄレンダラ２２１と２Ｄレンダラ２２２は、それぞれマトリックス化されて簡略化される。３Ｄレンダラ２２１は、入力チャネル、出力チャネル、周波数の関数で決定される３Ｄダウンミックスマトリックスを介して、ダウンミキシングすることができる。２Ｄレンダラ２２２は、入力チャネル、出力チャネルの関数で決定される２Ｄダウンミックスマトリックスを介して、ダウンミキシングされる。すなわち、３Ｄダウンミックスマトリックスまたは２Ｄダウンミックスマトリックスは、入力チャネル、出力チャネルまたは周波数によって決定される係数を含み、入力された多チャネルオーディオ信号をダウンミキシングすることができる。

それは、レンダリング時に、音響信号の位相（phase）部分よりは、周波数別に振幅部分が重要であるので、３Ｄレンダラ２２１と２Ｄレンダラ２２２は、それぞれ周波数値によって決定される係数を含むダウンミックスマトリックスを利用してレンダリングすることにより、レンダリングの演算量を簡略化することができる。ダウンミックスマトリックスを介してレンダリングされた信号は、ミキサ２３０のパワー保存モジュールによってミキシングされ、最終信号として出力される。

ミキサ２３０は、レンダリングされた信号を各チャネル別に演算し、最終信号を出力することができる。本発明の一実施形態によるミキサ２３０は、各チャネルに含まれた信号のパワー値に基づいて、レンダリングされた信号をミキシングすることができる。従って、本発明の一実施形態による立体音響再生装置２００は、レンダリングされた信号のパワー値に基づいてミキシングすることにより、周波数の補強または相殺によって発生する音色歪曲を低減させることができる。

出力部２４０は、ミキサ２３０によってミキシングされた信号を、スピーカを介して最終出力させることができる。そのとき、出力部２４０は、ミキシングされた信号のチャネルによってそれぞれ異なるスピーカを介して、音響信号を出力させることができる。

図３は、本発明の一実施形態による立体音響再生方法を図示したフローチャートである。

図３を参照すれば、段階Ｓ３０１において、立体音響再生装置１００は、チャネル情報及び周波数によって、多チャネルオーディオ信号をレンダリングすることができる。立体音響再生装置１００は、チャネル情報によって、３Ｄレンダリングまたは２Ｄレンダリングを行うが、低周波信号については、低周波信号の特性を考慮してレンダリングすることができる。

段階Ｓ３０３において、立体音響再生装置１００は、段階Ｓ３０１でレンダリングされた信号をミキシングし、最終信号を生成することができる。立体音響再生装置１００は、多チャネルオーディオ信号の各チャネルの信号を出力するチャネルを決定することによってレンダリングし、レンダリングされた信号を合わせたり演算したりすることによってミキシングし、最終信号を生成することができる。

図４は、本発明の一実施形態において、アプローズ信号を含むオーディオ信号に対する立体音響再生方法を図示したフローチャートである。

図４を参照すれば、段階Ｓ４０１において、立体音響再生装置２００は、多チャネルオーディオ信号にアプローズ信号が含まれているか否かということを判断するために、多チャネルオーディオ信号を所定区間別に分析することができる。

段階Ｓ４０３において、立体音響再生装置２００は、入力された多チャネルオーディオ信号に、アプローズ信号が含まれているか否かということを、所定区間別に判断することができる。例えば、１フレーム別に判断される。立体音響再生装置２００は、フラグ情報、または判断する所定区間の多チャネルオーディオ信号を分析することにより、アプローズ信号を含むか否かということを所定区間別に判断することができる。立体音響再生装置２００は、アプローズ信号を、オーバーヘッド信号または水平面チャネル信号とは分離して処理することにより、アプローズ信号をミキシングするときに発生する音質歪曲を最小化することができる。

段階Ｓ４０５において、アプローズ信号が含まれていると判断された場合、立体音響再生装置２００は、アプローズ信号を分離し、段階Ｓ４０７において、アプローズ信号と水平面チャネルの信号とを２Ｄレンダリングすることができる。

水平面チャネルの信号は、ダウンミックス数式（downmix equation）またはＶＢＡＰ方法によって２Ｄレンダリングされる。

アプローズ信号は、アド・ツー・クローゼストチャネル方法によって、高度音響を含むチャネルを水平面に投影した場合、最も近いチャネルにレンダリングされるか、あるいは２Ｄレンダリング方法によってレンダリングされた後、エネルギーブースト方式によってミキシングされる。

アプローズ信号は、２Ｄレンダリング方法または３Ｄレンダリング方法によってレンダリングしてミキシングする場合、ミキシングされた信号にトランジェント成分の個数が多くなってホワイトニング（whitening）現象が発生したり、チャネル間のクロス関連性が高くなって音像が狭くなったりする。従って、ホワイトニング現象や、音像が狭くなる現象を防止するために、立体音響再生装置２００は、低周波信号を３Ｄレンダリングするときに使用されるアド・ツー・クローゼストチャネル方法またはエネルギーブースト方式によって、アプローズ信号をレンダリングしてミキシングすることができる。

エネルギーブースト方式は、さまざまなチャネルのオーディオ信号が、１つのチャネルにミキシングされる場合、トランジェント周期が変わって音色がホワイトニングされる現象を防ぐために、水平面チャネル信号のエネルギーを大きくする方法でミキシングする方法を意味する。エネルギーブースト方式は、レンダリングされたアプローズ信号をミキシングする方法に関するものである。

エネルギーブースト方式による、アプローズ信号をミキシングする方法は、下記数式（１）によって遂行される。

ω_{ｉｎ，ｏｕｔ}は、ダウンミキシングゲイン（downmixing gain）を意味するものであり、アプローズ信号は、多チャネルオーディオ信号の各チャネルが再生されるチャネルにレンダリングされ、ミキシングされるとき、各チャネル別にダウンミキシングゲインが適用される。ダウンミキシングゲインは、各チャネルがレンダリングされるチャネルによって、所定値にあらかじめ決定される。ｘ_{ｉｎ＝ｏｕｔ}［ｌ，ｋ］は、出力レイアウトに対応するようにレンダリングされたアプローズ信号を示すものであり、いずれか１つのアプローズ信号を意味する。ｌは、音響信号の所定区間を識別するための値であり、ｋは、周波数を示す。ｘ_{ｉｎ＝ｏｕｔ}［ｌ，ｋ］／｜ｘ_{ｉｎ＝ｏｕｔ}［ｌ，ｋ］｜は、入力されたアプローズ信号の位相値を示し、数式（１）のルート内の値は、同一出力チャネルに対応したアプローズ信号のパワー、すなわち、エネルギー値の和を意味する。

数式（１）を参照すれば、出力レイアウトの１チャネルにレンダリングされた多数のアプローズ信号にダウンミキシングゲインが適用された値のパワー値ほど、再生される各チャネルのゲインが修正される。従って、アプローズ信号は、エネルギー値の和ほど振幅が大きくなり、位相差によって発生するホワイトニング現象が防止される。

段階Ｓ４０９において、立体音響再生装置２００は、アプローズ信号が含まれていないと判断された場合、水平チャネルの信号を２Ｄレンダリングすることができる。

段階Ｓ４１１において、立体音響再生装置２００は、オーバーヘッドチャネル信号を、立体音響信号が提供されるように、ＨＲＴＦフィルタでフィルタリングすることができる。オーバーヘッドチャネル信号が周波数ドメインの信号であるか、あるいはフィルタバンクサンプルである場合、スペクトルの相対的なウェイティング（weighting）だけ提供するためのフィルタであるので、単純な乗算によってＨＲＴＦフィルタリングが行われる。

段階Ｓ４１３において、立体音響再生装置２００は、オーバーヘッドチャネル信号を高周波と低周波とに分離することができる。例えば、立体音響再生装置２００は、１ｋＨｚを基準に、それ以下の周波数を有する音響信号を低周波に分離することができる。低周波成分は、回折が強い音響的な特徴によって、アド・ツー・クローゼストチャネル方法によってレンダリングされる。

段階Ｓ４１５において、立体音響再生装置２００は、高周波信号に分離された信号は、３Ｄレンダリング方法によってレンダリングすることができる。３Ｄレンダリング方法は、マルチチャネルパンニング方法を含んでもよい。マルチチャネルパンニングとは、多チャネルオーディオ信号の各チャネル信号が再生されるチャネルに配分されることを意味する。そのとき、パンニング係数が適用された各チャネル信号が、再生されるチャネルに配分される。高周波信号の場合、高度感が上昇するほど、両耳間のレベル差（ＩＬＤ：interaural level difference）が低減する特性を提供するために、サラウンドチャネルに信号が配分される。また、フロントチャネルとパンニングされる多数のチャネルの個数によって、音響信号の方向が定位される。

段階Ｓ４１７において、立体音響再生装置１００は、低周波信号は、前述のアド・ツー・クローゼストチャネル方法によってレンダリングすることができる。１つのチャネルに、多くの信号、すなわち、多チャネルオーディオ信号のいくつかのチャネル信号が混ざれば、それぞれ異なる位相によって音質が相殺されるか、あるいは増幅されるかということによって音質劣化が発生する。アド・ツー・クローゼストチャネル方法によれば、立体音響再生装置１００は、前述の音質劣化の発生を防止するために、各チャネル水平面に投影した場合、最も近いチャネルに、下記表１のようにマッピングすることができる。

表１を参照すれば、オーバーヘッドチャネルにおいて、近いチャネルが複数個存在するＴＢＣ及びＶＯＧのようなチャネルは、音像定位のために、パンニング係数（panning coeffiecient）によって、５．１チャネルに配分される。

表１に図示されたマッピング関係は、例示に過ぎず、それに限られるものではなく、各チャネルは、異なってもマッピングされる。

多チャネルオーディオ信号が、周波数信号またはフィルタバンク信号である場合、低周波に該当するビン（bin）またはバンド（band）は、アド・ツー・クローゼストチャネル方法、高周波に該当するビンまたはバンドは、マルチチャネルパンニング方法によってレンダリングされる。ビンまたはバンドは、周波数ドメインでの所定単位位の信号区間を意味する。

段階Ｓ４１９において、立体音響再生装置１００は、各チャネルにレンダリングされた信号を、パワー値に基づいてミキシングすることができる。そのとき、立体音響再生装置１００は、周波数ドメインでミキシングすることができる。各チャネルにレンダリングされた信号を、パワー値に基づいてミキシングする方法については、以下の図６及び図７でさらに詳細に説明する。

段階Ｓ４２１において、立体音響再生装置１００は、ミキシングされた最終信号を出力することができる。

図５は、本発明の一実施形態において、３Ｄレンダラの内部構造を示したブロック図である。図５の３Ｄレンダラ５００は、図２の３Ｄレンダラ２２１と対応し、重複説明は省略する。

図５を参照すれば、３Ｄレンダラ５００は、ＨＲＴＦフィルタ５１０、ＬＰＦ（low-pass filter）５２０、ＨＰＦ（high-pass filter）５３０、アド・ツー・クローゼストチャネル５４０及びマルチチャネルパンニング５５０を含んでもよい。

ＨＲＴＦフィルタ５１０は、多チャネルオーディオ信号のうちオーバーヘッドチャネル信号をＨＲＴＦフィルタリングすることができる。

ＬＰＦ ５２０は、ＨＲＴＦフィルタリングされたオーバーヘッドチャネル信号のうち低周波成分を分離して出力することができる。

ＨＰＦ ５３０は、ＨＲＴＦフィルタリングされたオーバーヘッドチャネル信号のうち高周波成分を分離して出力することができる。

アド・ツー・クローゼストチャネル５４０は、オーバーヘッドチャネル信号のうち低周波成分を各チャネル水平面に投影した場合、最も近いチャネルにレンダリングすることができる。

マルチチャネルパンニング５５０は、オーバーヘッドチャネル信号のうち高周波成分を、マルチチャネルパンニング方法によってレンダリングすることができる。

図６は、本発明の一実施形態による、レンダリングされたオーディオ信号をミキシングする方法を図示したフローチャートである。図６の段階Ｓ６０１ないし段階Ｓ６０５は、図４の段階Ｓ４１９と対応し、重複説明は省略する。

図６を参照すれば、段階Ｓ６０１において、立体音響再生装置１００は、レンダリングされたオーディオ信号を獲得することができる。

段階Ｓ６０３において、立体音響再生装置１００は、各チャネル別にレンダリングされた信号のパワー値を獲得し、段階Ｓ６０５において、各チャネル別に獲得されたパワー値に基づいてミキシングすることにより、最終信号を生成することができる。

図７は、本発明の一実施形態による、レンダリングされたオーディオ信号を周波数によってミキシングする方法を図示したフローチャートである。図７の段階Ｓ７０１及び段階Ｓ７０３は、図６の段階Ｓ６０１及び段階Ｓ６０３と対応し、重複説明は省略する。

図７を参照すれば、段階Ｓ７０１において、立体音響再生装置１００は、レンダリングされたオーディオ信号を獲得することができる。

段階Ｓ７０３において、立体音響再生装置１００は、パワー保存モジュール（power preserving module）によって、各チャネル別にレンダリングされた信号のパワー値を獲得し、段階Ｓ７０５において、獲得されたパワー値に基づいてミキシングすることができる。各チャネル別にレンダリングされた信号のパワー値は、各チャネル別にレンダリングされた信号の二乗の和を求めることによって獲得される。

ｘ_{ｉｎ，ｏｕｔ}は、いずれか１つのチャネルにレンダリングされたオーディオ信号であり、ｘ_ｏｕｔは、いずれか１つのチャネルにレンダリングされた信号の総和を示し、ｌは、多チャネルオーディオ信号の現在区間を示す。ｋは、周波数を示し、ｙ_ｏｕｔは、パワー保存モジュールによってミキシングされた信号を示す。

パワー保存モジュールによれば、前述の各チャネル別にレンダリングされた信号のパワー値に基づいて、最終ミキシングされた信号のパワーが、ミキシング前のパワーに維持されるようにミキシングされる。従って、パワー保存モジュールによれば、ミキシングされた信号が、レンダリングされた信号が加わるとき、補強干渉または相殺干渉によって音響信号が歪曲されることを防止することができる。

数式（２）を参照すれば、立体音響再生装置１００は、パワー保存モジュールによって、各チャネル別にレンダリングされた信号の総和に対する位相に、各チャネル別にレンダリングされた信号のパワー値を適用することにより、レンダリングされた信号をミキシングすることができる。

段階Ｓ７０１で獲得された信号が時間ドメインである場合、周波数ドメインに変換された後、数式（２）によってミキシングされる。そのとき、時間ドメインの音響信号は、周波数シェーマまたはフィルタバンクシェーマによって周波数ドメインに変換される。

しかし、立体音響再生装置１００が、所定区間別にパワー保存モジュールを適用する場合、所定区間別に、各信号のパワー値を推定するが、低周波の場合、パワー値を推定することができる区間が、波長に比べて十分ではない。従って、各区間ごとに推定されたパワー値が異なり、パワー保存モジュールが適用された区間の境界において、不連続的な部分が生じてしまう。一方、高周波の場合、パワー値を推定することができる区間が波長に比べて十分であるので、区間の境界において、不連続的な部分が発生する可能性が低い。すなわち、以下で説明するワンポールスムージング（one-pole smoothing）方法は、パワー値を推定することができる区間が、波長に比べて十分であるか否かということによって適用される。

本発明の一実施形態による立体音響再生装置１００は、段階Ｓ７０７において、段階Ｓ７０５でミキシングされた信号に、低周波信号に該当する部分が存在するか否かということを判断することができる。ミキシングされた信号に、低周波信号に該当する部分が存在する場合、立体音響再生装置１００は、段階Ｓ７０９ないし段階Ｓ７１１において、下記数式（３）のワンポールスムージング方法を利用して、パワー保存モジュールが適用された区間の境界で発生した不連続的な部分を除去することができる。

Ｐ_ｏｕｔは、以前区間のＰ_ｏｕｔと、現在区間のミキシングされた信号総和のパワー値とに基づいて獲得される。

Ｐ_ｉｎは、以前区間のＰ_ｉｎと、現在区間のレンダリングされた各信号のパワー値の総和とに基づいて獲得される。

以前区間のＰ_ｏｕｔまたはＰ_ｉｎに適用されるγによって、以前区間のパワー値が数式に適用されるが、γは、低周波の波長が長いほど、または周波数値が小さいほど、小さい値を有するように決定される。

本発明の一実施形態による立体音響再生装置１００は、不連続的な部分を除去するために、以前区間でレンダリングされた信号、またはレンダリングされた信号を加えた信号のパワー値に基づいて、ミキシングされた信号のゲインを調節することができる。

さらに、数式（３）と同様に、出力信号のゲインを、以前区間の出力信号のゲイン値に基づいて獲得することにより、不連続的な部分を除去するために、数式（４）のように処理される。

本発明の一実施形態による立体音響再生装置１００は、不連続的な部分を除去するために、以前区間でレンダリングされた信号、またはレンダリングされた信号を加えた信号に適用されたゲイン値に基づいて、ミキシングされた信号のゲインを調節することができる。

図８は、本発明の一実施形態による、レンダリングされたオーディオ信号を周波数によってミキシングする一例を図示した例示図である。

図８を参照すれば、レンダリングされたオーディオ信号８０１，８０２を加えたミキシング過程中の信号８０３を参照すれば、レンダリングされたオーディオ信号８０１，８０２は、位相差によって、加えた値の振幅が増幅されることによって音が大きく聞こえるようになる。

従って、本発明の一実施形態による立体音響再生装置１００は、パワー保存モジュールを適用することにより、ミキシング過程中の信号８０３のゲインを、レンダリングされたオーディオ信号８０１，８０２のパワー値に基づいて決定することができる。

パワー保存モジュールによってミキシングされた信号８０４は、レンダリングされたオーディオ信号８０１，８０２と類似した大きさの振幅を有するように調節されたが、所定区間別にパワー保存モジュールが適用されることにより、区間ごとに不連続的な部分を含む。

従って、本発明の一実施形態による立体音響再生装置１００は、ワンポールスムージング技法によって、以前区間のパワー値を参照し、ミキシングされた信号に対してスムージング処理を行うことにより、最終信号８０５を求めることができる。

図９及び図１０は、本発明の一実施形態による立体音響再生装置の内部構造を示したブロック図である。

図９を参照すれば、立体音響再生装置９００は、３Ｄレンダラ９１０、２Ｄレンダラ９２０、ウェイティング適用部９３０、ミキサ９４０を含んでもよい。図９の３Ｄレンダラ９１０、２Ｄレンダラ９２０及びミキサ９４０は、図２の３Ｄレンダラ２２１、２Ｄレンダラ２２２及びミキサ２３０と対応し、重複説明は省略する。

３Ｄレンダラ９１０は、多チャネルオーディオ信号のうちオーバーヘッドチャネル信号に対してレンダリングすることができる。

２Ｄレンダラ９２０は、多チャネルオーディオ信号のうち水平面チャネル信号に対してレンダリングすることができる。

ウェイティング適用部９３０は、３Ｄレンダラ９１０によってレンダリングされるレイアウトにおいて、再生される信号のチャネルレイアウトと一致しない場合、多チャネルオーディオ信号を、再生されるチャネルレイアウトによって出力するための構成要素である。再生されるチャネルのレイアウトとは、再生されるチャネル信号が出力されるスピーカの配置情報を意味する。

２Ｄレンダラ９２０がＶＢＡＰ方法でレンダリングする場合、任意のレイアウトチャネル環境でも、水平面チャネル信号に対するレンダリングが可能である。ＶＢＡＰ方法によれば、立体音響再生装置９００は、ベクトル基盤の簡単な計算のみで、任意のスピーカ環境でのパンニングゲインを求め、多チャネルオーディオ信号をレンダリングすることができる。従って、任意の再生チャネルレイアウトが、３Ｄレンダラ９１０によってレンダリングされるレイアウトと類似する程度によって、ウェイティングが決定される。例えば、３Ｄレンダラ９１０が、多チャネルオーディオ信号を、５．１チャネルの再生環境にレンダリングする場合、レンダリングする任意のレイアウトチャネル環境が、５．１チャネルの再生環境とレイアウトがどれほど異なるかということにより、ウェイティングが決定される。

そして、３Ｄウェイティング適用部９３０は、３Ｄレンダラ９１０及び２Ｄレンダラ９２０によってレンダリングされた信号にそれぞれ決定されたウェイティングを適用し、出力することができる。

図１０を参照すれば、立体音響再生装置１０００は、３Ｄレンダラ１０１０、２Ｄレンダラ１０２０及びミキサ１０３０を含んでもよい。図９の３Ｄレンダラ１０１０、２Ｄレンダラ１０２０及びミキサ１０３０は、図２の３Ｄレンダラ２２１、２Ｄレンダラ２２２及びミキサ２３０と対応し、重複説明は省略する。

３Ｄレンダラ１０１０は、レンダリングすることができるレイアウトのうち、出力されるチャネルのレイアウトと最も類似したレイアウトでレンダリングすることができる。そして、２Ｄレンダラ１０２０は、３Ｄレンダラ１０１０によってレンダリングされた信号を、各チャネル別に出力される信号のチャネルレイアウトにさらにパンニングさせ（repanning）、レンダリングすることができる。

例えば、３Ｄレンダラ１０１０が、多チャネルオーディオ信号を、５．１チャネルの再生環境にレンダリングする場合、２Ｄレンダラ１０２０は、ＶＢＡＰ方法によってレンダリングする任意のレイアウトチャネル環境により、３Ｄレンダリングされた信号をさらにパンニングさせてレンダリングすることができる。

本発明の一実施形態による立体音響再生装置は、音声信号のうち高度成分を水平面上に配置されたスピーカで高度感あるように再生することができる。

本発明の一実施形態による立体音響再生装置は、多チャネルオーディオ信号を、チャネル数が少ない環境で再生するとき、音色が変わったり、音が消えたりする現象を最小化することができる。

本発明の一実施形態による方法は、コンピュータで読み取り可能な記録媒体に、コンピュータ（情報処理機能を有する装置をいずれも含む）で読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全ての種類の記録装置を含む。コンピュータで読み取り可能な記録装置の例としては、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。

たとえ前記説明が多様な実施形態に適用される本発明の新規特徴に焦点を合わせて説明したにしても、本技術分野における当業者であるならば、本発明の範囲を外れずに、前記説明された装置、方法の形態及び詳細事項において、多様な削除、代替及び変更が可能であるということを理解するであろう。従って、本発明の範囲は、前述の説明よりは、特許請求の範囲によって定義される。特許請求の範囲の均等範囲中の全ての変形は、本発明の範囲に包摂されるものである。

Claims (23)

1. 少なくとも１つの高さ入力チャネル信号を含む入力マルチチャネル信号を受信する段階と、
   出力チャネルレイアウトを確認する段階と、
   高度レンダリングのためのレンダリングタイプを確認する段階と、
   複数個の出力チャネル信号によって高度感ある音像を提供するために、前記少なくとも１つの高さ入力チャネル信号を含む入力マルチチャネル信号を、前記確認されたレンダリングタイプと前記確認された出力チャネルレイアウトによってレンダリングする段階と、を含み、
   前記レンダリングタイプは、２Ｄレンダリングタイプまたは３Ｄレンダリングタイプを表すオーディオ信号レンダリング方法。
2. 前記レンダリングタイプは、ビットストリームに含まれたパラメータから確認されることを特徴とする請求項１に記載のオーディオ信号レンダリング方法。
3. 前記パラメータは、前記入力マルチチャネル信号の特性から決定されたことを特徴とする請求項２に記載のオーディオ信号レンダリング方法。
4. 前記入力マルチチャネル信号の特性は、前記入力マルチチャネル信号の帯域幅及び相関度のうち、少なくとも１つを含むことを特徴とする請求項３に記載のオーディオ信号レンダリング方法。
5. 前記レンダリングする段階は、
   前記入力マルチチャネル信号のパワー値に基づいて、前記パワー値が保存されるように、前記入力マルチチャネル信号をレンダリングすることを特徴とする請求項１に記載のオーディオ信号レンダリング方法。
6. 請求項１に記載の方法を実行することができるプログラムを記録したコンピュータで読み取り可能な記録媒体。
7. 少なくとも１つの高さ入力チャネル信号を含む入力マルチチャネル信号を受信する受信部と、
   出力チャネルレイアウト及び高度レンダリングのためのレンダリングタイプを確認し、複数個の出力チャネル信号によって高度感ある音像を提供するために、前記少なくとも１つの高さ入力チャネル信号を含む入力マルチチャネル信号を前記確認されたレンダリングタイプと前記確認された出力チャネルレイアウトによってレンダリングするレンダラと、を含み、
   前記レンダリングタイプは、２Ｄレンダリングタイプまたは３Ｄレンダリングタイプを表すオーディオ信号レンダリング装置。
8. 前記レンダリングタイプは、ビットストリームに含まれたパラメータから確認されることを特徴とする請求項７に記載のオーディオ信号レンダリング装置。
9. 前記パラメータは、前記入力マルチチャネル信号の特性から決定されたことを特徴とする請求項８に記載のオーディオ信号レンダリング装置。
10. 前記入力マルチチャネル信号の特性は、前記入力マルチチャネル信号の帯域幅及びチャネル間の相関度のうち、少なくとも１つを含むことを特徴とする請求項９に記載のオーディオ信号レンダリング装置。
11. 前記レンダラは、入力マルチチャネル信号のパワー値に基づいて、前記パワー値が保存されるように、前記入力マルチチャネル信号をレンダリングすることを特徴とする請求項７に記載のオーディオ信号レンダリング装置。
12. 前記レンダリングタイプは、フレームごとに確認されることを特徴とする請求項１に記載のオーディオ信号レンダリング方法。
13. 前記出力チャネルレイアウトは、５.０チャネルフォーマットまたは５.１チャネルフォーマットであることを特徴とする請求項１に記載のオーディオ信号レンダリング方法。
14. 前記レンダリングする段階は、前記確認されたレンダリングタイプによって選択されたダウンミックスマトリックスに基づいて、前記入力マルチチャネル信号をレンダリングすることを特徴とする請求項１に記載のオーディオ信号レンダリング方法。
15. 前記レンダリングする段階は、前記入力マルチチャネル信号を頭部伝達関数（ｈｅａｄ ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ、ＨＲＴＦ）に基づいて、音色をイコライジングする段階を含むことを特徴とする請求項１に記載のオーディオ信号レンダリング方法。
16. 前記レンダリングする段階は、前記入力マルチチャネル信号を周波数範囲によって互いに異なるパンニング方法によってパンニングする段階を含むことを特徴とする請求項１に記載のオーディオ信号レンダリング方法。
17. 前記パンニング方法は、アド・ツー・クローゼストチャネル（ａｄｄｔｏｔｈｅｃｌｏｓｅｓｔｃｈａｎｎｅｌ）方法を含むことを特徴とする請求項１６に記載のオーディオ信号レンダリング方法。
18. 前記レンダリングタイプは、フレームごとに確認されることを特徴とする請求項７に記載のオーディオ信号レンダリング装置。
19. 前記出力チャネルレイアウトは、５.０チャネルフォーマットまたは５.１チャネルフォーマットであることを特徴とする請求項７に記載のオーディオ信号レンダリング装置。
20. 前記レンダラは、前記確認されたレンダリングタイプによって選択されたダウンミックスマトリックスに基づいて、前記入力マルチチャネル信号をレンダリングすることを特徴とする請求項７に記載のオーディオ信号レンダリング装置。
21. 前記レンダラは、前記入力マルチチャネル信号を頭部伝達関数（ｈｅａｄ ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ、ＨＲＴＦ）に基づいて、音色をイコライジングすることを特徴とする請求項７に記載のオーディオ信号レンダリング装置。
22. 前記レンダラは、前記入力マルチチャネル信号を周波数範囲によって互いに異なるパンニング方法によってパンニングすることを特徴とする請求項７に記載のオーディオ信号レンダリング装置。
23. 前記パンニング方法は、アド・ツー・クローゼストチャネル（ａｄｄ ｔｏ ｔｈｅ ｃｌｏｓｅｓｔ ｃｈａｎｎｅｌ）方法を含むことを特徴とする請求項２２に記載のオーディオ信号レンダリング装置。