JP6337038B2

JP6337038B2 - 立体音響再生方法及びその装置

Info

Publication number: JP6337038B2
Application number: JP2016047473A
Authority: JP
Inventors: キム，ソン−ミン; パク，ヨン−ジン; チョウ，ヒョン
Original assignee: Samsung Electronics Co Ltd; Korea Advanced Institute of Science and Technology KAIST
Current assignee: Samsung Electronics Co Ltd; Korea Advanced Institute of Science and Technology KAIST
Priority date: 2010-07-07
Filing date: 2016-03-10
Publication date: 2018-06-06
Anticipated expiration: 2031-07-06
Also published as: KR20200142494A; CA2804346C; MY185602A; BR112013000328A2; RU2719283C1; EP2591613A2; CN105246021B; RU2015134326A3; AU2015207829A1; KR20120004909A; KR20120004916A; AU2015207829B2; AU2011274709A1; BR112013000328B1; AU2015207829C1; WO2012005507A2; WO2012005507A3; CN103081512A; US10531215B2; RU2013104985A

Description

本発明は、立体音響（3D sound）再生方法及びその装置に係り、特に、所定の高度に仮想音源を定位させる（localize）方法及び装置に係わる。

映像処理技術及び音響処理技術の発達により、高画質高音質のコンテンツが量産されている。高画質高音質のコンテンツを要求したユーザは、現実性あふれる映像及び音響を願い、それにより、立体映像及び立体音響に係わる研究が活発に進められている。

立体音響は、複数個のスピーカを水平面上の異なる位置に配置し、それぞれのスピーカで同一であるか異なる音響信号を出力することにより、ユーザに空間感を感じさせる技術である。しかし、実際に音響は、水平面上の多様な位置で発生するだけではなく、異なる高度（elevation）でも発生する。従って、異なる高度で発生する音響信号を効果的に再生する技術が必要である。

前記問題点を解決するための本発明の目的は、立体音響再生方法及びその装置を提供することであり、特に、所定の高度に仮想音源を定位させる方法及びその装置を提供することである。

本発明の一実施形態が有する１つの特徴は、音響信号を、第１高度に対応する立体音響を生成する所定のフィルタに通過させる段階と、前記フィルタリングされた音響信号を複製して複数個の音響信号を生成する段階と、前記複製された音響信号が出力されるスピーカそれぞれに該当する利得値及び遅延値のうち少なくとも一つに基づいて、前記複製された音響信号それぞれに係わる増幅、減衰及び遅延のうち少なくとも一つを行う段階と、前記増幅、減衰及び遅延のうち少なくとも一つが遂行された音響信号を、対応するスピーカを介して出力する段階と、を含むものである。

前記所定のフィルタは、ＨＲＴＦ（head related transfer filter）である。前記ＨＲＴＦを通過させる段階は、第２高度の左側から発生する音響信号を示す左側トップチャネル信号、及び前記第２高度の右側から発生する音響信号を示す右側トップチャネル信号のうち少なくとも一つを、前記ＨＲＴＦに通過させる段階を含んでもよい。

前記方法は、前記音響信号が、前記左側トップチャネル信号及び前記右側トップチャネル信号を含まなければ、前記音響信号をアップミキシングし、前記左側トップチャネル信号及び前記右側トップチャネル信号を生成する段階をさらに含んでもよい。

前記ＨＲＴＦを通過させる段階は、前記音響信号が第２高度の左側から発生する音響信号を示す左側トップチャネル信号、及び前記第２高度の右側から発生する音響信号を示す右側トップチャネル信号を含まなければ、左側正面から発生する音響信号を示す左側正面チャネル信号、及び右側正面から発生する音響信号を示す右側正面チャネル信号のうち少なくとも一つを、前記ＨＲＴＦに通過させる段階を含んでもよい。

前記ＨＲＴＦは、前記第１高度からユーザの耳までの経路情報を含む第１ＨＲＴＦを、前記音響信号を出力するスピーカの位置からユーザの耳までの経路情報を含む第２ＨＲＴＦで割って生成されもする。

前記出力する段階は、前記フィルタリングされた左側トップチャネル信号を第１利得値によって増幅した音響信号と、前記フィルタリングされた右側トップチャネル信号を第２利得値によって増幅した音響信号とをミキシングして第１音響信号を生成する段階と、前記フィルタリングされた左側トップチャネル信号を、前記第２利得値によって増幅した音響信号と、前記フィルタリングされた右側トップチャネル信号を、前記第１利得値によって増幅した音響信号とをミキシングして第２音響信号を生成する段階と、前記第１音響信号を左側に配置されたスピーカに出力し、前記第２音響信号を右側に配置されたスピーカに出力することができる。

前記出力する段階は、左側後方から発生する音響信号を示す左側サラウンド信号を、第３利得値によって増幅した音響信号と、前記第１音響信号とをミキシングして第３音響信号を生成する段階と、右側後方から発生する音響信号を示す右側サラウンド信号を、前記第３利得値によって増幅した音響信号と、前記第２音響信号とをミキシングして第４音響信号を生成する段階と、前記第３音響信号を左側サラウンドスピーカに出力し、前記第４音響信号を右側サラウンドスピーカに出力する段階と、を含んでもよい。

前記出力する段階は、仮想音源を定位させようとする前記第１高度上の位置によって、前記第１音響信号及び前記第２音響信号のうち少なくとも一つをミューティングする段階をさらに含んでもよい。

前記ＨＲＴＦを通過させる段階は、仮想音源を定位させようとする位置に係わる情報を獲得する段階と、前記位置情報に基づいて、前記音響信号を通過させるＨＲＴＦを決定する段階と、を含んでもよい。

前記増幅、減衰及び遅延のうち少なくとも一つを行う段階は、実際スピーカの位置、聴取者の位置及び仮想音源の位置のうち少なくとも一つに基づいて、前記複製された音響信号それぞれに適用する利得値及び遅延値のうち少なくとも一つを決定する段階を含んでもよい。

前記利得値及び遅延値のうち少なくとも一つを決定する段階は、聴取者の位置情報を獲得することができない場合、前記複製された音響信号それぞれに係わる利得値及び遅延値のうち少なくとも一つを所定の値として決定する段階を含んでもよい。

前記利得値及び遅延値のうち少なくとも一つを決定する段階は、聴取者の位置情報を獲得することができない場合、前記複製された音響信号それぞれについて利得値及び遅延値のうち少なくとも一つを同一の値として決定する段階をさらに含んでもよい。

本発明の他の実施形態が有する１つの特徴は、音響信号を、第１高度に対応する立体音響を生成する所定のフィルタに通過させるフィルタリング部と、前記フィルタリングされた音響信号を複製して複数個の音響信号を生成する音響複製部と、前記複製された音響信号が出力されるスピーカそれぞれに該当する利得値及び遅延値のうち少なくとも一つに基づいて、前記複製された音響信号それぞれについて増幅、減衰及び遅延のうち少なくとも一つを行う増幅／遅延部と、前記増幅、減衰及び遅延のうち少なくとも一つが遂行された音響信号を、対応するスピーカを介して出力する出力部と、を含むものである。

前記所定フィルタは、ＨＲＴＦ（head related transfer filter）を含んでもよい。

前記フィルタリング部は、第２高度の左側から発生する音響信号を示す左側トップチャネル信号、及び前記第２高度の右側から発生する音響信号を示す右側トップチャネル信号のうち少なくとも一つを、前記ＨＲＴＦに通過させることができる。

前記装置は、前記音響信号が、前記左側トップチャネル信号及び前記右側トップチャネル信号を含まなければ、前記音響信号をアップミキシングし、前記左側トップチャネル信号及び前記右側トップチャネル信号を生成するアップミキシング部をさらに含んでもよい。

前記フィルタリング部は、前記音響信号が第２高度の左側から発生する音響信号を示す左側トップチャネル信号、及び前記第２高度の右側から発生する音響信号を示す右側トップチャネル信号を含まなければ、左側正面から発生する音響信号を示す左側正面チャネル信号、及び右側正面から発生する音響信号を示す右側正面チャネル信号のうち少なくとも一つを、前記ＨＲＴＦに通過させることができる。

前記ＨＲＴＦは、前記第１高度から前記ユーザの耳までの経路情報を含む第１ＨＲＴＦを、前記音響信号を出力するスピーカの位置からユーザの耳までの経路情報を含む第２ＨＲＴＦで割って生成されもする。

前記出力部は、前記フィルタリングされた左側トップチャネル信号を、第１利得値によって増幅した音響信号と、前記フィルタリングされた右側トップチャネル信号を、第２利得値によって増幅した音響信号とをミキシングして第１音響信号を生成する第１ミキシング部と、前記フィルタリングされた左側トップチャネル信号を、前記第２利得値によって増幅した音響信号と、前記フィルタリングされた右側トップチャネル信号を、前記第１利得値によって増幅した音響信号とをミキシングして第２音響信号を生成する第２ミキシング部と、前記第１音響信号を左側に配置されたスピーカに出力し、前記第２音響信号を右側に配置されたスピーカに出力するレンダリング部を含んでもよい。

前記出力部は、左側後方から発生する音響信号を示す左側サラウンド信号を、第３利得値によって増幅した音響信号と、前記第１音響信号とをミキシングして第３音響信号を生成する第３ミキシング部と、右側後方から発生する音響信号を示す右側サラウンド信号を、前記第３利得値によって増幅した音響信号と、前記第２音響信号とをミキシングして第４音響信号を生成する第４ミキシング部とをさらに含み、前記レンダリング部は、前記第３音響信号を左側サラウンドスピーカに出力し、前記第４音響信号を右側サラウンドスピーカに出力することができる。

前記レンダリング部は、仮想音源を定位させようとする前記第１高度上の位置によって、前記第１音響信号及び前記第２音響信号のうち少なくとも一つをミューティングさせるように制御する制御部を含んでもよい。

本発明によれば、ＨＲＴＦを通過した一つ以上のチャネル信号を、スピーカによって異なる利得値で増幅して出力することにより、水平面に配置されたスピーカを利用して所定高度に仮想音源を効率的に定位させることができる。

本発明の一実施形態による立体音響再生装置に係わるブロック図である。本発明の一実施形態による５チャネル音響信号を利用して、所定の高度に仮想音源を定位させる立体音響再生装置に係わるブロック図である。本発明の他の実施形態による音響信号を利用して、所定の高度に仮想音源を定位させる立体音響再生装置に係わるブロック図である。本発明の他の実施形態による５チャネル音響信号を利用して、所定の高度に仮想音源を定位させる立体音響再生装置に係わるブロック図である。本発明の一実施形態による７チャネル音響信号を７個のスピーカに出力し、所定高度に仮想音源を定位させる立体音響再生装置に係わる一例を示す図面である。本発明の一実施形態による５チャネル音響信号を７個のスピーカに出力し、所定高度に仮想音源を定位させる立体音響再生装置に係わる一例を示す図面である。本発明の一実施形態による７チャネル音響信号を５個のスピーカに出力し、所定高度に仮想音源を定位させる立体音響再生装置に係わる一例を示す図面である。本発明の一実施形態による所定高度に仮想音源を定位させるためのスピーカシステムに係わる一例を示す。本発明の一実施形態による立体音響再生方法に係わるフローチャートである。

以下、添付された図面を参考にしつつ、本発明の望ましい実施形態について詳細に説明する。

図１は、本発明の一実施形態による立体音響再生装置１００に係わるブロック図を示している。本発明の一実施形態による立体音響再生装置１００は、フィルタリング部１１０、複製部（replication unit）１２０、増幅部１３０及び出力部１４０を含む。

フィルタリング部１１０は、音響信号を、所定の高度（elevation）に対応する立体音響を生成する所定のフィルタに通過させる。また、フィルタリング部１１０は、音響信号を所定の高度に対応する立体音響を生成するＨＲＴＦ（head related transfer filter）に通過させることができる。ＨＲＴＦは、音源の空間的な位置からユーザの両耳までの経路情報、すなわち、周波数伝達特性を含む。ＨＲＴＦは、両耳間のレベル差（ＩＬＤ：inter-aural level difference）、及び両耳間で音響時間が逹する時間差（ＩＴＤ：inter-aural time difference）などの単純な経路差だけではなく、頭表面での回折、耳介（pinnae）による反射など複雑な経路上の特性が、音の到来方向によって変化する現象によって、立体音響（3D sound）を認識する。空間上の各方向でＨＲＴＦは、ただ一つであるという特性を有するので、これを利用すれば、立体音響を生成することができる。

フィルタリング部１１０は、水平面上に配置されたスピーカを利用して、実際のスピーカより高い高度で発生する音をモデリングするためにＨＲＴＦを使用する。次の式（１）は、フィルタリング部１１０で使用するＨＲＴＦに係わる一例である。

ＨＲＴＦ＝ＨＲＴＦ_２／ＨＲＴＦ_１（１）
ＨＲＴＦ_２は、仮想音源の位置からユーザの耳までの経路情報を示すＨＲＴＦであり、ＨＲＴＦ_１は、実際のスピーカの位置からユーザの耳までの経路情報を示すＨＲＴＦである。音響信号は、実際のスピーカを介して出力されるので、仮想のスピーカから音響信号が出力されると認識させるためには、所定の高度に対応するＨＲＴＦ_２を水平面（または実際のスピーカの高度）に対応するＨＲＴＦ_１で割る。

所定の高度に対応する最適のＨＲＴＦは、指紋のように人によって異なる。従って、ユーザごとにＨＲＴＦを計算して適用するのが望ましいが、それは、現実的に不可能である。従って、類似した特性（例えば、年齢、背のような身体的特性、または好む周波数帯域、好む音楽のような性向的特性）を有するユーザ集団内の一部ユーザについてＨＲＴＦを計算した後、代表値（例えば、平均値）を当該集団内の全てのユーザに適用するＨＲＴＦに決定することができる。

式（１）で定義したＨＲＴＦを利用して音響信号をフィルタリングした結果に係わる一例は、次の式（２）の通りである。

Ｙ_２（ｆ）＝Ｙ_１（ｆ）＊ＨＲＴＦ（２）
Ｙ_１（ｆ）は、実際のスピーカによってユーザに聞こえる音響信号を、周波数領域に変換した値であり、Ｙ_２（ｆ）は、仮想スピーカによってユーザに聞こえる音響信号を、周波数領域に変換した値である。

フィルタリング部１１０は、音響信号内に含まれた複数個のチャネル信号のうち一部のみをフィルタリングすることができる。

音響信号には、複数個のチャネルに該当する音響信号が含まれる。以下では、説明の便宜のために、７個のチャネル信号を定義する。しかし、後述するチャネル信号は、一例に過ぎず、音響信号には、後述する７個の方向以外の他の方向から発生する音響信号を示すチャネル信号が含まれもする。

センターチャネル信号は、正面の中央から発生した音響信号を示し、センタースピーカに出力される。

右側正面チャネル信号は、正面の右側から発生した音響信号を示し、右側正面スピーカに出力される。左側正面チャネル信号は、正面の左側から発生した音響信号を示し、左側正面スピーカに出力される。

右側背面チャネル信号は、背面の右側から発生した音響信号を示し、右側背面スピーカに出力される。左側背面チャネル信号は、背面の左側から発生した音響信号を示し、左側背面スピーカに出力される。

右側トップチャネル信号は、右側上方から発生した音響信号を示し、右側トップスピーカに出力される。左側トップチャネル信号は、左側上方から発生した音響信号を示し、左側トップスピーカに出力される。

音響信号に、右側トップチャネル信号と、左側トップチャネル信号とが含まれた場合、フィルタリング部１１０は、右側トップチャネル信号と、左側トップチャネル信号とをフィルタリングする。その後、フィルタリングされた右側トップチャネル信号と左側トップチャネル信号は、所望の高度で発生する仮想音源をモデリングするのに使われる。

音響信号に、右側トップチャネル信号と、左側トップチャネル信号とが含まれていない場合、フィルタリング部１１０は、右側正面チャネル信号と、左側正面チャネル信号とをフィルタリングする。その後、フィルタリングされた右側正面チャネル信号と左側正面チャネル信号は、所望の高度で発生する仮想音源をモデリングするのに使われる。

実施形態によっては、右側トップチャネル信号と、左側トップチャネル信号とを含まない音響信号（例えば、２．１チャネル信号または５．１チャネル信号）をアップミキシングし、右側トップチャネル信号と、左側トップチャネル信号とを生成した後、ミキシングされた右側トップチャネル信号と、左側トップチャネル信号とをフィルタリングすることもできる。

複製部１２０は、フィルタリングされたチャネル信号を複数個に複製する。複製部１２０は、フィルタリングされたチャネル信号を出力するスピーカの個数ほど複製する。例えば、フィルタリングされた音響信号が、右側トップチャネル信号、左側トップチャネル信号、右側背面チャネル信号、左側背面チャネル信号として出力されれば、複製部１２０は、フィルタリングされたチャネル信号を４個に複製する。複製部１２０が、フィルタリングされたチャネル信号を、いくつに複製するかということは、実施形態によって多様であるが、フィルタリングされたチャネル信号が、少なくとも右側背面チャネル信号及び左側背面チャネル信号としては出力されるように、２以上に複製するのが望ましいのである。

右側トップチャネル信号及び左側トップチャネル信号が再生されるスピーカは、水平面に配置される。一例として、右側正面チャネル信号を再生する正面スピーカのすぐ上に付着させることができる。

増幅部１３０は、フィルタリングされた音響信号を、所定の利得値によって、増幅（または減衰）する。フィルタリングされた音響信号の種類（チャネル）と、出力される音響信号の種類（チャネル）とによって、利得値を異ならせて設定する。

例えば、右側トップスピーカに出力される右側トップチャネル信号は、第１利得値によって増幅され、左側トップスピーカに出力される右側トップチャネル信号は、第２利得値によって増幅される。このとき、第１利得値が第２利得値より大きくなることがある。また、右側トップスピーカに出力される左側トップチャネル信号は、第２利得値によって増幅され、左側トップスピーカに出力される左側トップチャネル信号は、第１利得値によって増幅されることにより、左右側スピーカで対応するチャネル信号が出力されるようにする。

従来には、所望の位置に仮想音源を生成するために、ＩＴＤ法を主に使った。ＩＴＤ法は、複数個のスピーカで時間差を置いて同一の音響信号を出力し、所望の位置に仮想音源を定位させる方法である。ＩＴＤ法は、実際のスピーカと同一の平面上に、仮想音源を定位させるのに適合する方法である。しかし、本発明でのように、実際のスピーカの高度よりさらに高い高度に仮想音源を定位させるには不適である。

本発明では、かような問題を解決するために、複数個のスピーカで、同一の音響信号を利得値を異ならせて出力する。本発明で提示する方法による場合、実際のスピーカの高度よりさらに高い高度に仮想音源を容易に定位させたり、あるいは実際のスピーカの高度と関係のない特定高度に仮想音源を定位させることができる。

出力部１４０は、増幅された一つ以上のチャネル信号を、対応するスピーカに出力する。出力部１４０は、ミキシング部（図示せず）及びレンダリング部（図示せず）を含んでもよい。

ミキシング部（図示せず）は、一つ以上のチャネル信号をミキシングする。ミキシング部（図示せず）は、第１利得値によって増幅された左側トップチャネル信号と、第２利得値によって増幅された右側トップチャネル信号とをミキシングして第１音響成分を生成し、第２利得値によって増幅された左側トップチャネル信号と、第１利得値によって増幅された右側トップチャネル信号とをミキシングして第２音響成分を生成する。

また、ミキシング部（図示せず）は、第３利得値によって増幅された左側背面チャネル信号と、第１音響成分とをミキシングして第３音響成分を生成し、第３利得値によって増幅された右側背面チャネル信号と、第２音響成分とをミキシングして第４音響成分を生成する。

レンダリング部（図示せず）は、ミキシングされたり、あるいはミキシングされていない音響成分を、対応するスピーカにレンダリングする。レンダリング部（図示せず）は、第１音響成分を左側トップスピーカに出力し、第２音響成分を右側トップスピーカに出力する。左側トップスピーカまたは右側トップスピーカが存在しない場合、レンダリング部（図示せず）は、第１音響成分を左側正面スピーカに出力し、第２音響成分を右側正面スピーカに出力することができる。

また、レンダリング部（図示せず）は、第３音響成分を左側背面スピーカに出力し、第４音響成分を右側背面スピーカに出力する。

音響信号に含まれたチャネル信号の個数と、スピーカの個数とにより、複製部１２０、増幅部１３０及び出力部１４０の動作が変わることがある。チャネル信号の個数と、スピーカの個数とによる立体音響再生装置の動作例は、図４ないし図６で後述する。

図２Ａは、本発明の一実施形態による５チャネル音響信号を利用して、所定の高度に仮想音源を定位させる立体音響再生装置１００に係わるブロック図を示している。

アップミキサ２１０は、５チャネル音響信号２０１をアップミキシングし、左側トップチャネル信号２０２と、右側トップチャネル信号２０３とを含む７チャネル音響信号を生成する。

左側トップチャネル信号２０２は、第１ＨＲＴＦ１１１に入力され、右側トップチャネル信号２０３は、第２ＨＲＴＦ１１２に入力される。第１ＨＲＴＦ１１１は、左側の仮想音源からユーザの耳までの経路情報を含み、第２ＨＲＴＦ１１２は、右側の仮想音源からユーザの耳までの経路情報を含む。第１ＨＲＴＦ１１１及び第２ＨＲＴＦ１１２は、実際のスピーカの位置より高い所定高度での仮想音源をモデリングするためのフィルタである。

第１ＨＲＴＦ１１１及び第２ＨＲＴＦ１１２を通過した左側トップチャネル信号と、右側トップチャネル信号は、複製部１２１，１２２に入力される。複製部１２１，１２２は、フィルタを通過した左側トップチャネル信号と、右側トップチャネル信号とをそれぞれ二つに複製する。複製された左側トップチャネル信号と、右側トップチャネル信号は、増幅部１３１，１３２，１３３に伝送される。

第１増幅部１３１及び第２増幅部１３２は、出力されるスピーカと、チャネル信号の種類（チャネル）とによって、複製された左側トップチャネル信号と、右側トップチャネル信号とを増幅する。また、第３増幅部１３３は、５チャネル音響信号２０１内の少なくとも１つのチャネル信号を増幅する。

実施形態によって、立体音響再生装置１００が、第１増幅部１３１及び第２増幅部１３２の代わりに、第１遅延部（図示せず）及び第２遅延部（図示せず）を含むか、あるいは第１増幅部１３１、第２増幅部１３２、第１遅延部（図示せず）及び第２遅延部（図示せず）をいずれも含んでもよい。これは、スピーカ別にフィルタリングされた音響信号の遅延値を異ならせることにより、利得値を異ならせることと同一の結果を獲得することができるからである。

出力部１４０は、増幅された左側トップチャネル信号、右側トップチャネル信号、５チャネル音響信号２０１をミキシングして７チャネル音響信号２０５として出力する。７チャネル音響信号２０５は、それぞれのスピーカに出力されるのである。

本発明の他の実施形態で、７チャネル音響信号が入力される場合には、アップミキサ２１０が省略されもする。

一実施形態では、立体音響再生装置１００が、フィルタ決定部（図示せず）及び増幅／遅延係数決定部（図示せず）をさらに含んでもよい。

フィルタ決定部（図示せず）は、仮想音源を定位させようとする位置（すなわち、高度角、水平角）によって、適切なＨＲＴＦを選定する。フィルタ決定部（図示せず）は、仮想音源の位置とＨＲＴＦとのマッピング情報を利用して、仮想音源に対応するＨＲＴＦを選択することができる。仮想音源の位置情報は、アプリケーションのような他のモジュール（ソフトウェアまたはハードウェア）を介して受信されたり、あるいはユーザから入力されもする。例えば、ゲームを具現するアプリケーションの場合、経時的に仮想音源を定位させようとする位置が変更されもし、フィルタ決定部（図示せず）は、仮想音源の位置変更によって、ＨＲＴＦを変更することができる。

増幅／遅延係数決定部（図示せず）は、実際のスピーカの位置、仮想音源の位置及び聴取者の位置のうち少なくとも一つに基づいて、複製された音響信号に係わる増幅（または減衰）係数及び遅延係数のうち少なくとも一つを決定することができる。もし増幅／遅延係数決定部（図示せず）が聴取者の位置情報を知らない場合には、既定の増幅係数及び遅延係数のうち少なくとも一つを選択することができる。

図２Ｂは、本発明の他の実施形態による音響信号を利用して、所定の高度に仮想音源を定位させる立体音響再生装置１００に係わるブロック図を示している。図２Ｂでは、説明の便宜のために、音響信号に含まれた１つのチャネル信号である第１チャネル音響信号に基づいて説明する。しかし、音響信号に含まれた残りのチャネル信号についても、本発明が同一の方法で適用されもすることは、当業者に自明である。

立体音響再生装置１００は、第１ＨＲＴＦ２１１、複製部２２１、増幅／遅延部２３１を含んでもよい。第１ＨＲＴＦ２１１は、仮想音源の位置情報に基づいて、第１ＨＲＴＦ２１１を選択し、第１チャネル音響信号を、第１ＨＴＲＦ２１１に通過させる。仮想音源の位置情報は、高度角情報と水平角情報とを含んでもよい。

複製部２２１は、フィルタリングされた第１チャネル音響信号を、一つ以上の音響信号に複製する。図２Ｂでは、複製部２２１がフィルタリングされた第１チャネル音響信号を実際のスピーカの個数ほど複製したと仮定する。

増幅／遅延部２３１は、実際のスピーカの位置情報、聴取者の位置情報、仮想音源の位置情報のうち少なくとも一つに基づいて、それぞれのスピーカに対応する複製された第１チャネル音響信号の増幅／遅延係数を決定する。増幅／遅延部２３１は、決定された増幅（または減衰）係数に基づいて、複製された第１チャネル音響信号を増幅／減衰したり、あるいは遅延係数に基づいて、複製された第１チャネル音響信号を遅延させる。一実施形態では、増幅／遅延部２３１が、決定された増幅（または減衰）係数と遅延係数とに基づいて、複製された第１チャネル音響信号に係わる増幅（または減衰）と遅延とを同時に行うことができる。

増幅／遅延部２３１は、それぞれのスピーカごとに、複製された第１チャネル音響信号の増幅／遅延係数を独立して決定することが一般的であるが、聴取者の位置情報を獲得することができない場合のように、所定の実施形態にでは、それぞれのスピーカについて、増幅／遅延係数を同一に決定することにより、複製された第１チャネル音響信号がそれぞれのスピーカを介して、同一の音響信号として出力される。特に、増幅／遅延部２３１が聴取者の位置情報を獲得することができない場合、増幅／遅延部２３１は、スピーカ別増幅／遅延係数を、既定の値（または任意の値）として決定することができる。

図３は、本発明の他の実施形態による５チャネル音響信号を利用し、所定の高度に仮想音源を定位させる立体音響再生装置１００に係わるブロック図を示している。信号分配部３１０は、５チャネル音響信号から、右側正面チャネル信号３０２と左側正面チャネル信号３０３を抽出し、第１ＨＲＴＦ１１１及び第２ＨＲＴＦ１１２に伝達する。

フィルタリング部１１１，１１２、複製部１２１，１２２、増幅部１３１，１３２，１３３に印加される音響成分が、右側正面チャネル信号３０２と左側正面チャネル信号３０３とであるということを除けば、図２と同一であるので、以下説明を省略する。

図４は、本発明の一実施形態による７チャネル音響信号を７個のスピーカに出力し、所定高度に仮想音源を定位させる立体音響再生装置１００に係わる一例である。

まず、入力される音響信号を基に図４について説明した後、スピーカに出力される音響信号を基に、図４について説明する。

左側正面信号、左側トップ信号、左側背面信号、センター信号、右側背面信号、右側トップ信号、右側正面信号が含まれた音響信号が入力される。左側正面信号は、Ｂ倍に減衰されたセンター信号とミキシングされ、左側正面スピーカに伝達される。

左側トップ信号は、左側トップスピーカから３０°高い高度に対応するＨＲＴＦを通過した後、４つのチャネル信号に複製される。２つの左側トップ信号は、Ａ倍に増幅された後、右側トップ信号とミキシングされる。実施形態によっては、Ａ倍に増幅された左側トップ信号と右側トップ信号とをミキシングした後、ミキシングされた信号を二つに複製することもできる。ミキシングされた信号のうち一つは、Ｄ倍に増幅された後、左側背面信号とミキシングされて左側背面スピーカに出力され、残りの一つは、Ｅ倍に増幅された後、左側トップスピーカに出力される。

２つの残りの左側トップ信号は、Ａ倍に増幅された右側トップ信号とミキシングされる。ミキシングされた信号のうち一つは、Ｄ倍に増幅された後、右側背面信号とミキシングされて右側背面スピーカに出力され、残りの一つは、Ｅ倍に増幅された後、右側トップスピーカに出力される。

左側背面信号は、Ｄ倍に増幅された右側トップ信号、Ｄ＊Ａ倍に増幅された左側トップ信号とミキシングされて左側背面スピーカに出力される。

センター信号は、三つに複製される。センター信号のうち一つは、Ｂ倍に減衰された後、左側正面信号とミキシングされて左側正面スピーカに出力され、一つは、Ｂ倍に減衰された後、右側正面信号とミキシングされて右側正面スピーカに出力され、残りの一つは、Ｃ倍に減衰されてセンタースピーカに出力される。

右側背面信号は、Ｄ倍に増幅された左側トップ信号、Ｄ＊Ａ倍に増幅された右側トップ信号とミキシングされて右側背面スピーカに出力される。右側トップ信号は、右側トップスピーカから３０°高い高度に対応するＨＲＴＦを通過した後、四つに複製される。

２つの右側トップ信号は、Ａ倍に増幅された左側トップ信号とミキシングされる。ミキシングされた信号のうち一つは、Ｄ倍に増幅された後、左側背面信号とミキシングされて左側背面スピーカに出力され、残りの一つは、Ｅ倍に増幅された後、左側トップスピーカに出力される。

複製された２つの左側トップ信号は、Ａ倍に増幅され、右側トップ信号とミキシングされる。ミキシングされた信号のうち一つは、Ｄ倍に増幅された後、右側背面信号とミキシングされて右側背面スピーカに出力され、残りの一つは、Ｅ倍に増幅された後、右側トップスピーカに出力される。

右側正面信号は、Ｂ倍に減衰されたセンター信号とミキシングされ、右側正面スピーカに伝達される。次に、前記の過程を経て、最終的にスピーカに出力される音響信号について、スピーカを基に説明する。

左側正面スピーカには、（左側正面信号＋センター信号＊Ｂ）が出力される。左側背面スピーカには、（左側背面信号＋Ｄ＊（左側トップ信号＊Ａ＋右側トップ信号））が出力される。

左側トップスピーカには、（Ｅ＊（左側トップ信号＊Ａ＋右側トップ信号））が出力される。センタースピーカには、（Ｃ＊センター信号）が出力される。右側トップスピーカには、（Ｅ＊（右側トップ信号＊Ａ＋左側トップ信号））が出力される。

右側背面スピーカには、（右側背面信号＋Ｄ＊（右側トップ信号＊Ａ＋左側トップ信号））が出力される。右側正面スピーカには、（右側正面信号＋センター信号＊Ｂ）が出力される。

図４で、チャネル信号を増幅または減衰するのに使用された利得値は一例に過ぎず、左側スピーカと右側スピーカとに相応するチャネル信号が出力される多様な形態の利得値を使用することができる。また、実施形態によっては、左側スピーカと右側スピーカとに相応しないチャネル信号を出力させる利得値も使用されもする。

図５は、本発明の一実施形態による５チャネル音響信号を、７個のスピーカに出力して所定高度に仮想音源を定位させる立体音響再生装置１００に係わる一例である。図５では、ＨＲＴＦに入力される音響成分が、左側正面信号及び右側正面信号であるということを除けば、図４と同一である。従って、以下では、スピーカを基に、スピーカに出力される音響信号の形式についてだけ説明する。

左側正面スピーカには、（左側正面信号＋センター信号＊Ｂ）が出力される。左側背面スピーカには、（左側背面信号＋Ｄ＊（左側正面信号＊Ａ＋右側正面信号））が出力される。

左側トップスピーカには、（Ｅ＊（左側正面信号＊Ａ＋右側正面信号））が出力される。センタースピーカには、（Ｃ＊センター信号）が出力される。右側トップスピーカには、（Ｅ＊（右側正面信号＊Ａ＋左側正面信号））が出力される。右側背面スピーカには、（右側背面信号＋Ｄ＊（右側正面信号＊Ａ＋左側正面信号））が出力される。右側正面スピーカには、（右側正面信号＋センター信号＊Ｂ）が出力される。

図６は、本発明の一実施形態による７チャネル音響信号を、５個のスピーカに出力して所定高度に仮想音源を定位させる立体音響再生装置１００に係わる一例である。図６では、左側トップスピーカ及び右側トップスピーカに出力される音響信号が、左側正面スピーカ及び右側正面スピーカに出力されるということを除けば、図４と同一である。従って、以下では、スピーカを基に、スピーカに出力される音響信号の形式についてだけ説明する。

左側正面スピーカには、（左側正面信号＋（センター信号＊Ｂ）＋Ｅ＊（左側正面信号＊Ａ＋右側正面信号））が出力される。左側背面スピーカには、（左側背面信号＋Ｄ＊（左側正面信号＊Ａ＋右側正面信号））が出力される。

センタースピーカには、（Ｃ＊センター信号）が出力される。右側トップスピーカには、（Ｅ＊（右側正面信号＊Ａ＋左側正面信号））が出力される。右側背面スピーカには、（右側背面信号＋Ｄ＊（右側正面信号＊Ａ＋左側正面信号））が出力される。右側正面スピーカには、（右側正面信号＋（センター信号＊Ｂ）＋Ｅ＊（右側正面信号＊Ａ＋左側正面信号））が出力される。

図７は、本発明の一実施形態による所定高度に仮想音源を定位させるためのスピーカシステムに係わる一例を示している。図７のスピーカシステムは、センタースピーカ７１０、左側正面スピーカ７２１、右側正面スピーカ７２２、左側背面スピーカ７３１、右側背面スピーカ７３２から構成される。

図４ないし図６で説明したように、所定の高度に仮想音源７４１，７４２を定位させるために、フィルタを通過させた左側トップ信号と右側トップ信号は、スピーカごとに異なる利得値で増幅または減衰され、左側正面スピーカ７２１、右側正面スピーカ７２２、左側背面スピーカ７３１、右側背面スピーカ７３２に入力される。

図７には図示されていないが、左側トップスピーカ（図示せず）と右側トップスピーカ（図示せず）とが左側正面スピーカ７２１及び右側正面スピーカ７２２の上に配置されもし、その場合、フィルタを通過させた左側トップ信号と右側トップ信号とがスピーカごとに異なる利得値に増幅され、左側トップスピーカ（図示せず）、右側トップスピーカ（図示せず）、左側背面スピーカ７３１、右側背面スピーカ７３２に入力される。

ユーザは、スピーカシステム内の一つ以上のスピーカを介して、フィルタリングされた左側トップ信号と右側トップ信号とを出力することにより、所定の高度に仮想音源が定位されていると認識する。このとき、一つ以上のスピーカ内で、フィルタリングされた左側トップ信号または右側トップ信号をミューティングされることにより、仮想音源の左右位置を調整することができる。

仮想音源を、所定の高度の真ん中に位置させようとする場合には、左側正面スピーカ７２１、右側正面スピーカ７２２、左側背面スピーカ７３１、右側背面スピーカ７３２のいずれでも、フィルタリングされた左側トップ信号と右側トップ信号とを出力したり、あるいは左側背面スピーカ７３１、右側背面スピーカ７３２でのみ、フィルタリングされた左側トップ信号と右側トップ信号とを出力することができる。実施形態によっては、センタースピーカ７１０にも、フィルタリングされた左側トップ信号及び右側トップ信号のうち少なくとも一つが出力される。しかし、センタースピーカ７１０は、仮想音源の左右位置を調整することには、寄与することができない。

仮想音源を、所定の高度の右側に位置させようとする場合には、右側正面スピーカ７２２、左側背面スピーカ７３１、右側背面スピーカ７３２だけで、フィルタリングされたトップ信号を出力することができる。

仮想音源を、所定の高度の左側に位置させようとする場合には、左側正面スピーカ７２１、左側背面スピーカ７３１、右側背面スピーカ７３２だけで、フィルタリングされたトップ信号を出力することができる。

仮想音源を、所定の高度の右側または左側に位置させようとする場合にも、左側背面スピーカ７３１及び右側背面スピーカ７３２に出力されるフィルタリングされたトップ信号は、ミューティングしないことが望ましい。

実施形態によっては、一つ以上のスピーカに出力されるフィルタリングされたトップ信号をミューティンさせずに、トップ信号を増幅または減衰させるための利得値を調整することにより、仮想音源の左右位置を調整することもできる。

図８は、本発明の一実施形態による立体音響再生方法に係わるフローチャートを示している。

段階Ｓ８１０では、音響信号を所定の高度に対応するＨＲＴＦを通過させる。段階Ｓ８２０では、フィルタリングされた音響信号を複製し、一つ以上の複製された音響信号を生成する。段階Ｓ８３０では、一つ以上の複製された音響信号それぞれが出力されるスピーカに対応する利得値によって、前記一つ以上の複製された音響信号それぞれを増幅する。段階Ｓ８４０では、増幅された一つ以上の音響信号それぞれを、対応するスピーカを介して出力する。

従来には、所定の高度で発生した信号を出力するためには、トップスピーカを所望の高度に固定させなければならないが、天井にトップスピーカを設置することは、現実的に容易ではない。かような不便さを解消するために、正面スピーカ上にトップスピーカを載せるのが一般的であるが、その場合、所望の高度感を再現することができない。

ＨＴＲＦを介して、仮想音源を所望の位置に定位させる場合、水平面上の左右位置については、仮想音源を効果的に定位させることができるが、実際のスピーカより高い高度または低い高度に仮想音源を定位させるには適切ではない。

一方、本発明では、ＨＲＴＦを通過した一つ以上のチャネル信号を、スピーカによって異なる利得値で増幅して出力することにより、水平面に配置されたスピーカを利用して、所定高度に仮想音源を効率的に定位させることができる。

一方、前述の本発明の実施形態は、コンピュータで実行されるプログラムに作成可能であり、コンピュータ可読記録媒体を利用し、前記プログラムを動作させる汎用デジタルコンピュータで具現されもする。

前記コンピュータ可読記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ（compact disc）−ＲＯＭ、ＤＶＤ（digital versatile disc）など）、及びキャリアウエーブ（例えば、インターネットを介した伝送）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にいる全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

Claims

オーディオ信号をレンダリングする方法において、
第１高さ入力チャンネルを含む複数の入力チャンネル信号を受信する段階と、
前記第１高さ入力チャンネル信号の高度及び方位によって、前記第１高さ入力チャンネル信号に対する第１ＨＲＴＦ（Head-Related Transfer Function）基礎フィルタを獲得する段階と、
前記第１高さ入力チャンネル信号に対する第１ゲインを獲得する段階と、
複数の出力チャンネル信号のレイアウトによって上昇されたサウンドを提供するために、前記第１ＨＲＴＦ基礎フィルタ及び前記第１ゲインに基づき、前記複数の入力チャンネル信号に高度レンダリングを行う段階と、を含み、
前記レイアウトは、５.０チャンネルレイアウトまたは５.１チャンネルレイアウトのうちの１つであることを特徴とするオーディオ信号をレンダリングする方法。
前記複数の出力チャンネル信号は、サラウンド出力チャンネル信号を含むことを特徴とする請求項１に記載のオーディオ信号をレンダリングする方法。
前記第１ゲインは、ラウドスピーカーの位置に基づき獲得されることを特徴とする請求項１に記載のオーディオ信号をレンダリングする方法。
前記第１高さ入力チャンネル信号は、前記複数の出力チャンネル信号のうち少なくとも２つのチャンネル信号に出力されることを特徴とする請求項１に記載のオーディオ信号をレンダリングする方法。
前記方法は、
前記複数の入力チャンネル信号に含まれる第２高さ入力チャンネル信号の高度及び方位によって、前記第２高さ入力チャンネル信号に対する第２ＨＲＴＦ基礎フィルタを獲得する段階と、
前記第２高さ入力チャンネル信号に対する第２ゲインを獲得する段階をさらに含み、
前記高度レンダリングは、前記第２ＨＲＴＦ基礎フィルタ及び前記第２ゲインに基づき行われることを特徴とする請求項１に記載のオーディオ信号をレンダリングする方法。
前記第１ＨＲＴＦ基礎フィルタと前記第２ＨＲＴＦ基礎フィルタは、互いに独立して決定されることを特徴とする請求項５に記載のオーディオ信号をレンダリングする方法。
前記第１ゲインと前記第２ゲインは、互いに独立して決定されることを特徴とする請求項５に記載のオーディオ信号をレンダリングする方法。
オーディオ信号をレンダリングする装置において、
第１高さ入力チャンネル信号を含む複数の入力チャンネル信号を受信する受信部と、
前記第１高さ入力チャンネル信号の高度及び方位によって、前記第１高さ入力チャンネルに対する第１ＨＲＴＦ（Head-Related Transfer Function）基礎フィルタ及び前記第１高さ入力チャンネルに対する第１ゲインを獲得し、複数の出力チャンネル信号のレイアウトによって上昇されたサウンドを提供するために、前記第１ＨＲＴＦ基礎フィルタ及び第１ゲインに基づき、前記複数の入力チャンネル信号に高度レンダリングを行うレンダリング部と、を備え、
前記レイアウトは５.０チャンネルレイアウトまたは５.１チャンネルレイアウトのうち１つであることを特徴とするオーディオ信号をレンダリングする装置。
前記レンダリング部は、前記複数の入力チャンネル信号に含まれる第２高さ入力チャンネル信号の高度及び方位によって、前記第２高さ入力チャンネル信号に対する第２ＨＲＴＦ基礎フィルタ及び前記第２高さ入力チャンネル信号に対する第２ゲインをさらに獲得し、
前記高度レンダリングは、前記第２ＨＲＴＦ基礎フィルタ及び前記第２ゲインに基づき行われることを特徴とする請求項８に記載のオーディオ信号をレンダリングする装置。
前記第１ＨＲＴＦ基礎フィルタと前記第２ＨＲＴＦ基礎フィルタは、互いに独立して決定されることを特徴とする請求項９に記載のオーディオ信号をレンダリングする装置。
前記第１ゲインと前記第２ゲインは、互いに独立して決定されることを特徴とする請求項９に記載のオーディオ信号をレンダリングする装置。
前記複数の出力チャンネル信号は、少なくとも一つのサラウンド出力チャンネル信号を含む、請求項８に記載のオーディオ信号をレンダリングする装置。
前記第１ゲインは、ラウドスピーカーの位置に基づき獲得される、請求項８に記載のオーディオ信号をレンダリングする装置。
前記第１高さ入力チャンネル信号は、前記複数の出力チャンネル信号のうち少なくとも２つのチャンネル信号に出力される、請求項８に記載のオーディオ信号をレンダリングする装置。