JP5590169B2

JP5590169B2 - 波面合成信号変換装置および波面合成信号変換方法

Info

Publication number: JP5590169B2
Application number: JP2013028513A
Authority: JP
Inventors: 雅美三浦
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-02-18
Filing date: 2013-02-18
Publication date: 2014-09-17
Anticipated expiration: 2027-09-11
Also published as: JP2013128314A

Description

本発明は、波面合成信号変換装置および波面合成信号変換方法に関する。

臨場感のある音を再生するために、複数のスピーカを用いて多チャンネルの音声信号を再生するステレオ再生システムが広く知られている。例えば、５．１チャンネルサラウンドシステムは、５つのスピーカと１つのサブウーファースピーカを用いて音の再生を行う。ＩＴＵ−ＲＢＳ７７５（ＩｎｔｅｒｎａｔｉｏｎａｌＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎＵｎｉｏｎＲａｄｉｏｃｏｍｍｕｎｉｃａｔｉｏｎｓＳｅｃｔｏｒ）の規定に従ってスピーカを配置し、それぞれのチャンネルに対応するスピーカから異なる音波が出力され、それを受聴者が耳にすることによって、受聴者は臨場感のある音を楽しむことができる。

５．１チャンネルサラウンドシステムのようなステレオ再生システムは、所定の受聴位置においては、目的となる音像定位を得ることができる。しかし、このようなステレオ再生システムは、目的となる音像定位を得られる範囲が狭いため、所定の受聴位置以外の場所においては、受聴者が耳にする再生音が、所定の受聴位置で耳にする再生音と比較して大きく異なってしまう。

そこで、本来の音源が存在した音場そのものを、空間に物理的に再現することを目的とするマルチチャンネルオーディオシステムがある。マルチチャンネルオーディオシステムは、原音場で音源が作る波面を収録し、収録した波面を基に現音場とは別の空間に波面を再現するものである。マルチチャンネルオーディオシステムは、音場合成技術である波面合成技術を用いるものであり、複数のスピーカからなるアレイスピーカから音波が出力される。出力される音波は、干渉のない波となって受聴者に伝わる。その音波を受聴者が耳にすることによって、受聴者は臨場感のある音を楽しむことができる。

波面を広帯域に再現するためには、波面を収録するためのマイクロホンアレイのマイクロホン間隔と、波面を再現するためのアレイスピーカのスピーカ間隔を、数センチ以下に狭くする必要がある。スピーカ間隔に関しては、特許文献１に開示された技術によって、ある程度広げることができる。また、受聴者の後方から到来する反射音のような音を再現する場合には、受聴者の受聴領域を取り囲むように再生用のアレイスピーカを配置する必要があるが、特許文献２に開示された技術によって、受聴者の前方に配置されたアレイスピーカのみで受聴者の後方から到来する音を再現することができる。

波面合成技術を用いたマルチチャンネルオーディオシステムでは、実際の音場で波面
情報の収録を行わずに、現音場となる音源とそれが存在する室内での音場を架空のものとして、楽器演奏などを単独で収録した複数の信号を、架空の室内に仮想音源として配置して波面合成を行うこともできる。このように波面合成を行うことで、これらの音源が作るであろう音場を現実の室内に再現することができる。

５．１チャンネルサラウンドシステムのスピーカ配置の場合であっても、擬似的に波面合成を行う技術が、例えば特許文献３に開示されている。特許文献３に開示された技術は、複数のラウドスピーカを介してオリジナルの音場の空間高調波と実質的に正確に一致する空間高調波によって音場を再生する、複数のモノホニックまたは指向性サウンド信号から、音場を記録または伝送する方法である。この技術では、空間高調波を保存するため、モノホニック音源はマスタリングによって全てのスピーカチャネルが音場合成に寄与するように処理される。そして、スピーカの構成がマスタリングの際に想定されていたものと異なる構成であった場合には、スピーカ信号は、異なるスピーカ構成により再生される音場の空間高調波がオリジナルの音場の空間高調波と一致するように、再生場所（家庭等）で再処理される。このように再処理されることで擬似的に波面合成を行う、オリジナルの音場を再現することができる。

特開２００５−８００７９号公報特開２００７−１８４８１８号公報特表２００３−５３１５５５号公報

しかし、５．１チャンネルサラウンドシステムにおいては、ＩＴＵ−ＲＢＳ７７５で定められたように、受聴者は並べられたスピーカの中央で音を聴く必要がある。従って、中央以外の場所で受聴する他の受聴者に対しては、臨場感のある音を再現することはできない問題があった。また、５．１チャンネルサラウンドシステムは本来の音源が存在した音場そのものを物理的に再現しておらず、両耳で聞いたときに臨場感があるように、受聴者の聴覚心理現象を利用して知覚させることを目指している。そのため、受聴者によってはその効果が異なる問題もあった。

また、波面合成技術による再生の場合、音を出力するアレイスピーカのスピーカ間隔や配置、構成に併せて音の収録と波面合成の信号処理を行う必要がある。そのため、ある特定のスピーカ間隔、配置および構成用に作られたマルチチャネル信号は、他のスピーカ間隔、配置および構成を有するマルチチャンネルオーディオシステムでは想定したように再生できない問題があった。

５．１チャンネルサラウンドシステムで擬似的に波面合成を行う特許文献３の技術では、数学的には、音源位置を表す空間インパルスは多数の次数により正確に表されるが、この方式の場合では数台のスピーカのみを用いることを前提としている。そのため、再生された音場に含まれうる空間高調波の数には限界があり、波面合成の制度は非常に悪いものとなる。従って、従来の５．１チャンネルサラウンドシステムよりは音が到来する方向に対する方向知覚や臨場感が多少改善されるものの、あたかも原音場において受聴者から近いところまたは遠いところで楽器が鳴っているような臨場感を得ることができず、また中央以外の場所で受聴する受聴者に対して臨場感を体験させることも困難であった。

音源位置、音源信号および想定される受聴領域の情報（スピーカ数やスピーカ間隔）が分かれば、それらの情報に基づいて、再生システムの仕様、例えば信号処理能力、スピーカ数およびスピーカ間隔に合わせて、音源位置や音源信号を変換して波面合成再生信号を作成する技術も提案されている。しかし、この技術の場合は音源位置、音源信号および想定される受聴領域の情報（スピーカ数やスピーカ間隔）が予め全て分かっていないと、再生用の波面合成再生信号を演算することができない問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、例えば波面合成技術を用いて臨場感のある音場を再生する場合に、波面合成コンテンツを制作したときに想定されていたスピーカ数やスピーカ間隔のスペックから、実際に使用する再生装置に応じて波面合成再生信号を演算し、合成音場を再生することが可能な、新規かつ改良された波面合成信号変換装置および波面合成信号変換方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、波面合成再生条件が指定されている波面合成再生信号を異なる波面合成再生条件に適するように変換する波面合成信号変換装置であって、少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力する波面合成再生条件情報入力部と、複数のチャネルの波面合成再生信号を入力する波面合成再生信号入力部と、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の１次音源位置として、波面合成再生信号入力部から入力された波面合成再生信号を、波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する波面合成再生信号変換部と、を含むことを特徴とする、波面合成信号変換装置が提供される。

かかる構成によれば、波面合成再生条件情報入力部は少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力し、波面合成再生信号入力部は複数のチャネルの波面合成再生信号を入力し、波面合成再生信号変換部は、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の１次音源位置として、波面合成再生信号入力部から入力された波面合成再生信号を、波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する。その結果、波面合成再生信号に指定された波面合成再生条件と異なる仕様のスピーカで再生しても、改めて波面合成信号を作り直す必要なく、所定の再生音場を再現することができる。

新たな波面合成スピーカは直線型アレイスピーカであり、波面合成再生信号変換部は、１次音源位置からの波面を波面合成再生条件とは異なる各チャネルのスピーカ配置をもつ新たな波面合成スピーカで再生するための波面合成フィルタ係数を算出し、波面合成再生信号入力部から入力された複数のチャネルの波面合成再生信号に対してフィルタリングする。その結果、波面合成再生信号に指定された波面合成再生条件と異なる仕様のスピーカで再生しても、所定の再生音場を再現できるので、改めて波面合成信号を作り直す必要なく、所定の再生音場を再現することができる。

波面合成再生条件情報入力部は、入力される複数のチャネルの波面合成再生信号の再生情報として、スピーカチャネル数とスピーカ間隔とを入力する。その結果、入力される複数のチャネルの波面合成再生信号の再生情報としてのスピーカチャネル数とスピーカ間隔と異なる再生装置であっても、所望するような音場を合成することができる。

波面合成再生信号変換部は、波面合成再生信号入力部によって入力された複数のチャネルの波面合成再生信号から新たな波面合成スピーカのスピーカ配置での波面合成可能上限周波数を超える周波数成分を分離する高域周波数分離部と、高域周波数分離部で分離された波面合成信号成分を新たな波面合成スピーカのチャネルに割り当てる高域周波数成分チャネル割当部と、波面合成再生信号変換部により変換された各チャネルの波面合成再生信号と高域周波数成分チャネル割り当て部によって各チャネルに割り当てられた高域周波数成分信号とを混合する信号混合部と、を含む。その結果、波面合成周波数帯域の音像知覚を乱さないように波面合成が可能な上限周波数よりも高い周波数成分を含む信号を付加することができるので、より自然な音色を再現することができる。

また、上記課題を解決するために、本発明の別の観点によれば、波面合成再生条件が指定されている波面合成再生信号を再生する波面合成再生装置であって、少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件情報を入力する波面合成再生条件情報入力部と、複数のチャネルの波面合成再生信号を入力する波面合成再生信号入力部と、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の１次音源位置として、波面合成再生条件とは異なる各チャネルのスピーカ配置をもつ新たな波面合成スピーカのための波面合成再生信号に変換する波面合成再生信号変換部と、波面合成再生信号変換部で変換された信号を音響信号に変換して出力する波面合成スピーカと、波面合成再生信号入力部で得た複数のチャネルの波面合成再生信号の再生を制御する波面合成再生制御部と、を含み、波面合成再生制御部は、波面合成再生条件情報入力部で得た波面合成再生信号の再生条件情報のうち、スピーカチャネル数およびスピーカ間隔が波面合成スピーカのスピーカチャネル数およびスピーカ間隔と一致しない場合は、波面合成再生信号入力部で得た複数のチャネルの波面合成再生信号を波面合成再生信号変換部によって当該波面合成再生装置に適するように再合成してから波面合成スピーカに送るように制御し、波面合成スピーカのスピーカチャネル数およびスピーカ間隔と一致する場合には、波面合成再生信号入力部で得た複数のチャネルの波面合成再生信号を再合成することなく波面合成スピーカに送るように制御することを特徴とする、波面合成再生装置が提供される。

かかる構成によれば、波面合成再生条件情報入力部は少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件情報を入力し、波面合成再生信号入力部は複数のチャネルの波面合成再生信号を入力し、波面合成再生信号変換部は、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の１次音源位置として、波面合成再生条件とは異なる各チャネルのスピーカ配置をもつ新たな波面合成スピーカのための波面合成再生信号に変換する。そして波面合成再生制御部は、波面合成スピーカの仕様と波面合成再生条件情報とを比較して、条件が異なっていれば波面合成再生信号を波面合成再生信号変換部で変換するように制御する。その結果、波面合成再生信号に対する再生条件と波面合成再生装置の仕様とを比較して、必要に応じて波面合成再生信号の変換を行なうことができる。

その結果、波面合成再生信号に指定された波面合成再生条件と異なる仕様のスピーカで再生しても、所定の再生音場を再現できるので、改めて波面合成信号を作り直す必要が無くなる。

また、上記課題を解決するために、本発明のさらに別の観点によれば、波面合成再生条件が指定されている波面合成再生信号を異なる波面合成再生条件に適するように変換する波面合成信号変換方法であって、少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力する波面合成再生条件情報入力ステップと、複数のチャネルの波面合成再生信号を入力する波面合成再生信号入力ステップと、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の１次音源位置として、波面合成再生信号入力ステップで入力された波面合成再生信号を、波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する波面合成再生信号変換ステップと、を含むことを特徴とする、波面合成信号変換方法が提供される。

かかる構成によれば、波面合成再生条件情報入力ステップは少なくとも再生スピーカ配置情報を含む波面合成再生信号の再生条件である波面合成再生条件情報を入力し、波面合成再生信号入力部ステップは複数のチャネルの波面合成再生信号を入力し、波面合成再生信号変換ステップは、波面合成再生条件情報から得た各チャネルの再生スピーカ位置を波面合成の１次音源位置として、波面合成再生信号入力ステップで入力された波面合成再生信号を、波面合成再生条件とは異なる各チャネルのスピーカ配置を有する新たな波面合成スピーカのための波面合成再生信号に変換する。その結果、波面合成再生信号に指定された波面合成再生条件と異なる仕様のスピーカで再生しても、改めて波面合成信号を作り直す必要なく、所定の再生音場を再現することができる。

以上説明したように本発明によれば、波面合成技術を用いて臨場感のある音場を再生する場合に、波面合成コンテンツを制作したときに想定されていたスピーカ数やスピーカ間隔のスペックから、実際に使用する再生装置に応じて波面合成再生信号を演算し、合成音場を再生することが可能な、新規かつ改良された波面合成信号変換装置および波面合成信号変換方法を提供することができる。

コンテンツ製作者が想定した波面合成再生用のアレイスピーカおよび標準受聴位置の例について説明する説明図である。コンテンツ製作者が想定した波面合成再生用のアレイスピーカとは異なるアレイスピーカの例について説明する説明図である。コンテンツ製作者が想定した波面合成再生用のアレイスピーカとは異なるアレイスピーカの別の例について説明する説明図である。本発明の一実施形態にかかる波面合成フィルタの設定について説明する説明図である。波面合成上限周波数よりも高い周波数成分の音をアレイスピーカから出力する場合の一例について説明する説明図である。波面合成上限周波数よりも高い周波数成分の音をアレイスピーカから出力する場合の別の例について説明する説明図である。波面合成周波数帯域を越える高域周波数成分を担当するスピーカユニットの割り当てについて説明する説明図である。本発明の一実施形態にかかる音場再生装置１０について説明する説明図である。本発明の一実施形態にかかる波面合成再生信号変換部１３０の構成について説明する説明図である。波面合成上限周波数の変化について説明する説明図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

まずアレイスピーカを用いた波面合成技術について説明する。アレイスピーカを用いて波面合成によって音場を再生するには、複数のスピーカユニットからなるアレイスピーカシステムに供給するための多チャンネルの再生信号（波面合成再生信号）を生成し、多チャンネルの再生信号に従って個々のスピーカユニットから音を出力する。個々のスピーカユニットから出力された音は、空間上で合成され、目的の音源の方向から音波が受聴者へ到来するように再生される。

つまり、多チャンネルの再生信号はアレイスピーカシステムから音が出力された場合に波面を再現できるように作られており、例えば、武田他，“多チャンネルスピーカ再生を用いた波面合成に関する検討”日本音響学会講演論文集、ｐｐ４０７−４０８、２０００年９月、に記載されているような方法で作成された信号を多チャンネル信号として用いることができる。そして、音源から到来する波面が受聴領域に再現されることになるので、音像については、広い受聴範囲で所定の位置への音像定位を得ることができる。

図１は、映像や音声（以下、映像や音声を総称して「コンテンツ」とも称する）を制作するコンテンツ製作者が想定した波面合成再生用のアレイスピーカおよび標準受聴位置の例について説明する説明図である。図１では、波面合成再生用のアレイスピーカ１として、２４チャネル、８ｃｍ間隔のアレイスピーカを例に挙げて説明している。また、コンテンツ製作者が想定した標準受聴位置２を、アレイスピーカ１の中央から２ｍ離れた位置としている。

コンテンツ製作者は、図１に示したようなアレイスピーカ１に適するように、楽器の演奏音などを１次音源として配置して、波面合成によって臨場感のある音場を再生するコンテンツを制作する。

通常は、１次音源を、標準受聴位置２とアレイスピーカ１の端のスピーカユニットとを通る線の内側であって、アレイスピーカ１から、受聴者側より１ｍ以遠の位置に配置する。例えば、図１に示した例では、１次音源を配置する領域を図１の符号３で示した点線の内側の領域に定めている。図１では、奥行き方向にも１次音源を配置する領域を制限したような領域設定となっている。これは人間の聴覚による距離知覚の性質上、３〜５ｍ程度音源から離れると波面情報の距離知覚への影響は小さくなり、近くされる距離は到来音のレベルや反射・残響音の程度に依存するようになるので、波面合成によって音場を再生する場合の音源は標準受聴位置２から３〜５ｍ程度離れた位置までに配置し、それよりも遠方の音源は、レベル調整や反射・残響音の付加の調整で対処できるためである。

なお、１次音源には、受聴者に直接到来する音の他に、仮想的に設けた壁面からの反射音や残響音も、波面合成で再現する音源として含めることができる。例えば、１次音源として音源ａ（符号４ａ）を配置した場合、別の音源ａ’（符号４ａ’）を音源ａがステージの背後の壁面から反射してきたものとして配置することができる。この場合、音源ａ’は、音源ａに時間遅延や残響処理を加えたものを配置する。

図２は、コンテンツ製作者が想定した波面合成再生用のアレイスピーカ（例えば図１に示したアレイスピーカ１）とは異なるアレイスピーカの例について説明する説明図である。図２では、波面合成再生用のアレイスピーカ１ａとして、１６チャネル、６ｃｍ間隔のアレイスピーカを例に挙げて説明している。

図２に示したアレイスピーカ１ａは、コンテンツ製作者が想定したアレイスピーカ１と構成が異なるため、図１に示したアレイスピーカおよび標準受聴位置を想定して制作されたコンテンツをそのまま再生することはできない。

図３は、コンテンツ製作者が想定した波面合成再生用のアレイスピーカ（例えば図１に示したアレイスピーカ１）とは異なるアレイスピーカの別の例について説明する説明図である。図３では、波面合成再生用のアレイスピーカ１ｂとして、８チャネル、６ｃｍ間隔のアレイスピーカを例に挙げて説明している。

図３に示したアレイスピーカ１ｂも、図２に示したアレイスピーカ１ａと同様に、コンテンツ製作者が想定したアレイスピーカ１と構成が異なるため、図１に示したアレイスピーカおよび標準受聴位置を想定して制作されたコンテンツをそのまま再生することはできない。

本実施形態では、図１に示したアレイスピーカおよび標準受聴位置を想定して制作されたコンテンツを、図２や図３のように想定したものとは異なるアレイスピーカで再生するために、波面合成再生信号を変換することで、想定したアレイスピーカと異なるアレイスピーカで再生するための波面合成信号変換装置および波面合成信号変換方法について説明する。

図２および図３に示したアレイスピーカ１ａ、１ｂと、図１に示したアレイスピーカ１との位置関係を示すために、図２および図３では、アレイスピーカ１を点線で示している。このような位置関係を設定することによって、標準受聴位置２ではあたかも本来のアレイスピーカ１が存在し、アレイスピーカ１から波面合成による音が放射されているかのような音場が合成され、コンテンツ製作者が想定した本来の１次音源から出ているような音を聴くことができる。

このような場合、波面合成用の本来のアレイスピーカ１の各スピーカチャネルの位置を新たな１次音源位置として、この新たな１次音源位置から放射される音波面を、実際に使用するアレイスピーカ１ａ、１ｂからの音波面の合成で再現する。そのために、アレイスピーカ１ａ、１ｂからの音波面の合成で再現するような波面合成フィルタを波面合成再生スピーカ変換フィルタとして、アレイスピーカ１ａ、１ｂの前に挿入する。

図４は、本発明の一実施形態にかかる波面合成フィルタの設定について説明する説明図である。図４では、図２に示したアレイスピーカ１ａで、コンテンツ製作者が想定した本来の１次音源から出ているような音場を再現するための波面合成フィルタの生成方法について説明するものである。具体的には、アレイスピーカ１の各チャネルのスピーカユニットｕ_１、ｕ_２、・・・、ｕ_２４を１次音源として、それぞれのスピーカユニットから放射される波面を、アレイスピーカ１ａを使って再現するための波面合成フィルタｈ_１．１，ｈ_１．２，・・・，ｈ_１．１６，ｈ_２．１，ｈ_２．２，・・・，ｈ_２．１６，・・・，ｈ_２４．１，ｈ_２４．２，・・・，ｈ_{２４．１６}の生成方法について説明する。

１次音源、例えばｕ_１から、アレイスピーカ１ａの前面に設けられた制御エリア内の制御点ｊまでの伝達特性をａ_１．ｊとすると、１次音源ｕ_１による制御点ｊでの応答はｕ_１・ａ_１．ｊで表される（図４（ａ）参照）。

他方、１６個のスピーカユニットｗ_１、ｗ_２、・・・、ｗ_１６からなるアレイスピーカ１ａが制御点ｊに作る応答は、スピーカユニットｗ_１、ｗ_２、・・・、ｗ_１６から制御点ｊまでの伝達特性をｃ_ｊ．１、ｃ_ｊ．２、・・・、ｃ_ｊ．１６とすると、ｕ_１・ｈ_１．１・ｃ_ｊ．１＋・・・＋ｕ_１・ｈ_１．ｋ・ｃ_ｊ．ｋ＋・・・＋ｕ_１・ｈ_１．１６・ｃ_ｊ．１６となる（図４（ｂ）参照）。

１次音源ｕ_１に関する波面合成フィルタは、制御エリア内の全ての制御点に対して、元の音場（原音場）の応答と波面合成による応答の差、すなわち再現エラーが最小となるように演算する。詳細は、例えば前掲した、武田他，“多チャンネルスピーカ再生を用いた波面合成に関する検討”日本音響学会講演論文集、ｐｐ４０７−４０８、２０００年９月、に記載されているような方法で作成することができる。

このように波面合成フィルタを作成することで、標準受聴位置２ではあたかも本来のアレイスピーカ１が存在し、アレイスピーカ１から波面合成による音が放射されているかのような音場が合成され、コンテンツ製作者が想定した本来の１次音源から出ているような音を聴くことができる。

上述した変換処理は、波面合成が精度良く行える波面合成上限周波数よりも低い周波数成分についてのみ当てはまる。波面合成が精度良く行える波長は、スピーカユニット間隔が１／２波長よりも短い場合、つまりスピーカ間隔の２倍よりも長い波長の場合である。従って、波面合成上限周波数ｆ_ｈは、音速を３４０ｍ／秒とすると、ｆ_ｈ＝｛（３４０／２）／スピーカユニット間隔｝［Ｈｚ］で算出される。

なお、実際には、音の波面とアレイスピーカとの角度θは、図１に示したように１次音源の配置範囲が制限されれば、θ値の上限も制限されることになる。従って、図１０に示したように、波面合成上限周波数ｆ_ｈは１／ｓｉｎθ倍に上昇する。つまり、θが９０度の場合はｓｉｎθ＝１になるので、波面合成上限周波数ｆ_ｈ９０はｆ_ｈ９０＝｛（３４０／２）／スピーカユニット間隔｝［Ｈｚ］となり、それ以外の角度での波面合成上限周波数ｆ_ｈは、ｆ_ｈ＝ｆ_ｈ９０×１／ｓｉｎθ［Ｈｚ］となる。

従って、実際の波面合成による音源は、波面合成上限周波数よりも高い周波数もアレイスピーカから出力するように作られていることが多い。

図５は、波面合成上限周波数よりも高い周波数成分の音をアレイスピーカから出力する場合の一例について説明する説明図である。図５に示した例では、高域周波数成分についてはアレイスピーカ１の両端に位置するスピーカユニットを用いて、インテンシティステレオと同様に左右のレベル差を制御している。

また、図２や図３に示したアレイスピーカ１ａ、１ｂであっても、同様に両端のスピーカユニットを用いて、インテンシティステレオと同様に左右のレベル差を制御してもよい。これらの場合、波面合成を行う波面合成周波数帯域成分と、高域周波数成分とが同期して標準受聴位置２に到達するように、標準としているアレイスピーカ１との位置の違いを下に、時間軸の調整を行うことが望ましい。

なお、厳密には想定された標準受聴位置２から離れた受聴位置では、波面合成周波数帯域成分と高域周波数成分との時間差が生じてしまうが、音像定位判断に重要で、かつ、エネルギーが大きい中・低域周波数成分が波面合成で正確に音場合成できており、音場合成により音像知覚がなされるので、波面合成周波数帯域成分と高域周波数成分との時間差が音像を不自然にすることはない。

図６は、波面合成上限周波数よりも高い周波数成分の音をアレイスピーカから出力する場合の別の例について説明する説明図である。図６に示した例では、高域周波数成分を含む１次音源について、標準受聴位置２から見て１次音源方向に最も近い方向にあるアレイスピーカのスピーカユニットから高域周波数成分を出力する場合について説明するものである。

例えば、図６に示したように高域周波数成分を含む１次音源Ａ、Ｂ、Ｃがある場合、コンテンツ製作者が標準として想定した２４チャネルのアレイスピーカ１の内、５番のスピーカユニットから１次音源Ａの高域周波数成分を出力する。同様に、９番のスピーカユニットから１次音源Ｂの高域周波数成分を出力し、２１番のスピーカユニットから１次音源Ｃの高域周波数成分を出力する。

同様に、標準として想定したものとは異なるアレイスピーカ１ａ、１ｂの場合であっても、標準受聴位置２から見て１次音源方向に最も近い方向にあるアレイスピーカのスピーカユニットから高域周波数成分を出力する。例えば、１６チャネルのアレイスピーカ１ａであれば、４番のスピーカユニットから１次音源Ａの高域周波数成分を出力し、６番のスピーカユニットから１次音源Ｂの高域周波数成分を出力し、１４番のスピーカユニットから１次音源Ｃの高域周波数成分を出力する。また、８チャネルのアレイスピーカ１ｂであれば、２番のスピーカユニットから１次音源Ａの高域周波数成分を出力し、同様に、３番のスピーカユニットから１次音源Ｂの高域周波数成分を出力し、７番のスピーカユニットから１次音源Ｃの高域周波数成分を出力する。

図６では、本来の１次音源Ａ、Ｂ、Ｃの場所が分かっている。しかし、波面合成用の２４チャネルの信号からは、本来の１次音源の位置を知ることは難しい。このような場合では、標準としている２４チャネルのスピーカユニットを新たな１次音源として、標準受聴位置２から２４チャネルのスピーカユニットが見える方向ができるだけ同じになるように、１６チャネルや８チャネルのそれぞれのスピーカユニットに信号を割り当てる。

図７は、波面合成周波数帯域を越える高域周波数成分を担当するスピーカユニットの割り当てについて説明する説明図である。図７のアレイスピーカ１ａ、１ｂの各スピーカユニットに付された数字は、アレイスピーカ１の各スピーカユニットの番号を表している。

図７を用いて高域周波数成分を担当するスピーカユニットの割り当てについて説明すると、１６チャネルのアレイスピーカ１ａの場合、左から１番目のスピーカユニットにアレイスピーカ１の１番のスピーカユニットを割り当てる。以下、２番目のスピーカユニットにアレイスピーカ１の２番および３番のスピーカユニット、３番目のスピーカユニットにアレイスピーカ１の４番のスピーカユニット、・・・と順次割り当てていく。同様に、８チャネルのアレイスピーカ１ｂの場合、左から１番目のスピーカユニットにアレイスピーカ１の１番および２番のスピーカユニットを割り当てる。以下、２番目のスピーカユニットにアレイスピーカ１の３番〜５番のスピーカユニット、３番目のスピーカユニットにアレイスピーカ１の６〜９番のスピーカユニット、・・・と順次割り当てていく。

このとき、波面合成周波数帯域成分とのタイミングを合わせるために、標準としているアレイスピーカ１との位置の違いを基に時間軸を調整する。このように、波面合成周波数帯域を越える高域周波数成分を担当するスピーカユニットを割り当てていくことで、標準とは異なるアレイスピーカから音を出力する場合であっても、波面合成によって音場を合成して再生することができる。

実際の波面合成音源が、上述した２つの例のどちらを用いているのかは、波面合成によって再生されるコンテンツの全てのチャネルを周波数分析すれば分かる。従って、コンテンツ再生前に周波数分析を行うことで、どちらの例を用いて高域周波数に対する処理を行っているかを判断することで、高域周波数に対する処理を設定することができる。

本発明の一実施形態にかかる波面合成信号変換装置および波面合成信号変換方法は、このような技術的思想を基にしたものである。以下、本発明の一実施形態にかかる波面合成信号変換装置および波面合成信号変換方法について詳細に説明する。

次に、本発明の一実施形態にかかる波面合成信号変換装置および波面合成信号変換方法の詳細について説明する。図８は、本発明の一実施形態にかかる音場再生装置１０について説明する説明図である。以下、図８を用いて本発明の一実施形態にかかる音場再生装置１０の構成について説明する。

図８に示したように、本発明の一実施形態にかかる音場再生装置１０は、データ入力部１１０と、データ復号部１１２と、逆多重化部１１４と、音声データデコード部１２０と、メタデータデコード部１２２と、波面合成再生信号変換部１３０と、音声出力部１５０と、字幕データデコード部１７０と、字幕再生部１７２と、映像データデコード部１８０と、映像再生部１８２と、字幕スーパーインポーズ部１９０と、表示部１９２と、を含んで構成される。音声出力部１５０は、アンプ１５２と、アレイスピーカ１５４と、を含んで構成される。

データ入力部１１０は、音場再生装置１０で再生するコンテンツデータ（映像データ及び音声データ）の入力を行うものである。コンテンツデータの入力元は、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、その他の数百メガ〜数ギガバイト以上の大容量を有する光ディスクであっても良く、ネットワーク経由で受信したデータであってもよい。データ入力部１１０に入力されるコンテンツデータは、所定の符号化方式で符号化されており、容量が圧縮されている。データ入力部１１０で入力されたコンテンツデータはデータ復号部１１２に送られる。

データ復号部１１２は、データ入力部１１０で入力されたコンテンツデータを受け取り、所定の符号化方式で符号化されたデータを、その符号化方式に対応する復号方式によって復号して出力するものである。データ復号部１１２で復号されたデータは逆多重化部１１４に送られる。

逆多重化部１１４は、データ復号部１１２で復号したデータに対して逆多重化処理を施し、映像データ、音声データ、字幕データおよびメタデータを抽出するものである。抽出したそれぞれのデータは、音声データデコード部１２０、メタデータデコード部１２２、字幕データデコード部１７０、映像データデコード部に送られる。

音声データデコード部１２０は、逆多重化部１１４で逆多重化した信号から音声データをデコードして抽出する。音声データデコード部１２０で抽出する音声データには、仮想音源を形成するためのｍチャネルの音声情報および音源位置情報が含まれる。音声情報には、各仮想音源の種類や出力レベル、音の持続時間等の情報を含めることができる。音声データデコード部１２０で抽出される音声データに関する信号を波面合成再生信号と称する。

メタデータデコード部１２２は、逆多重化部１１４で逆多重化した信号から、コンテンツデータに付随する、音声データを再生するためのメタデータをデコードして抽出する。メタデータデコード部１２２で抽出するメタデータには、コンテンツ製作者が想定した標準再生条件データが含まれる。標準再生条件データとしては、スピーカのチャネル数、アレイスピーカを構成するスピーカユニットの間隔、標準受聴位置の情報が含まれる。

標準受聴位置の情報は、アレイスピーカの中心位置からの絶対距離で設定してもよく、スピーカユニットの間隔とスピーカのチャネル数との積から算出されるアレイスピーカの全長を基準としたアレイスピーカの中心位置からの距離で設定してもよい。標準受聴位置の情報をアレイスピーカの全長を基準としたアレイスピーカの中心位置からの距離で設定する場合には、例えば、アレイスピーカの中心位置からの距離をアレイスピーカの全長の１倍から２倍の間に設定してもよい。

波面合成再生信号変換部１３０は、音声データデコード部１２０およびメタデータデコード部１２２から出力されるデータを受け取って、音場再生装置１０の構成に適した波面合成再生信号に変換して出力するものである。

波面合成再生信号変換部１３０には、音場再生装置１０のスピーカのチャネル数およびアレイスピーカを構成するスピーカユニットの間隔（以下、音場再生装置１０のスピーカのチャネル数およびアレイスピーカを構成するスピーカユニットの間隔を総称して「実再生条件」とも称する）が、音声出力部１５０から送られる。コンテンツ製作者が想定した再生条件と、実再生条件とを用いることで、想定された再生条件と実再生条件とが異なっている場合には、上述したように、想定された再生条件におけるスピーカユニット位置を、実際に再生する音場再生装置１０での１次音源位置とする波面合成フィルタが算出できる。波面合成フィルタの算出によって、波面合成再生信号変換部１３０において実際の再生環境に適した波面合成再生信号を得るための波面合成再生信号の変換処理を行うことができる。

なお、想定された再生条件と実再生条件とが一致している場合には、波面合成再生信号変換部１３０では波面合成再生信号の変換処理を行わずに、音声データデコード部１２０で抽出された波面合成再生信号をそのまま音声出力部１５０に入力してもよい。

アンプ１５２は、波面合成再生信号変換部１３０で生成された波面合成再生信号を、アレイスピーカ１５４での再生のために増幅するものである。アレイスピーカ１５４は、ｎ個のスピーカユニット（図示せず）から音声を出力するものである。アレイスピーカ１５４から出力される音声は、波面合成されて波面を形成する。また、アレイスピーカ１５４から波面合成によって音声を出力することで、空間上に仮想的に音源を配し、その音源から音声が発せられているような音場を再生することができる。

字幕データデコード部１７０は、逆多重化部１１４で逆多重化した信号から字幕データをデコードして抽出する。字幕再生部１７２は、字幕データデコード部１７０で抽出した字幕データの再生を行う。映像データデコード部１８０は、逆多重化部１１４で逆多重化した信号から映像データをデコードして抽出する。映像再生部１８２は、映像データデコード部１８０で抽出した映像データの再生を行う。字幕スーパーインポーズ部１９０は、映像データに字幕データを重ね合わせる処理を行う。表示部１９２は、字幕データが重ね合わされた映像データを表示する。

本発明の一実施形態にかかる音場再生装置１０は、アレイスピーカ１５４のスピーカユニットの個数やスピーカユニット間の間隔が、コンテンツ製作者が想定したものと異なっている場合には、波面合成再生信号変換部１３０で実際の再生環境に適した波面合成再生信号を得るための波面合成再生信号の変換処理を行うことにより、コンテンツ製作者が想定したような音場を再現することができる。

なお、本実施形態では、表示部１９２は音場再生装置１０の一部として構成したが、液晶ディスプレイやプラズマディスプレイ等の外部の映像表示装置に対して字幕スーパーインポーズ部１９０からのデータを出力するようにしてもよい。

以上、図８を用いて本発明の一実施形態にかかる音場再生装置１０の構成について説明した。次に、本発明の一実施形態にかかる波面合成再生信号変換部１３０の構成について説明する。

図９は、本発明の一実施形態にかかる波面合成再生信号変換部１３０の構成について説明する説明図である。以下、図９を用いて本発明の一実施形態にかかる波面合成再生信号変換部１３０の構成について説明する。

図９に示したように、本発明の一実施形態にかかる波面合成再生信号変換部１３０は、周波数分析部１３２と、周波数帯域分離部１３４と、フィルタ係数作成部１３６と、高域周波数成分チャネル割当部１３８と、波面合成再生信号生成部１４０と、信号混合部１４２と、を含んで構成される。

周波数分析部１３２は、音声データデコード部１２０で抽出される音声データを入力し、再生される音声の周波数を分析するものである。分析した結果は高域周波数成分チャネル割当部１３８に送られる。

周波数帯域分離部１３４は、音声データデコード部１２０で抽出される音声データと、音声出力部１５０から送られる実再生条件データとを入力し、波面合成上限周波数より高い周波数の成分と低い周波数の成分とに分離して出力するものである。波面合成上限周波数より高い周波数帯域の成分は高域周波数成分チャネル割当部１３８に送られ、波面合成上限周波数より低い周波数帯域（波面合成帯域）の成分は波面合成再生信号生成部１４０に送られる。

波面合成上限周波数は、上述したように、アレイスピーカ面と波面との角度θによっても変化するが（図１０参照）、既に波面合成再生用に作られた多チャネル音源からはオリジナルの１次音源の位置が分からないことが多く、そのためにθの上限値も分からない。そこで本実施形態では常識的な音源配置としてθを２５度〜４０度程度と考えて、｛（３４０／２）／スピーカユニット間隔｝［Ｈｚ］で算出される値の約１．５倍（≒１／ｓｉｎ４０°）〜２．３倍（≒１／ｓｉｎ２５°）程度の値を、周波数帯域分離部１３４で分離するための波面合成上限周波数とする。

フィルタ係数作成部１３６は、メタデータデコード部１２２で抽出されるメタデータに含まれる標準再生条件データと、音声出力部１５０から送られる実再生条件データとを入力し、標準再生条件を実再生条件に変換するための波面合成フィルタのフィルタ係数を作成するものである。

標準再生条件を実条件に変換するための波面合成フィルタ係数の作成は、図２や図３の標準再生でのスピーカ位置（アレイスピーカ１の位置）を１次音源位置としたときの波面合成フィルタ係数を、図４に示したような考え方で算出したものである。波面合成フィルタ係数は、例えば前掲した、武田他，“多チャンネルスピーカ再生を用いた波面合成に関する検討”日本音響学会講演論文集、ｐｐ４０７−４０８、２０００年９月、に記載されているような方法で作成することができる。

高域周波数成分チャネル割当部１３８は、周波数分析部１３２での分析結果と、周波数帯域分離部１３４で分離したｍチャネルの高域周波数帯域の信号とを入力し、高域周波数帯域を出力するチャネルの割り当てと時間軸の調整を行うものである。高域周波数成分チャネル割当部１３８で出力する信号は、実再生条件に合わせるためにｎチャネルの信号となる。

波面合成再生信号生成部１４０は、周波数帯域分離部１３４で分離した波面合成帯域の信号と、フィルタ係数作成部１３６で作成された波面合成フィルタのフィルタ係数を入力し、実再生条件で波面合成を行うための波面合成信号を生成するものである。

波面合成再生信号生成部１４０では、各チャネル信号と波面合成フィルタとの畳み込みにより、標準再生条件での各チャネルを１次音源として、実再生条件で波面合成するための波面合成信号を生成する。波面合成再生信号生成部１４０で生成されたｎチャネルの波面合成信号は信号混合部１４２に送られる。

信号混合部１４２は、波面合成再生信号生成部１４０で生成されたｎチャネルの波面合成信号と、高域周波数成分チャネル割当部１３８から出力されたｎチャネルの信号とを、実再生条件のスピーカユニットのチャネルごとに混合して出力するものである。信号混合部１４２においてｎチャネルの波面合成帯域と高域周波数帯域とをチャネルごとに混合することによって、最終的な実再生条件でのｎチャネル波面合成再生信号が生成される。

以上、図９を用いて本発明の一実施形態にかかる波面合成再生信号変換部１３０の構成について説明した。このように波面合成再生信号変換部１３０を構成することによって、コンテンツ製作者がコンテンツを作成したときに想定したアレイスピーカと異なっている場合には、波面合成再生信号変換部１３０において実環境に合わせるように波面合成再生信号を変換することができる。

なお、上述した処理は、音場再生装置の内部に記憶部を設け、記憶部に記憶されたコンピュータプログラムを順次呼び出して実行されるようにしてもよい。記憶部として、各種のＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）を用いてもよい。

以上説明したように、本実施形態によれば、音場合成の際の再生用アレイスピーカが、コンテンツ製作者がコンテンツを作成したときに想定したアレイスピーカと異なっている場合であっても、波面合成再生信号を実環境に合わせて変換することで、コンテンツを初めから作り直す必要は無くなり、コンテンツの流用やコンテンツ制作条件の標準化をすることができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、直線型のアレイスピーカから音声を出力する場合について説明したが、本発明はかかる例に限定されない。波面合成は直線型のアレイスピーカ以外のスピーカ配置でも行なうことができるので、アレイスピーカが直線状以外の円弧状、Ｌ字型、コの字型の間の変換でも、標準としたアレイスピーカのユニットを新たな１次音源として実際のアレイスピーカで波面合成し、さらに、高域周波数成分は標準としたアレイスピーカユニットを見通す方向のスピーカユニットに割り当てることで、上記実施形態と同様に、コンテンツ製作者が想定した環境と異なる環境であっても、実際に使用する再生装置に応じて波面合成再生信号を演算し、合成音場を再生することができる。

１、１ａ、１ｂアレイスピーカ
２標準受聴位置
１０音場再生装置
１１０データ入力部
１１２データ復号部
１１４逆多重化部
１２０音声データデコード部
１２２メタデータデコード部
１３０波面合成再生信号変換部
１３２周波数分析部
１３４周波数帯域分離部
１３６フィルタ係数作成部
１３８チャネル割当部
１４０波面合成再生信号生成部
１４２信号混合部
１５０音声出力部
１５２アンプ
１５４アレイスピーカ
１７０字幕データデコード部
１７２字幕再生部
１８０映像データデコード部
１８２映像再生部
１９０字幕スーパーインポーズ部
１９２表示部

Claims

第１の波面合成再生信号を入力する波面合成再生信号入力部と、
前記第１の波面合成再生信号の波面合成再生条件を入力する第１の波面合成再生条件入力部と、
前記波面合成再生条件とは異なる波面合成再生条件を入力する第２の波面合成再生条件入力部と、
前記第１の波面合成再生信号を、前記第２の波面合成再生条件入力部から入力された波面合成再生条件に応じた第２の波面合成再生信号に変換する波面合成再生信号変換部と、
を備え、
前記波面合成再生信号変換部は、
前記第１の波面合成再生信号を所定の周波数より高い高域周波数成分と前記所定の周波数より低い低域周波数成分に分離する分離部と、
前記第２の波面合成再生条件入力部から入力された波面合成再生条件に応じて、前記高域周波数成分を前記第２の波面合成再生信号の高域周波数成分に割り当てる割り当て部と、
前記第２の波面合成再生条件入力部から入力された波面合成再生条件に応じて、前記低域周波数成分を前記第２の波面合成再生信号の低域周波数成分に変換する低域周波数成分変換部と、
前記割り当て部及び前記低域周波数成分変換部の出力を合成して前記第２の波面合成再生信号を生成する合成部と、
を含む、波面合成信号変換装置。
前記波面合成再生信号変換部は、前記第１の波面合成再生条件入力部から入力された波面合成再生条件および前記第２の波面合成再生条件入力部から入力された波面合成再生条件に応じて求められるフィルタ係数を用いて前記第１の波面合成再生信号を前記第２の波面合成再生信号に変換するフィルタ部を含む、請求項１に記載の波面合成信号変換装置。
前記波面合成再生条件は、少なくともスピーカ数及びスピーカ間隔を含む、請求項１に記載の波面合成信号変換装置。
を含む、請求項１に記載の波面合成信号変換装置。
第１の波面合成再生信号を入力するステップと、
前記第１の波面合成再生信号の波面合成再生条件を入力するステップと、
前記波面合成再生条件とは異なる波面合成再生条件を入力するステップと、
前記第１の波面合成再生信号を、前記波面合成再生条件とは異なる波面合成再生条件に応じた第２の波面合成再生信号に変換するステップと、
を備え、
前記変換するステップは、
前記第１の波面合成再生信号を所定の周波数より高い高域周波数成分と前記所定の周波数より低い低域周波数成分に分離するステップと、
前記波面合成再生条件とは異なる波面合成再生条件を入力するステップで入力された波面合成再生条件に応じて、前記高域周波数成分を前記第２の波面合成再生信号の高域周波数成分に割り当てて出力するステップと、
前記波面合成再生条件とは異なる波面合成再生条件を入力するステップで入力された波面合成再生条件に応じて、前記低域周波数成分を前記第２の波面合成再生信号の低域周波数成分に変換して出力するステップと、
前記割り当てて出力するステップ及び前記低域周波数成分に変換して出力するステップでの出力を合成して前記第２の波面合成再生信号を生成するステップと、
を含む、波面合成信号変換方法。