JP6326743B2 - 情報処理装置、ａｖレシーバ、およびプログラム - Google Patents

Description

この発明は、オーディオ信号に音場効果を付与する装置に接続される、あるいは当該装置に内蔵される情報処理装置に関する。

従来、コンテンツの音に音場効果を付与する音場制御装置が提案されている（例えば、特許文献１参照。）。音場効果とは、コンサートホール等の音響空間で発生する反射音を模擬した擬似反射音を再生することで、部屋に居ながらにして実際のコンサートホール等の別の空間に居るような臨場感を聴取者に体感させるものである。

図８は、音場効果を説明するための概念図である。図８（Ａ）は音場制御装置に接続するスピーカの配置図であり、図８（Ｂ）は音場効果を付与した音を再生した場合の直接音及び擬似反射音の音源分布のイメージ図であり、図８（Ｃ）はある音響空間のインパルス応答を示す図（直接音と擬似反射音の発生時間とレベルを示すグラフ）である。

音場制御装置は、まず図８（Ａ）に示すように、聴取位置Ｊの周囲に設置された複数（この例では５つ）のスピーカＳＰ１〜スピーカＳＰ５からの再生音の音量および到達タイミングが聴取位置Ｊにおいて同等になるように、予め各スピーカに供給する信号のゲインや遅延量を調整する。

そして、音場制御装置は、ユーザが選択した音響空間（例えばコンサートホール）に対応する音場効果情報に基づいて、入力されたオーディオ信号から擬似反射音に対応した信号を生成し、元のオーディオ信号に付与する。音場効果情報は、ある音響空間で発生する反射音群のインパルス応答（図８（Ｃ）を参照）や反射音群の音源位置を示す情報を含むものである。音場制御装置は、音場効果情報に基づいて、各スピーカに供給する信号のゲイン比率および遅延量を変化させることで、図８（Ｂ）に示すように、複数の音源位置に擬似反射音を生成する。

特許第２７５５２０８号公報

しかし、ユーザは、選択する音響空間について、どのような擬似反射音が生成されているのか（どの方向からどの程度の音量の擬似反射音が到来するのか）、直感的に理解し難い。

そこで、この発明は、どのような擬似反射音が生成されているのか、ユーザが直感的に理解することができるような情報を提供する情報処理装置を実現することを目的とする。

この発明の情報処理装置は、聴取環境を示す情報を取得し、当該聴取環境を示す情報に基づいて、現在の聴取環境に対応する映像を生成する聴取環境映像生成手段と、オーディオ信号に擬似反射音を付与するための音場効果情報を取得し、当該音場効果情報に含まれる前記擬似反射音の音源位置、発生タイミング、およびレベルを示す情報に基づいて、前記聴取環境に対応する映像に擬似反射音の映像を重畳する音場効果映像生成手段と、を備えたことを特徴とする。

このように、本発明の情報処理装置は、聴取環境を示す情報（例えば部屋の大きさを示す情報）を取得し、聴取環境を模式的に示した映像（例えば部屋を立体的に示した映像）を生成する。生成された映像は、自装置の表示器に表示される、または映像信号として他の表示装置に出力され、当該他の表示装置で表示される。聴取環境を示す情報は、例えばユーザが複数のテンプレートの中から選択したものが取得される。または、聴取環境に設置されたスピーカから測定音（ノイズ音等）を出力し、聴取位置に設置したマイクで収音することで、聴取環境の伝達特性を測定し、測定結果から聴取環境（部屋の大きさ等）を推定してもよい。

そして、このような部屋の映像に擬似反射音の映像が重ねて表示されるため、どのような擬似反射音が生成されているのか、ユーザが直感的に理解することができる。

なお、音場効果映像生成手段は、音場効果情報に含まれる前記擬似反射音の音源位置、発生タイミング、およびレベルを示す情報に基づいて、擬似反射音の映像を変化させることが好ましい。音場効果情報は、音源位置として聴取位置からの方位（水平角度および垂直角度を示す情報）、直接音からの遅延時間、および直接音のレベルに対する反射音のレベルの割合、からなる。したがって、音場効果映像生成手段は、聴取位置を原点とする３次元空間において、遅延時間を距離として、聴取位置からの方位および距離で定まる位置に擬似反射音の映像を表示し、レベルに応じて擬似反射音の大きさを変化させる。

また、聴取環境を示す情報には、当該聴取環境におけるスピーカの配置を示す情報が含まれ、聴取環境映像生成手段は、聴取環境に対応する映像において、スピーカの配置に対応する映像を表示することが好ましい。

また、聴取環境に対応する映像に、音場効果情報に対応する音響空間の映像を重畳することで、音場効果によりどのような音響空間が再現されているのかを提示するようにしてもよい。

なお、本発明の情報処理装置は、オーディオ信号に擬似反射音を付与して出力するオーディオ信号処理部と、聴取環境に対応する映像の信号を出力する映像信号出力部と、を備えたＡＶレシーバに内蔵される機能であってもよいし、スマートフォンやパーソナルコンピュータ等の情報処理装置に実行されるプログラムとしても実現可能である。

この発明によれば、どのような擬似反射音が生成されているのか、ユーザが直感的に理解することができる。

オーディオシステムの構成を示したブロック図である。 ＡＶレシーバおよびユーザ端末の機能ブロック図を示した図である。 測定音の測定結果（時間軸）を示した図である。 周波数特性を示した図である。 図５（Ａ）は聴取環境を模式的に示した映像であり、図５（Ｂ）は音響空間の映像を示した図である。 図６（Ａ）は聴取環境を模式的に示した映像に音響空間の映像を重畳した場合の図であり、図６（Ｂ）は直接音および擬似反射音の映像を重畳した場合の図である。 擬似反射音の映像を生成する手法を説明する図である。 音場効果を説明するための概念図である。

図１（Ａ）は、本発明の情報処理装置を備えたオーディオシステムの構成を示すブロック図である。図１（Ｂ）は、聴取環境を平面視した模式図である。オーディオシステムは、ＡＶレシーバ１、ユーザ端末２、マイク３、コンテンツ再生機器５、表示装置７、および複数のスピーカ１０（スピーカ１０Ｌ、スピーカ１０Ｒ、スピーカ１０ＳＬ、スピーカ１０ＳＲ、およびスピーカ１０Ｃ）を備えている。

複数のスピーカ１０は、聴取環境において、聴取位置Ｇの周囲に設置されている。この例では、聴取位置の正面（以下、聴取位置の正面を０°の方位とし、時計回りに正の角度とする。）にスピーカ１０Ｃが設置され、聴取位置の右前方（４５°の方位）にスピーカ１０Ｒが設置され、聴取位置の右後方（１３５°の方位）にスピーカ１０ＳＲが設置され、聴取位置の左後方（２２５°の方位）にスピーカ１０ＳＬが設置され、聴取位置の左前方（３１５°の方位）にスピーカ１０Ｌが設置される態様を示す。

ＡＶレシーバ１は、入力部１１、ＤＳＰ１２、映像処理部１３、ＣＰＵ１４、メモリ１５、出力部１６、およびネットワークＩ／Ｆ１７を備えている。

入力部１１は、コンテンツ再生機器５からコンテンツデータを受信して、当該コンテンツデータから抽出されるオーディオ信号をＤＳＰ１２に出力するとともに、コンテンツデータから抽出される映像信号を映像処理部１３に出力する。なお、入力部１１は、オーディオ信号と映像信号とをそれぞれ個別に外部機器から入力することも可能であるし、アナログ信号を受信した場合には、デジタル信号に変換して出力する機能も有する。

ＣＰＵ１４は、メモリ１５に記憶されているプログラムを読み出し、入力部１１、ＤＳＰ１２、映像処理部１３、およびネットワークＩ／Ｆ１７の制御を行う。

映像処理部１３は、映像信号出力部に相当し、ＣＰＵ１４の制御に従って、入力部１１から入力された映像信号に所定の処理（例えばアップスケール処理等）を施して表示装置７に出力する。

ＤＳＰ１２は、オーディオ信号処理部に相当し、ＣＰＵ１４の制御に従って、入力部１１から入力されたオーディオ信号に所定の処理を施す。ここでは、音場効果を付与する場合について説明する。

図２は、ＡＶレシーバ１およびユーザ端末２の機能ブロック図を示した図である。ＡＶレシーバ１の音場効果付与部１０１、聴取環境測定部１０２、および加算器１０３は、ＤＳＰ１２によって実現される。音場効果付与部１０１は、入力されたオーディオ信号から擬似反射音を生成する。音場効果付与部１０１で生成された擬似反射音は、加算器１０３で元のオーディオ信号に加算されて出力される。

擬似反射音は、メモリ１５に記憶されている音場効果情報に基づいて生成される。音場効果情報は、ある音響空間で発生する反射音群のインパルス応答、および反射音群の音源位置を示す情報を含むものである。具体的には、各擬似反射音の聴取位置からの方位（水平方位および垂直方位）を示す情報、直接音からの遅延時間（発生タイミングを示す情報）、および直接音のレベルに対する反射音のレベルの割合を示す情報（レベルを示す情報）が含まれている。

音場効果付与部１０１は、ユーザが選択した音場効果に対応する音場効果情報をメモリ１５から読み出し、読み出した音場効果情報に基づいて、各スピーカに供給するオーディオ信号の分配ゲイン比率を変化させることで、擬似反射音を生成する。例えば、図１（Ｂ）に示すように、聴取位置Ｇの左側（２７０°の水平方位）に擬似反射音を生成する場合には、音源位置に最も近い２つのスピーカ１０Ｌおよびスピーカ１０ＳＬに、所定の遅延量および所定のゲイン比率（例えば１：１）でオーディオ信号を供給する。図１（Ｂ）においては平面図を示し、水平方位のみ説明したが、垂直方位についても同様に、音源位置に最も近い２つのスピーカ１０にオーディオ信号を供給することで、擬似反射音を生成することができる。ただし、全てのスピーカ１０が同じ高さに存在する場合は、垂直方位については考慮しない。また、入力部１１から入力されるオーディオ信号がマルチチャンネルである場合、音場効果付与部１０１は、モノラル信号にミックスダウンした信号から擬似反射音を生成する。

図１（Ａ）に戻り、ＤＳＰ１２の出力オーディオ信号は、出力部１６に入力される。出力部１６は、当該出力オーディオ信号を、スピーカ１０Ｌ、スピーカ１０Ｒ、スピーカ１０ＳＬ、スピーカ１０ＳＲ、およびスピーカ１０Ｃに出力する。

そして、この実施形態のオーディオシステムは、聴取環境を模式的に示した映像（図５（Ａ）を参照）を生成し、上記音場効果付与部１０１で生成される擬似反射音に対応する映像（図６（Ｂ）を参照）と音場効果情報に対応する音響空間の映像（図５（Ｂ）を参照）とを重畳することで、どのような音響空間が再現され、どのような擬似反射音が生成されているのか、ユーザが直感的に理解することができるものである。

このような映像は、ユーザ端末２で生成され、当該ユーザ端末２の表示器（ここではタッチパネル２４）で表示される。

ユーザ端末２は、スマートフォンやパーソナルコンピュータ等の情報処理装置であり、ネットワークＩ／Ｆ２１、ＣＰＵ２２、メモリ２３、およびタッチパネル２４を備えている。ＡＶレシーバ１とユーザ端末２は、ネットワークＩ／Ｆ１７およびネットワークＩ／Ｆ２１を介して接続されている。

ＣＰＵ２２は、メモリ２３からプログラムを読み出して、ネットワークＩ／Ｆ２１およびタッチパネル２４を制御する。図２に示すように、ユーザ端末２は、当該プログラムにより、機能的に、音声解析部２０１、聴取環境解析部２０２、および表示部２０３を実行する。

まず、聴取環境解析部２０２について説明する。聴取環境解析部２０２は、本発明の聴取環境映像生成手段に相当し、聴取環境を示す情報（例えば部屋の大きさを示す情報）を取得し、聴取環境を模式的に示した映像（例えば部屋を立体的に示した映像）を生成する。

聴取環境を示す情報は、例えばタッチパネル２４に複数のテンプレートを表示し、ユーザが表示されたテンプレートから聴取環境に近いものを選択することで得られる。テンプレートは、例えば図５（Ａ）のような部屋を立体的に表した映像２００である。選択されたテンプレートが現在の聴取環境に対応する映像２００として生成される。生成された聴取環境に対応する映像２００は、表示部２０３に出力される。

なお、ＡＶレシーバ１の聴取環境測定部１０２がスピーカ１０から測定音（ホワイトノイズ等）を出力し、当該測定音を聴取位置Ｇに設置したマイク３で収音することで、聴取環境の伝達特性を測定し、この測定結果を受信することで聴取環境（部屋の大きさ等）を推定する、あるいは推定した聴取環境から上記テンプレートを絞り込むことも可能である。

ＡＶレシーバ１の聴取環境測定部１０２は、例えば図３（Ａ）に示すように、スピーカ１０から測定音を出力してから所定レベル以上の信号をマイク３から入力するまでの経過時間および各信号の音圧レベルを示す情報を、測定結果としてユーザ端末２の聴取環境解析部２０２に出力する。最も経過時間が短い高レベルの信号は、スピーカ１０からマイク３への直接音とみなされる。直接音の後に観測される高レベルの信号は、スピーカ１０から出力された測定音が部屋の壁面等に反射してからマイク３に至る反射音であるとみなされる。聴取環境測定部１０２は、このような測定を全てのスピーカ１０について行う。

なお、ＡＶレシーバ１は、上記直接音に対応する信号の経過時間および音圧レベルに基づいて、各スピーカ１０から出力される音の到達タイミングおよび再生音の音量が聴取位置Ｇにおいて同等になるように、予め各スピーカ１０に供給する信号のゲインや遅延量を調整することができる。

聴取環境解析部２０２は、受信した測定結果の反射音群に基づいて聴取環境を推定する。例えば、図３（Ｂ）の反射音群は、図３（Ａ）の反射音群に比べて各反射音の間隔が長く、反射音の数が少ない。このように各反射音の間隔が長く、反射音の数が少ない場合、スピーカ１０およびマイク３と壁面等の距離が遠く、広い部屋であると推定することができる。したがって、聴取環境解析部２０２は、各スピーカ１０の測定結果に基づいて、部屋の大きさを推定することができる。聴取環境解析部２０２は、推定した部屋の大きさに対応するテンプレートをタッチパネル２４に表示する。例えば、スピーカ１０Ｒおよびスピーカ１０ＳＲの測定結果は、右側の壁までの距離に相当するため、スピーカ１０Ｒおよびスピーカ１０ＳＲの測定結果から推定される右側の壁までの距離が長いと判断した場合、右側の壁面までの距離が長いテンプレートをタッチパネル２４に表示する。

また、聴取環境解析部２０２は、測定結果から得られる周波数特性を解析して、壁面の材質等を推定することもできる。例えば、図４（Ａ）に示すようなフラットな周波数特性に対して、図４（Ｂ）に示すような高域が減衰する周波数特性を有する場合、壁面にカーテン等の吸音性の高い材質が配置されていると判断することができる。この判断も、各スピーカ１０の測定結果に基づいて行われる。例えば、聴取環境解析部２０２は、スピーカ１０Ｒおよびスピーカ１０ＳＲの測定結果の周波数特性を解析し、聴取位置の右側の壁に吸音性の高いカーテンが配置されていると判断した場合、上記テンプレートにおいて聴取位置の右側にカーテンの映像を重畳してタッチパネル２４に表示する。

なお、ＡＶレシーバ１から受信した測定結果のうち、直接音に対応する信号の経過時間および音圧レベルは、聴取環境におけるスピーカの配置を示す情報に相当する。したがって、聴取環境解析部２０２は、図５（Ａ）に示すように、スピーカ１０Ｌ、スピーカ１０Ｒ、スピーカ１０ＳＬ、スピーカ１０ＳＲ、およびスピーカ１０Ｃをそれぞれ模式的に表したスピーカ映像２０２Ｌ、スピーカ映像２０２Ｒ、スピーカ映像２０２ＳＬ、スピーカ映像２０２ＳＲ、スピーカ映像２０２Ｃを表示する。また、この例では、表示装置７に対応するスクリーン２０５も表示している。ただし、このようなスピーカの配置に対応する映像や表示装置に対応する映像を表示することは本発明において必須の構成ではない。

表示部２０３は、以上のようにして生成された聴取環境に対応する映像２００に対して、音場効果付与部１０１が付与する音場効果に対応する音響空間の映像を重畳する。例えば、図５（Ｂ）に示すような、ステージ３０２および客席３０３を有したコンサートホール３０１の映像をメモリ２３から読み出し、図６（Ａ）に示すような重畳映像を作成する。そして、表示部２０３は、この重畳映像に、図６（Ｂ）に示すような擬似反射音の映像５０１（この例では円形状のアイコン）をさらに重畳する。擬似反射音の映像は、音声解析部２０１で生成される。

音声解析部２０１は、本発明の音場効果映像生成手段に相当し、音場効果付与部１０１から受信した音場効果情報に基づいて、擬似反射音の映像を生成する。図７は、擬似反射音の映像を生成する手法を説明するための図である。

音声解析部２０１は、聴取位置Ｇを原点とする空間（この例では３次元空間）において、音場効果情報に含まれている直接音からの遅延時間を距離Ｄとして、聴取位置Ｇからの水平方位θ（正面を０°）および垂直方位φ（水平を０°）で定まる位置に擬似反射音の映像を表示する。擬似反射音の映像の大きさＬは、直接音のレベルに対する反射音のレベルの割合によって変化させる。そして、音声解析部２０１は、ＡＶレシーバ１からオーディオ信号を入力し、当該オーディオ信号に所定レベル以上の入力があった場合に、当該所定レベル以上の入力を直接音として、擬似反射音の表示位置を計算し、計算された表示位置に擬似反射音の映像を生成する。

例えば、図６（Ｂ）に示すように、入力オーディオ信号のＲチャンネル、Ｌチャンネル、およびＣチャンネルに同時に所定レベル以上の入力があった場合に、Ｒチャンネルに対応する直接音の映像４０１Ｒ、Ｌチャンネルに対応する直接音の映像４０１Ｌ、およびＣチャンネルに対応する直接音の映像４０１Ｃを生成するとともに、これらの直接音（ミックスダウンされた信号）から計算される表示位置およびレベルに対応する擬似反射音の映像５０１を生成する。図６（Ｂ）においては静止画として示しているが、直接音に対する擬似反射音は、時々刻々と変化し、アニメーションとして表示されるものである。

なお、直接音の映像を表示することは必須ではない。また、直接音の映像を表示する場合には、直接音と擬似反射音の映像を異なるもの（例えば異なる色）にすることが好ましい。

以上のようにして生成された直接音および擬似反射音の映像が表示部２０３に出力される。表示部２０３は、上記聴取環境に対応する映像、スピーカの配置を示す映像、および音場効果に対応する音響空間の映像、に直接音および擬似反射音の映像を重畳する。

以上のようにして生成された映像は、自装置のタッチパネル２４に表示される、または映像信号として他の表示装置（例えばＡＶレシーバ１）に出力され、当該他の表示装置（ＡＶレシーバ１に接続されている表示装置７）で表示される。

これにより、ユーザは、どのような音響空間が再現され、どのような擬似反射音が生成されているのか、直感的に理解することができる。

なお、この例では、直接音および擬似反射音を示す映像として、円形状のアイコンを示したが、他の映像（例えばベクトルや雲の様な映像）を表示してもよい。また、周波数特性を示す映像として、高音の場合は音源位置から聴取位置へ向かうベクトルの表示を行い、低音の場合は音源位置から周囲に円形状に拡がるアイコンを表示する態様としてもよい。

また、本実施形態では、音声解析部２０１、聴取環境解析部２０２、および表示部２０３をユーザ端末２のプログラムにより実行する例を示したが、ＡＶレシーバ１において実行してもよいし、パーソナルコンピュータ等の他の情報処理端末において実行してもよい。

１…ＡＶレシーバ
２…ユーザ端末
３…マイク
５…コンテンツ再生機器
７…表示装置
１０Ｌ，１０Ｒ，１０ＳＬ，１０ＳＲ，１０Ｃ…スピーカ
１１…入力部
１２…ＤＳＰ
１３…映像処理部
１４…ＣＰＵ
１５…メモリ
１６…出力部
２２…ＣＰＵ
２３…メモリ
２４…タッチパネル
１０１…音場効果付与部
１０２…聴取環境測定部
１０３…加算器
２０１…音声解析部
２０２…聴取環境解析部
２０３…表示部

Claims (6)

1. 聴取環境を示す情報を取得し、当該聴取環境を示す情報に基づいて、現在の聴取環境に対応する映像を生成する聴取環境映像生成手段と、
   オーディオ信号に擬似反射音を付与するための音場効果情報を取得し、当該音場効果情報に基づいて、前記聴取環境に対応する映像に重畳するための擬似反射音の映像を生成する音場効果映像生成手段と、
   を備えたことを特徴とする情報処理装置。
2. 前記音場効果映像生成手段は、前記音場効果情報に含まれる前記擬似反射音の音源位置、発生タイミング、およびレベルを示す情報に基づいて、前記擬似反射音の映像を変化させることを特徴とする請求項１に記載の情報処理装置。
3. 前記聴取環境を示す情報には、当該聴取環境におけるスピーカの配置を示す情報が含まれ、
   前記聴取環境映像生成手段は、前記聴取環境に対応する映像において、スピーカの配置に対応する映像を表示することを特徴とする請求項１または請求項２に記載の情報処理装置。
4. 前記聴取環境に対応する映像に、前記音場効果情報に対応する音響空間の映像を重畳することを特徴とする請求項１乃至請求項３のいずれかに記載の情報処理装置。
5. 請求項１乃至請求項４のいずれかに記載の情報処理装置と、
   前記オーディオ信号から擬似反射音を生成して当該オーディオ信号に付与する音場効果付与部と、
   前記聴取環境に対応する映像の信号を出力する映像信号出力部と、
   を備えたことを特徴とするＡＶレシーバ。
6. 聴取環境を示す情報を取得し、当該聴取環境を示す情報に基づいて、現在の聴取環境に対応する映像を生成する聴取環境映像生成ステップと、
   オーディオ信号に擬似反射音を付与するための音場効果情報を取得し、当該音場効果情報に含まれる前記擬似反射音の音源位置、発生タイミング、およびレベルを示す情報に基づいて、前記聴取環境に対応する映像に重畳するための擬似反射音の映像を生成する音場効果映像生成ステップと、
   を情報処理装置に実行させることを特徴とするプログラム。