JP7451896B2 - 音響処理装置および音響処理方法 - Google Patents

Description

本発明は、例えば音響処理装置および音響処理方法に関する。

従来、後方用チャネルの音響信号を前方のスピーカーから出力することによって、仮想的な後方のスピーカーからあたかも音が出力されているかのように音像を定位させる技術が知られている（例えば特許文献１参照）。このように音像を定位する技術は、バーチャルサラウンドとも呼ばれ、例えばリスナーが映画を視聴していれば、後方の仮想的な音像の定位によって、スピーカーの個数が少なくても、リスナーに適切なサラウンド感を提供することができる。

特開２００７－２０２１３９号公報

しかしながら、上記技術では、例えば映画の一場面、具体的には前方音場や、人物が台詞を喋るような場面では、音場の広がりによってリスナーに不自然な感じを与える、という問題があった。

上記目的を達成するために、本発明の一態様に係る音響処理装置は、入力信号を解析して、バーチャルサラウンドの第１音響効果、または、前記第１音響効果とは異なるバーチャルサラウンドの第２音響効果の付与を決定する解析部と、前記入力信号に、前記第１音響効果または前記第２音響効果を、前記解析部による決定に応じて付与する音響効果付与部と、を具備する。

第１実施形態に係る音響処理装置を含む音響付与システムを示す図である。 第１音響効果による定位領域を示す図である。 第２音響効果による定位領域を示す図である。 第１音響効果による音像の広がりを示す図である。 第２音響効果による音像の広がりを示す図である。 音響処理装置の動作を示すフローチャートである。 解析部による音響効果の選択について例１を示す図である。 解析部による音響効果の選択について例２を示す図である。

本発明の実施形態に係る音響処理装置について図面を参照して説明する。
図１は、音響処理装置を含む音響付与システムの構成を示す図である。
この図に示される音響付与システム１０は、リスナーＬsnの前方に配置された２つのスピーカー１５２および１５４によって、バーチャルサラウンド効果を付与する。

音響付与システム１０は、デコーダー１００、音響処理装置２００、ＤＡＣ１３２、１３４、アンプ１４２、１４４、スピーカー１５２、１５４およびモニター１６０を含む。
デコーダー１００は、図示省略された記録媒体を再生するプレイヤーから出力される信号のうち、音響信号Ａinを入力する。なお、ここでいう記録媒体とは、例えばＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc：登録商標）であり、映画やミュージックビデオなどのように映像信号と音響信号とが同期して記録されたものが好ましい。
なお、上記プレイヤーからの出力される信号のうち、映像信号に基づいた映像は、モニター１６０に表示される。

デコーダー１００は、音響信号Ａinを入力してデコードし、例えば次のような５チャネルの音響信号を出力する。具体的には、デコーダー１００は、前方左用のチャネルＦＬ、前方中央用のチャネルＦＣ、前方右用のチャネルＦＲ、後方左用のチャネルＳＬおよび後方右用のチャネルＳＲの音響信号をそれぞれ出力する。

音響処理装置２００は、解析部２１０および音響効果付与部２２０を含む。解析部２１０は、デコーダー１００から出力される各チャネルの音響信号を入力して解析し、音響信号に付与する効果として、第１音響効果または第２音響効果のいずれかの選択を示す信号Ｃtrを出力する。

音響効果付与部２２０は、第１音響効果付与部２２１、第２音響効果付与部２２２および選択部２２４を含む。
第１音響効果付与部２２１は、５チャネルの音響信号を信号処理することによって、第１音響効果を付与した左用のチャネルＬ１および右用のチャネルＲ１の音響信号を出力する。第２音響効果付与部２２２は、５チャネルの音響信号を信号処理することによって、第１音響効果とは異なる第２音響効果を付与した左用のチャネルＬ２および右用のチャネルＲ２の音響信号を出力する。

選択部２２４は、チャネルＬ１およびＲ１の組、または、チャネルＬ２およびＲ２の組を信号Ｃtrにしたがって選択し、選択した組のチャネルのうち、左方のチャネルの音響信号をＤＡＣ１３２に、右方のチャネルの音響信号をＤＡＣ１３４に、それぞれ供給する。
なお、図１の実線は、選択部２２４が信号ＣtrによってチャネルＬ１およびＲ１を選択した状態を示し、破線は、チャネルＬ２およびＲ２を選択した状態を示している。

ＤＡＣ（Digital to Analog Converter）１３２は、選択部２２４によって選択された左用のチャネルの音響信号をアナログに変換し、アンプ１４２は、ＤＡＣ１３２により変換された信号を増幅する。スピーカー１５２は、アンプ１４２により増幅された信号を空気の振動、すなわち音に変換して出力する。
同様にＤＡＣ１３４は、選択部２２４によって選択された右用のチャネルの音響信号をアナログに変換し、アンプ１４４は、ＤＡＣ１３４により変換された信号を増幅し、スピーカー１５４は、アンプ１４２により増幅された信号を音に変換して出力する。

第１音響効果付与部２２１により付与される第１音響効果とは、例えば、フィードバッククロスディレイにより付与される効果である。
フィードバッククロスディレイでは、左のディレイが右の入力に、右のディレイが左の入力に、それぞれフィードバックされて加算される。このため、第１音響効果では、一般的には音が立体的に聴こえる、という効果が得られる。

第２音響効果付与部２２２により付与される第２音響効果とは、例えば、トランスオーラル処理により付与される効果である。
トランスオーラルとは、例えばバイノーラル録音された音を、ヘッドフォンではなく、ステレオスピーカーで再現する技術である。ただし、ヘッドフォンではなく、単純にスピーカーで再現する場合、クロストークが発生するので、トランスオーラルでは、クロストークをキャンセルするための処理も含まれる。

図２は、第１音響効果において音像の定位感が得られる定位領域の範囲を示す図であり、図３は、第２音響効果による定位領域の範囲を示す図である。いずれも、スピーカー１５２、１５４およびリスナーＬsnの位置を平面視で示している。これらの図の比較で判るように、定位領域は、スピーカー１５２、１５４が放音する方向の前方において、第１音響効果の方が、第２音響効果よりも広い。換言すれば、定位領域は、第２音響効果ではピンポイント的に狭い。
なお、この定位領域は、リスナーＬsnの頭部がスピーカー１５２および１５４を結ぶ仮想線Ｍ１の垂直二等分線Ｍ２に位置し、かつ、リスナーＬsnの顔が、垂直二等分線Ｍ２に沿った方向で、スピーカー１５２および１５４に向いた場合の例である。

図４は、第１音響効果によってリスナーＬsnから見て、音像を定位させることができる範囲（音像範囲）を示す図であり、図５は、第２音響効果による音像範囲を示す図である。いずれも、スピーカー１５２、１５４およびリスナーＬsnの位置を平面視で示している。第１音響効果による音像範囲は、図４に示されるように、リスナーＬsnからみてスピーカー１５２、１５４の前方に向かって広がる。これに対し、第２音響効果による音像範囲は、図５に示されるように、リスナーＬsnからみてほぼ３６０度の全域にわたって広がる。

ここで、前方の音場が重要である場面などでは、第１音響効果の適用が有効である。この場面の例としては、前方のチャネルＦＬおよびＦＲのレベルが、後方のチャネルＳＬおよびＳＲのレベルと比較して相対的に大きい状態などが挙げられる。

一方、音源の定位が重要となる場面や、前方以外の音場が重要である場面などでは、第２音響効果の適用が有効である。この場面の例としては、効果音などがチャネルＦＬおよびＳＬ、または、チャネルＦＲおよびＳＲに振り分けられている状態や、チャネルＳＬおよびＳＲに物音や効果音などが振り分けられている状態などが挙げられる。

本実施形態に係る音響付与システム１０では、音響処理装置２００が、次のような動作によって、デコーダー１００から出力される各チャネルの音響信号を解析し、該解析結果に応じて、第１音響効果または第２音響効果のいずれかを選択して、音響効果を付与することとしている。

図６は、音響処理装置２００の動作を示すフローチャートである。
はじめに、解析部２１０は、電源が投入された場合や、デコーダー１００によりデコードされた各チャネルの音響信号が入力された場合などを契機として、この動作を開始する。
まず、解析部２１０は、初期設定処理を実行する（ステップＳ１０）。初期設定処理としては、例えば選択部２２４における初期選択状態としてチャネルＬ１およびＲ１の組を選択させる処理などが挙げられる。
次に、解析部２１０は、デコーダー１００によりデコードされた各チャネルの音響信号の特徴量を求める（ステップＳ１２）。本実施形態では、特徴量の例として音量レベルを用いる。

続いて、解析部２１０は、求めた特徴量に基づいて、新たに選択すべき第１音響効果または第２音響効果を決定する（ステップＳ１４）。具体的には、本実施形態において解析部２１０は、第１に、チャネルＦＬの音量レベルおよびチャネルＦＲの音量レベルの和と、チャネルＳＬの音量レベルおよびチャネルＳＲの音量レベルの和との比率を求める。すなわち、解析部２１０は、後方チャネルの音量レベルに対する前方チャネルの音量レベルの比率を求める。解析部２１０は、第２に、求めた比率が予め設定された閾値以上であれば、新たに第１音響効果を選択する旨を決定し、当該比率が閾値未満であれば、第２音響効果を選択する旨を決定する。

ここで、上記比率が閾値以上である場合、前方の音場が重要である場面と考えられるので、解析部２１０は、第１音響効果の選択を決定する。一方、上記比率が閾値未満である場合、音源の定位が重要となる場面や、前方以外の音場が重要である場面と考えられるので、解析部２１０は、第２音響効果の選択を決定する。
なお、ここでは、比率が閾値以上であるか否かによって、第１音響効果または第２音響効果を選択する構成としているが、例えば、求めた特徴量を用いて、学習モデルを構築し、機械学習によって分類し、その結果に応じて第１音響効果または第２音響効果を選択する構成としてもよい。

解析部２１０は、新たに選択すべきと決定した音響効果と、現時点で実際に選択している音響効果とが相違しているか否かを、すなわち、選択部２２４で選択している音響効果を切り替える必要があるか否かを判別する（ステップＳ１６）。
例えば、解析部２１０は、新たに第１音響効果を選択すべきと決定した場合に、現時点で実際に選択部２２４が第２音響効果を選択していれば、音響効果を切り替える必要があると判別する。また例えば、解析部２１０は、新たに第２音響効果を選択すべきと決定した場合に、現時点で既に選択部２２４が第２音響効果を選択していれば、音響効果を切り替える必要がないと判別する。

解析部２１０は、音響効果を切り替える必要があると判別すれば（ステップＳ１６の判別結果が「Ｙｅｓ」であれば）、信号Ｃtrにより選択部２２４に対して選択を切り替える旨を指示する（ステップＳ１８）。この指示により、実際に選択部２２４は、第１音響効果付与部２２１または第２音響効果付与部２２２の一方から他方へと、選択を切り替える。
この後、解析部２１０は、処理の手順をステップＳ１２に戻す。
一方、解析部２１０は、音響効果を切り替える必要がないと判別すれば（ステップＳ１６の判別結果が「Ｎｏ」であれば）、処理の手順をステップＳ１２に戻す。

処理の手順がステップＳ１２に戻ると、再び各チャネルの音量レベルが求められ、該音量レベルに基づいて、新たに選択すべき音響効果が決定される。このため、本実施形態では、各チャネルの解析、音響効果の決定・選択が所定の時間毎に実行される。なお、この動作は、電源の遮断や音響信号の入力停止等するまで、繰り返し実行される。
このように、本実施形態では、音響信号で再現すべき音場や定位感に応じて、適切な音響効果が所定の時間毎に決定・選択されるので、リスナーに不自然な感じを与えることを抑制することができる。

上述した実施形態において、チャネルＦＣの音量レベルを解析に用いても良い。具体的には、チャネルＦＣの音量レベルが他のチャネルの音量レベルと比較して相対的に大きいのであれば、前方で人物が台詞を語る場面などのように、前方の音場が重要である場面であると考えられる。このため、解析部２１０は、他のチャネルＦＬ、ＦＲ、ＳＲ、ＳＬの音量レベルに対するチャネルＦＣの音量レベルの比率が閾値以上であれば、第１音響効果を選択する旨を決定し、そうでなければ、第２音響効果を選択する旨を決定しても良い。

また、チャネルＦＣの音量レベルが大きくなっている状態が、台詞などの音声以外の音の成分で発生している可能性がある。このため、解析部２１０は、チャネルＦＣの音響信号を周波数解析して、音声帯域である例えば３００～３４００Ｈｚに限った音量レベルと、他のチャネルの音量レベルとの比率で判定しても良い。
音声については、単純な周波数解析ではなく、音声の特徴量であるメル周波数ケプストラム係数（ＭＦＣＣ：Mel-Frequency Cepstrum Coefficients）を用いても良い。

上述した実施形態では、解析部２１０が、チャネルの特徴量の一例として音量レベルを用いたが、音量レベル以外を用いて、音響効果を決定・選択する構成としても良い。そこで、チャネルの特徴量の他の例について説明する。

図７は、チャネルの特徴量について相関度（または類似度）を用いた例１を示す図である。この例１では、解析部２１０は、チャネルＦＬ、ＦＲ、ＳＬおよびＳＲの音響信号のうち、隣り合うチャネル同士の音響信号の相関度を算出し、当該相関度に基づいて適用する音響効果を決定・選択する。
なお、図において、チャネルＦＬおよびＦＲの相関度がＦａであり、チャネルＦＲおよびＳＲの相関度がＲａであり、チャネルＳＲおよびＳＬの相関度がＳａであり、チャネルＳＬおよびＦＬの相関度がＬａである。

このような相関度を用いると、各チャネルの音響信号で再現される音像が特定の方向に向いているのか、周辺にまんべんなく広がっているのか、などを判別することができる。
例えば相関度Ｆａが、他の相関度Ｒａ、ＳａおよびＬａよりも相対的に大きいのであれば、前方の音場に比重が置かれている場面であると考えられる。このため、解析部２１０は、例えば、相関度Ｒａ、ＳａまたはＬａに対する相関度Ｆａの各比率が、それぞれ閾値以上であれば、第１音響効果を選択する旨を決定し、そうでなければ、第２音響効果を選択する旨を決定しても良い。
また、相関度Ｒａ、ＳａまたはＬａの相関度が他の相関度よりも相対的に大きいのであれば、前方以外の音場に比重が置かれている場面であると考えられる。このため、解析部２１０は、例えば、相関度Ｒａ、ＳａまたはＬａのうち、他の相関度に対する比率が閾値以上である相関度があれば、第２音響効果を選択する旨を決定し、そうでなければ、第１音響効果を選択する旨を決定しても良い。
なお、別例１の相関度については、チャネルＦＣを加えても良い。

このような別例１においても、実施形態と同様に、音響信号で再現すべき音場や定位感に応じて、適切な音響効果が選択されるので、リスナーに不自然な感じを与えることを抑制することができる。

次に、チャネルの特徴量として、レーダーチャート（パターンの形状）を用いた例２について説明する。ここでいうレーダーチャートとは、各チャネルにおける音量レベルと、方位方向とでグラフ化したものである。

図８は、レーダーチャートの例を示す図である。なお、この例では、音量レベルが「大」、「中」、「小」および「ゼロ」の４つに分類されている。
図８におけるパターン１は、チャネルＦＬ、ＦＣ、ＦＲ、ＳＬおよびＳＲの音量レベルが、いずれも「大」である場合を示している。この場合、音像の定位方向が周辺にほぼまんべんなく広がっていると考えられる。このため、解析部２１０は、第２音響効果を選択する旨を決定する。
図８におけるパターン２は、チャネルＦＬ、ＦＣ、ＦＲ、ＳＬおよびＳＲの音量レベルが、いずれも「中」である場合を示している。この場合、パターン１と同様に、音像の定位方向が周辺に広がっていると考えられるので、解析部２１０は、第２音響効果を選択する旨を決定する。
なお、特に図示しないが、チャネルＦＬ、ＦＣ、ＦＲ、ＳＬおよびＳＲの音量レベルが、いずれも「小」であれば、パターン１、２と同様に、解析部２１０は、第２音響効果を選択する旨を決定する。

図８におけるパターン４は、チャネルＦＬ、ＦＲ、ＳＬおよびＳＲの音量レベルがいずれも「小」であり、チャネルＦＣの音量レベルが「中」である場合を示している。この場合、前方の音場に比重が置かれている場面であると考えられるので、解析部２１０は、第１音響効果を選択する旨を決定する。
なお、特に図示しないが、チャネルＦＬ、ＦＲ、ＳＬおよびＳＲの音量レベルが「小」であり、チャネルＦＣの音量レベルが「大」である場合や、チャネルＦＬ、ＦＲ、ＳＬおよびＳＲの音量レベルが「中」であり、チャネルＦＣの音量レベルが「大」である場合なども同様である。

図８におけるパターン３は、チャネルＦＬおよびＦＲの音量レベルが「中」であり、チャネルＦＣの音量レベルが「小」である場合を示している。この場合、後方の音場に比重が置かれている場面であると考えられるので、解析部２１０は、第２音響効果を選択する旨を決定する。

ここでは、典型的なパターンについてのみ説明したが、前方の音場が重要である場面では、第１音響効果が選択され、音源の定位が重要となる場面や、前方以外の音場が重要である場面などでは、第２音響効果が選択される点については、実施形態と代わりはない。

なお、上述した説明において、解析部２１０は、チャネルの特徴量に基づいて第１音響効果または第２音響効果のいずれかを選択する構成としたが、この選択は、必ずしもリスナーＬsnの感覚と一致していない場合がある、と考えられる。そこで、リスナーＬsnの感覚と一致しない場合には、その旨を解析部２１０に通知し、解析部２１０が、一致しない場合のチャネルの特徴量を複数記録して、選択の判断基準を学習（変更）する構成としても良い。

また、記録媒体に対して映像信号および音響信号とともに、選択する音響効果を示す選択信号（メタデータ）を記録しておき、再生時に、この選択信号に応じて音響効果を選択する構成としても良い。すなわち、入力信号に含まれる選択信号に応じて、音響効果を選択して、選択した音響効果を、入力信号に含まれる音響信号に付与する構成としても良い。

音響処理装置２００の一部または全部については、マイクロコンピューターが所定のプログラムを実行することによるソフトウェア処理で実現しても良い。また、第１音響効果付与部２２１、第２音響効果付与部２２２および選択部２２４については、例えばＤＳＰ（Digital Signal Processor）による信号処理によって実現しても良い。

＜付記＞
上述した実施形態等から、例えば以下のような態様が把握される。

本発明の好適な態様１に係る音響処理装置は、入力信号を解析して、バーチャルサラウンドの第１音響効果、または、前記第１音響効果とは異なるバーチャルサラウンドの第２音響効果の付与を決定する解析部と、前記入力信号に、前記第１音響効果または前記第２音響効果を、前記解析部による決定に応じて付与する音響効果付与部と、を具備する。
態様１によれば、前方音場や、人物が台詞を喋るような場面において、リスナーに不自然な感じを与えることを抑制することができる。

態様２に係る音響処理装置は、上記態様１に係る音響処理装置において、前記第１音響効果による定位領域は、前記第２音響効果による定位領域よりも広く、前記第１音響効果による音像範囲は、前記第２音響効果による音像範囲よりも狭い。
態様２によれば、効果の異なる第１音響効果または第２音響効果を適切に付与することができる。

態様３に係る音響処理装置は、上記態様２に係る音響処理装置において、前記入力信号は、前方左チャネル、前方右チャネル、後方左チャネルおよび後方右チャネルを含み、前記解析部は、チャネルの特徴量に基づいて、前記第１音響効果または第２音響効果を前記音響効果付与部に対して選択させる。
態様３によれば、入力信号の特徴量に基づいて第１音響効果または第２音響効果が選択されるので、音響効果を適切に付与することができる。

態様４に係る音響処理装置は、上記態様３に係る音響処理装置において、チャネルの特徴量は、チャネルの音量レベルである。
態様４によれば、チャネルの音量レベルに基づいて第１音響効果または第２音響効果が選択されるので、音響効果を適切に付与することができる。

態様５に係る音響処理装置は、上記態様４に係る音響処理装置において、前記後方左チャネルの音量レベルおよび前記後方右チャネルの音量レベルと、前記前方左チャネルの音量レベルおよび前記前方右チャネルの音量レベルとに基づいて、前記第１音響効果または第２音響効果を前記音響効果付与部に対して選択させる。
態様５によれば、前方チャネルの音量レベルが後方チャネルの音量レベルよりも相対的に大きい場合等、第１音響効果を選択することができる。逆の場合には、第２音響効果を選択することができる。

以上に例示した各態様の音響処理装置は、音響処理方法としても、また、該演奏解析方法をコンピュータに実行させるプログラムとしても、実現され得る。

１０…音響付与システム、１００…デコーダー、２００…音響処理装置、２１０…解析部、２２０…音響効果付与部、２２１…第１音響効果付与部、２２２…第２音響効果付与部、２２４…選択部、１５２、１５４…スピーカー。

Claims (6)

1. 入力信号を解析して、バーチャルサラウンドの第１音響効果、または、前記第１音響効果とは異なるバーチャルサラウンドの第２音響効果の付与を決定する解析部と、
   前記入力信号に、前記第１音響効果または前記第２音響効果を、前記解析部による決定に応じて付与する音響効果付与部と、
   を具備し、
   前記入力信号は、複数のチャネルの音声信号であり、前記複数のチャネルは、前方左チャネル、前方右チャネル、後方左チャネルおよび後方右チャネルを含み、
   前記解析部は、前記後方左チャネルの前記音声信号の特徴量および前記後方右チャネルの前記音声信号の特徴量の和と、前記前方左チャネルの前記音声信号の特徴量および前記前方右チャネルの前記音声信号の特徴量の和とに基づいて、前記第１音響効果または前記第２音響効果を前記音響効果付与部に対して選択させる、
   音響処理装置。
2. 前記第１音響効果による定位領域は、前記第２音響効果による定位領域よりも広く、
   前記第１音響効果による音像範囲は、前記第２音響効果による音像範囲よりも狭い、
   請求項１に記載の音響処理装置。
3. 前記チャネルの特徴量は、チャネルの音量レベルである、
   請求項２に記載の音響処理装置。
4. 解析部と音響効果付与部とを有する音響信号処理装置において
   前記解析部が、入力信号を解析して、バーチャルサラウンドの第１音響効果、または、前記第１音響効果とは異なるバーチャルサラウンドの第２音響効果の付与を決定し、
   前記入力信号に、前記第１音響効果または前記第２音響効果を、前記決定に応じて付与し、前記入力信号は、複数のチャネルの音声信号であり、前記複数のチャンネルは、前方左チャネル、前方右チャネル、後方左チャネルおよび後方右チャネルを含み、
   前記解析部において、前記後方左チャネルの前記音声信号の特徴量および前記後方右チャネルの前記音声信号の特徴量の和と、前記前方左チャネルの前記音声信号の特徴量および前記前方右チャネルの前記音声信号の特徴量の和とに基づいて、前記第１音響効果または前記第２音響効果の付与が決定される、
   音響処理方法。
5. 前記第１音響効果による定位領域は、前記第２音響効果による定位領域よりも広く、
   前記第１音響効果による音像範囲は、前記第２音響効果による音像範囲よりも狭い、
   請求項４に記載の音響処理方法。
6. 前記チャネルの特徴量は、チャネルの音量レベルである、
   請求項５に記載の音響処理方法。
   

Images