JP5577787B2

JP5577787B2 - 信号処理装置

Info

Publication number: JP5577787B2
Application number: JP2010069801A
Authority: JP
Inventors: 広臣四童子; 紀幸大▲橋▼
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2009-05-14
Filing date: 2010-03-25
Publication date: 2014-08-27
Anticipated expiration: 2030-03-25
Also published as: US8750529B2; EP2252083A1; US20100290628A1; JP2010288262A; EP2252083B1

Description

この発明は、入力されたオーディオ信号の内容に応じた効果を付与する信号処理装置に関する。

近年、マルチチャンネルオーディオ装置が普及している。マルチチャンネルオーディオ装置は、５．１チャンネルなど、ステレオ２チャンネルよりも多いチャンネル（マルチチャンネル）のオーディオ信号を再生し、これらの信号を部屋の各所に設置された複数のスピーカから出力することによって、立体的な広がりのあるオーディオを再生する装置である（特許文献１）。

従来、一般家庭でこのようなマルチチャンネルオーディオ信号を再生可能なものは、ＤＶＤに収録された映画コンテンツ程度に限られていた。映画コンテンツでは、各チャンネルにどのような音響種別のオーディオ信号を割り振るかのチャンネル割当はほぼ統一されていた。ここで、音響種別とは、セリフ等の話声、ＢＧＭ等の楽音、環境音や効果音などのその他音、など音響の内容に基づく種別である。たとえば、センタチャンネルに話声、フロント左右チャンネルに楽音、サラウンド左右チャンネルにその他音が割り当てられるのが一般的であった。

マルチチャンネルオーディオ装置は、再生したオーディオ信号に反射音や残響音を付加することにより、ホールなどの仮想的な空間の響きを作り出す音場制御を行う機能を有している。

しかし、セリフ等の話声に反射音や残響音等の効果を強く付加すると、明瞭度が低下してしまい、出演者が何を話しているか聴き取りくくなってしまう。このため、話声が再生されるチャンネルの音場制御量は他のチャンネルよりも小さく設定されるのが一般的である。上記のように映画コンテンツの場合センタチャンネルにセリフ等の話声が割り振られるのが一般であるため、従来のマルチチャンネルオーディオ装置では、センタチャンネルの音場制御量を小とし、他のチャンネルの音場制御量を大または中とするよう予め設定されていた。

特開平８−２７５３００号公報

しかし、地上波デジタル放送の開始等により、家庭で再生可能なマルチチャンネルオーディオのコンテンツも多様化しており、従来の映画のようなチャンネル割当でないものが増えている。すなわち、センタチャンネルでないフロントチャンネルやサラウンドチャンネルに話声が割り当てられたコンテンツも増えている。

このようなマルチチャンネルオーディオコンテンツを従来の音場制御量の設定で再生すると、セリフ等の話声に強い反射音や残響効果が掛かってしまい、明瞭度が低下してしまう。また、センタチャンネルでＢＧＭ等の楽音が再生されている場合には、ＢＧＭに音場効果が掛からず雰囲気を盛り上げることができないなどの問題が生じる。

この発明は、マルチチャンネルオーディオ信号の各チャンネルの音響種別に基づいて効果を制御することにより、音響種別に応じた適切な効果付与を実現した信号処理装置を提供することを目的とする。

請求項１の発明は、複数チャンネルのオーディオ信号を入力する入力部と、前記複数チャンネルのオーディオ信号に対して音場効果処理を施す音場効果処理部と、前記入力部から入力された複数チャンネルのオーディオ信号のうち、一部または全部のチャンネルのオーディオ信号について、全エネルギーのうち音楽の音階成分のエネルギーの占める比率、基音およびその整数倍の倍音成分からなるスペクトル構造を有しているか否か、および、周波数が大きな揺らぎがなく持続しているか否かのうち少なくとも一つを含む情報を検出し、その検出結果に基づいてそのオーディオ信号が話声、楽音またはその他音のいずれであるかを判定する音響種別取得部と、前記音響種別取得部が取得した音響種別に基づいて、各チャンネルのオーディオ信号に付与する処理効果量を制御する処理制御部と、を備えたことを特徴とする。

請求項２の発明は、請求項１の発明において、前記音響種別取得部は、２以上のチャンネルのオーディオ信号について、前記判定を行い、その判定結果に基づいて、前記複数チャンネルのオーディオ信号のうち、いずれのチャンネルのオーディオ信号が話声であるかをさらに判定することを特徴とする。

請求項３の発明は、請求項１，２の発明において、前記処理制御部は、前記音響種別取得部により話声であると判定されたオーディオ信号に付与する音場効果を小さく制御することを特徴とする。

請求項４の発明は、請求項３の発明において、前記処理制御部は、話声であると判定されたオーディオ信号のチャンネルが切り換わったとき、前記話声であると判定されたオーディオ信号の音場効果を徐々に小さくしてゆき、話声でないと判定されたオーディオ信号の音場効果を徐々に大きくしてゆくことを特徴とする。

請求項５の発明は、請求項１〜４の発明において、前記処理制御部は、前記音響種別取得部により楽音であると判定されたオーディオ信号に付与する音場効果を中程度に制御することを特徴とする。

請求項６の発明は、センタチャンネルを含む複数チャンネルのオーディオ信号を入力する入力部と、前記複数チャンネルのオーディオ信号を合成した信号に対して残響効果を含む音場効果処理を施すとともに、該音場効果処理がされた信号を前記センタチャンネル以外のチャンネルに加算する加算処理を含む信号処理を行う音場効果処理部と、前記入力部から入力された複数チャンネルのオーディオ信号について、全エネルギーのうち音楽の音階成分のエネルギーの占める比率、基音およびその整数倍の倍音成分からなるスペクトル構造を有しているか否か、および、周波数が大きな揺らぎがなく持続しているか否かのうち少なくとも一つを含む情報を検出し、その検出結果に基づいて、どのチャンネルの信号が話声であるかを判定する音響種別取得部と、前記センタチャンネル以外のチャンネルのオーディオ信号が話声であると判定されたとき、前記音場処理部がセンタチャンネル以外のチャンネルに加算する信号のレベルを低く制御する処理制御部と、を備えたことを特徴とする。

この発明によれば、複数チャンネルオーディオ信号の内容に基づいて効果を制御することにより、オーディオ信号の音響種別に応じた適切な音場効果を付与することがてきる。

この発明の実施形態である信号処理部を含むオーディオ装置のブロック図マルチチャンネルオーディオ信号のチャンネル割当の例を示す図同信号処理部のブロック図同信号処理部の内容判別部の処理を示すフローチャート音場効果のレベルを制御する係数制御の例を示すタイムチャート信号処理部の第２の実施形態のブロック図信号処理部の第３の実施形態のブロック図信号処理部の第４の実施形態のブロック図

《オーディオ装置の構成》
図１はこの発明の実施形態である信号処理部を含むオーディオ装置のブロック図である。オーディオ装置は、コンテンツ再生装置２、オーディオアンプ１、複数のスピーカ３を有している。オーディオアンプ１は、信号処理部４、増幅回路５を有している。

コンテンツ再生装置２は、たとえば映画等のＤＶＤを再生するＤＶＤプレイヤ、衛星、地上波のテレビ放送を受信するテレビ放送チューナ等で構成される。コンテンツ再生装置２は、マルチチャンネル（たとえば５．１チャンネル）のオーディオ信号をオーディオアンプ１に入力する。オーディオアンプ１の信号処理部４は、コンテンツ再生装置２から入力されたマルチチャンネルのオーディオ信号に対してイコライジング、音場制御等の処理を行ったのち、増幅回路５に入力する。増幅回路５は入力されたマルチチャンネルのオーディオ信号をそれぞれ個別に増幅して各チャンネルに対応するスピーカ３に出力する。

複数のスピーカ３はリスニングルームの各所に設置されており、各チャンネルの音響が各スピーカ３から放音されることにより、リスニングルームに広がりのある音場が形成される。

《コンテンツのチャンネル割当例》
ここで、図２を参照して、コンテンツ再生装置２からオーディオアンプ１に入力されるマルチチャンネルオーディオ信号のチャンネル割当について説明する。

図２（Ａ）は、一般的な映画コンテンツのマルチチャンネルオーディオ信号のチャンネル割当の一例を示す図である。この実施形態では５．１チャンネルのオーディオ信号を例にあげて説明する。５．１チャンネルのオーディオ信号は、センタチャンネルＣ、フロント左チャンネルＦＬ、フロント右チャンネルＦＲ、サラウンド（リア）左チャンネルＳＬ、サラウンド（リア）右チャンネルＳＲ、および、低域効果チャンネルＬＦＥからなっている。このうち、低域効果チャンネルＬＦＥは他の５チャンネルを補う特殊効果チャンネルとして働き、単独で音声が出力されることはない。したがって以下では、センタチャンネルＣ、フロント左チャンネルＦＬ、フロント右チャンネルＦＲ、サラウンド左チャンネルＳＬおよびサラウンド右チャンネルＳＲの５チャンネルのチャンネル割当について説明する。

一般的なコンテンツの場合、主要な成分として、センタチャンネルＣにセリフ等の話声、フロント左右チャンネルＦＬ，ＦＲにＢＧＭ等の楽音、サラウンド左右チャンネルＳＬ，ＳＲにその他音（効果音や環境音など）が割り当てられる。ＦＬ、ＦＲには音楽に加えてその他音（効果音や環境音など）も含まれることが多い。

一般的に、話声に対しては喋っている内容が不明瞭になるのを防止するため、音場効果を付与する量（音場制御量）を小さくする。また、ＢＧＭ等の楽音に対しては、響きが豊かになるように音場制御量を大きくする。また、環境音や効果音等のその他音に対しては音場制御量を中くらいに設定する。この設定条件の下では、センタチャンネルＣの音場制御量は「小」、フロント左右チャンネルＦＬ，ＦＲの音場制御量は「大」、サラウンド左右チャンネルＳＬ，ＳＲの音場制御量は「中」と設定することで、良好な音場効果が期待できる。

一方、同図（Ｂ）は、一般的な映画コンテンツ以外のコンテンツ、たとえば、デジタルテレビ放送のマルチチャンネルオーディオ信号のチャンネル割当の例を示す図である。この例では、センタチャンネルＣは無音であり、フロント左チャンネルＦＬにセリフ等の話声とＢＧＭ、フロント右チャンネルＦＲにＢＧＭ等の楽音、サラウンド左右チャンネルＳＬ，ＳＲにその他音が割り当てられている。

このような場合、先に説明したようなチャンネル毎の内容に応じた効果音を割り当てると、センタチャンネルＣの音場制御量は任意（入力信号がないため音場効果は実質０になる）、フロント左右チャンネルＦＬ，ＦＲの音場制御量は「小」、サラウンド左右チャンネルＳＬ，ＳＲの音場制御量は「中」に設定される。

すなわち、フロント左チャンネルＦＬには、話声と楽音が合成して出力されているが、この場合には話声が優先し、音場制御量は「小」に設定される。また、フロント右チャンネルＦＲは楽音のみであるが、左右チャンネルの音場制御のバランスが崩れるとリスナーに不安定な印象を与える可能性があるため、フロント左チャンネルＦＬと同様に音場制御量を「小」にしている。なお、この場合フロント右チャンネルＦＲの音場制御量を楽音に合わせて「大」に設定してもよく、それらの中間をとって「中」に設定してもよい。

《信号処理部の構成》
図３は、上記信号処理部４の構成例を示す図である。信号処理部４は、イコライジング、音場効果付与等種々の処理を行う機能部であるが、図３ではそのうち音場効果を付与する構成部のみを示している。入力部１０は、センタチャンネル用入力部１０Ｃ，フロント左チャンネル用入力部、フロント右チャンネル用入力部、サラウンド左チャンネル用入力部、サラウンド右チャンネル用入力部の５つの入力部からなっており、それぞれ各チャンネル（Ｃ、ＦＬ、ＦＲ、ＳＬ、ＳＲ）のオーディオ信号が入力される。
以下、上記入力部１０と同じように、５チャンネル分並列に設けられている構成部については、個別チャンネル毎の説明は省略する。

入力部１０から入力されたオーディオ信号は、音響種別取得部である内容判別部１４および遅延部１１に入力される。内容判別部１４は、５チャンネル分並列に設けられており、各チャンネルのオーディオ信号の音響種別を判別する。音響種別とは、オーディオ信号が、話声／楽音／その他音のいずれであるかを示す情報である。

内容判別部１４は、調波構造の有無や、変調スペクトル、倍音構造、周波数変化率などを測定することで、話声／音楽／その他音を判別する。

図４を参照して内容判別部１４が実行する内容判別処理について説明する。まず、楽音判定処理を行う（Ｓ１）。楽音判定処理とは、オーディオ信号の周波数成分のうち、音階周波数の成分が占める比率を測定する処理である。この処理では、オーディオ信号の全周波数帯域のエネルギーの総和を求めるとともに、オーディオ信号を各音階の周波数成分のみを通過させるフィルタに通し、それらのフィルタ出力のエネルギーを合計する。そして、全周波数帯域のエネルギーの総和と音階成分のエネルギーの合計とを比較し、音階成分の比率が所定値以上に高ければ、このオーディオ信号が楽音（特に合奏の楽音）であると判定する。楽音判定処理により楽音であると判定された場合（Ｓ２でＹＥＳ）には、内容判別結果として「楽音」を出力して（Ｓ３）、処理を終える。

楽音判定処理により楽音と判定されなかった場合（Ｓ２でＮＯ）には、調波性判定処理を行う（Ｓ４）。調波性判定処理とは、オーディオ信号が調波性を有するか、すなわち、基音およびその整数倍の倍音成分からなるスペクトル構造を有しているかを判定する処理である。調波性判定処理では、オーディオ信号を短時間フーリエ変換し、その周波数特性の自己相関を求め、所定値以上の相関値を示した場合には調波性の有りと判定する。調波性判定処理により調波性なしと判定された場合（Ｓ５でＮＯ）には、内容判別結果として「その他音」を出力する（Ｓ６）。一方、調波性判定処理により調波性ありと判定された場合（Ｓ５でＹＥＳ）、そのオーディオ信号は話声または楽音であると考えられるため、話声／楽音判定処理（Ｓ７）を行う。すなわち、話声や楽音は、調波性を有するが、環境音や効果音などの音響は調波性を持たないためである。

話声／楽音判定処理では、正確な基音周波数（ピッチ）を算出し、このピッチが音階周波数に一致しているか、または、ピッチに大きな揺らぎがないかに基づき、このオーディオ信号が楽音であるか話声であるかを判定する。すなわち、ピッチが音階周波数に一致しており且つ大きな揺らぎがない場合には、オーディオ信号が楽音であると判定する。判定結果が話声であった場合には、内容判別結果として「話声」を出力する（Ｓ９）。判定結果が楽音であった場合には、内容判別結果として「楽音」を出力する（Ｓ１０）。

なお、判別手法は図４に示した方式に限定されない。たとえば、フォルマント検出などの手法を用いて話声を検出してもよい。また、各チャンネルのオーディオ信号の音響種別が、付加情報として入力部１０から入力される構成であってもよい。

また、複数チャンネルの結果結果を総合して、各チャンネルの内容を最終的に決定してもよい。たとえば、セリフ（話声）らしいチャンネルが複数あった場合、セリフは１チャンネルからのみ出力されるはずであると仮定して、そのうち最もセリフの確度の高い１チャンネルをセリフ（話声）のチャンネルに決定し、それ以外のチャンネルをその他音のチャンネルとするなどの決定方法を採用することができる。

なお、この実施形態では、全てのチャンネルに内容判別部１４を設け、全てのチャンネルの内容を判別しているが、必ずしも全てのチャンネルの内容を判別する必要はなく、一部のチャンネル（たとえばセンタチャンネル）のみ内容を判別してもよい。また、話声／楽音／その他音の全ての内容を判別する必要はなく、一部の内容（たとえば話声）のみを判別してもよい。

なお、内容判別部１４は、入力されたオーディオ信号波形に基づいて、その内容を判別しているが、オーディオ信号の内容情報がコンテンツに含まれている場合等は、その内容情報を入力する内容情報入力部を設けて、内容判別部１４に代えてもよい。

図３において、遅延部１１は、内容判別部１４がオーディオ信号の内容を判別するために必要な時間分、オーディオ信号を遅延させる。これにより、内容判別部１４の判別結果に基づく音場制御の制御遅れを解消している。

内容判別部１４の判別結果は、係数制御部１５に入力される。係数制御部１５は、各チャンネルのオーディオ信号の内容に応じて各チャンネルのオーディオ信号に対する音場制御量を決定する。音場制御量は図２に示したようなルールで決定される。内容判別部１４は、各チャンネルのオーディオ信号に対する音場制御量を決定し、その音場制御量に対応する入力レベルにオーディオ信号を制御する係数を出力する。係数は係数乗算部１６に入力される。

係数乗算部１６は、遅延部１１で遅延されたオーディオ信号に係数制御部１５から入力された係数を乗算して加算部１７に入力する。係数乗算部１６は５チャンネル分並列に設けられている。加算部１７は、それぞれ係数が乗算された５チャンネルのオーディオ信号を加算合成する。加算合成されたオーディオ信号は、レベル制御部１８でレベルが制御されたのち、音場効果生成部１９により、初期反射音、残響音を含む音場効果が付与される。

音場効果生成部１９に入力されるオーディオ信号のレベルが大きいほど、音場効果生成部１９によって生成される音場効果音（反射音、残響音）は大きくなる。したがって、係数制御部１５が生成する係数により、各チャンネルのオーディオ信号に付与される音場効果の程度が制御される。

音場効果生成部１９は、音場データ２０に基づき、ホールや室内などにおける音の響きを再現する。すなわち、ホールや室内で生じる初期反射音や残響音を生成する。この処理は、空間伝搬や反射に伴う周波数特性の変化を模擬するためのフィルタ処理や遅延と係数乗算による初期反射音の生成処理および後部残響音の生成処理などを含んでいる。

音場効果生成部１９で生成された音場効果音は、係数乗算部２１および加算部１２を介してドライのオーディオ信号に加算される。係数乗算部２１、加算部１２も５チャンネル分並列に設けられている。一般的にセリフ等の話声が出力されるチャンネルには音場効果音を加算しないほうが話声の明瞭度が高くなるため、係数乗算部２１により、話声のチャンネルへの音場効果音の加算ゲインを０にする。

係数乗算部２１に入力される係数も係数制御部１５が設定すればよい。話声が出力されるチャンネルの係数を“０”とし、他のチャンネルの係数を“１”とすればよいが、各チャンネルごとに係数の値を“０”と“１”の中間値に変化させてもよい。

このような制御により、各チャンネルにおいて、セリフ以外を再生している期間は広く豊かな音場効果を付与しつつ、セリフが再生された場合にはセリフに対する音場効果の量を抑えることで響きすぎを抑え、豊かな音場効果と明瞭なセリフを両立することができる。

《音場効果制御量の切り換えタイミングについて》
図５は、内容判別部１４によるオーディオ信号の内容判別結果と音場効果量を制御する係数の制御結果との相関を示すタイミングチャートである。

この例では、話声以外（楽音、その他音）を検出した場合の係数制御量を１００％とし、話声を検出した場合の係数制御量を５０％に制御する。なお、制御量を急激に変化させることは音場効果が不安定になる原因になるので、一定の時間をかけて制御量を変化させる。この例では、話声を検出した場合には１判定時間(たとえば４０ｍｓ〜数百ｍｓ程度）をかけて制御量が５０％に到達するように制御し、話声以外を検出した場合には２判定時間をかけて制御量が１００％に復帰するように変化させている。また、無音（再生音があるレベル未満）の期間は直前の制御量を保持するようにしている。

図５（Ａ）は、遅延部１１の遅延量を０にし、オーディオ信号の内容の判別結果をリアルタイム且つ直接的に制御量に反映させた例である。ある判定時間で話声を判別すると次の判定時間で制御量を５０％に減少させている。また、ある判定時間でその他（楽音、その他音を含む）を判別すると、次の２判定時間で制御量を１００％に増加させる。この方法では、オーディオ信号の遅延量を０にし且つ制御遅れを最小限にすることができるが、話声とその他の音声が短時間で入れ替わると制御量がばたつく（チャタリング）場合がある。

図５（Ｂ）は、チャタリングを除去した例を示す。この方法では、図５（Ａ）の制御を基本とし判定結果が２判定期間継続して同一である場合に制御量の変更を開始している。このように判定結果の確度を高めることで、制御量のふらつき（短時間のでの増減）を抑制することができる。図示の例では、説明のために同一判別結果の継続時間を短く記載しているため、再生音の変化に対する制御の遅れが大きいように見えるが、実際には各情況の継続時間は判定時間に対して十分長い場合が多く、若干の制御遅れが生じるものの安定した制御が可能になる。

図５（Ｃ）は、図５（Ｂ）のようにチャタリングを除去したうえで、オーディオ信号を遅延させて制御タイミングとオーディオ信号のタイミングを一致させた例である。この方法では、再生音の出力を遅延させることで制御量の変化がオーディオ信号の内容の変化に同期するようにタイミングを取っている。

この例では、オーディオ信号を５判定期間遅延させ、オーディオ信号の内容が変化し始めた時点を制御量制御の開始点としている。これにより、全く遅れのない制御が可能になる。なお、映画コンテンツなど映像と同期したオーディオ信号の場合には、映像も遅延させてオーディオ信号と同期させることが好ましい。

なお、この例では、１チャンネルのオーディオ信号の内容を判別し、その判別結果に基づいてそのチャンネルの効果制御量を制御しているが、複数チャンネルの判別結果に基づき、複数チャンネル間で相互に効果制御量の調整する連携制御を行うようにしてもよい。

なお、アタックタイム，リリースタイムは、１判定時間，２判定時間に限定されない。これらを０（制御量を急峻に変化させる）としてもよい。

《各種変形例》
図３の信号処理部の構成では、内容判別部１４で判別した内容に基づいて、各チャンネルのオーディオ信号の音場効果生成部１９に入力されるレベルを制御し、これによって各チャンネルのオーディオ信号に付与される音場効果を制御していた。

図６〜図８を参照して信号処理部の変形例について説明する。なお、以下の変形例において図３に示す信号処理部と同一構成の部分は同一番号を付して説明を省略する。

図６は第１の変形例を示すブロック図である。図６の構成において、内容判別部１４の判別結果は、係数制御部２５に入力される。係数制御部２５は、各チャンネルのオーディオ信号の内容に応じて、加算合成されたオーディオ信号の音場生成部１９への入力レベルを制御するレベル係数を出力する。レベル係数はレベル制御部２７に入力される。すなわち、図６の構成では、加算信号に係数を乗算するレベル制御部２７の係数が可変であり、各チャンネルのオーディオ信号に係数を乗算する係数乗算部２６の係数は固定になっている。なお、加算信号とは、各チャンネルのオーディオ信号を加算する加算部１７が加算出力したオーディオ信号である。

各チャンネルのオーディオ信号に係数を乗算する係数乗算部２６には、最も一般的なチャンネル割当であるセンタチャンネルＣにセリフ等の話声が割り当てられた場合を想定した係数が固定的に設定されている。すなわち、係数乗算部２６にはセンタチャンネル：小（たとえば５０％）、フロント左右チャンネル：大（たとえば１００％）、サラウンド左右チャンネル中（たとえば８０％）の係数が固定的に設定されている。

係数制御部２５は、内容判別部１４の判別結果に基づき、セリフ等の話声がセンタチャンネルＣに割り当てられていることを検出している間は、レベル制御部２７に出力するレベル係数を大きく（たとえば１に）設定し、音場効果が大きく付与されるようにしているが、話声がセンタチャンネルＣ以外に割り当てられていることを検出したとき、レベル制御部２７に出力するレベル係数を小さく（たとえば０に）設定し、全体の音場効果を小さくしてセリフ等話声の明瞭度が低下しないようにしている。

これにより、話声に大きな音場効果が付与されてしまうことを防止している。このとき、全チャンネルに付与される音場効果が全体的に小さく制御されてしまうが、セリフ等の話声に大きな音場効果が付与されて話声の明瞭度が低下してしまうよりもリスナーにとって聴きやすいものであり、また、センタチャンネルＣ以外にセリフが割り当てられることは稀であるため影響が少ないと考えられる。

音場効果生成部１９により、初期反射音、残響音を含む音場効果が付与された音場効果音信号は、係数乗算部２８を介して、話声が割り当てられると想定されているチャンネルであるセンタチャンネルＣ以外のチャンネルに加算される。

このように、図６の構成では、最も一般的な設定にレベルを固定することによって構成を簡略化し、且つ、センタチャンネルＣ以外でセリフが再生されるときには、全体の効果付与レベルを低下させることによって、セリフの明瞭度が低下するのを防止している。

図７は第２の変形例を示すブロック図である。図７に示す信号処理部の構成は図６に示したものとほぼ同様であるが、図６に示した係数制御部２５に代えて、効果選択部３０を設けている。すなわち、内容判別部１４の判別結果に基づき、音場効果生成部３１が付与する音場効果を切り換える。これにより、複数の効果のなかから判別した内容に応じた効果を付与することができる。たとえば、センタチャンネルＣ以外でセリフが再生される場合には、反射音や残響音の少ない音場効果を選択する等である。

なお、図７に示した判別結果に応じて音場効果の種類を選択する構成と、図３、図６に示した判別結果に応じて音場効果の大きさを制御する構成とを組み合わせてもよい。

図８は第３の変形例を示すブロック図である。図８に示す信号処理部は、複数の音場効果生成部５１〜５３を有しており、それぞれが並行して複数チャンネルのオーディオ信号に対して音場効果を付与している。各音場効果生成部５１〜５３の音場効果のパラメータ（係数）および／または音場効果の種類は、内容判別部１４の判別結果に基づき係数・音場制御部４１〜４３が制御する。これにより、各チャンネルで再生されるオーディオ信号の内容に応じた細やかな音場制御が可能になる。なお、各音場効果生成部５１〜５３から出力された音場効果音（反射音、残響音）は、図３の係数乗算部２１または図６の係数乗算部２８と同様の構成の係数乗算部を介して、各チャンネルのドライオーディオ信号に加算される。

《尚書き》
上記実施形態では、オーディオ信号に初期反射音や残響音を付加する音場効果について説明したが、本発明における信号処理は音場効果に限定されない。

また、上記実施形態では、５．１チャンネルのマルチオーディオ信号を例に挙げて説明したが、マルチチャンネルオーディオ信号のチャンネル数は５．１チャンネルに限定されない。

１オーディオアンプ
４信号処理部
１４内容判別部
１５、２５係数制御部
１６係数乗算部
１９、３１、５１〜５３音場効果生成部
２７レベル制御部
３０効果選択部

Claims

複数チャンネルのオーディオ信号を入力する入力部と、
前記複数チャンネルのオーディオ信号に対して音場効果処理を施す音場効果処理部と、
前記入力部から入力された複数チャンネルのオーディオ信号のうち、一部または全部のチャンネルのオーディオ信号について、全エネルギーのうち音楽の音階成分のエネルギーの占める比率、基音およびその整数倍の倍音成分からなるスペクトル構造を有しているか否か、および、周波数が大きな揺らぎがなく持続しているか否かのうち少なくとも一つを含む情報を検出し、その検出結果に基づいてそのオーディオ信号が話声、楽音またはその他音のいずれであるかを判定する音響種別取得部と、
前記音響種別取得部が取得した音響種別に基づいて、各チャンネルのオーディオ信号に付与する処理効果量を制御する処理制御部と、
を備えた信号処理装置。
前記音響種別取得部は、２以上のチャンネルのオーディオ信号について、前記判定を行い、その判定結果に基づいて、前記複数チャンネルのオーディオ信号のうち、いずれのチャンネルのオーディオ信号が話声であるかをさらに判定する請求項１に記載の信号処理装置。
前記処理制御部は、前記音響種別取得部により話声であると判定されたオーディオ信号に付与する音場効果を小さく制御する請求項１または請求項２に記載の信号処理装置。
前記処理制御部は、話声であると判定されたオーディオ信号のチャンネルが切り換わったとき、前記話声であると判定されたオーディオ信号の音場効果を徐々に小さくしてゆき、話声でないと判定されたオーディオ信号の音場効果を徐々に大きくしてゆく請求項３に記載の信号処理装置。
前記処理制御部は、前記音響種別取得部により楽音であると判定されたオーディオ信号に付与する音場効果を中程度に制御する請求項１乃至請求項４のいずれかに記載の信号処理装置。
センタチャンネルを含む複数チャンネルのオーディオ信号を入力する入力部と、
前記複数チャンネルのオーディオ信号を合成した信号に対して残響効果を含む音場効果処理を施すとともに、該音場効果処理がされた信号を前記センタチャンネル以外のチャンネルに加算する加算処理を含む信号処理を行う音場効果処理部と、
前記入力部から入力された複数チャンネルのオーディオ信号について、全エネルギーのうち音楽の音階成分のエネルギーの占める比率、基音およびその整数倍の倍音成分からなるスペクトル構造を有しているか否か、および、周波数が大きな揺らぎがなく持続しているか否かのうち少なくとも一つを含む情報を検出し、その検出結果に基づいて、どのチャンネルの信号が話声であるかを判定する音響種別取得部と、
前記センタチャンネル以外のチャンネルのオーディオ信号が話声であると判定されたとき、前記音場処理部がセンタチャンネル以外のチャンネルに加算する信号のレベルを低く制御する処理制御部と、
を備えた信号処理装置。