JP6531418B2 - 信号処理装置 - Google Patents

Description

本発明は、信号処理装置に関する。

近年では、カーステレオや家庭用カラオケ装置などの様々な種類のオーディオシステムが一般に普及している。この種のオーディオシステムで再生される音の音量が小さく聴き取り難い場合、単純に音量を大きくするだけでは音が割れる、すなわち音に歪みが生じてしまうことがある。特に音の信号レベルの大小の差（すなわち、ダイナミックレンジ）が広い場合には、音の歪みの発生が顕著である。そのため、音量を大きくしても音の歪みが発生しないように、音量調整に先立ってダイナミックレンジを圧縮する信号処理技術が一般的となっている。このような技術は、例えば特許文献１および特許文献２や非特許文献１に開示されている。

これらの技術では、音響信号を一定時間長ずつ区切って得られるフレーム毎にダイナミックレンジの圧縮が行われる。音量調整に先立ってこのようなダイナミックレンジの圧縮を行うことで、時間経過に伴いフレーム間でダイナミックレンジが緩やかに変化する場合は、聴感上自然な音を聞くことができる。しかし、フレーム間でダイナミックレンジが急変すると聴感上不自然な音に聞こえてしまう。そのため、例えば特許文献３に開示の信号処理技術では、音の信号レベルのダイナミックレンジが急変する場合には、音響信号をフレームに区切る時間間隔を短くすることで、聴感上自然な音を聞くことができるようにしている。

さらに特許文献４には、車内でカーステレオから音が放音されている場合に、予め音響信号を記憶しておいたサイレン音を車の周囲で検出すると、カーステレオの音の音量を下げるという信号処理技術が開示されている。

特許第３１２３０５２号公報 特許第２９６６８４６号公報 特開２００２−２３２２４７号公報 特開平１１−１３６０５９号公報

Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｎｔｒｏｌ оｆ Ｄｉｇｉｔａｌ Ａｕｄｉｏ Ｓｉｇｎａｌｓ／Ｇ．Ｗ．Ｍｃｎａｌｌｙ、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｔｕｔ．ｆｉ／〜ｓｇｎ１４００６／ＰＤＦ／Ｌ０５−ｄｙｎａｍｉｃｓ．ｐｄｆ＞

特許文献１および特許文献２や非特許文献１に開示された信号処理技術をカラオケ装置に適用すると不具合が生じる場合がある。その理由は以下の通りである。カラオケ装置にはボーカル音を表す音響信号と当該音響信号と時間軸を共有する音響信号（すなわち、ボーカル音と同期再生される音を表す音響信号、例えば、伴奏音を表す音響信号）とが入力され、カラオケ装置はこれらの音響信号を加算して放音する。カラオケ装置に特許文献１等に開示の信号処理技術を適用し、ボーカル音と伴奏音の音響信号に対してダイナミックレンジの圧縮を別個独立に行うと、例えばボーカル音の音響信号の信号レベルがピークとなっているにも関わらず伴奏音の音響信号の信号レベルが下がり切らないなど、ボーカル音と伴奏音から構成される曲全体のバランスが崩れてしまう場合がある。

また、特許文献３に開示の信号処理をカラオケ装置のボーカル音と伴奏音の音響信号に対して施すと、ボーカル音或いは伴奏音の音響信号の信号レベルのダイナミックレンジが急変しても、自然な聴感を維持することができる。しかし、カラオケ装置にこの信号処理技術を適用しても、ボーカル音と伴奏音から構成される曲全体のバランスを保ち続けることはできない。

特許文献４の信号処理技術をカラオケ装置に適用しても、同様に、ボーカル音と伴奏音から構成される曲全体のバランスを保ち続けることはできない。そもそも特許文献４の信号処理技術は、音楽の聴感を考慮した技術ではない。なお、カラオケ装置から放音される音のボーカル音と伴奏音のバランスが崩れてしまうのは、ボーカル音と伴奏音の音響信号に対してダイナミックレンジを圧縮する信号処理を行う場合だけでなく、リバーブ効果を付与する信号処理を行う場合も同様である。

本発明は以上に説明した課題に鑑みて為されたものであり、信号処理装置に入力される音響信号が複数ある場合に、この複数ある音響信号により放音される音全体のバランスを保ちつつ、音響信号のダイナミックレンジの圧縮や音響信号へのリバーブ効果の付与を行うことができるようにする技術を提供することを目的とする。

上記課題を解決するために本発明は、音響効果を与える信号処理の対象となるメイン音響信号と、１又は複数のサブ音響信号と、の中の複数の信号間の相関値を算出する相互相関検出部と、前記相互相関検出部において算出された前記相関値に応じて前記音響効果の強度を決定する信号処理部と、を有することを特徴とする信号処理装置を提供する。

本発明によれば、メイン音響信号と１又は複数のサブ音響信号との中の複数の信号間の相関値に応じて音響効果の強度が決定され、メイン音響信号に信号処理が施される。このため、当該メイン音響信号と１又は複数のサブ音響信号にその後ダイナミックレンジの圧縮処理が施され加算されたとしても、放音される音におけるメイン音響信号と１又は複数のサブ音響信号のバランスが崩れることはない。

より好ましい態様においては、前記複数の信号のうちの少なくとも１つの信号の可聴域に重み付けを施して前記相互相関検出部に与える重み付け部を有する。このような重み付けにより、メイン音響信号と１又は複数のサブ音響信号との相関値に対するメイン音響信号と１又は複数のサブ音響信号との少なくとも一方の可聴域成分の寄与が大きくなる。このため、可聴域におけるメイン音響信号と１又は複数のサブ音響信号との相関が高いにも関わらず、他の帯域における相関の低さに起因して両信号の相関が低くなっているような場合であっても、聴感上の両信号のバランスを崩すことなく、ダイナミックレンジの圧縮処理等を行うことが可能となる。

より好ましい態様においては、前記相互相関検出部は、前記複数の信号の中の１つの信号と、当該信号と時間が異なる前記複数の信号の中の１又は複数の信号との相関値を複数算出し、それら複数の相関値から１つの相関値を求める。複数の信号の中の１つの信号と、当該複数の信号の中の１又は複数の信号との時間が異なっていても、各信号の相関値を求める際に、各信号の時間が異なることによる影響が緩和されるので、放音される音のメイン音響信号と１又は複数のサブ音響信号とのバランスが崩れることがない。

より好ましい態様においては、前記メイン音響信号と前記１又は複数のサブ音響信号とのうちの少なくとも１つの信号に帯域分割を施す帯域分割部を有し、前記相互相関検出部は、前記帯域分割部により分割された帯域の信号のうちの少なくとも１つを用いて前記相関値を算出する。このような態様によれば、メイン音響信号に対して、サブ音響信号との相関に応じた信号処理を周波数帯域毎に細やかに施すことが可能になる。

より好ましい態様においては、前記メイン音響信号は、前記１又は複数のサブ音響信号の少なくとも１つを含んだ合成信号である。このような態様によれば、メイン音響信号からサブ音響信号を分離する音源分離を施して上記信号処理を施す場合と類似の効果を得ることができる。

この発明の第１実施形態である信号処理装置１０１のブロック図である。 同信号処理装置１０１のノーマイズ値ｘと乗数ｙの関係を示すグラフである。 この発明の第２実施形態である信号処理装置１０２のブロック図である。 同信号処理装置１０２の重み付け部５０が参照するラウドネスカーブを示すグラフである。 この発明の第３実施形態である信号処理装置１０３のブロック図である。 この発明の第４実施形態である信号処理装置１０４のブロック図である。 同実施形態におけるノーマライズ値ｘとリバーブのミックス値ｇ_ｍｉｘの関係を示すグラフである。 この発明の第６実施形態である信号処理装置１０６のブロック図である。 この発明の第８実施形態である信号処理装置１０８のブロック図である。 この発明の第１０実施形態である信号処理装置１１０のブロック図である。

以下、図面を参照しつつ本発明の実施の形態について説明する。
＜第１実施形態＞
図１は、この発明の第１実施形態である信号処理装置１０１のブロック図である。信号処理装置１０１は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）であり、２種類の音響信号の入力を受ける。これら２種類の音響信号の各々は、何れも音の時間波形を表すデジタル信号である。本実施形態では、信号処理装置１０１に入力されるデジタル信号のうち、信号処理装置１０１が処理を施す信号をメイン音響信号と呼び、メイン音響信号と時間軸を共有するが信号処理装置１０１が処理を施さない信号をサブ音響信号と呼ぶ（以下、他の実施形態も同様に処理対象の信号をメイン音響信号と呼ぶ）。信号処理装置１０１は、メイン音響信号とサブ音響信号の相関を算出し、その算出結果を基にメイン音響信号の信号レベルの増幅処理を行い、出力信号として出力する。出力された出力信号に対してダイナミックレンジの圧縮や音量の増幅等の信号処理が施されるが、これらの信号処理は周知の信号処理技術を用いればよい。そのため本実施形態では、これらの信号処理の図示や説明を省略する。

信号処理装置１０１は、時間周波数変換部１０、相互相関検出部２０、パラメータ算出部３０および乗算部４０を有する。時間周波数変換部１０等は、信号処理装置１０１が実行するマイクロプログラムにより実現される機能の一部である。なお、信号処理装置１０１としてＤＳＰを用いず、時間周波数変換部１０等を電子回路で構成し、これらの電子回路を組み合わせて信号処理装置１０１を実現してもよい。

時間周波数変換部１０は、メイン音響信号とサブ音響信号の２種類のデジタル信号の入力を受け、各信号を一定時間長のフレームに区切って（例えばＴ個のフレームに区切って）、フレーム毎に時間周波数変換、すなわちフーリエ変換を行う。時間周波数変換部１０は、フーリエ変換によって算出したフーリエ変換データを相互相関検出部２０に出力する。

相互相関検出部２０は、時間周波数変換部１０から入力されたメイン音響信号とサブ音響信号の相関関係を検出する。具体的には、相互相関検出部２０は、次式（１）に示す相互相関関数を用い、メイン音響信号とサブ音響信号のフーリエ変換データに基づいて各信号の相関値Ｒ_ｍｓを算出する。

なお、Ｃ_ｍｓは次式（２）を用いて算出される。

Ｃ_ｍｍとＣ_ｓｓは、メイン音響信号とサブ音響信号の自己相関を各々示し、次式（３）〜（４）を用いて算出される。

ｎは各フレームを一意に示すフレーム番号であり、１≦ｎ≦Ｔである。ｆ_ｍ（ｎ）とｆ_ｓ（ｎ）は、メイン音響信号とサブ音響信号のｎ番目のフレームのフーリエ変換データである。相関値Ｒ_ｍｓは−１≦Ｒ_ｍｓ≦１を満たし、相関値Ｒ_ｍｓが１の時にはメイン音響信号とサブ音響信号は完全相関であり、相関値Ｒ_ｍｓが小さくなるほどメイン音響信号とサブ音響信号の相関は低下する。相互相関検出部２０は、相関値Ｒ_ｍｓをパラメータ算出部３０に出力する。

パラメータ算出部３０は、相互相関検出部２０から入力された相関値Ｒ_ｍｓに基づいて、増幅率ｙを算出し、乗算部４０に出力する。増幅率ｙとは、メイン音響信号の信号レベルに対して施す増幅処理の強さを示す値である。より詳細に説明すると、パラメータ算出部３０は、まず次式（５）を用いてノーマライズ値ｘを算出する。

相関値Ｒ_ｍｓは、−１≦Ｒ_ｍｓ≦１を満たすので、ノーマライズ値ｘは、０≦ｘ≦１となる。図２は、ノーマライズ値ｘと増幅率ｙの関係を示すグラフである。図２のｔｈは閾値である。ノーマライズ値ｘが閾値ｔｈよりも小さければ、パラメータ算出部３０は増幅率ｙを０ｄＢとし、ノーマライズ値ｘが閾値ｔｈよりも大きければ、パラメータ算出部３０はノーマライズ値ｘが１に近づくにつれて増幅率ｙを線形に小さくする。図２では、ノーマライズ値ｘが１の時に増幅率ｙは−１０ｄＢとなるが、この増幅率ｙの値は−１０ｄＢに限られるものではなく、実験により好適な値を定めればよい。さらに、図２では、ノーマライズ値ｘが閾値ｔｈよりも大きくなると増幅率ｙが線形に小さくなる場合について例示されているが、ノーマライズ値ｘと増幅率ｙの関数関係は非線形でもよく、実験により好適な態様を取ればよい。

乗算部４０は、パラメータ算出部３０から入力された増幅率ｙに基づいて、メイン音響信号の信号レベルを増幅し、増幅したメイン音響信号を出力信号として出力する。つまり乗算部４０は、メイン音響信号に増幅処理を施す信号処理部として機能する。

メイン音響信号とサブ音響信号が完全相関、すなわち相関値Ｒ_ｍｓが１であると、式（５）よりノーマライズ値ｘは１となる。この場合、図２より増幅率ｙは−１０ｄＢとなり、信号処理装置１０１は、入力された時よりも信号レベルが低くなったメイン音響信号を出力信号として出力する。メイン音響信号とサブ音響信号が完全相関であるので、信号処理装置１０１から出力されたメイン音響信号にダイナミックレンジの圧縮等の信号処理が施され、サブ音響信号と加算されると、メイン音響信号の信号レベルの低下分はサブ音響信号により補完される。そのため、信号処理装置１０１からメイン音響信号が出力された後、メイン音響信号とサブ音響信号が加算され、最終的に放音されても、メイン音響信号とサブ音響信号のバランスが崩れることがない。

メイン音響信号とサブ音響信号の相関が低くなる、すなわち相関値Ｒ_ｍｓが−１に近づくと、式（５）よりノーマライズ値ｘは０に近くなる。この場合、図２より増幅率ｙは０であり、信号処理装置１０１は、入力されたメイン音響信号の信号レベルを増幅せずに出力信号として出力する。メイン音響信号とサブ音響信号の相関は低いので、メイン音響信号のピーク（或いはディップ）とサブ音響信号のピーク（或いはディップ）がぶつかり合うことはない。そのため、信号処理装置１０１から出力されたメイン音響信号にダイナミックレンジの圧縮等の信号処理が施され、サブ音響信号と加算され、最終的に放音されても、メイン音響信号とサブ音響信号のバランスが崩れることがない。

このように信号処理装置１０１を用いることで、メイン音響信号とサブ音響信号を単純に加算することによって生じるメイン音響信号とサブ音響信号のバランスの崩れを防止することができる。

例えば、信号処理装置１０１のカラオケ装置への適用を想定する。カラオケ装置にはボーカル音を表す音響信号と伴奏音を表す音響信号が入力される。以下では伴奏音の中でもドラム音について考え、中域（２００〜１０００Ｈｚ）に周波数が集中しているボーカル音の音響信号をメイン音響信号とし、高域（１０００Ｈｚ以上）に周波数が集中しているドラム音の音響信号をサブ音響信号とする。従来技術では、ボーカル音とドラム音との相関を考慮しないので、ボーカル音の音響信号と伴奏音の音響信号の各々にダイナミックレンジの圧縮等の処理を施し加算すると、ボーカル音とドラム音の音響信号のピーク（或いはディップ）がぶつかり合い、最終的に放音される音においてボーカル音とドラム音のバランスが崩れてしまう場合があった。これに対して信号処理装置１０１を用いると、ボーカル音とドラム音の相関が高いと、ボーカル音の信号レベルを低下させた後にダイナミックレンジの圧縮が行われ、同じくダイナミックレンジの圧縮が行われたドラム音との加算が行われる。そのため、最終的に放音される音においてボーカル音とドラム音のバランスが崩れることがない。

最終的に放音される音においてメイン音響信号とサブ音響信号のバランスが崩れないようにするために、メイン音響信号のピーク（或いはディップ）とサブ音響信号のピーク（或いはディップ）がぶつかり合う周波数帯域の信号をメイン音響信号から減算して、その後メイン音響信号にダイナミックレンジの圧縮等の信号処理を施してサブ音響信号と加算して放音するという方法が考えられる。しかし、この方法では、メイン音響信号とサブ音響信号がぶつかり合う周波数帯域の信号をメイン音響信号から減算するスペクトル減算の時に人工的ノイズが生じ、最終的に放音される音にノイズが発生することがある。信号処理装置１０１では、スペクトル減算を用いることがないため、人工的ノイズが生じ、最終的に放音される音にノイズが発生することがない。

＜第２実施形態＞
図３は、この発明の第２実施形態である信号処理装置１０２のブロック図である。図３では、図１におけるものと同一の構成要素には同一の符号が付されている。図１と図３を比較すれば明らかなように、信号処理装置１０２の信号処理装置１０１との違いは、時間周波数変換部１０と相互相関検出部２０との間に重み付け部５０を設けた点である。以下では、第１実施形態との相違点である重み付け部５０を中心に説明する。

重み付け部５０は、時間周波数変換部１０から入力されたメイン音響信号とサブ音響信号のフーリエ変換データに対し、ラウドネスカーブに基づく重み付けを行う。具体的には、重み付け部５０には、図４に示すラウドネスカーブの４０ｐｈоｎの曲線を表すデータが予め記憶されている。重み付け部５０は、このデータの中でも人間が聴き取り易い周波数帯域（以下、可聴域）である周波数２０Ｈｚ〜１０ｋＨｚのデータを参照し、参照したデータの波形の最大音圧を１、最低音圧を０として正規化した重み付け乗算をメイン音響信号とサブ音響信号のフーリエ変換データに行う。この重み付け乗算により、可聴域に含まれる音のフーリエ変換データがより大きくなり、聴き取り難い周波数帯域に含まれる音のフーリエ変換データがより小さくなる。重み付け部５０は、重み付け乗算を行ったメイン音響信号とサブ音響信号のフーリエ変換データを相互相関検出部２０に出力する。

相互相関検出部２０は、重み付け部５０から入力されたメイン音響信号とサブ音響信号のフーリエ変換データから式（１）〜（４）に基づいて相関値Ｒ_ｍｓを算出し、その相関値Ｒ_ｍｓをパラメータ算出部３０に出力する。その後は第１実施形態と同様であるので説明を省略する。

信号処理装置１０２では、重み付け部５０においてラウドネスカーブに基づく重み付けが行われているため、最終的に放音される音におけるメイン音響信号とサブ音響信号により放音される各音のバランスが崩れることがない上にさらに、相関値Ｒ_ｍｓに対する可聴域の音の寄与が大きくなる。例えば、信号処理装置１０２をカラオケ装置へ適用し、メイン音響信号がボーカル音の音響信号であり、サブ音響信号がドラム音の音響信号であるとする。この場合、ボーカル音とドラム音の全周波数にわたる相関は低いものの、可聴域における両信号の相関が高い場合であっても、最終的に放音される音のボーカル音とドラム音のバランスが崩れることはない。もちろん、メイン音響信号或いはサブ音響信号のいずれか一方のみに重み付け部５０を用いる態様であってもよい。

＜第３実施形態＞
図５は、この発明の第３実施形態である信号処理装置１０３のブロック図である。図５では、図１におけるものと同一の構成要素には同一の符号が付されている。図５と図１を比較すれば明らかなように、信号処理装置１０３と信号処理装置１０１の違いは、相互相関検出部２０に換えて、相互相関検出部２１と平均算出部９０を設けた点である。以下では、第１実施形態との相違点である相互相関検出部２１と平均算出部９０を中心に説明する。

相互相関検出部２１は、次式（６）に基づいて、時間周波数変換部１０から入力されたメイン音響信号とメイン音響信号以外の他の信号であるサブ音響信号とのフーリエ変換データから相関値Ｒ_ｍｓ（τ）を算出する。なお相関値Ｒ_ｍｓ（τ）は、メイン音響信号とメイン音響信号からτだけ遅れたサブ音響信号との相関を表す値である。

τは整数値であり、Ｃ_ｍｓ（τ）は次式（７）を用いて算出される。

ｎはフレーム番号であり、１≦ｎ≦Ｔである。すなわち、ｆ_ｍ（ｎ）はメイン音響信号のｎ番目のフレームのフーリエ変換データであり、ｆ_ｓ（ｎ＋τ）はサブ音響信号のｎ＋τ番目のフレームのフーリエ変換データである。相関値Ｒ_ｍｓ（τ）は−１≦Ｒ_ｍｓ（τ）≦１を満たし、相関値Ｒ_ｍｓ（τ）が１の時にはメイン音響信号とメイン音響信号からτだけ遅れたサブ音響信号とは完全相関であり、相関値Ｒ_ｍｓ（τ）が小さくなるほどメイン音響信号とサブ音響信号の相関は低下する。相互相関検出部２１は、τ＝０、１、２の場合の相関値Ｒ_ｍｓ（τ）を平均算出部９０に出力する。なお、時間周波数変換部１０と相互相関検出部２１の間に遅延器を設け、遅延器は、時間周波数変換部１０からメイン音響信号とサブ音響信号のフーリエ変換データを入力され、相互相関検出部にメイン音響信号とメイン音響信号からτだけ遅れたサブ音響信号とのフーリエ変換データを出力する態様であってもよい。この態様では、相互相関検出部２１は、遅延器から入力されたメイン音響信号とサブ音響信号から相関値Ｒ_ｍｓ（τ）を算出し平均算出部９０に出力するだけで、サブ音響信号をメイン音響信号からτだけ遅れたようにする処理は行わない。

平均算出部９０は、相互相関検出部２１から入力された相関値Ｒ_ｍｓ（０）、Ｒ_ｍｓ（１）、Ｒ_ｍｓ（２）の相加平均を算出し、平均相関値Ｒ_ｍｓとしてパラメータ算出部３０に出力する。

パラメータ算出部３０は、平均算出部９０から入力された平均相関値Ｒ_ｍｓから第１実施形態と同様に増幅率ｙを算出する。その後は第１実施形態と同様であるので説明を省略する。

本実施形態では、ｆ_ｍ（ｎ）とｆ_ｓ（ｎ＋τ）を用いて算出したＲ_ｍｓ（τ）の相加平均に応じた増幅率でメイン音響信号が増幅されるので、メイン音響信号とサブ音響信号の時間のずれを救うことができる。より詳細に説明すると、例えばカラオケ装置に第１実施形態の信号処理装置１０１を適用した場合、本来はボーカル音と伴奏音の相関は高いにも関わらず、伴奏音とボーカル音に時間のずれがあると、両者の相関は低いと判断されてしまう。そのため、最終的に放音される音のボーカル音と伴奏音のバランスが崩れてしまう恐れがある。一方、カラオケ装置に本実施形態の信号処理装置１０３を適用すると、伴奏音とボーカル音の時間のずれの影響が緩和され、最終的に放音される音のボーカル音と伴奏音のバランスが崩れることがない。つまり本実施形態によれば、メイン音響信号とサブ音響信号に時間のずれがあっても、そのずれによる影響を緩和しつつ、メイン音響信号に対する信号処理を行うことが可能となる。

本実施形態では、τを０、１、２とした相関値Ｒ_ｍｓ（０）、Ｒ_ｍｓ（１）、Ｒ_ｍｓ（２）の３つの値の相加平均から平均相関値Ｒ_ｍｓを算出していたが、τは０、１、２に限られず、例えばτを０、３、６のように他の整数値にして平均相関値Ｒ_ｍｓを算出してもよい。さらに、平均相関値Ｒ_ｍｓの算出に用いる相関値Ｒ_ｍｓ（τ）は３つの値に限られることはなく、相関値Ｒ_ｍｓ（τ）の数を増やしてもよい。例えば、τを０、１、２、３とした相関値Ｒ_ｍｓ（０）、Ｒ_ｍｓ（１）、Ｒ_ｍｓ（２）、Ｒ_ｍｓ（３）の４つの値の相加平均から平均相関値Ｒ_ｍｓを算出してもよい。その上、本実施形態では、平均算出部９０が平均相関値Ｒ_ｍｓの算出に相関値Ｒ_ｍｓ（τ）の相加平均を用いたが、一番大きい値を平均相関値Ｒ_ｍｓとしてもよい。例えば、τを０、１、２とした相関値Ｒ_ｍｓ（０）、Ｒ_ｍｓ（１）、Ｒ_ｍｓ（２）の中でＲ_ｍｓ（１）の値が一番大きいと、Ｒ_ｍｓ（１）を平均相関値Ｒ_ｍｓとして算出してもよい。もちろん平均相関値Ｒ_ｍｓの算出方法はこれら以外でもよく、例えば相乗平均や重み付け平均でもよい。信号処理装置１０３に求められる精度に応じて平均相関値Ｒ_ｍｓの好適な算出方法を決定すればよい。

＜第４実施形態＞
図６は、この発明の第４実施形態である信号処理装置１０４のブロック図である。図６では、図１におけるものと同一の構成要素には同一の符号が付されている。図６と図１を比較すれば明らかなように、信号処理装置１０４と信号処理装置１０１との違いは、パラメータ算出部３０と乗算部４０に換えて、パラメータ算出部３１と、乗算部４１と、残響信号生成部６０と、加算部７０とを設けた点である。以下では、第１実施形態との相違点であるパラメータ算出部３１と、乗算部４１と、残響信号生成部６０と、加算部７０とを中心に説明する。乗算部４１、残響信号生成部６０および加算部７０は、メイン音響信号にリバーブ効果を付与する信号処理部として機能する。

第１実施形態では、信号処理装置１０１に入力されたメイン音響信号は時間周波数変換部１０と乗算部４０に入力されたが、本実施形態の信号処理装置１０４では、メイン音響信号は時間周波数変換部１０、残響信号生成部６０および加算部７０に入力される。本実施形態では、残響信号生成部６０に入力されるメイン音響信号をＷｅｔ信号と呼び、加算部７０に入力されるメイン音響信号をＤｒｙ信号と呼ぶ。

残響信号生成部６０は、Ｗｅｔ信号に基づいて残響信号を生成して乗算部４１に出力する。残響信号生成部６０の残響信号生成アルゴリズムについては既存のものを用いればよい。Ｄｒｙ信号に残響信号を加算する、すなわちリバーブ効果を付与することにより、加算後の信号は聴感上奥行き感のある音を示す音響信号となる。

パラメータ算出部３１は、相互相関検出部２０から入力された相関値Ｒ_ｍｓから式（３）に基づいてノーマライズ値ｘを算出して乗算部４１に出力する。０≦ｘ≦１となるのは上記で説明した通りである。パラメータ算出部３１は次式（８）に基づいて、ミックス値ｇ_ｍｉｘを算出する。なおミックス値ｇ_ｍｉｘとは、残響信号の信号レベルに対して施す増幅処理の強さを示す値であり、Ｄｒｙ信号に対する残響信号の混合比に対応する。

ｘ_０は閾値であり、図７は、式（８）をグラフ化した図である。ノーマライズ値ｘがｘ_０よりも小さいとミックス値ｇ_ｍｉｘはａｘ＋ｂとなり、ノーマライズ値が増加するに連れてミックス値ｇ_ｍｉｘは線形に大きくなる。ノーマライズ値ｘがｘ_０以上であるとミックス値ｇ_ｍｉｘは一定値ｃ（ｃ＝ａｘ_０＋ｂ）となる。なお、ミックス値ｇ_ｍｉｘがノーマライズ値が増加するにつれて非線形に大きくなってもよく、実験により好適な態様を取ればよい。

乗算部４１は、残響信号生成部６０から残響信号の入力を受け、さらにパラメータ算出部３１からミックス値ｇ_ｍｉｘの入力を受ける。乗算部４１は、ミックス値ｇ_ｍｉｘに基づいて残響信号の信号レベルを増幅し、加算部７０に出力する。

加算部７０は、Ｄｒｙ信号と乗算部４１による増幅を受けた残響信号とを加算して出力信号として出力する。

メイン音響信号とサブ音響信号の相関が高い場合、メイン音響信号に付与するリバーブ効果を強くし過ぎると残響音が目立ってしまい、メイン音響信号とサブ音響信号により最終的に放音される音のバランスが崩れてしまう。信号処理装置１０４であれば、閾値ｘ_０よりもノーマライズ値ｘが大きい場合はミックス値ｇ_ｍｉｘが一定値であるｃとなる。このｃの値を残響音が目立たない程度の値に実験等により定めておけば、メイン音響信号とサブ音響信号の相関が高くても、残響音が目立つほどのリバーブ効果の付与がメイン音響信号に施されることなく、最終的に放音される音におけるメイン音響信号とサブ音響信号により放音される各音のバランスが崩れることはない。

＜第５実施形態＞
本実施形態の信号処理装置１０５は、信号処理装置１０３と信号処理装置１０４を組み合わせたものである。詳しく説明すると、信号処理装置１０５は、信号処理装置１０４に対して、信号処理装置１０４の相互相関検出部２０の換わりに信号処理装置１０３の相互相関検出部２１と平均算出部９０を設けたものに相当する。

信号処理装置１０５では、相互相関検出部２１と平均算出部９０が、τ＝０、１、２の場合の相関値Ｒ_ｍｓ（τ）の相加平均から平均相関値Ｒ_ｍｓを算出して、リバーブ効果の付与の強弱を決定している。そのため、信号処理装置１０５を用いると、メイン音響信号とメイン音響信号以外の他の信号であるサブ音響信号とに時間のずれがあっても、最終的に放音される音にはメイン音響信号とサブ音響信号のまじりの良いリバーブ効果が付与され、リバーブ効果によってメイン音響信号とサブ音響信号により放音される各音のバランスが崩れることはない。

本実施形態においても第３実施形態と同様に、τは０、１、２に限られるものではなく、また平均相関値Ｒ_ｍｓを算出するのに用いるτの数は３つに限られない。さらに、複数の相関値Ｒ_ｍｓ（τ）から平均相関値Ｒ_ｍｓを算出する方法として相加平均を用いるだけでなく、他の算出方法を用いてもよい。要は、最終的に放音される音にメイン音響信号とサブ音響信号のまじりの良いリバーブ効果を付与できれば平均相関値Ｒ_ｍｓの算出方法は何でもよく、実験により好適な算出方法を決定すればよい。

＜第６実施形態＞
図８は、この発明の第６実施形態である信号処理装置１０６のブロック図である。図８では、図１におけるものと同一の構成要素には同一の符号が付されている。図８と図１を比較すれば明らかなように、信号処理装置１０６と信号処理装置１０１との違いは、時間周波数変換部１０の前段にハイパスフィルタ（以下、ＨＰＦ）８１、バンドパスフィルタ（以下、ＢＰＦ）８２、ローパスフィルタ（以下、ＬＰＦ）８３を設けた点と、乗算部４０の後段に加算部７１を設けた点である。以下では第１実施形態との相違点である、ＨＰＦ８１、ＢＰＦ８２、ＬＰＦ８３と加算部７１を中心に説明する。

ＨＰＦ８１は入力された信号の周波数ｆ_ＨＬ以上の高周波数周波数帯域のみを出力するフィルタであり、ＢＰＦ８２は周波数ｆ_ＢＬから周波数ｆ_ＢＨの中間周波数帯域のみを出力するフィルタであり（周波数ｆ_ＢＬ＜周波数ｆ_ＢＨ）、ＬＰＦ８３は周波数ｆ_ＬＨ以下の低周波数帯域のみを出力するフィルタである。本実施形態では、周波数ｆ_ＨＬ＝周波数ｆ_ＢＨであり、周波数ｆ_ＢＬ＝周波数ｆ_ＬＨであるが、各周波数は等しくなくてもよい。各周波数の値と各周波数間の関係は、実験により適宜決定すればよい。ＨＰＦ８１、ＢＰＦ８２、ＬＰＦ８３は、メイン音響信号やサブ音響信号に帯域分割処理を施す帯域分割部として機能する。

メイン音響信号とサブ音響信号は、信号処理装置１０６に入力されると、まずＨＰＦ８１、ＢＰＦ８２、ＬＰＦ８３に入力される。メイン音響信号については、ＨＰＦ８１、ＢＰＦ８２、ＬＰＦ８３が、各フィルタに対応した周波数帯域のみの信号を時間周波数変換部１０と乗算部４０に出力する。サブ音響信号については、ＨＰＦ８１、ＢＰＦ８２、ＬＰＦ８３が、各フィルタに対応した周波数帯域のみの信号を時間周波数変換部１０に出力する。

ＨＰＦ８１、ＢＰＦ８２、ＬＰＦ８３がメイン音響信号とサブ音響信号を時間周波数変換部１０に出力し、メイン音響信号を乗算部４０に出力してからは、高周波帯域、中間周波数帯域、低周波数帯域ごとに第１実施形態と同様の処理が行わるため説明を省略する。乗算部４０は、高周波数帯域、中間周波数帯域、低周波数帯域の周波数帯域毎に信号レベルを増幅したメイン音響信号を加算部７１に出力する。

加算部７１は、周波数帯域毎に信号レベルを増幅したメイン音響信号を加算して出力信号として出力する。

このように信号処理装置１０６は、ＨＰＦ８１、ＢＰＦ８２、ＬＰＦ８３を用いて、メイン音響信号およびサブ音響信号に帯域分割処理を施し、周波数帯域毎にメイン音響信号とサブ音響信号の相関値Ｒ_ｍｓを算出し、相関値Ｒ_ｍｓに基づいて周波数帯域毎にメイン音響信号の信号レベルを増幅して最後に加算する。信号処理装置１０６によれば、周波数帯域毎のサブ音響信号との相関に応じてメイン音響信号の増幅制御を周波数帯域毎に細やかに行うことができる。

＜第７実施形態＞
本実施形態の信号処理装置１０７と信号処理装置１０１との違いは、時間周波数変換部１０の前段にＨＰＦ８１とＢＰＦ８２を設けた点である。信号処理装置１０７では、メイン音響信号はＢＰＦ８２を介して時間周波数変換部１０に入力されるとともに乗算部４０に入力され、サブ音響信号はＨＰＦ８１を介して時間周波数変換部１０に入力される。

本実施形態では、ＨＰＦ８１やＢＰＦ８２により帯域分割された音響信号に対してフーリエ変換や相関値Ｒ_ｍｓの算出が行われるため、最終的に放音される音におけるメイン音響信号とサブ音響信号により放音される各音のバランスが崩れることはなく、さらに信号処理装置１０６に比べて装置の処理負荷を減らすことができる。

信号処理装置１０７では、メイン音響信号に対してＢＰＦ８２を用い、サブ音響信号に対してＨＰＦ８１を用いた。しかし、信号処理装置１０７にＨＰＦ８１、ＢＰＦ８２、ＬＰＦ８３を設けておき、信号処理装置１０７に入力されるメイン音響信号とサブ音響信号の集中している周波数帯域に応じて、ＨＰＦ８１、ＢＰＦ８２、ＬＰＦ８３の中から異なるフィルタを選択してもよい。もちろん、メイン音響信号或いはサブ音響信号のいずれか一方のみに対して、ＨＰＦ８１、ＢＰＦ８２、ＬＰＦ８３のいずれかを用いる態様であってもよい。

＜第８実施形態＞
図９は、この発明の第８実施形態である信号処理装置１０８のブロック図である。信号処理装置１０８は例えばカラオケ装置に適用される。図９では、図１におけるものと同一の構成要素には同一の符号が付されている。図９と図１を比較すれば明らかなように、信号処理装置１０８と信号処理装置１０１との違いは、時間周波数変換部１０にサブ音響信号としてボーカル音の音響信号と伴奏音の音響信号が入力され、乗算部４０にメイン音響信号としてボーカル音と伴奏音の音響信号の合成信号（以下、合成信号）が入力される点である。

信号処理装置１０８では、ボーカル音と伴奏音の音響信号の相関値Ｒ_ｍｓに基づいて、パラメータ算出部３０が増幅率ｙを算出する。乗算部４０は、この増幅率ｙに基づいて、合成信号に増幅処理を施す。

本実施形態のように、ボーカル音の音響信号に対してではなく、合成信号に対して直接増幅処理を施すことで、合成信号からボーカル音の音響信号を音源分離して増幅する場合と類似の効果を期待できる。すなわち、本実施形態の出力信号は、合成信号をボーカル音の音響信号と伴奏音の音響信号に音源分離して、分離したボーカル音の音響信号と伴奏音の音響信号の相関値Ｒ_ｍｓを算出して、ボーカル音の音響信号に増幅を施して出力する出力信号に類似する。音源分離を用いた方法では、音源分離の際に人工的なノイズが発生することがあり、音源分離後の音質が問題となることが多い。本実施形態では、信号処理装置１０８に入力されるボーカル音の音響信号と伴奏音の音響信号が合成信号に音源分離を施すことにより生成されたものであったとしても、増幅処理の対象となる合成信号は音源分離により生成されたものではないため、ボーカル音と伴奏音のバランスが崩れることがなく、音源分離の性能に出力信号の音質が依存しづらくなるという利点が生じる。

信号処理装置１０８では、合成信号はサブ音響信号として入力された音響信号のみから構成されていたが、この態様に限られるわけではなく、合成信号がサブ音響信号として入力された音響信号の中の少なくとも１つの音響信号と他の音響信号とから構成された態様であってもよい。この態様では、例えば、サブ音響信号がボーカル音の音響信号とドラム音の音響信号であり、メイン音響信号がドラム音とギター音の音響信号の合成信号である。さらに、サブ音響信号として３種類以上の音響信号が入力される場合には、相互相関検出部２０が音響信号の中から相関値Ｒ_ｍｓを算出する音響信号を選択する態様であってもよい。この態様では、例えばサブ音響信号としてボーカル音、ドラム音およびギター音の音響信号が各々入力されると、相互相関検出部２０は、入力された音響信号からボーカル音の音響信号とドラム音の音響信号を選択し、両信号の相関値Ｒ_ｍｓを算出する。さらに、この選択をユーザの指示に応じて切り換えるようにしてもよい。この場合のメイン音響信号は、ボーカル音とドラム音の音響信号の合成信号であってもよいし、ドラム音とギター音の音響信号の合成信号であってもよい。もちろん、メイン音響信号がボーカル音、ドラム音およびギター音の音響信号の合成信号であってもよい。

＜第９実施形態＞
本実施形態の信号処理装置１０９も例えばカラオケ装置に適用される。信号処理装置１０９と信号処理装置１０１との違いは、メイン音響信号としてボーカル音と伴奏音の合成音の時間波形を表す合成信号が時間周波数変換部１０と乗算部４０に入力され、サブ音響信号として伴奏音の音響信号が時間周波数変換部１０に入力されることである。

信号制御装置１０９では、伴奏音の音響信号と合成信号との相関値Ｒ_ｍｓに基づいて増幅率ｙが算出され、その増幅率ｙに基づいて、合成信号に増幅処理が施されている。

本実施形態では、ボーカル音の音響信号の入力がなくても伴奏音の音響信号と合成信号との入力があれば、ボーカル音と伴奏音のバランスを崩すことなく、合成信号に増幅処理を施すことができる。

＜第１０実施形態＞
図１０は、この第１０実施形態である信号処理装置１１０のブロック図である。信号処理装置１１０も例えばカラオケ装置に適用される。図１０では、図１におけるものと同一の構成要素には同一の符号が付されている。図１０と図１を比較すれば明らかなように、信号処理装置１１０と信号処理装置１０１との違いは、時間周波数変換部１０に複数種類のサブ音響信号が入力される点と平均算出部９０が設けられた点である。本実施形態では、時間周波数変換部１０に入力されたサブ音響信号の種類はＮ種類（Ｎ≧２）である。Ｎ種類のサブ音響信号の具体例としては、ドラム音、ギター音、キーボード音といった伴奏楽器毎の伴奏音の音響信号が挙げられる。

時間周波数変換部１０は、メイン音響信号とＮ種類のサブ音響信号のフーリエ変換データを相互相関検出部２０に出力する。相互相関検出部２０は、時間周波数変換部１０から入力されたメイン音響信号とＮ種類のサブ音響信号との各々の相関を検出する。より詳細に説明すると、相互相関検出部２０は、式（１）と式（２）に基づいて、メイン音響信号とサブ音響信号１の相関値Ｒ_ｍｓ１を算出し、メイン音響信号とサブ音響信号２の相関値Ｒ_ｍｓ２を算出する。以下同様に、相互相関検出部２０は、メイン音響信号とサブ音響信号Ｎの相関値Ｒ_ｍｓＮまで算出する。相互相関検出部２０は算出した相関値Ｒ_ｍｓ１〜Ｒ_ｍｓＮを平均算出部９０に出力する。平均算出部９０は、入力された相関値Ｒ_ｍｓ１〜Ｒ_ｍｓＮの相加平均を平均相関値Ｒ_ｍｓとして算出する。平均算出部９０は、算出した平均相関値Ｒ_ｍｓをパラメータ算出部３０に出力し、乗算部４０は、パラメータ算出部３０により算出された増幅率ｙに基づいてメイン音響信号に増幅処理を施し、出力信号として出力する。

信号処理装置１１０では、全てのサブ音響信号とメイン音響信号との平均相関値Ｒ_ｍｓが算出され、この平均相関値Ｒ_ｍｓに応じた増幅率でメイン音響信号の増幅が行われる。このため、最終的に放音される音におけるメイン音響信号と複数のサブ音響信号のバランスが崩れることはない。

＜変形例＞
（１）上記実施形態を各々組み合わせた態様をとってもよい。例えば、第７実施形態と第１０実施形態を組み合わせても良い。この場合、入力されるサブ音響信号が複数あっても、最終的に放音される音におけるメイン音響信号と複数のサブ音響信号により放音される各音のバランスが崩れることなく、メイン音響信号に増幅処理を施すことができる。さらにこの場合、サブ音響信号が１つしかない、すなわち第１実施形態の装置の処理負荷にサブ音響信号の数を乗じた処理負荷よりも処理負荷を減らすことができる。

（２）上記各実施形態では、メイン音響信号に増幅処理或いはリバーブ効果を付与する処理を施していたが、メイン音響信号に施す信号処理はこれらの処理に限られることはなく、他の音響効果を与える処理をメイン音響信号に施してもよい。

（３）上記各実施形態では、時間周波数変換部１０が、入力を受けたメイン音響信号とサブ音響信号の２種類のデジタル信号を一定時間長のフレームに区切ってフーリエ変換を行い、フーリエ変換によって算出したフーリエ変換データを相互相関検出部２０に出力していたが、この時間周波数変換部１０が存在しない態様をとってもよい。この態様では、入力されたメイン音響信号とサブ音響信号が相互相関検出部２０に直接入力され、相互相関検出部２０は、式（１）或いは式（６）を用い、メイン音響信号とサブ音響信号に基づいて相関値Ｒ_ｍｓ或いは相関値Ｒ_ｍｓ（τ）を算出する。この場合、τは音響信号を構成する各サンプルを示すインデックスである。この態様によっても、メイン音響信号とサブ音響信号により放音される音全体のバランスを保ちつつ、音響信号のダイナミックレンジの圧縮や音響信号へのリバーブ効果の付与を行うことができる。

（４）上記各実施形態では、メイン音響信号とサブ音響信号の両者がデジタル信号であったが、一方（或いは両方）がアナログ信号であってもよい。各実施形態の信号処理装置にアナログ信号が入力される場合には、信号処理装置の前段にＡ／Ｄ変換器を設けておけばよい。

（５）上記各実施形態では、本発明の信号処理装置特有の機能をプログラム（ＤＳＰのマイクロプログラム）により実現したが、このプログラム単体で提供してもよい。例えば、カラオケ装置の既存のプログラムに上記各実施形態のいずれかのプログラムを追加することで、最終的に放音される音のボーカル音と伴奏音のバランスを崩すことなく、ボーカル音の音響信号にダイナミックレンジの圧縮やリバーブ効果の付与を行うことができる。

（６）上記各実施形態による増幅処理或いはリバーブ効果の付与をＡＳＰ（アプリケーションサービスプロバイダ）形式の通信サービスで提供してもよい。例えば、第１実施形態の増幅処理をＡＳＰ形式で提供する場合は、信号処理装置１０１を通信回線に接続しておく。そして、信号処理装置１０１にメイン音響信号とサブ音響信号が通信回線経由で入力され、信号処理装置１０１は、メイン音響信号とサブ音響信号の相関に基づいて増幅処理を施したメイン音響信号を出力信号として出力し、その出力信号を通信回線経由で返信する。

１０１，１０２，１０３，１０４，１０５，１０６，１０７，１０８，１０９，１１０……信号処理装置、１０……時間周波数変換部、２０，２１……相互相関検出部、３０，３１……パラメータ算出部、４０，４１……乗算部、５０……重み付け部、６０……残響信号生成部、７０，７１……加算部、８１……ＨＰＦ、８２……ＢＰＦ、８３……ＬＰＦ、９０……平均算出部。

Claims (9)

1. 音響効果を与える信号処理の対象となるメイン音響信号と、１又は複数のサブ音響信号と、の間の相関値を算出する相互相関検出部と、
   前記相互相関検出部において算出される前記相関値の増加に応じて、前記信号処理における前記メイン音響信号の増幅率を小さくするパラメータ算出部と、
   前記メイン音響信号と前記１又は複数のサブ音響信号の少なくとも一方の可聴域に重み付けを施して前記相互相関検出部に与える重み付け部と、
   を有することを特徴とする信号処理装置。
2. 音響効果を与える信号処理の対象となるメイン音響信号と、１又は複数のサブ音響信号と、の間の相関値を算出する相互相関検出部と、
   前記相互相関検出部において算出される前記相関値に基づいて、前記信号処理において前記メイン音響信号に混合する残響信号の混合比を制御するパラメータ算出部と、
   を有することを特徴とする信号処理装置。
3. 前記メイン音響信号と前記１又は複数のサブ音響信号の少なくとも一方の可聴域に重み付けを施して前記相互相関検出部に与える重み付け部を有することを特徴とする請求項２に記載の信号処理装置。
4. 前記相互相関検出部は、前記メイン音響信号と、当該メイン音響信号と時間が異なる前記１又は複数のサブ音響信号との相関値を複数算出し、それら複数の相関値から１つの相関値を求めることを特徴とする請求項１〜３のいずれか１の請求項に記載の信号処理装置。
5. 前記メイン音響信号と前記１又は複数のサブ音響信号とに帯域分割を施す帯域分割部を有し、
   前記相互相関検出部は、前記帯域分割部により分割された帯域の信号を用いて前記相関値を算出する
   ことを特徴とする請求項１〜４のいずれか１の請求項に記載の信号処理装置。
6. 音響効果を与える信号処理の対象となるメイン音響信号と、１又は複数のサブ音響信号と、の間の相関値を算出し、
   前記相関値の増加に応じて、前記信号処理における前記メイン音響信号の増幅率を小さくし、
   前記メイン音響信号と前記１又は複数のサブ音響信号の少なくとも一方の可聴域に重み付けを施して前記相関値の算出の対象とすることを特徴とする信号処理方法。
7. 音響効果を与える信号処理の対象となるメイン音響信号と、１又は複数のサブ音響信号と、の間の相関値を算出し、
   前記相関値に基づいて、前記信号処理において前記メイン音響信号に混合する残響信号の混合比を制御することを特徴とする信号処理方法。
8. コンピュータを、
   音響効果を与える信号処理の対象となるメイン音響信号と、１又は複数のサブ音響信号と、の間の相関値を算出する相互相関検出部と、
   前記相互相関検出部において算出される前記相関値の増加に応じて、前記信号処理における前記メイン音響信号の増幅率を小さくするパラメータ算出部と、
   前記メイン音響信号と前記１又は複数のサブ音響信号の少なくとも一方の可聴域に重み付けを施して前記相互相関検出部に与える重み付け部と、
   して機能させることを特徴とするプログラム。
9. コンピュータを、
   音響効果を与える信号処理の対象となるメイン音響信号と、１又は複数のサブ音響信号と、の間の相関値を算出する相互相関検出部と、
   前記相互相関検出部において算出される前記相関値に基づいて、前記信号処理において前記メイン音響信号に混合する残響信号の混合比を制御するパラメータ算出部と、
   して機能させることを特徴とするプログラム。

Images