JP5590021B2 - 音声明瞭化装置 - Google Patents

Description

本発明は、オーディオ信号に含まれる音声を明瞭化する技術に関する。

深夜時間帯に映画や音楽などのオーディオ信号を再生するとき、近隣に配慮してボリュームを絞るケースが多い。ボリュームを絞ったときに、ソースから供給されるオーディオ信号が小音量であれば、再生音が聴こえ難くなる。特に映画を再生する場合、音量の幅（ダイナミックレンジ）が広いため、ボリュームを絞るとセリフ等の小さな音が聞こえ難い。一方で、台詞やナレーションなどの音声を聴きやすいようにボリュームを上げてしまうと、効果音等が大音量で再生されてしまう。
そこで、音声の成分が多く含まれるチャンネルのオーディオ信号のダイナミックレンジを圧縮するとともに、圧縮後に、他のチャンネルのオーディオ信号の音量に埋没してしまう不具合を是正するような技術が提案されている（例えば特許文献１参照）。

特許第４０１３９０６号公報

しかしながら、上記技術では、オーディオ信号に音声以外の効果音やＢＧＭ（Background Music）などの成分が多く含まれている場合に、音声以外の音も強調されてしまい、音声が不明瞭となってしまうことがあった。
本発明は、上述した事情に鑑みてなされたもので、その目的の一つは、音声を聴き取りやすくする一方で、音声以外を自然に再生することが可能な音声明瞭化装置を提供することにある。

上記目的を達成するために本発明に係る音声明瞭化装置は、入力されたオーディオ信号から、第１フォルマント成分及び第２フォルマント成分を抽出する音声帯域抽出部と、前記オーディオ信号のうち、音声成分を示す信号のレベルに応じてゲインを決定するゲイン決定部と、前記音声帯域抽出部から出力された前記第１フォルマント成分及び前記第２フォルマント成分のレベルを前記ゲインで調整するレベル調整部と、前記オーディオ信号に基づく信号と、前記レベル調整部でゲインが調整された信号とを加算して出力する第１加算部と、を具備することを特徴とする。本発明によれば、音声帯域に含まれる帯域成分の信号レベルが当該信号レベルに応じたゲインで調整された上で、元のオーディオ信号に加算されるので、音声を明瞭化することができる一方で、音声以外の成分が過剰に強調されてしまうことを防止することができる。

本発明において、前記ゲイン決定部は、前記音声成分を示す信号に基づく入力レベルを、所定の入出力特性のゲインに変換する変換部を含み、前記変換部は、前記音声成分を示す信号のレベルの絶対値が閾値以下である場合には、前記ゲインを「１」より大きくして出力し、前記絶対値が前記閾値を超える場合には、前記ゲインを「１」より小さくして出力する構成が好ましい。
また、この構成において、前記変換部が、音量を設定する設定情報に応じて前記入出力特性を変更する態様としても良い。この態様によれば、設定情報に応じて音声成分の強調を加減することができる。

本発明において、前記音声帯域抽出部は、前記オーディオ信号のうち、前記第１フォルマント成分を抽出する第１バンドパスフィルタと、前記第１バンドパスフィルタにより抽出される信号のレベルに第１ゲイン係数を乗算する第１乗算器と、前記オーディオ信号のうち、前記第２フォルマント成分を抽出する第２バンドパスフィルタと、前記第２バンドパスフィルタにより抽出される信号のレベルに第２ゲイン係数を乗算する第２乗算器と、前記第１乗算器により出力される信号と前記第２乗算器により出力される信号とを加算して出力する第２加算部と、を含む構成としても良い。この構成によれば、音声帯域に含まれる第１周波数帯域の信号のレベルが第１ゲイン係数で乗算され、音声帯域に含まれる第２周波数帯域の信号のレベルが第２ゲイン係数で乗算され、互いが加算されることによって音声を明瞭化した信号が生成される。なお、第１周波数帯域や第２周波数帯域は、音声のフォルマントに対応した帯域であることが好ましい。
また、上記構成において、前記第１ゲイン係数および前記第２ゲイン係数の組を、予め複数記憶する記憶部と、前記複数の組のうち、いずれかの組を選択して、当該選択した組の第１ゲイン係数を前記第１乗算器に供給し、当該選択した組の第２ゲイン係数を前記第２乗算器に供給する設定部と、を含む態様が好ましい。この態様によれば、オーディオ信号の特性、種別等に応じて適切に音声を明瞭化することができる。

本発明の実施形態に係る音声明瞭化装置の構成を示す図である。 音声明瞭化装置における変換部の入出力特性の一例を示す図である。 応用例に係る音声明瞭化装置の構成を示す図である。 応用例における変換部の入出力特性の一例を示す図である。 応用例における設定される係数の一例を示す図である。 別の応用例に係る音声明瞭化装置の構成を示す図である。 別の応用例に係る音声明瞭化装置の構成を示す図である。 別の応用例に係る音声明瞭化装置の構成を示す図である。

以下、本発明の実施形態に係る音声明瞭化装置について図面を参照して説明する。
図１は、実施形態に係る音声明瞭化装置１の構成を示すブロック図であり、１チャンネル分のオーディオ信号を処理するのに要する構成を示している。したがって、多チャンネルの場合には、チャンネル数に応じて図１の構成が適用される。なお、本実施形態においては、特に記載がない場合に信号はデジタルとする。

図１に示されるように音声明瞭化装置１は、加算器１２、乗算器１３と、音声帯域抽出部２０と、ゲイン決定部３０とを有する。処理対象となるオーディオ信号Ｉｎは、音声帯域抽出部２０とゲイン決定部３０とにそれぞれ供給される。

音声帯域抽出部２０は、オーディオ信号Ｉｎのうち、音声帯域にある３つの成分を抽出するものであり、ＢＰＦ（Band Pass Filter）２１１、２２１、２３１、乗算器２１２、２２２、２３２および加算器２４０を有する。
このうち、ＢＰＦ２１１は、約２００〜５００Ｈｚの通過帯域を有し、オーディオ信号Ｉｎから音声の第１フォルマント成分を抽出する。ＢＰＦ２２１は、約２ｋ〜３ｋＨｚの通過帯域を有し、オーディオ信号Ｉｎから音声の第２フォルマント成分を抽出する。ＢＰＦ２３１は、約４ｋ〜１２ｋＨｚの通過帯域を有し、オーディオ信号Ｉｎから第２フォルマントの２〜４倍の倍音成分を抽出する。

乗算器２１２は、ＢＰＦ２１１の出力信号に予め設定されたゲイン係数を乗算して出力する。同様に、乗算器２２２、２３２は、ＢＰＦ２２１、２３１の出力信号に予め設定されたゲイン係数をそれぞれ乗算して出力する。なお、アナログ信号で処理する場合には、乗算器２１２、２２２、２３２をそれぞれ利得増幅器とすれば良い。
第２加算部である加算器２４０は、乗算器２１２、２２２、２３２からそれぞれ出力される信号を互いに加算して、信号Ｆａとして出力する。
ここで、ＢＰＦ２１１、２２１、２３１の各通過帯域を上述のものとしたため、各通過帯域は互いに隔絶しており、３つのＢＰＦによる周波数特性の概形は、各通過帯域の中心周波数でそれぞれピーク（山）になり、これらのピークの間でボトム（谷）とみなすことができる。

ゲイン決定部３０は、信号Ｆａに対するゲインを、オーディオ信号Ｉｎの音声成分のレベルに合わせて決定するものであり、ＢＰＦ３０２、レベル検出部３０４、変換部３０６および平滑部３０８を有する。ＢＰＦ３０２は、約１２５〜１７５Ｈｚの通過帯域を有し、オーディオ信号Ｉｎにおける音声成分の大きさを示す信号として抽出する。この理由は、当該帯域には音声の周波数成分が含まれる確率が高いことが実験的に確認されているためである。
なお、ＢＰＦ３０２の通過帯域は、おおよそ会話時における声帯の振動周波数に相当している。声帯の振動が声道で共鳴することによって音声が生じるので、声帯の振動周波数成分は、音声の源であって、音声成分の大きさを示す指標の１つとして用いることができる。

レベル検出部３０４は、ＢＰＦ３０２から出力される信号レベルの最大値（絶対値でみた最大値）を一定間隔毎に検出して出力する。レベル検出部３０４は、ＢＰＦ３０２による信号レベルの最大値を、例えば５ミリ秒毎に出力する。
なお、レベル検出部３０４は、処理に余裕があれば、５ミリ秒毎ではなく１サンプル毎に絶対値を出力しても良い。また、レベル検出部３０４は、ＢＰＦ３０２から出力される信号レベルのうち、最大値に限られず、実効値（２乗平均値）を求めて出力しても良いし、エンベロープ（包絡線）を求めて出力しても良い。いずれにしても、レベル検出部３０４は、音声成分を示す信号に基づくレベルを出力する構成であれば良い。

変換部３０６は、レベル検出部３０４から出力される信号（最大値）を、信号Ｆａに対するゲインに変換する。
図２は、変換部３０６における入出力特性を実線で示す図である。図において、横軸は、変換部３０６への入力レベル、すなわちレベル検出部３０４から出力される信号（最大値）レベルであり、縦軸は、変換部３０６の出力レベルを示している。ここで、変換部３０６から出力されるのは、変換特性における出力レベル／入力レベルの比で示されるゲインである。なお、図において破線は、入力レベルがそのまま出力レベルとなる場合を示している。

変換部３０６の入出力特性のうち、入力レベルが閾値ｔｈ以下となる領域では、ゲインが「１」以上、すなわち破線よりも上側であって、入力レベルが小さくなるにつれてゲインが増加する特性となっている。一方、入力レベルが閾値ｔｈを超える領域では、ゲインが「１」よりも小さく、かつ、入力レベル大きくなるにつれてゲインが急激に低下する特性となっている。
このため、入力レベルが閾値ｔｈ以下となる領域では、出力レベルを増加させるようなゲインが出力され、入力値が閾値ｔｈを超える領域では、出力レベルを減少させるようなゲインが出力される。
後述するように信号Ｆａはゲイン調整されて、オーディオ信号Ｉｎに加算される構成となっている。入力レベルが閾値ｔｈを超える場合、オーディオ信号Ｉｎに含まれる音声信号の大きさが十分大きいので、上記構成にあっては音声の強調を抑えるために、出力レベルを減少させるゲインを出力しているのである。

変換部３０６については、図２に示されるような特性を予めテーブルとして記憶しておき、上記テーブルを参照して入力レベルに対応するゲインを読み出す構成としても良いし、上記特性を関数として規定しておくとともに、入力レベルを前記関数に代入して、演算によってゲインを求める構成としても良い。

ここで、レベル検出部３０４が、一定間隔毎に（上記の例でいえば５ミリ秒毎に）最大値を出力するのであれば、変換部３０６も最大値に対応して同じ間隔でゲインを出力することになるので、当該ゲインは、一定間隔毎に変動することになる。そこで、平滑部３０８は、このように一定間隔毎に変動するゲインを平滑化して、ゲインＫａとして出力する。平滑化は、移動平均やローパスフィルタなどにより実現される。

レベル調整部である乗算器１３は、音声帯域抽出部２０の出力である信号Ｆａに、ゲイン決定部３０の出力であるゲインＫａを乗算し、信号Ｆｂとして加算器１２の他方の入力端に供給する。
第１加算部である加算器１２は、オーディオ信号Ｉｎと乗算器１３による信号Ｆｂとを加算して、音声明瞭化装置１による信号Ｏｕｔとして出力する。

一般に、フォルマントと別のフォルマントとの間のボトムレベルに対して、フォルマントのピークレベルの比率が高いほど音声が明瞭になる、とされている（例えば特開２００８−１４５９４０号公報参照）。
本実施形態に係る音声明瞭化装置１において、音声帯域抽出部２０によって抽出される信号Ｆａは、オーディオ信号Ｉｎに含まれる音声成分、詳細には第１フォルマント成分、第２フォルマント成分および当該第２フォルマントの倍音成分である。この信号Ｆａは、ゲイン決定部３０の出力であるゲインＫａでレベル調整され信号Ｆｂとして出力されるとともに、オーディオ信号Ｉｎと加算器１２によって加算されて出力される。

このような構成において、オーディオ信号Ｉｎに含まれる音声成分のレベルが小さい場合、出力レベルが上がるようにゲインＫａが高められる。このため、各フォルマントのピークレベルがボトムレベルに対して相対的に高められるとともに、信号Ｆｂが当該オーディオ信号Ｉｎに対して支配的となるので、音声が明瞭化される。
一方、音声成分のレベルが十分大きい場合、ゲインＫａは上げられない。このため、当該オーディオ信号Ｉｎに加算される信号Ｆｂが少なくなる（又は０）となるので、音声の強調が抑えられる。

なお、上述した実施形態にあっては、ゲイン決定部３０が、第１フォルマントを抽出するＢＰＦ２１１と、第２フォルマントを抽出するＢＰＦ２２１と、第２フォルマントの倍音成分を抽出するＢＰＦ２３１との計３個を有する構成としたが、本発明はこれに限られず、２個の構成としても良い。例えばＢＰＦ２１１、２２１の２個として、第１フォルマント成分および第２フォルマント成分を強調しても母音を聴き取りやすくしても良いし、ＢＰＦ２２１、２３１の２個として、第２フォルマント成分およびその倍音成分を強調しても良い。また、ＢＰＦ２１１、２３１の２個としても良い。一方で、ＢＰＦ２１１、２２１、２３１に加え、別の帯域を通過させるＢＰＦを追加して、「４」個以上としても良い。
あるいは、ＢＰＦ２１１とＢＰＦ２２１との間の帯域を通過させるＢＰＦと、当該ＢＰＦの出力を大きく減衰させる乗算器とを設け、当該乗算器の出力を加算器２４０での加算対象に加えることによって、第１フォルマントと第２フォルマントとの間の谷に相当する部分を強調しても良い。

＜応用例・変形例＞
本発明は、上述した実施形態に限定されるものではなく、例えば次に述べるような各種の変形が可能である。なお、図３は、応用例・変形例に係る音声明瞭化装置の構成を示すブロック図である。また、次に述べる応用・変形の態様は、任意に選択された一または複数を適宜に組み合わせることもできる。

＜ボリュームに応じた変換特性＞
例えば、変換部３０６における変換特性をボリュームに応じて変更する構成としても良い。詳細には、図３に示されるように、音量を設定するボリューム３１２の設定情報Ｖｏｌを変換部３０６に供給して、変換部３０６が、設定情報Ｖｏｌに応じて変換特性を変更する構成としても良い。変換特性としては、例えば図４に示されるように、入力レベルが閾値ｔｈ以下となる領域においては、出力レベルを持ち上げる特性を確保しつつ、設定情報Ｖｏｌが音量を小さくするように設定されるような場合には変換特性のカーブの傾きを小さくして、入力レベルに対する出力レベルが大きくなるようなゲインとなるように相対的に増加させる一方、設定情報Ｖｏｌが音量を大きくするように設定される場合には変換特性のカーブの傾きを大きくして、ゲインを相対的に低下させる。
ボリュームが低く設定されていると、オーディオ信号Ｉｎの音量は小さくなる。このとき、オーディオ信号Ｉｎに含まれる音声成分が小さい場合、通常の音量での再生に比べて、より明瞭度が低くなってしまう。このような場合に、設定情報Ｖｏｌに応じて変換部３０６の変換特性を変更させる構成であれば、設定情報Ｖｏｌに応じて音声の強調の度合いであるゲインＫａが、実施形態と比較して高められるので、音声をより明瞭化することができる。
なお、設定情報Ｖｏｌは、ボリューム３１２に限られず、リモコン等によって設定される場合もある。また、ボリュームに応じた変換特性は、図４に限られない。例えばボリュームが高くなるにつれて、図２に示される入出力特性の閾値ｔｈを小さくなるように設定し、ボリュームが小さくなるにつれて閾値ｔｈを大きくするようにしても良い。ボリュームが十分大きい場合は音声の明瞭度は問題とならないため、この場合にはなるべくオーディオ信号Ｉｎをそのまま出力し、反対にボリュームが小さい場合は音声が不明瞭となることが多いためなるべく音声成分を強調するようにすることができる。

＜ゲイン係数の組＞
実施形態にあっては、乗算器２１２、２２２、２３２のゲイン係数が固定であったが、図３に示されるように、設定部１４および記憶部１５を追加して、ゲイン係数を各種のモードに応じて切り替える構成としても良い。
この構成において、記憶部１５には、例えば図５に示されるように、複数のモード毎に、ゲイン係数Ｋ１、Ｋ２、Ｋ３の組が予め記憶される。設定部１４は、上位装置からモードを規定する情報Ｓｅｌの供給を受けると、当該情報Ｓｅｌのモードに対応した係数の組を選択して記憶部１５から読み出し、乗算器２１２にゲイン係数Ｋ１を、乗算器２２２にゲイン係数Ｋ２を、乗算器２３２にゲイン係数Ｋ３を、それぞれ供給する。
例えば、情報ＳｅｌによってモードＢが選択された場合、設定部１４は、記憶部はモードＢに対応するゲイン係数ｋ１ｂ、ｋ２ｂ、ｋ３ｂを読み出して、各々をゲイン係数Ｋ１として乗算器２１２に、ゲイン係数Ｋ２として乗算器２２２に、ゲイン係数Ｋ３として乗算器２３２に、それぞれ供給する。
ここで、あるモードとして、Ｋ１＜Ｋ２、Ｋ１＜Ｋ３となる係数を記憶部１５に記憶させておけば、当該モードが選択されたときに、音声成分のうち、高域成分を低域成分よりも強調させることができる。また、別のモードとして、Ｋ１＞Ｋ３、Ｋ２＞Ｋ３となる係数を記憶部１５に記憶させておけば、当該モードが選択されたときに、音声成分のうち、低域成分を高域成分よりも強調させることができるなど、リスナーの好みに応じた音色とするゲイン係数のセットを選択可能にすることができる。

＜動的にゲイン係数を変更＞
実施形態にあっては、乗算器２１２、２２２、２３２のゲイン係数が固定であったが、入力レベルに応じて各ゲイン係数の値が変化する態様としても良い。具体的には、図６に示されるように、変換部４１、４２、４３を、乗算器２１２、２２２、２３２の各々に対応して設けて、それぞれがゲイン係数を供給する構成としても良い。
ここで、変換部４１、４２、４３は、変換部３０６と同様に、レベル検出部３０４から出力される信号のレベルをゲイン係数に変換するものである。変換部４１、４２、４３における入出力特性については、リスナーの嗜好などに合わせて適宜設定すれば良い。このような構成により、入力されるオーディオ信号Ｉｎに含まれる音声の大きさに応じて、各ＢＰＦの出力信号のゲインがそれぞれ変化して設定されるので、リスナーの好みに合わせた音色とすることができる。
なお、ここでは各ＢＰＦの出力に設けられた乗算器２１２、２２２、２３２と、加算後の信号Ｆａに対して処理される乗算器１３の両方でレベル調整したが、乗算器１３の処理を省略することもできる。

＜ＨＰＦ＞
図７に示されるように、オーディオ信号Ｉｎの低域側をカットして、加算器１２の一方の入力端に供給するＨＰＦ（High Pass Filter）１１を設けても良い。なお、ＨＰＦ１１のカットオフ周波数は例えば４０Ｈｚである。
また、このＨＰＦ１１については、同図に示されるように、オンまたはオフさせる機能を持たせて、オン時には、オーディオ信号Ｉｎの低域側をカットし、オフ時には、オーディオ信号Ｉｎをバイパスさせて加算器１２の一方の入力端に供給する構成としても良い。
このため、加算器１２における入力端の一方には、オーディオ信号Ｉｎが供給されても良いし、当該オーディオ信号ＩｎをＨＰＦ１１でフィルタリングした信号が供給されても良い。すなわち、オーディオ信号に基づく信号とは、オーディオ信号のフィルタリング信号のみならず、オーディオ信号それ自体を含む概念である。

＜ゲインの微調整＞
図７に示されるように、平滑部３０８によって出力されるゲインＫａを微調整するために、一定値を乗じるなどの演算を実行する演算器３１０を設けても良い。なお、演算器３１０は、乗算に限られず、加減算や除算、もしくは、これらを適宜組み合わせても良い。

＜ＢＰＦの共用＞
実施形態においてゲイン決定部３０では、音声成分の大きさを示す信号としてＢＰＦ３０２の出力信号を用いたが、ＢＰＦ２１１の出力である第１フォルマント成分でも代用可能である。詳細には、図８に示されるように、ＢＰＦ２１１の出力を乗算器２１２とともにレベル検出部３０４に供給する構成とすれば良い。この構成によれば、ＢＰＦを１つ省略することができるので、その分、構成の簡易化を図ることができる。

＜その他＞
図１や図３、図６、図７、図８に示した音声明瞭化装置については、ＤＳＰ（Digital Signal Processor）機能を持ったマイコン（ＤＳＰデバイス）に対して、所定の処理を記述したプログラムを書き込むことによって実現される。詳細には、ＤＳＰデバイスに対し、高域通過処理（ＨＰＦ１１）や、帯域通過処理（ＢＰＦ２１１、２２１、２３１、３０２）、低域通過処理（平滑部３０８）、乗算処理（乗算器１３、２１２、２２２、２３２、３１０）、加算処理（加算器１２、２４０）などの処理を記述したプログラムを当該ＤＳＰデバイスに書き込むことによって音声明瞭化装置１の機能を実現できる。
したがって、本発明は、信号処理方法としても、また、コンピュータを上記音声明瞭化装置として機能させるプログラムとしても表現され得る。

１０…音声明瞭化装置、１１…ＨＰＦ、１２…加算器、１３…乗算器、２０…音声帯域抽出部、３０…レベル決定部、２１１、２２１、２３１…ＢＰＦ、２１２、２２２、２３２…乗算器、２４０…加算器、３０２…ＢＰＦ、３０４…レベル検出部、３０６…変換部、３０８…平滑部。

Claims (5)

1. 入力されたオーディオ信号から、第１フォルマント成分及び第２フォルマント成分を抽出する音声帯域抽出部と、
   前記オーディオ信号のうち、音声成分を示す信号のレベルに応じてゲインを決定するゲイン決定部と、
   前記音声帯域抽出部から出力された前記第１フォルマント成分及び前記第２フォルマント成分のレベルを前記ゲインで調整するレベル調整部と、
   前記オーディオ信号に基づく信号と、前記レベル調整部でゲインが調整された信号とを加算して出力する第１加算部と、
   を具備することを特徴とする音声明瞭化装置。
2. 前記ゲイン決定部は、
   前記音声成分を示す信号に基づく入力レベルを、所定の入出力特性のゲインに変換する変換部を含み、
   前記変換部は、
   前記音声成分を示す信号のレベルの絶対値が閾値以下である場合には、前記ゲインを「１」より大きくして出力し、
   前記絶対値が前記閾値を超える場合には、前記ゲインを「１」より小さくして出力する
   ことを特徴とする請求項１に記載の音声明瞭化装置。
3. 前記変換部は、音量を設定する設定情報に応じて前記入出力特性を変更する
   ことを特徴とする請求項２に記載の音声明瞭化装置。
4. 前記音声帯域抽出部は、
   前記オーディオ信号のうち、前記第１フォルマント成分を抽出する第１バンドパスフィルタと、
   前記第１バンドパスフィルタにより抽出される信号のレベルに第１ゲイン係数を乗算する第１乗算器と、
   前記オーディオ信号のうち、前記第２フォルマント成分を抽出する第２バンドパスフィルタと、
   前記第２バンドパスフィルタにより抽出される信号のレベルに第２ゲイン係数を乗算する第２乗算器と、
   前記第１乗算器により出力される信号と前記第２乗算器により出力される信号とを加算して出力する第２加算部と、
   を含むことを特徴とする請求項１乃至３のいずれかに記載の音声明瞭化装置。
5. 前記第１ゲイン係数および前記第２ゲイン係数の組を、予め複数記憶する記憶部と、
   前記複数の組のうち、いずれかの組を選択して、当該選択した組の第１ゲイン係数を前記第１乗算器に供給し、当該選択した組の第２ゲイン係数を前記第２乗算器に供給する設定部と、
   を有することを特徴とする請求項４に記載の音声明瞭化装置。

Images