JP3933909B2 - 音声／音楽混合比推定装置およびそれを用いたオーディオ装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、音声／音楽混合比推定装置およびそれを用いたオーディオ装置に関し、特に、あらかじめ学習した音声及び音楽の特徴データに基づいて、オーディオ信号の音声／音楽の混合比を推定する技術に適用して有効な技術に関するものである。
【０００２】
【従来の技術】
従来の放送オーディオ技術は、音声信号及び音楽信号の特徴データに基づいた音声／音楽の区間判別のみを行い、混合比の推定は行っていない。
従来、「音声／音楽の区間判定」では、「この時間からこの時間」の部分は音声区間、「この時間からこの時間」の部分は音楽区間というように、音声か音楽かいわゆる０／１の判定のみ行っていました。すなわち、従来技術では音声区間となった部分は音声１００％、音楽０％と考えることもできる。
【０００３】
【発明が解決しようとする課題】
前記従来の技術では、混合比の推定が行えないため、適応的にナレーション音を強調して、放送オーディオを聞きやすくする装置に応用することは困難であった。
多くの人は適切な混合比でミクシングされている場合でも、年齢を重ねるとともに高域の音声が聞きづらくなるなど人により聴覚の性質（感度）が異なっているため、例えば、背景音楽（ＢＧＭ：背景音）によりナレーション音声が聞きづらくなる場合があり、その人に適応させるようにしてナレーションを聞きやすくすることが望まれている。
本発明の目的は、オーディオ信号のナレーション音が効果的に強調され聞きやすくすることが可能な技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００４】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。
【０００７】
第１の発明は、純粋な音声信号を用いて学習した音声特徴データの類似係数ベクトルの各要素および前記音声特徴データの類似係数ベクトルの各要素に対応した類似確率係数、ならびに純粋な音楽信号を用いて学習した音楽特徴データの類似係数ベクトルの各要素および前記音楽特徴データの類似係数ベクトルの各要素に対応した類似確率係数をあらかじめ記憶しておく学習済み特徴データ記憶手段と、入力されたオーディオ信号から音声／音楽特徴ベクトルを抽出する音声／音楽特徴データ抽出手段と、前記音声／音楽特徴データ抽出手段により抽出された音声／音楽特徴ベクトルと前記学習済み特徴データ記憶手段に記憶された前記音声類似係数ベクトルを乗算して前記音声類似係数ベクトルの各要素毎の音声類似度を求める手段と、前記音声／音楽特徴データ抽出手段により抽出された前記音声／音楽特徴ベクトルと前記学習済み特徴データ記憶手段に記憶された前記音楽類似係数ベクトルを乗算して前記音楽類似係数ベクトルの各要素毎の音楽類似度を求める手段と、前記各要素毎の音声類似度とそれに対応する前記音声類似確率係数を乗算して各要素毎の音声類似確率を求め、求められた各要素毎の音声類似確率を加算して音声類似確率を求める手段と、前記各要素毎の音楽類似度とそれに対応する前記音楽類似確率係数を乗算して各要素毎の音楽類似確率を求め、求められた各要素毎の音楽類似確率を加算して音楽類似確率を求める手段と、前記音声類似確率と前記音声類似確率から、オーディオ信号の音声信号と音楽信号の混合比を推定する手段と、を備える音声／音楽混合比推定手段と、を具備する音声／音楽混合比推定装置である。
【０００８】
第２の発明は、前記第１の発明の音声／音楽混合比推定装置による混合比の推定結果に従って、前記オーディオ信号、または前記オーディオ信号の音声信号を強調した信号を出力する混合比推定適応音声強調手段を具備するオーディオ装置である。
【０００９】
すなわち、本発明のポイントは、オーディオ信号に含まれるナレーション音声成分とＢＧＭ音楽成分の混合比を推定するために、あらかじめ純粋なナレーション音声と音楽を用いて音声信号及び音楽信号の特徴データを学習する。入力オーディオ信号に含まれる音声／音楽特徴データを抽出（計算）し、このデータと学習済特徴データから音声推定確率ＰＳと音楽推定確率ＰＡを求める。
【００１０】
前記求められた音声推定確率ＰＳと音楽推定確率ＰＡの比から、音声と音楽の混合比を推定する。この混合比の推定結果に従って、ナレーション音と効果音のバランスの制御方法を切り替えることにより、オーディオ信号のナレーション音が効果的に強調された聞きやすい音を提供することができる。
【００１１】
ここで、純粋な音声とは、いわゆるスピーチ信号だけを含んだ音声である。また、純粋な音楽とは、楽器の音信号においてスピーチ信号を含んでいないものである。純粋な音声及び音楽は学習用のみに使用するので、人が事前に確認して使用することができる。
また、前記データは個々のベクトルの集合体としてメモリなどに蓄積してあるものなどを意味する。前記ベクトルは個々のベクトル自体を意味する。
【００１２】
前記本発明によれば、あらかじめ学習した音声信号及び音楽信号の特徴データと放送されているオーディオ信号の特徴データを用いて、オーディオ信号に含まれるナレーション音とＢＧＭ音楽の混合比が推定できる。
【００１３】
また、この混合比の推定結果に従って、ナレーション音と効果音のバランスの制御方法を切り替えることにより、オーディオ信号のナレーション音が聞きやすいシステムを構成することができる。
【００１４】
以下に、本発明について、本発明による実施形態（実施例）とともに図面を参照して詳細に説明する。
【００１５】
【発明の実施の形態】
図１は、本発明の一実施例の音声／音楽混合比推定装置を用いたオーディオ装置の概略構成を示すブロック図である。
【００１６】
本実施例の音声／音楽混合比推定装置を用いたオーディオ装置は、図１に示すように、純粋なナレーション音声と音楽を用いて音声信号及び音楽信号の特徴データもしくは特徴ベクトルをあらかじめ学習して記憶しておくための学習済み特徴データ記憶手段１と、放送されているオーディオ信号の音声と音楽の特徴データもしくは特徴ベクトルを抽出する音声／音楽特徴データ抽出手段２と、前記学習済み特徴データ記憶手段１からの特徴データと前記音声／音楽特徴データ抽出手段２からの放送されているオーディオ信号の特徴データを入力して、オーディオ信号のナレーション音声と音楽（例えば背景音）の混合比を推定する音声／音楽混合比推定手段３と、該音声／音楽混合比推定手段３による混合比の推定結果に従って、ナレーション音と効果音のバランスの制御方法を切り替える混合比推定適応音声強調回路（手段）４とを備えている。
【００１７】
前記音声／音楽特徴データ抽出手段２は、入力オーディオ信号を分析し、オーディオ信号に含まれる音声や音楽の特徴を表す複数の指標（音声／音楽特徴データ）を求める。
【００１８】
前記音声／音楽混合比推定手段３は、音声／音楽特徴データ抽出手段２で求めた音声／音楽特徴データを入力し、事前に学習した学習済音声／音楽特徴データを用いて、音声／音楽の混合比を推定する。
【００１９】
前記混合比推定適応音声強調回路（手段）４は、前記推定した混合比と入力オーディオ信号を入力し、推定した混合比に従ってナレーション音と効果音のバランスの制御方法を切り替え、ナレーション音が強調されて聞きやすいオーディオ信号を出力する。
【００２０】
ここで、純粋な音声とは、いわゆるスピーチ信号だけを含んだ音声である。また、純粋な音楽とは、楽器の音信号においてスピーチ信号を含んでいないものである。純粋な音声及び音楽は学習用のみに使用するので、人が事前に確認して使用することができる。
また、前記データは個々のベクトルの集合体としてメモリなどに蓄積してあるものなどを意味し、前記ベクトルは個々のベクトル自体を意味する。
【００２１】
次に、本実施例のオーディオ装置の各手段の概略構成とその動作について説明する。
（１）音声／音楽特徴データ抽出手段２について
前記音声／音楽特徴データ抽出手段２の構成例を図２に示す。
音声／音楽特徴データとしては、信号成分中央周波数、信号９５％値周波数、音声変調度、ゼロ交差数とこれらの分散値、及び信号エネルギーとする。しかし、音声／音楽特徴ベクトルとしては、これらの特徴ベクトルの一部で構成される場合や他の特徴ベクトルが付加された特徴ベクトルで構成される場合がある。例えば、以下の表１の通りである。
【００２２】
【表１】

【００２３】
図２は、本実施例の音声／音楽特徴データ抽出手段の概域構成を示すブロック図である。前記音声／音楽特徴データ抽出手段２の一実施例は、図２に示すように、周波数分析手段２１、信号成分中央周波数抽出手段２２、信号９５％値周波数抽出手段２３、音声変調度抽出手段２４、分散手段２５〜２７、ゼロ交差数抽出手段２８、分散手段２９及び信号エネルギー抽出手段３０からなる。
これらの手段を用いて音声／音楽特徴データを抽出する。
【００２４】
（２）音声／音楽混合比推定手段３について
図３は、本実施例の音声／音楽混合比推定手段３の概略構成を示すブロック図である。前記音声／音楽混合比推定手段３の一実施例は、図３に示すように、事前に学習した学習済音声特徴データの類似係数ベクトルｂｓ１、ｂｓ２、…、ｂｓｎと音楽特徴データの類似係数ベクトルｂａ１、ｂａ２、…、ｂａｎ及び学習済音声特徴データの類似確率係数ｐｓ１、ｐｓ２、…、ｐｓｎと音楽特徴データの類似確率係数ｐａ１、ｐａ２、…、ｐａｎを類似確率メモリに保持しておく（図３はｎ＝３の場合）。
【００２５】
前記音声／音楽特徴データ抽出手段２で求めた音声／音楽特徴ベクトルを入力し、特徴ベクトルと音声類似係数ベクトルｂｓ１を乗算してｂｓ１の音声類似度を求める。同様に、音声／音楽特徴ベクトルと音声類似係数ベクトルｂｓ２を乗算してｂｓ２の音声類似度、…、音声／音楽特徴ベクトルと音声類似係数ベクトルｂｓｎを乗算してｂｓｎの音声類似度を求める。同様に音声／音楽特徴ベクトルと音楽類似係数ベクトルｂａ１を乗算してｂａ１の音楽類似度、…、音声／音楽特徴ベクトルと音楽類似係数ベクトルｂａｎを乗算してｂａｎの音楽類似度を求める。
【００２６】
前記ｂｓ１の音声類似度とｐｓ１の音声類似確率係数を乗算してｂｓ１の音声類似確率Ｐｓ１を求める。同様にしてｂｓ２の音声類似確率Ｐｓ２、…、ｂｓｎの音声類似確率Ｐｓｎを求める。前記求められたｂｓ１の音声類似確率Ｐｓ１、…、ｂｓｎの音声類似確率Ｐｓｎを加算器３１で加算して、音声類似確率ＰＳを求める。
【００２７】
同様にして、前記ｂａ１の音声類似度とｐａ１の音声類似確率係数を乗算し、ｂａ１の音声類似確率Ｐａ１を求める。同様にしてｂａ２の音声類似確率Ｐａ２、…、ｂａｎの音声類似確率Ｐａｎを求める。前記ｂｓ１の音声類似確率Ｐａ１、…、ｂｓｎの音声類似確率Ｐａｎを加算器３１で加算して、音楽類似確率ＰＡを求める。次に、前記音声類似確率ＰＳと音楽類似確率ＰＡの比ＲatioＳ／Ａを除算器３２で求める。
【００２８】
混合比出力部３３では、比ＲatioＳ／Ａと適合関数ｆ（ＲatioＳ／Ａ）から、混合比推定係数を計算し、シグモイド関数により、音声／音楽混合比推定値ｍを計算する。ｍは音声である可能性が１００％と推定された場合には＝１、音楽である可能性が１００％と推定された場合には＝０をとり、音声／音楽混合比の推定量に比例して１〜０の中間値をとる。
【００２９】
ここで、適合関数とは、最適な値を出すために必要不可欠なものであり、実際には多くのデータで最適になるように後から関数を求めていくことになる。
また、シグモイド関数は、−∞から∞までの値を０から１の値に変換するための関数である。混合比推定値［０，１］区間に限定するために必要な関数である。
【００３０】
（３）混合比推定適応音声強調回路（手段）４について
図４は、本実施例の混合比推定適応音声強調回路（手段）４の概略構成を示すブロック図である。図４において、符号Ｍｓ、Ｍｓａ、Ｍａは、音声か、音楽か、音声と音楽が混合されたものかを判別するためのスレツショルド値である。これらは事前に設定しておく必要がある。Ｍは混合比（ｍｉｘ）であり、ｓはｓｐｅｅｃｈ、ａはａｕｄｉｏである。ｓａは実際に構成されてくる信号として音声・音楽・音声と音楽が混合されたものなどいろいろなものが入っているものである。
【００３１】
前記混合比推定適応音声強調回路（手段）４は、図４に示すように、第１の音声強調回路Ｔａｓ（音声強調手段）４１と、第２の音声強調回路Ｔｓａ（音声強調手段）４２と、音声／音楽混合比推定値ｍに従ってナレーション音と効果音のバランスの制御方法を切り替える切り替え器（切り替え手段）４３とからなる。
【００３２】
前記第１の音声強調回路Ｔａｓ（音声強調手段）４１と、第２の音声強調回路Ｔｓａ（音声強調手段）４２は、それぞれ、例えば、常に４個の音声強調回路（スルー含む）に音が入っていて、言い換えれば音声強調回路は常に動作していて必要な回路だけ選択する構成になっている。すなわち、ある条件のみに合致した時だけ必要な音声強調回路が働き、他のときは働かない（つまり、条件のみに合致した時に必要な音声強調回路をとおった同じ音が出力される）。
【００３３】
前記第１の音声強調回路Ｔａｓ（音声強調手段）４１と、第２の音声強調回路Ｔｓａ（音声強調手段）４２は、入力として音声／音楽混合比の推定値ｍと入力オーディオ信号を持ち、出力としてナレーション音が聞きやすくなった出力オーディオ信号を持っている。
【００３４】
Ｍｓ以上の１に近い推定値ｍでは、オーディオ信号はナレーション音声のみが含まれ、強調を行う必要が無いと判断し、そのまま出力する。一方、Ｍａ以下の０に近い推定値ｍでは、オーディオ信号はＢＧＭ音楽のみが含まれており強調すべきナレーション音声は無いと判断し、音声強調を行なわずにそのまま出力する。
【００３５】
ｍがＭａとＭｓの中間値をとる場合は、音声強調を行う必要があると判断し、ｍの値により複数の音声強調回路を切り替えながらナレーション音を強調したオーディオ信号を出力する。例えば、音声強調回路Ｔｓａ４２はＢＧＭ音楽よりもナレーション音声が大きく混合されているＭｓａ＜ｍ＜Ｍｓの場合に使用され、高域周波数成分の減衰の動作を行う。音声強調回路Ｔａｓ４１はナレーション音声に比ベＢＧＭ音楽が大きく混合されているＭａ＜ｍ＜Ｍｓａの場合に使用され、高域の周波数成分の減衰に加えて、音声成分の周波数的な特徴または音声以外の周波数的な特徴を時間的に監視し、この特徴を利用して特定低域周波数成分の周期的な増幅と減衰動作を行う。これらは音声強調回路（手段）の簡単な例であり、その他の音声強調回路を使用することが可能である。
【００３６】
以上、本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００３７】
【発明の効果】
以上説明したように、本発明によれば、放送されているオーディオ信号に含まれるナレーション音声成分とＢＧＭ（背景音）音楽成分の混合比を推定することができ、この混合比の推定結果に従って、ナレーション音と効果音のバランスの制御方法を適応的に切り替えることで、オーディオ信号のナレーション音が効果的に強調された聞きやすい音を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例の音声／音楽混合比推定装置を用いたオーディオ装置の概略構成を示すブロック図である。
【図２】本実施例の音声／音楽特徴データ抽出手段の概略構成を示すブロック図である。
【図３】本実施例の音声／音楽混合比推定手段３の一実施例の概略構成を示すブロック図である。
【図４】本実施例の混合比推定適応音声強調回路の概略構成を示すブロック図である。
【符号の説明】
１…学習済み特徴データ記憶手段
２…音声／音楽特徴データ抽出手段
３…音声／音楽混合比推定手段
４…混合比推定適応音強調回路
２１…周波数分析手段
２２…信号成分中央周波数抽出手段
２３…信号９５％値周波数抽出手段
２４…音声変調度抽出手段
２５〜２７…分散手段
２８…ゼロ交差数抽出手段
２９…分散手段
３０…信号エネルギー抽出手段
３１…加算器
３２…除算器
３３…混合比出力部
４１…第１の音声強調回路Ｔａｓ（音声強調手段）
４２…第２の音声強調回路Ｔｓａ（音声強調手段）
４３…切り替え器（切り替え手段）

Claims (2)

1. 純粋な音声信号を用いて学習した音声特徴データの類似係数ベクトルの各要素および前記音声特徴データの類似係数ベクトルの各要素に対応した類似確率係数、ならびに純粋な音楽信号を用いて学習した音楽特徴データの類似係数ベクトルの各要素および前記音楽特徴データの類似係数ベクトルの各要素に対応した類似確率係数をあらかじめ記憶しておく学習済み特徴データ記憶手段と、
   入力されたオーディオ信号から音声／音楽特徴ベクトルを抽出する音声／音楽特徴データ抽出手段と、
   前記音声／音楽特徴データ抽出手段により抽出された音声／音楽特徴ベクトルと前記学習済み特徴データ記憶手段に記憶された前記音声類似係数ベクトルを乗算して前記音声類似係数ベクトルの各要素毎の音声類似度を求める手段と、
   前記音声／音楽特徴データ抽出手段により抽出された前記音声／音楽特徴ベクトルと前記学習済み特徴データ記憶手段に記憶された前記音楽類似係数ベクトルを乗算して前記音楽類似係数ベクトルの各要素毎の音楽類似度を求める手段と、
   前記各要素毎の音声類似度とそれに対応する前記音声類似確率係数を乗算して各要素毎の音声類似確率を求め、求められた各要素毎の音声類似確率を加算して音声類似確率を求める手段と、
   前記各要素毎の音楽類似度とそれに対応する前記音楽類似確率係数を乗算して各要素毎の音楽類似確率を求め、求められた各要素毎の音楽類似確率を加算して音楽類似確率を求める手段と、
   前記音声類似確率と前記音声類似確率から、オーディオ信号の音声信号と音楽信号の混合比を推定する手段と、
   を備える音声／音楽混合比推定手段と、
   を具備することを特徴とする音声／音楽混合比推定装置。
2. 請求項１に記載の音声／音楽混合比推定装置による混合比の推定結果に従って、前記オーディオ信号、または前記オーディオ信号の音声信号を強調した信号を出力する混合比推定適応音声強調手段を具備することを特徴とするオーディオ装置。

Images