JP6858072B2 - 音声信号補正装置及びプログラム - Google Patents

Description

本発明は、音声信号補正装置及びプログラムに関する。

近年、多数の音声チャンネルを用いることにより、マルチチャンネル音響や音声オブジェクトを用いたオブジェクトベース音響のような、高い臨場感の音響再生を実現する音響システムが提案されている（例えば、非特許文献１参照）。一例として、Dolby ATMOSのような音響システムを用いたホームシアターが市場に登場してきている。また例えば、８Ｋスーパーハイビジョン放送においては、２２．２ｃｈ音響というマルチチャンネル音響が採用されている（例えば、非特許文献２参照）。

Recommendation ITU-R BS.2051-0，"Advanced sound system for programme production"，International Telecommunication Union，2014 ARIB STD-B32，「デジタル放送における映像符号化、音声符号化及び多重化方式」，一般社団法人 電波産業会，3.5版，2015年

家庭において音響システムを使用する場合、各家庭に設置されるスピーカの数は、コンテンツ制作時に使用されたスピーカ数よりも少ないことがほとんどであると想定される。このため、オブジェクトベース音響やマルチチャンネル音響を家庭で再生するには、レンダリングやダウンミックスのように、再生環境に応じた少数の再生スピーカ用に音声信号を変換する手法が必要になる。しかしながら、ダウンミックスやレンダリングによる音声信号変換では、音声信号の加算によって、音声信号の周波数特性が元の特性から変化してしまい、制作意図を損なうことがあった。

本発明は、このような事情を考慮してなされたもので、複数の音声信号が加算された音声信号を、制作意図に合わせた音声信号に補正することができる音声信号補正装置及びプログラムを提供する。

本発明の一態様は、複数の音声信号を加算することにより、変換された音声信号を生成する音声信号変換部と、変換前の前記音声信号それぞれの周波数特性の和を規準として、変換後の前記音声信号の周波数特性を補正する補正部と、を備え、前記補正部は、変換後の前記音声信号における所定の周波数以上の高域成分を補正する、音声信号補正装置である。

本発明の一態様は、上述した音声信号補正装置であって、変換後の前記音声信号を前記所定の周波数に基づいて高域成分と低域成分に分離する分離部と、前記補正部により補正された変換後の前記音声信号の高域成分と、変換後の前記音声信号の補正されていない低域成分とを、周波数軸上のクロスフェードによって合成する合成部とをさらに備え、前記補正部は、前記分離部により分離された変換後の前記音声信号の高域成分を補正する。

本発明の一態様は、上述した音声信号補正装置であって、前記音声信号変換部は、記憶部に記憶される複数の音声信号のうち未選択の２個の音声信号を選択する選択部と、前記選択部が選択した２個の前記音声信号を前記記憶部から選択済みとして除外する除外部と、前記選択部が選択した２個の前記音声信号を加算する加算部とを備え、該音声信号補正装置は、前記加算部により加算された前記音声信号を前記所定の周波数に基づいて高域成分と低域成分に分離する分離部と、前記補正部により補正された加算された前記音声信号の高域成分と、加算された前記音声信号の補正されていない低域成分とを合成する合成部と、前記選択部により選択された２個の前記音声信号に付加される位置情報に基づいて前記合成部により合成された前記音声信号に位置情報を付与する位置情報付与部と、前記記憶部に未選択の音声信号が記憶されている場合は、前記位置情報付与部により前記位置情報が付与された前記音声信号を前記記憶部に記憶させ、前記記憶部に未選択の音声信号が記憶されていない場合は、前記位置情報付与部により前記位置情報が付与された前記音声信号を出力する出力選択部とをさらに備える。

本発明の一態様は、上述した音声信号補正装置であって、前記選択部は、複数の前記音声信号のうち前記音声信号に付加されている位置情報に基づいて算出された距離が最も短い２個の音声信号の組み合わせを選択する。

本発明の一態様は、上述した音声信号補正装置であって、前記所定の周波数は、変換された前記音声信号を生成するために加算された前記音声信号それぞれに付与された位置情報が示す位置間の距離に基づいて決定される。

本発明の一態様は、上述した音声信号補正装置であって、前記所定の周波数は、加算前の前記音声信号それぞれに付与された位置情報が示す位置間の距離に基づく空間エイリアシング周波数である。

本発明の一態様は、コンピュータを、上述したいずれかの音声信号補正装置として機能させるプログラムである。

本発明によれば、複数の音声信号が加算された音声信号を、制作意図に合わせた音声信号に補正する。

本発明の第１の実施形態による音声信号補正装置が行う音声信号補正処理の原理を示す図である。 同実施形態による音声信号補正装置のブロック図である。 同実施形態による音声信号補正装置を用いたダウンミックス装置の機能ブロック図である。 同実施形態による音声信号補正装置が実行する音声信号補正処理を示すフローチャートである。 第２の実施形態による音声信号補正装置のブロック図である。 同実施形態によるクロスフェードによる加算に用いられるフィルタ係数を示す図である。 第３の実施形態による音声信号補正装置のブロック図である。 第４の実施形態による音声信号補正装置のブロック図である。

以下、図面を参照しながら本発明の実施形態を詳細に説明する。

従来、ＶＢＡＰ（Vector Base Amplitude Panning）をベースとした、少数の再生スピーカに対する音声信号の変換手法が利用されてきた。この従来の手法は、あくまで幾何学的な音声信号の分配方法であり、音声信号の周波数特性の変化は補償できない。そこで、本実施形態の音声信号補正装置は、音声信号の加算時に発生する音声信号の周波数特性変化を、加算前の音声信号が個別に有する周波数特性に合わせて補正する。この周波数特性の補正は、正負両方の補正量、正の補正量のみ、負の補正量のみ、から選択できるものとする。また、これらの補正量の上限及び下限などは、表１に示す制御パラメータにより設定される。表１は、CmpCeil、CmpFloor、CmpThr、noCmpFreqの４つの制御パラメータと、その説明とを示している。

これらの制御パラメータを用いて、補正の目的別に、補正量の上限及び下限を、予め以下のように設定することも可能である。

表２は、仮想音源やダイバージェンスに由来する同相加算が原因の過剰なレベルを補正する場合の制御パラメータの設定を示す。

表３は、音声信号の高域に音素材の基音が含まれず、相対的に低域よりレベルの低いアンビエンスや残響成分が支配的な場合に、過剰補正を防ぐ場合の制御パラメータの設定を示す。

表４は、音声信号の内容が明示的ではない場合に、破綻のない平均的な補正を施す場合（−２４ＬＫＦＳ（Loudness K-weighting Full Scale）、４８ｋＨｚ、２４ビットで制作されたコンテンツに対して、２０４８サンプルの窓長で処理する場合）の制御パラメータの設定を示す。

以下では、位置情報を有する音声信号を例として各実施形態を説明する。位置情報は、三次元空間における位置を表す。以下の説明では、音声信号に付加された位置情報が示す位置を、音声信号の位置と記載する。また、ある音声信号に付加された位置情報が示す位置と他の音声信号に付加された位置情報が示す位置との間の距離を、それら音声信号の間の距離と記載する。

（第１の実施形態）
図１は、第１の一実施形態による音声信号補正装置１が行う音声信号補正処理の原理を示す図である。以下の説明では、音声信号をｐ、音声信号間の距離をｒで表す。同図では、３個の音声信号ｐとして位置情報付きの音声信号ｐ_１〜ｐ_３が与えられ、これら音声信号ｐ_１〜ｐ_３を加算して、音声信号の変換信号を得る場合の例を示している。

図１に示す音声信号ｐ_１と音声信号ｐ_２の間の距離をｒ_１とし、音声信号ｐ_２と音声信号ｐ_３の間の距離をｒ_２とする。ここで、距離ｒ_１＜距離ｒ_２である場合、音声信号補正装置１は、音声信号ｐ_１と音声信号ｐ_２とを加算して音声信号（ｐ_１＋ｐ_２）を生成する。このとき、各音声信号の周波数成分ごとの位相関係によって周波数特性変化が起きる。また、距離ｒ_１に対応する空間エイリアシング周波数を周波数ｆ_１で表す。空間エイリアシング周波数とは、離れた位置のスピーカから音波が放射されたときの合成音場に空間的な誤差やスペクトル上の誤差が生じる境界の周波数である。なお、空間エイリアシング周波数は、音速ｃ／（２×スピーカ間の距離ｒ）により算出される。また、空間エイリアシング周波数よりも低い周波数では、音声信号の加算による周波数特性の変化は小さく、その影響はあまり問題にならない。

音声信号補正装置１は、音声信号ｐ_１の周波数特性と音声信号ｐ_２の周波数特性とを加算したときに生じる音声信号（ｐ_１＋ｐ_２）の周波数特性変化を、音声信号ｐ_１の周波数特性と音声信号ｐ_２の周波数特性との和を規準として補正する。具体的には、音声信号補正装置１は、周波数特性として、エネルギースペクトルを用いる。また、音声信号補正装置１は、音声信号（ｐ_１＋ｐ_２）における所定の周波数以上の高域成分のみを補正する。具体的には、音声信号補正装置１は、音声信号（ｐ_１＋ｐ_２）のエネルギースペクトルにおける周波数ｆ_１以上のエネルギースペクトルの周波数特性を、音声信号ｐ_１のエネルギースペクトルと音声信号ｐ_２のエネルギースペクトルとを加算したときの周波数ｆ_１以上のエネルギースペクトルの周波数特性に一致させるように補正する。この補正により、音声信号補正装置１は補正後の音声信号ｐ_ｘを生成する。音声信号補正装置１は、音声信号ｐ_ｘを、予め定められた方法に従って音声信号ｐ_１の位置と音声信号ｐ_２の位置との間の位置に配置する。なお、音声信号ｐ_ｘの位置と音声信号ｐ_３の間の距離はｒ_ｘである。

音声信号補正装置１は、音声信号ｐ_１と音声信号ｐ_２について行った加算及び補正を、音声信号ｐ_ｘと音声信号ｐ_３の間で再度実施し、その結果を最終的な補正音声信号として出力する。すなわち、音声信号補正装置１は、音声信号ｐ_ｘと音声信号ｐ_３とを加算して音声信号（ｐ_ｘ＋ｐ_３）を生成する。距離ｒ_ｘに対応する空間エイリアシング周波数を周波数ｆ_ｘとする。このとき、音声信号補正装置１は、音声信号（ｐ_ｘ＋ｐ_３）のエネルギースペクトルにおける周波数ｆ_ｘ以上の成分の周波数特性を、音声信号ｐ_ｘのエネルギースペクトルと音声信号ｐ_３のエネルギースペクトルとの和における周波数ｆ_ｘ以上の成分に一致させるように補正する。

図２は、第１の実施形態による音声信号補正装置１の構成例を示す機能ブロック図である。音声信号補正装置１は、記憶部１１と、音声信号変換部１２と、ＬＰＦ（ローパスフィルタ）１３（分離部）と、ＨＰＦ（ハイパスフィルタ）１４（分離部）と、エネルギースペクトル計算部１５と、ＨＰＦ１６と、エネルギースペクトル計算部１７と、ＨＰＦ１８と、エネルギースペクトル計算部１９と、スペクトル加算部２０と、スペクトル補正部２１(補正部）と、周波数成分加算部２２（合成部）と、位置情報付与部２３と、出力選択部２４とを備える。

記憶部１１は、音声信号補正装置１が入力した位置情報付きの音声信号である音声信号ｐ_１〜ｐ_ｎ（ｎは２以上の整数）を記憶する。また、記憶部１１は、出力選択部２４から出力された音声信号ｐ_ｘ１〜ｐ_{ｘ（ｎ−１）}を記憶する。記憶部１１は、音声信号変換部１２から既組み合わせ信号除外情報を受信した場合、既組み合わせ信号除外情報により指示された音声信号を除外する。記憶部１１は、音声信号の除外を、記憶部１１から音声信号を消去することにより行ってもよく、音声信号に除外を示す情報を付加することにより行ってもよい。記憶部１１は、全ての音声信号を除外した場合、出力選択部２４に出力指示を出力する。

音声信号変換部１２は、複数の音声信号を加算することにより、変換された音声信号を生成する。音声信号変換部１２は、選択部１２１と、加算部１２２と、除外部１２３と、分割周波数指示部１２４と、選択信号出力部１２５とを備える。

選択部１２１は、記憶部１１に記憶される未選択の音声信号の位置情報を取得する。選択部１２１は、記憶部１１に記憶される未選択の音声信号の全ての組み合わせの中から、音声信号の間の距離が最短になる２個の音声信号（ｐ_ｋ，ｐ_ｌ）を選択する（ｋ≠ｌ、ｋ及びｌは１以上ｎ以下の整数）。

加算部１２２は、選択部１２１が選択した２個の音声信号（ｐ_ｋ，ｐ_ｌ）を加算し、加算音声信号（ｐ_ｋ＋ｐ_ｌ）を生成する。加算部１２２は、加算音声信号（ｐ_ｋ＋ｐ_ｌ）をＬＰＦ１３及びＨＰＦ１４に出力する。なお、加算部１２２は、選択された音声信号（ｐ_ｋ，ｐ_ｌ）にそれぞれ異なる係数を掛け合わせてから加算してもよい。

除外部１２３は、選択部１２１が選択した音声信号（ｐ_ｋ，ｐ_ｌ）を選択済みとして未選択の音声信号から除外するよう指示する既組み合わせ信号除外情報を記憶部１１に出力する。これにより、記憶部１１は、既組み合わせ信号除外情報に基づき、音声信号（ｐ_ｋ，ｐ_ｌ）を除外する。

分割周波数指示部１２４は、音声信号（ｐ_ｋ，ｐ_ｌ）の距離に応じた空間エイリアシング周波数を求める。分割周波数指示部１２４は、求めた空間エイリアシング周波数を示す空間エイリアシング周波数情報を、ＬＰＦ１３、ＨＰＦ１４、ＨＰＦ１６及びＨＰＦ１８に出力する。

選択信号出力部１２５は、選択部１２１が選択した音声信号ｐ_ｋをＨＰＦ１６に、音声信号ｐ_ｌをＨＰＦ１８に出力する。なお、加算部１２２が、音声信号ｐ_ｋ、音声信号ｐ_ｌそれぞれに異なる係数を掛け合わせてから加算した場合、選択信号出力部１２５は、その係数をかけた音声信号ｐ_ｋ、音声信号ｐ_ｌを出力する。

ＬＰＦ１３は、加算音声信号（ｐ_ｋ＋ｐ_ｌ）の空間エイリアシング周波数以下の低域成分を通過させる。ＬＰＦ１３は、通過させた低域成分の加算音声信号ｐ_ｌｏを周波数成分加算部２２に出力する。ＨＰＦ１４は、加算音声信号（ｐ_ｋ＋ｐ_ｌ）の空間エイリアシング周波数以上の高域成分を通過させる。ＨＰＦ１４は、通過させた高域成分の加算音声信号ｐ_ｈｉ’を、エネルギースペクトル計算部１５及びスペクトル補正部２１に出力する。エネルギースペクトル計算部１５は、ＨＰＦ１４が通過させた高域成分の加算音声信号ｐ_ｈｉ’をエネルギースペクトルＥＳ_１に変換する。エネルギースペクトル計算部１５は、エネルギースペクトルＥＳ_１をスペクトル補正部２１に出力する。

ＨＰＦ１６は、音声信号ｐ_ｋの空間エイリアシング周波数以上の高域成分を通過させ、エネルギースペクトル計算部１７に出力する。エネルギースペクトル計算部１７は、ＨＰＦ１６が通過させた音声信号ｐ_ｋの高域成分をエネルギースペクトルに変換する。エネルギースペクトル計算部１７は、変換により得られたエネルギースペクトルをスペクトル加算部２０に出力する。

ＨＰＦ１８は、音声信号ｐ_ｌの空間エイリアシング周波数以上の高域成分を通過させ、エネルギースペクトル計算部１９に出力する。エネルギースペクトル計算部１９は、ＨＰＦ１８が通過させた音声信号ｐ_ｌの高域成分をエネルギースペクトルに変換する。エネルギースペクトル計算部１９は、変換により得られたエネルギースペクトルをスペクトル加算部２０に出力する。

スペクトル加算部２０は、エネルギースペクトル計算部１７が出力したエネルギースペクトルと、エネルギースペクトル計算部１９が出力したエネルギースペクトルとを加算する。スペクトル加算部２０は、加算結果のエネルギースペクトルＥＳ_２をスペクトル補正部２１に出力する。

スペクトル補正部２１は、エネルギースペクトルＥＳ_１とエネルギースペクトルＥＳ_２との比較に基づいて音声信号ｐ_ｈｉ’の周波数特性を補正する。具体的には、スペクトル補正部２１は、エネルギースペクトルＥＳ_１の包絡が、エネルギースペクトルＥＳ_２と同じ包絡となるように周波数特性を補正する。このとき、スペクトル補正部２１は、予め音声信号補正装置１に設定された選択に応じて、正負両方の補正量、正の補正量のみ、又は、負の補正量のみについて、周波数特性の補正を行う。音声信号補正装置１に制御パラメータが設定されている場合、スペクトル補正部２１は、周波数特性の補正を、制御パラメータの設定値が示す条件に従って行う。つまり、増幅を行う補正の場合はCmpCeilに設定された補正量を上限とし、抑圧を行う補正の場合はCmpFloorに設定された補正量を下限とする。また、スペクトル補正部２１は、CmpThrに設定されたレベル以下の各周波数の成分、及び、NoCmpFreqに設定された周波数帯域以上または以下の帯域には補正を行わない。スペクトル補正部２１は、補正により得られた音声信号ｐ_ｈｉを周波数成分加算部２２に出力する。

周波数成分加算部２２は、ＬＰＦ１３から出力された音声信号ｐ_ｌｏと、スペクトル補正部２１から出力された音声信号ｐ_ｈｉとを加算する。周波数成分加算部２２は、加算により得られた補正音声信号である音声信号ｐ_ｘｉ’を位置情報付与部２３に出力する。なお、音声信号ｐ_ｘｉ’のｉは１以上ｎ−１以下の整数であり、周波数成分加算部２２のｉ回目の加算処理により生成された音声信号である。

位置情報付与部２３は、周波数成分加算部２２から出力された音声信号ｐ_ｘｉ’に位置情報を付加し、音声信号ｐ_ｘｉを生成する。なお、音声信号ｐ_ｘｉ’に既に何らかの位置情報が付与されている場合、位置情報付与部２３は、その位置情報を更新する。位置情報付与部２３は、音声信号ｐ_ｘｉ’に、音声信号ｐ_ｋの位置と音声信号ｐ_ｌの位置との間の位置を示す位置情報を付加する。例えば、位置情報付与部２３は、音声信号ｐ_ｋの位置と音声信号ｐ_ｋの位置の間の重心、又は、音声信号ｐ_ｋの位置と音声信号ｐ_ｋの位置の中心を示す位置を位置情報に設定する。音声信号ｐ_ｋの位置と音声信号ｐ_ｋの位置の間の重心は、音声信号ｐ_ｋの位置と音声信号ｐ_ｌの位置との間を、音声信号ｐ_ｋのエネルギーの大きさと、音声信号ｐ_ｌのエネルギーの大きさとに応じた比率で分割した位置である。位置情報付与部２３は、音声信号ｐ_ｘｉを出力選択部２４に出力する。

出力選択部２４は、記憶部１１から出力指示を受信していない場合、位置情報付与部２３から出力された音声信号ｐ_ｘｉを記憶部１１に出力する。記憶部１１は、音声信号ｐ_ｘｉを記憶する。出力選択部２４は、記憶部１１から出力指示を受信した場合、音声信号ｐ_ｘｊ（ｊ＝ｎ−１）を、音声信号補正装置１の外部に出力する。

上記構成により、選択部１２１は、記憶部１１に記憶される位置情報付き音声信号を入力し、各音声信号の位置情報を取得する。選択部１２１は、音声信号の全ての組み合わせの中から距離が最短の２個の音声信号（ｐ_ｋ，ｐ_ｌ）を選択する。加算部１２２は、選択された音声信号を加算し、加算音声信号（ｐ_ｋ＋ｐ_ｌ）を出力する。記憶部１１は、選択された音声信号（ｐ_ｋ，ｐ_ｌ）を除外する。

ＬＰＦ１３及びＨＰＦ１４は、加算音声信号（ｐ_ｋ＋ｐ_ｌ）を、音声信号（ｐ_ｋ，ｐ_ｌ）の距離に対応した空間エイリアシング周波数を基準として高域成分と低域成分に帯域分割する。低域成分の加算音声信号ｐ_ｌｏはそのまま出力される。また、エネルギースペクトル計算部１５は、高域成分の加算音声信号Ｐ_ｈｉ’をエネルギースペクトルＥＳ_１に変換する。

一方、選択信号出力部１２５は、選択された２個の音声信号（ｐ_ｋ，ｐ_ｌ）を個別に出力する。音声信号（ｐ_ｋ，ｐ_ｌ）はそれぞれＨＰＦ１６、１８によって、空間エイリアシング周波数以上の高域成分が抽出された後、エネルギースペクトル計算部１７、１９によってエネルギースペクトルに変換される。スペクトル加算部２０は、これらのエネルギースペクトルを加算し、エネルギースペクトルＥＳ_２を生成する。

スペクトル補正部２１は、エネルギースペクトルＥＳ_１とエネルギースペクトルＥＳ_２との比較に基づいて加算音声信号ｐ_ｈｉ’の周波数特性を補正し、加算音声信号ｐ_ｈｉを生成する。位置情報付与部２３は、加算音声信号ｐ_ｌｏと加算音声信号ｐ_ｈｉとを加算して得られた音声信号ｐ_ｘｉ’に新しい位置情報を付与し、音声信号ｐ_ｘｉを生成する。記憶部１１は、音声信号ｐ_ｘｉを記憶する。

その後、音声信号補正装置１は、記憶部１１に記憶されている音声信号ｐ_ｋ、ｐ_ｌ以外の位置情報付き音声信号と、音声信号ｐ_ｘｉとに対して、前述の処理を繰り返す。記憶部１１に記憶される音声信号が全て加算されると、記憶部１１は出力指示を出力する。これにより、出力選択部２４は、音声信号ｐ_ｘｊ（ｊ＝ｎ−１）を補正音声信号として出力する。

図３は、図２に示す音声信号補正装置１を用いたダウンミックス装置５のブロック図である。ダウンミックス装置５は、音声信号選択部５１と、１以上の音声信号補正装置１を備える。一般に、ダウンミックス装置５は、入力された複数の音声信号をダウンミックス法に則って変換し、ダウンミックス信号を生成する。音声信号選択部５１は、ｍ個（ｎ＞ｍ）のダウンミックス信号Ａ_１〜Ａ_ｍそれぞれを生成するために、位置情報付き音声信号である音声信号ｐ_１〜ｐ_ｎを入力し、音声信号ｐ_１〜ｐ_ｎに係数を乗算して出力する。例えば、音声信号選択部５１は、音声信号ｐ_１〜ｐ_ｎに、音声信号ｐ_１〜ｐ_ｎのそれぞれに対応した変換係数ａ_ｉを乗算し、１個目の音声信号補正装置１に出力する。１個目の音声信号補正装置１は、変換係数ａ_ｉが乗算された音声信号ｐ_１〜ｐ_ｎを加算し、変換音声としてダウンミックス信号Ａ_１を生成する。同様に、音声信号選択部５１は、音声信号ｐ_１〜ｐ_ｎに、音声信号ｐ_１〜ｐ_ｎのそれぞれに対応した変換係数ａ_ｊを乗算し、２個目の音声信号補正装置１に出力する。２個目の音声信号補正装置１は、変換係数ａ_ｊが乗算された音声信号ｐ_１〜ｐ_ｎを加算し、変換音声としてダウンミックス信号Ａ_２を生成する。このように、ｍ個の各音声信号補正装置１はそれぞれ、音声信号選択部５１により変換係数が乗算された音声信号ｐ_１〜ｐ_ｎを加算し、ダウンミックス信号Ａ_１〜Ａ_ｍを生成する。つまり、ｍ個の音声信号補正装置１のそれぞれに入力される位置情報付き音声信号は、ダウンミックス法により音声信号選択部５１が変換係数を乗算した音声信号ｐ_１〜ｐ_ｎである。

図４は、音声信号補正装置１が実行する音声信号補正処理を示すフローチャートである。
まず、ステップＳ１０５で、記憶部１１は、音声信号補正装置１が入力した位置情報付き音声信号を記憶する。ステップＳ１１０で、選択部１２１は、記憶部１１に記憶される未選択の各音声信号の位置情報を取得する。選択部１２１は、未選択の音声信号の全ての組み合わせについて、取得した位置情報を用いて音声信号間の距離を算出する。ステップＳ１１５で、選択部１２１は、未選択の音声信号の中から、距離が最短の２個の音声信号を選択する。除外部１２３は、選択部１２１が選択した２個の音声信号の除外を指示する既組み合せ信号除外情報を記憶部１１に出力する。記憶部１１は、既組み合せ信号除外情報により指示された音声信号を除外する。

ステップＳ１２０で、分割周波数指示部１２４は、選択された２個の音声信号の間の距離に基づく空間エイリアシング周波数を計算し、ＬＰＦ１３、ＨＰＦ１４、ＨＰＦ１６及びＨＰＦ１８に出力する。ステップＳ１２５で、加算部１２２は、選択された２個の音声信号を加算し、加算音声信号をＬＰＦ１３及びＨＰＦ１４に出力する。ステップＳ１３０で、ＬＰＦ１３及びＨＰＦ１４は、加算音声信号を空間エイリアシング周波数以下の周波数成分と、空間エイリアシング周波数以上の周波数成分とに帯域分割する。

ステップＳ１３５で、ＬＰＦ１３は、加算音声信号の空間エイリアシング周波数以下の成分を補正せずに出力する。ステップＳ１４０で、エネルギースペクトル計算部１５は、加算音声信号の空間エイリアシング周波数以上の成分のエネルギースペクトルを計算する。

一方、ステップＳ１４５で、選択信号出力部１２５は、ステップＳ１１５において選択した２個の音声信号を個別に出力する。ステップＳ１５０で、ＨＰＦ１６及びＨＰＦ１８は、個別に出力された２個の音声信号のそれぞれを、個別に空間エイリアシング周波数以上の成分に帯域分割する。ステップＳ１５５で、エネルギースペクトル計算部１７及びエネルギースペクトル計算部１９は、空間エイリアシング周波数以上の成分に帯域分割された２個の音声信号それぞれのエネルギースペクトルを計算する。ステップＳ１６０で、スペクトル加算部２０は、ステップＳ１５５において個別に計算されたエネルギースペクトルを加算する。

ステップＳ１６５で、スペクトル補正部２１は、ステップＳ１６０において加算されたエネルギースペクトルと、ステップＳ１４０において計算されたエネルギースペクトルとを比較し、空間エイリアシング周波数以上の加算音声信号のエネルギースペクトルの補正値を決定する。ステップＳ１７０で、スペクトル補正部２１は、ステップＳ１６５において決定した補正値により、空間エイリアシング周波数以上の加算音声信号のエネルギースペクトルを補正する。スペクトル補正部２１は、ステップＳ１７０において補正された時間波形を周波数成分加算部２２に出力する。ステップＳ１７５で、周波数成分加算部２２は、スペクトル補正部２１から入力した空間エイリアシング周波数以上の補正された加算音声信号の成分と、ＬＰＦ１３から入力した空間エイリアシング周波数以下の加算音声信号の成分とを加算して新たな音声信号を生成する。

ステップＳ１８０で、位置情報付与部２３は、ステップＳ１７５において生成された音声信号に位置情報を付与する。出力選択部２４は、記憶部１１に加算前の音声信号が残っている場合は（ステップＳ１８５：ＹＥＳ）、ステップＳ１８０において位置情報を付与した音声信号を記憶部１１に入力する。ステップＳ１９０で、記憶部１１は、入力した音声信号を記憶する。音声信号補正装置１は、ステップＳ１１５からの処理を、記憶部１１の加算前の音声信号のすべての処理が終了するまで繰り返す。

そして、音声信号補正装置１が記憶部１１に記憶される音声信号を全て選択して加算した場合(ステップＳ１８５：ＮＯ）、出力選択部２４は、ステップＳ１９５の処理を行う。ステップＳ１９５で、出力選択部２４は、位置情報付与部２３が最後に位置情報を付与した音声信号を、補正音声信号として出力する。

なお、本実施形態が対象としている三次元の位置を示す位置情報を有する音声信号は、オブジェクトベース音響における音声オブジェクトのみならず、マルチチャンネル音響の各チャンネルをも対象とすることは、言うまでもない。さらに、マルチチャンネル音響の各チャンネルの三次元の位置情報は、制作された環境のスピーカの設置場所であっても構わないし、予め定められた既定値でも構わない。また、各音声信号に適宜係数を与えてから加算する場合にも、本実施形態に適応可能であることは言うまでもない。

なお、上記においては、分割周波数指示部１２４は、ＬＰＦ１３及びＨＰＦ１４、１６、１８に設定する周波数を、加算対象として選択した音声信号間の距離に応じた空間エイリアシング周波数としているが、加算する音声信号間の距離に応じて予め決められた０Ｈｚ以上の任意の周波数としてもよい。

また、分割周波数指示部１２４は、加算対象として選択された音声信号間の距離に応じた空間エイリアシング周波数を都度ＬＰＦ１３及びＨＰＦ１４、１６、１８に設定しているが、加算対象として選択した音声信号に依らずに０Ｈｚ以上の同一の周波数を設定してもよい。この場合に設定する周波数は、音声信号ｐ_１〜ｐ_ｎの全ての組み合わせの距離のうち、最も長い音声信号間の距離に応じた空間エイリアシング周波数、又は、その距離に応じて予め決められた任意の周波数である。なお、音声信号ｐ_１〜ｐ_ｎの全ての組み合わせの距離のうち、任意の音声信号間の距離に応じた空間エイリアシング周波数、又は、その距離に応じて予め決められた任意の周波数を用いてもよい。なお、加算対象として選択した音声信号に依らずにＬＰＦ１３及びＨＰＦ１４、１６、１８に０Ｈｚを設定することは、加算音声信号を周波数分割せずに、加算音声信号全体の周波数特性を補正することに相当する。

また、上記においては、選択部１２１は、記憶部１１に記憶される音声信号の組み合わせのうち、最も距離が短い音声信号の組み合わせを加算対象として選択しているが、選択する音声信号の組み合わせを任意としてもよい。例えば、選択部１２１は、記憶部１１に記憶される音声信号の組み合わせのうち、最も距離が長い音声信号の組み合わせを選択してもよい。音声信号の組み合わせの選択順は、例えば、音声信号においてエネルギーが大きな周波数帯などに応じて決めることができる。

（第２の実施形態）
第１の実施形態において、音声信号補正装置１は、空間エイリアシング周波数で加算音声信号を分離し、空間エイリアシング周波数以下の低域成分の加算音声信号ｐ_ｌｏと空間エイリアシング周波数以上の高域成分の補正された加算音声信号ｐ_ｈｉとを加算していた。第２の実施形態において、音声信号補正装置１ａは、低域成分の加算音声信号ｐ_ｌｏと、高域成分の補正された加算音声信号ｐ_ｈｉとを、周波数軸上のクロスフェードによって合成する。以下、第１の実施形態と異なる構成を中心に本実施形態を説明する。

図５は、第２の実施形態のよる音声信号補正装置１ａの構成を示す機能ブロック図である。同図において、図２に示す第１の実施形態による音声信号補正装置１と同一の部分には同一の符号を付し、その説明を省略する。音声信号補正装置１ａと、第１の実施形態の音声信号補正装置１とが異なる点は、ＬＰＦ１３、ＨＰＦ１４、ＨＰＦ１６、ＨＰＦ１８及び周波数成分加算部２２に代えて、フィルタ部２１３、フィルタ部２１４、フィルタ部２１６、フィルタ部２１８及び周波数成分加算部２２２を備える点である。

フィルタ部２１３は、加算音声信号（ｐ_ｋ＋ｐ_ｌ）を入力し、空間エイリアシング周波数に所定の周波数Δｆを加算した周波数よりも低域成分の加算音声信号ｐ_ｌｏを通過させる。フィルタ部２１４は、加算音声信号（ｐ_ｋ＋ｐ_ｌ）を入力し、空間エイリアシング周波数から所定の周波数Δｆを減算した周波数よりも高域成分の加算音声信号ｐ_ｈｉ’を出力する。フィルタ部２１６は、音声信号ｐ_ｋを入力し、空間エイリアシング周波数から所定の周波数Δｆを減算した周波数よりも高域成分を出力する。フィルタ部２１８は、音声信号ｐ_ｌを入力し、空間エイリアシング周波数から所定の周波数Δｆを減算した周波数よりも高域成分を出力する。周波数成分加算部２２２は、低域成分の加算音声信号ｐ_ｌｏと、高域成分の加算音声信号ｐ_ｈｉとを、周波数軸上でクロスフェードすることにより合成する。

図６は、クロスフェードにより各音声信号を加算するときのフィルタ係数の一例を示す図である。図５に示す音声信号補正装置１ａの周波数成分加算部２２２は、図６に示すフィルタ係数α１を低域成分の加算音声信号ｐ_ｌｏに乗じた値と、フィルタ係数α２を高域成分の加算音声信号ｐ_ｈｉに乗じた値とを加算し、第１の実施形態と同様の処理により音声信号Ｐ_ｘｉ’を合成する。フィルタ係数α１は、（空間エイリアシング周波数−Δｆ）より低い周波数以下は１、（空間エイリアシング周波数＋Δｆ）より高い周波数は０であり、（空間エイリアシング周波数−Δｆ）から（空間エイリアシング周波数+Δｆ）の間は傾き−１／２Δｆの直線上の値である。フィルタ係数α２は、（空間エイリアシング周波数−Δｆ）より低い周波数以下は０、（空間エイリアシング周波数＋Δｆ）より高い周波数は１であり、（空間エイリアシング周波数−Δｆ）から（空間エイリアシング周波数+Δｆ）の間は傾き１／２Δｆの直線上の値である。

これにより、低域成分の加算音声信号ｐ_ｌｏと高域成分の補正された加算音声信号ｐ_ｈｉとを加算して得られた音声信号が、空間エイリアシング周波数の付近で不連続とならないようにすることができる。

（第３の実施形態）
第２の実施形態の音声信号補正装置１ａは、低域成分の加算音声信号と、高域成分の加算音声信号とを加算する周波数成分加算部２２２において、周波数軸上のクロスフェードによる合成を行っていた。本実施形態では、周波数軸上のクロスフェードによる合成が行えるように、加算音声信号を高域成分と低域成分とに分離したうえで加算された音声信号を補正する。以下では、第１の実施形態との差分を中心に本実施形態を説明する。

図７は、第３の実施形態のよる音声信号補正装置１ｂの構成を示す機能ブロック図である。同図において、図２に示す第１の実施形態による音声信号補正装置１と同一の部分には同一の符号を付し、その説明を省略する。音声信号補正装置１ｂと、第１の実施形態の音声信号補正装置１とが異なる点は、ＬＰＦ１３、ＨＰＦ１４、ＨＰＦ１６及びＨＰＦ１８に代えて、フィルタ部３１３、フィルタ部３１４、フィルタ部３１６及びフィルタ部３１８を備える点である。

フィルタ部３１３は、加算音声信号（ｐ_ｋ＋ｐ_ｌ）に図６に示すフィルタ係数α１を乗算して出力する。フィルタ部３１４は、加算音声信号（ｐ_ｋ＋ｐ_ｌ）に図６に示すフィルタ係数α２を乗算して出力する。フィルタ部３１６は、音声信号ｐ_ｋに図６に示すフィルタ係数α２を乗算して出力する。フィルタ部３１８は、音声信号ｐ_ｌに図６に示すフィルタ係数α２を乗算して出力する。これにより、周波数成分加算部２２が、フィルタ部３１３から出力された低域成分の加算音声信号ｐ_ｌｏと、スペクトル補正部２１でスペクトルが補正された高域成分の加算音声信号ｐ_ｈｉとをそのまま加算しても、周波数軸上のクロスフェードによる合成が行われる。

（第４の実施形態）
第１〜第３の実施形態では、加算音声信号の高域成分のみを補正している。本実施形態では、加算音声信号の全体の周波数特性を補正する。つまり、本実施形態では、第１の実施形態において、ＬＰＦ１３及びＨＰＦ１４、１６、１８に０Ｈｚを設定する場合と同様に音声信号を補正する。以下では、第１の実施形態との差分を中心に本実施形態を説明する。

図８は、第４の実施形態による音声信号補正装置１ｃの構成を示す機能ブロック図である。同図において、図２に示す第１の実施形態による音声信号補正装置１と同一の部分には同一の符号を付し、その説明を省略する。音声信号補正装置１ｃは、記憶部１１と、音声信号変換部４１２と、エネルギースペクトル計算部４１５と、エネルギースペクトル計算部４１７と、エネルギースペクトル計算部４１９と、スペクトル加算部２０と、スペクトル補正部４２１と、位置情報付与部２３と、出力選択部２４とを備える。音声信号変換部４１２は、複数の音声信号を加算することにより、変換された音声信号を生成する。音声信号変換部４１２は、選択部１２１と、加算部１２２と、除外部１２３と、選択信号出力部１２５とを備える。

加算部１２２は、選択部１２１が選択した音声信号を加算した結果の加算音声信号（ｐ_ｋ＋ｐ_ｌ）出力する。エネルギースペクトル計算部４１５は、加算音声信号（ｐ_ｋ＋ｐ_ｌ）を、エネルギースペクトルＥＳ_１に変換する。一方、選択信号出力部１２５は、選択された２個の音声信号（ｐ_ｋ，ｐ_ｌ）を個別に出力する。エネルギースペクトル計算部４１７は音声信号ｐ_ｋをエネルギースペクトルに変換し、エネルギースペクトル計算部４１９は音声信号ｐ_ｌをエネルギースペクトルに変換する。スペクトル加算部２０は、音声信号ｐ_ｋのエネルギースペクトルと音声信号ｐ_ｌのエネルギースペクトルとを加算し、エネルギースペクトルＥＳ_２を生成する。スペクトル補正部２１は、エネルギースペクトルＥＳ_１とエネルギースペクトルＥＳ_２との比較に基づいて加算音声信号（ｐ_ｋ＋ｐ_ｌ）の周波数特性を補正する。具体的には、スペクトル補正部２１は、エネルギースペクトルＥＳ_１の包絡が、エネルギースペクトルＥＳ_２と同じ包絡となるように周波数特性を補正する。スペクトル補正部４２１は、補正により得られた音声信号ｐ_ｘｉ’を位置情報付与部２３に出力する。

このように、音声信号補正装置１ｃは、加算部１２２により加算された音声信号を周波数で分離することなく、加算前の２個の音声信号のエネルギースペクトルの和に基づいて、加算された音声信号を補正する。

以上説明した実施形態によれば、音声信号補正装置において、音声信号変換部は、複数の音声信号を加算することにより、変換された音声信号を生成する。補正部は、変換前の音声信号それぞれの周波数特性の和を規準として、変換後の音声信号の周波数特性を補正する。周波数特性には、エネルギースペクトルを用いることができる。また、補正部は、変換後の音声信号における所定の周波数以上の高域成分のみを補正してもよい。所定の周波数は、０Ｈｚ以上の任意の周波数とすることができる。

また、音声信号補正装置は、変換後の音声信号を所定の周波数に基づいて高域成分と低域成分に分離し、補正部により補正された変換後の音声信号の高域成分と、変換後の音声信号の補正されていない低域成分とを合成してもよい。音声信号補正装置は、この合成を、周波数軸上のクロスフェードによって行ってもよい。

上述した実施形態によれば、複数の音声信号が加算された音声信号を、制作意図に合わせた音声信号に補正することが可能となる。

なお、上述の音声信号補正装置１、１ａ、１ｂ、１ｃは、内部にコンピュータシステムを有している。そして、音声信号補正装置１、１ａ、１ｂ、１ｃの動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいうコンピュータシステムとは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１、１ａ、１ｂ、１ｃ…音声信号補正装置
５…ダウンミックス装置
１１…記憶部
１２、４１２…音声信号変換部
１３…ＬＰＦ（ローパスフィルタ）
１４、１６、１８…ＨＰＦ（ハイパスフィルタ）
１５、１７、１９、４１５、４１７、４１９…エネルギースペクトル計算部
２０…スペクトル加算部
２１、４２１…スペクトル補正部
２２、２２２…周波数成分加算部
２３…位置情報付与部
２４…出力選択部
５１…音声信号選択部
１２１…選択部
１２２…加算部
１２３…除外部
１２４…分割周波数指示部
１２５…選択信号出力部
２１３、２１４、２１６、２１８、３１３、３１４、３１６、３１８…フィルタ部

Claims (7)

1. 複数の音声信号を加算することにより、変換された音声信号を生成する音声信号変換部と、
   変換前の前記音声信号それぞれの周波数特性の和を規準として、変換後の前記音声信号の周波数特性を補正する補正部と、を備え、
   前記補正部は、変換後の前記音声信号における所定の周波数以上の高域成分を補正する、
   ことを特徴とする音声信号補正装置。
2. 変換後の前記音声信号を前記所定の周波数に基づいて高域成分と低域成分に分離する分離部と、
   前記補正部により補正された変換後の前記音声信号の高域成分と、変換後の前記音声信号の補正されていない低域成分とを、周波数軸上のクロスフェードによって合成する合成部とをさらに備え、
   前記補正部は、前記分離部により分離された変換後の前記音声信号の高域成分を補正する、
   ことを特徴とする請求項１に記載の音声信号補正装置。
3. 前記音声信号変換部は、
   記憶部に記憶される複数の音声信号のうち未選択の２個の音声信号を選択する選択部と、
   前記選択部が選択した２個の前記音声信号を前記記憶部から選択済みとして除外する除外部と、
   前記選択部が選択した２個の前記音声信号を加算する加算部とを備え、
   該音声信号補正装置は、
   前記加算部により加算された前記音声信号を前記所定の周波数に基づいて高域成分と低域成分に分離する分離部と、
   前記補正部により補正された加算された前記音声信号の高域成分と、加算された前記音声信号の補正されていない低域成分とを合成する合成部と、
   前記選択部により選択された２個の前記音声信号に付加される位置情報に基づいて前記合成部により合成された前記音声信号に位置情報を付与する位置情報付与部と、
   前記記憶部に未選択の音声信号が記憶されている場合は、前記位置情報付与部により前記位置情報が付与された前記音声信号を前記記憶部に記憶させ、前記記憶部に未選択の音声信号が記憶されていない場合は、前記位置情報付与部により前記位置情報が付与された前記音声信号を出力する出力選択部とをさらに備える、
   ことを特徴とする請求項１に記載の音声信号補正装置。
4. 前記選択部は、複数の前記音声信号のうち前記音声信号に付加されている位置情報に基づいて算出された距離が最も短い２個の音声信号の組み合わせを選択する、
   ことを特徴とする請求項３に記載の音声信号補正装置。
5. 前記所定の周波数は、変換された前記音声信号を生成するために加算された前記音声信号それぞれに付与された位置情報が示す位置間の距離に基づいて決定される、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の音声信号補正装置。
6. 前記所定の周波数は、加算前の前記音声信号それぞれに付与された位置情報が示す位置間の距離に基づく空間エイリアシング周波数である、
   ことを特徴とする請求項１から請求項４のいずれか一項に記載の音声信号補正装置。
7. コンピュータを、請求項１から請求項６のいずれか一項に記載の音声信号補正装置として機能させるプログラム。

Images