JP5991115B2 - 音声マスキングのための方法、装置およびプログラム - Google Patents

Description

本発明は、話者により発声された音声の内容が、他人に漏れ聞こえることを防止するための音声マスキングの技術に関する。

公共の場で行われる会話の内容を他人に聞かれたくない場合がある。そのため、公共の場に音を放音することにより、他人が会話の内容を聞き取りにくくする音声マスキング（以下、単に「マスキング」と呼ぶ）と呼ばれる技術がある。本願においては、マスキングする音をマスカー音、マスカー音を表す信号をマスカー音信号、マスキングされる音をターゲット音、ターゲット音を表す信号をターゲット音信号、とそれぞれ呼ぶこととする。また、マスカー音信号の生成において素材として用いる音信号をソース音信号と呼ぶこととする。

例えば、ホワイトノイズのようにターゲット音との間に周波数特性の相関性が低い音をマスカー音として用いる場合は、ターゲット音との間に周波数特性の相関性が高い音をマスカー音として用いる場合と比較して、小さい音圧レベルで同等のマスキング効果が得られることが知られている。従って、人の音声をマスキングするために、人の音声を示す音信号を用いてマスカー音信号の生成を行う技術が提案されている。

例えば、特許文献１には、人の音声を表す音信号の配列順を変更してマスカー音信号を生成する過程において、マスカー音信号の音量の時間変動を所定範囲内にするノーマライズ処理を実行する技術が提案されている。特許文献１の技術によれば、ノーマライズ処理を施さないマスカー音よりも聴者にとって不自然なアクセントが感じ難いマスカー音が得られる。

特開２０１１−１５４１４０号公報

人の音声を表す音信号は、例えばホワイトノイズと比較し振幅の変化が大きい。従って、人の音声を表す音信号をソース音信号として用いて生成されたマスカー音信号に従いマスカー音が放音される場合、特段の対策が講じられなければ、マスカー音の音量レベルがターゲット音のマスキングに必要な音量レベルに達しない期間（以下、この期間を「隙間期間」と呼ぶ）が生じ得る。隙間期間においては会話の内容が他人に漏れ聞こえる可能性があるため、マスカー音には隙間期間が少ない方が望ましい。

隙間期間の少ないマスカー音を生成する方法として、人の音声を表すソース音信号を複数、加算する方法がある。複数のソース音信号が加算されたマスカー音信号においては、全てのソース音信号の隙間期間が偶然に同じタイミングで重ならない限り、隙間期間は生じにくい。従って、加算するソース音信号の数をある程度以上に増加させることで、実質的に隙間期間を持たないマスカー音信号を生成可能である。

複数のソース音信号を加算してマスカー音信号を生成する場合、加算するソース音信号の数を増やす程、マスカー音信号における隙間期間の発生確率が低下すると同時に、マスカー音信号の非定常性も低下する。マスカー音信号の非定常性が低下すると、マスカ−音から音声のような非定常性の大きいターゲット音を聞き取りやすくなるため、ターゲット音に対して同等のマスキング効果を得るために必要な音圧レベルが大きくなる。マスカー音の音圧レベルが大きいと聴者にとって耳障りとなるので、聴者の快適性の観点からは、マスカー音信号の生成において加算するソース音信号の数は少ない方が望ましい。

また、隙間期間の少ないマスカー音信号を生成する他の方法として、人の音声を表すソース音信号を音節の長さより短い時間長のセグメントに分割し、パワーが一定の範囲にあるセグメントを選択して、これら選択したセグメントの順序を入れ替えて連結することによりマスカー音信号を生成する方法がある。この場合、セグメントの長さを短くする程、マスカー音信号の所定時間内における平均的な音圧レベルが一定値以上となる確率が高まり、隙間期間の少ないマスカー音信号が得られる。

ソース音信号を音節の長さ以下の短時間のセグメントに分割し順序を入れ替えて連結して生成されたマスカー音信号が表す音は、通常の音声よりも短時間で次々と音節が変化する音と似た音となり、聴者には話速の速い音声のように聞こえ耳障りとなるので、聴者の快適性の観点からは望ましくない。

このような事情に鑑み、本発明は、従来技術による場合と比較して、聴者にとっての快適性を損なうことなく、隙間期間の発生確率が低いマスカー音の提供を目的とする。

上述した課題を解決するために本発明は、マスキングされる音に対応するモデル音信号を取得するモデル音信号取得手段と、前記モデル音信号の大きさの指標値を算出するモデル音指標値算出手段と、マスキングする音を表すマスカー音信号を生成するためのソース音信号を取得するソース音信号取得手段と、前記ソース音信号を所定の時間長の複数のフレームに分割し、当該複数のフレーム毎の音信号の大きさの指標値を算出するソース音指標値算出手段と、前記モデル音指標値算出手段が算出した指標値と前記ソース音指標値算出手段が算出した指標値とを用いて、前記ソース音信号の１以上のフレームが表す音がマスキングする性能の指標値を算出するマスキング性能算出手段と、前記マスキング性能算出手段が算出した指標値に基づき、前記ソース音信号の複数のフレームの中から複数のフレームを選択するフレーム選択手段と、前記フレーム選択手段が選択した複数のフレームを時間軸上で連結して、前記マスカー音信号を生成するフレーム連結手段とを備えるマスカー音信号の生成装置を提供する。

上記のマスカー音信号の生成装置において、前記モデル音指標値算出手段は、前記モデル音信号を所定の時間長の複数のフレームに分割し、当該複数のフレーム毎の音信号の大きさの指標値を算出し、当該算出した指標値のうち最大値を前記モデル音信号の大きさの指標値とする、という構成にしてもよい。

また、上記のマスカー音信号の生成装置において、前記モデル音指標値算出手段は、２以上の周波数帯域の各々に関し、前記モデル音信号の大きさの指標値を算出し、前記ソース音指標値算出手段は、前記２以上の周波数帯域の各々に関し、前記複数のフレーム毎の音信号の大きさの指標値を算出し、前記マスキング性能算出手段は、前記２以上の周波数帯域の各々に関し、前記モデル音指標値算出手段が算出した指標値と前記ソース音指標値算出手段が算出した指標値とを用いて、当該周波数帯域に関する前記性能の指標値を算出する、という構成にしてもよい。

また、上記のマスカー音信号の生成装置において、前記マスキング性能算出手段は、前記２以上の周波数帯域の各々に関し、所定の閾値を超えないように前記性能の指標値を算出する、という構成にしてもよい。

また、上記のマスカー音信号の生成装置において、前記ソース音信号の複数のフレームの中から選択された複数のフレームを加算し加算フレームを生成する加算手段を備え、
前記マスキング性能算出手段は、前記加算手段が生成する加算フレームが表す音がマスキングする性能を示す前記性能の指標値を算出する、という構成にしてもよい。

また、上記のマスカー音信号の生成装置において、前記ソース音信号の複数のフレームのうちの１以上のフレームの音量レベルを増減する増減手段を備え、前記マスキング性能算出手段は、前記増減手段により音量レベルの増減の行われたフレームが表す音がマスキングする性能を示す前記性能の指標値を算出する、という構成にしてもよい。

また、上記のマスカー音信号の生成装置において、前記フレーム連結手段が生成したマスカー音信号に従い放音を行う放音手段を備える、という構成にしてもよい。

また、本発明は、マスキングされる音に対応するモデル音信号を取得するステップと、前記モデル音信号の大きさの指標値を算出するステップと、マスキングする音を表すマスカー音信号を生成するためのソース音信号を取得するステップと、前記ソース音信号を所定の時間長の複数のフレームに分割し、当該複数のフレーム毎の音信号の大きさの指標値を算出するステップと、前記モデル音信号の大きさの指標値と、前記ソース音信号の前記複数のフレーム毎の音信号の大きさの指標値とを用いて、前記ソース音信号の１以上のフレームが表す音がマスキングする性能の指標値を算出するステップと、前記性能の指標値に基づき、前記ソース音信号の複数のフレームの中から複数のフレームを選択するステップと、前記選択した複数のフレームを時間軸上で連結して、前記マスカー音信号を生成するステップとを備えるマスカー音信号の生成方法を提供する。

また、本発明は、上記の生成方法により生成されたマスカー音信号に従い放音を行う放音手段を備えるマスカー音の放音装置を提供する。

また、本発明は、コンピュータに、マスキングされる音に対応するモデル音信号を取得する処理と、前記モデル音信号の大きさの指標値を算出する処理と、マスキングする音を表すマスカー音信号を生成するためのソース音信号を取得する処理と、前記ソース音信号を所定の時間長の複数のフレームに分割し、当該複数のフレーム毎の音信号の大きさの指標値を算出する処理と、前記モデル音信号の大きさの指標値と、前記ソース音信号の前記複数のフレーム毎の音信号の大きさの指標値とを用いて、前記ソース音信号の１以上のフレームが表す音がマスキングする性能の指標値を算出する処理と、前記性能の指標値に基づき、前記ソース音信号の複数のフレームの中から複数のフレームを選択する処理と、前記選択した複数のフレームを時間軸上で連結して、マスカー音信号を生成する処理とを実行させるマスカー音信号の生成のためのプログラムを提供する。

本発明によれば、ソース音信号を所定の時間長に分割した複数のフレームが時間軸上で連結されてマスカー音信号が生成される。その際、モデル音信号の大きさの指標値とソース音信号のフレームの大きさの指標値とを用いて、当該フレームが表す音がモデル音をマスキングする性能を示す指標値が算出され、当該性能の指標値に基づき決定されたフレームがマスカー音信号の生成に用いられる。その結果、従来技術による場合と比較して、マスキング性能の優れたマスカー音が提供される。

本発明の第１実施形態にかかるマスカー音放音装置が使用される状況を模式的に示した図である。 本発明の第１実施形態にかかるマスカー音放音装置のハードウェア構成を模式的に示した図である。 本発明の第１実施形態にかかるマスカー音放音装置の機能構成を模式的に示した図である。 本発明の第１実施形態にかかるマスカー音信号生成装置がマスカー音信号を生成する際の処理フローの概要を示す図である。 本発明の第１実施形態にかかるマスカー音信号生成装置の機能構成を模式的に示した図である。 本発明の第１実施形態にかかるマスカー音信号生成装置がモデル音指標値を算出する処理を示したフロー図である。 本発明の第１実施形態にかかるマスカー音信号生成装置がモデル音信号からフレームを生成する様子を示した図である。 本発明の第１実施形態にかかるマスカー音信号生成装置が生成するデータを模式的に示した図である。 本発明の第１実施形態にかかるマスカー音信号生成装置がソース音指標値を算出する処理を示したフロー図である。 本発明の第１実施形態にかかるマスカー音信号生成装置が採用ブロックを決定する処理を示したフロー図である。 本発明の第１実施形態にかかるマスカー音信号生成装置が算出する性能指標値の概念を模式的に示した図である。 本発明の第１実施形態にかかるマスカー音信号生成装置が採用ブロックを決定する処理を示したフロー図である。 本発明の第１実施形態にかかるマスカー音信号生成装置が算出する性能指標値の概念を模式的に示した図である。 本発明の第１実施形態にかかるマスカー音信号生成装置が採用ブロックを決定する処理を示したフロー図である。 本発明の第１実施形態にかかるマスカー音信号生成装置が採用ブロックを決定する処理を示したフロー図である。 本発明の第１実施形態にかかるマスカー音信号生成装置がマスカー音信号を生成を示したフロー図である。 本発明の第２実施形態にかかるマスカー音放音装置が使用される状況を模式的に示した図である。 本発明の第２実施形態にかかるマスカー音放音装置の機能構成を模式的に示した図である。 本発明の第２実施形態にかかるマスカー音放音装置がマスカー音信号の生成に際し集音信号のいずれの部分をモデル音信号およびソース音信号として用いるかを説明するための図である。 本発明の第３実施形態にかかるマスカー音信号生成装置が使用される状況を模式的に示した図である。 本発明の第３実施形態にかかるマスカー音信号生成装置の機能構成を模式的に示した図である。

［第１実施形態］
図１は、本発明の第１実施形態にかかるマスカー音放音装置１１が使用される状況を模式的に示した図である。音空間ＳＰは例えば医療機関のロビーであり、受付デスクＤＫを挟んで医療スタッフＡと患者Ｂが会話している。音空間ＳＰには患者Ｂと無関係な来院者Ｃがいる。医療スタッフＡと患者Ｂとの間の会話には秘匿すべき個人情報が含まれる場合があるため、その会話の内容が来院者Ｃに漏れ聞こえることは望ましくない。そのような会話の漏れ聞こえを防止するために、音空間ＳＰ内にはマスカー音を放音するマスカー音放音装置１１が配置されている。

図２は、マスカー音放音装置１１のハードウェア構成を模式的に示した図である。マスカー音放音装置１１は、各種制御処理を行うＣＰＵ１０１、ＣＰＵ１０１に対する処理を指示するプログラムやマスカー音信号などを記憶するＲＯＭ１０２、ＣＰＵ１０１がワーキングエリアとして一時的に各種データを記憶するために用いるＲＡＭ１０３、デジタルデータとしてＲＯＭ１０２に記憶されているマスカー音信号をアナログ信号に変換するＤ／Ａコンバータ１０４、アナログ信号に変換されたマスカー音信号をスピーカ駆動レベルまで増幅するアンプ１０５、スピーカ駆動レベルまで増幅されたマスカー音信号に従いマスカー音を放音するスピーカ１０６を備えている。

図３は、マスカー音放音装置１１の機能構成を模式的に示した図である。すなわち、図２に示したマスカー音放音装置１１のハードウェア構成は、ＲＯＭ１０２に記憶されたプログラムに従うＣＰＵ１０１の制御の下で動作する結果、図３に示す構成部を備える装置として機能する。具体的には、マスカー音放音装置１１はその機能構成部として、マスカー音信号を記憶する記憶手段１１１と、記憶手段１１１に記憶されているマスカー音信号に従いマスカー音を放音する放音手段１１２を備えている。マスカー音放音装置１１の記憶手段１１１に記憶されているマスカー音信号は、本実施形態にかかるマスカー音信号生成装置１２によって生成される。

図４は、マスカー音放音装置１１に記憶されているマスカー音信号をマスカー音信号生成装置１２が生成する際の処理フローの概要を示す図である。まず、マスカー音信号生成装置１２は、ターゲット音に対応する音であるモデル音を表すモデル音信号Ｍの大きさの指標値であるモデル音指標値を算出する（ステップＳ００１）。モデル音は、マスカー音信号生成装置１２がマスカー音信号を生成する際、生成するマスカー音信号が表すマスカー音がターゲット音をマスキングする性能を評価するために、ターゲット音とみなして用いる音である。

なお、モデル音を表すモデル音信号Ｍの具体的な内容は後述するが、本実施形態においては、属性の異なる複数の人が各々文章を読み上げた音を収音し予め記憶したものが、モデル音信号Ｍとして用いられる。一方、第２実施形態及び第３実施形態においては、マスカー音信号の生成時に音空間ＳＰで実際に会話される音（ターゲット音）をリアルタイムに収音したものが、モデル音信号Ｍとして用いられる。

次に、マスカー音信号生成装置１２は、４つの異なるソース音信号であるソース音信号Ｓ１〜Ｓ４の各々に関し、ソース音信号を所定の時間長（例えば、１７０ｍｓ）で分割して得られる複数のフレームの各々の大きさの指標値であるソース音指標値を算出する（ステップＳ００２−１〜Ｓ００２−４）。なお、ソース音信号Ｓ１〜Ｓ４の各々に関するソース音指標値の算出の処理であるステップＳ００２−１〜Ｓ００２−４はいずれも同じ処理であるので、これらを区別しない場合は単にステップＳ００２という。また、ソース音信号Ｓ１〜Ｓ４の各々を区別しない場合は単にソース音信号Ｓという。

続いて、マスカー音信号生成装置１２は、ソース音信号Ｓ１から連続する所定数（例えば、８個）のフレームを１つのブロックとして、先頭から１フレームずつずらしながら、マスカー音信号の生成に用いる候補のブロックとして順次複数取り出す（以下、このようにマスカー音信号の生成に用いる候補としてソース音信号Ｓから取り出されるブロックを「候補ブロック」という）。そして、順次複数取り出したこれらの候補ブロックの各々に関し、候補ブロックに含まれるフレームの各々に関し、ソース音指標値を算出する。次に、算出したソース音指標値とモデル音指標値とを用いて、後述する所定の算出式に従い性能指標値を算出する。ここで、性能指標値とは、候補ブロックを用いて生成される音信号が表す音が、モデル音（マスカー音信号の生成時にターゲット音とみなして用いられる音）をマスキングする性能の指標値であって、具体的には、音声の周波数帯域の全域に渡るモデル音とソース音のパワーの差の指標値である。従って、本実施形態における性能指標値は、その数値が小さい程、ソース音のパワーの特性がモデル音のパワーの特性に近似し、マスキングの性能が高いことを示す。マスカー音信号生成装置１２は、この性能指標値が最小となる１つの候補ブロックをソース音信号Ｓ１からマスカー音信号の生成に採用するブロックとして決定する（以下、マスカー音信号の生成に採用するブロックとして決定されたブロックを「採用ブロック」という）（ステップＳ００３）。

続いて、マスカー音信号生成装置１２はソース音信号Ｓ１に関して行なったステップＳ００３と同様の処理を、ソース音信号Ｓ２に関して行なう（ステップＳ００４）。すなわち、ソース音信号Ｓ２から連続する８個のフレームを先頭から１フレームずつずらしながら候補ブロックとして順次複数取り出し、それらの候補ブロックの各々に関し、候補ブロックに含まれるフレームの各々のソース音指標値を算出する。次に、算出した候補ブロックに含まれるフレームの各々のソース音指標値と、ステップＳ００３において決定したソース音信号Ｓ１からの採用ブロックに含まれるフレームの各々のソース音指標値と、モデル音指標値とを用いて、後述する所定の算出式に従い性能指標値を算出する。マスカー音信号生成装置１２は、算出した性能指標値が最小となる１つの候補ブロックをソース音信号Ｓ２からの採用ブロックとして決定する。

続いて、マスカー音信号生成装置１２はステップＳ００３において決定したソース音信号Ｓ１からの採用ブロックと、ステップＳ００４において決定したソース音信号Ｓ２からの採用ブロックを加算して加算ブロック（以下、「２ソースの加算ブロック」という）を生成し、この２ソースの加算ブロックに含まれるフレームの各々に関し大きさの指標値を算出する（ステップＳ００５）。以下、加算ブロックに含まれるフレームの大きさの指標値もソース音指標値というものとする。

続いて、マスカー音信号生成装置１２はソース音信号Ｓ２に関して行なったステップＳ００４と同様の処理を、ソース音信号Ｓ３に関して行なう（ステップＳ００６）。すなわち、ソース音信号Ｓ３から連続する８個のフレームを先頭から１フレームずつずらしながら候補ブロックとして順次複数取り出し、それらの候補ブロックの各々に関し、候補ブロックに含まれるフレームの各々のソース音指標値を算出する。次に、算出した候補ブロックに含まれるフレームの各々のソース音指標値と、ステップＳ００５において生成した２ソースの加算ブロックに含まれるフレームの各々のソース音指標値と、モデル音指標値とを用いて、後述する所定の算出式に従い性能指標値を算出する。マスカー音信号生成装置１２は算出した性能指標値が最小となる候補ブロックをソース音信号Ｓ３からの採用ブロックとして決定する。

続いて、マスカー音信号生成装置１２はステップＳ００５において生成した２ソースの加算ブロックと、ステップＳ００６において決定したソース音信号Ｓ３からの採用ブロックを加算して新たな加算ブロック（以下、「３ソースの加算ブロック」という）を生成し、この３ソースの加算ブロックに含まれるフレームの各々のソース音指標値を算出する（ステップＳ００７）。

続いて、マスカー音信号生成装置１２はソース音信号Ｓ３に関し行なったステップＳ００６と同様の処理を、ソース音信号Ｓ４に関し行なう（ステップＳ００８）。すなわち、ソース音信号Ｓ４から連続する８個のフレームを先頭から１フレームずつずらしながら候補ブロックとして順次複数取り出し、それらの候補ブロックの各々に関し、候補ブロックに含まれるフレームの各々のソース音指標値を算出する。次に、算出した候補ブロックに含まれるフレームの各々のソース音指標値と、ステップＳ００７において生成した３ソースの加算ブロックに含まれるフレームの各々のソース音指標値と、モデル音指標値とを用いて、後述する所定の算出式に従い性能指標値を算出する。マスカー音信号生成装置１２は算出した性能指標値が最小となる候補ブロックをソース音信号Ｓ４からの採用ブロックとして決定する。

続いて、マスカー音信号生成装置１２はステップＳ００７において生成した３ソースの加算ブロックと、ステップＳ００８において決定したソース音信号Ｓ４からの採用ブロックを加算して新たな加算ブロック（以下、「４ソースの加算ブロック」という）を生成する（ステップＳ００９）。

続いて、マスカー音信号生成装置１２は過去のステップＳ００９において生成した４ソースの加算ブロックの数が所定数に達したか否かを判定する（ステップＳ０１０）。４ソースの加算ブロックの数が所定数（例えば、１２６個）に達していない場合（ステップＳ０１０；Ｎｏ）、マスカー音信号生成装置１２は処理をステップＳ００３に戻し、ステップＳ００３以降の処理を繰り返す。

その際、マスカー音信号生成装置１２は過去の一定期間内に採用ブロックとして決定したブロックに含まれるフレームを含む候補ブロックを、ステップＳ００３、Ｓ００４、Ｓ００６、Ｓ００８における採用ブロックの選択肢から除外する。従って、これらのステップにおいて、過去の一定期間内に採用ブロックとして決定された候補ブロックが再度重複して採用ブロックとして決定されることはない。

過去のステップＳ００９において生成した４ソースの加算ブロックの数が所定数に達した場合（ステップＳ０１０；Ｙｅｓ）、マスカー音信号生成装置１２はこれらの所定数の４ソースの加算ブロックの各々に対しリバース処理を施し、リバース処理を施した所定数の４ソースの加算ブロックを、時間軸方向に並べて連結する（ステップＳ０１１）。本実施形態におけるリバース処理とは、４ソースの加算ブロックに含まれる音信号を表すサンプルデータを時間軸方向に逆の順序で並び替える処理である。ステップＳ０１１の処理により生成される音信号が、マスカー音放音装置１１において用いられるマスカー音信号である。

次に、マスカー音信号生成装置１２の機能構成について説明する。図５は、マスカー音信号生成装置１２の機能構成を模式的に示した図である。本実施形態において、マスカー音信号生成装置１２は一般的なコンピュータが本実施形態にかかるプログラムに従った処理を実行することにより実現される。

マスカー音信号生成装置１２は、モデル音信号Ｍおよびソース音信号Ｓを記憶する記憶手段１２０、モデル音信号Ｍおよびソース音信号Ｓを所定の時間長（例えば、１７０ｍｓ）で分割して複数のフレームを生成するフレーム生成手段１２１、各フレームが表す音のパワースペクトルを算出するパワースペクトル算出手段１２２、モデル音指標値を算出するモデル音指標値算出手段１２３、ソース音指標値を算出するソース音指標値算出手段１２４を備えている。なお、モデル音指標値算出手段１２３、フレーム生成手段１２１およびパワースペクトル算出手段１２２は、本願請求項のモデル音指標値算出手段を構成し、ソース音指標値算出手段１２４、フレーム生成手段１２１およびパワースペクトル算出手段１２２は、本願請求項のソース音指標値算出手段を構成する。

更に、マスカー音信号生成装置１２は、モデル音指標値とソース音指標値とから性能指標値を算出するマスキング性能算出手段１２５、候補ブロックから採用ブロックを決定することでソース音信号の生成に用いるフレームを選択するフレーム選択手段１２６、ソース音信号Ｓ１〜Ｓ４の各々から決定された採用ブロックを加算して加算ブロックを生成する加算手段１２７、４ソースの加算ブロックの各々に対しリバース処理を施すリバース処理手段１２８、リバース処理が施された複数の４ソースの加算ブロックを時間軸方向に並べて連結するフレーム連結手段１２９を備えている。

以下にマスカー音信号生成装置１２がマスカー音信号を生成する処理の詳細を説明する。
（モデル音指標値を算出する処理）
図６は、マスカー音信号生成装置１２がモデル音指標値を算出する処理（図４のステップＳ００１）の詳細を示したフロー図である。モデル音指標値の算出に際し、まずフレーム生成手段１２１が記憶手段１２０からモデル音信号Ｍを読み出す（ステップＳ１０１）。

本実施形態において、モデル音信号Ｍは、４つのソース音信号Ｓ１〜Ｓ４をソース音信号Ｓ１、Ｓ２、Ｓ３、Ｓ４の順序で時間軸方向に並べて、１つに連結したものが用いられる。ソース音信号Ｓ１〜Ｓ４は、例えば低音の声の人と高音の声の人、男性と女性、大人と子ども等のように各々属性の異なる人が、母音および子音を概ね均等に網羅する標準的な日本語の文章を読み上げた音声を示す音信号である。ソース音信号Ｓ１〜Ｓ４の長さは各々約１分である。従って、モデル音信号Ｍの長さは約４分である。なお、本実施形態においてはマスカー音信号生成装置１２が生成するマスカー音信号が日本において用いられることを想定し、日本語の文章を読み上げた音声を示す音信号をソース音信号Ｓ１〜Ｓ４として用いるものとするが、マスカー音信号が用いられる場所の言語に応じて、日本語以外の言語の文章を読み上げた音声を示す音信号をソース音信号Ｓ１〜Ｓ４として用いてもよい。

なお、モデル音信号Ｍとして、ソース音信号Ｓ１〜Ｓ４を連結したものではなく、ソース音信号Ｓ１〜Ｓ４とは別途準備された音信号が用いられてもよい。その場合も、モデル音信号Ｍは各々属性の異なる人が母音および子音を概ね均等に網羅する標準的な日本語の文章を読み上げた音声を示す音信号であることが望ましい。

フレーム生成手段１２１は記憶手段１２０から読み出したモデル音信号Ｍを所定の時間長で分割して複数のフレームを生成する（ステップＳ１０２）。具体的には、図７に示すように、フレーム生成手段１２１はモデル音信号Ｍの先頭から順に１７０ｍｓの時間長の音信号を、隣接するフレームとの間に２１ｍｓの重複する区間を設けながら切り出すことでフレームを生成する。以下、モデル音信号Ｍから切り出されたフレームをフレームＦ_m（ｉ）（ただし、ｉは先頭からのフレームの番号を示す自然数）とする。なお、フレーム生成手段１２１が生成するフレームの数は約１６１０個である。

続いて、パワースペクトル算出手段１２２は既知の方法に従いフレームＦ_m（ｉ）の各々のパワースペクトルを算出する（ステップＳ１０３）。図８は、ステップＳ１０３〜ステップＳ１０５の各ステップで処理されるデータを模式的に示した図である。図８（ａ）は、ステップＳ１０３においてパワースペクトル算出手段１２２が算出するパワースペクトルを示している。

続いて、モデル音指標値算出手段１２３はフレームＦ_m（ｉ）の各々に関し、パワースペクトルの周波数帯域毎の平均値を、指標値Ｘ_m（ｉ，ｆ）（ただし、ｆは周波数帯域を示す１〜１９のいずれかの自然数）として算出する（ステップＳ１０４）。図８（ｂ）はモデル音指標値算出手段１２３が算出する指標値Ｘ_m（ｉ，ｆ）を示している。本実施形態において、モデル音指標値算出手段１２３は、音声の周波数帯域（例えば１００Ｈｚ〜６３００Ｈｚ）を１／３オクターブバンド幅で分割して得られる１９個の周波数帯域Ａ（ｆ）の各々に関し指標値Ｘ_m（ｉ，ｆ）を算出する。

続いて、モデル音指標値算出手段１２３は周波数帯域Ａ（ｆ）の各々に関し、全てのフレームＦ_m（ｉ）における指標値Ｘ_m（ｉ，ｆ）の最大値を、モデル音指標値Ｐ（ｆ）として算出する（ステップＳ１０５）。すなわち、モデル音指標値Ｐ（ｆ）は以下の式１で示される値である。

モデル音指標値Ｐ（ｆ）は、モデル音信号Ｍの周波数帯域Ａ（ｆ）のパワースペクトルのフレーム毎の平均値が、モデル音信号Ｍの時間軸方向の全区間においてそれを超えることがない、という値である。以上が、マスカー音信号生成装置１２により行われるモデル音指標値を算出する処理の詳細である。

（ソース音指標値を算出する処理）
図９はマスカー音信号生成装置１２がソース音指標値を算出する処理（図４のステップＳ００２）の詳細を示したフロー図である。マスカー音信号生成装置１２がソース音指標値を算出する処理は、マスカー音信号生成装置１２がモデル音指標値を算出する際に行うステップＳ１０１〜Ｓ１０４の処理と類似の処理である。

ソース音指標値の算出に際し、フレーム生成手段１２１は記憶手段１２０からソース音信号Ｓを読み出し（ステップＳ２０１）、ソース音信号Ｓからフレームを生成する（ステップＳ２０２）。フレーム生成手段１２１がステップＳ２０２においてソース音信号Ｓのフレームを生成する方法はステップＳ１０２においてモデル音信号Ｍのフレームを生成する方法（図７参照）と同様である。なお、ソース音信号Ｓはモデル音信号Ｍの約１／４の時間長なので、フレーム生成手段１２１がソース音信号Ｓ１〜Ｓ４の各々から生成するフレームの数は約４０２個である。

以下、フレーム生成手段１２１がソース音信号Ｓから切り出すフレームをフレームＦ_p（ｉ）（ただし、ｐはソース音信号Ｓ１〜Ｓ４の各々に応じた番号を示す１〜４のいずれかの自然数、ｉは先頭からのフレームの番号を示す自然数）とする。

続いて、パワースペクトル算出手段１２２はフレームＦ_p（ｉ）の各々のパワースペクトルを算出する（ステップＳ２０３）。ソース音指標値算出手段１２４はフレームＦ_p（ｉ）の各々に関し、パワースペクトルの周波数帯域毎の平均値をソース音指標値Ｘ_p（ｉ，ｆ）として算出する（ステップＳ２０４）。以上が、マスカー音信号生成装置１２により行われるソース音指標値を算出する処理の詳細である。

（ソース音信号Ｓ１からの採用ブロックを決定する処理）
図１０はマスカー音信号生成装置１２がソース音信号Ｓ１からの採用ブロックを決定する処理（図４のステップＳ００３）の詳細を示したフロー図である。ソース音信号Ｓ１からの採用ブロックを決定するに際し、まずマスキング性能算出手段１２５は、ソース音信号Ｓ１の複数のフレーム（約４０２個）の中から、後述するステップＳ３０５において採用済みマークの付されていない連続するフレームをソース音信号Ｓ１の先頭から順に８個、候補ブロックＢ₁（ｋ）として選択する（ステップＳ３０１）。ただし、ｋは候補ブロックの先頭のフレームがソース音信号Ｓの先頭から何番目のフレームであるかを示す自然数であり、下付文字「１」はこの候補ブロックがソース音信号Ｓ１から選択されたフレームで形成されていることを示す。例えば、最初に実行されるステップＳ３０１において、マスキング性能算出手段１２５はソース音信号Ｓ１の第１〜第８のフレーム、すなわちＦ₁（１）〜Ｆ₁（８）を候補ブロックＢ₁（１）として選択する。

続いて、マスキング性能算出手段１２５は、ステップＳ３０１で選択した候補ブロックＢ₁（ｋ）が表す音が、モデル音信号Ｍが表すモデル音をマスキングする性能の指標値である性能指標値ｃ₁（ｋ）（ただし、下付文字「１」はこの性能指標値がソース音信号Ｓ１から形成された候補ブロックに関する性能指標値であることを示す）を、以下の式２に従い算出する（ステップＳ３０２）。

ただし、ｊは候補ブロックＢ₁（ｋ）に含まれるフレームの候補ブロックＢ₁（ｋ）内における番号を示す１〜８の自然数であり、Ｘ₁（ｋ＋ｊ−１，ｆ）は候補ブロックＢ₁（ｋ）に含まれるｊ番目のフレームのｆ番目の周波数帯域のソース音指標値である。図１１は、性能指標値ｃ₁（ｋ）の概念を模式的に示した図である。図１１において、斜線の付された領域の面積の合計値が性能指標値ｃ₁（ｋ）である。すなわち、性能指標値ｃ₁（ｋ）はモデル音信号Ｍのモデル音指標値Ｐ（ｆ）の対数換算値から、候補ブロックＢ₁（ｋ）に含まれる８個のフレームの各々のソース音指標値Ｘ₁（ｋ＋ｊ−１，ｆ）の対数換算値を周波数帯域毎に差し引いた値を合計した値である。従って、性能指標値ｃ₁（ｋ）は、モデル音のパワースペクトルとソース音（候補ブロック）のパワースペクトルとの差分の全周波数帯域に渡る累積値の大小を示す指標値である。

この性能指標値ｃ₁（ｋ）が小さい程、周波数帯域Ａ（１）〜Ａ（１９）の各々において、モデル音のパワースペクトルに対し、ソース音（候補ブロック）のパワースペクトルが近似することになる。すなわち、性能指標値ｃ₁（ｋ）は、モデル音とソース音（候補ブロック）のパワースペクトルの周波数毎の分布における近似度を示す。従って、性能指標値ｃ₁（ｋ）が小さい程、候補ブロックＢ₁（ｋ）に含まれる８個のフレームのソース音指標値Ｘ₁（ｋ＋ｊ−１，ｆ）がモデル音信号Ｍのモデル音指標値Ｐ（ｆ）を下回る程度が小さくなる確率が高まる。その結果、性能指標値ｃ₁（ｋ）が小さい程、候補ブロックＢ₁（ｋ）が表す音がモデル音をマスキングするために要する音圧レベルが小さくて済み、候補ブロックＢ₁（ｋ）が表す音のマスカー音としての性能が高いことになる。

続いて、マスキング性能算出手段１２５は直近のステップＳ３０１において選択した候補ブロックＢ₁（ｋ）が、ソース音信号Ｓ１から選択可能な最後の候補ブロック、すなわちソース音信号Ｓ１において採用済みマークが付されていない末尾の８個の連続するフレームで形成された候補ブロックであるか否かの判定を行なう（ステップＳ３０３）。直近のステップＳ３０１において選択した候補ブロックＢ₁（ｋ）がソース音信号Ｓ１から選択可能な最後の候補ブロックではない場合（ステップＳ３０３；Ｎｏ）、マスキング性能算出手段１２５は処理をステップＳ３０１に戻し、直近のステップＳ３０１において選択した連続する８個のフレームよりソース音信号Ｓ１の末尾側に位置する採用済みマークの付されていないフレームの中から、最も先頭側の連続する８個のフレームを新たな候補ブロックＢ₁（ｋ）として選択する。例えば、２度目に実行されるステップＳ３０１において、マスキング性能算出手段１２５はソース音信号Ｓ１の第２〜第９のフレーム、すなわちＦ₁（２）〜Ｆ₁（９）を候補ブロックＢ₁（２）として選択する。

続いて、マスキング性能算出手段１２５はステップＳ３０１において選択した新たな候補ブロックＢ₁（ｋ）に関し、ステップＳ３０２およびＳ３０３の処理を繰り返す。その後、マスキング性能算出手段１２５は、ステップＳ３０３の判定において、直近のステップＳ３０１において選択した候補ブロックがソース音信号Ｓ１から選択可能な最後の候補ブロックである、と判定するまでステップＳ３０１からＳ３０３の処理を繰り返す。その結果、採用済みマークの付されたフレームがない場合、約３９５個の候補ブロックＢ₁（ｋ）に関し、性能指標値ｃ₁（ｋ）が算出されることになる。

マスキング性能算出手段１２５がステップＳ３０３の判定において、直近のステップＳ３０１において選択した候補ブロックＢ₁（ｋ）がソース音信号Ｓ１から選択可能な最後の候補ブロックである、と判定した場合（ステップＳ３０３；Ｙｅｓ）、フレーム選択手段１２６は算出済みの性能指標値ｃ₁（ｋ）のうち最小値に対応する候補ブロックＢ₁（ｋ）を採用ブロックＤ₁（ｈ）として決定する（ステップＳ３０４）。ただし、ｈは採用ブロックが何番目に決定されたかを示す自然数であり、下付文字「１」はこの採用ブロックがソース音信号Ｓ１のフレームで形成されていることを示す。

続いて、フレーム選択手段１２６はソース音信号Ｓのフレームのうち、直近のステップＳ３０４において決定した採用ブロックＤ₁（ｈ）に含まれるフレームに採用済みマークを付すとともに、採用済みマークの付されたフレームの数が所定の閾値（例えば、約１０秒分のフレーム数である５９個）を超える場合、採用済みマークの付されたフレームの数がその閾値以下となるように、採用済みマークが付されたタイミングが古いフレームから順に、付されている採用済みマークを削除する（ステップＳ３０５）。ステップＳ３０５において採用済みマークが付されたフレームは、それ以降のステップＳ３０１の処理において候補ブロックＢ₁（ｋ）の形成のために選択されるフレームから除外される。

このように、所定期間（例えば、約１０秒間）、採用済みマークの付されたフレームは候補ブロックＢ₁（ｋ）の形成に利用されないため、所定期間内に同じ候補ブロックＢ₁（ｋ）が繰り返し採用ブロックＤ₁（ｈ）として決定されることはない。従って、以下に引き続き説明する一連の処理により生成されるマスカー音信号は、所定期間内に類似する波形を繰り返すマスカー音を表すものとはならない。仮にマスカー音信号が数秒程度の期間内に類似する波形を繰り返すと、マスカー音信号が表すマスカー音は単調な音となり、聴者がマスカー音に慣れてマスカー音とターゲット音とを判別できてしまう可能性が高まり望ましくないが、マスカー音信号生成装置１２が生成するマスカー音信号はそのような不都合を生じない。なお、前記の所定期間を超える場合は、過去に採用ブロックＤ₁（ｈ）として決定された候補ブロックＢ₁（ｋ）が再度、採用ブロックＤ₁（ｈ）として決定され得る。従って、マスカー音信号生成装置１２が生成するマスカー音信号は類似する波形を含み得るが、それらの互いに類似する波形は聴者がその音に慣れてしまう程は時間的に近くにないため、マスカー音の性能の低下をもたらすことはない。本実施形態においては、上記のようにマスカー音の性能の低下が生じない範囲で候補ブロックの再利用を許可することにより、マスカー音信号の生成に要するソース音信号Ｓのデータサイズを小さく抑えている。以上が、マスカー音信号生成装置１２が行う、ソース音信号Ｓ１からの採用ブロックを決定する処理の詳細である。

（ソース音信号Ｓ２からの採用ブロックを決定する処理）
図１２はマスカー音信号生成装置１２がソース音信号Ｓ２からの採用ブロックを決定する処理（図４のステップＳ００４〜Ｓ００５）の詳細を示したフロー図である。図１２に示されるステップのうち前半のステップＳ４０１〜Ｓ４０５は、ソース音信号Ｓ１からの採用ブロックＤ₁（ｈ）を決定する処理のステップＳ３０１〜Ｓ３０５と比較し、ソース音信号Ｓ１の代わりにソース音信号Ｓ２が用いられる点と性能指標値の算出式が異なっている点を除き同様である。

マスキング性能算出手段１２５がステップＳ４０２において性能指標値ｃ₂（ｋ）を算出するために用いる算出式は以下の式３である。

ただし、Ｙ₁（ｊ，ｆ）は、マスキング性能算出手段１２５が直近のステップＳ３０４において決定した採用ブロックＤ₁（ｈ）に含まれる８個のフレームの各々のソース音指標値であり、ソース音指標値算出手段１２４がソース音信号Ｓ１に関するステップＳ１０４（図６）において算出したものが用いられる。

図１３は、性能指標値ｃ₂（ｋ）の概念を模式的に示した図である。図１３において、斜線の付された領域の面積の合計値が性能指標値ｃ₂（ｋ）である。すなわち、性能指標値ｃ₂（ｋ）はモデル音信号Ｍのモデル音指標値Ｐ（ｆ）の対数換算値から、採用ブロックＤ₁（ｈ）に含まれる８個のフレームの各々のソース音指標値Ｙ₁（ｊ，ｆ）の対数換算値と候補ブロックＢ₂（ｋ）に含まれる８個のフレームの各々のソース音指標値Ｘ₁（ｋ＋ｊ−１，ｆ）の合計値の対数換算値を、周波数帯域毎に差し引いた値を合計した値である。

この性能指標値ｃ₂（ｋ）が小さい程、周波数帯域Ａ（１）〜Ａ（１９）の各々において、採用ブロックＤ₁（ｈ）と候補ブロックＢ₂（ｋ）を加算して得られる２ソースの加算ブロックに含まれる８個のフレームのソース音指標値がモデル音信号Ｍのモデル音指標値Ｐ（ｆ）を下回る程度が小さくなる確率が高まる。従って、性能指標値ｃ₂（ｋ）が小さい程、２ソースの加算ブロックが表す音がモデル音をマスキングするために要する音圧レベルが小さくて済み、２ソースの加算ブロックが表す音のマスカー音としての性能が高いことになる。

フレーム選択手段１２６がステップＳ４０５において最小の性能指標値ｃ₂（ｋ）に応じた候補ブロックＢ₂（ｋ）を採用ブロックＤ₂（ｈ）として決定すると、加算手段１２７は直近のステップ３０４においてフレーム選択手段１２６が決定した採用ブロックＤ₁（ｈ）と直近のステップＳ４０４においてフレーム選択手段１２６が決定した採用ブロックＤ₂（ｈ）を加算し、２ソースの加算ブロックＥ₂（ｈ）を生成する（ステップＳ４０６）。なお、「加算ブロックＥ₂（ｈ）」の下付文字「２」は、この加算ブロックが２ソースの加算ブロックであることを示す。

続いて、ソース音指標値算出手段１２４は加算ブロックＥ₂（ｈ）に含まれる８個のフレームの各々に関し、それらのフレームのソース音指標値Ｙ₂（ｊ，ｆ）を算出する（ステップＳ４０７）。なお、「ソース音指標値Ｙ₂（ｊ，ｆ）」の下付文字「２」は、このソース音指標値が２ソースの加算ブロックに含まれるフレームのソース音指標値であることを示す。ソース音指標値算出手段１２４がステップＳ４０７において行なう処理は、ソース音指標値Ｘ_p（ｉ，ｆ）を算出するステップＳ２０３〜Ｓ２０４（図９）において行う処理と同様である。以上が、マスカー音信号生成装置１２が行う、ソース音信号Ｓ２からの採用ブロックを決定する処理の詳細である。

（ソース音信号Ｓ３からの採用ブロックを決定する処理）
図１４はマスカー音信号生成装置１２がソース音信号Ｓ３からの採用ブロックを決定する処理（図４のステップＳ００６〜Ｓ００７）の詳細を示したフロー図である。図１４に示されるステップＳ５０１〜Ｓ５０７は、ソース音信号Ｓ２からの採用ブロックＤ₂（ｈ）を決定する処理のステップＳ４０１〜Ｓ４０７と比較し、ソース音信号Ｓ２の代わりにソース音信号Ｓ３が用いられる点と性能指標値の算出式が異なっている点を除き同様である。

マスキング性能算出手段１２５がステップＳ５０２において性能指標値ｃ₃（ｋ）を算出するために用いる算出式は以下の式４である。

性能指標値ｃ₃（ｋ）はモデル音信号Ｍのモデル音指標値Ｐ（ｆ）の対数換算値から、加算手段１２７が直近のステップＳ５０１で生成した２ソースの加算ブロックＥ₂（ｈ）に含まれる８個のフレームの各々のソース音指標値Ｙ₂（ｊ，ｆ）の対数換算値と候補ブロックＢ₃（ｋ）に含まれる８個のフレームの各々のソース音指標値Ｘ₃（ｋ＋ｊ−１，ｆ）の合計値の対数換算値を、周波数帯域毎に差し引いた値を合計した値である。

この性能指標値ｃ₃（ｋ）が小さい程、周波数帯域Ａ（１）〜Ａ（１９）の各々において、２ソースの加算ブロックＥ₂（ｈ）と候補ブロックＢ₃（ｋ）を加算して得られる３ソースの加算ブロックに含まれる８個のフレームのソース音指標値がモデル音信号Ｍのモデル音指標値Ｐ（ｆ）を下回る程度が小さくなる確率が高まる。従って、性能指標値ｃ₃（ｋ）が小さい程、３ソースの加算ブロックが表す音がモデル音をマスキングするために要する音圧レベルが小さくて済み、３ソースの加算ブロックが表す音のマスカー音としての性能が高いことになる。以上が、マスカー音信号生成装置１２が行う、ソース音信号Ｓ３からの採用ブロックを決定する処理の詳細である。

（ソース音信号Ｓ４からの採用ブロックを決定する処理）
図１５はマスカー音信号生成装置１２がソース音信号Ｓ４からの採用ブロックを決定する処理（図４のステップＳ００８〜Ｓ０１０）の詳細を示したフロー図である。図１５に示されるステップのうちステップＳ６０１〜Ｓ６０６は、ソース音信号Ｓ３からの採用ブロックＤ₃（ｈ）を決定する処理のステップＳ５０１〜Ｓ５０６と比較し、ソース音信号Ｓ３の代わりにソース音信号Ｓ４が用いられる点と性能指標値の算出式が異なっている点を除き同様である。なお、ソース音信号Ｓ３からの採用ブロックＤ₃（ｈ）を決定する処理のステップＳ５０７（３ソースの加算ブロックの性能指標値の算出）に対応する処理は不要であるため行われない。

マスキング性能算出手段１２５がステップＳ６０２において性能指標値ｃ₄（ｋ）を算出するために用いる算出式は以下の式５である。

性能指標値ｃ₄（ｋ）はモデル音信号Ｍのモデル音指標値Ｐ（ｆ）の対数換算値から、加算手段１２７が直近のステップＳ６０１で生成した３ソースの加算ブロックＥ₃（ｈ）に含まれる８個のフレームの各々のソース音指標値Ｙ₃（ｊ，ｆ）の対数換算値と候補ブロックＢ₄（ｋ）に含まれる８個のフレームの各々のソース音指標値Ｘ₄（ｋ＋ｊ−１，ｆ）の合計値の対数換算値を、周波数帯域毎に差し引いた値を合計した値である。

この性能指標値ｃ₄（ｋ）が小さい程、周波数帯域Ａ（１）〜Ａ（１９）の各々において、３ソースの加算ブロックＥ₃（ｈ）と候補ブロックＢ₄（ｋ）を加算して得られる４ソースの加算ブロックに含まれる８個のフレームのソース音指標値がモデル音信号Ｍのモデル音指標値Ｐ（ｆ）を下回る程度が小さくなる確率が高まる。従って、性能指標値ｃ₄（ｋ）が小さい程、４ソースの加算ブロックが表す音がモデル音をマスキングするために要する音圧レベルが小さくて済み、４ソースの加算ブロックが表す音のマスカー音としての性能が高いことになる。

加算手段１２７は、ステップ６０６において４ソースの加算ブロックＥ₄（ｈ）を生成すると、過去に生成した４ソースの加算ブロックＥ₄（ｈ）の数が所定時間に相当する個数（例えば、約２分３０秒分に相当する１２６個）に達したか否かの判定を行う（ステップＳ６０７）。４ソースの加算ブロックＥ₄（ｈ）の数が前記個数（１２６個）に達していない場合（ステップＳ６０７；Ｎｏ）、上述したステップＳ３０１〜Ｓ３０５、Ｓ４０１〜Ｓ４０７、Ｓ５０１〜、Ｓ６０１〜Ｓ６０７が繰り返される。以上が、マスカー音信号生成装置１２が行う、ソース音信号Ｓ４からの採用ブロックを決定する処理の詳細である。

（マスカー音信号を生成する処理）
図１６はマスカー音信号生成装置１２がマスカー音信号を生成する処理（図４のステップＳ０１１）の詳細を示したフロー図である。加算手段１２７が生成した４ソースの加算ブロックＥ₄（ｈ）の数が所定数（１２６個）に達した場合（ステップＳ６０７；Ｙｅｓ）、リバース処理手段１２８はそれらの４ソースの加算ブロックＥ₄（ｈ）、すなわち加算ブロックＥ₄（１）〜Ｅ₄（１２６）の各々に対しリバース処理を施す（ステップＳ７０１）。

続いて、フレーム連結手段１２９は、リバース処理の施された加算ブロックＥ₄（１）〜Ｅ₄（１２６）を時間軸方向に並べ、隣接する加算ブロックＥ₄（ｈ）間に２１ｍｓの重複する区間を設けて連結し、マスカー音信号を生成する（ステップＳ７０２）。フレーム連結手段１２９は、生成したマスカー音信号を記憶手段１２０に書き込む。以上が、マスカー音信号生成装置１２により行われるマスカー音信号を生成する処理の詳細である。

上記のようにマスカー音信号生成装置１２によって生成されるマスカー音信号は、周波数帯域Ａ（１）〜Ａ（１９）のいずれの帯域でも、ターゲット音に対応するモデル音をマスキングする性能が高くなるように、前述の性能指標値に基づきソース音信号Ｓ１〜Ｓ４の各々から順次決定されたブロック、すなわち、そのパワーがモデル音のパワーを下回る程度が小さくなる確率が高いブロックを合成した音信号である。従って、マスカー音信号生成装置１２によって生成されるマスカー音信号は、例えばソース音信号からランダムに決定されたブロックを合成した音信号と比べ、いずれの期間においても、また、いずれの周波数帯域においても、ターゲット音に対する隙間期間を生じる確率が低いマスカー音信号となる。

また、マスカー音信号生成装置１２はマスカー音信号の生成においてソース音信号Ｓから８個の連続するフレームを１つのブロックとして選択して用いる。この１つのブロックの時間長は１２１３ｍｓであり、通常の話速の音声における平均的な音節の時間長よりも十分に長い。従って、マスカー音信号生成装置１２によって生成されるマスカー音信号は、ソース音信号を、通常の話速の音節の時間長程度あるいはこれよりも短いセグメントに分割し、順序を入れ替えて連結して生成されたマスカー音信号が聴者にもたらすような、話速の速い音声のように聞こえる不快感をもたらさないマスカー音信号となる。

マスカー音信号生成装置１２によって生成されたマスカー音信号は、既述のようにマスカー音放音装置１１の記憶手段１１１（例えば、ＲＯＭ１０２）に書き込まれ、放音手段１１２により記憶手段１１１から読み出されて、音空間ＳＰに対するマスカー音の放音に用いられる。

［第２実施形態］
以下に本発明の第２実施形態にかかるマスカー音放音装置２１を説明する。第２実施形態にかかるマスカー音放音装置２１は、第１実施形態にかかるマスカー音信号生成装置１２と多くの点で共通している。従って、以下にマスカー音放音装置２１がマスカー音信号生成装置１２と異なる点を中心に説明する。また、マスカー音放音装置２１がマスカー音信号生成装置１２と共通して備える構成部には第１実施形態の説明において用いた符号と同じ符号を用いる。

図１７は、マスカー音放音装置２１が使用される状況を模式的に示した図である。マスカー音放音装置２１は音空間ＳＰにマスカー音を放音し、例えば図１７における人物Ａおよび人物Ｂの間の会話をマスキングする。また、マスカー音放音装置２１にはマスカー音が放音される音空間ＳＰ内に配置された収音装置であるマイク２２が無線もしくは有線で接続されている。

図１８は、マスカー音放音装置２１の機能構成を模式的に示した図である。マスカー音放音装置２１は、第１実施形態のマスカー音信号生成装置１２と共通して備える機能構成部として、フレーム生成手段１２１、パワースペクトル算出手段１２２、モデル音指標値算出手段１２３、ソース音指標値算出手段１２４、マスキング性能算出手段１２５、フレーム選択手段１２６、加算手段１２７、リバース処理手段１２８、フレーム連結手段１２９を備えている。以下、上記のフレーム生成手段１２１〜フレーム連結手段１２９を総称してマスカー音信号生成手段２１０と呼ぶ。

また、マスカー音放音装置２１は、マイク２２により収音された音を表す収音信号をマイク２２から受け取る収音信号取得手段２１１と、収音信号取得手段２１１がマイク２２から受け取った収音信号を順次記憶し、またマスカー音信号生成手段２１０が生成するマスカー音信号を順次記憶する記憶手段２１２と、記憶手段２１２が記憶しているマスカー音信号に従いマスカー音を放音する放音手段２１３を備えている。

マスカー音信号生成手段２１０は、記憶手段２１２に記憶されている過去の所定時間（例えば、４分間）の収音信号をモデル音信号Ｍとして用いるとともに、ソース音信号Ｓとしても用いて、マスカー音信号を生成する。図１９は、マスカー音信号生成手段２１０がマスカー音信号の生成に際し、いずれの期間に記憶された収音信号をモデル音信号Ｍおよびソース音信号Ｓとして用いるかを説明するための図である。図１９の右方向は時間の経過を示し、期間Ｔ（ｎ）〜Ｔ（ｎ＋９）（ただし、ｎは任意の自然数）は各々３０秒単位の期間を示している。

マスカー音信号生成手段２１０は、期間Ｔ（ｎ＋８）（ただし、ｎは任意の自然数）において、記憶手段２１２が期間Ｔ（ｎ）〜Ｔ（ｎ＋７）に記憶した収音信号をモデル音信号Ｍ、期間Ｔ（ｎ）〜Ｔ（ｎ＋１）に記憶した収音信号をソース音信号Ｓ１、期間Ｔ（ｎ＋２）〜Ｔ（ｎ＋３）に記憶した収音信号をソース音信号Ｓ２、期間Ｔ（ｎ＋４）〜Ｔ（ｎ＋５）に記憶した収音信号をソース音信号Ｓ３、期間Ｔ（ｎ＋６）〜Ｔ（ｎ＋７）に記憶した収音信号をソース音信号Ｓ４、として各々用いて、マスカー音信号を生成する。以下、マスカー音信号生成手段２１０が期間Ｔ（ｎ＋８）に生成したマスカー音信号をマスカー信号Ｑ（ｎ）とする。記憶手段２１２は、マスカー音信号生成手段２１０が生成したマスカー音信号Ｑ（ｎ）を期間Ｔ（ｎ＋８）内に記憶する。放音手段２１３は、マスカー音信号Ｑ（ｎ）を記憶手段２１２から読み出し、期間Ｔ（ｎ＋９）において、読み出したマスカー音信号Ｑ（ｎ）が表す音をマスカー音として放音する。

このように、マスカー音放音装置２１は、音空間ＳＰ内で現在から５分前までの期間内において、話者により行われた会話を示す４分間の収音信号をモデル音信号Ｍとして用いてマスカー音信号を生成する。従って、過去５分間程度の期間内に音空間ＳＰ内の話者が変化しなければ、ターゲット音とモデル音は同じ話者の音声となる。

ターゲット音とモデル音が同じ話者の音声である場合、ターゲット音とモデル音が異なる話者の音声である場合と比較して、ターゲット音とモデル音のパワーに関する特性の相関性が高い。従って、マスカー音放音装置２１が生成するマスカー音信号は、ターゲット音と異なる話者の音声をモデル音として用いて生成されたマスカー音信号と比較して、同程度のマスキング効果を得るために要する音圧レベルが更に小さいマスカー音信号となる。

また、マスカー音放音装置２１は、音空間ＳＰ内で現在から５分前までの期間内において、話者により行われた会話を示す４分間の収音信号をソース音信号Ｓとして用いてマスカー音信号を生成する。従って、過去５分間程度の期間内に音空間ＳＰ内の話者が変化しなければ、ターゲット音とソース音は同じ話者の音声となる。

ターゲット音とソース音が同じ話者の音声である場合、ターゲット音とソース音が異なる話者の音声である場合と比較し、ターゲット音とソース音のパワーに関する特性の相関性が高い。従って、マスカー音放音装置２１が生成するマスカー音信号は、ターゲット音と異なる話者の音声をソース音として用いて生成されたマスカー音信号と比較して、同程度のマスキング効果を得るために要する音圧レベルが更に小さいマスカー音信号となる。

上述のように、マスカー音放音装置２１が提供するマスカー音は、ターゲット音と同一の話者の音声を表す可能性の高い収音信号をモデル音信号およびソース音信号として用いて生成されるため、同程度のマスキング効果を得るために要する音圧レベルが更に小さいマスカー音である。また、マスカー音放音装置２１により提供されるマスカー音は、第１実施形態のマスカー音信号生成装置１２により生成されるマスカー音信号が表すマスカー音と同様に、全ての周波数帯域において隙間期間を生じる確率が低く、話速の速い音声のように聞こえる不快感をもたらさない。

［第３実施形態］
以下に本発明の第３実施形態にかかるマスカー音信号生成装置３２を説明する。第３実施形態にかかるマスカー音信号生成装置３２は第２実施形態にかかるマスカー音放音装置２１と多くの点で共通している。従って、以下にマスカー音信号生成装置３２がマスカー音放音装置２１と異なる点を中心に説明する。また、マスカー音信号生成装置３２がマスカー音放音装置２１と共通して備える構成部には第２実施形態の説明において用いた符号と同じ符号を用いる。

図２０は、マスカー音信号生成装置３２が使用される状況を模式的に示した図である。マスカー音信号生成装置３２にはマスカー音が放音される音空間ＳＰ内に配置された収音装置であるマイク２２が無線もしくは有線で接続されている。また、マスカー音信号生成装置３２には、音空間ＳＰにマスカー音を放音する放音装置であるスピーカ３１が無線もしくは有線で接続されている。

図２１は、マスカー音信号生成装置３２の機能構成を模式的に示した図である。マスカー音信号生成装置３２は、第２実施形態のマスカー音放音装置２１と共通して備える機能構成部として、フレーム生成手段１２１、パワースペクトル算出手段１２２、モデル音指標値算出手段１２３、ソース音指標値算出手段１２４、マスキング性能算出手段１２５、フレーム選択手段１２６、加算手段１２７、リバース処理手段１２８、フレーム連結手段１２９、収音信号取得手段２１１、記憶手段２１２を備えている。なお、第２実施形態の説明における場合と同様に、以下、上記のフレーム生成手段１２１〜フレーム連結手段１２９を総称してマスカー音信号生成手段２１０と呼ぶ。

また、マスカー音信号生成装置３２は、第２実施形態のマスカー音放音装置２１が備えている放音手段２１３を備えず、放音手段２１３の代わりに、マスカー音信号生成手段２１０により生成されたマスカー音信号をスピーカ３１に対し出力するマスカー音信号出力手段３２１を備えている。

マスカー音信号生成装置３２のマスカー音信号生成手段２１０はマイク２２から入力される収音信号をモデル音信号Ｍおよびソース音信号Ｓとして用いてマスカー音信号を生成し、マスカー音信号出力手段３２１を介してスピーカ３１に出力する。スピーカ３１はマスカー音信号生成装置３２から入力されるマスカー音信号に従いマスカー音を音空間ＳＰ内に放音する。

上記の構成のマスカー音信号生成装置３２によっても、マスカー音放音装置２１と同様に、全ての周波数帯域において隙間期間を生じる確率が低く、話速の速い音声のように聞こえる不快感をもたらさない上に、音圧レベルを従来技術と比べ大きくすることを要さず聴者の快適性を損ない難いマスカー音が提供される。

［変形例］
上述した実施形態は本発明の技術的思想の範囲内において様々に変形可能である。以下にこれらの変形の例を示す。

（１）上述した実施形態において採用されている具体的な数値は一例であって、様々に変更可能である。例えば、フレームの長さは１７０ｍｓに限られない。また、モデル音信号もしくはソース音信号からフレームを切り出す際や、４ソースの加算ブロックを連結する際において設ける重複区間は２１ｍｓに限られず任意の時間長でよい。また、マスカー音信号の生成に際し加算するソース音信号の数は４つに限られない。さらに、ソース音信号から決定された採用ブロックを加算することなく時間軸方向に並べて連結してマスカー音信号を生成する構成としてもよい。また、周波数帯域の数は１９個に限られない。さらに、周波数帯域の数は１個でもよい。また、周波数帯域のバンド幅は１／３オクターブバンド幅に限られない。また、候補ブロック、採用ブロックおよび加算ブロックを形成するフレームの数は８個に限られない。さらに、これらのブロックを形成するフレームは１個でもよい。すなわち、フレームをそのままブロックとして用いてもよい。また、モデル音信号の長さは４分間に限られない。また、ソース音信号の数は４個に限られず、また各々のソース音信号の長さは１分間に限られない。

（２）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２はマスカー音信号の生成において、同じ音信号をモデル音信号およびソース音信号の両方に用いる構成とした。これに代えて、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、モデル音信号に用いる音信号と異なる音信号をソース音信号として用いる構成としてもよい。

（３）上述した第２実施形態および第３実施形態において、マスカー音放音装置２１もしくはマスカー音信号生成装置３２はマスカー音信号の生成において、モデル音信号とソース音信号の両方に関し収音信号を用いる構成とした。これに代えて、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、モデル音信号に関しては収音信号を用い、ソース音信号に関しては予め記憶手段２１２に記憶している音信号（収音信号とは異なる音信号）を用いる構成としてもよい。また、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、ソース音信号に関しては収音信号を用い、モデル音信号に関しては予め記憶手段２１２に記憶している音信号（収音信号とは異なる音信号）を用いる構成としてもよい。

（４）上述した変形例（３）のうち、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、モデル音信号に関しては収音信号を用い、ソース音信号に関しては予め記憶手段２１２に記憶している音信号（収音信号とは異なる音信号）を用いる構成とする場合、これらの装置が、予め記憶手段２１２に記憶されている複数のソース音信号の中から収音信号のパワーに関する特性に基づき１以上のソース音信号を選択する手段を備え、当該手段により選択した１以上のソース音信号を用いてマスカー音信号を生成する構成としてもよい。

（５）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は、ソース音信号のフレームから候補ブロックを形成する際、採用済みマークの付されたフレームが全く含まれないように連続した８個のフレームを選択する構成とした。これに代えて、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、所定の上限数以下であれば採用済みマークの付されたフレームを含むことを許容しつつ、連続した８個のフレームを選択する構成としてもよい。

（６）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は、候補ブロックの形成において、ソース音信号から連続する８個のフレームを先頭から１フレームずつずらしながら候補ブロックとして順次取り出す構成とした。ソース音信号のフレームから候補ブロックを形成するフレームを選択する方法は、これに限られない。例えば、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、ソース音信号から連続する８個のフレームを先頭から２以上の所定数のフレームずつずらしながら候補ブロックとして順次取り出す構成としてもよい。また、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、ソース音信号のフレームの中からランダムに連続する８個のフレームを候補ブロックとして取り出す構成としてもよい。

（７）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は、マスカー音信号の生成において４ソースの加算ブロックに対しリバース処理を施す構成としたが、リバース処理を行わない構成としてもよい。

（８）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は、まずソース音信号Ｓ１からの採用ブロックを決定し、ソース音信号Ｓ１からの採用ブロックのソース音指標値を用いて算出される性能指標値に基づきソース音信号Ｓ２からの採用ブロックを決定し、２ソースの加算ブロックのソース音指標値を用いて算出される性能指標値に基づきソース音信号Ｓ３からの採用ブロックを決定し、３ソースの加算ブロックのソース音指標値を用いて算出される性能指標値に基づきソース音信号Ｓ４からの採用ブロックを決定する構成とした。マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が行う採用ブロックの決定の処理の内容と加算の処理の順序はこれに限られない。

例えば、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、ソース音信号Ｓ１〜Ｓ４の各々からランダムに、もしくは所定の規則に従い選択した４つのフレームを加算して４ソースの加算ブロックを多数生成し、これらの多数の４ソースの加算ブロックの各々に関し算出した性能指標値に基づき、マスカー音信号の生成に用いる４ソースの加算ブロックを決定する構成としてもよい。

また、計算の負荷が許容範囲内であれば、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、ソース音信号Ｓ１〜Ｓ４の各々から任意に取り出した候補ブロックの組み合わせの全てに関し、４ソースの加算ブロックの性能評価値を算出し、算出した性能評価値に従い、採用する加算ブロックを決定する構成としてもよい。

（９）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は、マスカー音信号の生成において、まず４ソースの加算ブロックを複数生成し、生成した複数の４ソースの加算ブロックを連結する構成とした。マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が行う採用ブロックの加算処理と連結処理の順序はこれに限られない。例えば、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、ソース音信号Ｓ１〜Ｓ４の各々に関し決定した採用ブロックを、まずソース音信号毎に連結して４つの音信号を生成し、これらの４つの音信号を加算することにより、マスカー音信号を生成する構成としてもよい。

（１０）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は、モデル音指標値の算出に用いる指標値Ｘ_m（ｉ，ｆ）、ソース音指標値、性能指標値を、音声の周波数帯域（例えば１００Ｈｚ〜６３００Ｈｚ）を１／３オクターブバンド幅で分割して得られる１９個の周波数帯域Ａ（ｆ）の各々に関し算出する構成とした。マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２がこれらの指標値を算出する周波数帯域の数は１９に限られず、また周波数帯域のバンド幅は１／３オクターブバンド幅に限られない点は既に述べたとおりである。さらに、周波数帯域が複数である場合、それらのバンド幅が互いに異なってもよい。また、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、音声の周波数帯域のうち一部のみをカバーする１以上の周波数帯域の各々に関しモデル音指標値の算出に用いる指標値Ｘ_m（ｉ，ｆ）、ソース音指標値および性能指標値を算出する構成としてもよい。

（１１）上述した第１実施形態においては、マスカー音信号生成装置１２はマスカー音信号の生成に際し、４人の異なる人物の音声を各々表す４つのソース音信号の各々から取り出したフレームで形成されるブロックを加算する構成とした。マスカー音信号生成装置１２がマスカー音信号の生成の際し加算するブロックを形成するフレームは各々異なる人物の音声を表す必要はない。すなわち、マスカー音信号生成装置１２が加算するブロックのうち２以上のブロックが、同じ人物の音声を表すソース音信号から取り出されたフレームで形成されたブロックであってもよい。

（１２）上述した第１実施形態においては、マスカー音信号生成装置１２がマスカー音信号の生成に用いるソース音信号は、音声の高低および性別という２つの属性の組み合わせが異なる４つの音声信号であるものとした。マスカー音信号生成装置１２がマスカー音信号の生成に用いる複数のソース音信号は、音声の高低および性別という属性に着目した異なる音声信号に限られず、例えば言語、年齢層、話速など、音声の高低および性別以外の属性に着目した異なる音声信号であってもよい。

（１３）上述した第２実施形態および第３実施形態においては、マスカー音放音装置２１もしくはマスカー音信号生成装置３２はマスカー音信号の生成に際し、収音信号から取り出したフレームで形成されるブロックを加算するものとした。マスカー音放音装置２１もしくはマスカー音信号生成装置３２がマスカー音信号の生成の際し加算するブロックは、その全てが収音信号から取り出されたフレームで形成される必要はない。すなわち、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が加算するブロックの一部が、予め記憶手段２１２に記憶されているソース音信号など、収音信号とは異なる音信号から取り出されたフレームで形成されたブロックであってもよい。

（１４）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は、ソース音信号として人の音声を表す音声信号を用いる。マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、ソース音信号として人の音声を表す音声信号に加え、せせらぎの音などの人の音声以外の音を表す音信号をソース音信号として用いる構成としてもよい。

（１５）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、ソース音信号から取り出した候補ブロックの音量レベルを増減する増減手段を備え、同じ波形を示す異なる音量レベルの候補ブロックを生成する構成としてもよい。例えば、ソース音信号から取り出したフレームにより形成した候補ブロックをオリジナルの候補ブロックとする場合、増減手段がこのオリジナルの候補ブロックに対して音量レベルを例えば２０％増加させた新たな候補ブロック、及び２０％減少させた新たな候補ブロックを生成し、オリジナルの候補ブロックに加え、これらの音量レベルを増減させた候補ブロックを採用ブロックの選択肢として用いる構成としてもよい。

この変形例において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２が、オリジナルの候補ブロック、音量レベルを増減させた候補ブロックの各々に関する性能指標値を、上述した式２〜式４の各々に代えて、以下の式６〜式９に従い算出してもよい。

ただし、ｓは音量レベルの増減率を示す係数である。上記の式６〜式９に従った性能指標値の算出の際、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は、同じ候補ブロックに関し、異なる係数ｓの値（例えば、「１．２」、「１．０」、「０．８」）を用いて、複数の性能指標値を算出する。例えば係数ｓ＝１．２として算出される性能指標値は、オリジナルの候補ブロックに対して音量レベルを２０％増加させた候補ブロックの性能指標値であり、係数ｓ＝１．０として算出される性能指標値は、オリジナルの候補ブロックの性能指標値であり、係数ｓ＝０．８として算出される性能指標値は、オリジナルの候補ブロックに対して音量レベルを２０％減少させた候補ブロックの性能指標値である。式６〜式９に従えば、オリジナルの候補ブロックに対し実際に音量レベルの増減を行うことなく、音量レベルの増減後の候補ブロックに関する性能指標値が算出される。マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は、式６〜式９に従って算出した性能指標値のなかから最小値をとる性能指標値を特定すると、特定した性能指標値に応じたオリジナルの候補ブロックの音量レベルを、特定した性能指標値の算出に用いた係数ｓに従い増減手段により増減して、採用ブロックを生成する。従って、増減手段は採用ブロックの生成に際し必要に応じてオリジナルの候補ブロックの音量レベルを増減すればよく、全ての候補ブロックに関し音量レベルの増減を行う必要はない。

上記のように、オリジナルの候補ブロックの音量レベルを増減したものを新たな候補ブロックとして用いる場合、音量レベルの増減により得られる候補ブロックに関する性能指標値が算出される限り、その算出方法は限定されない。

また、増減手段が音量レベルを増減する対象の候補ブロックは、ソース音信号Ｓから取り出されたブロックに限られず、複数の候補ブロックが加算された加算ブロックであってもよい。また、加算手段１２７が増減手段と一体に設けられてもよい。すなわち、複数のブロックが加算される際に、加算対象のブロックの音量レベルが増減される構成としてもよい。また、上述した第１実施形態において、予めマスカー音信号生成装置１２の記憶手段１２０に、同じ形状の波形を示し音量レベルが互いに異なる複数のソース音信号を記憶しておき、マスカー音信号の生成に用いる構成としてもよい。

（１６）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は上述した式２〜式５に示した算出式に従い性能指標値を算出したが、これらの算出式はあくまで例示であり、他の算出式を用いてもよい。以下に、式２〜式６と代替され得る算出式の例を示す。

例えば、式３〜式５の代替として以下の式１０〜式１２が採用可能である。ただし、ｍａｘ（Ａ，Ｂ）は、ＡとＢの中の最大値を表す関数である。

上記の式１０〜式１２は、各周波数帯域に関し、既に決定されている選択ブロックを加算して得られる加算ブロックのソース音指標値と候補ブロックのソース音指標値のうち大きい方を性能指標値の算出に反映させることにより、候補ブロックが加算ブロックの周波数特性を改善しない周波数帯域に関しては候補ブロックのソース音指標値を性能指標値に反映させないようにした算出式である。

また、式２〜式５の代替として以下の式１３〜式１６が採用可能である。

上記の式１３〜式１６は、対数変換したパワースペクトル（いわゆるｄＢ値）に代えて、対数変換しないパワースペクトル（いわゆるエネルギー値）を用いて性能指標値を算出する算出式である。

また、式２〜式５の代替として以下の式１７〜式２０が採用可能である。ただし、ｍｉｎ（Ａ，Ｂ）は、ＡとＢの中の最小値を表す関数である。

上記の式１７〜式２０は、各周波数帯域に関する候補ブロックのモデル音をマスキングする性能の指標値の算出において閾値（上記の式では２０）を設け、この閾値を超えないように算出した各周波数帯域に関する指標値を合算することで性能指標値を算出するようにした算出式である。これらの算出式によれば、下記に説明するように、特定の周波数帯域における指標値が他の周波数帯域における指標値を相殺して、各周波数帯域の指標値の合算により算出される性能指標値が、候補ブロックのマスキング性能を正しく反映しない場合が生じ得るという不都合が回避される。

例えば、ソース音信号Ｓ１の候補ブロックから採用ブロックを決定する際、第１の候補ブロックのソース音指標値は、周波数帯域Ａ（１）に関してモデル音指標値に対し−５０ｄＢのパワーを示し、周波数帯域Ａ（２）に関してモデル音指標値に対し−５ｄＢのパワーを示したとする。また、第２の候補ブロックのソース音指標値は、周波数帯域Ａ（１）に関してモデル音指標値に対し−３０ｄＢのパワーを示し、周波数帯域Ａ（２）に関してモデル音指標値に対し−１０ｄＢのパワーを示したとする。そして、周波数帯域Ａ（３）〜Ａ（１９）に関しては、第１の候補ブロックと第２の候補ブロックのソース音指標値は各々同じパワーを示したとする。

この場合、周波数帯域Ａ（１）に関しては、第１の候補ブロックも第２の候補ブロックもパワーが小さく、結果としてマスキング性能には差はほとんどない。一方、周波数帯域Ａ（２）に関しては、第１の候補ブロックの方が第２の候補ブロックよりも、ソース音指標値がモデル音指標値を下回る程度が小さいので、第１の候補ブロックのマスキング性能が優れている。また、周波数帯域Ａ（３）〜Ａ（１９）に関しては、第１の候補ブロックと第２の候補ブロックのソース音指標値に差はないので、これらの周波数帯域に関して、第１の候補ブロックと第２の候補ブロックの間にマスキング性能の差はない。従って、全周波数帯域に関するマスキング性能は、第１の候補ブロックが第２の候補ブロックより優れている。

しかしながら、式２に従う場合、第１の候補ブロックに関し算出される性能評価値の方が第２の候補ブロックに関し算出される性能評価値よりも大きくなり、マスキング性能が低いと評価されてしまう。なぜなら、周波数帯域Ａ（１）に関する第１の候補ブロックのソース音指標値は第２の候補ブロックのソース音指標値に対し−３０ｄＢであり、周波数帯域Ａ（２）に関する第１の候補ブロックのソース音指標値は第２の候補ブロックのソース音指標値に対し＋５ｄＢであり、マスキング性能の差がほとんどない周波数帯域Ａ（１）における評価が、マスキング性能の差が大きい周波数帯域Ａ（２）における評価を相殺してしまうためである。

以上の不都合を回避するために、式１７〜式２０を提示した。すなわち、例えば式１７においては、第１の候補ブロックも第２の候補ブロックも、周波数帯域Ａ（１）に関し、ソース音指標値の対数変換値がモデル音指標値の対数変換値よりも−２０ｄＢを下回り、それらの差が閾値の２０ｄＢより大きくなるため、差の値そのものではなく、閾値の２０ｄＢ（一定値）が性能指標値に反映される。その結果、第１の候補ブロックの性能指標値が第２の候補ブロックの性能指標値よりも小さくなり、第１の候補ブロックの方が第２の候補ブロックよりも高いマスキング性能を示す、と正しく評価されることとなる。なぜなら、周波数帯域Ａ（１）におけるマスキング性能に対する寄与はいずれの候補ブロックも同等であり、周波数帯域Ａ（２）におけるマスキング性能に対する寄与は第１の候補ブロックの方が第２の候補ブロックよりも大きいと評価されるためである。

上記の変形例は、各周波数帯域に関する候補ブロックのモデル音をマスキングする性能の指標値の算出において、上限の閾値（上記の式では２０）を設けた例であるが、これに代えて、もしくは加えて、下限の閾値を設ける構成としてもよい。以下の式２１〜２４は、上限と下限の両方の閾値を設けた場合に、式２〜式５の代替として採用可能な式の例である。ただし、ｍｉｎ（Ａ，Ｂ）は、ＡとＢの中の最小値を表す関数であり、ｍａｘ（Ａ，Ｂ）は、ＡとＢの中の最大値を表す関数である。

式２１〜２４においては、上限の閾値（上記の式では２０）に加え、下限の閾値（上記の式では−１０）が設けられており、この下限の閾値を下方に超えないように（つまり、下回らないように）、各周波数帯域に関する候補ブロックのモデル音をマスキングする性能の指標値が算出され、それらが合計されて全周波数帯域に関する性能指標値が算出される。

例えば、３ソースの加算ブロックに対し加算するための採用ブロックを、ソース音信号Ｓ１の候補ブロックから採用ブロックを決定する際、３ソースの加算ブロックのソース音指標値と第１の候補ブロックのソース音指標値の合計値は、周波数帯域Ａ（１）に関してモデル音指標値に対し１５ｄＢのパワーを示し、周波数帯域Ａ（２）に関してモデル音指標値に対し５ｄＢのパワーを示したとする。また、３ソースの加算ブロックのソース音指標値と第２の候補ブロックのソース音指標値の合計値は、周波数帯域Ａ（１）に関してモデル音指標値に対し３０ｄＢのパワーを示し、周波数帯域Ａ（２）に関してモデル音指標値に対し−５ｄＢのパワーを示したとする。そして、周波数帯域Ａ（３）〜Ａ（１９）に関しては、第１の候補ブロックと第２の候補ブロックのソース音指標値は各々同じパワーを示したとする。すなわち、３ソースの加算ブロックのソース音指標値と第１の候補ブロックのソース音指標値の合計値と、３ソースの加算ブロックのソース音指標値と第２の候補ブロックのソース音指標値の合計値とは、周波数帯域Ａ（３）〜Ａ（１９）の各々に関して差がないものとする。

この場合、周波数帯域Ａ（１）に関しては、３ソースの加算ブロックに第１の候補ブロックを加算したものも、３ソースの加算ブロックに第２の候補ブロックを加算したものも、モデル音のパワーを十分に上回っているとみなせるので、マスキング性能の差はほとんどない。一方、周波数帯域Ａ（２）に関しては、３ソースの加算ブロックに第１の候補ブロックを加算したものの方が、３ソースの加算ブロックに第２の候補ブロックを加算したものよりも、マスキング性能が優れている。また、周波数帯域Ａ（３）〜Ａ（１９）に関しては、第１の候補ブロックと第２の候補ブロックの間にマスキング性能の差はない。従って、第１の候補ブロックを採用ブロックとして決定すれば、第２の候補ブロックを採用ブロックとして決定するよりも、より優れたマスキング性能を示す４ソースの加算ブロックを生成することができる。

この場合、下限の閾値（上記の式では−１０）が設けられなければ、マスキング性能の差がほとんどない周波数帯域Ａ（１）における評価が、マスキング性能の差が大きい周波数帯域Ａ（２）における評価を相殺してしまうため、第１の候補ブロックに関し算出される性能評価値の方が第２の候補ブロックに関し算出される性能評価値よりも大きくなり、マスキング性能が低いと評価されてしまう。下限の閾値を設けることで、このような不都合が回避される。

なお、上記の変形例においては、全ての周波数帯域において上限もしくは下限の閾値が同じ値としているが、これらの閾値を周波数帯域毎に異ならせてもよい。

（１７）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２は、モデル音指標値およびソース音指標値の算出に際し、フレームの各周波数帯域のパワースペクトルの算術平均値をフレームが示す音信号のパワーに関する特性を示す指標値として算出する。マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２がフレームの各周波数帯域のパワーに関する特性を示す指標値はパワースペクトルの算術平均値に限られず、例えばパワースペクトルの相乗平均値やパワースペクトルの最大値など、他の値をフレームの各周波数帯域のパワーに関する特性を示す指標値として算出する構成としてもよい。

さらに、マスカー音信号生成装置１２、マスカー音放音装置２１もしくはマスカー音信号生成装置３２がモデル音指標値およびソース音指標値の算出に用いる音信号の指標値は、音信号の大きさを示す指標値であれば、様々なものが採用され得る。例えば、モデル音信号又はソース音信号が示す音の強さを示す音圧（Ｐａ）や音圧レベル（ｄＢ）、音響エネルギー（音響インテンシティ（Ｗ／ｍ²））等や、モデル音信号又はソース音信号が示す音の大きさを示す周波数重み特性を付加した特性（例えば、Ａ特性音圧レベル（ｄＢ））等が、モデル音指標値およびソース音指標値の算出に用いられてもよい。この場合、モデル音指標値およびソース音指標値は、音信号のパワーを示す指標値に限られず、広く音信号の大きさを示す指標値と位置付けられる。

（１８）上述した第１実施形態において、マスカー音信号生成装置１２は記憶手段１２０に予め記憶されているモデル音信号およびソース音信号を用いてマスカー音信号を生成する。マスカー音信号生成装置１２がモデル音信号およびソース音信号を取得する方法はこれに限られず、例えばマスカー音信号生成装置１２がインターネットなどのネットワークを介して外部の装置から音信号を受信する受信手段を備え、受信手段によりモデル音信号およびソース音信号の少なくとも一方を外部の装置から取得する構成としてもよい。

（１９）上述した第１実施形態において、マスカー音信号生成装置１２は、マスカー音放音装置１１のＲＯＭ１０２等に予め記憶され、マスカー音の放音に際し、ＲＯＭ１０２等から読み出されて利用される構成とした。これに代えて、マスカー音信号生成装置１２とマスカー音放音装置１１とを互いにネットワーク等を介してデータ通信可能とし、マスカー音放音装置１１がマスカー音を放音する際にマスカー音信号をマスカー音信号生成装置１２から受信して放音に用いる構成としてもよい。

（２０）上述した第１実施形態において、ソース音信号Ｓ１及びＳ２は男性のみの音声を示し、ソース音信号Ｓ３及びＳ４は女性のみの音声を示す等、ソース音信号Ｓ１〜Ｓ４の少なくとも１つは男性のみの音声を示し、ソース音信号Ｓ１〜Ｓ４の他の少なくとも１つは女性のみの音声を示す構成としてもよい。この場合、マスカー音信号生成装置１２により生成されるマスカー音信号は、全ての時間区間に必ず男女の音声を含むものとなる。一般的に、男性の音声のみから生成されたマスカー音からは女性が発声したターゲット音が分離しやすく、女性の音声のみから生成されたマスカー音からは男性が発声したターゲット音が分離しやすい。本変形例にかかるマスカー音信号生成装置１２により生成されるマスカー音信号は、全ての時間区間に必ず男女の音声を含むため、男性、女性のいずれが発声したターゲット音も分離し難いマスカー音信号となる。

（２１）上述した第１実施形態において、ソース音信号Ｓ１〜Ｓ４の各々は、１人の話者の声を表す音信号であってもよいし、複数の話者の声を同時に表す音信号であってもよい。ソース音信号Ｓ１〜Ｓ４が複数の話者の声を同時に表す音信号である場合、当該音信号は、複数の話者が同じ空間内で同時に発した声を収音した音信号であってもよいし、複数の話者の各々が個別に発した声を収音した音信号を加算して生成された音信号であってもよい。

（２２）上述した実施形態において、性能指標値の算出に際し、複数の周波数帯域の各々に関し算出されるモデル音指標値とソース音指標値との差は単純に合計される構成とした。これに代えて、複数の周波数帯域の各々に関し算出されるモデル音指標値とソース音指標値との差を所定のウェイトにより重み付けを行って合計することで、性能指標値を算出する構成としてもよい。周波数帯域によって音声の明瞭度への寄与が異なることが報告されているため、例えばこの変形例において、音声の明瞭度がより高く、マスキング性能により大きな影響を与える周波数帯域に対し、より大きなウェイトで重み付けを行うことが考えられる。その結果、算出される性能指標値がより正確にマスキング性能を示すものとなり、性能指標値に従い生成されるマスカー音信号のマスキング性能がより高いものとなる。

（２３）上述した実施形態において、マスカー音信号生成装置１２、マスカー音放音装置２１およびマスカー音信号生成装置３２は、一般的なコンピュータが本実施形態にかかるプログラムに従った処理を実行することにより実現されるものとしたが、これらの装置が、いわゆる専用機として実現されてもよい。

なお、上述した実施形態および変形例は適宜組み合わされてもよい。

１１…マスカー音放音装置、１２…マスカー音信号生成装置、２１…マスカー音放音装置、２２…マイク、３１…スピーカ、３２…マスカー音信号生成装置、１０１…ＣＰＵ、１０２…ＲＯＭ、１０３…ＲＡＭ、１０４…Ｄ／Ａコンバータ、１０５…アンプ、１０６…スピーカ、１１１…記憶手段、１１２…放音手段、１２０…記憶手段、１２１…フレーム生成手段、１２２…パワースペクトル算出手段、１２３…モデル音指標値算出手段、１２４…ソース音指標値算出手段、１２５…マスキング性能算出手段、１２６…フレーム選択手段、１２７…加算手段、１２８…リバース処理手段、１２９…フレーム連結手段、２１０…マスカー音信号生成手段、２１１…収音信号取得手段、２１２…記憶手段、２１３…放音手段、３２１…マスカー音信号出力手段

Claims (10)

1. マスキングされる音に対応するモデル音信号を取得するモデル音信号取得手段と、
   前記モデル音信号の大きさの指標値を算出するモデル音指標値算出手段と、
   マスキングする音を表すマスカー音信号を生成するためのソース音信号を取得するソース音信号取得手段と、
   前記ソース音信号を所定の時間長の複数のフレームに分割し、当該複数のフレーム毎の音信号の大きさの指標値を算出するソース音指標値算出手段と、
   前記モデル音指標値算出手段が算出した指標値と前記ソース音指標値算出手段が算出した指標値とを用いて、前記ソース音信号の１以上のフレームが表す音がマスキングする性能の指標値を算出するマスキング性能算出手段と、
   前記マスキング性能算出手段が算出した指標値に基づき、前記ソース音信号の複数のフレームの中から複数のフレームを選択するフレーム選択手段と、
   前記フレーム選択手段が選択した複数のフレームを時間軸上で連結して、前記マスカー音信号を生成するフレーム連結手段と
   を備えるマスカー音信号の生成装置。
2. 前記モデル音指標値算出手段は、前記モデル音信号を所定の時間長の複数のフレームに分割し、当該複数のフレーム毎の音信号の大きさの指標値を算出し、当該算出した指標値のうち最大値を前記モデル音信号の大きさの指標値とする
   請求項１に記載のマスカー音信号の生成装置。
3. 前記モデル音指標値算出手段は、２以上の周波数帯域の各々に関し、前記モデル音信号の大きさの指標値を算出し、
   前記ソース音指標値算出手段は、前記２以上の周波数帯域の各々に関し、前記複数のフレーム毎の音信号の大きさの指標値を算出し、
   前記マスキング性能算出手段は、前記２以上の周波数帯域の各々に関し、前記モデル音指標値算出手段が算出した指標値と前記ソース音指標値算出手段が算出した指標値とを用いて、当該周波数帯域に関する前記性能の指標値を算出する
   請求項１または２に記載のマスカー音信号の生成装置。
4. 前記マスキング性能算出手段は、前記２以上の周波数帯域の各々に関し、所定の閾値を超えないように前記性能の指標値を算出する
   請求項３に記載のマスカー音信号の生成装置。
5. 前記ソース音信号の複数のフレームの中から選択された複数のフレームを加算し加算フレームを生成する加算手段を備え、
   前記マスキング性能算出手段は、前記加算手段が生成する加算フレームが表す音がマスキングする性能を示す前記性能の指標値を算出する
   請求項１乃至４のいずれか１項に記載のマスカー音信号の生成装置。
6. 前記ソース音信号の複数のフレームのうちの１以上のフレームの音量レベルを増減する増減手段を備え、
   前記マスキング性能算出手段は、前記増減手段により音量レベルの増減の行われたフレームが表す音がマスキングする性能を示す前記性能の指標値を算出する
   請求項１乃至５のいずれか１項に記載のマスカー音信号の生成装置。
7. 前記フレーム連結手段が生成したマスカー音信号に従い放音を行う放音手段を備える
   請求項１乃至６のいずれか１項に記載のマスカー音信号の生成装置。
8. マスキングされる音に対応するモデル音信号を取得するステップと、
   前記モデル音信号の大きさの指標値を算出するステップと、
   マスキングする音を表すマスカー音信号を生成するためのソース音信号を取得するステップと、
   前記ソース音信号を所定の時間長の複数のフレームに分割し、当該複数のフレーム毎の音信号の大きさの指標値を算出するステップと、
   前記モデル音信号の大きさの指標値と、前記ソース音信号の前記複数のフレーム毎の音信号の大きさの指標値とを用いて、前記ソース音信号の１以上のフレームが表す音がマスキングする性能の指標値を算出するステップと、
   前記性能の指標値に基づき、前記ソース音信号の複数のフレームの中から複数のフレームを選択するステップと、
   前記選択した複数のフレームを時間軸上で連結して、前記マスカー音信号を生成するステップと
   を備えるマスカー音信号の生成方法。
9. 請求項８に記載の生成方法により生成されたマスカー音信号に従い放音を行う放音手段を備えるマスカー音の放音装置。
10. コンピュータに、
    マスキングされる音に対応するモデル音信号を取得する処理と、
    前記モデル音信号の大きさの指標値を算出する処理と、
    マスキングする音を表すマスカー音信号を生成するためのソース音信号を取得する処理と、
    前記ソース音信号を所定の時間長の複数のフレームに分割し、当該複数のフレーム毎の音信号の大きさの指標値を算出する処理と、
    前記モデル音信号の大きさの指標値と、前記ソース音信号の前記複数のフレーム毎の音信号の大きさの指標値とを用いて、前記ソース音信号の１以上のフレームが表す音がマスキングする性能の指標値を算出する処理と、
    前記性能の指標値に基づき、前記ソース音信号の複数のフレームの中から複数のフレームを選択する処理と、
    前記選択した複数のフレームを時間軸上で連結して、マスカー音信号を生成する処理と
    を実行させるマスカー音信号の生成のためのプログラム。

Images