JP5707944B2 - 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム - Google Patents

快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム Download PDF

Info

Publication number
JP5707944B2
JP5707944B2 JP2011001626A JP2011001626A JP5707944B2 JP 5707944 B2 JP5707944 B2 JP 5707944B2 JP 2011001626 A JP2011001626 A JP 2011001626A JP 2011001626 A JP2011001626 A JP 2011001626A JP 5707944 B2 JP5707944 B2 JP 5707944B2
Authority
JP
Japan
Prior art keywords
spectrum
noise
data
value
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011001626A
Other languages
English (en)
Other versions
JP2012145615A (ja
Inventor
茂出木 敏雄
敏雄 茂出木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2011001626A priority Critical patent/JP5707944B2/ja
Publication of JP2012145615A publication Critical patent/JP2012145615A/ja
Application granted granted Critical
Publication of JP5707944B2 publication Critical patent/JP5707944B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Description

本発明は、騒音源を快音化したり、対話音声を秘匿化したりするための音楽データを生成する快音化データ生成装置等に関するものである。
施設等に設置される各種機器(コンピュータサーバー、プリンター、複写機、断裁機、空調機、送風機など)は、人間にとっては騒音源であり、このような騒音源から漏れる騒音を快音化し、不快感を和らげ、騒音レベルを心理的に低減化したいという要望がある。
また、医療機関(調剤薬局などの受付カウンター)、金融機関・保険会社の相談カウンター、法律事務所などの面談室、携帯電話店のカウンター、会食に使われる飲食店などにおいて交わされる対話音声は、第3者に聴取されることが好ましくない個人情報や企業の機密情報が含まれることが少なくない。そこで、このような対話音声を秘匿化したいという要望もある。
以下では、騒音源の快音化のみならず、対話音声の秘匿化も含めて、「快音化」と呼ぶこととする。
しかしながら、従来は、簡易的な間仕切りのみによって済ませている施設が多い。これは、工場、事務所、店舗などのスペース、コストの制約から、カラオケボックスのように遮音機能をもつ什器を導入したり、内装工事を行ったりすることは必ずしも容易ではないからである。そこで、現状設備に殆ど手を加えることなく、騒音を快音化する手法が求められている。
音を快音化する手法の1つとして、BGM(BackGround Music)を利用する手法がある。例えば、ショッピングセンター、カクテルパーティ、飲食店などではBGMが流れていることが多い。これは、人間の聴覚マスキング効果を活用して雑踏騒音を和らげることを意図している。
騒音快音化の中で対話音声を秘匿化することに特化した手法としては、(1)エネルギーマスキング、(2)インフォメーションマスキングという2つの手法が提案されている。これらは基本的にはBGMを使用しないが、不快な音を紛らわすため、実際にはBGMも併用されることが多い。
(1)エネルギーマスキングについては、例えば、特許文献1に記載されている。特許文献1には、白色雑音(少なくとも可聴域にて、パワーが周波数によらず略均一な傾向を有した雑音)等をマスキング音として流し、聴覚マスキング効果によって音声等をマスキングすることが記載されている。
(2)インフォメーションマスキングについては、例えば、特許文献2、3に記載されている。特許文献2には、ある音響空間に設置されたマイクロホンから音信号を受取り、受け取った音信号にスクランブルをかけてマスキングサウンドを生成し、他の音響空間に放音することが記載されている。また、特許文献3には、リアルタイムに録音された対話音声を解析し、対話音声を加工してマスキング音を生成し、出力することが記載されている。
しかしながら、特許文献1に記載の手法では、音圧が高いマスキング音が四六時中流れることになり、秘匿化したい音声ではない対話音声が聞き取り難くなるという問題が指摘されている。
また、特許文献2、3に記載の手法では、マスキング音が人間に不快感を与えるとう問題が指摘されている。また、録音する為のマイクロホン、高速信号処理装置などが必要となり、コストがかかるという問題が指摘されている。
いずれにしても、これら2つの提案手法は対象を対話音声に特化し、対話音声を聞こえなくするわけではなく、聞き取りずらくさせ理解できなくすることを目的にしており、これら2つの提案手法を機械騒音など騒音一般の快音化に適用することは難しい。
そこで、本発明者は、制御対象の騒音信号の平均スペクトルに対してBGM信号の平均スペクトルを周波数別に除算し、周波数方向に平滑化処理した単一のフィルタ関数を用いてフィルタ処理を施す快音化装置等を発明した(特許文献4参照)。
特開2010−031501号公報 特許第4245060号公報 特許第4336552号公報 特願2010−174716号公報
ところで、特許文献4に記載の手法では、騒音信号に対してマスキング効果が充分働くようにフィルタ加工を行うと、BGM信号のレベルが大きくなり、騒音信号レベルが大きい場合、大音量の音楽を流す必要がある。即ち、騒音の不快度は低減されるが、煩さが返って増大する場合がある。また、クラシック曲など音楽がある程度長い場合、あるいは演奏音の強弱が激しい場合、マスキング効果が適切に働かない箇所が目立つこともある。
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることを可能にし、更に、ある程度長い楽曲又は演奏音の強弱が激しい楽曲を用いる場合であっても、どの再生箇所においてもマスキング効果を均等に働かせることができる快音化データ生成装置等を提供することである。
前述した目的を達成するために第1の発明は、快音化データを生成する快音化データ生成装置であって、予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析手段と、前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成手段と、前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換手段と、各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算手段と、前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算手段と、前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換手段と、を具備することを特徴とする快音化データ生成装置である。
第1の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる快音化データを生成することができる。
ここで、快音化データとは、騒音源を快音化したり、対話音声を秘匿化したりするための音楽データである。
第1の発明における前記周波数解析手段は、前記音楽データの各フレームfの前後Mフレームに渡って時間軸方向に平均化したスペクトルVm(f、j)を前記音楽平均値スペクトルとしてフレームごとに算出するようにし、前記フィルタ関数作成手段は、前記騒音最大値スペクトルVv(j)に基づく値を、フレームfに対応する前記音楽平均値スペクトルVm(f、j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(f、j)に基づいて、フィルタ関数F(f、j)をフレームごとに作成するようにし、前記フィルタ関数乗算手段は、各フレームの複素スペクトルSm(f、j)に対して各フレームfに対応する前記フィルタ関数F(f、j)を乗じることが望ましい。
これによって、人手を費やさずに、どの再生箇所においてもマスキング効果が満遍なく働く快音化データを生成することができる。
第1の発明における前記フィルタ関数作成手段は、前記騒音最大値スペクトルVv(jc)(jcは特定の周波数)を、周波数jcよりも高域側の範囲内の最大値に置換することによって、置換騒音最大値スペクトルを算出し、前記音楽平均値スペクトルVm(f、jc)を、周波数jcの前後の範囲内の平均値に置換することによって、置換音楽平均値スペクトルを算出し、前記置換騒音最大値スペクトルを前記置換音楽平均値スペクトルによって互いに対応する周波数jごとに除した値を前記除算値スペクトルDiv(f、j)とすることが望ましい。
マスキングは、高音側(周波数が高域側)に働きやすいという性質がある為、騒音最大値スペクトルVv(j)を、周波数jよりも高域側の範囲内の最大値に置換すれば、騒音スペクトルを周波数方向に低音側に非線形シフトする補正を行っていることになり、ひいては、マスキング効果を高めることができる。
第1の発明における前記フィルタ関数作成手段は、前記除算値スペクトルDiv(f、j)を、周波数jの前後の範囲内の平均値に置換することによって、前記除算値スペクトルDiv(f、j)を平滑化することが望ましい。
これによって、フィルタ関数が滑らかになり、ひいては、最終的に生成される快音化データが、人間にとって心地良い音楽データとなる。
第1の発明は、複数の前記音楽データを記憶する音楽データ記憶手段と、前記音楽データ記憶手段によって記憶されている前記音楽データの中から単一の前記音楽データを選択する音楽データ選択手段と、を更に具備し、前記音楽データ選択手段によって選択された単一の前記音楽データに基づいて、前記快音データを生成することが望ましい。
これによって、複数の音楽データに基づいて、複数の快音化データを生成することができる。
第2の発明は、快音化データを生成する快音化データ生成方法であって、予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換ステップと、を含むことを特徴とする快音化データ生成方法である。
第2の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる快音化データを生成することができる。
第3の発明は、第1の発明の快音化データ生成装置が生成する複数の前記快音化データを記憶する快音化データ記憶手段と、前記快音化データ記憶手段によって記憶されている前記快音化データの中から単一の前記快音化データを選択する快音化データ選択手段と、前記快音化データ選択手段によって選択された単一の前記快音化データを再生する快音化データ再生手段と、を具備することを特徴とする快音化装置である。
第3の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる。
第3の発明は、前記快音化データ再生手段が前記快音化データを波面が平面波に近い音波として所定平面から均一に放射する機構をもつ平面型スピーカで構成されていることが望ましい。
これによって、快音化対象位置に伝搬される過程で減衰する音波のエネルギー量が、快音化対象の騒音に比べ快音化データの方が小さくなり、相対的に快音化データのエネルギー量が快音化対象の騒音に比べ大きくなるため、マスキング効果を高めることができる。
第4の発明は、快音化データを生成する快音化データ生成装置であって、予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析手段と、前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成手段と、前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換手段と、各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算手段と、前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算手段と、前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換手段と、前記快音化データを再生する快音化データ再生手段と、を具備することを特徴とする快音化装置である。
第4の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる。
第5の発明は、第2の発明の快音化データ生成方法によって生成する複数の前記快音化データを記憶する快音化データ記憶ステップと、前記快音化データ記憶ステップによって記憶されている前記快音化データの中から単一の前記快音化データを選択する快音化データ選択ステップと、前記快音化データ選択ステップによって選択された単一の前記快音化データを再生する快音化データ再生ステップと、を含むことを特徴とする快音化方法である。
第5の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる。
第6の発明は、快音化データを生成する快音化データ生成方法であって、予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換ステップと、前記快音化データを再生する快音化データ再生ステップと、を含むことを特徴とする快音化方法である。
第6の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる。
第7の発明は、コンピュータに、予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、快音化データを生成する時間次元逆変換ステップと、を実行させるためのコンピュータ読取可能なプログラムである。
第7の発明のプログラムを汎用のコンピュータにインストールすることによって、第1の発明の快音化データ生成装置を得ることができる。
第8の発明は、コンピュータに、予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、快音化データを生成する時間次元逆変換ステップと、前記快音化データを再生する快音化データ再生ステップと、を実行させるためのコンピュータ読取可能なプログラムである。
第8の発明のプログラムを、音楽スピーカが接続された汎用のコンピュータにインストールすることによって、第4の発明の快音化装置を得ることができる。
本発明の快音化データ生成装置等により、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることを可能にし、更に、ある程度長い楽曲又は演奏音の強弱が激しい楽曲を用いる場合であっても、どの再生箇所においてもマスキング効果を均等に働かせることができる。
快音化装置の概要図 快音化データ生成装置のハードウエア構成図 聴覚マスキング現象を説明する図 快音化処理の流れを示すフローチャート 快音化データ生成処理の流れを示す図 周波数解析処理を説明する図(1) 周波数解析処理を説明する図(2) 周波数解析処理を説明する図(3) フィルタ関数作成処理を説明する図(1) フィルタ関数作成処理を説明する図(2) フーリエ変換処理、フィルタ関数乗算処理を説明する図 スペクトル減算処理、フーリエ逆変換処理を説明する図 スペクトル減算処理を行わない場合の合成信号を示す図 スペクトル減算処理を行う場合の合成信号を示す図 快音化装置の設置例
以下図面に基づいて、本発明の実施形態を詳細に説明する。
図1は、快音化装置1の概要図である。図1に示すように、快音化装置1は、少なくとも、快音化データ生成装置2及び音楽再生装置3から構成される。
快音化データ生成装置2は、例えば、コンピュータ等であり、騒音源を快音化したり、対話音声を秘匿化したりするための音楽データである快音化データ7を生成する。快音化データ生成装置2の記憶部には、少なくとも騒音データ4及び音楽データ5が記憶される。ここで、騒音データ4には、本願発明の構成外である録音装置を用いてあらかじめ録音された騒音源による機械音の他、対話音声なども含まれる。
音楽再生装置3は、音楽プレーヤ及びスピーカから構成され、快音化データ7を再生する。音楽再生装置3の記憶部には、少なくとも快音化データ生成装置2によって生成される快音化データ7が記憶される。
快音化装置1は、用途に応じて様々な構成を採ることが可能である。快音化装置1を構成する快音化データ生成装置2及び音楽再生装置3は、図1に示すように異なる筐体としても良いし、1つの筐体としても良い。また、騒音データ4を収集するための録音装置を組み込んでも良い。
また、快音化データ生成装置2及び音楽再生装置3は、図1に示すように有線によって接続されても良いし、無線によって接続されても良いし、ネットワークを介して接続されても良いし、接続されていなくても良い。
快音化データ生成装置2及び音楽再生装置3が接続されていない場合、快音化データ生成装置2は、快音化データ7を記憶媒体(CD、MD、USBメモリ、SDカードなどコンピュータ及び音楽プレーヤが読取可能な記憶媒体)に出力し、音楽再生装置3は、記憶媒体から快音化データ7を入力する。
少なくとも音楽再生装置3は、騒音の快音化を所望する音響空間に設置される。このような音響空間としては、例えば、工場、事務所、店舗などにおいて、騒音源(コンピュータサーバー、プリンター、複写機、断裁機、空調機、送風機など)と隣接する事務室などが考えられる。また、例えば、調剤薬局などの受付カウンターに隣接する待合室などが考えられる。そして、音楽再生装置3は、このような事務室や待合室において快音化データ7を再生する。
ここで、本発明の実施の形態に係る快音化データ生成装置2が生成する快音化データ7は、騒音源と事務室の間が簡易的な間仕切りのみであっても、通常の音量によって、騒音を快音化したり、待合室にいる人が受付カウンターの対話音声の内容を聞き取ることができない程度に秘匿化したりすることが可能である。
音楽再生装置3が設置される音響空間としては、その他に、電車、自動車、航空機などの騒音に悩まされるオフィス、飲食店などや、幼児の鳴き声、生活音などによる隣人の不快感を和らげたい一般家庭などが挙げられる。
図2は、快音化データ生成装置2のハードウエア構成図である。尚、図2のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
快音化データ生成装置2は、制御部21、記憶部22、メディア入出力部23、通信制御部24、入力部25、表示部26、周辺機器I/F部27等が、バス28を介して接続される。
制御部21は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等で構成される。
CPUは、記憶部22、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス28を介して接続された各装置を駆動制御し、快音化データ生成装置2が行う後述する処理を実現する。
ROMは、不揮発性メモリであり、快音化データ生成装置2のブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。
RAMは、揮発性メモリであり、記憶部22、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部11が各種処理を行う為に使用するワークエリアを備える。
記憶部22は、HDD(ハードディスクドライブ)であり、制御部21が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OS(オペレーティングシステム)に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部21により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
メディア入出力部23(ドライブ装置)は、データの入出力を行い、例えば、CDドライブ(−ROM、−R、−RW等)、DVDドライブ(−ROM、−R、−RW等)、MDドライブ等のメディア入出力装置を有する。
通信制御部24は、通信制御装置、通信ポート等を有し、快音化データ生成装置2とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。
入力部25は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部25を介して、快音化データ生成装置2に対して、操作指示、動作指示、データ入力等を行うことができる。
表示部26は、CRTモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータ1のビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有する。
周辺機器I/F(インタフェース)部27は、快音化データ生成装置2に周辺機器を接続させるためのポートであり、快音化データ生成装置2は周辺機器I/F部27を介して周辺機器とのデータの送受信を行う。周辺機器I/F部27は、USBやSDカードリーダ等で構成されている。
バス28は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
図3は、聴覚マスキング現象を説明する図である。
マスキングとは、一方の音が、他方の音によってかき消され(マスクされ)、聞こえなくなる現象を意味する。聴覚マスキング現象は、図3に示すように、2種類に大別される。
第1の聴覚マスキング現象は、周波数マスキング(同時マスキング)である。図3(a)は、周波数マスキングを示す模式図である。周波数マスキングは、同一時刻に到達した2種類の音波間の干渉である。2種類の音波の周波数が近接している場合、図3(a)に示すように、マスカー音8a(一方の音をかき消す音)の強さが、マスキー音9a(他方の音によってかき消される音)の強さより大きい場合に、マスキング効果が働く。
尚、マスカー音8aの周波数が、マスキー音9aの周波数より僅かに低い方が、僅かに高い場合に比べマスキング効果は大きいが、両者の周波数が完全に一致する場合、互いに強め合うことになり、マスキング効果は生じない。マスカー音8aの周波数が、マスキー音9aの周波数より所定の範囲(臨界帯域幅とよばれる)より高いまたは低い場合も、マスキング効果は生じない。
第2の聴覚マスキング現象は、時間マスキング(経時マスキング)である。図3(b)は、時間マスキングを示す模式図である。時間マスキングは、若干の時間差を伴って到達した2種類の音波間の干渉である。2種類の音波の周波数が、周波数マスキングと同様に近接している場合、図3(b)に示すように、順向マスキングや逆向マスキングが働く。
順向マスキングは、マスカー音8bが先行して到達し、マスキー音9bが若干遅れて到達する場合、具体的には時間差が100msec以下の場合に働く。この場合、後続の音であるマスキー音9bが聞こえない。
逆向マスキングは、マスカー音8cがマスキー音9cよりも強く、かつ、マスキー音9cが先行して到達し、マスカー音8cが非常に微小な時間だけ遅れて到達する場合、具体的には時間差が20msec以下の場合に働く。この場合、先行音であるマスキー音9cが、後続音であるマスカー音8cに抜かれ、聞こえなくなる。マスキー音9cがマスカー音8cに抜かれる理由は、強い音であるマスカー音8cの方が、人間の耳の中での伝播時間が早まる為である。
尚、逆向マスキングよりも順向マスキングの方が、マスキング効果は高い。
本発明の実施の形態では、ある程度長い楽曲又は演奏音の強弱が激しい楽曲を用いる場合であっても、どの再生箇所においてもマスキング効果を均等に働かせる為に、特願2010−174716号(特許文献4)において活用されている「周波数マスキング」に加えて、「時間マスキング」も活用するものである。
図4は、快音化処理の流れを示すフローチャートである。
図4に示すように、快音化データ生成装置2の制御部21は、騒音データ4及び音楽データ5を記憶部22に記憶する(S101)。音楽データ5は、複数記憶するようにしても良い。
騒音データ4は、快音化対象の音響空間における騒音をリアルタイムにまたは事前に録音したサンプルデータとする。また、対話音声の秘匿化を目的とする場合、騒音データ4は、秘匿化対象の音響空間におけるリアルタイムに録音された対話音声ではなく、事前に録音された第3者の音声に基づく固定のサンプルデータとする。いずれにしても、本発明の実施の形態における快音化データ生成装置2は、快音化対象の現場においてリアルタイムに録音を行った騒音データを使用することはあっても、録音途上の騒音データとリアルタイムに同期して快音化データを生成するような、リアルタイム処理は行わない。
音楽データ5は任意である。例えば、聴取者にとって意味のあるメロディ・リズム・和声進行が含まれている必要は必ずしもなく、川のせせらぎ音などの自然音でもかまわない。快音化対象の騒音や秘匿化対象の対話音声に類似した周波数成分を多く含む音楽データであれば、マスキング効果が働きやすくなるので、マスキング効果を高めるという意味では、白色雑音成分や声楽データが含まれていることが望ましい。但し、白色雑音成分や声楽データが含まれると騒がしくなるため、器楽データのみであり、楽器編成が少ない室内楽曲などが現実的である。快音化データ生成装置2は、音楽データ5ごとに快音化データ7を生成する。
次に、快音化データ生成装置2の制御部21は、単一の音楽データ5を選択する(S102)。音楽データ5の選択は、入力部25を介してユーザが指示するようにしても良い。
次に、快音化データ生成装置2の制御部21は、S102において選択された単一の音楽データ5に基づいて、快音化データ7の生成処理を行う(S103)。快音化データ7の生成処理の詳細は後述する。
S102及びS103の処理を繰り返し、複数の快音化データ7を生成するようにしても良い。
次に、音楽再生装置3は、S103にて生成された快音化データ7を記憶する(S104)。快音化データ7は、複数記憶するようにしても良い。
次に、音楽再生装置3は、単一の快音化データ7を選択する(S105)。快音化データ7の選択は、ユーザが指示するようにしても良い。
次に、音楽再生装置3は、S105において選択された単一の快音化データ7を再生する(S106)。再生音量は、環境の変化に応じて、ユーザの指示により適宜変更される。
以上により、快音化装置1は、音響空間Aにおける騒音が、所定の距離だけ離れている音響空間Bにいる人に不快感を与えないように快音化することができる。または、快音化装置1は、音響空間Aにおける対話音声が、所定の距離だけ離れている音響空間Bにいる人に聴取されないように秘匿化することができる。
以下では、快音化データ7の生成処理の詳細について説明する。
図5は、快音化データ生成処理の流れを示す図である。図5に示すように、快音化データ生成処理は、フレーム抽出処理31、周波数解析処理32、フィルタ関数作成処理33及びフィルタリング処理34を含む。
ここでは、各処理の概要について説明し、詳細は後述する。
フレーム抽出処理31は、騒音データ4及び音楽データ5を入力し、各々に対して所定の区間単位のフレームfに分割し、騒音フレーム群10及び音楽フレーム群11を生成する。
所定の区間単位(フレームの長さ)は、例えば、100msec以下が望ましい。これは、前述の時間マスキング、特に、順向マスキングによるマスキング効果を活用する為である。尚、所定の区間単位(フレームの長さ)を例えば10msec以下などにいたずらに短く設定しても、フレーム数が増えて計算時間が長くなるだけで効果は変わらない。
周波数解析処理32は、騒音フレーム群10及び音楽フレーム群11を入力し、騒音最大値スペクトルデータ12、騒音平均値スペクトルデータ13及び音楽平均値スペクトルデータ14を出力する。周波数解析処理32は、快音化データ生成装置2の制御部21が、騒音フレーム群10及び音楽フレーム群11の各クレームに対して周波数解析を行い、騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出し、騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、音楽フレーム時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する処理である。
尚、Vv(j)の添え字「v」は、実際はnoiseを含むがvoiceの頭文字である。Va(j)の添え字「a」は、averageの頭文字である。また、Vm(j)の添え字「m」は、musicの頭文字である。
また、周波数解析処理32では、快音化データ生成装置2の制御部21が、音楽データの各フレームfの前後Mフレームに渡って時間軸方向に平均化したスペクトルVm(f、j)を音楽平均値スペクトルとしてフレームごとに算出するようにしても良い。
ここで、Mは、前述した所定の区間単位(フレームの長さ)に応じて定めることが望ましく、「M(個)×フレームの長さ(秒)」が数秒程度であることが望ましい。これは、「M(個)×フレームの長さ(秒)」が短すぎると、音楽が不自然に聞こえてしまい、「M(個)×フレームの長さ(秒)」が長すぎると、マスキング効果、即ち騒音の快音化が適切に働かない箇所が目立つようになるからである。
騒音データ4に対しては、騒音最大値スペクトルVv(j)と、騒音平均値スペクトルVa(j)を算出する。
音楽データ5に対しては、時間軸方向に平均化した音楽平均値スペクトルVm(j)を算出する。または、音楽データ5に対しては、フレーム単位の各瞬時スペクトル(位相成分は無視したエネルギー量)に対して、フレームfごとに、前後所定のフレーム数に対応する瞬時スペクトルを平均化した音楽平均値スペクトルVm(f、j)を算出するようにしても良い。
フィルタ関数作成処理33は、騒音最大値スペクトルデータ12及び音楽平均値スペクトルデータ14を入力し、フィルタ関数データ15を出力する。フィルタ関数作成処理33は、快音化データ生成装置2の制御部21が、騒音最大値スペクトルVv(j)に基づく値を、フレームfに対応する音楽平均値スペクトルVm(f、j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(f、j)に基づいて、フィルタ関数F(f、j)を作成する処理である。
また、フィルタ関数作成処理33では、快音化データ生成装置2の制御部21が、騒音最大値スペクトルVv(j)に基づく値を、フレームfに対応する音楽平均値スペクトルVm(f、j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(f、j)に基づいて、フィルタ関数F(f、j)をフレームごとに作成するようにしても良い。
フィルタリング処理34は、周波数次元変換処理、フィルタ関数乗算処理、スペクトル減算処理、時間次元逆変換処理を含む。
周波数次元変換処理では、音楽データ5を周波数次元に変換し、瞬時複素スペクトルデータを出力する。すなわち、快音化データ生成装置2の制御部21が、音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する。
フィルタ関数乗算処理では、フィルタ関数データ15を入力し、瞬時複素スペクトルデータを、後述する第1変換スペクトルデータに変換する。すなわち、快音化データ生成装置2の制御部21が、各フレームfに対応する複素スペクトルSm(f、j)に対してフィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換する。また、快音化データ生成装置2の制御部21が、各フレームの複素スペクトルSm(f、j)に対して各フレームfに対応するフィルタ関数F(f、j)を乗じ、第1変換スペクトルSm’(f、j)に変換するようにしても良い。
スペクトル減算処理では、騒音平均値スペクトルデータ13を入力し、第1変換スペクトルデータを第2変換スペクトルデータに変換する。すなわち、快音化データ生成装置2の制御部21が、第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換する。
時間次元逆変換処理では、第2変換スペクトルデータを時間次元に変換し、快音化データ7を出力する。すなわち、快音化データ生成装置2の制御部21が、第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、快音化データ7を生成する。
以下では、快音化データ生成装置2の制御部21は、フレームごとに各種の処理(周波数解析処理32、フィルタ関数作成処理33、及び、フィルタリング処理34)を実行するものとする。
図6〜図8は、周波数解析処理を説明する図である。図6〜図8に示すように、周波数解析処理32は、(狭義の)周波数解析32a、瞬時スペクトル算出処理41、平均スペクトル算出処理42を含む。
最初に、騒音データ4に対する周波数解析処理について説明する。
例えば、サンプリング周波数Fsを「44100Hz」、サンプル数Nを「4096」とする。サンプリング周波数Fs及びサンプル数Nによって、騒音データ4に含まれるフレーム数Fvが定まる。
フレーム抽出処理31では、快音化データ生成装置2の制御部21が、サンプリング周波数Fsのモノラル騒音信号(ステレオの場合はLR(左右)の合算値とする。)に対して、各々N/2サンプル間隔ごとに(すなわち、N/2サンプル分ずつ重複する。)、N個ずつ、各々Fvフレーム抽出する。
次に、周波数解析処理32では、制御部21は、抽出したf番目のフレームデータXv(f、i)(f=0、・・・、Fv−1;i=0、・・・、N−1)に対して、ハニング窓関数H(i)=0.5−0.5cos(2πi/N)を用いてフーリエ変換を行う。
次に、制御部21は、変換データの実部Av(f、j)(f=0、・・・、Fv−1;j=0、・・・、N−1)、虚部Bv(f、j)(f=0、・・・、Fv−1;j=0、・・・、N−1)、並びに、強度値の時系列の騒音最大値スペクトルVv(j)及び騒音平均値スペクトルVa(j)を各々、次式のように算出する。
Figure 0005707944
図6には、騒音フレームデータXv(f、i)のフレーム1〜フレームFに対して、周波数解析32aが行われ、騒音スペクトル1〜騒音スペクトルFが算出され、騒音最大値スペクトルVv(j)が算出されることが図示されている。
図7には、騒音フレームデータXv(f、i)のフレーム1〜フレームFに対して、周波数解析32aが行われ、騒音スペクトル1〜騒音スペクトルFが算出され、騒音平均値スペクトルVa(j)が算出され、スケーリング処理40によって、減弱した騒音平均値スペクトルVa’(j)が算出されることが図示されている。
スケーリング処理40は、騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じる処理である。スケーリング処理40の詳細は、スペクトル減算処理48の説明において後述する。
次に、音楽データ5に対する周波数解析処理について説明する。
騒音データ4と同様、サンプリング周波数Fsを「44100Hz」、サンプル数Nを「4096」とする。サンプリング周波数Fs及びサンプル数Nによって、音楽データ5に含まれるフレーム数Fmが定まる。
フレーム抽出処理31では、快音化データ生成装置2の制御部21が、サンプリング周波数Fsのモノラル音楽信号(ステレオの場合はLR(左右)の合算値とする。)に対して、各々N/2サンプル間隔ごとに(すなわち、N/2サンプル分ずつ重複する。)、N個ずつ、各々Fmフレーム抽出する。
次に、周波数解析処理32では、制御部21は、抽出したf番目のフレームデータXm(f、i)(f=0、・・・、Fm−1;i=0、・・・、N−1)に対して、ハニング窓関数H(i)=0.5−0.5cos(2πi/N)を用いてフーリエ変換を行う。
次に、制御部21は、瞬時スペクトル算出処理41として、フレームごとに、位相成分は無視したエネルギー量である瞬時スペクトルを算出する。また、制御部21は、平均スペクトル算出処理42として、前後Mフレーム(M個)の瞬時スペクトルの平均値である音楽平均値スペクトルを算出する。
具体的には、制御部21は、変換データの実部 Am(f、j)(f=0、・・・、Fm−1;j=0、・・・、N−1)、虚部Bm(f、j)(f=0、・・・、Fm−1;j=0、・・・、N−1)、及び、対象フレームを中点として前後M/2フレーム(M/2個)ずつ、合計Mフレーム(M個)(M<Fm)の音楽平均値スペクトルVm(f、j)(f=0、・・・、Fm−1;j=0、・・・、N/2)を各々、次式のように算出する。
但し、音楽データ5の先頭部、すなわち、f<M/2の場合、前後M/2フレーム(M/2個)ずつの平均を取ることができないことから、Vm(f、j)=Vm(M/2、j)とする。同様に、音楽データ5の後尾部、すなわち、f>Fm−M/2の場合、前後M/2フレーム(M/2個)ずつの平均を取ることができないことから、Vm(f、j)=Vm(Fm−M/2−1、j)とする。
Figure 0005707944
図6には、一例として、音楽データ5のフレームfとフレームf+1に対する周波数解析処理が示されている。
図6には、音楽フレームデータXm(f、i)のフレーム1〜フレームM+1に対して、周波数解析32aが行われ、フレーム1〜フレームMまでの時系列平均が算出され、フレームfに対する音楽平均値スペクトルVm(f、j)が算出されることが図示されている。同様に、図6には、フレーム2〜フレームM+1までの時系列平均が算出され、フレームf+1に対する音楽平均値スペクトルVm(f+1、j)が算出されることが図示されている。
また、図8には、図6の補足的な説明として、音楽データ5を入力とし、瞬時スペクトル算出処理41によって、フレームごとに瞬時スペクトルが算出されることが図示されている。また、処理対象のフレームに対して、平均スペクトル算出処理52によって、前後Mフレーム(M個)の瞬時スペクトルの平均値が算出され、音楽平均値スペクトルに置換され、音楽平均値スペクトルデータ14が出力されることが図示されている。
図9、図10は、フィルタ関数作成処理を説明する図である。フィルタ関数作成処理33は、図9に示す臨界帯域幅補正処理43、並びに、図10に示す除算処理44及び平滑化処理45を含む。
まず、図9を参照して臨界帯域幅補正処理43について説明する。
臨界帯域幅補正処理43は、快音化データ生成装置2の制御部21が、騒音最大値スペクトルVv(j)を、周波数jごとに所定の範囲内の最大値に置換することによって、単一の置換騒音最大値スペクトルVv’(j)を作成する処理である。また、臨界帯域幅補正処理43は、フレームfごとに、音楽平均値スペクトルVm(f、j)を、周波数jごとに所定の範囲内の平均値に置換することによって、置換音楽平均値スペクトルVm’(f、j)を作成する処理である。図9には、一例として、フレームfとフレームf+1に対する臨界帯域幅補正処理が示されている。
臨界帯域幅とは、ある周波数jの周波数成分Vv(j)またはVm(f、j)を中心にマスキングが及ぶ周波数の範囲(臨界帯域幅、Barkと呼ばれる。)である。臨界帯域幅の近似式としては、次式に示すE.Zwickerの式が知られている。尚、一般に、周波数が高くなると、臨界帯域幅は広くなることが分かっている。
Figure 0005707944
式(8)におけるfrの単位も「Hz」である。frとBz(fr)を本実施の形態におけるフーリエ変換のポイント数の次元に変換すると、次式となる。
Figure 0005707944
臨界帯域幅補正処理43では、快音化データ生成装置2の制御部21は、騒音信号スペクトルに対して、周波数jごとに周波数成分Vv(j)をjc=j−(1−α)×Bz(j)からjc=j+α×Bz(j)の範囲の最大値に置換する。即ち、制御部21は、j=0、・・・、N/2に対して、置換後のスペクトル(置換騒音最大値スペクトル)Vv’(j)を次式のように算出する。
Figure 0005707944
αは0から1までの実数であり、通常はα=1.0とする。式(10)によって、騒音スペクトルを周波数方向に低音側に非線形シフトする補正を行っていることになる。
マスキングは、高音側(周波数が高域側)に働きやすいという性質がある為、騒音最大値スペクトルVv(j)を、周波数jよりも高域側の範囲内の最大値に置換すれば、騒音スペクトルを周波数方向に低音側に非線形シフトする補正を行っていることになり、ひいては、マスキング効果を高めることができる。
一方、音楽信号スペクトルに対しては、制御部21は、フレームfごとに処理を行い、周波数jごとに周波数成分Vm(f、j)をjc=j−0.5×Bz(j)からjc=j+0.5×Bz(j)の範囲の平均値に置換する。即ち、制御部21は、j=0、・・・、N/2に対して、置換後のスペクトル(置換音楽平均値スペクトル)Vm’(f、j)を次式のように算出する。
Figure 0005707944
式(11)によって、音楽平均値スペクトルを周波数方向に平滑化をかけていることになる。
図9では、W(j)が、置換の際の計算範囲を示している。騒音最大値スペクトルVv(j)に対して、単一の置換騒音最大値スペクトルVv’(j)が算出されることが図示されている。また、音楽平均値スペクトルVm(f、j)に対しては、置換音楽平均値スペクトルVm’(f、j)が算出され、音楽平均値スペクトルVm(f+1、j)に対しては、置換音楽平均値スペクトルVm’(f+1、j)が算出されることが図示されている。
次に、図10を参照して、除算処理44及び平滑化処理45について説明する。
除算処理44は、快音化データ生成装置2の制御部21が、フレームfごとに、騒音最大値スペクトルVv(j)に基づく値を音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値を除算値スペクトルDiv(f、j)とする処理である。特に、制御部21は、フレームfごとに、置換騒音最大値スペクトルVv’(j)を置換音楽平均値スペクトルVm’(f、j)によって互いに対応する周波数jごとに除した値を除算値スペクトルDiv(f、j)とすることが望ましい。
図10には、一例として、フレームfとフレームf+1に対する除算処理が示されている。
また、平滑化処理45は、快音化データ生成装置2の制御部21が、除算値スペクトルDiv(f、j)を、周波数jの前後の範囲内の平均値に置換することによって、除算値スペクトルDiv(f、j)を平滑化する処理である。
図10には、一例として、フレームfとフレームf+1に対する平滑化処理が示されている。
具体的には、制御部21は、周波数(j=0、・・・、N/2)ごとに、除算値スペクトルDiv(f、j)=Vv’(j)/Vm’(f、j)を算出し、これに対して所定のタップ数T(<N/2)によって、次式のように、平滑フィルタをかけた結果をF(f、j)とする。
Figure 0005707944
βは、音圧を調整するための比例定数(実数値)である。騒音信号の音圧と音楽信号の音圧を同程度とする場合、β=1.0とする。
F(f、j)の上限値と下限値は予め設定しておく。例えば、中央値を1とすると、上限値を10倍の「10」、下限値を1/10の「0.1」とする。除算結果が上限値を上回る場合、又は、下限値を下回る場合、制御部21は、それぞれ、F(f、j)に上限値又は下限値を設定する。
図10に示すように、除算値スペクトルDiv(f、j)は、極値(極大値及び極小値)を数多く持つ関数となっている。特に、ところどころ0で割り算する箇所が発生してしまい、その箇所では上限値をもつ極値になり不連続点になる。除算値スペクトルDiv(f、j)をそのままフィルタ関数とすると、人間にとって聞き苦しい快音化データ7が生成されてしまう。そこで、本発明の実施の形態では、平滑化処理45を行っている。
図10に示すように、平滑化処理45を行うことで、フィルタ関数F(f、j)は、極値が少なく、滑らかな関数となっている。
図11は、フーリエ変換処理、フィルタ関数乗算処理を説明する図である。フィルタリング処理34は、フーリエ変換処理46及びフィルタ関数乗算処理47を含む。
前述の周波数解析処理32及びフィルタ関数作成処理33では、実数値に対して計算を行っているが、フィルタリング処理34では、複素数値をもつ瞬時スペクトルに対して計算を行う。
フーリエ変換処理46は、快音化データ生成装置2の制御部21が、音楽フレームデータXml(f、i)及びXmr(f、i)(f=0、・・・、Fm−1;i=0、・・・、N−1)をフーリエ変換し、ソース複素スペクトルを算出する処理である。
フィルタ関数乗算処理47は、制御部21が、ソース複素スペクトルにフィルタ関数F(f、j)を乗じ、第1変換スペクトルSm’(f、j)を算出する処理である。
フーリエ変換処理46では、制御部21は、サンプリング周波数Fsのステレオ騒音信号(モノラル信号の場合は一方を0とする。)に対して、各々N/2サンプル間隔ごとに(すなわち、N/2サンプル分ずつ重複する。)、N個ずつ、各々Fmフレーム抽出したf番目の音楽フレームデータXml(f、i)及びXmr(f、i)に対して、ハニング窓関数H(i)=0.5−0.5cos(2πi/N)を用いてフーリエ変換を行い、以下のように、変換データであるソース複素スペクトルSm(f、j)の実部Aml(f、j)及びAmr(f、j)、並びに、虚部Bml(f、j)及びBmr(f、j)(f=0、・・・、Fm)−1;j=0、・・・、N−1)を算出する。
Figure 0005707944
フィルタ関数乗算処理47では、制御部21は、Fm個のフィルタ関数F(f、j)を用いて、フレームfごとに所定の周波数区間[j1、j2]の全ての周波数成分に乗算し、第1変換スペクトルSm’(f、j)の実部Aml’(f、j)及びAmr’(f、j)、並びに、虚部Bml’(f、j)及びBmr’(f、j)(f=0、・・・、Fm)−1;j=0、・・・、N−1)を算出する。即ち、制御部21は、各フレームf=0、・・・、Fm−1、及び、各周波数j=j1、・・・、j2において、次式のように変換を行う。
Figure 0005707944
図11には、フレームfの音楽フレームデータから、フレームfのソース複素スペクトルSm(f、j)が算出され、フィルタ関数F(f、j)によるフィルタ関数乗算処理47がなされて、フレームfの第1変換スペクトルSm’(f、j)が算出されることが図示されている。同様に、フレームf+1の音楽フレームデータから、フレームf+1のソース複素スペクトルSm(f+1、j)が算出され、フィルタ関数F(f+1、j)によるフィルタ関数乗算処理47がなされて、フレームf+1の第1変換スペクトルSm’(f+1、j)が算出されることが図示されている。
図12は、スペクトル減算処理、フーリエ逆変換処理を説明する図である。フィルタリング処理34は、スペクトル減算処理48及びフーリエ逆変換処理49を含む。
スペクトル減算処理48では、制御部21が、第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換する。
具体的には、制御部21は、騒音平均値スペクトルVa(j)を用いて、γ(0<γ<1、通常γ=0.2)なる実数係数を定義し、フレームfごとに所定の周波数区間[j1,j2]の全ての周波数成分に以下減算する。即ち、各フレームf=0,・・・,Fm−1、j=j1,・・・,J2において、次式のように算出する。
Figure 0005707944
但し、式(22)、(26)の右辺の計算結果が負になる場合、Eml’(j)=0とする。
フーリエ逆変換処理49では、制御部21が、第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換を行い、快音化フレームデータXml’(f、i)及びXmr’(f、i)(f=0、・・・、Fm−1;i=0、・・・、N−1)を算出する。
フーリエ逆変換処理49では、制御部21は、変換対象のフレームfの快音化フレームデータXml’(f、i)及びXmr’(f、i)に対して、直前に変換されたフレームf−1の快音化フレームデータXml’(f−1、i)及びXmr’(f−1、i)が存在する場合、両者が時間軸においてN/2サンプル分重複することを考慮し、次式のように計算を行う。
Figure 0005707944
図12には、フレームfの第1変換スペクトルSm’(f、j)に対して、単一の減弱した騒音平均値スペクトルVa’(j)を用いてスペクトル減算処理48がなされて、フレームfの第2変換スペクトルSm’’(f、j)が算出され、フーリエ逆変換処理49がなされて、フレームfの快音化フレームデータが算出されることが図示されている。同様に、フレームf+1の第1変換スペクトルSm’(f+1、j)に対して、単一の減弱した騒音平均値スペクトルVa’(j)を用いてスペクトル減算処理48がなされて、フレームf+1の第2変換スペクトルSm’’(f+1、j)が算出され、フーリエ逆変換処理49がなされて、フレームf+1の快音化フレームデータが算出されることが図示されている。
以上、本発明の実施の形態における快音化データ生成処理について説明したが、本発明の実施の形態によれば、フィルタ関数を用いてBGM信号に対してフィルタ処理を行った後に、騒音信号の平均スペクトルを一定の割合だけ減算する。
これによって、生成されるBGM信号成分は、平均騒音信号スペクトルの一部に相当する成分が欠如していることになり、BGM信号レベルは全体的に低減される。尚、騒音信号がない状態で、生成されるBGMをそのまま再生しても、顕著な不自然さは生じない。
そして、騒音源に近い音響空間にて、本発明の実施の形態により加工されたBGMが再生され、騒音信号とBGM信号が合成されると、欠如している騒音信号成分の一部がBGM信号の一部として置換されて再生され、騒音信号のレベルが低減されるとともに、低減された騒音信号は部分的に騒音信号成分が加算されたBGM信号によりマスキングされる。従って、低減されたBGM信号を用いても、BGM信号レベルが騒音信号レベルと同じ場合と比較して、同等のマスキング効果を働かせることが可能になる。
ここで、図13、図14を参照しながら、スペクトル減算処理を行わない場合と行なう場合とで、マスキング効果が異なることについて説明する。
図13は、スペクトル減算処理を行わない場合の合成信号を示す図である。図14は、スペクトル減算処理を行う場合の合成信号を示す図である。
尚、図13及び図14に示す快音化対象騒音のスペクトルは、ファンなどの回転機構を有する装置に特有のものである。
図13では、スペクトル減算処理を行わずに、フィルタ加工BGM信号が生成されている。図13に示す例であっても、BGMの音量を騒音よりも大きくすることによって、騒音はマスクされる。しかしながら、BGMの音量が大きくなってしまい、煩わしくなる。
一方、図14では、スペクトル減算処理を行い、フィルタ加工BGM信号が生成されている。図14に示す例では、騒音成分の一部はBGM信号成分に使用され、その分騒音音量が小さくなり、マスクされやすくなる。
特に、人間が騒音としてうるさいと感じる部分(周波数が約3〜4kHz)についてのみBGM信号を大きくすることによって、全体の信号レベルを低減しつつ、騒音を快音化することができる。
また、本発明の実施の形態によれば、固定長の短い所定区間を定義し、フレーム単位に近傍の所定区間でスペクトルを平滑化し、平滑化されたスペクトルをもとにフレーム単位に異なるフィルタ関数を定義する。これにより、音量や音色の急激な変化に対してフィルタ関数が連続的に変化し、不自然な段差を発生させることなく、いかなる再生箇所でもマスキング効果が働くようになり、長い楽曲でも人手による作業は不要になる。また、本発明の実施の形態によれば、近傍の周波数特性をもとに楽曲信号が補正されているため、周波数マスキングに加えて、時間マスキングも働くようになり、騒音の快音化効果が更に高まる。
そして、本発明の実施の形態では、フィルタ関数を生成する負荷が若干増大するものの、長時間のBGMを用いて、従来の館内BGMと同様の設備によって安価に騒音の快音化を効果的に実現できる。
次に、図15を参照しながら、快音化装置の設置例について説明する。図15に示す例では、快音化データ生成装置2によって快音化データ7が生成され、音楽再生装置3である音楽プレーヤ52に快音化データ7が記憶されているものとする。
図15に示す例では、平面スピーカ51を挟んで左側に騒音源である各種機器60が設置されており、右側が事務室スペース61になっている。事務室スペース61には、事務机62等が設置されている。従業員は、専ら、事務室スペース61にて、各種作業を行い、電話をしたり、お互いに対話したりする。
平面スピーカ51は、ハニカム構造のパネル及びスピーカ(エキサイタ)から構成されており、例えば、ポスラサウンドパネル(本出願人の登録商標)等である。
平面スピーカ51のパネルは、事務室スペース61より騒音源である各種機器60が覗き込めないパーティション程度の大きさがあること望ましいが、A3サイズ程度の面積しかない立て看板などでも十分に効果を発揮する。すなわち、マスキー音である騒音71が、平面スピーカ51に物理的に遮られることなく、事務室スペース61まで到達しても、本発明の快音化データ7によって十分なマスキング効果が得られる。
尚、ポスラサウンドパネル(本出願人の登録商標)は、横幅1メートル程度まで製作可能である。
音楽プレーヤ52は、平面スピーカ51と接続され、本発明の実施の形態に係る快音化データ7を再生する。
図15に示す例では、平面スピーカ51が、それぞれ、マスカー音であるBGMサウンドL72a及びBGMサウンドR72bを出力している(ステレオ再生)。尚、BGMサウンドは、モノラル再生でも良く、平面スピーカの数や配置位置は、環境に応じて適宜変更すれば良い。
平面スピーカ51は、音楽プレーヤ52によって、快音化データ7の波面が平面波に近い音波として、平面から均一に放射する機構を有することが望ましい。これによって、事務室スペース61に伝搬される過程で減衰する音波のエネルギー量が、騒音源である各種機器60から発せられる騒音71に比べ前記平面スピーカ51から出力されるBGMサウンドL72a及びR72bの方が小さくなり、相対的にBGMサウンドL72a及びL72bのエネルギー量が騒音源である各種機器60から発せられる騒音71に比べ大きくなるため、マスキング効果を高めることができる。このような平面スピーカ51の一例としては、特開2007−301888号公報に開示されている。特開2007−301888号公報に開示されているスピーカは、微細な管構造アレイのパネルによって構成されており、平面波に近い音波を均一に放射する。
ここで、平面スピーカ51が平面波に近い音波を放射することによって、マスキング効果を高めることができる理由について説明する。
図15に示すように、騒音71は、球面波の音波として、観測位置である事務室スペース61に到達する。同様に、通常のダイナミックスピーカから再生されるBGMも、球面波の音波である。
ここで、球面波の場合、距離の2乗に比例して伝搬される表面積が大きくなり音源に集中していたエネルギーが分散するため、エネルギー(音圧)が距離の2乗に反比例して減衰していくことが知られている。一方、平面波の場合、距離が離れてもエネルギーがあまり減衰しない。
すなわち、通常のダイナミックスピーカから再生されるBGMは、球面波の音波であり、離れるとエネルギーが減衰するから、事務室スペース61内で騒音源である各種機器60により近い位置に待機している従業員に合わせて音量を調節すると、事務室スペース61内で各種機器60より遠い位置に待機している従業員にはマスキング効果が十分に働かない場合がある。
一方、平面波に近い音波を放射する平面スピーカ51を用いれば、再生されるBGMサウンドL72a、BGMサウンドR72bは、平面波の音波であり、離れてもエネルギーがあまり減衰しないから、事務室スペース61内で各種機器60により近い位置に待機している従業員に合わせて音量を調節しても、事務室スペース61内で各種機器60より遠い位置に待機している従業員に対して十分なマスキング効果が働く。
以上、快音化装置1の設置例を説明したが、前述したように、楽曲信号を再生するスピーカとして、平面波に近い音波を放射する平面スピーカを使用することによって、比較的低い音量でBGMを流しても騒音快音化効果を発揮できる。
また、平面スピーカは、A3サイズ程度の立て看板から、横幅1メートル程度のパーティションまで、様々な態様とすることができる。
また、平面スピーカのパネル面の絵柄としては、壁紙などのインテリア素材やポスター広告を用いることができ、視覚的にもスピーカがむき出しになるようなインテリア上の不自然さを回避することができる。
尚、図15の説明では、平面スピーカが立て看板やパーティションとしたが、本発明の実施の形態はこれに限定されない。例えば、スピーカを部屋の壁に内蔵し、部屋の四方からマスカー音であるBGMサウンドを出力させることも可能である。
また、図15の説明では、快音化データ生成装置によって生成される快音化データは、騒音を快音化するものとしたが、本発明はこれに限定されない。
本発明の快音化データ生成装置によって生成される快音化データは、対話音声を秘匿化するBGMとしても利用できる。例えば、医療機関(調剤薬局などの受付カウンター)、金融機関・保険会社の相談カウンター、法律事務所などの面談室、携帯電話店のカウンター、会食に使われる飲食店などにおいて交わされる対話音声は、第3者に聴取されることが好ましくない個人情報や企業の機密情報が含まれることが少なくない。そこで、本発明の快音化データ生成装置によって生成される快音化データを用いれば、従来よりも低減されたレベルで対話音声に対する秘匿化効果を実現できる。
以上、添付図面を参照しながら、本発明に係る快音化データ生成装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1………快音化装置
2………快音化データ生成装置
3………音楽再生装置
4………騒音データ
5………音楽データ
7………快音化データ
10………騒音フレーム群
11………音楽フレーム群
12………騒音最大値スペクトルデータ
13………騒音平均値スペクトルデータ
14………音楽平均値スペクトルデータ
15………フィルタ関数データ
31………フレーム抽出処理
32………周波数解析処理
32a………周波数解析
33………フィルタ関数作成処理
34………フィルタリング処理
40………スケーリング処理
41………瞬時スペクトル算出処理
42………平均スペクトル算出処理
43………臨界帯域幅補正処理
44………除算処理
45………平滑化処理
46………フーリエ変換処理
47………フィルタ関数乗算処理
48………スペクトル減算処理
49………フーリエ逆変換処理
51a、51b、51c、51d………平面スピーカ
52………音楽プレーヤ

Claims (13)

  1. 快音化データを生成する快音化データ生成装置であって、
    予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析手段と、
    前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成手段と、
    前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換手段と、
    各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算手段と、
    前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算手段と、
    前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換手段と、
    を具備することを特徴とする快音化データ生成装置。
  2. 前記周波数解析手段は、前記音楽データの各フレームfの前後Mフレームに渡って時間軸方向に平均化したスペクトルVm(f、j)を前記音楽平均値スペクトルとしてフレームごとに算出するようにし、
    前記フィルタ関数作成手段は、前記騒音最大値スペクトルVv(j)に基づく値を、フレームfに対応する前記音楽平均値スペクトルVm(f、j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(f、j)に基づいて、フィルタ関数F(f、j)をフレームごとに作成するようにし、
    前記フィルタ関数乗算手段は、各フレームの複素スペクトルSm(f、j)に対して各フレームfに対応する前記フィルタ関数F(f、j)を乗じることを特徴とする請求項1に記載の快音化データ生成装置。
  3. 前記フィルタ関数作成手段は、
    前記騒音最大値スペクトルVv(jc)(jcは特定の周波数)を、周波数jcよりも高域側の範囲内の最大値に置換することによって、置換騒音最大値スペクトルを算出し、
    前記音楽平均値スペクトルVm(f、jc)を、周波数jcの前後の範囲内の平均値に置換することによって、置換音楽平均値スペクトルを算出し、
    前記置換騒音最大値スペクトルを前記置換音楽平均値スペクトルによって互いに対応する周波数jごとに除した値を前記除算値スペクトルDiv(f、j)とすることを特徴とする請求項2に記載の快音化データ生成装置。
  4. 前記フィルタ関数作成手段は、前記除算値スペクトルDiv(f、j)を、周波数jの前後の範囲内の平均値に置換することによって、前記除算値スペクトルDiv(f、j)を平滑化することを特徴とする請求項2又は請求項3に記載の快音化データ生成装置。
  5. 複数の前記音楽データを記憶する音楽データ記憶手段と、
    前記音楽データ記憶手段によって記憶されている前記音楽データの中から単一の前記音楽データを選択する音楽データ選択手段と、
    を更に具備し、
    前記音楽データ選択手段によって選択された単一の前記音楽データに基づいて、前記快音データを生成することを特徴とする請求項2乃至請求項4のいずれかに記載の快音化データ生成装置。
  6. 快音化データを生成する快音化データ生成方法であって、
    予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、
    前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、
    前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、
    各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、
    前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、
    前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換ステップと、
    を含むことを特徴とする快音化データ生成方法。
  7. 請求項1乃至請求項5のいずれかに記載の快音化データ生成装置が生成する複数の前記快音化データを記憶する快音化データ記憶手段と、
    前記快音化データ記憶手段によって記憶されている前記快音化データの中から単一の前記快音化データを選択する快音化データ選択手段と、
    前記快音化データ選択手段によって選択された単一の前記快音化データを再生する快音化データ再生手段と、
    を具備することを特徴とする快音化装置。
  8. 請求項7に記載の前記快音化データ再生手段が前記快音化データを波面が平面波に近い音波として所定平面から均一に放射する機構をもつ平面型スピーカで構成されていることを特徴とする快音化装置。
  9. 快音化データを生成する快音化データ生成装置であって、
    予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析手段と、
    前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成手段と、
    前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換手段と、
    各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算手段と、
    前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算手段と、
    前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換手段と、
    前記快音化データを再生する快音化データ再生手段と、
    を具備することを特徴とする快音化装置。
  10. 請求項6に記載の快音化データ生成方法によって生成する複数の前記快音化データを記憶する快音化データ記憶ステップと、
    前記快音化データ記憶ステップによって記憶されている前記快音化データの中から単一の前記快音化データを選択する快音化データ選択ステップと、
    前記快音化データ選択ステップによって選択された単一の前記快音化データを再生する快音化データ再生ステップと、
    を含むことを特徴とする快音化方法。
  11. 快音化データを生成する快音化データ生成方法であって、
    予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、
    前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、
    前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、
    各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、
    前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、
    前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換ステップと、
    前記快音化データを再生する快音化データ再生ステップと、
    を含むことを特徴とする快音化方法。
  12. コンピュータに、
    予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、
    前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、
    前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、
    各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、
    前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、
    前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、快音化データを生成する時間次元逆変換ステップと、
    を実行させるためのコンピュータ読取可能なプログラム。
  13. コンピュータに、
    予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、
    前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、
    前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、
    各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、
    前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、
    前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、快音化データを生成する時間次元逆変換ステップと、
    前記快音化データを再生する快音化データ再生ステップと、
    を実行させるためのコンピュータ読取可能なプログラム。
JP2011001626A 2011-01-07 2011-01-07 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム Expired - Fee Related JP5707944B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011001626A JP5707944B2 (ja) 2011-01-07 2011-01-07 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011001626A JP5707944B2 (ja) 2011-01-07 2011-01-07 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2012145615A JP2012145615A (ja) 2012-08-02
JP5707944B2 true JP5707944B2 (ja) 2015-04-30

Family

ID=46789266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011001626A Expired - Fee Related JP5707944B2 (ja) 2011-01-07 2011-01-07 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5707944B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2896901B1 (en) * 2012-09-06 2019-10-23 Mitsubishi Electric Corporation Device for increasing audio pleasantness of construction equipment sound
JP6283890B1 (ja) * 2017-04-10 2018-02-28 角元 純一 騒音スペクトル分布検出方法と対騒音音量音質制御方法
CN113409801B (zh) * 2021-08-05 2024-03-19 云从科技集团股份有限公司 用于实时音频流播放的噪音处理方法、系统、介质和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3069535B2 (ja) * 1996-10-18 2000-07-24 松下電器産業株式会社 音響再生装置
JP5691191B2 (ja) * 2009-02-19 2015-04-01 ヤマハ株式会社 マスキング音生成装置、マスキングシステム、マスキング音生成方法、およびプログラム

Also Published As

Publication number Publication date
JP2012145615A (ja) 2012-08-02

Similar Documents

Publication Publication Date Title
Lindau et al. A spatial audio quality inventory (SAQI)
JP5103974B2 (ja) マスキングサウンド生成装置、マスキングサウンド生成方法およびプログラム
JP4761506B2 (ja) 音声処理方法と装置及びプログラム並びに音声システム
JP5955340B2 (ja) 音響システム
Monson et al. Detection of high-frequency energy changes in sustained vowels produced by singers
US20120275613A1 (en) System for modifying an acoustic space with audio source content
JP5707944B2 (ja) 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム
Lukin et al. Adaptive time-frequency resolution for analysis and processing of audio
Bai et al. Synthesis and implementation of virtual bass system with a phase-vocoder approach
Prud'Homme et al. A harmonic-cancellation-based model to predict speech intelligibility against a harmonic masker
Sinex Recognition of speech in noise after application of time-frequency masks: Dependence on frequency and threshold parameters
Akagi et al. Privacy protection for speech based on concepts of auditory scene analysis
JP2014130251A (ja) 会話保護システム及び会話保護方法
Rämö et al. Perceptual frequency response simulator for music in noisy environments
JP5648485B2 (ja) 秘匿化データ生成装置、秘匿化データ生成方法、秘匿化装置、秘匿化方法及びプログラム
JP5741175B2 (ja) 秘匿化データ生成装置、秘匿化データ生成方法、秘匿化装置、秘匿化方法及びプログラム
Moliner et al. Virtual bass system with fuzzy separation of tones and transients
JP2015034932A (ja) 秘匿化データ生成装置、秘匿化装置およびプログラム
Liu et al. Application of spectral subtraction method on enhancement of electrolarynx speech
JP2012008393A (ja) 音声変更装置、音声変更方法および音声情報秘話システム
JP5644268B2 (ja) 秘匿化データ生成装置、秘匿化データ生成方法、秘匿化装置、秘匿化方法及びプログラム
Czyżewski et al. Adaptive personal tuning of sound in mobile computers
Hu et al. On the importance of preserving the harmonics and neighboring partials prior to vocoder processing: Implications for cochlear implants
JP4900062B2 (ja) 音声信号処理装置、音声再生装置および音声信号処理方法
JP6232710B2 (ja) 録音音声の明瞭化装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150216

R150 Certificate of patent or registration of utility model

Ref document number: 5707944

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees