JP5707944B2 - 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム - Google Patents
快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム Download PDFInfo
- Publication number
- JP5707944B2 JP5707944B2 JP2011001626A JP2011001626A JP5707944B2 JP 5707944 B2 JP5707944 B2 JP 5707944B2 JP 2011001626 A JP2011001626 A JP 2011001626A JP 2011001626 A JP2011001626 A JP 2011001626A JP 5707944 B2 JP5707944 B2 JP 5707944B2
- Authority
- JP
- Japan
- Prior art keywords
- spectrum
- noise
- data
- value
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Description
また、医療機関(調剤薬局などの受付カウンター)、金融機関・保険会社の相談カウンター、法律事務所などの面談室、携帯電話店のカウンター、会食に使われる飲食店などにおいて交わされる対話音声は、第3者に聴取されることが好ましくない個人情報や企業の機密情報が含まれることが少なくない。そこで、このような対話音声を秘匿化したいという要望もある。
以下では、騒音源の快音化のみならず、対話音声の秘匿化も含めて、「快音化」と呼ぶこととする。
騒音快音化の中で対話音声を秘匿化することに特化した手法としては、(1)エネルギーマスキング、(2)インフォメーションマスキングという2つの手法が提案されている。これらは基本的にはBGMを使用しないが、不快な音を紛らわすため、実際にはBGMも併用されることが多い。
また、特許文献2、3に記載の手法では、マスキング音が人間に不快感を与えるとう問題が指摘されている。また、録音する為のマイクロホン、高速信号処理装置などが必要となり、コストがかかるという問題が指摘されている。
いずれにしても、これら2つの提案手法は対象を対話音声に特化し、対話音声を聞こえなくするわけではなく、聞き取りずらくさせ理解できなくすることを目的にしており、これら2つの提案手法を機械騒音など騒音一般の快音化に適用することは難しい。
第1の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる快音化データを生成することができる。
ここで、快音化データとは、騒音源を快音化したり、対話音声を秘匿化したりするための音楽データである。
これによって、人手を費やさずに、どの再生箇所においてもマスキング効果が満遍なく働く快音化データを生成することができる。
マスキングは、高音側(周波数が高域側)に働きやすいという性質がある為、騒音最大値スペクトルVv(j)を、周波数jよりも高域側の範囲内の最大値に置換すれば、騒音スペクトルを周波数方向に低音側に非線形シフトする補正を行っていることになり、ひいては、マスキング効果を高めることができる。
これによって、フィルタ関数が滑らかになり、ひいては、最終的に生成される快音化データが、人間にとって心地良い音楽データとなる。
これによって、複数の音楽データに基づいて、複数の快音化データを生成することができる。
第2の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる快音化データを生成することができる。
第3の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる。
これによって、快音化対象位置に伝搬される過程で減衰する音波のエネルギー量が、快音化対象の騒音に比べ快音化データの方が小さくなり、相対的に快音化データのエネルギー量が快音化対象の騒音に比べ大きくなるため、マスキング効果を高めることができる。
第4の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる。
第5の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる。
第6の発明によって、再生するBGMの信号レベルをある程度落としてもマスキング効果を働かせることができる。
第7の発明のプログラムを汎用のコンピュータにインストールすることによって、第1の発明の快音化データ生成装置を得ることができる。
第8の発明のプログラムを、音楽スピーカが接続された汎用のコンピュータにインストールすることによって、第4の発明の快音化装置を得ることができる。
図1は、快音化装置1の概要図である。図1に示すように、快音化装置1は、少なくとも、快音化データ生成装置2及び音楽再生装置3から構成される。
快音化データ生成装置2は、例えば、コンピュータ等であり、騒音源を快音化したり、対話音声を秘匿化したりするための音楽データである快音化データ7を生成する。快音化データ生成装置2の記憶部には、少なくとも騒音データ4及び音楽データ5が記憶される。ここで、騒音データ4には、本願発明の構成外である録音装置を用いてあらかじめ録音された騒音源による機械音の他、対話音声なども含まれる。
音楽再生装置3は、音楽プレーヤ及びスピーカから構成され、快音化データ7を再生する。音楽再生装置3の記憶部には、少なくとも快音化データ生成装置2によって生成される快音化データ7が記憶される。
また、快音化データ生成装置2及び音楽再生装置3は、図1に示すように有線によって接続されても良いし、無線によって接続されても良いし、ネットワークを介して接続されても良いし、接続されていなくても良い。
快音化データ生成装置2及び音楽再生装置3が接続されていない場合、快音化データ生成装置2は、快音化データ7を記憶媒体(CD、MD、USBメモリ、SDカードなどコンピュータ及び音楽プレーヤが読取可能な記憶媒体)に出力し、音楽再生装置3は、記憶媒体から快音化データ7を入力する。
ここで、本発明の実施の形態に係る快音化データ生成装置2が生成する快音化データ7は、騒音源と事務室の間が簡易的な間仕切りのみであっても、通常の音量によって、騒音を快音化したり、待合室にいる人が受付カウンターの対話音声の内容を聞き取ることができない程度に秘匿化したりすることが可能である。
音楽再生装置3が設置される音響空間としては、その他に、電車、自動車、航空機などの騒音に悩まされるオフィス、飲食店などや、幼児の鳴き声、生活音などによる隣人の不快感を和らげたい一般家庭などが挙げられる。
快音化データ生成装置2は、制御部21、記憶部22、メディア入出力部23、通信制御部24、入力部25、表示部26、周辺機器I/F部27等が、バス28を介して接続される。
CPUは、記憶部22、ROM、記録媒体等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バス28を介して接続された各装置を駆動制御し、快音化データ生成装置2が行う後述する処理を実現する。
ROMは、不揮発性メモリであり、快音化データ生成装置2のブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。
RAMは、揮発性メモリであり、記憶部22、ROM、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部11が各種処理を行う為に使用するワークエリアを備える。
これらの各プログラムコードは、制御部21により必要に応じて読み出されてRAMに移され、CPUに読み出されて各種の手段として実行される。
通信制御部24は、通信制御装置、通信ポート等を有し、快音化データ生成装置2とネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他の装置間との通信制御を行う。ネットワークは、有線、無線を問わない。
入力部25を介して、快音化データ生成装置2に対して、操作指示、動作指示、データ入力等を行うことができる。
表示部26は、CRTモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータ1のビデオ機能を実現するための論理回路等(ビデオアダプタ等)を有する。
バス28は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
マスキングとは、一方の音が、他方の音によってかき消され(マスクされ)、聞こえなくなる現象を意味する。聴覚マスキング現象は、図3に示すように、2種類に大別される。
尚、マスカー音8aの周波数が、マスキー音9aの周波数より僅かに低い方が、僅かに高い場合に比べマスキング効果は大きいが、両者の周波数が完全に一致する場合、互いに強め合うことになり、マスキング効果は生じない。マスカー音8aの周波数が、マスキー音9aの周波数より所定の範囲(臨界帯域幅とよばれる)より高いまたは低い場合も、マスキング効果は生じない。
順向マスキングは、マスカー音8bが先行して到達し、マスキー音9bが若干遅れて到達する場合、具体的には時間差が100msec以下の場合に働く。この場合、後続の音であるマスキー音9bが聞こえない。
逆向マスキングは、マスカー音8cがマスキー音9cよりも強く、かつ、マスキー音9cが先行して到達し、マスカー音8cが非常に微小な時間だけ遅れて到達する場合、具体的には時間差が20msec以下の場合に働く。この場合、先行音であるマスキー音9cが、後続音であるマスカー音8cに抜かれ、聞こえなくなる。マスキー音9cがマスカー音8cに抜かれる理由は、強い音であるマスカー音8cの方が、人間の耳の中での伝播時間が早まる為である。
尚、逆向マスキングよりも順向マスキングの方が、マスキング効果は高い。
図4に示すように、快音化データ生成装置2の制御部21は、騒音データ4及び音楽データ5を記憶部22に記憶する(S101)。音楽データ5は、複数記憶するようにしても良い。
騒音データ4は、快音化対象の音響空間における騒音をリアルタイムにまたは事前に録音したサンプルデータとする。また、対話音声の秘匿化を目的とする場合、騒音データ4は、秘匿化対象の音響空間におけるリアルタイムに録音された対話音声ではなく、事前に録音された第3者の音声に基づく固定のサンプルデータとする。いずれにしても、本発明の実施の形態における快音化データ生成装置2は、快音化対象の現場においてリアルタイムに録音を行った騒音データを使用することはあっても、録音途上の騒音データとリアルタイムに同期して快音化データを生成するような、リアルタイム処理は行わない。
音楽データ5は任意である。例えば、聴取者にとって意味のあるメロディ・リズム・和声進行が含まれている必要は必ずしもなく、川のせせらぎ音などの自然音でもかまわない。快音化対象の騒音や秘匿化対象の対話音声に類似した周波数成分を多く含む音楽データであれば、マスキング効果が働きやすくなるので、マスキング効果を高めるという意味では、白色雑音成分や声楽データが含まれていることが望ましい。但し、白色雑音成分や声楽データが含まれると騒がしくなるため、器楽データのみであり、楽器編成が少ない室内楽曲などが現実的である。快音化データ生成装置2は、音楽データ5ごとに快音化データ7を生成する。
次に、快音化データ生成装置2の制御部21は、S102において選択された単一の音楽データ5に基づいて、快音化データ7の生成処理を行う(S103)。快音化データ7の生成処理の詳細は後述する。
S102及びS103の処理を繰り返し、複数の快音化データ7を生成するようにしても良い。
次に、音楽再生装置3は、単一の快音化データ7を選択する(S105)。快音化データ7の選択は、ユーザが指示するようにしても良い。
次に、音楽再生装置3は、S105において選択された単一の快音化データ7を再生する(S106)。再生音量は、環境の変化に応じて、ユーザの指示により適宜変更される。
以下では、快音化データ7の生成処理の詳細について説明する。
ここでは、各処理の概要について説明し、詳細は後述する。
所定の区間単位(フレームの長さ)は、例えば、100msec以下が望ましい。これは、前述の時間マスキング、特に、順向マスキングによるマスキング効果を活用する為である。尚、所定の区間単位(フレームの長さ)を例えば10msec以下などにいたずらに短く設定しても、フレーム数が増えて計算時間が長くなるだけで効果は変わらない。
尚、Vv(j)の添え字「v」は、実際はnoiseを含むがvoiceの頭文字である。Va(j)の添え字「a」は、averageの頭文字である。また、Vm(j)の添え字「m」は、musicの頭文字である。
ここで、Mは、前述した所定の区間単位(フレームの長さ)に応じて定めることが望ましく、「M(個)×フレームの長さ(秒)」が数秒程度であることが望ましい。これは、「M(個)×フレームの長さ(秒)」が短すぎると、音楽が不自然に聞こえてしまい、「M(個)×フレームの長さ(秒)」が長すぎると、マスキング効果、即ち騒音の快音化が適切に働かない箇所が目立つようになるからである。
音楽データ5に対しては、時間軸方向に平均化した音楽平均値スペクトルVm(j)を算出する。または、音楽データ5に対しては、フレーム単位の各瞬時スペクトル(位相成分は無視したエネルギー量)に対して、フレームfごとに、前後所定のフレーム数に対応する瞬時スペクトルを平均化した音楽平均値スペクトルVm(f、j)を算出するようにしても良い。
また、フィルタ関数作成処理33では、快音化データ生成装置2の制御部21が、騒音最大値スペクトルVv(j)に基づく値を、フレームfに対応する音楽平均値スペクトルVm(f、j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(f、j)に基づいて、フィルタ関数F(f、j)をフレームごとに作成するようにしても良い。
周波数次元変換処理では、音楽データ5を周波数次元に変換し、瞬時複素スペクトルデータを出力する。すなわち、快音化データ生成装置2の制御部21が、音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する。
フィルタ関数乗算処理では、フィルタ関数データ15を入力し、瞬時複素スペクトルデータを、後述する第1変換スペクトルデータに変換する。すなわち、快音化データ生成装置2の制御部21が、各フレームfに対応する複素スペクトルSm(f、j)に対してフィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換する。また、快音化データ生成装置2の制御部21が、各フレームの複素スペクトルSm(f、j)に対して各フレームfに対応するフィルタ関数F(f、j)を乗じ、第1変換スペクトルSm’(f、j)に変換するようにしても良い。
時間次元逆変換処理では、第2変換スペクトルデータを時間次元に変換し、快音化データ7を出力する。すなわち、快音化データ生成装置2の制御部21が、第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、快音化データ7を生成する。
例えば、サンプリング周波数Fsを「44100Hz」、サンプル数Nを「4096」とする。サンプリング周波数Fs及びサンプル数Nによって、騒音データ4に含まれるフレーム数Fvが定まる。
フレーム抽出処理31では、快音化データ生成装置2の制御部21が、サンプリング周波数Fsのモノラル騒音信号(ステレオの場合はLR(左右)の合算値とする。)に対して、各々N/2サンプル間隔ごとに(すなわち、N/2サンプル分ずつ重複する。)、N個ずつ、各々Fvフレーム抽出する。
次に、制御部21は、変換データの実部Av(f、j)(f=0、・・・、Fv−1;j=0、・・・、N−1)、虚部Bv(f、j)(f=0、・・・、Fv−1;j=0、・・・、N−1)、並びに、強度値の時系列の騒音最大値スペクトルVv(j)及び騒音平均値スペクトルVa(j)を各々、次式のように算出する。
図7には、騒音フレームデータXv(f、i)のフレーム1〜フレームFに対して、周波数解析32aが行われ、騒音スペクトル1〜騒音スペクトルFが算出され、騒音平均値スペクトルVa(j)が算出され、スケーリング処理40によって、減弱した騒音平均値スペクトルVa’(j)が算出されることが図示されている。
スケーリング処理40は、騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じる処理である。スケーリング処理40の詳細は、スペクトル減算処理48の説明において後述する。
騒音データ4と同様、サンプリング周波数Fsを「44100Hz」、サンプル数Nを「4096」とする。サンプリング周波数Fs及びサンプル数Nによって、音楽データ5に含まれるフレーム数Fmが定まる。
フレーム抽出処理31では、快音化データ生成装置2の制御部21が、サンプリング周波数Fsのモノラル音楽信号(ステレオの場合はLR(左右)の合算値とする。)に対して、各々N/2サンプル間隔ごとに(すなわち、N/2サンプル分ずつ重複する。)、N個ずつ、各々Fmフレーム抽出する。
次に、制御部21は、瞬時スペクトル算出処理41として、フレームごとに、位相成分は無視したエネルギー量である瞬時スペクトルを算出する。また、制御部21は、平均スペクトル算出処理42として、前後Mフレーム(M個)の瞬時スペクトルの平均値である音楽平均値スペクトルを算出する。
但し、音楽データ5の先頭部、すなわち、f<M/2の場合、前後M/2フレーム(M/2個)ずつの平均を取ることができないことから、Vm(f、j)=Vm(M/2、j)とする。同様に、音楽データ5の後尾部、すなわち、f>Fm−M/2の場合、前後M/2フレーム(M/2個)ずつの平均を取ることができないことから、Vm(f、j)=Vm(Fm−M/2−1、j)とする。
図6には、音楽フレームデータXm(f、i)のフレーム1〜フレームM+1に対して、周波数解析32aが行われ、フレーム1〜フレームMまでの時系列平均が算出され、フレームfに対する音楽平均値スペクトルVm(f、j)が算出されることが図示されている。同様に、図6には、フレーム2〜フレームM+1までの時系列平均が算出され、フレームf+1に対する音楽平均値スペクトルVm(f+1、j)が算出されることが図示されている。
臨界帯域幅補正処理43は、快音化データ生成装置2の制御部21が、騒音最大値スペクトルVv(j)を、周波数jごとに所定の範囲内の最大値に置換することによって、単一の置換騒音最大値スペクトルVv’(j)を作成する処理である。また、臨界帯域幅補正処理43は、フレームfごとに、音楽平均値スペクトルVm(f、j)を、周波数jごとに所定の範囲内の平均値に置換することによって、置換音楽平均値スペクトルVm’(f、j)を作成する処理である。図9には、一例として、フレームfとフレームf+1に対する臨界帯域幅補正処理が示されている。
マスキングは、高音側(周波数が高域側)に働きやすいという性質がある為、騒音最大値スペクトルVv(j)を、周波数jよりも高域側の範囲内の最大値に置換すれば、騒音スペクトルを周波数方向に低音側に非線形シフトする補正を行っていることになり、ひいては、マスキング効果を高めることができる。
除算処理44は、快音化データ生成装置2の制御部21が、フレームfごとに、騒音最大値スペクトルVv(j)に基づく値を音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値を除算値スペクトルDiv(f、j)とする処理である。特に、制御部21は、フレームfごとに、置換騒音最大値スペクトルVv’(j)を置換音楽平均値スペクトルVm’(f、j)によって互いに対応する周波数jごとに除した値を除算値スペクトルDiv(f、j)とすることが望ましい。
図10には、一例として、フレームfとフレームf+1に対する除算処理が示されている。
図10には、一例として、フレームfとフレームf+1に対する平滑化処理が示されている。
F(f、j)の上限値と下限値は予め設定しておく。例えば、中央値を1とすると、上限値を10倍の「10」、下限値を1/10の「0.1」とする。除算結果が上限値を上回る場合、又は、下限値を下回る場合、制御部21は、それぞれ、F(f、j)に上限値又は下限値を設定する。
図10に示すように、平滑化処理45を行うことで、フィルタ関数F(f、j)は、極値が少なく、滑らかな関数となっている。
前述の周波数解析処理32及びフィルタ関数作成処理33では、実数値に対して計算を行っているが、フィルタリング処理34では、複素数値をもつ瞬時スペクトルに対して計算を行う。
フィルタ関数乗算処理47は、制御部21が、ソース複素スペクトルにフィルタ関数F(f、j)を乗じ、第1変換スペクトルSm’(f、j)を算出する処理である。
フーリエ逆変換処理49では、制御部21は、変換対象のフレームfの快音化フレームデータXml’(f、i)及びXmr’(f、i)に対して、直前に変換されたフレームf−1の快音化フレームデータXml’(f−1、i)及びXmr’(f−1、i)が存在する場合、両者が時間軸においてN/2サンプル分重複することを考慮し、次式のように計算を行う。
これによって、生成されるBGM信号成分は、平均騒音信号スペクトルの一部に相当する成分が欠如していることになり、BGM信号レベルは全体的に低減される。尚、騒音信号がない状態で、生成されるBGMをそのまま再生しても、顕著な不自然さは生じない。
そして、騒音源に近い音響空間にて、本発明の実施の形態により加工されたBGMが再生され、騒音信号とBGM信号が合成されると、欠如している騒音信号成分の一部がBGM信号の一部として置換されて再生され、騒音信号のレベルが低減されるとともに、低減された騒音信号は部分的に騒音信号成分が加算されたBGM信号によりマスキングされる。従って、低減されたBGM信号を用いても、BGM信号レベルが騒音信号レベルと同じ場合と比較して、同等のマスキング効果を働かせることが可能になる。
図13は、スペクトル減算処理を行わない場合の合成信号を示す図である。図14は、スペクトル減算処理を行う場合の合成信号を示す図である。
尚、図13及び図14に示す快音化対象騒音のスペクトルは、ファンなどの回転機構を有する装置に特有のものである。
一方、図14では、スペクトル減算処理を行い、フィルタ加工BGM信号が生成されている。図14に示す例では、騒音成分の一部はBGM信号成分に使用され、その分騒音音量が小さくなり、マスクされやすくなる。
特に、人間が騒音としてうるさいと感じる部分(周波数が約3〜4kHz)についてのみBGM信号を大きくすることによって、全体の信号レベルを低減しつつ、騒音を快音化することができる。
そして、本発明の実施の形態では、フィルタ関数を生成する負荷が若干増大するものの、長時間のBGMを用いて、従来の館内BGMと同様の設備によって安価に騒音の快音化を効果的に実現できる。
平面スピーカ51のパネルは、事務室スペース61より騒音源である各種機器60が覗き込めないパーティション程度の大きさがあること望ましいが、A3サイズ程度の面積しかない立て看板などでも十分に効果を発揮する。すなわち、マスキー音である騒音71が、平面スピーカ51に物理的に遮られることなく、事務室スペース61まで到達しても、本発明の快音化データ7によって十分なマスキング効果が得られる。
尚、ポスラサウンドパネル(本出願人の登録商標)は、横幅1メートル程度まで製作可能である。
図15に示す例では、平面スピーカ51が、それぞれ、マスカー音であるBGMサウンドL72a及びBGMサウンドR72bを出力している(ステレオ再生)。尚、BGMサウンドは、モノラル再生でも良く、平面スピーカの数や配置位置は、環境に応じて適宜変更すれば良い。
図15に示すように、騒音71は、球面波の音波として、観測位置である事務室スペース61に到達する。同様に、通常のダイナミックスピーカから再生されるBGMも、球面波の音波である。
ここで、球面波の場合、距離の2乗に比例して伝搬される表面積が大きくなり音源に集中していたエネルギーが分散するため、エネルギー(音圧)が距離の2乗に反比例して減衰していくことが知られている。一方、平面波の場合、距離が離れてもエネルギーがあまり減衰しない。
一方、平面波に近い音波を放射する平面スピーカ51を用いれば、再生されるBGMサウンドL72a、BGMサウンドR72bは、平面波の音波であり、離れてもエネルギーがあまり減衰しないから、事務室スペース61内で各種機器60により近い位置に待機している従業員に合わせて音量を調節しても、事務室スペース61内で各種機器60より遠い位置に待機している従業員に対して十分なマスキング効果が働く。
また、平面スピーカは、A3サイズ程度の立て看板から、横幅1メートル程度のパーティションまで、様々な態様とすることができる。
また、平面スピーカのパネル面の絵柄としては、壁紙などのインテリア素材やポスター広告を用いることができ、視覚的にもスピーカがむき出しになるようなインテリア上の不自然さを回避することができる。
本発明の快音化データ生成装置によって生成される快音化データは、対話音声を秘匿化するBGMとしても利用できる。例えば、医療機関(調剤薬局などの受付カウンター)、金融機関・保険会社の相談カウンター、法律事務所などの面談室、携帯電話店のカウンター、会食に使われる飲食店などにおいて交わされる対話音声は、第3者に聴取されることが好ましくない個人情報や企業の機密情報が含まれることが少なくない。そこで、本発明の快音化データ生成装置によって生成される快音化データを用いれば、従来よりも低減されたレベルで対話音声に対する秘匿化効果を実現できる。
2………快音化データ生成装置
3………音楽再生装置
4………騒音データ
5………音楽データ
7………快音化データ
10………騒音フレーム群
11………音楽フレーム群
12………騒音最大値スペクトルデータ
13………騒音平均値スペクトルデータ
14………音楽平均値スペクトルデータ
15………フィルタ関数データ
31………フレーム抽出処理
32………周波数解析処理
32a………周波数解析
33………フィルタ関数作成処理
34………フィルタリング処理
40………スケーリング処理
41………瞬時スペクトル算出処理
42………平均スペクトル算出処理
43………臨界帯域幅補正処理
44………除算処理
45………平滑化処理
46………フーリエ変換処理
47………フィルタ関数乗算処理
48………スペクトル減算処理
49………フーリエ逆変換処理
51a、51b、51c、51d………平面スピーカ
52………音楽プレーヤ
Claims (13)
- 快音化データを生成する快音化データ生成装置であって、
予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析手段と、
前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成手段と、
前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換手段と、
各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算手段と、
前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算手段と、
前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換手段と、
を具備することを特徴とする快音化データ生成装置。 - 前記周波数解析手段は、前記音楽データの各フレームfの前後Mフレームに渡って時間軸方向に平均化したスペクトルVm(f、j)を前記音楽平均値スペクトルとしてフレームごとに算出するようにし、
前記フィルタ関数作成手段は、前記騒音最大値スペクトルVv(j)に基づく値を、フレームfに対応する前記音楽平均値スペクトルVm(f、j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(f、j)に基づいて、フィルタ関数F(f、j)をフレームごとに作成するようにし、
前記フィルタ関数乗算手段は、各フレームの複素スペクトルSm(f、j)に対して各フレームfに対応する前記フィルタ関数F(f、j)を乗じることを特徴とする請求項1に記載の快音化データ生成装置。 - 前記フィルタ関数作成手段は、
前記騒音最大値スペクトルVv(jc)(jcは特定の周波数)を、周波数jcよりも高域側の範囲内の最大値に置換することによって、置換騒音最大値スペクトルを算出し、
前記音楽平均値スペクトルVm(f、jc)を、周波数jcの前後の範囲内の平均値に置換することによって、置換音楽平均値スペクトルを算出し、
前記置換騒音最大値スペクトルを前記置換音楽平均値スペクトルによって互いに対応する周波数jごとに除した値を前記除算値スペクトルDiv(f、j)とすることを特徴とする請求項2に記載の快音化データ生成装置。 - 前記フィルタ関数作成手段は、前記除算値スペクトルDiv(f、j)を、周波数jの前後の範囲内の平均値に置換することによって、前記除算値スペクトルDiv(f、j)を平滑化することを特徴とする請求項2又は請求項3に記載の快音化データ生成装置。
- 複数の前記音楽データを記憶する音楽データ記憶手段と、
前記音楽データ記憶手段によって記憶されている前記音楽データの中から単一の前記音楽データを選択する音楽データ選択手段と、
を更に具備し、
前記音楽データ選択手段によって選択された単一の前記音楽データに基づいて、前記快音化データを生成することを特徴とする請求項2乃至請求項4のいずれかに記載の快音化データ生成装置。 - 快音化データを生成する快音化データ生成方法であって、
予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、
前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、
前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、
各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、
前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、
前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換ステップと、
を含むことを特徴とする快音化データ生成方法。 - 請求項1乃至請求項5のいずれかに記載の快音化データ生成装置が生成する複数の前記快音化データを記憶する快音化データ記憶手段と、
前記快音化データ記憶手段によって記憶されている前記快音化データの中から単一の前記快音化データを選択する快音化データ選択手段と、
前記快音化データ選択手段によって選択された単一の前記快音化データを再生する快音化データ再生手段と、
を具備することを特徴とする快音化装置。 - 請求項7に記載の前記快音化データ再生手段が前記快音化データを波面が平面波に近い音波として所定平面から均一に放射する機構をもつ平面型スピーカで構成されていることを特徴とする快音化装置。
- 快音化データを生成する快音化データ生成装置であって、
予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析手段と、
前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成手段と、
前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換手段と、
各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算手段と、
前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算手段と、
前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換手段と、
前記快音化データを再生する快音化データ再生手段と、
を具備することを特徴とする快音化装置。 - 請求項6に記載の快音化データ生成方法によって生成する複数の前記快音化データを記憶する快音化データ記憶ステップと、
前記快音化データ記憶ステップによって記憶されている前記快音化データの中から単一の前記快音化データを選択する快音化データ選択ステップと、
前記快音化データ選択ステップによって選択された単一の前記快音化データを再生する快音化データ再生ステップと、
を含むことを特徴とする快音化方法。 - 快音化データを生成する快音化データ生成方法であって、
予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、
前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、
前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、
各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、
前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、
前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、前記快音化データを生成する時間次元逆変換ステップと、
前記快音化データを再生する快音化データ再生ステップと、
を含むことを特徴とする快音化方法。 - コンピュータに、
予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、
前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、
前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、
各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、
前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、
前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、快音化データを生成する時間次元逆変換ステップと、
を実行させるためのコンピュータ読取可能なプログラム。 - コンピュータに、
予め記憶された騒音データ及び音楽データの各々に対して所定の区間単位のフレームに分割し、フレームfごとに周波数解析を行い、前記騒音データの時間軸方向に最大のスペクトルである単一の騒音最大値スペクトルVv(j)(jは周波数)を算出するとともに、前記騒音データの時間軸方向に平均のスペクトルである単一の騒音平均値スペクトルVa(j)を算出し、前記音楽データに対して時間軸方向に平均化したスペクトルである音楽平均値スペクトルVm(j)を算出する周波数解析ステップと、
前記騒音最大値スペクトルVv(j)に基づく値を、前記音楽平均値スペクトルVm(j)に基づく値によって互いに対応する周波数jごとに除した値である除算値スペクトルDiv(j)に基づいて、フィルタ関数F(j)を作成するフィルタ関数作成ステップと、
前記音楽データを所定の区間単位であるフレームfに分割し、分割された各フレームfをフーリエ変換して複素スペクトルSm(f、j)を生成する周波数次元変換ステップと、
各フレームfに対応する複素スペクトルSm(f、j)に対して前記フィルタ関数F(j)を乗じ、第1変換スペクトルSm’(f、j)に変換するフィルタ関数乗算ステップと、
前記第1変換スペクトルSm’(f、j)の周波数別の大きさ|Sm’(f、j)|から、前記騒音平均値スペクトルVa(j)に所定値γ(所定値γは1以下の正の実数)を乗じた値を互いに対応する周波数jごとに減算し、第2変換スペクトルSm’’(f、j)に変換するスペクトル減算ステップと、
前記第2変換スペクトルSm’’(f、j)に対してフーリエ逆変換することによって、快音化データを生成する時間次元逆変換ステップと、
前記快音化データを再生する快音化データ再生ステップと、
を実行させるためのコンピュータ読取可能なプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011001626A JP5707944B2 (ja) | 2011-01-07 | 2011-01-07 | 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011001626A JP5707944B2 (ja) | 2011-01-07 | 2011-01-07 | 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012145615A JP2012145615A (ja) | 2012-08-02 |
JP5707944B2 true JP5707944B2 (ja) | 2015-04-30 |
Family
ID=46789266
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011001626A Expired - Fee Related JP5707944B2 (ja) | 2011-01-07 | 2011-01-07 | 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5707944B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2896901B1 (en) * | 2012-09-06 | 2019-10-23 | Mitsubishi Electric Corporation | Device for increasing audio pleasantness of construction equipment sound |
JP6283890B1 (ja) * | 2017-04-10 | 2018-02-28 | 角元 純一 | 騒音スペクトル分布検出方法と対騒音音量音質制御方法 |
CN113409801B (zh) * | 2021-08-05 | 2024-03-19 | 云从科技集团股份有限公司 | 用于实时音频流播放的噪音处理方法、系统、介质和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3069535B2 (ja) * | 1996-10-18 | 2000-07-24 | 松下電器産業株式会社 | 音響再生装置 |
JP5691191B2 (ja) * | 2009-02-19 | 2015-04-01 | ヤマハ株式会社 | マスキング音生成装置、マスキングシステム、マスキング音生成方法、およびプログラム |
-
2011
- 2011-01-07 JP JP2011001626A patent/JP5707944B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012145615A (ja) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Lindau et al. | A spatial audio quality inventory (SAQI) | |
JP5103974B2 (ja) | マスキングサウンド生成装置、マスキングサウンド生成方法およびプログラム | |
JP4761506B2 (ja) | 音声処理方法と装置及びプログラム並びに音声システム | |
JP5955340B2 (ja) | 音響システム | |
Monson et al. | Detection of high-frequency energy changes in sustained vowels produced by singers | |
US20120275613A1 (en) | System for modifying an acoustic space with audio source content | |
JP5707944B2 (ja) | 快音化データ生成装置、快音化データ生成方法、快音化装置、快音化方法及びプログラム | |
Lukin et al. | Adaptive time-frequency resolution for analysis and processing of audio | |
Bai et al. | Synthesis and implementation of virtual bass system with a phase-vocoder approach | |
Prud'Homme et al. | A harmonic-cancellation-based model to predict speech intelligibility against a harmonic masker | |
Sinex | Recognition of speech in noise after application of time-frequency masks: Dependence on frequency and threshold parameters | |
Akagi et al. | Privacy protection for speech based on concepts of auditory scene analysis | |
JP2014130251A (ja) | 会話保護システム及び会話保護方法 | |
Rämö et al. | Perceptual frequency response simulator for music in noisy environments | |
JP5648485B2 (ja) | 秘匿化データ生成装置、秘匿化データ生成方法、秘匿化装置、秘匿化方法及びプログラム | |
JP5741175B2 (ja) | 秘匿化データ生成装置、秘匿化データ生成方法、秘匿化装置、秘匿化方法及びプログラム | |
Moliner et al. | Virtual bass system with fuzzy separation of tones and transients | |
JP2015034932A (ja) | 秘匿化データ生成装置、秘匿化装置およびプログラム | |
Liu et al. | Application of spectral subtraction method on enhancement of electrolarynx speech | |
JP2012008393A (ja) | 音声変更装置、音声変更方法および音声情報秘話システム | |
JP5644268B2 (ja) | 秘匿化データ生成装置、秘匿化データ生成方法、秘匿化装置、秘匿化方法及びプログラム | |
Czyżewski et al. | Adaptive personal tuning of sound in mobile computers | |
Hu et al. | On the importance of preserving the harmonics and neighboring partials prior to vocoder processing: Implications for cochlear implants | |
JP4900062B2 (ja) | 音声信号処理装置、音声再生装置および音声信号処理方法 | |
JP6232710B2 (ja) | 録音音声の明瞭化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141111 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5707944 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |