JP6226465B2 - オーディオ信号処理装置、録音再生装置およびプログラム - Google Patents

Description

本発明は、オーディオ信号の録音再生において、混合音中に含まれる妨害音を抑制し、目的音を強調した上で出力する技術に関する。

従来から、音源を分離する技術が知られている。例えば、特許文献１記載の技術では、マイクの位置における再生信号を推定し、これを録音信号から差し引く手法が採用されている。図２は、特許文献１に記載されている音源分離装置の概略構成を示す図である。図２において、マイク１８の出力信号には、信号Ｔをスピーカ１４から出力した音に対応する信号Ｔ’と音声に対応する信号Ｖが、和の形で含まれている。信号Ｔは、スピーカ１４からマイクロホン１８までの電気音響特性の等価回路２２に入力され、近似的に前記Ｔ’と等しい信号に変換される。マイク１８の出力から等価回路２２の出力を除去回路３０により減じることにより、音声信号Ｖに近い信号が得られる。除去回路３０の出力と信号Ｔをミキシング回路２０において所望の比率で混合し、レコーダ１０３により記録する。

特開平１−３００４７２号公報

しかしながら、特許文献１記載の技術では、（ａ）音量調整、周囲の音響条件、製造上のばらつき、経年変化により等価回路のゲインもしくは周波数特性が変化し、妨害音の抑制が不十分になるという問題がある。また、（ｂ）通常、録音再生装置内蔵のマイクロホンの位置では、妨害音の音圧レベルが目的音に比べてはるかに大きいため、妨害音の除去を十分に行なうことが難しい。また、（ｃ）マイクロホンを録音再生装置から離すと、等価回路を逐次推定するために計算量が増大し、一般消費者向けの低価格な製品に適さない。さらに、（ｄ）ミキシング後の信号を記録するため、聴取時にミキシング比率を変更できない。

本発明は、このような事情に鑑みてなされたものであり、処理負荷を増やすことなく混合音中に含まれる妨害音を十分に抑制することができるオーディオ信号処理装置、録音再生装置およびプログラムを提供することを目的とする。

（１）上記の目的を達成するために、本発明は、以下のような手段を講じた。すなわち、本発明のオーディオ信号処理装置は、目的音および妨害音を含む混合音を処理するオーディオ信号処理装置であって、前記妨害音の音源となる妨害信号に遅延時間を与える遅延回路と、前記混合音の音源となる混合信号および前記遅延時間が与えられた妨害信号を入力し、前記混合信号に含まれる妨害信号を低減させて目的音推定信号を出力する音源分離処理部と、前記目的音推定信号と前記妨害信号とを混合し、出力する混合回路と、を備えることを特徴とする。

このように、妨害音の音源となる妨害信号に遅延時間を与え、混合音の音源となる混合信号および遅延時間が与えられた妨害信号を入力し、混合信号に含まれる妨害信号を低減させて目的音推定信号を出力し、目的音推定信号と妨害信号とを混合し、出力するので、処理負荷を増やすことなく混合音中に含まれる妨害音を十分に抑制することが可能となる。その結果、混合音を録音する際に、マイクロホンを目標音の音源の近くに設け、妨害音を出力するスピーカから離して設けることが可能となる。

（２）また、本発明のオーディオ信号処理装置において、前記音源分離処理部は、雑音が支配的であることが既知である第１の入力信号と雑音または目的信号のいずれが支配的であるかが不明な第２の入力信号を入力し、前記第２の入力信号に対して雑音を低減し、目的信号を強調した信号を出力することを特徴とする。

このように、雑音が支配的であることが既知である第１の入力信号と雑音または目的信号のいずれが支配的であるかが不明な第２の入力信号を入力し、第２の入力信号に対して雑音を低減し、目的信号を強調した信号を出力するので、雑音が支配的であったとしても、所望の音声信号を明確に再生することが可能となる。なお、「雑音が支配的である」とは、雑音のパワーが過半を占めることを意味する。

（３）また、本発明のオーディオ信号処理装置において、前記音源分離処理部は、時間周波数マスキング方式を用いて、入力信号を処理することを特徴とする。

このように、時間周波数マスキング方式を用いて、入力信号を処理するので、妨害信号の伝達経路の伝達関数を推定することなく、効果的な目的音の推定が可能となる。

（４）また、本発明のオーディオ信号処理装置は、時間表現または周波数表現された前記妨害信号および時間表現または周波数表現された前記混合信号をそれぞれ記憶する記憶装置を更に備えることを特徴とする。

このように、時間表現または周波数表現された前記妨害信号および時間表現または周波数表現された前記混合信号をそれぞれ記憶するので、処理負荷を下げることが可能となる。その結果、低価格の機器においてもリアルタイムに高速な処理を行なうことが可能となる。

（５）また、本発明のオーディオ信号処理装置において、前記遅延回路は、前記妨害音と前記混合音との間の相互相関係数のピーク値、またはそれらの周波数表現の間の相互相関係数のピーク値に基づいて、前記遅延時間を計算することを特徴とする。

このように、妨害音と混合音との間の相互相関係数のピーク値、またはそれらの周波数表現の間の相互相関係数のピーク値に基づいて、遅延時間を計算するので、簡易かつ迅速に所望の遅延時間を得ることが可能となる。

（６）また、本発明の録音再生装置は、上記（１）から（５）のいずれかに記載のオーディオ信号処理装置を備える録音再生装置であって、前記妨害音の再生開始時刻と前記混合音の録音開始時刻との時間差を記憶する記憶装置を更に備え、前記遅延回路は、前記妨害音の再生開始時刻と前記混合音の録音開始時刻とに時間差が存在する場合は、前記時間差を初期値として前記遅延時間を計算することを特徴とする。

このように、遅延回路は、妨害音の再生開始時刻と混合音の録音開始時刻とに時間差が存在する場合は、時間差を初期値として遅延時間を計算するので、再生と録音とのタイミングがずれていたとしても、適正な遅延時間を与えることが可能となる。

（７）また、本発明の録音再生装置において、前記遅延回路は、前記遅延時間を可変とすることを特徴とする。

このように、遅延回路は、遅延時間を可変とするので、例えば、ユーザの操作を契機として、遅延時間を任意に変更することが可能となる。

（８）また、本発明の録音再生装置において、前記混合回路は、前記混合信号に含まれる妨害信号と、前記目的音推定信号の比率を可変とすることを特徴とする。

このように、混合回路は、混合信号に含まれる妨害信号と、目的音推定信号の比率を可変とするので、ユーザの嗜好に応じて、目的音推定信号の再生音の大小（妨害信号の再生音の大小）を変更することが可能となる。

（９）また、本発明のプログラムは、目的音および妨害音を含む混合音を処理するオーディオ信号処理装置のプログラムであって、前記妨害音の音源となる妨害信号に遅延時間を与える処理と、前記混合音の音源となる混合信号および前記遅延時間が与えられた妨害信号を入力する処理と、前記混合信号に含まれる妨害信号を低減させて目的音推定信号を出力する処理と、前記目的音推定信号と前記妨害信号とを混合し、出力する処理と、の一連の処理を、コンピュータに実行させることを特徴とする。

このように、妨害音の音源となる妨害信号に遅延時間を与え、混合音の音源となる混合信号および遅延時間が与えられた妨害信号を入力し、混合信号に含まれる妨害信号を低減させて目的音推定信号を出力し、目的音推定信号と妨害信号とを混合し、出力するので、処理負荷を増やすことなく混合音中に含まれる妨害音を十分に抑制することが可能となる。その結果、混合音を録音する際に、マイクロホンを目標音の音源の近くに設け、妨害音を出力するスピーカから離して設けることが可能となる。

本発明によれば、処理負荷を増やすことなく混合音中に含まれる妨害音を十分に抑制することが可能となる。その結果、混合音を録音する際に、マイクロホンを目標音の音源の近くに設け、妨害音を出力するスピーカから離して設けることが可能となる。

本実施形態に係る録音再生装置の概略構成を示すブロック図である。 特許文献１に記載されている音源分離装置の概略構成を示す図である。

本実施形態では、カラオケの練習等において、伴奏音楽を再生しつつ歌唱を行なって、それらの混合音を録音しておき、後で歌唱のみを聞きたい状況を想定する。聞きたい音は歌唱であるから、これを「目的音」と呼び、伴奏の音楽は不要な音であるから、これを「妨害音」と呼ぶ。マイクロホンにより集音された信号には、妨害音Ｎ（伴奏など）と目的音Ｓ（歌唱など）が混合され、含まれている。その混合信号から妨害信号を適当に遅延させた信号を引き去ることにより、目的音のみを得る。

この時、単純な減算ではなく、時間周波数マスキング方式などの音源分離処理を行なうことにより、妨害信号の伝達経路の伝達関数を推定することなく、効果的な目的音の推定を可能とする。

この時間周波数マスキング方式は、周波数表現された２つの信号を比較するものであるので、妨害信号の周波数分析を事前の適当な時に行なっておき、また混合信号の周波数分析を録音時またはそれ以降に行なっておけば、目的音推定時の計算負荷を軽減することが可能である。

混合信号に対する妨害信号の遅延時間は、相関計算により自動的に計算しても良いが、より簡便には、目的音推定時に利用者が最も聞きやすい量になるよう手動で調整しても良い。再生と録音が同時に開始されない場合は、その時間差を記録しておき、自動もしくは手動調整の初期値として使用することにより、調整が容易となる。

この時、収録時に目的音を推定した結果を記録するのではなく、混合信号を記録しておくことがポイントである。妨害信号は、もともと装置内に記録されているものであるから、新たに記録しなおす必要はない。

図１は、本実施形態に係る録音再生装置の概略構成を示すブロック図である。録音再生機内の記録装置１に記録された妨害信号Ｎは、アンプにより増幅され、スピーカ４より音として空間中に出力され、スピーカ、空間の特性等の影響により、遅延、周波数特性の変化、残響付加、雑音付加などの変形を受け、信号Ｎ’としてマイクロホン５に到達する。マイクロホン５からは、Ｎ’と目的音Ｓが加法的に混合された音響信号（Ｍ＝Ｎ’＋Ｓ）が出力される。ここで、目的音は、発生源における信号ではなく、それが発生源からマイクロホン５の間の空間の特性等の影響により、遅延、周波数特性の変化、残響付加、雑音付加などの変形を受けた結果の信号であることに注意する必要がある。

マイクロホン５は、ケーブルを使用するなどして、可能な限りスピーカ４より遠く、目的音源の近くに設置することが望ましい。

混合信号Ｍは、時間信号そのままの形、オーディオ信号符号化方式で符号化した形、もしくは高速フーリエ変換等により周波数表現Ｍ_ｆに変換した形で記憶装置６に記録される。

一方、妨害信号Ｎは、時間信号そのままの形、オーディオ信号符号化方式で符号化した形で、本件装置内、あるいは装置外の、たとえばインターネット上に記録されている。本件装置外に記録されている場合、あるいは、本件装置内の記憶装置２以外の場所に記録されている場合は、記録場所への参照情報があれば、いつでもデータそのものを入手可能である。そこで、記憶装置２には、当該参照情報、時間信号そのままの形、オーディオ信号符号化方式で符号化した形、もしくは高速フーリエ変換等により周波数表現Ｎ_ｆに変換された形で妨害信号のデータを記録する。

遅延回路３では、妨害信号Ｎに対して遅延時間Ｄを与える。この時、妨害信号は時間領域、周波数領域いずれで表現されていても良い。遅延時間Ｄの大きさは、妨害信号Ｎ（もしくはＮ_ｆ）と混合信号Ｍ（もしくはＭ_ｆ）の相関計算により求めることもできる。時間周波数マスキング方式では、フレーム処理を行なっており、遅延時間の変化に対する音源分離性能の反応は比較的緩やかであるため、遅延量は、音源分離結果を聴取により確認しながら手動で調整することも可能である。典型的な遅延時間の範囲は、調整の範囲は、スピーカ０４とマイクロホン０５の距離が０．５〜２．０ｍの範囲にあるとした場合、１．５〜５．９ｍｓである。

再生開始時刻と録音開始時刻の差Ｄ_０がゼロでない場合は、その値を記憶装置８に記録しておき、Ｄを自動的もしくは手動で決定する際の初期値として使用する。

音源分離処理７では、妨害信号Ｎまたはその周波数表現Ｎ_ｆと、混合信号Ｍまたはその周波数表現Ｍ_ｆを入力し、混合信号Ｍから、その中に含まれる妨害信号Ｎの成分を低減し、同時に目的音の成分Ｓを強調したＳ’を出力する。時間周波数マスキング方式では、低減および強調の程度は０から１までの重みを単に乗算することで実現できるため、音源分離結果を聴取により確認しながら手動で調整することも可能である。

混合回路１０は、目的音推定信号Ｓ’と妨害信号Ｎとを混合させ、出力する。再生装置１２は、入力された［Ｓ’＋Ｎ］の信号をアンプにより増幅し、スピーカ等で出力する。なお、本実施形態に係る録音再生装置は、少なくとも遅延回路３、音源分離処理部７、混合回路１０からなるオーディオ信号処理装置を含んでいる。

音源分離処理７の処理アルゴリズムは、雑音が支配的であることが既知である入力１と雑音または目的信号のどちらが支配的であるかが不明な入力２が与えられ、入力２に対して雑音を低減し、目的信号を強調した信号を出力できるものであれば、どのようなものでも使用可能である。ここで、「雑音が支配的である」とは、雑音のパワーが過半を占めることを意味する。この処理アルゴリズムは、例えば、特許第５１１３０９６号明細書または特許第５１０７９５６号明細書に記載されているアルゴリズムを用いることが可能である。

このように、本実施形態では、時間周波数マスキング方式を採用するために、妨害音伝達経路の伝達関数を推定する処理が不要である。この結果として、マイクロホン設置位置の自由度が高い。また、本実施形態では、妨害音および混合音の周波数表現を中間結果として記録しておくため、もともと時間周波数マスキング方式計算負荷が低い上こととあいまって、目的音抽出処理の演算負荷が低い。このため、普及価格帯のスマートホンのＣＰＵ（クロック周波数１ＧＨｚ程度）でもリアルタイム処理が可能である。

以上説明したように、本実施形態に係る録音再生装置は、時間周波数マスキング方式の音源分離アルゴリズムを採用することにより、音量調整、周囲の音響条件、製造上のばらつき、経年変化により等価回路のゲインもしくは周波数特性が変化し、妨害音の抑制が不十分になるという問題を解決した。また、音源分離アルゴリズムは、従来の等価回路における逐次推定が不要であり、計算量が少なくて済むため、マイクロホンを録音再生装置から離して設置することが可能となった。その結果、従来は難しかった妨害音の除去を十分に行なうことが可能となった。また、妨害信号の周波数分析を事前の任意の機会に行ない、集音信号の周波数分析を録音時に行なうことによって、計算量の増大を回避し、一般消費者向けの低価格な製品を提供することが可能となった。さらに、妨害音除去を再生時に行なうことによって、聴取時にミキシング比率を変更することが可能となった。

１ 記録装置
２ 記憶装置
３ 遅延回路
４ スピーカ
５ マイクロホン
６ 記憶装置
７ 音源分離処理
８ 記憶装置
１０ 混合回路
１２ 再生装置

Claims (9)

1. 目的音および妨害音を含む混合音を処理するオーディオ信号処理装置であって、
   前記妨害音の音源となる妨害信号に遅延時間を与える遅延回路と、
   前記混合音の音源となる混合信号および前記遅延時間が与えられた妨害信号を入力し、前記混合信号に含まれる妨害信号を低減させて目的音推定信号を出力する音源分離処理部と、
   前記目的音推定信号と前記妨害信号とを混合し、出力する混合回路と、を備えることを特徴とするオーディオ信号処理装置。
2. 前記音源分離処理部は、雑音が支配的であることが既知である第１の入力信号と雑音または目的信号のいずれが支配的であるかが不明な第２の入力信号を入力し、前記第２の入力信号に対して雑音を低減し、目的信号を強調した信号を出力することを特徴とする請求項１記載のオーディオ信号処理装置。
3. 前記音源分離処理部は、時間周波数マスキング方式を用いて、入力信号を処理することを特徴とする請求項２記載のオーディオ信号処理装置。
4. 時間表現または周波数表現された前記妨害信号および時間表現または周波数表現された前記混合信号をそれぞれ記憶する記憶装置を更に備えることを特徴とする請求項１から請求項３のいずれかに記載のオーディオ信号処理装置。
5. 前記遅延回路は、前記妨害音と前記混合音との間の相互相関係数のピーク値、またはそれらの周波数表現の間の相互相関係数のピーク値に基づいて、前記遅延時間を計算することを特徴とする請求項１から請求項４のいずれかに記載のオーディオ信号処理装置。
6. 請求項１から請求項５のいずれかに記載のオーディオ信号処理装置を備える録音再生装置であって、
   前記妨害音の再生開始時刻と前記混合音の録音開始時刻との時間差を記憶する記憶装置を更に備え、
   前記遅延回路は、前記妨害音の再生開始時刻と前記混合音の録音開始時刻とに時間差が存在する場合は、前記時間差を初期値として前記遅延時間を計算することを特徴とする録音再生装置。
7. 前記遅延回路は、前記遅延時間を可変とすることを特徴とする請求項６記載の録音再生装置。
8. 前記混合回路は、前記混合信号に含まれる妨害信号と、前記目的音推定信号の比率を可変とすることを特徴とする請求項７記載の録音再生装置。
9. 目的音および妨害音を含む混合音を処理するオーディオ信号処理装置のプログラムであって、
   前記妨害音の音源となる妨害信号に遅延時間を与える処理と、
   前記混合音の音源となる混合信号および前記遅延時間が与えられた妨害信号を入力する処理と、
   前記混合信号に含まれる妨害信号を低減させて目的音推定信号を出力する処理と、
   前記目的音推定信号と前記妨害信号とを混合し、出力する処理と、の一連の処理を、コンピュータに実行させることを特徴とするプログラム。
   

Images