JP6790659B2 - 音響処理装置および音響処理方法 - Google Patents

音響処理装置および音響処理方法 Download PDF

Info

Publication number
JP6790659B2
JP6790659B2 JP2016185951A JP2016185951A JP6790659B2 JP 6790659 B2 JP6790659 B2 JP 6790659B2 JP 2016185951 A JP2016185951 A JP 2016185951A JP 2016185951 A JP2016185951 A JP 2016185951A JP 6790659 B2 JP6790659 B2 JP 6790659B2
Authority
JP
Japan
Prior art keywords
signal
unit
acoustic
reverberation
phase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016185951A
Other languages
English (en)
Other versions
JP2018049228A (ja
Inventor
近藤 多伸
多伸 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2016185951A priority Critical patent/JP6790659B2/ja
Publication of JP2018049228A publication Critical patent/JP2018049228A/ja
Application granted granted Critical
Publication of JP6790659B2 publication Critical patent/JP6790659B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、音響信号を処理する技術に関し、特に、音響信号に含まれる残響成分を抑圧する技術に関する。
音響信号に含まれる残響成分を抑圧するための各種の技術が従来から提案されている。例えば非特許文献1には、複数のマイクロホンでそれぞれ収音された複数の音響信号を解析することで逆フィルタを推定し、この逆フィルタを音響信号に作用させることで残響成分を抑圧する技術(MINT法)が開示されている。
M. Miyoshi and Y. Kaneda, "Inverse filtering of room acoustics," IEEE Transactions on Acoustics, Speech, and Signal Processing, vol.36, no.2, pp.145-152, Feb. 1988.
しかし、非特許文献1の技術では、残響抑圧用の逆フィルタの推定に複数のマイクロホンが原理的に必要であるから、装置規模が大きいという問題がある。以上の事情を考慮して、本発明は、残響抑圧のための装置規模を抑制することを目的とする。
以上の課題を解決するために、本発明の好適な態様に係る音響処理装置は、第1音響信号の白色化により位相信号を生成する信号処理部と、前記位相信号について時間的な相関を強調した相関信号を生成する相関強調部と、前記相関信号に対する線形予測分析により予測係数を算定する線形予測部と、前記線形予測部が算定した予測係数が示す線形予測信号と前記位相信号または前記相関信号との差分である無相関信号を生成する残差生成部と、前記無相関信号を利用した信号処理により、前記第1音響信号の初期反射成分を強調または抑圧した第2音響信号を生成する残響処理部とを具備する。以上の態様によれば、複数のマイクロホンを原理的には必要とせずに、第1音響信号の残響成分を強調または抑圧した第2音響信号が生成される。すなわち、残響抑圧のための装置規模を抑制することが可能である。
また、本発明の好適な態様に係る音響処理方法は、コンピュータシステムが、第1音響信号の白色化により位相信号を生成し、前記位相信号について時間的な相関を強調した相関信号を生成し、前記相関信号に対する線形予測分析により予測係数を算定し、前記算定した予測係数が示す線形予測信号と前記位相信号または前記相関信号との差分である無相関信号を生成し、前記無相関信号を利用した信号処理により、前記第1音響信号の初期反射成分を強調または抑圧した第2音響信号を生成する。以上の態様によれば、複数のマイクロホンを原理的には必要とせずに、第1音響信号の残響成分を強調または抑圧した第2音響信号が生成される。すなわち、残響抑圧のための装置規模を抑制することが可能である。
本発明の第1実施形態に係る音響処理装置の構成図である。 最小位相スペクトルおよび無相関スペクトルの説明図である。 位相信号の時間波形および自己相関である。 位相信号の自乗の時間波形および自己相関である。 音響処理装置のフローチャートである。 実施形態の効果を説明するためのシミュレーション結果である。 実施形態の効果を説明するためのシミュレーション結果である。 第2実施形態における音響処理装置の構成図である。 第3実施形態における音響処理装置の構成図である。 第4実施形態における音響処理装置の構成図である。 第5実施形態における音響処理装置の構成図である。 第6実施形態における信号処理部の構成図である。 第7実施形態における残響処理部の構成図である。
<第1実施形態>
図1は、本発明の第1実施形態に係る音響処理装置100の構成図である。図1に例示される通り、第1実施形態の音響処理装置100は、制御装置12と記憶装置14と放音装置16とを具備するコンピュータシステムで実現される。例えば携帯電話機、スマートフォンまたはパーソナルコンピュータ等の各種の情報処理装置が音響処理装置100として利用され得る。
制御装置12は、例えばCPU(Central Processing Unit)等の汎用の処理回路で構成され、音響処理装置100の各要素を統括的に制御する。記憶装置14は、制御装置12が実行するプログラムと制御装置12が使用する各種のデータとを記憶する。例えば磁気記録媒体および半導体記録媒体等の公知の記録媒体が記憶装置14として利用され得る。相互に別体で構成された同種または異種の複数の記録媒体の組合せを記憶装置14として利用することも可能である。
第1実施形態の記憶装置14は、音響信号x(n)(第1音響信号の例示)を記憶する。変数nは時間軸上の任意の1点を意味する(n=1,2,……)。音響信号x(n)は、発音源から放射された音(以下「原音成分」という)に残響成分を付加した音の時間波形を表す信号である。残響成分は、原音成分(直接音)の発音後の短時間内に受聴点に到達する初期反射成分と、初期反射成分から遅延して受聴点に到達する後期残響成分とを含む。例えば収録音や合成音等の既存の音に対して事後的に残響成分を付加した音の音響信号x(n)、または、残響効果がある音響空間(例えば音響ホール等)内で実際に収録された音の音響信号x(n)が記憶装置14に格納される。なお、例えば通信装置(図示略)が他装置から通信網を介して受信した音響信号x(n)、または、収音装置による収音で生成された音響信号x(n)を、実時間的に処理することも可能である。
音響処理装置100は、音響信号x(n)の残響成分(特に初期反射成分)を抑圧した時間領域の音響信号y(n)(第2音響信号の例示)を生成する残響抑圧装置である。放音装置16(例えばスピーカまたはヘッドホン)は、音響信号y(n)に応じた音波を再生する。なお、音響信号y(n)をデジタルからアナログに変換するD/A変換器、および、音響信号y(n)を増幅する増幅器の図示は便宜的に省略した。
制御装置12は、記憶装置14に記憶されたプログラムを実行することで、音響信号x(n)から音響信号y(n)を生成するための複数の機能(信号処理部20,相関強調部30,線形予測部40,残差生成部50,残響処理部60)を実現する。なお、制御装置12の機能を複数の装置に分散した構成、または、制御装置12の機能の少なくとも一部を専用の電子回路が実現する構成も採用され得る。
信号処理部20は、音響信号x(n)の白色化により位相信号p(n)を生成する。音響信号x(n)の白色化は、音響信号x(n)の振幅スペクトルを周波数軸上の広範囲(理想的には全範囲)にわたり平坦に近付ける処理を意味する。すなわち、位相信号p(n)の振幅スペクトルは音響信号x(n)の振幅スペクトルと比較して平坦である。
図1に例示される通り、第1実施形態の信号処理部20は、線形予測部21と周波数解析部22と信号分解部23と波形生成部24とを含んで構成される。線形予測部21は、音響信号x(n)に対する線形予測分析により複数の予測係数a(j=1,2,……)と誤差信号e(n)とを生成する。複数の予測係数aの各々は、音響信号x(n)の過去の信号値の線形結合により現在の信号値を予測したときの過去の各信号値の係数(加重値)である。他方、誤差信号e(n)は、複数の予測係数aを使用した線形結合で表される線形予測信号と音響信号x(n)との間の残差(すなわち予測誤差)を表す時間領域の信号である。なお、線形予測部21による線形予測分析には、例えば、レビンソン−ダービン(Levinson-Durbin)法に代表される再帰法が好適に利用される。ただし、線形予測部21による線形予測分析の具体的な方法は以上の例示に限定されない。例えば、バーグ(Burg)法等の共分散法を利用することも可能である。
複数の予測係数aで規定される伝達関数A(k)は、原音成分に対する残響成分の付加をモデル化する全極モデルである。誤差信号e(n)は、音響信号x(n)から時間的な相関(自己相関)を低減した信号であり、音響信号x(n)に含まれる励振源成分の推定結果に相当する。例えば音声を表す音響信号x(n)から生成される誤差信号e(n)は、その音声の励振源である声帯の振動成分を推定した結果に相当する。楽器の楽音を表す音響信号x(n)から生成される誤差信号e(n)は、その楽音を発生させる弦やリード等の励振源の振動成分を推定した結果に相当する。誤差信号e(n)は、音響信号x(n)を白色化した信号(あるいは時間的に無相関化した信号)とも換言され得る。無相関化は、相異なる時点に存在する複数の信号成分の間の相関を低減する処理(独立性を向上する処理)に相当する。伝達関数A(k)は一般的に短時間相関でモデル化され、無相関化の結果として誤差信号e(n)は励振源成分を強調したものとなる。残響成分は、励振源成分にも高度に相関する音響成分であるが、線形予測分析による無相関化では誤差信号e(n)に残響成分が残存する場合がある。
図1の周波数解析部22は、信号処理部20が生成した時間領域の誤差信号e(n)を、時間軸上の単位区間(フレーム)毎に周波数スペクトルE(k)に変換する。変数kは周波数軸上の任意の1個の周波数または周波数帯域を意味する。周波数スペクトルE(k)の生成には、例えば高速離散フーリエ変換等の公知の周波数解析が任意に利用され得る。
信号分解部23は、周波数解析部22が単位区間毎に生成した周波数スペクトルE(k)を最小位相スペクトルEmp(k)(mp:minimum phase)と無相関スペクトルEap(k)(ap:all-pass)とに分解する。図2に例示される通り、最小位相スペクトルEmp(k)は、位相スペクトルarg(Emp(k))の各位相値を最小値に設定した複素スペクトルである。最小位相スペクトルEmp(k)の振幅スペクトル|Emp(k)|は、誤差信号e(n)の調波特性(複数の調波成分の系列)に相当する。他方、無相関スペクトルEap(k)は、振幅スペクトル|Eap(k)|の各振幅値を周波数の全範囲にわたり1に設定(すなわち無相関化)した複素スペクトルである。すなわち、無相関スペクトルEap(k)は、振幅値を維持したまま各位相値を変化させるオールパス特性に相当する。
図1の波形生成部24は、信号分解部23が生成した無相関スペクトルEap(k)から時間領域の位相信号p(n)を生成する。位相信号p(n)の生成には例えば高速離散逆フーリエ変換が好適に利用される。以上の説明から理解される通り、第1実施形態の信号処理部20は、音響信号x(n)に対する線形予測分析により誤差信号e(n)を生成し(線形予測部21)、誤差信号e(n)を最小位相スペクトルEmp(k)と無相関スペクトルEap(k)とに分解し(周波数解析部22,信号分解部23)、無相関スペクトルEap(k)に応じた時間領域の位相信号p(n)を生成する(波形生成部24)。
以上の説明の通り、位相信号p(n)は、音響信号x(n)の白色化により生成される。したがって、位相信号p(n)は、音響信号x(n)のうち時間的な相関を低減した成分に相当する。ただし、前述の通り、信号処理部20による処理のみで残響成分を抑圧することは実際には困難である。特に、残響成分のうち初期反射成分は位相信号p(n)に残存し得る。したがって、初期反射成分を高精度に抑圧して原音成分を強調するためには、位相信号p(n)を更に無相関化(独立性を向上させる)する必要がある。しかし、信号処理部20が生成した位相信号p(n)はそもそも無相関(振幅スペクトル|Eap(k)|が平坦なオールパス特性)であるから、位相信号p(n)自体を線形予測分析により無相関化することはできない。以上の事情を考慮して、第1実施形態では、位相信号p(n)の時間的な相関を強調した相関信号s(n)に対して無相関化を実行する。
図1の相関強調部30は、信号処理部20が生成した位相信号p(n)の時間的な相関を強調した相関信号s(n)を生成する。図3は、位相信号p(n)をインパルス応答と仮定した場合の時間波形および自己相関であり、図4は、位相信号p(n)の自乗p(n)(すなわちパワーエンベロープ)の時間波形および自己相関である。図3および図4から理解される通り、位相信号p(n)が無相関(2次無相関)でも、位相信号p(n)の自乗p(n)については有意な自己相関(高次相関)が観測される。以上の知見を背景として、第1実施形態の相関強調部30は、位相信号p(n)を自乗することで、時間的な相関が強調された相関信号s(n)を生成する(s(n)=p(n))。以上のように相関を強調した相関信号s(n)については線形予測分析による無相関化が可能となる。
図1の線形予測部40は、相関強調部30が生成した相関信号s(n)に対する線形予測分析により複数の予測係数bを生成する。複数の予測係数bの各々は、相関信号s(n)の過去の信号値の線形結合により現在の信号値を予測したときの過去の各信号値の係数(加重値)である。初期反射成分には時間的な相関が存在するから、複数の予測係数bを使用した線形結合で表される線形予測信号h(n)は、初期反射成分の推定結果に相当する。なお、線形予測部40による線形予測分析には、例えば、レビンソン−ダービン法に代表される再帰法が好適に利用される。ただし、線形予測部40による線形予測分析の具体的な方法は以上の例示に限定されない。例えば、バーグ法等の共分散法を利用することも可能である。
図1の残差生成部50は、線形予測部40が生成した複数の予測係数bが表す線形予測信号h(n)と相関強調部30が生成した位相信号p(n)との差分である無相関信号r(n)を生成する。具体的には、残差生成部50は、以下の数式(1)の演算により無相関信号r(n)を生成する。
Figure 0006790659
前述の通り、位相信号p(n)は原音成分と初期反射成分とを含む一方、線形予測信号h(n)は初期反射成分の推定結果である。したがって、残差生成部50が数式(1)の演算で生成する無相関信号r(n)は、位相信号p(n)のうち初期反射成分を抑圧するとともに励振源成分を強調した信号である。以上の説明から理解される通り、信号処理部20による白色化と残差生成部50による数式(1)の演算との2段階で時間的に無相関化された無相関信号r(n)が生成される。
残響処理部60は、残差生成部50が生成した無相関信号r(n)から音響信号y(n)を生成する。第1実施形態の残響処理部60は、周波数解析部61と演算処理部62と波形生成部63とを具備する。周波数解析部61は、残差生成部50が生成した時間領域の無相関信号r(n)を単位区間毎に周波数スペクトルR(k)に変換する。周波数スペクトルR(k)の生成には例えば高速離散フーリエ変換等の公知の周波数解析が任意に利用され得る。
演算処理部62は、無相関信号r(n)の周波数スペクトルR(k)から音響信号y(n)の周波数スペクトルY(k)を単位区間毎に生成する。具体的には、演算処理部62は、線形予測部21が生成した伝達関数A(k)と、信号分解部23が生成した最小位相スペクトルEmp(k)と、無相関信号r(n)の周波数スペクトルR(k)とを利用した以下の数式(2)の演算により、単位区間毎に周波数スペクトルY(k)を生成する。
Figure 0006790659
最小位相スペクトルEmp(k)は、励振源成分の振幅スペクトルからなる誤差信号e(k)の調波特性に相当し、無相関信号r(n)は、音響信号x(n)の励振源成分における原音成分を強調した信号である。したがって、数式(2)で算定される周波数スペクトルY(k)は、音響信号x(n)に含まれる原音成分を強調(理想的には抽出)した音の周波数特性に相当する。
波形生成部63は、演算処理部62が生成した周波数スペクトルY(k)から時間領域の音響信号y(n)を生成する。音響信号y(n)の生成には例えば高速離散逆フーリエ変換が好適に利用される。以上の説明から理解される通り、音響信号x(n)の残響成分を抑圧して原音成分を強調した音響信号y(n)が生成される。
図5は、第1実施形態の制御装置12が音響信号x(n)から音響信号y(n)を生成する処理(以下「残響抑圧処理」という)Dのフローチャートである。例えば利用者からの指示を契機として残響抑圧処理Dが開始される。
残響抑圧処理Dを開始すると、制御装置12(信号処理部20)は、音響信号x(n)の白色化により位相信号p(n)を生成する(D1)。制御装置12(相関強調部30)は、位相信号p(n)について時間的な相関を強調した相関信号s(n)を生成する(D2)。また、制御装置12(線形予測部40)は、相関信号s(n)に対する線形予測分析により複数の予測係数bを算定する(D3)。
制御装置12(残差生成部50)は、複数の予測係数bが示す線形予測信号h(n)と位相信号p(n)との差分である無相関信号r(n)を生成する(D4)。そして、制御装置12(残響処理部60)は、無相関信号r(n)を利用した数式(2)の信号処理により音響信号y(n)を生成する(D5)。
以上に説明した通り、第1実施形態では、音響信号x(n)の白色化で生成された位相信号p(n)の時間的な相関を強調することで相関信号s(n)が生成され、相関信号s(n)に対する線形予測分析により線形予測信号h(n)(すなわち、励振源成分における初期反射成分の推定結果)が特定される。そして、位相信号p(n)と線形予測信号h(n)との差分である無相関信号r(n)が生成され、無相関信号r(n)を利用した信号処理により音響信号y(n)が生成される。したがって、複数のマイクロホンを原理的には必要とせずに、音響信号x(n)の残響成分(特に初期反射成分)を抑圧した音響信号y(n)が生成される。すなわち、第1実施形態によれば、非特許文献1の技術と比較して、残響成分の抑圧のための装置規模を抑制することが可能である。
また、音響信号x(n)の白色化により生成された位相信号p(n)には、音響信号x(n)の原音成分のほか初期反射成分の一部が残存し得る。他方、位相信号p(n)は時間的に無相関であるから、線形予測分析を利用した初期反射成分の抑圧は困難である。第1実施形態では、位相信号p(n)の時間的な相関を強調した相関信号s(n)に対する線形予測分析により、音響信号x(n)の残響成分を抑圧した無相関信号r(n)が生成される。したがって、音響信号x(n)の初期反射成分を高精度に抑圧または強調した音響信号y(n)を生成することが可能である。
図6および図7を参照して、第1実施形態の効果を説明する。図6は、後期残響成分の抑圧量の指標であるNormalized SRMR(Speech-to-Reverberation Modulation energy Ratio)のシミュレーション結果であり、図7は、音質の指標であるFW SegSNR(Frequency Weighted Segmental Signal to Noise Ratio)のシミュレーション結果である。Normalized SRMRが大きいほど後期残響成分が抑圧されていると評価でき、FW SegSNRが大きいほど残響抑圧処理Dにより音質が向上した(原音成分に近付いた)と評価できる。
図6および図7では、残響時間が相違する試験用インパルス応答を所定の原音成分に畳込んだ複数の場合(横軸)について結果が併記されている。実際には、試験用インパルス応答のうち先頭の50msecの畳込を想定した。結果1は、残響成分を抑圧しない場合である。結果2は、位相信号の無相関化をオールパスフィルタで実現して残響成分を抑圧した場合(対比例)であり、結果3は、第1実施形態の方法で残響成分を抑圧した場合である。なお、無相関化をオールパスフィルタで実現する方法については、例えばK. Sri Rama Murty et al., "Allpass Modeling of LP Residual for Speaker Recognition," 2012 International Conference on Signal Processing and Communications (SPCOM)、および、Karthika Vijayan et al., "Allpass modelling of Fourier phase for speaker verification," The Speaker and Language Recognition Workshop, 2014に記載されている。
後期残響成分の抑圧量は、第1実施形態と対比例とで殆ど変わらないことが図6から確認できる。他方、第1実施形態によれば、対比例と比較して、残響抑圧処理Dにより音質が向上したことが図7から確認できる。後期残響成分の抑圧量が同等であるにも関わらず音質が向上しているから、第1実施形態によれば、対比例と比較して初期反射成分が有効に抑圧されていると評価できる。以上の説明の通り、第1実施形態によれば、装置規模を抑制しながら初期反射成分を有効に抑制することが可能である。
<第2実施形態>
本発明の第2実施形態を説明する。なお、以下に例示する各形態において作用または機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
図8は、第2実施形態における音響処理装置100の構成図である。図8に例示される通り、第2実施形態の音響処理装置100は、第1実施形態と同様の要素(信号処理部20,相関強調部30,線形予測部40,残差生成部50,残響処理部60)を具備する。第2実施形態の信号処理部20は、第1実施形態と同様に音響信号x(n)から位相信号p(n)を生成するが、第1実施形態とは構成が相違する。図8に例示される通り、第2実施形態の信号処理部20は、周波数解析部25と波形生成部26とを含んで構成される。
周波数解析部25は、音響信号x(n)の振幅スペクトル|X(k)|と位相スペクトルarg(X(k))とを単位区間毎に生成する。振幅スペクトル|X(k)|および位相スペクトルarg(X(k))の生成には、例えば高速離散フーリエ変換等の公知の周波数解析が任意に利用され得る。
波形生成部26は、周波数解析部25が生成した位相スペクトルarg(X(k))から時間領域の位相信号p(n)を生成する。具体的には、波形生成部26は、振幅値が所定値(例えば1)に設定された振幅スペクトルと音響信号x(n)の位相スペクトルarg(X(k))とで規定される周波数スペクトルを時間領域の位相信号p(n)に変換する。位相信号p(n)の生成には例えば高速離散逆フーリエ変換が好適に利用される。
以上の説明から理解される通り、音響信号x(n)の位相スペクトルarg(X(k))を維持したまま振幅スペクトルを平坦な特性に近付けること(すなわち白色化)で位相信号p(n)が生成される。すなわち、第2実施形態の信号処理部20は、第1実施形態と同様に、音響信号x(n)の白色化により位相信号p(n)を生成する。相関強調部30は、第1実施形態と同様に、位相信号p(n)について時間的な相関を強調した相関信号s(n)を生成する。線形予測部による複数の予測係数bの算定と残差生成部50による無相関信号r(n)の生成とは第1実施形態と同様である。
第2実施形態における残響処理部60は、残差生成部50が生成した無相関信号r(n)を利用した信号処理により音響信号y(n)を生成する。具体的には、残響処理部60の周波数解析部61は、無相関信号r(n)の位相スペクトルarg(R(k))を単位区間毎に生成する。演算処理部62は、周波数解析部25が音響信号x(n)から生成した振幅スペクトル|X(k)|と、無相関信号r(n)の位相スペクトルarg(R(k))とを組合せた複素スペクトルを、音響信号y(n)の周波数スペクトルY(k)として単位区間毎に生成する。波形生成部63は、第1実施形態と同様に、演算処理部62が生成した周波数スペクトルY(k)から時間領域の音響信号y(n)を生成する。
残差生成部50が生成する無相関信号r(n)は、音響信号x(n)の初期反射成分を抑圧した信号である。したがって、無相関信号r(n)の位相スペクトルarg(R(k))を利用することで、第1実施形態と同様に、音響信号x(n)の残響成分を抑圧して原音成分を強調した音響信号y(n)が生成される。以上の説明から理解される通り、第2実施形態においても第1実施形態と同様の効果が実現される。
<第3実施形態>
図9は、第3実施形態における音響処理装置100の構成図である。図9に例示される通り、第3実施形態の音響処理装置100は、第1実施形態と同様の要素(信号処理部20,相関強調部30,線形予測部40,残差生成部50,残響処理部60)を具備する。第3実施形態の信号処理部20は、第1実施形態と同様に音響信号x(n)から位相信号p(n)を生成するが、第1実施形態とは構成が相違する。図9に例示される通り、第3実施形態の信号処理部20は、線形予測部21を含んで構成される。
線形予測部21は、音響信号x(n)に対する線形予測分析により複数の予測係数aと位相信号p(n)とを生成する。第3実施形態の位相信号p(n)は、複数の予測係数aを使用した線形結合で表される線形予測信号と音響信号x(n)との間の残差を表す信号であり、第1実施形態の誤差信号e(n)に相当する。したがって、第3実施形態の位相信号p(n)は、第1実施形態と同様に、音響信号x(n)から時間に関する相関を低減した信号(すなわち音響信号x(n)を白色化した信号)である。
相関強調部30は、第1実施形態と同様に、信号処理部20が生成した位相信号p(n)について時間的な相関を強調した相関信号s(n)を生成する。線形予測部による複数の予測係数bの算定と残差生成部50による無相関信号r(n)の生成とは第1実施形態と同様である。
第2実施形態における残響処理部60は、残差生成部50が生成した無相関信号r(n)を利用した信号処理により音響信号y(n)を生成する。具体的には、残響処理部60の周波数解析部61は、無相関信号r(n)の周波数スペクトルR(k)を単位区間毎に生成する。演算処理部62は、線形予測部21が生成した伝達関数A(k)と、無相関信号r(n)の周波数スペクトルR(k)とを利用した以下の数式(3)の演算により、単位区間毎に周波数スペクトルY(k)を生成する。波形生成部63は、第1実施形態と同様に、演算処理部62が生成した周波数スペクトルY(k)から時間領域の音響信号y(n)を生成する。
Figure 0006790659
残差生成部50が生成する無相関信号r(n)は、音響信号x(n)の初期反射成分を抑圧した信号である。したがって、無相関信号r(n)の周波数スペクトルR(k)を利用することで、第1実施形態と同様に、音響信号x(n)の残響成分を抑圧して原音成分を強調した音響信号y(n)が生成される。以上の説明から理解される通り、第3実施形態においても第1実施形態と同様の効果が実現される。
<第4実施形態>
図10は、第4実施形態における音響処理装置100の構成図である。図10に例示される通り、第4実施形態の音響処理装置100は、信号処理部20と相関強調部30と線形予測部40と残差生成部50と残響処理部60と後期残響推定部70とを具備する。信号処理部20と相関強調部30と線形予測部40との構成および動作は第1実施形態と同様である。第4実施形態の残差生成部50は、第1実施形態と同様に無相関信号r(n)を生成するほか、線形予測部40が算定した複数の予測係数bで規定される線形予測信号h(n)を生成する。第1実施形態において前述した通り、線形予測信号h(n)は、音響信号x(n)に含まれる初期反射成分の推定結果に相当する。
図10の後期残響推定部70は、音響信号x(n)に含まれる後期残響成分を調整するための残響フィルタw(k)を線形予測信号h(n)から生成する。具体的には、後期残響推定部70は、周波数解析部71と演算処理部72と遅延処理部73とフィルタ生成部74とを含んで構成される。
周波数解析部71は、残差生成部50が生成した時間領域の線形予測信号h(n)から周波数スペクトルH(k)を単位区間毎に算定する。周波数スペクトルH(k)の生成には例えば高速離散フーリエ変換等の公知の周波数解析が任意に採用され得る。
演算処理部72は、周波数解析部71が生成した周波数スペクトルH(k)から初期反射成分の周波数スペクトルXER(k)を単位区間毎に生成する。具体的には、演算処理部72は、線形予測部21が生成した伝達関数A(k)と、信号分解部23が生成した最小位相スペクトルEmp(k)と、初期反射成分の周波数スペクトルH(k)とを利用した以下の数式(4)の演算により、単位区間毎に周波数スペクトルXER(k)を生成する。
Figure 0006790659
遅延処理部73は、演算処理部72が生成した周波数スペクトルXER(k)を単位区間の所定個の時間長だけ遅延させる。フィルタ生成部74は、遅延処理部73による遅延後の周波数スペクトルXER(k)を利用して、音響信号x(n)の後期残響成分を強調するための残響フィルタw(k)を生成する。具体的には、残響フィルタw(k)は、例えば以下の数式(5)で表現されるウィーナフィルタ(Multi-step Wiener Filter)である。数式(5)の添字(j)は、j個だけ過去のフレームの成分であることを意味し、記号*は複素共役を意味する。また、定数M1および定数M2は相異なる所定値に設定される。
Figure 0006790659
数式(5)の分子は、現在の単位区間における初期反射成分の周波数スペクトルXER(k)と、遅延処理部73による遅延後の周波数スペクトルXER (j)(k)との相互相関に相当する。後期残響成分は、初期反射成分を相異なる時間だけ遅延させて相互に加算した音響成分である。数式(5)で表現される通り、現在の単位区間における周波数スペクトルXER(k)のパワー|XER(k)|により相互相関を正規化したうえで相互に加算することで、音響信号x(n)の後期残響成分を強調するための残響フィルタw(k)が生成される。具体的には、周波数軸上の複数の周波数のうち後期残響成分が優勢に存在する各周波数の成分値が大きい数値に設定された係数列が残響フィルタw(k)として生成される。
他方、第4実施形態の残響処理部60は、周波数解析部61と演算処理部62と後期残響抑圧部64と波形生成部63とを具備する。周波数解析部61は、第1実施形態と同様に、無相関信号r(n)の周波数スペクトルR(k)を単位区間毎に生成する。演算処理部62は、第1実施形態と同様に、無相関信号r(n)の周波数スペクトルR(k)から周波数スペクトルY(k)を単位区間毎に生成する。例えば、伝達関数A(k)と最小位相スペクトルEmp(k)と周波数スペクトルR(k)とを利用した前掲の数式(2)の演算で周波数スペクトルY(k)が算定される。したがって、第5実施形態においても第1実施形態と同様の効果が実現される。
第1実施形態において前述した通り、周波数スペクトルY(k)は、音響信号x(n)の残響成分を抑圧して原音成分を強調した周波数特性である。ただし、第1実施形態で例示した残響抑圧処理Dは、図6および図7を参照して説明した通り、初期反射成分に特に有効である一方、後期残響成分は充分に抑圧されない可能性がある。以上の事情を考慮して、図10の後期残響抑圧部64は、後期残響推定部70が推定した残響フィルタw(k)を利用して、周波数スペクトルY(k)から後期残響成分を抑圧する。
具体的には、後期残響抑圧部64は、周波数スペクトルY(k)と残響フィルタw(k)とを利用した以下の数式(6)の演算により周波数スペクトルY'(k)を算定する。図10の波形生成部63は、後期残響抑圧部64が生成した周波数スペクトルY'(k)から時間領域の音響信号y(n)を生成する。
Figure 0006790659
前述の通り、残響フィルタw(k)は、音響信号x(n)の後期残響成分を強調するためのフィルタであるから、数式(6)の係数(1−|w(k)|)は、音響信号x(n)の後期残響成分を抑圧するためのフィルタ(相補ウィナーフィルタ)に相当する。したがって、波形生成部63が生成する音響信号y(n)は、音響信号x(n)から初期反射成分および後期残響成分の双方を有効に抑圧した音を表す信号である。以上の説明から理解される通り、第4実施形態の残響処理部60は、無相関信号r(n)と残響フィルタw(k)とを利用した信号処理により、音響信号x(n)の初期反射成分および後期残響成分を抑圧した音響信号y(n)を生成する。なお、後期残響成分を抑圧するための残響フィルタ(1−|w(k)|)を後期残響推定部70が生成することも可能である。
第4実施形態においても第1実施形態と同様の効果が実現される。また、第4実施形態では、前述の通り、無相関信号r(n)と残響フィルタw(k)とを利用した信号処理により、音響信号x(n)の初期反射成分および後期残響成分の双方を有効に抑圧できるという利点がある。
<第5実施形態>
図11は、第5実施形態における音響処理装置100の構成図である。第5実施形態の音響処理装置100は、第4実施形態と同様の後期残響推定部70を第2実施形態に追加した構成である。具体的には、図11に例示される通り、第5実施形態の音響処理装置100は、信号処理部20と相関強調部30と線形予測部と残差生成部50と残響処理部60と後期残響推定部70とを具備する。信号処理部20と相関強調部30と線形予測部40とは第2実施形態と同様である。第5実施形態の残差生成部50は、第4実施形態と同様に、無相関信号r(n)と線形予測信号h(n)とを生成する。
第5実施形態の後期残響推定部70は、音響信号x(n)の後期残響成分を強調するための残響フィルタw(k)を線形予測信号h(n)から生成する。具体的には、後期残響推定部70は、第4実施形態と同様に、周波数解析部71と演算処理部72と遅延処理部73とフィルタ生成部74とを含んで構成される。周波数解析部71は、線形予測信号h(n)から周波数スペクトルH(k)を単位区間毎に生成する。
演算処理部72は、周波数解析部71が生成した周波数スペクトルH(k)から初期反射成分の周波数スペクトルXER(k)を単位区間毎に生成する。具体的には、演算処理部72は、周波数解析部25が音響信号x(n)から生成した振幅スペクトル|X(k)|と、周波数スペクトルH(k)とを組合せた複素スペクトルを、初期反射成分の周波数スペクトルXER(k)として単位区間毎に生成する。遅延処理部73による周波数スペクトルXER(k)の遅延と、フィルタ生成部74による残響フィルタw(k)の生成とは、第4実施形態と同様である。
第5実施形態の残響処理部60は、第4実施形態と同様に、周波数解析部61と演算処理部62と後期残響抑圧部64と波形生成部63とを具備する。周波数解析部61は無相関信号r(n)の周波数スペクトルR(k)を単位区間毎に生成する。演算処理部62は、第2実施形態と同様に、音響信号x(n)の振幅スペクトル|X(k)|と無相関信号r(n)の周波数スペクトルR(k)との組合せにより周波数スペクトルY(k)を単位区間毎に生成する。
後期残響抑圧部64は、第4実施形態と同様に、演算処理部62が生成した周波数スペクトルY(k)と後期残響推定部70が生成した残響フィルタw(k)とを利用した前掲の数式(6)の演算により周波数スペクトルY'(k)を算定する。波形生成部63は、周波数スペクトルY'(k)から時間領域の音響信号y(n)を生成する。以上の説明から理解される通り、第5実施形態においても第4実施形態と同様の効果が実現される。
<第6実施形態>
図12は、第6実施形態の音響処理装置100における信号処理部20の構成図である。第1実施形態から第5実施形態では1チャネルの音響信号x(n)を処理対象としたが、第6実施形態では複数のチャネルの音響信号x(n)(x(n),x(n))を処理対象とする。具体的には、図12に例示される通り、音響信号x(n)と音響信号x(n)とが信号処理部20に供給される。音響信号x(n)および音響信号x(n)は、相異なる位置に設置された複数の収音機器による収音(ステレオ収録)で並列に生成される。
図12に例示される通り、第6実施形態の信号処理部20は、第1実施形態と同様の要素に周波数解析部27と周波数解析部28と混合処理部29とを追加した構成である。周波数解析部27は、音響信号x(n)の周波数スペクトルX(k)を単位区間毎に生成する。周波数解析部28は、音響信号x(n)の周波数スペクトルX(k)を単位区間に生成する。混合処理部29は、音響信号x(n)と音響信号x(n)とを周波数領域で混合する。具体的には、第6実施形態の混合処理部29は、周波数スペクトルX(k)と周波数スペクトルX(k)とを利用した以下の数式(7)の演算により周波数スペクトルX(k)を算定する。
Figure 0006790659
係数B(k)の分子は、音響信号x(n)と音響信号x(n)との相互相関であり、分母は振幅による正規化項である。音響信号x(n)の周波数スペクトルX(k)に対する係数B(k)の乗算は、音響信号x(n)の位相を音響信号x(n)に近付ける操作を意味する。他方、係数G(k)は、音響信号x(n)および音響信号x(n)に含まれる残響成分を抑圧するためのゲインである。複数の収音機器の正面から原音成分が到来する場合を想定すると、原音成分は同位相で収音される。係数G(k)は、音響信号x(n)と音響信号x(n)との相互相関が大きい周波数(すなわち原音成分を優勢に含む周波数)ほど大きい数値となる。したがって、数式(7)の演算により、音響信号x(n)および音響信号x(n)に含まれる残響成分を抑圧した周波数スペクトルX(k)が生成される。ただし、数式(7)の演算のみで残響成分を完全に抑圧することは困難であるから、周波数スペクトルX(k)を対象として第1実施形態と同様の処理を実行することで残響成分が抑圧される。
第6実施形態においても第1実施形態と同様の効果が実現される。また、第6実施形態では、線形予測分析を利用した残響成分の抑圧前に、複数のチャネルの音響信号x(n)を利用して残響成分が抑圧されるから、音響信号x(n)の残響成分を高精度に抑圧した音響信号y(n)を生成できるという利点がある。第6実施形態の例示から理解される通り、複数のチャネルの音響信号x(n)を処理対象とする構成にも本発明は適用され得る。すなわち、複数のマイクロホンが原理的に必須である非特許文献1の技術と比較して、本発明の好適な態様によれば残響抑圧のための装置規模を抑制できる、とはいっても、複数の音響信号x(n)を利用する構成が本発明の範囲から除外されるわけではない。
なお、図12では、第1実施形態の信号処理部20を基礎とした構成を例示したが、音響信号x(n)と音響信号x(n)とを利用して残響成分を抑圧する構成は、第2実施形態から第5実施形態にも同様に適用され得る。また、複数のチャネルの音響信号x(n)を利用する構成としては、図12の構成のほか、例えば音響信号x(n)と音響信号x(n)との平均を処理対象とする構成も採用され得る。
<第7実施形態>
図13は、第7実施形態における残響処理部60の構成図である。図13に例示される通り、第7実施形態の残響処理部60は、周波数解析部61と演算処理部62と波形生成部63とを具備する。周波数解析部61は、第1実施形態と同様に、時間領域の無相関信号r(n)から単位区間毎に周波数スペクトルR(k)を生成する。
図13に例示される通り、第7実施形態の演算処理部62は、第1処理部621と後期残響抑圧部622と第2処理部623とを含んで構成される。第1処理部621は、周波数解析部61が生成した周波数スペクトルR(k)と信号処理部20(信号分解部23)が生成した最小位相スペクトルEmp(k)とから周波数スペクトルZ(k)を単位区間毎に生成する。具体的には、第1処理部621は、周波数スペクトルR(k)と最小位相スペクトルEmp(k)とを利用した以下の数式(8)の演算により周波数スペクトルZ(k)を算定する。
Figure 0006790659
前述の通り、最小位相スペクトルEmp(k)は、励振源成分の振幅スペクトルからなる誤差信号e(k)の調波特性に相当し、無相関信号r(n)は、音響信号x(n)の初期反射成分を抑圧した信号である。したがって、周波数スペクトルZ(k)は、音響信号x(n)に含まれる初期反射成分を抑圧した音の周波数特性である。
線形予測分析を利用した残響抑圧処理Dは、図6および図7を参照して説明した通り、初期反射成分に特に有効である一方、後期残響成分が充分に抑圧されない可能性がある。すなわち、数式(8)で生成された周波数スペクトルZ(k)には、後期残響成分が含まれる可能性がある。図13の後期残響抑圧部622は、周波数スペクトルZ(k)に含まれる後期残響成分を抑圧することで周波数スペクトルZ(k)を単位区間毎に生成する。後期残響抑圧部622による後期残響成分の抑圧には公知の技術が任意に採用され得る。具体的には、WPE(Weighted Prediction Error)法、マルチステップ線形予測(MSLP:Multi-step Linear Prediction)、NLMS(Multi-channel Least Mean Square)アルゴリズム等の各種の技術を後期残響成分の抑圧に採用することが可能である。後期残響抑圧部622が生成する周波数スペクトルZ(k)では、初期反射成分および後期残響成分の双方が抑圧されている。
図13の第2処理部623は、後期残響抑圧部622が生成した周波数スペクトルZ(k)から音響信号y(n)の周波数スペクトルY(k)を単位区間毎に生成する。具体的には、第2処理部623は、線形予測部21が生成した伝達関数A(k)と、後期残響抑圧部622が生成した周波数スペクトルZ(k)とを利用した以下の数式(9)の演算により、単位区間毎に周波数スペクトルY(k)を生成する。
Figure 0006790659
数式(9)の演算で算定された周波数スペクトルY(k)を波形生成部63が時間領域の音響信号y(n)に変換する。第7実施形態においても第1実施形態と同様の効果が実現される。なお、図13に例示した残響処理部60は、第1実施形態から第6実施形態の何れにも採用され得る。
<変形例>
以上に例示した各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2以上の態様は適宜に併合され得る。
(1)前述の各形態では、位相信号p(n)の自乗により相関信号s(n)を生成したが、相関強調部30が位相信号p(n)の時間的な相関を強調する方法(位相信号p(n)から相関信号s(n)を生成する方法)は以上の例示に限定されない。例えば、位相信号p(n)の絶対値を相関信号s(n)(s(n)=|p(n)|)として算定する構成でも、位相信号p(n)における時間的な相関を強調した相関信号s(n)を生成することが可能である。以上の例示から理解される通り、好適な態様に係る相関強調部30は、位相信号p(n)を例えば絶対値または自乗により非負化することで相関信号s(n)を生成する要素とも表現され得る。
また、例えば位相信号p(n)の1.5乗により相関信号s(n)(s(n)=p1.5(n))を生成する構成でも、位相信号p(n)における時間的な相関を強調した相関信号s(n)を生成できる。以上の例示から理解される通り、好適な態様に係る相関強調部30は、位相信号p(n)の絶対値または冪乗(例えば自乗または1.5乗)を含む演算で相関信号s(n)を生成する要素とも換言され得る。
(2)前述の各形態では、前掲の数式(1)の通り、線形予測信号h(n)と位相信号p(n)との差分を無相関信号r(n)として生成したが、線形予測信号h(n)を利用して無相関信号r(n)を生成する方法は以上の例示に限定されない。例えば、位相信号p(n)の時間的な相関を強調した相関信号s(n)と線形予測信号h(n)との差分を無相関信号r(n)として算定することも可能である。以上の説明から理解される通り、残差生成部50は、線形予測信号h(n)と位相信号p(n)または相関信号s(n)との差分である無相関信号r(n)を生成する要素として表現される。
(3)前述の各形態で例示した音響処理装置100は種々の用途に利用され得る。例えば、音響信号x(n)を音源毎の成分に分離する音源分離の実行前に、前述の各形態により音響信号x(n)の残響成分を抑圧することで、高精度な音源分離が実現される。また、音響信号x(n)の音響的な特徴量(例えばピッチ)を抽出する特徴抽出の実行前に、前述の各形態により音響信号x(n)の残響成分を抑圧することで、特徴量を高精度に抽出することが可能となる。また、音響信号x(n)に対する音声認識の実行前に音響信号x(n)の残響成分を抑圧すれば、高精度な音声認識が実現される。残響成分の抑圧によりハウリングを抑制できるという利点もある。
また、音響信号x(n)を原音成分と残響成分とに分離する場合にも前述の各形態が好適に利用され得る。例えば、原音成分を抽出した音響信号y(n)が前述の各形態により生成されるほか、音響信号y(n)を音響信号x(n)から減算することで、初期反射成分および後期残響成分を含む残響成分を抽出することも可能である。また、複数の予測係数bで規定される線形予測信号h(n)を初期反射成分として利用することも可能である。原音成分と残響成分とについて個別に音響効果を付与してから加算することで、多様な特性の音が生成される。また、複数のスピーカで構成されるサラウンドシステムにおいて、原音成分を前方のスピーカから放音するとともに残響成分を後方のスピーカから放音することで、サラウンド効果を向上させることも可能である。
(4)音響処理装置100の各要素が周波数領域および時間領域の何れにおいて信号処理を実行するかは任意に変更され得る。例えば、残響処理部60の演算処理部62が時間領域で信号処理を実行することも可能である。
(5)通信網を介して携帯電話機等の端末装置と通信するサーバ装置(典型的にはウェブサーバ)により音響処理装置100を実現することも可能である。例えば、音響処理装置100は、端末装置から通信網を介して受信した音響信号x(n)に対する処理で音響信号y(n)を生成して端末装置に送信する。
(6)前述の各形態に例示した構成は、以下のように表現され得る。
[態様1]
本発明の好適な態様(態様1)に係る音響処理装置100は、音響信号x(n)の白色化により位相信号p(n)を生成する信号処理部20と、位相信号p(n)について時間的な相関を強調した相関信号s(n)を生成する相関強調部30と、相関信号s(n)に対する線形予測分析により予測係数bを算定する線形予測部と、線形予測部が算定した予測係数bが示す線形予測信号h(n)と位相信号p(n)または相関信号s(n)との差分である無相関信号r(n)を生成する残差生成部50と、無相関信号r(n)を利用した信号処理により、音響信号x(n)の初期反射成分を強調または抑圧した音響信号y(n)を生成する残響処理部60とを具備する。
以上の構成では、音響信号x(n)の白色化により生成された位相信号p(n)の時間的な相関を強調することで相関信号s(n)が生成され、相関信号s(n)の線形予測信号h(n)と位相信号p(n)または相関信号s(n)との差分である無相関信号r(n)が生成される。そして、無相関信号r(n)を利用した信号処理により音響信号y(n)が生成される。したがって、複数のマイクロホンを原理的には必要とせずに、音響信号x(n)の残響成分を強調または抑圧した音響信号y(n)が生成される。すなわち、残響抑圧のための装置規模を抑制することが可能である。また、音響信号x(n)の白色化により生成された位相信号p(n)には、音響信号x(n)の原音成分のほか初期反射成分の一部が残存し得る。他方、位相信号p(n)は時間的に無相関であるから、線形予測分析を利用した初期反射成分の抑圧は困難である。本発明の前述の態様では、位相信号p(n)の時間的な相関を強調した相関信号s(n)に対する線形予測分析により、音響信号x(n)の残響成分を抑圧した無相関信号r(n)が生成される。したがって、音響信号x(n)の初期反射成分を高精度に抑圧または強調した音響信号y(n)を生成することが可能である。
[態様2]
態様1の好適例(態様2)において、信号処理部20は、線形予測信号h(n)と位相信号p(n)との差分を無相関信号r(n)として生成する。態様2では、線形予測信号h(n)と位相信号p(n)との差分が無相関信号r(n)として生成されるから、残響成分を適切に抑圧した音響信号y(n)を生成できるという利点がある。
[態様3]
態様1の好適例(態様3)において、信号処理部20は、音響信号x(n)に対する線形予測分析により予測誤差に応じた位相信号p(n)を生成する。態様3では、線形予測部による相関信号s(n)の線形予測分析に加えて音響信号x(n)に対する線形予測分析も実行されるから、音響信号x(n)の残響成分を高精度に抑圧することが可能である。なお、第1実施形態または第3実施形態は、態様3の具体例に相当する。
[態様4]
態様3の好適例(態様4)において、信号処理部20は、音響信号x(n)に対する線形予測分析により予測誤差に応じた誤差信号e(n)を生成し、誤差信号e(n)を最小位相の周波数スペクトルEmp(k)と無相関の周波数スペクトルEap(k)とに分解し、無相関の周波数スペクトルEap(k)から位相信号p(n)を生成する。態様4では、誤差信号e(n)を分解した無相関の周波数スペクトルEap(k)から位相信号p(n)が生成されるため、音響信号x(n)の残響成分を高精度に抑圧することが可能である。なお、第1実施形態は態様4の具体例に相当する。
[態様5]
態様4の好適例(態様5)において、残響処理部60は、最小位相の周波数スペクトルEmp(k)と無相関信号r(n)とを利用した信号処理により音響信号y(n)を生成する。態様5では、最小位相の周波数スペクトルEmp(k)と無相関信号r(n)とを利用した信号処理により音響信号y(n)が生成されるから、最小位相の周波数スペクトルEmp(k)を利用しない構成と比較して、音響信号x(n)の原音成分を忠実に再現することが可能である。
[態様6]
態様1または態様2の好適例(態様6)において、信号処理部20は、音響信号x(n)の位相スペクトルarg(X(k))を生成し、位相スペクトルarg(X(k))に応じた位相信号p(n)を生成する。態様6では、音響信号x(n)の位相スペクトルarg(X(k))に応じて位相信号p(n)が生成されるから、音響信号x(n)に対する線形予測分析を実行する構成と比較して位相信号p(n)の生成処理が簡素化されるという利点がある。なお、第2実施形態は態様6の具体例に相当する。
[態様7]
態様1から態様6の何れかの好適例(態様7)に係る音響処理装置100は、音響信号x(n)に含まれる後期残響成分を調整(例えば強調または抑圧)するための残響フィルタw(k)を生成する後期残響推定部70を具備し、残響処理部60は、無相関信号r(n)と残響フィルタw(k)とを利用した信号処理により、音響信号x(n)の初期反射成分および後期残響成分を抑圧した音響信号y(n)を生成する。態様7では、音響信号x(n)に含まれる後期残響成分を調整するための残響フィルタw(k)が生成され、無相関信号r(n)と残響フィルタw(k)とを利用した信号処理により音響信号y(n)が生成される。したがって、初期反射成分に加えて後期残響成分も高精度に抑圧した音響信号y(n)を生成することが可能である。
[態様8]
本発明の好適な態様(態様8)に係る音響処理方法は、コンピュータシステムが、音響信号x(n)の白色化により位相信号p(n)を生成し、位相信号p(n)について時間的な相関を強調した相関信号s(n)を生成し、相関信号s(n)に対する線形予測分析により予測係数bを算定し、算定した予測係数bが示す線形予測信号h(n)と位相信号p(n)または相関信号s(n)との差分である無相関信号r(n)を生成し、無相関信号r(n)を利用した信号処理により、音響信号x(n)の初期反射成分を強調または抑圧した音響信号y(n)を生成する。態様8によれば、態様1の音響処理装置100と同様の効果が実現される。
(7)前述の各形態で例示した音響処理装置100は、前述の各形態の例示の通り、制御装置12とプログラムとの協働で実現される。本発明の好適な態様に係るプログラムは、音響信号x(n)の白色化により位相信号p(n)を生成する信号処理部20、位相信号p(n)について時間的な相関を強調した相関信号s(n)を生成する相関強調部30、相関信号s(n)に対する線形予測分析により予測係数bを算定する線形予測部、線形予測部が算定した予測係数bが示す線形予測信号h(n)と位相信号p(n)または相関信号s(n)との差分である無相関信号r(n)を生成する残差生成部50、および、無相関信号r(n)を利用した信号処理により、音響信号x(n)の初期反射成分を強調または抑圧した音響信号y(n)を生成する残響処理部60、としてコンピュータを機能させる。
以上に例示したプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、通信網を介した配信の形態でプログラムをコンピュータに配信することも可能である。
100…音響処理装置、12…制御装置、14…記憶装置、16…放音装置、20…信号処理部、21,40…線形予測部、22,25,27,28,61,71…周波数解析部、23…信号分解部、24,26,63…波形生成部、29…混合処理部、30…相関強調部、50…残差生成部、60…残響処理部、62,72…演算処理部、621…第1処理部、622,64…後期残響抑圧部、623…第2処理部、70…後期残響推定部、73…遅延処理部、74…フィルタ生成部。

Claims (8)

  1. 第1音響信号の白色化により位相信号を生成する信号処理部と、
    前記位相信号について時間的な相関を強調した相関信号を生成する相関強調部と、
    前記相関信号に対する線形予測分析により予測係数を算定する線形予測部と、
    前記線形予測部が算定した予測係数が示す線形予測信号と前記位相信号または前記相関信号との差分である無相関信号を生成する残差生成部と、
    前記無相関信号を利用した信号処理により、前記第1音響信号の初期反射成分を強調または抑圧した第2音響信号を生成する残響処理部と
    を具備する音響処理装置。
  2. 前記残差生成部は、前記線形予測信号と前記位相信号との差分を前記無相関信号として生成する
    請求項1の音響処理装置。
  3. 前記信号処理部は、前記第1音響信号に対する線形予測分析により予測誤差に応じた前記位相信号を生成する
    請求項1の音響処理装置。
  4. 前記信号処理部は、前記第1音響信号に対する線形予測分析により予測誤差に応じた誤差信号を生成し、前記誤差信号を最小位相の周波数スペクトルと無相関の周波数スペクトルとに分解し、前記無相関の周波数スペクトルから前記位相信号を生成する
    請求項3の音響処理装置。
  5. 前記残響処理部は、前記最小位相の周波数スペクトルと前記無相関信号とを利用した信号処理により前記第2音響信号を生成する
    請求項4の音響処理装置。
  6. 前記信号処理部は、前記第1音響信号の位相スペクトルを生成し、前記位相スペクトルに応じた前記位相信号を生成する
    請求項1または請求項2の音響処理装置。
  7. 前記第1音響信号に含まれる後期残響成分を調整するための残響フィルタを生成する後期残響推定部を具備し、
    前記残響処理部は、前記無相関信号と前記残響フィルタとを利用した信号処理により、前記第1音響信号の初期反射成分および後期残響成分を抑圧した前記第2音響信号を生成する
    請求項1から請求項6の何れかの音響処理装置。
  8. コンピュータシステムが、
    第1音響信号の白色化により位相信号を生成し、
    前記位相信号について時間的な相関を強調した相関信号を生成し、
    前記相関信号に対する線形予測分析により予測係数を算定し、
    前記算定した予測係数が示す線形予測信号と前記位相信号または前記相関信号との差分である無相関信号を生成し、
    前記無相関信号を利用した信号処理により、前記第1音響信号の初期反射成分を強調または抑圧した第2音響信号を生成する
    音響処理方法。
JP2016185951A 2016-09-23 2016-09-23 音響処理装置および音響処理方法 Active JP6790659B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016185951A JP6790659B2 (ja) 2016-09-23 2016-09-23 音響処理装置および音響処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016185951A JP6790659B2 (ja) 2016-09-23 2016-09-23 音響処理装置および音響処理方法

Publications (2)

Publication Number Publication Date
JP2018049228A JP2018049228A (ja) 2018-03-29
JP6790659B2 true JP6790659B2 (ja) 2020-11-25

Family

ID=61767594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016185951A Active JP6790659B2 (ja) 2016-09-23 2016-09-23 音響処理装置および音響処理方法

Country Status (1)

Country Link
JP (1) JP6790659B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112382305B (zh) * 2020-10-30 2023-09-22 北京百度网讯科技有限公司 调节音频信号的方法、装置、设备和存储介质

Also Published As

Publication number Publication date
JP2018049228A (ja) 2018-03-29

Similar Documents

Publication Publication Date Title
JP6637014B2 (ja) 音声信号処理のためのマルチチャネル直接・環境分解のための装置及び方法
Davis Noise reduction in speech applications
EP2360685B1 (en) Noise suppression
JP4774100B2 (ja) 残響除去装置、残響除去方法、残響除去プログラム及び記録媒体
JP5127754B2 (ja) 信号処理装置
JP6019969B2 (ja) 音響処理装置
WO2009110574A1 (ja) 信号強調装置、その方法、プログラム及び記録媒体
JPWO2020121590A1 (ja) 信号処理装置、信号処理方法、およびプログラム
CN111863015A (zh) 一种音频处理方法、装置、电子设备和可读存储介质
JP5443547B2 (ja) 信号処理装置
JP5034735B2 (ja) 音処理装置およびプログラム
JP5915281B2 (ja) 音響処理装置
JP6790659B2 (ja) 音響処理装置および音響処理方法
CN117219102A (zh) 一种基于听觉感知的低复杂度语音增强方法
Yousefian et al. A hybrid coherence model for noise reduction in reverberant environments
JP5107956B2 (ja) 雑音抑圧方法、装置およびプログラム
JP4533126B2 (ja) 近接音分離収音方法、近接音分離収音装置、近接音分離収音プログラム、記録媒体
JP5113096B2 (ja) 音源分離方法、装置およびプログラム
Yousefian et al. Power level difference as a criterion for speech enhancement
Chokkarapu et al. Implementation of spectral subtraction noise suppressor using DSP processor
Bai et al. Kalman filter-based microphone array signal processing using the equivalent source model
JP2015070292A (ja) 集音・放音装置及び集音・放音プログラム
JP2018191255A (ja) 収音装置、その方法、及びプログラム
KR101537653B1 (ko) 주파수 또는 시간적 상관관계를 반영한 잡음 제거 방법 및 시스템
KR20180087021A (ko) 실내전달함수 추정 방법 및 신호 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190726

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200616

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201019

R151 Written notification of patent or utility model registration

Ref document number: 6790659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151