JP5034734B2 - 音処理装置およびプログラム - Google Patents

Description

本発明は、所期の音源から発生した音（以下「目的音」という）と目的音以外の音（以下「非目的音」という）との混合音から非目的音を抑圧する技術に関する。

人間による発声音と雑音との混合音から雑音を抑圧する技術が従来から提案されている。例えば非特許文献１には、非発音区間の音声に基づいて推定された雑音の周波数スペクトルを発音区間の音声の周波数スペクトルから減算することで雑音を抑圧する技術（スペクトルサブトラクション）が開示されている。音声を時間軸上で発音区間と非発音区間とに区分する技術としては、発声音と雑音との周波数スペクトルの形状の相違を利用する技術（例えば特許文献１）や、発声音と雑音とのピッチの相違を利用する技術（例えば特許文献２）がある。
STEVEN F.BOLL, "Suppression of Acoustic Noise in Speech Using Spectral Subtraction", April 1979, IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL. ASSP-27, NO.2, p. 113-120 特開２００４−２７２０５２号公報 特開平１−２８６６４３号公報

しかし、発声音と雑音との音響的な特性の相違に基づいて発音区間と非発音区間とを区別する前述の技術においては、音響的な特性が目的音に類似する非目的音の区間を目的音の区間から分離することが困難である。したがって、音響的な特性が類似する目的音と非目的音との混合音（例えば複数の人間による発声音の混合）から非目的音のみを高精度に抑圧することはできない。以上の事情を背景として、本発明は、目的音と非目的音との音響的な特性が類似する場合であっても非目的音を効果的に抑圧するという課題の解決をひとつの目的としている。

以上の課題を解決するために、本発明のひとつの態様に係る音処理装置は、相互に離間する複数の収音器の各々が生成した音信号から、複数の周波数のうち目的音が優勢な目的音周波数の各成分と複数の周波数のうち非目的音が優勢な非目的音周波数の各成分とを、時間軸上のフレーム毎に抽出する音源分離手段と、複数のフレームの各々における非目的音周波数の成分の強度に応じて当該周波数における強度が設定された非目的音スペクトルを生成する非目的音推定手段と、目的音周波数の各成分を含む目的音スペクトルから非目的音スペクトルを減算する非目的音抑圧手段とを具備し、非目的音推定手段は、一のフレームにおける非目的音周波数の成分の強度（例えば式(1)における強度ｔB(n,k)）と、一のフレームの直前のフレームについて生成した非目的音スペクトルの当該周波数における強度（例えば式(1)における強度μn-1(k)）との加重和を、一のフレームにおける非目的音スペクトルの当該周波数における強度（例えば式(1)における強度μn(k)）に設定し、加重和に使用する加重値（例えば式(1)の係数α）を、一のフレームにおける目的音周波数または非目的音周波数の個数に応じて可変に制御する。以上の構成においては、複数の収音器が生成した音信号に基づいて目的音周波数と非目的音周波数とが分離され、複数のフレームの各々における非目的音周波数の強度に応じて非目的音スペクトルが生成される。したがって、発音区間と非発音区間とを時間軸上で区分する特許文献１や特許文献２の処理は原理的に不要であり、目的音と非目的音との音響的な特徴（周波数スペクトルやピッチ）が類似する場合であっても非目的音のみを有効に抑圧することが可能である。すなわち、各フレームについて生成される非目的音スペクトルは、当該フレームに対して過去の複数のフレームにおける非目的音周波数の成分の強度を累積的に反映したものとなる。また、一のフレームの非目的音スペクトルが直前のフレームにおける非目的音スペクトルの強度に基づいて算定されるから、過去の複数のフレームにわたって非目的音スペクトルを保持しておく必要がないという利点がある。

例えば、非目的音推定手段は、一のフレームにおける目的音周波数の個数が多い（非目的音周波数の個数が少ない）ほど、直前のフレームにおける非目的音スペクトルの強度の加重値が一のフレームにおける非目的音周波数の強度の加重値に対して相対的に増加するように、各加重値を可変に制御する。以上の構成によれば、一のフレームにおける非目的音周波数の強度や直前のフレームにおける非目的音スペクトルが一のフレームの非目的音スペクトルに寄与する程度が適宜に変更されるから、聴感上において自然な再生音を生成することが可能である。

本発明の好適な態様において、非目的音抑圧手段は、目的音周波数の各成分の強度を複数のフレームにわたって平滑化した目的音スペクトルから非目的音スペクトルを減算する。本態様における目的音スペクトルは目的音周波数の強度を複数のフレームにわたって平滑化したスペクトルであるから、再生音の音量の急激な変化が抑制される。

本発明の好適な態様に係る音処理装置は、非目的音周波数の各成分の強度に第１係数を乗算する乗算手段と、非目的音抑圧手段による減算後の目的音スペクトルにおける目的音周波数の各成分と乗算手段による乗算後の非目的音周波数の各成分とを周波数軸上に配列した出力スペクトルを生成する合成手段とを具備する。本形態においては、乗算手段による乗算後の非目的音周波数の成分が目的音周波数の各成分に付加されることで出力スペクトルが生成されるから、非目的音抑圧手段による減算後の目的音スペクトルが出力スペクトルとされる構成（非目的音周波数の強度がゼロである構成）と比較して自然な再生音を生成することが可能となる。

さらに好適な態様において、非目的音抑圧手段は、目的音スペクトルから非目的音スペクトルを減算したときの各周波数における強度が、非目的音スペクトルにおける当該周波数の強度と第２係数との乗算値である閾値を下回る場合には、閾値を当該周波数における強度として設定し、閾値と乗算手段による乗算値とが近づくように第１係数および第２係数の少なくとも一方を制御する係数制御手段を具備する。本態様においては、非目的音抑圧手段による処理後の目的音スペクトルのうち目的音周波数について閾値以上の強度が確保されるから、目的音周波数の強度に下限がない構成と比較して自然な再生音を生成することが可能となる。さらに、閾値と乗算手段による乗算値とが近づく（理想的には略一致する）ように第１係数または第２係数が制御されるから、出力スペクトルのうち目的音周波数の強度の最低値と非目的音周波数の強度とが接近する。したがって、両者が顕著に相違する場合と比較して、聴感上において自然な再生音を生成することができる。

本発明に係る音処理装置は、各処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、相互に離間する複数の収音器の各々が生成した音信号から、複数の周波数のうち目的音が優勢な目的音周波数の各成分と複数の周波数のうち非目的音が優勢な非目的音周波数の各成分とを、時間軸上のフレーム毎に抽出する音源分離処理と、複数のフレームの各々における非目的音周波数の成分の強度に応じて当該周波数における強度が設定された非目的音スペクトルを生成する非目的音推定処理と、目的音周波数の各成分を含む目的音スペクトルから非目的音スペクトルを減算する非目的音抑圧処理とをコンピュータに実行させるプログラムであって、非目的音推定処理では、一のフレームにおける非目的音周波数の成分の強度と、一のフレームの直前のフレームについて生成した非目的音スペクトルの当該周波数における強度との加重和を、一のフレームにおける非目的音スペクトルの当該周波数における強度に設定し、加重和に使用する加重値を、一のフレームにおける目的音周波数または非目的音周波数の個数に応じて可変に制御する。以上のプログラムによっても、本発明に係る音処理装置と同様の作用および効果が奏される。なお、本発明のプログラムは、ＣＤ−ＲＯＭなど可搬型の記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

また、非目的音を抑圧する方法としても本発明は特定される。本発明のひとつの態様に係る音処理方法は、相互に離間する複数の収音器の各々が生成した音信号から、複数の周波数のうち目的音が優勢な目的音周波数の各成分と複数の周波数のうち非目的音が優勢な非目的音周波数の各成分とを、時間軸上のフレーム毎に抽出する音源分離手順と、複数のフレームの各々における非目的音周波数の成分の強度に応じて当該周波数における強度が設定された非目的音スペクトルを生成する非目的音推定手順と、目的音周波数の各成分を含む目的音スペクトルから非目的音スペクトルを減算する非目的音抑圧手順とを含み、非目的音推定手順では、一のフレームにおける非目的音周波数の成分の強度と、一のフレームの直前のフレームについて生成した非目的音スペクトルの当該周波数における強度との加重和を、一のフレームにおける非目的音スペクトルの当該周波数における強度に設定し、加重和に使用する加重値を、一のフレームにおける目的音周波数または非目的音周波数の個数に応じて可変に制御する。以上の方法によっても、本発明に係る音処理装置と同様の作用および効果が奏される。

図１は、本発明の実施の形態に係る音処理装置の構成を示すブロック図である。音処理装置１００は、目的音と非目的音との混合音から非目的音を低減する装置である。図１に示すように、音処理装置１００には、第１収音器７１と第２収音器７２とが接続される。第１収音器７１および第２収音器７２の各々は、周囲の音に応じた波形の信号を生成する無指向性または略無指向性のマイクロホンである。第１収音器７１は音信号Ｓ1を生成し、第２収音器７２は音信号Ｓ2を生成する。

図１に示すように、目的音は、第１収音器７１および第２収音器７２に対して所定の方向Ｄ0から到来する。例えば、音処理装置１００が携帯電話機に搭載された場合を想定すると、携帯電話機の筐体のうち通話時に利用者の顔と対向する表面に垂直な方向Ｄ0から、当該利用者の発声音が目的音として到来する。第１収音器７１と第２収音器７２とは、目的音が到来する方向Ｄ0に垂直な方向に沿って相互に離間して配置される。図１に示すように、非目的音は、例えば、方向Ｄ0に対して時計回りに４５°の角度をなす方向ＤR（右斜め前方）や、方向Ｄ0に対して反時計回りに４５°の角度をなす方向ＤL（左斜め前方）から第１収音器７１や第２収音器７２に到来する。

図１に示すように、音処理装置１００は、周波数分析部１０と音源分離部２０と非目的音推定部３２と非目的音抑圧部３４と波形合成部４０とを具備する。以上の各要素は、例えばＣＰＵなどの演算処理装置がプログラムを実行することで実現されてもよいし、音声の処理に専用されるＤＳＰなどの電子回路によって実現されてもよい。また、音処理装置１００の各要素が別個の集積回路に搭載された構成も採用される。

周波数分析部１０は、音信号Ｓ1から周波数スペクトルＸ1を特定するとともに音信号Ｓ2から周波数スペクトルＸ2を特定する。さらに詳述すると、周波数分析部１０は、窓関数の乗算によって音信号Ｓ1を時間軸上で複数のフレームに区分し、ＦＦＴ（Fast Fourier Transform）処理などの周波数分析を各フレームの音信号Ｓ1に実施することで各フレームの周波数スペクトル（パワースペクトル）Ｘ1を特定する。また、周波数分析部１０は、周波数スペクトルＸ1の特定と同様の方法で、音信号Ｓ2の各フレームについて周波数スペクトルＸ2を特定する。

図１の音源分離部２０は、周波数軸上に離散的に設定されたＫ個（Ｋは自然数）の周波数のうち目的音が優勢な周波数（以下では「目的音周波数」という）ＦAの成分ＣAと非目的音が優勢な周波数（以下では「非目的音周波数」という）ＦBの成分ＣBとを、音信号Ｓ1の周波数スペクトルＸ1と音信号Ｓ2の周波数スペクトルＸ2とからフレーム毎に抽出する手段である。目的音周波数ＦAと非目的音周波数ＦBとの選別には、以下に詳述するように、例えば特開２００６−１９７５５２号公報に開示された技術が好適に採用される。

図１に示すように、本形態の音源分離部２０は、信号処理部２２と周波数選別部２４と成分特定部２６とを含む。信号処理部２２は、複数の方向（Ｄ0，ＤR，ＤL）の各々からの到来音を他の方向からの到来音と比較して抑制（または強調）した複数の周波数スペクトル（Ｘ0，ＸR，ＸL）を周波数スペクトルＸ1と周波数スペクトルＸ2とに基づいて生成する。図２は、信号処理部２２による処理の内容を説明するためのグラフである。同図において、横軸は、方向Ｄ0を基準（０°）とした角度θを意味し、縦軸は、信号の強度（パワー）を意味する。

図１に示すように、信号処理部２２は、第１処理部２２１と第２処理部２２２と第３処理部２２３とで構成される。第１処理部２２１は、周波数スペクトルＸ1から周波数スペクトルＸ2を減算することで周波数スペクトルＸ0を生成する。方向Ｄ0から到来する目的音は略同じ位相で第１収音器７１と第２収音器７２とに到達するから、周波数スペクトルＸ0は、図２に符号Ｂ0（実線）で示すように、方向Ｄ0からの目的音を他の方向からの到来音と比較して抑制した音のスペクトルに相当する。

第２処理部２２２は、音信号Ｓ1を時間Ｄだけ遅延させた信号の周波数スペクトルＤ(Ｘ1)を周波数スペクトルＸ2から減算することで周波数スペクトルＸRを生成する。遅延時間Ｄは、方向ＤRからの到来音が第１収音器７１に到達する時点と第２収音器７２に到達する時点との時間差に設定される。したがって、周波数スペクトルＸRは、図２に符号ＢR（破線）で示すように、方向ＤRから到来する非目的音を他の方向からの到来音と比較して抑制した音のスペクトルに相当する。同様に、第３処理部２２３は、音信号Ｓ2を時間Ｄだけ遅延させた信号の周波数スペクトルＤ(Ｘ2)を周波数スペクトルＸ1から減算することで、方向ＤLから到来する非目的音を抑制した周波数スペクトルＸL（図２の符号ＢL）を生成する。なお、特定の方向（ＤR，ＤL）からの到来音が抑制されるのであれば、第２処理部２２２と第３処理部２２３とで別個の遅延時間を適用してもよい。

図１の周波数選別部２４は、信号処理部２２が生成した３種類の周波数スペクトル（Ｘ0，ＸR，ＸL）の強度を周波数毎に比較することでＫ個の周波数の各々を目的音周波数ＦAと非目的音周波数ＦBとに選別する。さらに詳述すると、周波数選別部２４は、以下に説明する第１処理と第２処理とを実行する。

第１処理は、周波数スペクトルＸRと周波数スペクトルＸLとを対比する処理である。すなわち、周波数選別部２４は、周波数スペクトルＸRおよび周波数スペクトルＸLについて同じ周波数での強度をＫ個の周波数の各々について比較することで周波数スペクトルＸRLを生成する。周波数スペクトルＸRの強度が周波数スペクトルＸLを下回る周波数における周波数スペクトルＸRLの強度は周波数スペクトルＸRと同じ強度に設定される。また、周波数スペクトルＸLの強度が周波数スペクトルＸRを下回る周波数における周波数スペクトルＸRLの強度は周波数スペクトルＸLと同じ強度に設定される。

第２処理は、周波数スペクトルＸRLと周波数スペクトルＸ0とを対比する処理である。前述のように周波数スペクトルＸ0は目的音の強度を抑制したスペクトルであり、周波数スペクトルＸRLは方向ＤRおよび方向ＤLからの非目的音の強度を抑制したスペクトルである。したがって、周波数選別部２４は、周波数スペクトルＸ0と周波数スペクトルＸRLとについて同じ周波数での強度をＫ個の周波数の各々について比較し、Ｋ個の周波数のうち周波数スペクトルＸ0の強度が周波数スペクトルＸRLを下回る周波数を目的音周波数（目的音が優勢な周波数）ＦAに選別するとともに、Ｋ個の周波数のうち周波数スペクトルＸRLの強度が周波数スペクトルＸ0を下回る周波数を非目的音周波数ＦBに選別する。

図１の成分特定部２６は、各目的音周波数ＦAの成分ＣAの強度ｔAと非目的音周波数の成分ＣBの強度ｔBとを特定する手段である。図２に示すように、周波数スペクトルＸ0（符号Ｂ0）は非目的音を強調したスペクトルであり、周波数スペクトルＸRLは目的音を強調したスペクトルである。そこで、成分特定部２６は、目的音周波数ＦAにおける強度ｔAを、周波数スペクトルＸRLの当該周波数における強度（主に目的音に由来する強度）から周波数スペクトルＸ0の当該周波数における強度（主に非目的音に由来する強度）を減算した数値に設定する。

周波数スペクトルＸRLの目的音周波数ＦAにおける成分は、目的音が優勢ではあるけれども非目的音も包含する。以上のように周波数スペクトルＸRLから周波数スペクトルＸ0を減算することで目的音周波数ＦAにおける強度ｔAを選定する構成によれば、方向ＤRや方向ＤLから到来した非目的音の影響を効果的に抑圧することが可能である。なお、方向ＤRや方向ＤLから到来した非目的音の影響を除去する必要性が低い場合には、目的音を強調した周波数スペクトルＸRLの強度を成分ＣAの強度ｔAとして設定してもよい。目的音周波数ＦAの成分ＣAを強度ｔAとしたスペクトル（すなわち成分ＣAを周波数軸上に配列したスペクトル）を以下では「目的音スペクトルＸ」と表記する。

さらに、成分特定部２６は、非目的音周波数ＦBにおける強度ｔBを、周波数分析部１０が生成した周波数スペクトルＸ1の当該周波数における強度に設定する。なお、非目的音周波数ＦBにおける強度ｔBは、周波数スペクトルＸ2の当該周波数における強度でもよいし、周波数スペクトルＸ0の当該周波数における強度（主に非目的音に由来する強度）から周波数スペクトルＸRLの当該周波数における強度（主に目的音に由来する強度）を減算した数値でもよい。

図１の非目的音推定部３２は、複数のフレームの各々における非目的音周波数ＦBの強度ｔBに基づいて非目的音のスペクトル（以下では「非目的音スペクトル」という）Ｑをフレーム毎に推定する手段である。第ｎ番目のフレームの非目的音スペクトルＱは、Ｋ個の周波数の各々における強度μn(1)〜μn(K)として定義される。強度μn(k)（ｋ＝１〜Ｋ）は、直前の第(n-1)番目のフレームにおける非目的音スペクトルＱのうち同じ周波数における強度μn-1(k)に応じて設定される。さらに詳述すると、第ｎ番目のフレームについて第ｋ番目の周波数が非目的音周波数ＦBに選別された場合、非目的音スペクトルＱの強度μn(k)は、式(1)に示すように、第(n-1)番目のフレームにおける非目的音スペクトルＱの強度μn-1(k)と、第ｎ番目のフレームにおける第ｋ番目の周波数（非目的音周波数ＦB）の強度ｔB(n,k)との加重和として算定される。式(1)における係数αは所定値（例えばα＝0.9）に設定される。係数αが大きいほど、第ｎ番目のフレームにおける非目的音周波数ＦBの強度ｔB(n,k)の影響が減少する（過去の各フレームにおける強度ｔBの影響が増大する）。
μn(k)＝α・μn-1(k)＋（１−α）・ｔB(n,k) ……(1)

また、第ｎ番目のフレームについて第ｋ番目の周波数が目的音周波数ＦAに選別された場合、式(2)に示すように、非目的音スペクトルＱの強度μn(k)は、直前のフレームにおける同じ周波数の強度μn-1(k)に設定される。
μn(k)＝μn-1(k) ……(2)
式(1)および式(2)から理解されるように、第ｎ番目のフレームにおける非目的音スペクトルＱの強度μn(k)は、過去（第(n-1)番目以前）の複数のフレームについて算定された非目的音スペクトルＱの強度を累積的に反映した数値となる。すなわち、非目的音スペクトルＱの強度μn(k)は、第ｋ番目の周波数が非目的音周波数ＦBに選別された複数のフレームにわたって成分ＣBの強度ｔBを平滑化した数値となる。

図１の非目的音抑圧部３４は、目的音周波数ＦAの各成分ＣAを配列した目的音スペクトルＸから非目的音スペクトルＱを減算する手段である。さらに詳述すると、非目的音抑圧部３４は、第ｎ番目のフレームの目的音スペクトルＸのうち目的音周波数ＦAに選別された第ｋ番目の周波数における強度ｔA(n,k)（ｔA(n,k)＝|Ｘn(k)|）から、同じフレームにおける非目的音スペクトルＱのうち第ｋ番目の周波数における強度μn(k)を減算することで目的音スペクトルＳn(k)を算定する。すなわち、非目的音抑圧部３４による演算の内容は式(3a)または式(3b)で表現される。式(3a)におけるｅ^jθx(k)は、目的音スペクトルＸn(k)の位相成分（ｅ^jθx(k)＝Ｘn(k)／|Ｘn(k)|）である。
Ｓn(k)＝｛|Ｘn(k)|−μn(k)｝ｅ^jθx(k) ……(3a)
＝｛１−μn(k)／|Ｘn(k)|｝・Ｘn(k) ……(3b)

図１の波形合成部４０は、非目的音抑圧部３４の生成した目的音スペクトルＳn(k)から時間領域の音信号ＳOUTを生成する手段である。図１に示すように、波形合成部４０は、乗算部４２と合成部４４と逆変換部４６とで構成される。乗算部４２は、非目的音周波数ＦBの各成分ＣBの強度ｔBに係数ｐを乗算する。係数ｐは所定値（例えばｐ＝0.01）に設定される。

合成部４４は、非目的音抑圧部３４による処理後の成分ＣA（目的音スペクトルＳn(k)）と乗算部４２による演算後の成分ＣBとを周波数軸に沿って配列することで各フレームの出力スペクトルＲを合成する。すなわち、第ｎ番目のフレームの出力スペクトルＲにおいて、Ｋ個の周波数のうち目的音周波数ＦAに選別された第ｋ番目の周波数の強度は、目的音スペクトルＳn(k)の当該周波数における強度（|Ｓn(k)|）に設定される。また、第ｎ番目のフレームの出力スペクトルＲのうち非目的音周波数ＦBに選別された第ｋ番目の周波数の強度は、第ｎ番目のフレームの当該周波数における成分ＣBの強度ｔB(n,k)と係数ｐとの乗算値に設定される。

逆変換部４６は、各フレームの出力スペクトルＲに逆ＦＦＴ処理を実行することで時間領域の信号を生成し、各フレームの信号を時間軸上で相互に連結することで音信号ＳOUTを生成する。スピーカやヘッドホンなどの放音機器（図示略）に音信号ＳOUTが出力されることで、非目的音が抑圧されて目的音が強調された再生音が放音される。

以上に説明したように、本形態においては、目的音の方向Ｄ0と非目的音の方向（ＤR，ＤL）との相違に基づいて目的音周波数ＦAと非目的音周波数ＦBとが選別され、複数のフレームにわたる非目的音周波数ＦBの強度ｔBに応じて生成された非目的音スペクトルＱが目的音スペクトルＸから減算される。したがって、発音区間と非発音区間とを時間軸上で区分する特許文献１や特許文献２の処理は原理的に不要であり、目的音と非目的音との音響的な特徴（周波数スペクトルやピッチ）が類似する場合であっても非目的音のみを有効に抑圧することができる。また、特許文献２の技術においては雑音が多い環境においてピッチの抽出が困難であるという問題があるが、本形態においてはピッチの抽出が不要であるから、雑音が多い環境であっても非目的音を有効に抑制できるという利点がある。

ところで、本形態の成分特定部２６は、目的音が強調された周波数スペクトルＸRLから非目的音が強調された周波数スペクトルＸ0を減算することで目的音スペクトルＸを生成する。すなわち、成分特定部２６による処理の段階でも非目的音の抑圧は実行される。しかし、周波数スペクトルＸ0においては方向Ｄ0からの到来音が抑制されているから、例えば方向Ｄ0からの到来音に非目的音が含まれる場合には周波数スペクトルＸRLから周波数スペクトルＸ0を減算しても非目的音を充分に抑制することができない。例えば、空調設備の動作音や人込み内での雑踏音（ガヤガヤ音）など方向性のない非目的音が存在する環境では方向Ｄ0から到来する非目的音の成分が抑制されない。これに対して本形態においては、非目的音周波数ＦBの強度ｔBを複数のフレームにわたって平滑化することで非目的音スペクトルＱが生成されるから、非目的音スペクトルＱは、方向性がない定常的な雑音をも反映した特性となる。したがって、本形態によれば、成分特定部２６による処理（周波数スペクトルＸRLから周波数スペクトルＸ0を減算する処理）のみで非目的音を抑制する構成と異なり、空調設備の動作音や人込み内での雑踏音といった方向性のない非目的音も効果的に抑圧することが可能である。

＜変形例＞
以上の形態には様々な変形を加えることができる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から２以上の態様を任意に選択して組合わせてもよい。

（１）変形例１
式(3a)のように目的音スペクトルＸn(k)の強度|Ｘn(k)|から非目的音スペクトルＱの強度μn(k)を単純に減算する形態においては、目的音スペクトルＳn(k)が負数となる可能性がある。そこで、目的音周波数ＦAの強度|Ｘn(k)|から強度μn(k)を減算した結果が閾値を下回る周波数について、非目的音抑圧部３４が目的音スペクトルＳn(k)の強度を当該閾値に設定する構成も採用される。例えば以下に例示する各態様が好適である。

（１−１）第１の態様
非目的音抑圧部３４は、Ｋ個の周波数の各々について|Ｘn(k)|−μn(k)をゼロ（閾値）と比較する。|Ｘn(k)|−μn(k)がゼロを上回る周波数について、非目的音抑圧部３４は、前述と同様の式(3a)に基づいて目的音スペクトルＳn(k)の強度を算定する。一方、|Ｘn(k)|−μn(k)がゼロ以下である周波数について、非目的音抑圧部３４は、|Ｘn(k)|−μn(k)の数値に拘わらず、目的音スペクトルＳn(k)の強度をゼロに設定する。以上の態様によれば、目的音スペクトルＳn(k)の強度が負数とならないから、聴感上において自然な音を生成することが可能である。

（１−２）第２の態様
非目的音抑圧部３４は、Ｋ個の周波数の各々について、|Ｘn(k)|−β・μn(k)をγ・μn(k)（閾値）と比較する。係数βは１以上の数値（例えば３〜６）に設定され、係数γは１よりも充分に小さい正数（例えば0.01）に設定される。|Ｘn(k)|−β・μn(k)がγ・μn(k)を上回る周波数について、非目的音抑圧部３４は、以下の式(4a)に基づいて目的音スペクトルＳn(k)の強度を算定する。
Ｓn(k)＝｛|Ｘn(k)|−β・μn(k)｝ｅ^jθx(k) ……(4a)
一方、|Ｘn(k)|−β・μn(k)がγ・μn(k)以下である周波数について、非目的音抑圧部３４は、以下の式(4b)に基づいて目的音スペクトルＳn(k)の強度を算定する。
Ｓn(k)＝｛γ・μn(k)｝ｅ^jθx(k) ……(4b)
強度|Ｘn(k)｜が非目的音スペクトルＱの強度μn(k)と比較して充分に大きい周波数（|Ｘn(k)|−β・μn(k)＞γ・μn(k)を満たす周波数）については、非目的音に相当する成分が過剰に強度|Ｘn(k)|から減算（オーバーサブトラクション）されるから、非目的音が充分に抑圧された高品位な音を生成することができる。一方、|Ｘn(k)|−β・μn(k)がγ・μn(k)以下である周波数については非目的音スペクトルＳn(k)が強度|Ｘn(k)|とは無関係にγ・μn(k)に基づいて設定されるから、目的音スペクトルＳn(k)の強度が負数まで低下するのを防止して自然な再生音の生成が可能となる。

なお、第２の態様においては、出力スペクトルＲのうち目的音周波数ＦA（目的音スペクトルＳn(k)）における強度の最低値はγ・μn(k)に設定され、非目的音周波数ＦBにおける強度は成分ＣBの強度ｔB(n,k)と係数ｐとの乗算値に設定される。ここで、目的音周波数ＦAにおける強度の最低値γ・μn(k)と非目的音周波数ＦBにおける強度ｐ・ｔB(n,k)とが出力スペクトルＲにおいて顕著に相違する場合には、再生音が聴感上において不自然となる可能性がある。そこで、さらに好適な態様に係る音処理装置１００は、目的音周波数ＦAにおける強度の最低値γ・μn(k)と非目的音周波数ＦBにおける強度ｐ・ｔB(n,k)とが近づくように係数γおよび係数ｐの少なくとも一方を可変に制御してもよい。以上の構成によれば、出力スペクトルＲのうち目的音周波数ＦAにおける強度の最低値γ・μn(k)と非目的音周波数ＦBにおける強度ｐ・ｔB(n,k)とが近づく（理想的には略一致する）から、聴感上において自然な再生音を生成することが可能である。

（２）変形例２
以下に例示するように式(1)の係数αを非目的音推定部３２が可変に制御する構成も好適である。
目的音スペクトルＳn(k)は、目的音スペクトルＸn(k)から非目的音スペクトルＱの強度μn(k)を減算することで算定されるから、非目的音の特性（例えば音量）が変化すると目的音スペクトルＳn(k)における目的音周波数ＦAの特性も変化する。一方、式(1)から理解されるように、最新（第ｎ番目）のフレームにおける非目的音周波数ＦBの強度ｔB(n,k)の影響は、係数αが大きい（係数(１−α)が小さい）ほど抑制される。したがって、非目的音の音量が変化したときの目的音の音量の変化は、係数αが大きいほど低減される。

目的音が優勢である期間（目的音周波数ＦAが多い期間）にて目的音の音量が顕著に変動すると受聴者に不自然な印象を与えるから、第ｎ番目のフレームにおける目的音周波数ＦAの個数が多い（非目的音周波数ＦBの個数が少ない）ほど係数αが増加する（係数(１−α)が減少する）ように、非目的音推定部３２が係数αを可変に制御する構成が好適である。以上の構成によれば、目的音が優勢である期間においては、非目的音の音量が変化しても目的音の音量の変化は抑制されるから、聴感上において自然な音を生成することが可能となる。

（３）変形例３
式(3b)において、非目的音スペクトルＱの強度μn(k)は非目的音の成分ＣBの強度ｔBを複数のフレームにわたって平滑化した数値であるのに対し、目的音スペクトルＸn(k)の強度|Ｘn(k)|はひとつのフレームにおける瞬時値である。したがって、ひとつのフレームにて強度|Ｘn(k)|が急に低下した場合、式(3b)におけるμn(k)／|Ｘn(k)|の増大に伴なって目的音スペクトルＳn(k)の強度が過度に低下する可能性がある。そこで、例えば、目的音スペクトルＸn(k)の強度|Ｘn(k)|を式(1)と同様の方法で複数のフレームにわたって平滑化した数値を、式(3b)における強度|Ｘn(k)|の代わりに使用することで目的音スペクトルＳn(k)を算定してもよい。以上の構成によれば、目的音の音量の瞬間的な変動が抑制されるから、聴感上において自然な音を生成することができる。

（４）変形例４
非目的音スペクトルＱの強度μn(k)が目的音スペクトルＸn(k)の強度|Ｘn(k)|と比較して充分に小さい場合、式(3b)の｛１−μn(k)／|Ｘn(k)|｝は１に近い数値となる。そこで、｛１−μn(k)／|Ｘn(k)|｝が１未満の所定の閾値を上回る場合（またはμn(k)／|Ｘn(k)|が所定の閾値を下回る場合）、非目的音抑圧部３４は、強度μn(k)や強度|Ｘn(k)|に拘わらず、｛１−μn(k)／|Ｘn(k)|｝を１に設定して式(3b)から目的音スペクトルＳn(k)を算定してもよい。以上の構成によれば、非目的音抑圧部３４の処理の負荷が軽減されるという利点がある。

（５）変形例５
目的音周波数ＦAと非目的音周波数ＦBとを選別する方法は適宜に変更される。例えば、以上の形態においては２個の周波数スペクトルに（パワースペクトル）のパワーを比較することで目的音周波数ＦAと非目的音周波数ＦBとを選別する構成を例示したが、２個の周波数スペクトル（振幅スペクトル）について同じ周波数における振幅を比較することで目的音周波数ＦAと非目的音周波数ＦBとを選別してもよい。

また、例えば特開平１０−３１３４９７号公報に開示された技術を目的音周波数ＦAと非目的音周波数ＦBとの選別に利用してもよい。第１収音器７１は、第２収音器７２と比較して目的音の音源に近い位置に配置される（第２収音器７２は第１収音器７１と比較して非目的音の音源に近い）。周波数選別部２４は、周波数スペクトルＸ1と周波数スペクトルＸ2とについて同じ周波数における強度をＫ個の周波数の各々について比較し、周波数スペクトルＸ1の強度が大きい周波数を目的音周波数ＦAに選別するとともに、周波数スペクトルＸ2の強度が大きい周波数を非目的音周波数ＦBに選別する。そして、周波数スペクトルＸ1における目的音周波数ＦAの強度が成分ＣAの当該周波数における強度ｔAとされ、周波数スペクトルＸ2における非目的音周波数ＦBの強度が成分ＣBの当該周波数における強度ｔBとされる。以上の構成によれば、信号処理部２２が不要となるから音処理装置１００の処理や構成が簡素化されるという利点がある。

（６）変形例６
非目的音スペクトルＱの強度μn(k)を算定する方法は適宜に変更される。例えば、所定個のフレームにわたる第ｋ番目の周波数の強度ｔBの移動平均が非目的音スペクトルＱの強度μn(k)として算定される。移動平均（強度μn(k)）の算定には、第ｎ番目のフレームの直前の所定個のフレームや、第ｎ番目のフレームを含む前後の所定個のフレームなど、第ｎ番目のフレームの近傍にある複数のフレームが使用される。また、例えば、複数のフレームにわたる強度ｔBの時系列にローパスフィルタ処理を施すことで強度μn(k)を算定する構成も好適である。

（７）変形例７
時間領域の音信号Ｓ1および音信号Ｓ2を信号処理部２２が処理してもよい。すなわち、信号処理部２２は、音信号Ｓ1から音信号Ｓ2を減算した信号Ｓ0と、時間Ｄだけ遅延させた音信号Ｓ1を音信号Ｓ2から減算した信号ＳRと、時間Ｄだけ遅延させた音信号Ｓ2を音信号Ｓ1から減算した信号ＳLとを生成する。周波数分析部１０は、信号処理部２２の後段に配置され、信号Ｓ0を周波数スペクトルＸ0に変換し、信号ＳRを周波数スペクトルＸRに変換し、信号ＳLを周波数スペクトルＸLに変換する。以上の形態においても図１の構成と同様の効果が奏される。

（８）変形例８
非目的音抑圧部３４が生成した目的音スペクトルＳn(k)を出力スペクトルＲとして逆変換部４６に出力する構成（すなわち乗算部４２や合成部４４を省略した構成）も採用される。ただし、目的音スペクトルＳn(k)において非目的音周波数ＦBの強度はゼロとなるから、目的音スペクトルＳn(k)から再生される再生音は聴感上において不自然となる可能性がある。したがって、自然な音の生成という観点からすると、非目的音周波数ＦBの成分ＣBの強度ｔBと係数ｐとの乗算値を目的音スペクトルＳn(k)に付加する図１の構成が好適である。

本発明の実施形態にかかる音処理装置の構成を示すブロック図である。 信号処理部による処理を説明するためのグラフである。

符号の説明

１００……音処理装置、１０……周波数分析部、２０……音源分離部、２２……信号処理部、２４……周波数選別部、２６……成分特定部、３２……非目的音推定部、３４……非目的音抑圧部、４０……波形合成部、４２……乗算部、４４……合成部、４６……逆変換部、７１……第１収音器、７２……第２収音器。

Claims (6)

1. 相互に離間する複数の収音器の各々が生成した音信号から、複数の周波数のうち目的音が優勢な目的音周波数の各成分と前記複数の周波数のうち非目的音が優勢な非目的音周波数の各成分とを、時間軸上のフレーム毎に抽出する音源分離手段と、
   複数のフレームの各々における非目的音周波数の成分の強度に応じて当該周波数における強度が設定された非目的音スペクトルを生成する非目的音推定手段と、
   前記目的音周波数の各成分を含む目的音スペクトルから前記非目的音スペクトルを減算する非目的音抑圧手段とを具備し、
   前記非目的音推定手段は、一のフレームにおける非目的音周波数の成分の強度と、前記一のフレームの直前のフレームについて生成した非目的音スペクトルの当該周波数における強度との加重和を、前記一のフレームにおける非目的音スペクトルの当該周波数における強度に設定し、前記加重和に使用する加重値を、前記一のフレームにおける目的音周波数または非目的音周波数の個数に応じて可変に制御する
   音処理装置。
2. 前記非目的音推定手段は、前記一のフレームにおける目的音周波数の個数が多いほど、直前のフレームにおける非目的音スペクトルの強度の加重値が一のフレームにおける非目的音周波数の強度の加重値に対して相対的に増加するように、各加重値を可変に制御する
   請求項１の音処理装置。
3. 前記非目的音抑圧手段は、前記目的音周波数の各成分の強度を複数のフレームにわたって平滑化することで生成された前記目的音スペクトルから前記非目的音スペクトルを減算する
   請求項１または請求項２の音処理装置。
4. 前記非目的音周波数の各成分の強度に第１係数を乗算する乗算手段と、
   前記非目的音抑圧手段による減算後の目的音スペクトルにおける目的音周波数の各成分と前記乗算手段による乗算後の非目的音周波数の各成分とを周波数軸上に配列した出力スペクトルを生成する合成手段と
   を具備する請求項１から請求項３の何れかの音処理装置。
5. 前記非目的音抑圧手段は、前記目的音スペクトルから前記非目的音スペクトルを減算したときの各周波数における強度が、前記非目的音スペクトルにおける当該周波数の強度と第２係数との乗算値である閾値を下回る場合には、前記閾値を当該周波数における強度として設定し、
   前記閾値と前記乗算手段による乗算値とが近づくように前記第１係数および前記第２係数の少なくとも一方を制御する係数制御手段を具備する
   請求項４の音処理装置。
6. コンピュータに、
   相互に離間する複数の収音器の各々が生成した音信号から、複数の周波数のうち目的音が優勢な目的音周波数の各成分と前記複数の周波数のうち非目的音が優勢な非目的音周波数の各成分とを、時間軸上のフレーム毎に抽出する音源分離処理と、
   複数のフレームの各々における非目的音周波数の成分の強度に応じて当該周波数における強度が設定された非目的音スペクトルを生成する非目的音推定処理と、
   前記目的音周波数の各成分を含む目的音スペクトルから前記非目的音スペクトルを減算する非目的音抑圧処理とを実行させるプログラムであって、
   前記非目的音推定処理では、一のフレームにおける非目的音周波数の成分の強度と、前記一のフレームの直前のフレームについて生成した非目的音スペクトルの当該周波数における強度との加重和を、前記一のフレームにおける非目的音スペクトルの当該周波数における強度に設定し、前記加重和に使用する加重値を、前記一のフレームにおける目的音周波数または非目的音周波数の個数に応じて可変に制御する
   プログラム。

Images