JP4827675B2

JP4827675B2 - 低周波帯域音声復元装置、音声信号処理装置および録音機器

Info

Publication number: JP4827675B2
Application number: JP2006259217A
Authority: JP
Inventors: 昌弘吉田
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2006-09-25
Filing date: 2006-09-25
Publication date: 2011-11-30
Anticipated expiration: 2026-09-25
Also published as: US20080077399A1; JP2008076988A

Description

この発明は、低周波帯域音声復元装置、音声信号処理装置および録音機器に関する。

音声の基本周波数（ピッチ周波数）は、男性で９０〜１６０Ｈｚ、女性で２３０〜３７０Ｈｚ程度あり、音質を決定する上で非常に重要な要因である。しかしながら、電話の音声帯域は通常３００Ｈｚ以下はカットされる。また、ビデオカメラやＩＣレコーダでは風音の影響を抑えるため３００Ｈｚ前後にカットオフ周波数を有するハイパスフィルタを用いて、音声信号ごと低周波数成分がカットされる。ピッチ情報の欠落は音質の変化につながるため、自然な音声が再現されなくなる。

欠落した低周波帯域のピッチ情報を復元する方法として、特表２００４−５１７３６８号公報に記載された「音声の帯域拡張方法」がある。この従来方法では、複雑な周波数分析が必要であり、多くの処理が必要であるばかりでなく、大きな容量のメモリが必要となるため、コストが高くなるという問題がある。
特表２００４−５１７３６８号公報

この発明は、処理量の低減化およびメモリ容量の節減化が図れる低周波帯域音声の復元装置および録音機器を提供することを目的とする。

また、この発明は、低周波の原音と低周波の復元音を、原音から低周波成分が除去された信号にミキシングする際のミキシング割合を、風音レベルに応じて適応的に制御でき、好適な低音品質を得ることができる音声信号処理装置および録音機器を提供することを目的とする。

請求項１に記載の発明は、入力音声信号に基づいて入力音声信号に含まれている風音のレベルを判定する風音判定手段、入力音声信号から所定の周波数以下の低周波数帯域信号を抽出する低周波数帯域信号抽出手段、入力音声信号から上記所定の周波数以上の高周波数帯域信号を抽出する高周波数帯域信号抽出手段、高周波数帯域信号抽出手段によって抽出された高周波数帯域信号に基づいて、入力音声信号に含まれている上記所定の周波数以下の低周波数帯域信号を復元する低周波数帯域音声復元手段、低周波数帯域信号抽出手段によって抽出された低周波数帯域信号と低周波数帯域音声復元手段によって生成された低周波数帯域信号との、上記高周波数帯域信号への加算割合を、風音判定手段によって判定された風音レベルに応じて調整する調整手段、ならびに調整手段によって調整された後の両低周波数帯域信号を上記高周波数帯域信号に加算する加算手段を備えていることを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、調整手段は、風音判定手段によって判定された風音レベルが大きい場合には、低周波数帯域信号抽出手段によって抽出された低周波数帯域信号に比べて、低周波数帯域音声復元手段によって生成された低周波数帯域信号の上記高周波数帯域信号への加算割合が高くなるように、両低周波数帯域信号の上記高周波数帯域信号への加算割合を調整し、風音判定手段によって判定された風音レベルが小さい場合には、低周波数帯域音声復元手段によって生成された低周波数帯域信号に比べて、低周波数帯域信号抽出手段によって抽出された低周波数帯域信号の上記高周波数帯域信号への加算割合が高くなるように、両低周波数帯域信号の上記高周波数帯域信号への加算割合を調整するものであることを特徴とする。

請求項３に記載の発明は、録音機器において、請求項１および請求項２に記載の音声信号処理装置のうちのいずれか１つの音声信号処理装置を備えていることを特徴とする。

この発明によれば、処理量の低減化およびメモリ容量の節減化が図れるようになる。

また、この発明によれば、低周波の原音と低周波の復元音とを、原音から低周波成分が除去された信号にミキシングする際のミキシング割合を、風音レベルに応じて適応的に制御でき、好適な低音品質を得ることができるようになる。

以下、図面を参照して、この発明の実施例について説明する。

図１は、低周波帯域音声の復元装置を備えた音声信号処理装置の構成を示している。

入力信号は、風音の影響を抑えるためＨＰＦ１に送られる。ＨＰＦ１としては、カットオフ周波数３００Ｈｚのハイパスフィルタが用いられている。ＨＰＦ１を通過した音声信号は、低周波帯域音声復元装置１０に送られるとともに加算器２に送られる。低周波帯域音声復元装置１０によって復元された音声信号は加算器２に送られ、ＨＰＦ１を通過した音声信号に加算される。

低周波帯域音声復元装置１０は、ＬＰＦ１１、２乗処理部１２、ＢＰＦ１３、ゲイン補正部１４およびＥＲＭＳパワー平均算出部１５を備えている。ＬＰＦ１１としては、カットオフ周波数６００Ｈｚのローパスフィルタが用いられている。

ＨＰＦ１を通過した音声信号は、低周波帯域音声復元装置１０内のＬＰＦ１１を介して２乗処理部１２に送られる。ＨＰＦ１のカットオフ周波数は３００Ｈｚであり、ＬＰＦ１１のカットオフ周波数は６００Ｈｚであるので、２乗処理部１２への入力信号は、３００Ｈｚ〜６００Ｈｚの周波数帯域の信号となる。

したがって、例えば、図２に示す調波構造を持つ入力音声信号に対しては、２次、３次および４次の高調波成分ｈ₂、ｈ₃、ｈ₄を含む信号が２乗処理部１２に入力される。２乗処理部１２では、この入力信号を２乗することにより、各高調波成分の周波数の差および和に相当する周波数の信号が生成される。

つまり、２次、３次および４次の高調波成分を含む高調波信号ＩＮ_tを２乗することによって得られる信号ＩＮ_t ²は、次式（１）で表すことができる。ただし、ω₀はピッチ周波数を表し、Ｇ_nはｎ次高調波成分の振幅レベルを表し、ｔは時間を表している。

２乗処理部１２によって得られた信号は、ＢＰＦ１３に送られる。ＢＰＦ１３としては、通過帯域が５０〜３００Ｈｚのバンドバスフィルタが用いられている。この例では、ピッチ周波数ω₀は約１１０Ｈｚであるので、ＢＰＦ１３によって、上記式（１）で表される信号ＩＮ_t ²のうち、バイアス成分および高周波成分が除去され、次式（２）で表される信号ＳＬ’_tがＢＰＦ１３から出力される。

ＥＲＭＳパワー平均算出部１５は、ＬＰＦ１１を通過した信号ＩＮ_tに基づいて、Ｇ₂、Ｇ₃、Ｇ₄の平均値を反映した補正値ＧＨ_tを算出する。補正値ＧＨ_tは、次式（３）に基づいて算出される。ただし、Ｋは定数であり、この例では０．９である。

ＢＰＦ１３の出力信号ＳＬ’_tはゲイン補正部１４に送られる。ゲイン補正部１４には、ＥＲＭＳパワー平均算出部１５によって算出された補正値ＧＨ_tが与えられる。ゲイン補正部１４は、ＢＰＦ１３の出力信号ＳＬ’_tを補正値ＧＨ_tで除算することにより、ＢＰＦ１３の出力信号ＳＬ’_tに対してゲイン補正を行なう。これにより、ＨＰＦ１によって除去された３００Ｈｚ以下の周波数ω₀および２・ω₀の信号が復元される。

ゲイン補正部１４によって得られた信号ＳＬ_t（＝ＳＬ’_t／ＧＨ_t）は加算器２に送られ、ＨＰＦ１を通過した信号（入力信号から３００Ｈｚ以下の信号が除去された信号）に加算される。

上記実施例では、ＢＰＦ１３を通過した信号に対してゲイン補正部１４によるゲイン補正が行なわれているが、２乗処理部１２の出力信号に対してゲイン補正部１４によるゲイン補正を先に行ない、ゲイン補正部１４によって得られた信号をＢＰＦ１３に送るようにしてもよい。

上記実施例によれば、風音対策等の必要性から入力音声信号に含まれている低周波成分をハイパスフィルタによって除去した場合でも、除去した信号に含まれている音声のピッチ情報とその倍音信号を復元することが可能である。風音は調波構造を有していないため、ピッチ情報と同様に復元されることはない。

電話などの最初から低周波信号が除去されている信号に対しては、ハイパスフィルタ（ＨＰＦ１）は不要となる。この場合にも、最初から除去されている信号に含まれている音声のピッチ情報とその倍音信号を復元することが可能である。

また、２乗処理部１２への入力信号の平均レベルに応じたゲイン補正を行なっているので、自然な音質が得られる。また、２乗処理部１２への入力信号をローパスフィルタ（ＬＰＦ１１）を用いて、主に音声が含まれる帯域に限定しているので、音声のピッチ情報を確実に復元することが可能となる。

なお、図１の各部は、ハードウエアで実現してもよいし、ソフトウエアで実現してもよい。

図３は、低周波帯域音声の復元装置を備えた音声信号処理回路の構成を示している。

この音声信号回路では、低周波帯域音声復元装置によって得られた３００Ｈｚ以下の信号を３００Ｈｚ以上の原音にミキシングするだけではなく、３００Ｈｚ以下の原音も３００Ｈｚ以上の原音にミキシングできるようにしている。ただし、風音レベルを判定し、３００Ｈｚ以下の原音と低周波帯域音声復元装置によって得られた３００Ｈｚ以下の信号とを、３００Ｈｚ以上の原音にミキシングする際のミキシング割合を、風音レベルに応じて適応的に制御するようにしている。

図３に示す音声処理回路は、ステレオ入力信号のうち、左チャンネルの入力信号に対する音声処理回路を示している。図示しないが、右チャンネルの入力信号に対する音声処理回路も同様である。図３において図１と同じものには、同じ符号を付してその説明を省略する。

図３においては、加算器２とゲイン補正部１４との間にミキシング量を補正するための第１乗算器２１が設けられている。つまり、ゲイン補正部１４によって得られた復元信号は、第１乗算器２１を介して加算器２に送られる。

また、左チャンネルの入力信号から３００Ｈｚ以下の信号を抽出するためのＬＰＦ３１が設けられている。つまり、このＬＰＦ３１としては、カットオフ周波数が３００Ｈｚのローパスフィルタが用いられている。ＬＰＦ３１を通過した信号は、ミキシング量を補正するための第２乗算器３２を介して加算器２に送られる。

また、左チャンネルの入力信号および右チャンネルの入力信号に基づいて風音レベルを判定し、第１乗算器２１および第２乗算器３２に乗算係数Ｋ１、Ｋ２を設定する風音レベル判定部４０が設けられている。

左チャンネルの入力信号は、風音の影響を抑えるためＨＰＦ１に送られるとともにＬＰＦ３１に送られる。ＨＰＦ１を通過した音声信号は、低周波帯域音声復元装置１０に送られるとともに加算器２に送られる。低周波帯域音声復元装置１０によって復元された音声信号は、第１乗算器２１に送られ、乗算係数Ｋ１が乗算される。第１乗算器２１の出力信号は、加算器２に送られる。ＬＰＦ３１を通過した信号（３００Ｈｚ以下の原音信号）は、第２乗算器３２に送られ、乗算係数Ｋ２が乗算される。第２乗算器３２の出力信号は、加算器２に送られる。加算器２１では、ＨＰＦ１を通過した音声信号に、第１乗算器２１の出力信号および第２乗算器３２の出力信号がミキシングされる。

風音レベル判定部４０によって行なわれる風音レベル判定処理と乗算係数設定処理とについて説明する。

まず、風音レベル判定処理について説明する。この例では、左チャンネルと右チャンネルの低周波信号間の相互相関の強さを算出し、相関が低い場合には風音と判別し、相関が強い場合には通常の音（目的音）と判別する。

左右のマイクの間隔が狭く対象とする周波数帯域が低いことから、左チャンネルと右チャンネルの低周波信号間の相互相関の強さＨｓは、次式（４）で示す評価式に基づいて簡易的に算出する。

上記式（４）において、ＩＮ＿Ｌｃｈ_tは、時刻ｔにおける１００Ｈｚ以下の左チャンネル入力信号を表し、ＩＮ＿Ｒｃｈ_tは、時刻ｔにおける１００Ｈｚ以下の右チャンネル入力信号を表している。

次に、乗算係数設定処理について説明する。相互相関の強さＨｓに応じて、第１乗算器２１に与える乗算係数Ｋ１と、第２乗算器３２に与える乗算係数Ｋ２とを決定する。相互相関の強さＨｓは、１．０が最大値となる。相互相関の強さＨｓが大きいほど、通常の音（目的音）である可能性が高いので、Ｋ２を大きし、Ｋ１を小さくする。ここでは、Ｋ１として（１−Ｈｓ）を設定し、Ｋ２としてＨｓを設定する。

したがって、Ｈｓが大きく、風音が小さい場合には、低周波帯域音声復元装置１０によって復元された音声信号に比べて、ＬＰＦ３１を通過した信号（３００Ｈｚ以下の原音信号）をミキシングする割合が多くなる。逆に、Ｈｓが小さく、風音が大きい場合には、ＬＰＦ３１を通過した信号（３００Ｈｚ以下の原音信号）に比べて、低周波帯域音声復元装置１０によって復元された音声信号をミキシングする割合が多くなる。

上記実施例２によれば、低周波の原音と低周波の復元音を、原音から低周波成分が除去された信号にミキシングする際のミキシング割合を、風音レベルに応じて適応的に制御しているので、好適な低音品質を得ることができる。

図３の低周波帯域音声復元装置としては、実施例１の低周波帯域音声復元装置以外のものを用いることができる。

低周波帯域音声の復元装置を備えた音声信号処理回路の構成を示すブロック図である。入力音声信号のスペクトル特性の一例を示すグラフである。低周波帯域音声の復元装置を備えた音声信号処理回路の構成を示すブロック図である。

符号の説明

１ＨＰＦ
２加算器
１０低周波帯域音声復元装置
１１ＬＰＦ
１２２乗処理部
１３ＢＰＦ
１４ゲイン補正部
１５ＥＲＭＳパワー平均算出部
２１第１乗算器
３１ＬＰＦ
３２第２乗算器
４０風音レベル判定部

Claims

入力音声信号に基づいて入力音声信号に含まれている風音のレベルを判定する風音判定手段、
入力音声信号から所定の周波数以下の低周波数帯域信号を抽出する低周波数帯域信号抽出手段、
入力音声信号から上記所定の周波数以上の高周波数帯域信号を抽出する高周波数帯域信号抽出手段、
高周波数帯域信号抽出手段によって抽出された高周波数帯域信号に基づいて、入力音声信号に含まれている上記所定の周波数以下の低周波数帯域信号を復元する低周波数帯域音声復元手段、
低周波数帯域信号抽出手段によって抽出された低周波数帯域信号と低周波数帯域音声復元手段によって生成された低周波数帯域信号との、上記高周波数帯域信号への加算割合を、風音判定手段によって判定された風音レベルに応じて調整する調整手段、ならびに
調整手段によって調整された後の両低周波数帯域信号を上記高周波数帯域信号に加算する加算手段、
を備えていることを特徴とする音声信号処理装置。
調整手段は、風音判定手段によって判定された風音レベルが大きい場合には、低周波数帯域信号抽出手段によって抽出された低周波数帯域信号に比べて、低周波数帯域音声復元手段によって生成された低周波数帯域信号の上記高周波数帯域信号への加算割合が高くなるように、両低周波数帯域信号の上記高周波数帯域信号への加算割合を調整し、風音判定手段によって判定された風音レベルが小さい場合には、低周波数帯域音声復元手段によって生成された低周波数帯域信号に比べて、低周波数帯域信号抽出手段によって抽出された低周波数帯域信号の上記高周波数帯域信号への加算割合が高くなるように、両低周波数帯域信号の上記高周波数帯域信号への加算割合を調整するものであることを特徴とする請求項１に記載の音声信号処理装置。
請求項１および請求項２に記載の音声信号処理装置のうちのいずれか１つの音声信号処理装置を備えていることを特徴とする録音機器。