JP4900062B2 - 音声信号処理装置、音声再生装置および音声信号処理方法 - Google Patents

Description

この発明は、高圧縮率で圧縮された音声信号等を再生したときに発生するミュージカルノイズによる聴きづらさを改善した音声信号処理装置に関する。

高圧縮率で圧縮された音声信号は、４ｋＨｚ〜６ｋＨｚ付近の周波数帯に「キロキロ」または「ピロピロ」という聴感のノイズ信号を含んでいる。このノイズ信号は、音楽のように聴こえるためミュージカルノイズと呼ばれている。

このミュージカルノイズは、音声信号の圧縮技術に起因するものである。すなわち、一般的に音声信号の圧縮には、聴覚心理学に基づき聴取者に聴こえにくいとされる周波数成分の量子化ビット数の割り当てを減らしてビットレートを少なくする手法が用いられるが、高い圧縮率で音声信号を圧縮する場合、多くの信号成分を除去するため、除去されなかった信号成分のなかに、図４の成分１０１に示すように、時間的・周波数的に孤立した信号成分が発生する。音声信号を再生したとき、この孤立した信号成分が、上記「キロキロ」、「ピロピロ」という音となって再生されミュージカルノイズとなる。

図４は、人間の発話音声を高圧縮率で圧縮したのち、伸長・再生した信号のスペクトログラムを示す図であるが、発話音声信号は、主として３ｋＨｚ以下の周波数帯域に分布している。一方、４ｋＨｚ〜６ｋＨｚの周波数帯域には時間軸上、周波数軸上の両方で孤立した信号成分が点在している。この孤立した信号成分がミュージカルノイズとなる。ミュージカルノイズがどの周波数帯域に発生するかは、目的とする信号成分の分布や圧縮方式等によって異なるが、人間の発話音声を目的の信号とし、この成分を良く保存するように圧縮した場合、ミュージカルノイズは、一般的に４ｋＨｚ〜６ｋＨｚ付近の周波数帯域に現れる。

また、高圧縮率で圧縮した音声信号のみならず、たとえばスペクトルサブストラクション法で高レベル雑音を抑制した場合にも発生する。このスペクトルサブストラクション法によるノイズ抑制時に、ミュージカルノイズが発生しないような処理を行う技術は種々提案されている（たとえば、特許文献１、２等）
特開２００５−１９５９５５号公報 特開２００４−３４１３３９号公報

しかしながら、上記特許文献１、２の技術は、ノイズ除去プロセス時にミュージカルノイズの発生を抑制する技術であって、ミュージカルノイズを含む音声信号からミュージカルノイズを除去する技術、または、ミュージカルノイズを含む音声信号のミュージカルノイズを目立たなくする技術ではない。

また、高ノイズ環境で収音した音声信号からノイズを除去する処理におけるものであり、音声信号を高圧縮率で圧縮する際に生じるミュージカルノイズの成分（孤立した信号成分）の発生を抑制する技術ではない。

このように、従来は、ミュージカルノイズを含んでしまった音声信号を処理して、それを除去または目立たなくするポストプロセシングの技術は未だ提案されていない。

この発明は、ポストプロセシングにより、ミュージカルノイズを含む音声信号を再生したときに、ミュージカルノイズを目立たなくする音声信号処理装置を提供することを目的とする。

請求項１の発明の音声信号処理装置は、目的とする信号成分、および、圧縮によって生じた前記目的とする信号成分から孤立した信号成分であるミュージカルノイズを含む音声信号であるソース信号を入力する入力部と、前記ソース信号を用いて、前記ミュージカルノイズの周波数帯域を含む周波数帯域の高調波を生成する高調波生成部と、前記高調波生成部が生成した高調波を前記ソース信号に加算合成する加算合成部と、を備えたことを特徴とする。

請求項２の発明は、請求項１の発明において、前記高調波生成部は、前記ソース信号中の前記目的とする信号成分の主要部が含まれる周波数帯域の信号成分に基づいて高調波を生成することを特徴とする。

請求項３の発明は、請求項１、２の発明において、前記ソース信号は、前記目的とする信号成分として人間の発話音声を含み、前記高調波生成部は、略４ｋＨｚ乃至６ｋＨｚの周波数帯域の高調波を生成することを特徴とする。

請求項４の発明は、請求項１〜３の発明において、前記高調波生成部は、前記ソース信号の偶数次高調波、奇数次高調波をそれぞれ別々に生成する手段であり、前記偶数次高調波および奇数次高調波の比率を調整する手段を含むことを特徴とする。

請求項５の発明の音声再生装置は、目的とする信号成分から孤立した信号成分であるミュージカルノイズを生じる程度までに圧縮された圧縮音声信号を記憶する記憶部と、前記記憶部に記憶されている圧縮音声信号を伸長してソース信号として出力するデコード部と、デコード部が出力したソース信号を入力し、このソース信号に高調波を付加して出力する請求項１乃至請求項４のいずれかに記載の音声信号処理装置と、を備えたことを特徴とする。

請求項６の発明の音声信号処理方法は、目的とする信号成分、および、圧縮によって生じた前記目的とする信号成分から孤立した信号成分であるミュージカルノイズを含む音声信号であるソース信号を入力する信号入力手順、入力したソース信号を用いて、前記ミュージカルノイズの周波数帯域を含む周波数帯域の高調波を生成する高調波生成手順、この高調波を前記ソース信号に加算合成する加算合成手順、を含むことを特徴とする。
請求項７の発明は、請求項６の発明において、前記高調波生成手順は、前記ソース信号中の前記目的とする信号成分の主要部が含まれる周波数帯域の信号成分に基づいて高調波を生成することを特徴とする。
請求項８の発明は、請求項６、７の発明において、前記ソース信号は、前記目的とする信号成分として人間の発話音声を含み、前記高調波生成手順は、略４ｋＨｚ乃至６ｋＨｚの周波数帯域の高調波を生成することを特徴とする。
請求項９の発明は、請求項６〜８の発明において、前記高調波生成手順は、前記ソース信号の偶数次高調波、奇数次高調波をそれぞれ別々に生成し、且つ、前記偶数次高調波および奇数次高調波の比率を調整する手順を含むことを特徴とする。

この発明では、音声信号を入力し、特にミュージカルノイズを含んだ音声信号を入力し、この音声信号に対して、その音声信号を基にして生成した高調波を加算合成する。ミュージカルノイズは、時間的・周波数的に孤立した信号成分である。音声信号の圧縮の手法にもよるが、人声を圧縮する場合、ミュージカルノイズの信号成分は、一般的に、４ｋＨｚ〜６ｋＨｚの周波数帯に分布する。

そこで、この発明では、この周波数帯域を含む周波数帯域の高調波を生成して音声信号に合成する。これにより、孤立した信号成分を時間的・周波数的に連続させる。この信号を再生した場合、ミュージカルノイズの信号成分も再生されるが、付加された高調波によりこの信号成分が他の信号成分と時間的・周波数的に連続し、耳障りなミュージカルノイズとして聴こえなくなる。

なお、生成する高調波の周波数帯域をミュージカルノイズの周波数帯域に限定することにより、目的とする信号成分に影響を及ぼさなくすることができるが、ミュージカルノイズの原因となる孤立した信号成分は、時間的にのみ連続される。一方、生成する高調波の周波数帯域をミュージカルノイズの周波数帯域に限定しない場合には、目的とする信号成分に若干の影響を及ぼすが、ミュージカルノイズの原因となる孤立した信号成分は、時間的且つ周波数的に連続される。

さらに、この発明では、孤立した信号成分を連続させるためにソース信号に付加される信号が、そのソース信号を基に生成された高調波（整数倍音）であるため、聴感上違和感がないうえ、基本周波数の整数倍音である高調波であるため、ソース信号成分と唸り（ビート）を生じることなく合成される。合成された音声信号は、ソース信号の高音域成分を豊かにしたようなスペクトルとなり、聴取者に対して、基のソース信号に比べて高音域が豊富（リッチ）になったような聴感を与えるのみで、新たなノイズが付加されたような違和感を感じさせることはない。

この発明によれば、高圧縮やノイズ除去により、ミュージカルノイズを含んだ音声信号であっても、このミュージカルノイズを目立たなくして、自然な聴感で再生することができる。

図面を参照してこの発明の実施形態について説明する。
図１はこの発明の実施形態である音声信号処理装置のブロック図である。図２は、同音声信号処理装置に用いられる高調波生成部の構成および動作を説明する図である。また、図３は図１の音声信号処理装置を内蔵した電子辞書のブロック図である。図３の電子辞書は、高圧縮率で圧縮されたオーディオデータを読み出して、デコード・再生するものである。

上述したように、高圧縮率で圧縮された音声信号や、高ノイズ環境で収音されスペクトルサブストラクション法でノイズが除去された音声信号には、ミュージカルノイズと呼ばれるノイズ成分が含まれている。ミュージカルノイズは、時間的および周波数的に孤立した信号成分によるノイズであり、「キロキロ」または「ピロピロ」という聴感で聴こえることからミュージカルノイズと呼ばれている。すなわち、音声信号を高圧縮率で圧縮すると多くの周波数成分が省かれてしまうため、圧縮された音声信号を伸長した場合、４ｋＨｚ〜６ｋＨｚ付近の周波数帯に、時間的および周波数的に孤立した信号成分が生じることに起因するノイズである。

図１の音声信号処理装置は、このようなミュージカルノイズを含む音声信号（ソース信号）を入力し、このソース信号を歪ませて生成した４ｋＨｚ〜６ｋＨｚの高調波を、ソース信号に加算合成して出力する処理装置である。このようにソース信号に高調波を加算合成（付加）することにより、時間的且つ周波数的に孤立しているミュージカルノイズ成分を、時間的または周波数的に連続させてミュージカルノイズとして聴こえないようにする。また、ミュージカルノイズを時間的または周波数的に連続させる付加信号として、基の音声信号から生成した高調波を用いることにより、耳障りでない自然な聴感の音声信号となるようにする。

図１において、入力端子９（ＩＮＰＵＴ）から入力された音声信号は、ローパスフィルタ（ＬＰＦ）１０およびハイパスフィルタ（ＨＰＦ）１１に入力される。ローパスフィルタ１０は、入力された音声信号のうち３ｋＨｚ以下の周波数帯域の成分である低周波成分信号を通過させるフィルタである。また、ハイパスフィルタ１１は、入力された音声信号のうち３ｋＨｚ以上の周波数帯域の成分である高周波成分信号を通過させるフィルタである。

なおローパスフィルタ１０、ハイパスフィルタ１１のカットオフ周波数ｆｃ＿ＬＰＦ、ｆｃ＿ＨＰＦは制御部（図３参照）から供給される。上記の例の場合、カットオフ周波数ｆｃ＿ＬＰＦ、ｆｃ＿ＨＰＦは、ともに３ｋＨｚである。

一般的に、人間の発話音声は、３ｋＨｚ以下の周波数帯域に主要なフォルマントが分布し、３ｋＨｚ〜４ｋＨｚ程度の周波数帯域に摩擦音や破裂音などの子音の主要な信号成分が分布している。また、ミュージカルノイズは、圧縮の方式に依存するが、人間の発話音声を保存する圧縮方式で圧縮された場合、主として４ｋＨｚ〜６ｋＨｚの周波数帯域にミュージカルノイズが分布する。

したがって、ローパスフィルタ１０は、ソース信号から、発話音声の主要なフォルマントが分布する３ｋＨｚ以下の低周波成分信号を取り出している。またハイパスフィルタ１１は、発話音声の主要な子音が分布する３ｋＨｚ以上の高周波成分信号を取り出している。

ローパスフィルタ１０から出力された低周波成分信号は、増幅器１４およびセレクタ１２に入力される。ハイパスフィルタ１１から出力された高周波成分信号は、増幅器１５およびセレクタ１２に入力される。

セレクタ１２は、制御部から入力される選択信号ｂａｎｄ＿ｓｅｌにより、高周波成分信号または低周波成分信号のいずれか一方を選択して高調波生成部１３に出力する。

高調波生成部１３は、セレクタ１２から入力された信号すなわち低周波成分信号または高周波成分信号から高調波を発生して増幅器１６に出力する。ここで、高調波とは、音響分野では倍音とよばれる信号成分であり、基本周波数の整数倍の周波数の信号成分である。基本周波数の整数倍の周波数の信号成分は、基本周波数の信号とうなりを生じることなく合成される。

また、高調波生成部１３は、ミュージカルノイズ成分が分布する周波数帯域の高調波を出力する。ミュージカルノイズ成分が分布する周波数帯域は、４ｋＨｚ〜６ｋＨｚの帯域である。これにより、時間的且つ周波数的に孤立しているミュージカルノイズ成分を時間的に連続した周波数成分に補間して連続させ、ミュージカルノイズでなくする効果を生じる。なお、高調波は、４ｋＨｚ〜６ｋＨｚを含むより広い帯域にわたって形成されてもよい。この場合、ミュージカルノイズ成分は時間的のみならず周波数的にも他の成分と連続される。また一方、高調波は、４ｋＨｚ〜６ｋＨｚの帯域の一部であってもミュージカルノイズ成分が時間的に連続するように形成されればよい。

増幅器１４、１５、１６は、それぞれ低周波成分信号、高周波成分信号、高調波信号を所定のゲインで増幅する。各増幅器１４，１５，１６のゲインは、制御部から入力されるゲインパラメータｇａｉｎ＿Ｌ，ｇａｉｎ＿Ｈ，ｇａｉｎ＿Ｄによって制御される。各増幅器のゲイン設定は任意であるが、低周波成分信号が明瞭に聴こえるように増幅器１４のゲインは大きいめに、ミュージカルノイズ成分と高調波信号のレベルが同程度になるように増幅器１５，１６のゲインを設定することが好ましい。

各増幅器１４，１５，１６で増幅された低周波成分信号，高周波成分信号，高調波信号は、それぞれ加算器１７に入力される。加算器１７は、増幅された低周波成分信号，高周波成分信号，高調波信号を加算合成したのちパラメトリックイコライザ１８に入力する。パラメトリックイコライザ１８は、入力された音声をイコライジングしたのち、後段に出力する。このパラメトリックイコライザのセンタ周波数，ゲイン，Ｑの各特性は、ｆｃ＿ＰＥＱ，ｇａｉｎ＿ＰＥＱ，ｑ＿ＰＥＱの各パラメータによって制御される。

この音声信号処理装置の後段には、たとえば図３に示すように、Ｄ／Ａコンバータ、オーディオアンプ、スピーカ等が接続される。

図２を参照して高調波生成部１３の構成および動作について説明する。
同図（Ａ）は、高調波生成部１３のブロック図である。高調波生成部１３は、セレクタ１２から入力された音声信号を絶対値化すなわち全波整流する絶対値回路２０、セレクタ１２から入力された音声信号を振幅の途中で飽和させるクリップ回路（Ｃｌｉｐｐｅｒ）２１を有している。

入力された音声信号を絶対値化することにより、同図（Ｂ）に示すように、入力された信号を基にした全波整流波を生成することができる。全波整流波は、不連続な偶関数であり、基本波の偶数次の高調波を多く含んでいる。また、入力された音声信号を振幅の途中で飽和させることにより、同図（Ｃ）に示すように、入力された信号を基にした台形波を生成することができる。台形波は、不連続な奇関数であり、基本波の奇数次の高調波を多く含んでいる。

絶対値回路２０から出力された全波整流波は、係数乗算器２３を介して加算器２６に入力される。また、クリップ回路２１から出力された台形波は、増幅器２２、係数乗算器２４を介して加算器２６に入力される。台形波は、入力された音声信号の振幅の一部を削って生成したものであるため、全波整流波よりも振幅が小さくなっている。このため、クリップ回路２１の後段に増幅器２２が接続されている。増幅器２２ｈ、台形波の振幅が全波整流波と同じになるように、ｇａｉｎ＿Ｃのゲインで台形波を増幅する。ゲインパラメータｇａｉｎ＿Ｃは、クリップ回路２１のクリップレベルパラメータｃｌｉｐ＿ｌｖｌと同様に制御部から入力される。

係数乗算器２３には乗算係数としてハーモニーバランスパラメータｈａｍ＿ｂａｌが入力される。また、係数乗算器２４には乗算係数として「１−ｈａｍ＿ｂａｌ」が入力される。この「１−ｈａｍ＿ｂａｌ」は、補数算出部２５によって算出される。絶対値回路２０から出力された全波整流波にはｈａｍ＿ｂａｌが乗算され、クリップ回路２１から出力され増幅器２２で（全波整流波と同じレベルまで）増幅された台形波には、１−ｈａｍ＿ｂａｌが乗算される。係数が乗算された全波整流波と台形波は加算器２６で合成される。

以上の構成により、ｈａｍ＿ｂａｌの値を変更することにより、全体のレベルを変えることなく、全波整流波と台形波との合成バランス、すなわち、高調波全体における偶数次高調波と奇数次高調波の構成比率（バランス）を変更することができる。偶数次高調波と奇数次高調波の比率は、高調波の音質を決定する重要な要素であるため、自動または手動によってこのパラメータｈａｍ＿ｂａｌを調整することにより、高調波を含む再生音の音質を聴取者が最も聴きやすい音質に調整することができる。

偶数次高調波を含む全波整流波と奇数次高調波を含む台形波が加算器２６によって加算合成されたことにより、加算器２６から出力された信号は、偶数次高調波、奇数次高調波の両方を含む信号である。この信号をハイパスフィルタ（ＨＰＦ）２７およびローパスフィルタ（ＬＰＦ）２８でろ波することにより、目的の高調波成分（４ｋＨｚ〜６ｋＨｚ）のみが取り出される。この取り出された高調波成分が図１の増幅器１６に出力される。
なお、このハイパスフィルタ（ＨＰＦ）２７およびローパスフィルタ（ＬＰＦ）２８は、１つのバンドパスフィルタで構成してもよい。

以上説明したように、上記実施形態の音声信号処理装置を用いれば、ミュージカルノイズを含む音声信号を再生する場合でも、聴きやすい音質で再生することができる。したがって、この音声信号処理装置は、ミュージカルノイズを含む音声信号を再生する用途全般に適用可能である。たとえば、高圧縮率で圧縮された音声信号をデコード・再生する装置、高ノイズ環境で収音された音声信号をスペクトルサブストラクション法でノイズ除去する装置等に適用することができる。

図３に、その一例として発音機能付の電子辞書を示す。発音機能付の電子辞書には、多数の見出し語や例文の手本となる発音を録音したオーディオデータが記憶されている。一般的に電子辞書は、携帯サイズであるためメモリの容量が限られており、各オーディオデータは高圧縮率で圧縮されている。

電子辞書は、制御部３０、メモリ３２、操作部３３、表示部３４、音声信号処理部３５、Ｄ／Ａコンバータ３６、アナログアンプ３７、スピーカ３８を備えている。メモリ３２は、辞書データや手本発音のオーディオデータを記憶しており、ＲＯＭやフラッシュメモリ等で構成されている。制御部３０は、マイクロコンピュータで構成され、装置全体の動作を制御するとともに、メモリ３２に記憶されているオーディオデータを読み出して圧縮を解除（デコード）するデコーダ部３１を有している。操作部３３は、キーボードやタッチパネルを有し、ユーザの操作を受け付ける。表示部３４は、液晶ディスプレイを含み、ユーザが検索した見出し語等を表示する。

音声信号処理部３５は、上記図１、図２で説明した音声信号処理装置であり、デコーダ部３１がデコードしたオーディオ信号を処理してミュージカルノイズを抑制する。Ｄ／Ａコンバータ３６は、音声信号処理部３５から出力されたオーディオ信号をアナログのオーディオ信号に変換する。アナログアンプ３７は、Ｄ／Ａコンバータ３６でアナログ信号に変換されたオーディオ信号を増幅してスピーカ３８に出力する。スピーカ３８は、入力されたオーディオ信号を音響として放音する。

上記構成の電子辞書では、メモリ３２に記憶されている手本発音のオーディオデータが高圧縮のオーディオデータであって、ミュージカルノイズを含むものであっても、音声信号処理部３５でこれをミュージカルノイズでない成分とすることができるため、手本発音を聴きやすい音声で再生することができる。

上記実施形態では、人間の発話音声を圧縮したオーディオデータを再生する場合について説明したが、目的とする音声信号は人間の発話音声に限定されない。たとえば、楽器の楽音等に適用してもよい。また、目的とする音声信号が異なれば、その周波数分布や音質的特性が異なり、それに応じてミュージカルノイズが発生する周波数帯域も変化するが、上の実施形態で述べた各フィルタのカットオフ周波数は一例であり、目的とする音声信号に合わせて適宜設定されるものである。

この発明の実施形態である音声信号処理装置のブロック図 同音声信号処理装置に用いられる高調波生成部の構成および動作を説明する図 同音声信号処理装置が適用される電子辞書のブロック図 高圧縮率で圧縮されたオーディオ信号の再生時のスペクトログラムを示す図

符号の説明

１３…高調波生成部
２０…絶対値回路
２１…クリップ回路

Claims (9)

1. 目的とする信号成分、および、圧縮によって生じた前記目的とする信号成分から孤立した信号成分であるミュージカルノイズを含む音声信号であるソース信号を入力する入力部と、
   前記ソース信号を用いて、前記ミュージカルノイズの周波数帯域を含む周波数帯域の高調波を生成する高調波生成部と、
   前記高調波生成部が生成した高調波を前記ソース信号に加算合成する加算合成部と、
   を備えた音声信号処理装置。
2. 前記高調波生成部は、前記ソース信号中の前記目的とする信号成分の主要部が含まれる周波数帯域の信号成分に基づいて高調波を生成する請求項１に記載の音声信号処理装置。
3. 前記ソース信号は、前記目的とする信号成分として人間の発話音声を含み、前記高調波生成部は、略４ｋＨｚ乃至６ｋＨｚの周波数帯域の高調波を生成する請求項１または請求項２に記載の音声信号処理装置。
4. 前記高調波生成部は、前記ソース信号の偶数次高調波、奇数次高調波をそれぞれ別々に生成する手段であり、
   前記偶数次高調波および奇数次高調波の比率を調整する手段を含む請求項１乃至請求項３のいずれかに記載の音声信号処理装置。
5. 目的とする信号成分から孤立した信号成分であるミュージカルノイズを生じる程度までに圧縮された圧縮音声信号を記憶する記憶部と、
   前記記憶部に記憶されている圧縮音声信号を伸長してソース信号として出力するデコード部と、
   デコード部が出力したソース信号を入力し、このソース信号に高調波を付加して出力する請求項１乃至請求項４のいずれかに記載の音声信号処理装置と、
   を備えた音声再生装置。
6. 目的とする信号成分、および、圧縮によって生じた前記目的とする信号成分から孤立した信号成分であるミュージカルノイズを含む音声信号であるソース信号を入力する信号入力手順、
   入力したソース信号を用いて、前記ミュージカルノイズの周波数帯域を含む周波数帯域の高調波を生成する高調波生成手順、
   この高調波を前記ソース信号に加算合成する加算合成手順、
   を含むことを特徴とする音声信号処理方法。
7. 前記高調波生成手順は、前記ソース信号中の前記目的とする信号成分の主要部が含まれる周波数帯域の信号成分に基づいて高調波を生成する請求項６に記載の音声信号処理方法。
8. 前記ソース信号は、前記目的とする信号成分として人間の発話音声を含み、前記高調波生成手順は、略４ｋＨｚ乃至６ｋＨｚの周波数帯域の高調波を生成する請求項６または請求項７に記載の音声信号処理方法。
9. 前記高調波生成手順は、前記ソース信号の偶数次高調波、奇数次高調波をそれぞれ別々に生成し、且つ、前記偶数次高調波および奇数次高調波の比率を調整する手順を含む請求項６乃至請求項８のいずれかに記載の音声信号処理方法。

Images