JP4426186B2 - 音声信号処理装置 - Google Patents

Description

技術分野
本発明は、通信ネットワークや端末機におけるリニアＰＣＭ音声データなどのデジタル音声データを対象とした音声信号処理装置に関する。
背景技術
今日の情報通信社会において、様々な情報がネットワークを通してやりとりされているが、一昔前に比べるとその扱っているデータは非常に大きくなっており、そしてまた多様化している。今後もこの傾向は続くと思われる。
ネットワークはそのような増え続ける情報量に対応しなければならないが、最近では、そのためのキーワードとして「ブロードバンド化」、「ＩＰ化」などの言葉を良く目にする。
「ブロードバンド化」とは、通信経路の伝送能力を高くし、巨大なデータを速やかに伝送できるようにすることであり、「ＩＰ化」とはデータをＩＰパケット単位で送るというものである。パケット交換は回線を占有するわけではないため、データの量に応じた従量課金となり、巨大なデータを扱う今日において非常に重要な方式と言える。
ところで、音声はというと、現在のところ音声情報は回線交換方式で伝送されており、回線を占有している時間に応じた時間課金となっている。回線を占有するわけなので、その間の品質についてはかなり高いものが要求され、また、実際品質はある程度高いと言える。
しかし、時代の流れの中で、音声もＩＰパケットにより伝送することが検討されており、近い将来「ＶｏＩＰ」とよばれるサービスが始まると考えられる。つまり、音声データも他のデータと同様にパケット交換によって情報のやりとりを行うことになる。
その際音声データは、音声以外のデータのサイズと比較して非常に小さいため、伝送フォーマットは特に圧縮は行わず、現在のＡＴＭ網で使われているＧ．７１１ＰＣＭフォーマットとなることが予想される。
しかし、ＩＰパケット交換はエラーが発生してもパケットの再送が可能なデータなどに適した伝送方法であり、音声データのように再送のきかないリアルタイム系の情報においてはある程度の品質劣化が起こると考えられる。
このような品質劣化に起因する音声波形の不連続点があると聴覚上大きな品質劣化が起こることは良く知られているが、音声波形の不連続というのはいろいろな原因で起こるものである。
例えば、最近の移動体通信で使われている音声コーデックはＣＥＬＰ方式などが主であるが、この方式の場合リニアＰＣＭデータをフレーム単位で処理する。フレームからはスペクトル包絡情報や音源情報などのパラメータを抽出し、高い圧縮率での符号化を可能にしている。しかし、フレーム単位で符号化されたデータを復号する場合、フレームとフレームの境目には不連続点が生じやすい。このような不連続点が生じないようにするために、代表的なパラメータ（ピッチ周期など）を用い、重み付けを用いてフレームの境目付近で音声波形の補間を行っている。
他にも、聴覚上の音質を改善するためにフィルタ処理を行う方法などが知られている。また、無線区間における符号化データフレーム（パケット）の消失やデータエラーなどによっても不連続点は生じる。そのときはエラーが起こったことを外部チェックにより伝えてもらい、音声データのレベルを落とす処理などを行うことで聴覚上の品質劣化を抑えている。このような手法の例としては、特開平７−１０５６３７や特開平６−３２６６２２がある。
上記のようにフレームの境目で補間を行う場合やデータのエラーが生じた場合などは不連続が起こった場所、あるいは不連続が起こる可能性がある場所が予め分かった上での処理であり、主に音声符号化や復号とあわせて行われるものである。しかし、ＰＣＭデータをパケット単位で伝送するＡＴＭ網やＩＰ網において、パケットが消失したり原因不明のビットエラーが起こった場合、そこで生じた不連続点はどこらかもチェックを受けることなく品質劣化の原因を抱えたまま伝送されることになる。
特に、ＩＰ網ではパケットの伝送ルートが可変であるため、ルーティングの状態によっては時間的に後に発行されたパケットが先に発行されたパケットを追い越してしまう状況も考えられ、その場合にも不連続点は生じる。
図１は、ＩＰ網におけるパケットルーティングの様子を示した図である。
同図では、３つのパケットがそれぞれ順に送信された場合を示している。第１のパケットの後に、第２、第３のパケットが順次送信されても、第２のパケットは、ＶｏＩＰルータ２を通ってからＶｏＩＰルータ１に送信されている。一方、第３のパケットは、直接ＶｏＩＰルータ１に送信されているため、後から送信された第３のパケットが、第２のパケットを追い越して、送信先に到着することになる。
また、ＩＭＴ−２０００向けの移動体通信網においては、端末機同士での接続の場合にＴＦＯ（Ｔａｎｄｅｍ Ｆｒｅｅ Ｏｐｅｒａｔｉｏｎ）と呼ばれる方式を使うことが検討されている。この方式はタンデム接続による品質の劣化を回避する目的があるが、タンデム接続からＴＦＯへの移行、あるいはその逆が行われる時、方式的に不連続点が生じる可能性がある。しかし、それをチェックし、補正する技術はない。
発明の開示
本発明の課題では、不特定に生じる音声波形の不連続点をデジタル音声データを調べることにより検出し、不連続点に起因する品質劣化を補償する音声信号処理装置、特には、リニアＰＣＭデータをチェックし、不連続点を検出し、不連続点を判定された部分には即座に補正をかけ、聴覚上の品質劣化を回避することの出来る音声信号処理装置を提供することである。
本発明の音声信号処理装置は、通信ネットワークにおけるデジタル音声データの処理を行う音声信号処理装置において、入力波形の周期を検出し、該周期から受信する波形を予測する波形予測手段と、該予測された波形と実際に受信された波形との相関値から波形の不連続点を検出する不連続点検出手段と、該不連続点が検出された場合に、該予測された波形と該実際に受信された波形とを用いて不連続点のない補正波形を生成する補正波形生成手段とを備えることを特徴とする。
本発明によれば、受信した波形を直接調べて、不連続点の有無を検出するので、予測できないような原因で不連続点が生じても、不連続点を見つけて、これを補正した波形を生成することが出来る。従って、フレームのつなぎ目など、システムの構成から予測される位置に不連続点が生じた場合のみではなく、波形の任意の位置に発生した不連続点による音声品質の劣化を補償することが出来る。
これにより、本発明では、パケット交換方式による通信ネットワークを介して音声を送受信しても品質の良い音声通信を提供することが出来る。
発明を実施するための最良の形態
本発明では、過去の入力データから周期を求める手段と、求められた周期から未来の音声波形を予測する手段と、予測波形と実際の波形を比較し、補正が必要であるかどうかを判断する手段と、補正が必要な不連続点に対して、重み付けなどの手段を用いて波形を補正する手段を具備する。
図２〜５は、本発明の実施形態の原理を説明する図である。
音声波形を観察すると、有音部分においてはある一定の周期をもって類似した波形が連続して現れることが知られている。これはピッチと呼ばれるものであり、音声を高圧縮する際のパラメータの１つとして、最近の音声符号化方式でも使われている重要なパラメータである。本発明の実施形態では、目的とする音声波形の補正に、このピッチ周期を利用する。図２は、音声波形の例を示しており、ｋがピッチ周期に相当する。
ピッチ周期は自己相関係数の計算などの方法を使うことで抽出が可能である。自己相関がある程度高い数値を出している場合、ピッチ周期を用いることにより未来の波形（期待する波形）をある程度の誤差の範囲で予測することが可能である。図２で言えば、ピッチ周期がｋと求められている場合、ｋサンプル前のリニアＰＣＭデータの値を現在の値として用いることで予測波形を求めることが出来る。
通常の音声波形では図２のようにきちんとピッチ周期が現れている場合は、実際の波形が予測波形から大きく外れることはあまりない。しかし、図３に示すように、予測波形に対し実際の波形が著しく異なる場合、それは音声波形上の不連続点となり、聴覚上大きく品質を落とす可能性を含むことになる。そのため本実施形態では、毎サンプルで実際の波形と予測波形を比較して不連続点を検出し、不連続点周辺を予測波形を用いて補間する。
実際の波形と予測波形との比較方法として、局所的な相関係数の計算などが挙げられる。図３の点ａ_０の近傍を拡大したのが、図４である。図４においてａ_０の近傍ａ_２、．．．．、ａ_２とｂ_０の近傍ｂ_２、．．．．．、ｂ_２について局所的な相関を求めることで著しく波形が乱れたかどうかをチェックする事が出来る。
不連続点と判断されたサンプルについては補正がかけられるが、補正方法としては重み付けを用いる方法などがあるが、特に、本実施形態においては、重み付けの方法を使用することを説明する。図５は重み付けにより予測波形から実際の波形へと徐々に補正されていく様子を示している。すなわち、実線でしめされる実際の波形に不連続点ｄがある場合、破線で示される予測波形との補間を行う。補間の仕方は、太線で示される補正波形が、不連続点ｄに近いところでは、予測波形に近い形状となり、徐々に、実際の波形に近づいていくようにする。
図６は、本発明の実施形態の音声信号処理装置の処理ブロック図である。また、図７は、本発明の実施形態の音声信号処理装置の全体の処理フローを示す図である。
本発明の実施形態を図６と図７を用いて説明する。
リニアＰＣＭデータのサンプル列をａ（−ｉ）、・・・、ａ（０）、・・・、ａ（４）とする。ａ（０）が補正すべきかどうかが判断されるサンプルであり、ａ（−１）がそのひとつ過去のサンプルである。また、ａ（１）、・・・、ａ（４）はａ（０）の後のサンプル値である。本実施形態では、補正すべきサンプル値ａ（０）より時間的に４サンプル後のサンプル値まで必要となるので、実際の処理においては、補正すべきサンプル値の４サンプル後の値まで読み込んでから処理を行う。
まず、ａ（０）のサンプルが含まれている部分の波形が周期性を持っているかどうかを調べるために図６の周期検出部１０ではａ（０）の前の数十サンプル（ここでは４０サンプル）でセグメントを形成し、以下の計算を行う。
なお、ａ（０）の前の数十サンプルは、記憶部１４に、入力からの過去のリニアＰＣＭデータが記憶されており、ここから、データを周期検出部１０に読み込むようにする。また、周期性の検出のために必要なサンプル数は、ここでは、４０サンプルとしているが、実際には、音声データのピッチの一周期を周期検出に使用できるようにサンプル数を決定すべきである。通常、音声データのピッチ周期の検出には、４０サンプル程度有れば十分である。サンプリング周波数が異なる場合などにおいては、その周波数に応じて適当なサンプル数を使用するようにする。

この計算でＳが最大となる時のｋの値とＳの値を求める。ただし、逆位相の波形やパワーが小さい波形が補正に影響を及ぼさないようにするため、分子は括弧の中が正であり、かつ、分母で掛け合わされている２つの項がそれぞれある閾値を超えている場合のみを対象とする。すなわち、分子は、２乗されているために、常に正の数であるが、分子の括弧の中の式は、波形が一致している場合に正の大きい値を示し、波形が逆位相となっている場合には、負であって絶対値の大きな値を示す。従って、波形が逆位相となっている場合には、波形の一致が見られないにも関わらず、上記Ｓが大きな値となってしまうので、これを取り除くため、分子の括弧の中が正の場合に限定する。また、分母の各項の大きさが所定の閾値以上とするのは、音声のパワーが小さい場合を取り除く意味である。分母の各項は、音声のパワーを計算する式となっており、これらの値を所定値以上とすることによって、パワーの小さい音声波形を除去することが出来る。パワーの小さい音声波形を取り除くのは、パワーが小さい音声波形の場合、雑音の影響を受ける可能性が高く、実際の音声波形は、過去の波形と異なるのに、雑音の影響で、上記式で計算した結果、偶然に波形が一致すると判断されてしまう場合を避けるためである。なお、上記閾値は、実験的に本実施形態を利用しようとする各当業者によって適宜決定されるべきものである。
次に、Ｓがある閾値を超えているかどうかを判断する。超えていた場合は周期的な波形となっていると判断され、周期であるｋの値を決定し、図６の予測部１１へ送る。超えていない場合は周期的でないと判断され、予測部１１や判定部１２、補正部１３の処理は行わない。なお、Ｓの判断のための閾値も、実験などを行って、当業者によって適宜設定されるべきものである。
予測部１１ではａ（０）の近傍がａ（−ｋ）の近傍のようになっていると予測する。ここでは、ａ（０）の近傍をａ（−２）、・・・、ａ（４）、ａ（−ｋ）の近傍をａ（−ｋ−２）、・・・、ａ（−ｋ＋４）とする。予測部１１は予測波形を比較判定部１２に送る。ここで、予測波形は、ａ（０）の近傍と同様になっていると判断されたａ（−ｋ）の近傍のａ（−ｋ−２）〜ａ（−ｋ＋４）のサンプルからなる波形である。そして、予測波形（ａ（−ｋ）の近傍）と実際の波形（ａ（０）の近傍）について短区間で以下の計算を行う。なお、ここでの計算は、ａ（０）とａ（−ｋ）のそれぞれの近傍の７サンプルについて行っている。これは、音声波形の一周期よりは十分小さいが、１サンプル毎の雑音的な変化を平均化できる程度に大きい近傍を選択して計算するものである。すなわち、あまり計算するサンプル数が大きすぎると、波形の局所的な不連続を検出することができなくなり、あまりサンプル数が小さすぎると、雑音的なサンプル値の変化でも波形の不連続点と判断してしまうなど、サンプル値の変化に対して敏感になりすぎてしまうので、７サンプル程度がちょうど良いと考えたものである。しかし、本実施形態では、このサンプル数は、必ずしも７サンプルに限定するものではなく、実験などによって当業者が適宜定めるべきものである。

次に、このＴが、ある閾値を超えているかどうかを判断し、超えていない場合はその点で著しく波形が乱れたと判断し、補正部１３に対して比較判定部１２から補正指示が出される。ただし、この場合も分母でかけ合わされている２つの項がある閾値よりも小さい場合は除くようにする。分子の括弧の中が負の場合は−Ｔとする。ここでも、分母の各項が所定閾値よりも大きい場合のみを使用することにより、音声パワーが小さい場合を取り除き、また、分子の括弧の中が負の場合は、−Ｔとして、Ｔの値が負になるようにして、閾値よりも大きくならないようにしている。すなわち、分子の括弧の中が負の場合、つまり、波形が逆位相になっている場合を排除する意味である。また、上述の各閾値は、やはり、実験などにより当業者が適宜決定すべきものである。
補正指示を受けた補正部１３では以下に示すような重み付けにより補間を行い、ｓ（補正後の音声データサンプル値）を出力する。一度補正指示がでたらｎサンプル（補正後の波形が十分滑らかに実際の波形にほぼ一致するようになるように：このｎの値も当業者によって適宜設定されるべきものである）について補正を行い、その間は周期検出、予測、比較判定の機能は停止する。

ここで、ｏｆｆｓｅｔとは補正指示がでたときのａ（−１）−ａ（−ｋ−１）の値であり、補正を行う時に１周期（ｋサンプル）前の値（予測波形）と補正後の波形を滑らかにつなぐために必要な量である。
補正指示がでていない場合は、

となる。
補正部の処理が終わった後、記憶部１４はａ（４）→ａ（３）、ａ（３）→ａ（２）、ａ（ｉ）→ａ（ｉ−１）という具合に値を更新する。なお、ｓ→ａ（−１）とし、補正結果を記憶部１４に記憶される過去の波形データに反映させる。
なお、図６の構成においては、入力からはリニアＰＣＭデータの１サンプルデータが順次入力され、最新のサンプル値は、直接比較判定部１２及び補正部１３に入力される。記憶部１４からは、最新のサンプル値以前の過去のサンプル値が所定数（例えば、４０サンプル程度）出力される。例えば、上述の例で言えば、ａ（４）は、入力から直接比較判定部１２、補正部１３に入力されるが、ａ（３）〜ａ（−４０）は、記憶部１４からそれぞれの部に入力される。
図７は、本発明の実施形態の全体の処理を示すフローチャートである。
まず、ステップＳ１において、自己相関係数を計算する。ここでの計算は、上述の説明におけるＳの算出にあたる。そして、ステップＳ２において、周期性があるか否かを判断する。この周期性の判断は、前述の通り、Ｓの値が所定閾値よりも大きいか否かを判断することにより行い、周期ｋを決定する。ｋとは、音声波形の１周期の長さをサンプル数で示したものである。周期性が無いと判断された場合には、ステップＳ７に進む。この場合、ステップＳ７では、ｓ＝ａ（０）となり、何ら補正をせずに音声波形のサンプル値を出力する。そして、ステップＳ８において、新しいサンプル値１つを記憶部１４に格納すると共に、一番古いサンプル値を１つ破棄する。
ステップＳ２において、周期性があると判断された場合には、ステップＳ３において、波形予測、すなわち、一周期前の過去の波形を予測波形として取得し、ステップＳ４において、現在の波形と予測波形とを比較する。このステップＳ４における演算は、前述のＴを算出することであり、目的のサンプル値の近傍の少ないサンプル数について、現在の波形と予測波形の相関値を求め、その相関値が所定閾値より大きいか否かを判断することであるが、ステップＳ４の処理を「比較」と称している。従って、ステップＳ４の「比較」を行うことによって、現在の波形に不連続点があるか否かが判断される。
そして、ステップＳ４の比較の結果、現在の音声波形に不連続点があるか否かに従って、ステップＳ５において、波形の補正が必要か否かを判断する。音声波形に不連続点が無い場合には、補正が必要ないとして、ステップＳ７、Ｓ８に進み、ステップＳ２において、周期性がない場合と同様の処理を行う。
ステップＳ５において、補正が必要と判断された場合には、ステップＳ６において、前述の重み付け演算により、音声波形のサンプル値の補正を行い、これをステップＳ７において出力し、ステップＳ８において、補正後のサンプル値を記憶部１４に格納すると共に、最も古いサンプル値を破棄する。
図８は、本発明の実施形態に従った音声信号処理装置の適用部分とネットワークを説明する図である。
公衆回線網２２は、ネットワーク２０を介して移動体網２３に接続される。なお、移動体網２３は、別の公衆回線網であってもよいし、公衆回線網２２が別の移動体網であってもよい。ネットワーク２０は、インターネットなどＩＰパケット交換方式によるネットワークなどである。この場合、ネットワーク２０を介して音声を送受するために、ＶｏＩＰという方式が採用される。ネットワーク２０と公衆回線網２２との境界装置としてゲートウェイ２１が設けられる。また、同様に、移動体網２３とネットワーク２０の境界装置としてゲートウェイ２１が設けられる。
本発明の実施形態に従った音声信号処理装置は、これら境界装置としてのゲートウェイ２１に搭載される。すなわち、例えば、公衆回線網２２からゲートウェイ２１に入力された音声信号は、リニアＰＣＭデータに変換された後、本発明の実施形態の音声信号処理を施され、ネットワーク２０にＶｏＩＰのフォーマットで送信される。ネットワーク２０に送出された音声データを受信したゲートウェイ２１は、受信した音声信号をリニアＰＣＭデータに変換し、やはり、本発明の実施形態の音声信号処理を施し、移動体網２３に送出する。
移動体網２３から公衆回線網２２に音声信号を送信する場合も同様である。
また、上記説明では、本発明の実施形態の音声信号処理装置の適用箇所としてゲートウェイを挙げたが、実際には、これには限定されない。すなわち、移動体網２３の携帯端末などの移動機内において、受信した音声を再生する場合にも適用可能であるし、移動体網２３の基地局、あるいは、公衆回線網２２の電話機内に設けて、リニアＰＣＭデータの状態にした音声信号に本発明の実施形態の音声信号処理を行うことも可能である。
産業上の利用可能性
以上本発明によれば、音声波形における不連続点の生じる原因によらず、聴覚上の品質劣化を抑えることが出来る。また、大きな遅延を伴わずに処理を行うことが出来る。
【図面の簡単な説明】
図１は、ＩＰ網におけるパケットルーティングの様子を示した図である。
図２は、本発明の実施形態の原理を説明する図（その１）である。
図３は、本発明の実施形態の原理を説明する図（その２）である。
図４は、本発明の実施形態の原理を説明する図（その３）である。
図５は、本発明の実施形態の原理を説明する図（その４）である。
図６は、本発明の実施形態の音声信号処理装置の処理ブロック図である。
図７は、本発明の実施形態の音声信号処理装置の全体の処理フローを示す図である。
図８は、本発明の実施形態に従った音声信号処理装置の適用部分とネットワークを説明する図である。

Claims (22)

1. 通信ネットワークにおけるデジタル音声データの処理を行う音声信号処理装置において、
   入力波形の周期を検出し、該周期から受信する波形を予測する波形予測手段と、
   該予測された波形と実際に受信された波形との相関値から波形の不連続点を検出する不連続点検出手段と、
   該不連続点が検出された場合に、該予測された波形と該実際に受信された波形とを用いて不連続点のない補正波形を生成する補正波形生成手段と、
   を備えることを特徴とする音声信号処理装置。
2. 前記入力波形の周期は、該入力波形の自己相関値が所定値以上であることを検出することによって検出されることを特徴とする請求項１に記載の音声信号処理装置。
3. 前記自己相関値は、前記入力波形の略一周期について演算することを特徴とする請求項２に記載の音声信号処理装置。
4. 前記これから受信する波形の予測は、予測すべき波形の一周期前の波形を予測波形として行うことを特徴とする請求項１に記載の音声信号処理装置。
5. 前記不連続点の検出は、不連続点が存在するか否かを判断すべきサンプル点の前後数サンプル点について、前記予測された波形と前記実際に受信された波形との相関値を演算することによって得られることを特徴とする請求項１に記載の音声信号処理装置。
6. 前記補正波形は、前記予測された波形のサンプル値と前記実際に受信された波形のサンプル値について重み付け補間演算を行うことにより生成されることを特徴とする請求項１に記載の音声信号処理装置。
7. 前記重み付け補間演算は、前記予測された波形のサンプル値にオフセット量を加えて行われ、前記補正波形と過去に実際に受信された波形とが連続的に接続されることを特徴とする請求項６に記載の音声信号処理装置。
8. 前記オフセット量は、前記入力波形の周期から割り出される２つのサンプル値に基づいて演算されることを特徴とする請求項７に記載の音声信号処理装置。
9. 前記通信ネットワークは、音声信号をパケット交換方式により伝送することを特徴とする請求項１に記載の音声信号処理装置。
10. 前記通信ネットワークは、ＡＴＭ網あるいはＩＰ網であることを特徴とする請求項９に記載の音声信号処理装置。
11. 前記デジタル音声データは、リニアＰＣＭデータであることを特徴とする請求項１に記載の音声信号処理装置。
12. 通信ネットワークにおけるデジタル音声データの処理を行う音声信号処理方法において、
    入力波形の周期を検出し、該周期から受信する波形を予測する波形予測ステップと、
    該予測された波形と実際に受信された波形との相関値から波形の不連続点を検出する不連続点検出ステップと、
    該不連続点が検出された場合に、該予測された波形と該実際に受信された波形とを用いて不連続点のない補正波形を生成する補正波形生成ステップと、
    を備えることを特徴とする音声信号処理方法。
13. 前記入力波形の周期は、該入力波形の自己相関値が所定値以上であることを検出することによって検出されることを特徴とする請求項１２に記載の音声信号処理方法。
14. 前記自己相関値は、前記入力波形の略一周期について演算することを特徴とする請求項１３に記載の音声信号処理方法。
15. 前記これから受信する波形の予測は、予測すべき波形の一周期前の波形を予測波形として行うことを特徴とする請求項１２に記載の音声信号処理方法。
16. 前記不連続点の検出は、不連続点が存在するか否かを判断すべきサンプル点の前後数サンプル点について、前記予測された波形と前記実際に受信された波形との相関値を演算することによって得られることを特徴とする請求項１２に記載の音声信号処理方法。
17. 前記補正波形は、前記予測された波形のサンプル値と前記実際に受信された波形のサンプル値について重み付け補間演算を行うことにより生成されることを特徴とする請求項１２に記載の音声信号処理方法。
18. 前記重み付け補間演算は、前記予測された波形のサンプル値にオフセット量を加えて行われ、前記補正波形と過去に実際に受信された波形とが連続的に接続されることを特徴とする請求項１７に記載の音声信号処理方法。
19. 前記オフセット量は、前記入力波形の周期から割り出される２つのサンプル値に基づいて演算されることを特徴とする請求項１８に記載の音声信号処理方法。
20. 前記通信ネットワークは、音声信号をパケット交換方式により伝送することを特徴とする請求項１２に記載の音声信号処理方法。
21. 前記通信ネットワークは、ＡＴＭ網あるいはＩＰ網であることを特徴とする請求項２０に記載の音声信号処理方法。
22. 前記デジタル音声データは、リニアＰＣＭデータであることを特徴とする請求項１２に記載の音声信号処理方法。

Images