JP4269364B2 - 信号処理方法及び装置、並びに帯域幅拡張方法及び装置 - Google Patents
信号処理方法及び装置、並びに帯域幅拡張方法及び装置 Download PDFInfo
- Publication number
- JP4269364B2 JP4269364B2 JP30430198A JP30430198A JP4269364B2 JP 4269364 B2 JP4269364 B2 JP 4269364B2 JP 30430198 A JP30430198 A JP 30430198A JP 30430198 A JP30430198 A JP 30430198A JP 4269364 B2 JP4269364 B2 JP 4269364B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- overflow
- gain
- sample
- band
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、主系統の信号に従系統の信号を加算する信号処理方法及び装置、並びに狭帯域信号もしくはこれを合成することが可能なパラメータから帯域外成分を推測して上記狭帯域信号に加算し帯域幅を拡張する帯域幅拡張方法及び装置に関する。
【０００２】
【従来の技術】
ディジタル信号処理のオーバーフロー防止策は、最大値にクリップさせる方法、信号全体のゲインを調節してオーバーフローをさせない方法などがある。
【０００３】
しかし、主従関係のある信号同士の加算においてオーバーフローが生じた場合、従となる信号を全く無くしても主となる信号は変化させたくないという要求のある場合に、これらのオーバーフロー防止策は適さない。
【０００４】
一方で、周波数帯域幅が３００Ｈｚ〜３４００Ｈｚであるパーソナル・デジタル・セルラー（ＰＤＣ）方式による自動車／携帯電話の音声コーデックであるベクトル和励起線形予測（Vector Sum Excited Linear Prediction：ＶＳＥＬＰ）符号化、ピッチ同期雑音励振源−符号励起線形予測（Pitch Synchronus Innovation−Code Exited Linear Prediction：ＰＳＩ−ＣＥＬＰ）符号化方式の音声を、受信側において帯域外の信号成分を推定し、３００Ｈｚ〜６０００Ｈｚ程度に広帯域化する技術がある。この技術では、伝送帯域幅外の信号を合成し、原音声信号である狭帯域信号に加算している。
【０００５】
【発明が解決しようとする課題】
ところで、上記帯域幅拡張技術のような場合、加算によるオーバーフローが生じることがあるが、主となる信号はあくまでも原信号であるので必要である。一方、伝送帯域外の成分は、オーバーフローによる異音を生じさせてまで必要なものではない。
【０００６】
そこで、従来のように最大値にクリップさせ異音を生じさせたり、信号全体を調整しパワーの変動を感じさせることは好ましくなく、別のオーバーフロー防止策が望まれる。
【０００７】
本発明は、上記実情に鑑みてなされたものであり、あくまで従系統の信号のみを調整することによってオーバーフローを防止できる信号処理方法及び装置の提供を目的とする。
【０００８】
また、主系統である低域側信号を変化させないでオーバーフローを防止でき、かつ帯域幅を拡張できるので聴感上の自然さを向上できる帯域幅拡張方法及び装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る信号処理方法は、上記課題を解決するために、狭帯域の主系統の信号に、該狭帯域外の帯域の従系統の信号を加算する信号処理方法において、上記従系統の信号を主系統の信号に加算する前に、その加算量から判断できるオーバーフローの有無に基づいて、予め上記従系統の信号の当該サンプル及びそのサンプル以降のゲインを調整し、オーバーフロー有を判断したら、上記従系統信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻す。
【００１０】
また、本発明に係る信号処理装置は、上記課題を解決するために、狭帯域の主系統の信号に、該狭帯域外の帯域の従系統の信号を加算する信号処理装置において、上記従系統の信号を主系統の信号に加算する加算手段と、上記加算手段からの加算量から判断できるオーバーフローの有無を検出するオーバーフロー検出手段と、上記オーバーフロー検出手段からの検出結果に基づいて上記従系統の信号の当該サンプル及びそのサンプル以降のためのゲインを調整するゲイン調整手段と、上記ゲイン調整手段からの調整ゲインを上記従系統の信号の当該サンプル及びそのサンプル以降に乗算する乗算手段とを備え、上記オーバーフロー検出手段が上記オーバーフロー有を判断したら、上記ゲイン調整手段は上記従系統信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻す。
【００１１】
また、本発明に係る帯域拡張方法は、上記課題を解決するために、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法において、上記帯域外成分を上記狭帯域信号に加算する前に、その加算量から判断できるオーバーフローの有無に基づいて、予め上記帯域外成分のゲインを調整し、オーバーフロー有を判断したら、上記帯域外成分の信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻す。
【００１２】
また、本発明に係る帯域拡張装置は、上記課題を解決するために、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張装置において、上記帯域外成分を上記狭帯域信号に加算する加算手段と、上記加算手段からの加算量から判断できるオーバーフローの有無を検出するオーバーフロー検出手段と、上記オーバーフロー検出手段からの検出結果に基づいて上記帯域外成分の当該サンプル及びそのサンプル以降のためのゲインを調整するゲイン調整手段と、上記ゲイン調整手段からの調整ゲインを上記帯域外成分の当該サンプル及びそのサンプル以降に乗算する乗算手段とを備え、上記オーバーフロー検出手段がオーバーフロー有を判断したら、上記ゲイン調整手段は上記帯域外成分の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻す。
【００１３】
すなわち、本発明では、あくまでも従となる信号のみを調整することによってオーバーフローを防止する。さらに、当該サンプル後の信号についても演算量を大きく増加させることなく調整を行うことで自然さを得る。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。この実施の形態は、本発明に係る帯域幅拡張方法を用いながら、入力された狭帯域音声の帯域幅を拡張する音声帯域幅拡張装置である。この帯域幅拡張装置が用いる帯域幅拡張方法は、狭帯域信号を合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法であり、上記帯域外成分を上記狭帯域信号に加算する前に、その加算量から判断できるオーバーフローの有無に基づいて、予め上記帯域外成分のゲインを調整するというものである。
【００１５】
なお、音声帯域幅拡張装置は、ディジタル携帯電話装置に適用される。先ず、このディジタル携帯電話装置の構成について図１を参照しながら説明しておく。ここでは、送信機側と受信機側を別々に記しているが、実際には一つの携帯電話装置内にまとめて内蔵されている。
【００１６】
送信機側では、マイクロホン１から入力された音声信号を、Ａ／Ｄ変換器２によりディジタル信号に変換し、音声符号化器３により符号化してから送信器４で出力ビットに送信処理を施し、アンテナ５から送信する。
【００１７】
このとき、音声符号化器３は、伝送路により制限される狭帯域化を考慮した符号化パラメータを送信器４に供給する。例えば、符号化パラメータとしては、励振源に関するパラメータや、線形予測係数αがある。
【００１８】
また、受信機側では、アンテナ６で捉えた電波を、受信器７で受信する。そして、音声復号化器８で上記符号化パラメータを復号し、音声帯域幅拡張装置９で上記復号化パラメータを用いて音声を拡張する。その後、Ｄ／Ａ変換器１０でアナログ音声信号に戻して、スピーカ１１から出力する。
【００１９】
このディジタル携帯電話装置における、上記音声帯域幅拡張装置９の具体例を図２に示す。この図２に示す音声帯域幅拡張装置９は、上記ディジタル携帯電話装置の送信側の音声符号化器３から送られてきた符号化パラメータを用いて音声の帯域幅を拡張する。
【００２０】
上記符号化パラメータは音声復号化器８により復号される。送信機側の音声符号器３での符号化方法がＰＳＩ−ＣＥＬＰ（Pitch Synchronus Innovation - CELP：ピッチ同期雑音励振源−ＣＥＬＰ）符号化方式によるものであるとすれば、この音声復号化器８での復号化方法もＰＳＩ−ＣＥＬＰによる。
【００２１】
音声復号化器８で復号された、上記符号化パラメータの内の第１の符号化パラメータである励振源に関するパラメータは、ゼロ詰め部１２に供給される。また、上記符号化パラメータの内の第２の符号化パラメータである線形予測係数αはα→ｒ（線形予測係数→自己相関）変換回路１３に供給される。また、復号された信号はＶ／ＵＶ判定回路１４に供給される。
【００２２】
また、音声帯域幅拡張装置９は、ゼロ詰め部１２と、α→ｒ変換回路１３と、Ｖ／ＵＶ判定回路１４の他、広帯域有声音及び無声音から抽出した有声音用及び無声音用パラメータを用いて予め作成されている広帯域有声音用コードブック１５と広帯域無声音用コードブック１６とを備える。
【００２３】
さらに、この音声帯域幅拡張装置９は、広帯域有声音用コードブック１５と広帯域無声音用コードブック１６内の各コードベクトルを部分抽出して狭帯域パラメータを求める部分抽出回路１７及び部分抽出回路１８と、α→ｒ変換回路１３からの狭帯域有声音用自己相関を部分抽出回路１７からの狭帯域パラメータを用いて量子化する狭帯域有声音用量子化器１９と、上記α→ｒ変換回路１３からの狭帯域無声音用自己相関を部分抽出回路１８からの狭帯域パラメータを用いて量子化する狭帯域無声音用量子化器２０と、狭帯域有声音用量子化器１９からの狭帯域有声音用量子化データを広帯域有声音用コードブック１５を用いて逆量子化する広帯域有声音用逆量子化器２１と、狭帯域無声音用量子化器２０からの狭帯域無声音用量子化データを広帯域無声音用コードブック１６を用いて逆量子化する広帯域無声音用逆量子化器２２と、広帯域有声音用逆量子化器２１からの逆量子化データとなる広帯域有声音用自己相関を広帯域有声音用の線形予測係数に変換すると共に広帯域無声音用逆量子化器２２からの逆量子化データとなる広帯域無声音用自己相関を広帯域無声音用の線形予測係数に変換する自己相関→線形予測係数（ｒ→α）変換回路２３と、このｒ→α変換回路２３からの広帯域有声音用線形予測係数と広帯域無声音用線形予測係数とゼロ詰め部１２からの励振源とに基づいて広帯域音声を合成するＬＰＣ合成回路２４とを備えてなる。
【００２４】
また、この音声帯域幅拡張装置９は、音声復号化器８で復号化された狭帯域音声データのサンプリング周波数を８ｋＨｚから１６ｋＨｚにオーバーサンプリングするアップサンプル回路２５と、ＬＰＣ合成回路２４からの合成出力から入力狭帯域音声データの周波数帯域３００Ｈｚ〜３４００Ｈｚの信号成分を除去するバンドストップフィルタ（ＢＳＦ）２５と、このＢＳＦ２５からの３４００Ｈｚ以上の高い周波数成分を抑圧する高域抑圧フィルタ２６と、この高域抑圧フィルタ２６からのフィルタ出力にアップサンプル回路２５からのサンプリング周波数１６ｋＨｚの周波数帯域３００Ｈｚ〜３４００Ｈｚの元の狭帯域音声データ成分を加算する加算器２７とを備えている。
【００２５】
さらに、この帯域幅拡張装置９は、高域抑圧フィルタ２６と加算器２７との間に、本発明の信号処理方法に従って動作するオーバーフロー防止部２９を備える。このオーバーフロー防止部２９は、上記符号化パラメータを復号したパラメータを使ってＬＰＣ合成により得られた広帯域信号から３００〜３４００Ｈｚが除去された従系統の信号と、音声復号化器８で復号され、かつアップサンプル回路２５でアップサンプルされた狭帯域音声信号３００〜３４００Ｈｚとなる主系統の信号を加算器２７で加算する前に、その加算量から判断できるオーバーフローの有無に基づいて、予め上記従系統の信号のゲインを調整し、オーバーフローを防止するものである。
【００２６】
このためオーバーフロー防止部２９は、加算器２７の加算量からオーバーフローの有無を検出するオーバーフロー検出部３０と、このオーバーフロー検出部３０からの検出結果に基づいてゲインを調整するゲイン調整部３１と、このゲイン調整部３１で調整されたゲインを上記従系統の信号に乗算する乗算器３２とを備える。
【００２７】
オーバーフロー防止部２９は、オーバーフロー有を判断したら、上記従系統信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻す。
【００２８】
そして、出力端子２８からは、周波数帯域が３００〜７０００Ｈｚで、サンプリング周波数が１６ｋＨｚのディジタル音声信号が出力される。
【００２９】
この音声帯域幅拡張装置９は、全体的に以下のように動作する。先ず、狭帯域パラメータから広帯域パラメータを推定し、ＬＰＣ合成回路２４で広帯域音声信号を求めている。そして、その後、原音声の周波数帯域である低域側を原音声に置換する。すなわち、高域通過フィルタとしてＢＳＦ２５を用い、高域のみを残し、この高域成分の中でも高い周波数成分を高域抑圧フィルタ２６で抑圧し、さらにオーバーフロー防止部２９でゲインを調整し、原音声に加算している。
【００３０】
広帯域パラメータの推定は、αの広帯域化、励振源の広帯域化の二つが必要である。また、αの広帯域化には、αと相互に変換可能なパラメータである自己相関ｒによるコードブックを予め作成しておく必要がある。このコードブックによる量子化、逆量子化によって自己相関ｒが広帯域化される。
【００３１】
先ず、αの広帯域化について説明する。αはスペクトル包絡を表すフィルタ係数であることに着目し、高域側を推定しやすい別のスペクトル包絡を表すパラメータである自己相関ｒに一旦変換し、これを広帯域化し、その後で広帯域自己相関ｒwからαwに逆変換する。拡張にはベクトル量子化を用いる。狭帯域自己相関ｒnをベクトル量子化し、そのインデックスから対応するｒwを求めればよい。
【００３２】
狭帯域自己相関と広帯域自己相関には、後述するように一定の関係が成り立つため、広帯域自己相関によるコードブックのみを用意すればよく、狭帯域自己相関をこれによりベクトル量子化でき、また逆量子化により広帯域自己相関が求まる。
【００３３】
狭帯域信号を、広帯域信号を帯域制限したものとすれば、広帯域自己相関と狭帯域自己相関には以下の（１）式に示す関係がある。
【００３４】
【数１】
【００３５】
ここで、φは自己相関、ｘnは狭帯域信号、ｘwは広帯域信号、ｈは帯域制限フィルタのインパルス応答である。
【００３６】
さらに、自己相関とパワースペクトルの関係から、次の（２）式が得られる。
【００３７】
【数２】
【００３８】
この帯域制限フィルタのパワー特性と等しい周波数特性を持つ、もう一つの帯域制限フィルタを考え、これをＨ’とすれば、上記（２）式は、次の（３）式のようになる。
【００３９】
【数３】
【００４０】
この新たなフィルタの通過域、阻止域は当初の帯域制限フィルタと同等であり、減衰特性が２乗となる。したがって、この新たなフィルタもまた、帯域制限フィルタといえる。これを考慮すると、狭帯域自己相関は、広帯域自己相関と帯域制限のフィルタのインパルス応答との畳み込み、すなわち広帯域自己相関を帯域制限したものと単純化される。すなわち、次の（４）式となる。
【００４１】
【数４】
【００４２】
以上より、狭帯域自己相関をベクトル量子化するにあたっては、広帯域コードブックのみを用意すれば、量子化時に必要な狭帯域ベクトルは演算により作成が可能であり、狭帯域自己相関から予めコードブックを用意しておく必要がない。
【００４３】
さらに、各ｒwコードベクタは単調減少もしくはなだらかに増減するカーブを持つために、Ｈ’により低域通過させても大きな変化がなく、ｒn量子化は、直接ｒwコードブックで行える。ただし、サンプリング周波数が１／２のため、１次おきに比較する必要がある。
【００４４】
αの拡張は有声音（Ｖ）と無声音（ＵＶ）に分けることによって、さらに精度良い拡張が可能であるため、これも行っている。これに伴いコードブックもＶ用、ＵＶ用の二つを用いている。
【００４５】
次に、励振源の拡張について説明する。ＰＳＩ−ＣＥＬＰにおいては狭帯域での励振源を、ゼロ詰め部１２でゼロ値を挿入することでアップサンプルし、エイリアシング歪みを発生させたものを用いる。この方法は非常に単純であるが、元の音声のパワーや調波構造の差分が保存されるので、励振源としては十分な品質であるといえる。
【００４６】
そして、以上で得られた広帯域αと広帯域励振源によりＬＰＣ合成回路２４でＬＰＣ合成を行う。
【００４７】
また、広帯域ＬＰＣ合成された音声は、このままでは品質が悪いので、低域側はコーデック出力のオリジナル音声ＳＮＤNで置換する。このために、合成音のうち３．４ＫＨｚ以上を抽出し、一方でコーデック出力をｆs＝１６ＫＨｚにアップサンプルし、これらを加算する。
【００４８】
このとき、好みに応じ、高域側ゲインを調整可能としている。ユーザ毎の個人差が大きいため、この値を可変にしている。高域側ゲインの値をユーザからの入力により予め設定しておき、この値を参照し、乗算を行う。
【００４９】
また、加算前に高域側に対し、約６ＫＨｚ以上の成分を若干抑圧するフィルタを施すことで、聴きやすい音にしている。このフィルタ係数を選択可能とし、予め選択されたフィルタにより処理を行うことで、好みに応じ高域側の周波数帯域を選択可能とした。このフィルタの選択もユーザの入力により設定する。以上により広帯域音声が得られる。
【００５０】
合成された高域信号を原信号である低域信号に加算する際、特にゲインを大きな値にしている場合、オーバーフローが起きることがある。オーバーフローは好ましくなく、従来、この防止法として最大値にクリップさせたり、信号全体のパワーを調整する等の対策が考えられた。しかし、帯域拡張のようなアプリケーションにおいては、これらも好ましくない。できる限り低域信号をそのまま保存したい。
【００５１】
このため、図２に示した音声帯域幅拡張装置９では上述したようにオーバーフロー防止部２９を用いてオーバーフローを防止している。低域と高域の加算演算中、オーバーフローが起こった場合、そのサンプルは高域ゲインをオーバーフローが起きないレベルまで下げた後に加算を行う。ただし、演算量削減のため、オーバーフローの起きたサンプルでは高域ゲインを０にするなどしても良い。これにより、当該サンプルのオーバーフローは回避される。
【００５２】
しかしながら、当該サンプルのみの処理では、高域ゲインが１サンプル毎に変化することになり、不自然である。そこで、次サンプル以降はオーバーフローが起きていなくても、一気に設定ゲインまで戻すのではなく、オーバーフローの起きない範囲で、設定ゲインまで戻す。以上の処理は、このゲイン上昇処理中にオーバーフローが起きた場合にも適用される。
【００５３】
次に、この音声帯域幅拡張装置９の詳細な動作について図３のフローチャートを用いて説明する。
【００５４】
ステップＳ１でα→ｒ変換回路１３は、音声復号化器８でデコードされた線形予測係数αを自己相関ｒに変換する。また、音声復号化器８でデコードされた信号はステップＳ２でＶ／ＵＶ判定回路１４により解読され、Ｖ／ＵＶの判別が行われる。
【００５５】
このステップＳ２で有声音／無声音判定フラグがＶと判定されると、α→ｒ変換回路１３からの出力を切り替えるスイッチＳＷは、狭帯域有声音量子化回路１９に接続する。また、ＵＶと判定されるとスイッチＳＷは、α→ｒ変換回路１３からの出力を狭帯域無声音量子化回路２０に接続する。
【００５６】
Ｖ／ＵＶ判定回路１４が上記有声音／無声音判定フラグをＶと判定したとき、ステップＳ４ではスイッチＳＷからの有声音用自己相関ｒを狭帯域Ｖ量子化回路１９に供給して、量子化する。この量子化は上述したように部分抽出回路１７によりステップＳ３で求めた狭帯域Ｖ用パラメータを用いる。
【００５７】
一方、Ｖ／ＵＶ判定回路１４が上記有声音／無声音判定フラグをＵＶと判定したときには、ステップＳ３では、スイッチＳＷからの無声音用自己相関ｒを狭帯域ＵＶ量子化回路２０に供給して量子化するが、ここでも、部分抽出回路１８で演算により求めた狭帯域ＵＶ用パラメータを用いて量子化する。
【００５８】
そして、ステップＳ５でそれぞれ対応する広帯域Ｖ逆量子化回路２１又は広帯域ＵＶ逆量子化回路２２により広帯域Ｖコードブック１５又は広帯域ＵＶコードブック１６を用いて逆量子化し、これにより広帯域自己相関が得られる。
【００５９】
そして、広帯域自己相関はステップＳ６でｒ→α変換回路２３によりαに変換される。
【００６０】
一方で、音声復号化器８からの励振源に関するパラメータは、ステップＳ７でゼロ詰め部１２によりサンプル間にゼロが詰められることでアップサンプルされ、エイリアシングにより広帯域化される。そして、これが広帯域励振源として、ＬＰＣ合成回路２４に供給される。
【００６１】
そして、ステップＳ８で、ＬＰＣ合成回路２４が広帯域αと広帯域励振源とを、ＬＰＣ合成し、広帯域の音声信号が得られる。
【００６２】
しかし、このままでは予測によって求められた広帯域信号にすぎず、予測による誤差が含まれているので品質が悪い。特に入力狭帯域音声の周波数範囲に関しては、コーデック出力のオリジナル音声ＳＮＤN（入力音声）をそのまま利用したほうが良い。
【００６３】
したがって、ＬＰＣ合成回路２４からの合成音のうち、入力狭帯域音声の周波数範囲３００〜３４００ＨｚをステップＳ９でＢＳＦ２５を用いたフィルタリングにより除去する。
【００６４】
そして、ステップＳ１０でアップサンプル回路２５により上記オリジナル音声ＳＮＤNをアップサンプルしたものと、ステップＳ１３で加算器２７により加算する。このとき、上述したように、ユーザの好みに応じて高域側ゲインを調整可能としている。
【００６５】
また、加算前にステップＳ１１高域側に対し、約６ＫＨｚ以上の成分を若干抑圧する高域抑圧フィルタ２６によりフィルタリングを施すことで、聴きやすい音にしている。このフィルタ係数は選択可能としている。
【００６６】
さらに、ステップＳ１２では、オーバーフロー防止部２９によりオーバーフローを防止している。低域と高域の加算演算中、オーバーフローが起こった場合、そのサンプルは高域ゲインをオーバーフローが起きないレベルまで下げた後に加算を行う。
【００６７】
この信号処理部２９での処理の流れを図４，図５に示す。高域ゲインの初期値として、Gainが設定されているとする。このGainを図４に示すように変数Ｇにコピーしておく。
【００６８】
図５は各サンプルに対して適用される。図５に示すように、通常このＧはGainと均しいため、ステップＳ２１ではｙと判断され、ステップＳ２３に進んでＧはそのまま高域信号に乗じられ、加算器２７で低域信号に加算された後、出力端子２８から広帯域音声信号として出力される。しかし、ステップＳ２４でオーバーフローが起きた場合、すなわちオーバーフロー検出回路３０でオーバーフローを検出したときには、ステップＳ２５でゲイン調整回路３１によりＧはゼロにされ、乗算器３２で高域信号が０にされるので、加算器２７からは低域信号がそのまま出力される。ここで、変更されたＧは次サンプル以降も有効である。ＧがステップＳ２１でGainより小さいとき、Gainを超えない範囲でステップＳ２２によりＧを増加させ、結果として徐々にGainまで戻ることになるが、このＧ増加区間中にステップＳ２４でオーバーフローが起きた場合は、またＧがゼロに戻される。
【００６９】
なおここで、音声帯域幅拡張装置９で用いる、コードブックの作成について説明する。
【００７０】
コードブックの作成は一般によく知られたＧＬＡ(Generalized Lloyd Algorithm)による方法である。広帯域音声を一定時間、例えば２０msecごとのフレームに区切り、そのフレーム毎に、一定次例えば６次までの自己相関を求めておく。このフレーム毎の自己相関をトレーニングデータとし、６次元のコードブックを作成する。このとき、有声音、無声音の区別を行い、有声音の自己相関、無声音の自己相関を別々に集め、それぞれのコードブックを作成してもよい。この場合、帯域拡張処理中αの拡張時、コードブックを参照するが、このときにも有声音、無声音の判別を行い、対応するコードブックを利用する。
【００７１】
音声帯域幅拡張装置９では、広帯域有声音用コードブック１２と広帯域無声音用コードブック１４を用いているが、図６及び図７を参照しながらその作成について詳細に説明する。
【００７２】
先ず、広帯域音声信号を学習用に用意し、ステップＳ３１で１フレーム２０msecにフレーミングする。次に、ステップＳ３２で各フレームにおいて、例えばフレームエネルギーやゼロクロスの値等を調べることによって有声音（Ｖ）か無声音（ＵＶ）かの分類を行う。
【００７３】
そして、ステップＳ３３で広帯域有声音フレームにおいて、例えば６次までの自己相関パラメータｒを計算する。また、ステップＳ３４では広帯域無声音フレームにおける、例えば６次までの自己相関パラメータｒを求める。
【００７４】
この各フレームの６次の自己相関パラメータから、図７のステップＳ４１で広帯域パラメータを抽出し、ＧＬＡにより次元６の広帯域Ｖ（ＵＶ）コードブックをステップＳ４２で作成する。
【００７５】
以上、本発明によれば、あくまで従となる高域信号のみを調整することによってオーバーフローを防止する。さらに、当該サンプル後の信号についても演算量を大きく増加させることなく調整を行うので自然さを得ることができる。
【００７６】
なお、本発明は低域から高域を予測するものだけに限定するものではない。また、音声信号の帯域拡張に限定するものではない。
【００７７】
また、本発明に係る信号処理方法及び装置は、帯域幅拡張処理にのみ適用されるものではなく、主系統の信号に従系統の信号を加算するときに発生するオーバーフローを防止したいときに、主系統の信号である原信号を変化させたくない場合に有効である。もちろん、音声信号の加算処理のみに適用するだけでなく、映像信号の加算処理等にも適用できる。
【００７８】
【発明の効果】
本発明の信号処理方法及び装置は、あくまで従系統の信号のみを調整することによってオーバーフローを防止できるので、主系統の信号の特徴を生かすことができる。
【００７９】
また、本発明の帯域幅拡張方法及び装置は、主系統である低域側信号を変化させないでオーバーフローを防止でき、かつ帯域幅を拡張できるので聴感上の自然さを向上することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態となる音声帯域幅拡張装置が適用されるディジタル携帯電話装置のブロック図である。
【図２】上記音声帯域幅拡張装置のブロック図である。
【図３】上記音声帯域幅拡張装置の動作を説明するためのフローチャートである。
【図４】オーバーフローを防止する信号処理部の動作を説明するためのフローチャートである。
【図５】オーバーフローを防止するオーバーフロー防止部の動作を説明するための他のフローチャートである。
【図６】上記音声帯域幅拡張装置で用いられるコードブックに使われるトレーニングデータ生成処理を説明するためのフローチャートである。
【図７】上記コードブックの生成を説明するためのフローチャートである。
【符号の説明】
８ 音声復号化器、９ 音声帯域幅拡張装置、１２ ゼロ詰め部、１３ 線形予測係数→自己相関（α→ｒ）変換回路、１４ 有声音Ｖ／無声音ＵＶ判定回路、１５ 広帯域有声音用コードブック、１６ 広帯域無声音用コードブック、１７ 部分抽出回路、１８ 部分抽出回路、１９ 狭帯域有声音用量子化器、２０狭帯域無声音用量子化器、２１ 広帯域有声音用逆量子化器、２２ 広帯域無声音用逆量子化器、２３ 自己相関→線形予測係数（ｒ→α）変換回路、２４ ＬＰＣ合成回路、２５ バンドストップフィルタ（ＢＳＦ）、２６ 高域抑圧フィルタ、２７ 加算器、２９ オーバーフロー防止部、３０ オーバーフロー検出回路、３１ ゲイン調整回路、３２ 乗算器
【発明の属する技術分野】
本発明は、主系統の信号に従系統の信号を加算する信号処理方法及び装置、並びに狭帯域信号もしくはこれを合成することが可能なパラメータから帯域外成分を推測して上記狭帯域信号に加算し帯域幅を拡張する帯域幅拡張方法及び装置に関する。
【０００２】
【従来の技術】
ディジタル信号処理のオーバーフロー防止策は、最大値にクリップさせる方法、信号全体のゲインを調節してオーバーフローをさせない方法などがある。
【０００３】
しかし、主従関係のある信号同士の加算においてオーバーフローが生じた場合、従となる信号を全く無くしても主となる信号は変化させたくないという要求のある場合に、これらのオーバーフロー防止策は適さない。
【０００４】
一方で、周波数帯域幅が３００Ｈｚ〜３４００Ｈｚであるパーソナル・デジタル・セルラー（ＰＤＣ）方式による自動車／携帯電話の音声コーデックであるベクトル和励起線形予測（Vector Sum Excited Linear Prediction：ＶＳＥＬＰ）符号化、ピッチ同期雑音励振源−符号励起線形予測（Pitch Synchronus Innovation−Code Exited Linear Prediction：ＰＳＩ−ＣＥＬＰ）符号化方式の音声を、受信側において帯域外の信号成分を推定し、３００Ｈｚ〜６０００Ｈｚ程度に広帯域化する技術がある。この技術では、伝送帯域幅外の信号を合成し、原音声信号である狭帯域信号に加算している。
【０００５】
【発明が解決しようとする課題】
ところで、上記帯域幅拡張技術のような場合、加算によるオーバーフローが生じることがあるが、主となる信号はあくまでも原信号であるので必要である。一方、伝送帯域外の成分は、オーバーフローによる異音を生じさせてまで必要なものではない。
【０００６】
そこで、従来のように最大値にクリップさせ異音を生じさせたり、信号全体を調整しパワーの変動を感じさせることは好ましくなく、別のオーバーフロー防止策が望まれる。
【０００７】
本発明は、上記実情に鑑みてなされたものであり、あくまで従系統の信号のみを調整することによってオーバーフローを防止できる信号処理方法及び装置の提供を目的とする。
【０００８】
また、主系統である低域側信号を変化させないでオーバーフローを防止でき、かつ帯域幅を拡張できるので聴感上の自然さを向上できる帯域幅拡張方法及び装置の提供を目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る信号処理方法は、上記課題を解決するために、狭帯域の主系統の信号に、該狭帯域外の帯域の従系統の信号を加算する信号処理方法において、上記従系統の信号を主系統の信号に加算する前に、その加算量から判断できるオーバーフローの有無に基づいて、予め上記従系統の信号の当該サンプル及びそのサンプル以降のゲインを調整し、オーバーフロー有を判断したら、上記従系統信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻す。
【００１０】
また、本発明に係る信号処理装置は、上記課題を解決するために、狭帯域の主系統の信号に、該狭帯域外の帯域の従系統の信号を加算する信号処理装置において、上記従系統の信号を主系統の信号に加算する加算手段と、上記加算手段からの加算量から判断できるオーバーフローの有無を検出するオーバーフロー検出手段と、上記オーバーフロー検出手段からの検出結果に基づいて上記従系統の信号の当該サンプル及びそのサンプル以降のためのゲインを調整するゲイン調整手段と、上記ゲイン調整手段からの調整ゲインを上記従系統の信号の当該サンプル及びそのサンプル以降に乗算する乗算手段とを備え、上記オーバーフロー検出手段が上記オーバーフロー有を判断したら、上記ゲイン調整手段は上記従系統信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻す。
【００１１】
また、本発明に係る帯域拡張方法は、上記課題を解決するために、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法において、上記帯域外成分を上記狭帯域信号に加算する前に、その加算量から判断できるオーバーフローの有無に基づいて、予め上記帯域外成分のゲインを調整し、オーバーフロー有を判断したら、上記帯域外成分の信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻す。
【００１２】
また、本発明に係る帯域拡張装置は、上記課題を解決するために、狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張装置において、上記帯域外成分を上記狭帯域信号に加算する加算手段と、上記加算手段からの加算量から判断できるオーバーフローの有無を検出するオーバーフロー検出手段と、上記オーバーフロー検出手段からの検出結果に基づいて上記帯域外成分の当該サンプル及びそのサンプル以降のためのゲインを調整するゲイン調整手段と、上記ゲイン調整手段からの調整ゲインを上記帯域外成分の当該サンプル及びそのサンプル以降に乗算する乗算手段とを備え、上記オーバーフロー検出手段がオーバーフロー有を判断したら、上記ゲイン調整手段は上記帯域外成分の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻す。
【００１３】
すなわち、本発明では、あくまでも従となる信号のみを調整することによってオーバーフローを防止する。さらに、当該サンプル後の信号についても演算量を大きく増加させることなく調整を行うことで自然さを得る。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。この実施の形態は、本発明に係る帯域幅拡張方法を用いながら、入力された狭帯域音声の帯域幅を拡張する音声帯域幅拡張装置である。この帯域幅拡張装置が用いる帯域幅拡張方法は、狭帯域信号を合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法であり、上記帯域外成分を上記狭帯域信号に加算する前に、その加算量から判断できるオーバーフローの有無に基づいて、予め上記帯域外成分のゲインを調整するというものである。
【００１５】
なお、音声帯域幅拡張装置は、ディジタル携帯電話装置に適用される。先ず、このディジタル携帯電話装置の構成について図１を参照しながら説明しておく。ここでは、送信機側と受信機側を別々に記しているが、実際には一つの携帯電話装置内にまとめて内蔵されている。
【００１６】
送信機側では、マイクロホン１から入力された音声信号を、Ａ／Ｄ変換器２によりディジタル信号に変換し、音声符号化器３により符号化してから送信器４で出力ビットに送信処理を施し、アンテナ５から送信する。
【００１７】
このとき、音声符号化器３は、伝送路により制限される狭帯域化を考慮した符号化パラメータを送信器４に供給する。例えば、符号化パラメータとしては、励振源に関するパラメータや、線形予測係数αがある。
【００１８】
また、受信機側では、アンテナ６で捉えた電波を、受信器７で受信する。そして、音声復号化器８で上記符号化パラメータを復号し、音声帯域幅拡張装置９で上記復号化パラメータを用いて音声を拡張する。その後、Ｄ／Ａ変換器１０でアナログ音声信号に戻して、スピーカ１１から出力する。
【００１９】
このディジタル携帯電話装置における、上記音声帯域幅拡張装置９の具体例を図２に示す。この図２に示す音声帯域幅拡張装置９は、上記ディジタル携帯電話装置の送信側の音声符号化器３から送られてきた符号化パラメータを用いて音声の帯域幅を拡張する。
【００２０】
上記符号化パラメータは音声復号化器８により復号される。送信機側の音声符号器３での符号化方法がＰＳＩ−ＣＥＬＰ（Pitch Synchronus Innovation - CELP：ピッチ同期雑音励振源−ＣＥＬＰ）符号化方式によるものであるとすれば、この音声復号化器８での復号化方法もＰＳＩ−ＣＥＬＰによる。
【００２１】
音声復号化器８で復号された、上記符号化パラメータの内の第１の符号化パラメータである励振源に関するパラメータは、ゼロ詰め部１２に供給される。また、上記符号化パラメータの内の第２の符号化パラメータである線形予測係数αはα→ｒ（線形予測係数→自己相関）変換回路１３に供給される。また、復号された信号はＶ／ＵＶ判定回路１４に供給される。
【００２２】
また、音声帯域幅拡張装置９は、ゼロ詰め部１２と、α→ｒ変換回路１３と、Ｖ／ＵＶ判定回路１４の他、広帯域有声音及び無声音から抽出した有声音用及び無声音用パラメータを用いて予め作成されている広帯域有声音用コードブック１５と広帯域無声音用コードブック１６とを備える。
【００２３】
さらに、この音声帯域幅拡張装置９は、広帯域有声音用コードブック１５と広帯域無声音用コードブック１６内の各コードベクトルを部分抽出して狭帯域パラメータを求める部分抽出回路１７及び部分抽出回路１８と、α→ｒ変換回路１３からの狭帯域有声音用自己相関を部分抽出回路１７からの狭帯域パラメータを用いて量子化する狭帯域有声音用量子化器１９と、上記α→ｒ変換回路１３からの狭帯域無声音用自己相関を部分抽出回路１８からの狭帯域パラメータを用いて量子化する狭帯域無声音用量子化器２０と、狭帯域有声音用量子化器１９からの狭帯域有声音用量子化データを広帯域有声音用コードブック１５を用いて逆量子化する広帯域有声音用逆量子化器２１と、狭帯域無声音用量子化器２０からの狭帯域無声音用量子化データを広帯域無声音用コードブック１６を用いて逆量子化する広帯域無声音用逆量子化器２２と、広帯域有声音用逆量子化器２１からの逆量子化データとなる広帯域有声音用自己相関を広帯域有声音用の線形予測係数に変換すると共に広帯域無声音用逆量子化器２２からの逆量子化データとなる広帯域無声音用自己相関を広帯域無声音用の線形予測係数に変換する自己相関→線形予測係数（ｒ→α）変換回路２３と、このｒ→α変換回路２３からの広帯域有声音用線形予測係数と広帯域無声音用線形予測係数とゼロ詰め部１２からの励振源とに基づいて広帯域音声を合成するＬＰＣ合成回路２４とを備えてなる。
【００２４】
また、この音声帯域幅拡張装置９は、音声復号化器８で復号化された狭帯域音声データのサンプリング周波数を８ｋＨｚから１６ｋＨｚにオーバーサンプリングするアップサンプル回路２５と、ＬＰＣ合成回路２４からの合成出力から入力狭帯域音声データの周波数帯域３００Ｈｚ〜３４００Ｈｚの信号成分を除去するバンドストップフィルタ（ＢＳＦ）２５と、このＢＳＦ２５からの３４００Ｈｚ以上の高い周波数成分を抑圧する高域抑圧フィルタ２６と、この高域抑圧フィルタ２６からのフィルタ出力にアップサンプル回路２５からのサンプリング周波数１６ｋＨｚの周波数帯域３００Ｈｚ〜３４００Ｈｚの元の狭帯域音声データ成分を加算する加算器２７とを備えている。
【００２５】
さらに、この帯域幅拡張装置９は、高域抑圧フィルタ２６と加算器２７との間に、本発明の信号処理方法に従って動作するオーバーフロー防止部２９を備える。このオーバーフロー防止部２９は、上記符号化パラメータを復号したパラメータを使ってＬＰＣ合成により得られた広帯域信号から３００〜３４００Ｈｚが除去された従系統の信号と、音声復号化器８で復号され、かつアップサンプル回路２５でアップサンプルされた狭帯域音声信号３００〜３４００Ｈｚとなる主系統の信号を加算器２７で加算する前に、その加算量から判断できるオーバーフローの有無に基づいて、予め上記従系統の信号のゲインを調整し、オーバーフローを防止するものである。
【００２６】
このためオーバーフロー防止部２９は、加算器２７の加算量からオーバーフローの有無を検出するオーバーフロー検出部３０と、このオーバーフロー検出部３０からの検出結果に基づいてゲインを調整するゲイン調整部３１と、このゲイン調整部３１で調整されたゲインを上記従系統の信号に乗算する乗算器３２とを備える。
【００２７】
オーバーフロー防止部２９は、オーバーフロー有を判断したら、上記従系統信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻す。
【００２８】
そして、出力端子２８からは、周波数帯域が３００〜７０００Ｈｚで、サンプリング周波数が１６ｋＨｚのディジタル音声信号が出力される。
【００２９】
この音声帯域幅拡張装置９は、全体的に以下のように動作する。先ず、狭帯域パラメータから広帯域パラメータを推定し、ＬＰＣ合成回路２４で広帯域音声信号を求めている。そして、その後、原音声の周波数帯域である低域側を原音声に置換する。すなわち、高域通過フィルタとしてＢＳＦ２５を用い、高域のみを残し、この高域成分の中でも高い周波数成分を高域抑圧フィルタ２６で抑圧し、さらにオーバーフロー防止部２９でゲインを調整し、原音声に加算している。
【００３０】
広帯域パラメータの推定は、αの広帯域化、励振源の広帯域化の二つが必要である。また、αの広帯域化には、αと相互に変換可能なパラメータである自己相関ｒによるコードブックを予め作成しておく必要がある。このコードブックによる量子化、逆量子化によって自己相関ｒが広帯域化される。
【００３１】
先ず、αの広帯域化について説明する。αはスペクトル包絡を表すフィルタ係数であることに着目し、高域側を推定しやすい別のスペクトル包絡を表すパラメータである自己相関ｒに一旦変換し、これを広帯域化し、その後で広帯域自己相関ｒwからαwに逆変換する。拡張にはベクトル量子化を用いる。狭帯域自己相関ｒnをベクトル量子化し、そのインデックスから対応するｒwを求めればよい。
【００３２】
狭帯域自己相関と広帯域自己相関には、後述するように一定の関係が成り立つため、広帯域自己相関によるコードブックのみを用意すればよく、狭帯域自己相関をこれによりベクトル量子化でき、また逆量子化により広帯域自己相関が求まる。
【００３３】
狭帯域信号を、広帯域信号を帯域制限したものとすれば、広帯域自己相関と狭帯域自己相関には以下の（１）式に示す関係がある。
【００３４】
【数１】
ここで、φは自己相関、ｘnは狭帯域信号、ｘwは広帯域信号、ｈは帯域制限フィルタのインパルス応答である。
【００３６】
さらに、自己相関とパワースペクトルの関係から、次の（２）式が得られる。
【００３７】
【数２】
この帯域制限フィルタのパワー特性と等しい周波数特性を持つ、もう一つの帯域制限フィルタを考え、これをＨ’とすれば、上記（２）式は、次の（３）式のようになる。
【００３９】
【数３】
この新たなフィルタの通過域、阻止域は当初の帯域制限フィルタと同等であり、減衰特性が２乗となる。したがって、この新たなフィルタもまた、帯域制限フィルタといえる。これを考慮すると、狭帯域自己相関は、広帯域自己相関と帯域制限のフィルタのインパルス応答との畳み込み、すなわち広帯域自己相関を帯域制限したものと単純化される。すなわち、次の（４）式となる。
【００４１】
【数４】
以上より、狭帯域自己相関をベクトル量子化するにあたっては、広帯域コードブックのみを用意すれば、量子化時に必要な狭帯域ベクトルは演算により作成が可能であり、狭帯域自己相関から予めコードブックを用意しておく必要がない。
【００４３】
さらに、各ｒwコードベクタは単調減少もしくはなだらかに増減するカーブを持つために、Ｈ’により低域通過させても大きな変化がなく、ｒn量子化は、直接ｒwコードブックで行える。ただし、サンプリング周波数が１／２のため、１次おきに比較する必要がある。
【００４４】
αの拡張は有声音（Ｖ）と無声音（ＵＶ）に分けることによって、さらに精度良い拡張が可能であるため、これも行っている。これに伴いコードブックもＶ用、ＵＶ用の二つを用いている。
【００４５】
次に、励振源の拡張について説明する。ＰＳＩ−ＣＥＬＰにおいては狭帯域での励振源を、ゼロ詰め部１２でゼロ値を挿入することでアップサンプルし、エイリアシング歪みを発生させたものを用いる。この方法は非常に単純であるが、元の音声のパワーや調波構造の差分が保存されるので、励振源としては十分な品質であるといえる。
【００４６】
そして、以上で得られた広帯域αと広帯域励振源によりＬＰＣ合成回路２４でＬＰＣ合成を行う。
【００４７】
また、広帯域ＬＰＣ合成された音声は、このままでは品質が悪いので、低域側はコーデック出力のオリジナル音声ＳＮＤNで置換する。このために、合成音のうち３．４ＫＨｚ以上を抽出し、一方でコーデック出力をｆs＝１６ＫＨｚにアップサンプルし、これらを加算する。
【００４８】
このとき、好みに応じ、高域側ゲインを調整可能としている。ユーザ毎の個人差が大きいため、この値を可変にしている。高域側ゲインの値をユーザからの入力により予め設定しておき、この値を参照し、乗算を行う。
【００４９】
また、加算前に高域側に対し、約６ＫＨｚ以上の成分を若干抑圧するフィルタを施すことで、聴きやすい音にしている。このフィルタ係数を選択可能とし、予め選択されたフィルタにより処理を行うことで、好みに応じ高域側の周波数帯域を選択可能とした。このフィルタの選択もユーザの入力により設定する。以上により広帯域音声が得られる。
【００５０】
合成された高域信号を原信号である低域信号に加算する際、特にゲインを大きな値にしている場合、オーバーフローが起きることがある。オーバーフローは好ましくなく、従来、この防止法として最大値にクリップさせたり、信号全体のパワーを調整する等の対策が考えられた。しかし、帯域拡張のようなアプリケーションにおいては、これらも好ましくない。できる限り低域信号をそのまま保存したい。
【００５１】
このため、図２に示した音声帯域幅拡張装置９では上述したようにオーバーフロー防止部２９を用いてオーバーフローを防止している。低域と高域の加算演算中、オーバーフローが起こった場合、そのサンプルは高域ゲインをオーバーフローが起きないレベルまで下げた後に加算を行う。ただし、演算量削減のため、オーバーフローの起きたサンプルでは高域ゲインを０にするなどしても良い。これにより、当該サンプルのオーバーフローは回避される。
【００５２】
しかしながら、当該サンプルのみの処理では、高域ゲインが１サンプル毎に変化することになり、不自然である。そこで、次サンプル以降はオーバーフローが起きていなくても、一気に設定ゲインまで戻すのではなく、オーバーフローの起きない範囲で、設定ゲインまで戻す。以上の処理は、このゲイン上昇処理中にオーバーフローが起きた場合にも適用される。
【００５３】
次に、この音声帯域幅拡張装置９の詳細な動作について図３のフローチャートを用いて説明する。
【００５４】
ステップＳ１でα→ｒ変換回路１３は、音声復号化器８でデコードされた線形予測係数αを自己相関ｒに変換する。また、音声復号化器８でデコードされた信号はステップＳ２でＶ／ＵＶ判定回路１４により解読され、Ｖ／ＵＶの判別が行われる。
【００５５】
このステップＳ２で有声音／無声音判定フラグがＶと判定されると、α→ｒ変換回路１３からの出力を切り替えるスイッチＳＷは、狭帯域有声音量子化回路１９に接続する。また、ＵＶと判定されるとスイッチＳＷは、α→ｒ変換回路１３からの出力を狭帯域無声音量子化回路２０に接続する。
【００５６】
Ｖ／ＵＶ判定回路１４が上記有声音／無声音判定フラグをＶと判定したとき、ステップＳ４ではスイッチＳＷからの有声音用自己相関ｒを狭帯域Ｖ量子化回路１９に供給して、量子化する。この量子化は上述したように部分抽出回路１７によりステップＳ３で求めた狭帯域Ｖ用パラメータを用いる。
【００５７】
一方、Ｖ／ＵＶ判定回路１４が上記有声音／無声音判定フラグをＵＶと判定したときには、ステップＳ３では、スイッチＳＷからの無声音用自己相関ｒを狭帯域ＵＶ量子化回路２０に供給して量子化するが、ここでも、部分抽出回路１８で演算により求めた狭帯域ＵＶ用パラメータを用いて量子化する。
【００５８】
そして、ステップＳ５でそれぞれ対応する広帯域Ｖ逆量子化回路２１又は広帯域ＵＶ逆量子化回路２２により広帯域Ｖコードブック１５又は広帯域ＵＶコードブック１６を用いて逆量子化し、これにより広帯域自己相関が得られる。
【００５９】
そして、広帯域自己相関はステップＳ６でｒ→α変換回路２３によりαに変換される。
【００６０】
一方で、音声復号化器８からの励振源に関するパラメータは、ステップＳ７でゼロ詰め部１２によりサンプル間にゼロが詰められることでアップサンプルされ、エイリアシングにより広帯域化される。そして、これが広帯域励振源として、ＬＰＣ合成回路２４に供給される。
【００６１】
そして、ステップＳ８で、ＬＰＣ合成回路２４が広帯域αと広帯域励振源とを、ＬＰＣ合成し、広帯域の音声信号が得られる。
【００６２】
しかし、このままでは予測によって求められた広帯域信号にすぎず、予測による誤差が含まれているので品質が悪い。特に入力狭帯域音声の周波数範囲に関しては、コーデック出力のオリジナル音声ＳＮＤN（入力音声）をそのまま利用したほうが良い。
【００６３】
したがって、ＬＰＣ合成回路２４からの合成音のうち、入力狭帯域音声の周波数範囲３００〜３４００ＨｚをステップＳ９でＢＳＦ２５を用いたフィルタリングにより除去する。
【００６４】
そして、ステップＳ１０でアップサンプル回路２５により上記オリジナル音声ＳＮＤNをアップサンプルしたものと、ステップＳ１３で加算器２７により加算する。このとき、上述したように、ユーザの好みに応じて高域側ゲインを調整可能としている。
【００６５】
また、加算前にステップＳ１１高域側に対し、約６ＫＨｚ以上の成分を若干抑圧する高域抑圧フィルタ２６によりフィルタリングを施すことで、聴きやすい音にしている。このフィルタ係数は選択可能としている。
【００６６】
さらに、ステップＳ１２では、オーバーフロー防止部２９によりオーバーフローを防止している。低域と高域の加算演算中、オーバーフローが起こった場合、そのサンプルは高域ゲインをオーバーフローが起きないレベルまで下げた後に加算を行う。
【００６７】
この信号処理部２９での処理の流れを図４，図５に示す。高域ゲインの初期値として、Gainが設定されているとする。このGainを図４に示すように変数Ｇにコピーしておく。
【００６８】
図５は各サンプルに対して適用される。図５に示すように、通常このＧはGainと均しいため、ステップＳ２１ではｙと判断され、ステップＳ２３に進んでＧはそのまま高域信号に乗じられ、加算器２７で低域信号に加算された後、出力端子２８から広帯域音声信号として出力される。しかし、ステップＳ２４でオーバーフローが起きた場合、すなわちオーバーフロー検出回路３０でオーバーフローを検出したときには、ステップＳ２５でゲイン調整回路３１によりＧはゼロにされ、乗算器３２で高域信号が０にされるので、加算器２７からは低域信号がそのまま出力される。ここで、変更されたＧは次サンプル以降も有効である。ＧがステップＳ２１でGainより小さいとき、Gainを超えない範囲でステップＳ２２によりＧを増加させ、結果として徐々にGainまで戻ることになるが、このＧ増加区間中にステップＳ２４でオーバーフローが起きた場合は、またＧがゼロに戻される。
【００６９】
なおここで、音声帯域幅拡張装置９で用いる、コードブックの作成について説明する。
【００７０】
コードブックの作成は一般によく知られたＧＬＡ(Generalized Lloyd Algorithm)による方法である。広帯域音声を一定時間、例えば２０msecごとのフレームに区切り、そのフレーム毎に、一定次例えば６次までの自己相関を求めておく。このフレーム毎の自己相関をトレーニングデータとし、６次元のコードブックを作成する。このとき、有声音、無声音の区別を行い、有声音の自己相関、無声音の自己相関を別々に集め、それぞれのコードブックを作成してもよい。この場合、帯域拡張処理中αの拡張時、コードブックを参照するが、このときにも有声音、無声音の判別を行い、対応するコードブックを利用する。
【００７１】
音声帯域幅拡張装置９では、広帯域有声音用コードブック１２と広帯域無声音用コードブック１４を用いているが、図６及び図７を参照しながらその作成について詳細に説明する。
【００７２】
先ず、広帯域音声信号を学習用に用意し、ステップＳ３１で１フレーム２０msecにフレーミングする。次に、ステップＳ３２で各フレームにおいて、例えばフレームエネルギーやゼロクロスの値等を調べることによって有声音（Ｖ）か無声音（ＵＶ）かの分類を行う。
【００７３】
そして、ステップＳ３３で広帯域有声音フレームにおいて、例えば６次までの自己相関パラメータｒを計算する。また、ステップＳ３４では広帯域無声音フレームにおける、例えば６次までの自己相関パラメータｒを求める。
【００７４】
この各フレームの６次の自己相関パラメータから、図７のステップＳ４１で広帯域パラメータを抽出し、ＧＬＡにより次元６の広帯域Ｖ（ＵＶ）コードブックをステップＳ４２で作成する。
【００７５】
以上、本発明によれば、あくまで従となる高域信号のみを調整することによってオーバーフローを防止する。さらに、当該サンプル後の信号についても演算量を大きく増加させることなく調整を行うので自然さを得ることができる。
【００７６】
なお、本発明は低域から高域を予測するものだけに限定するものではない。また、音声信号の帯域拡張に限定するものではない。
【００７７】
また、本発明に係る信号処理方法及び装置は、帯域幅拡張処理にのみ適用されるものではなく、主系統の信号に従系統の信号を加算するときに発生するオーバーフローを防止したいときに、主系統の信号である原信号を変化させたくない場合に有効である。もちろん、音声信号の加算処理のみに適用するだけでなく、映像信号の加算処理等にも適用できる。
【００７８】
【発明の効果】
本発明の信号処理方法及び装置は、あくまで従系統の信号のみを調整することによってオーバーフローを防止できるので、主系統の信号の特徴を生かすことができる。
【００７９】
また、本発明の帯域幅拡張方法及び装置は、主系統である低域側信号を変化させないでオーバーフローを防止でき、かつ帯域幅を拡張できるので聴感上の自然さを向上することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態となる音声帯域幅拡張装置が適用されるディジタル携帯電話装置のブロック図である。
【図２】上記音声帯域幅拡張装置のブロック図である。
【図３】上記音声帯域幅拡張装置の動作を説明するためのフローチャートである。
【図４】オーバーフローを防止する信号処理部の動作を説明するためのフローチャートである。
【図５】オーバーフローを防止するオーバーフロー防止部の動作を説明するための他のフローチャートである。
【図６】上記音声帯域幅拡張装置で用いられるコードブックに使われるトレーニングデータ生成処理を説明するためのフローチャートである。
【図７】上記コードブックの生成を説明するためのフローチャートである。
【符号の説明】
８ 音声復号化器、９ 音声帯域幅拡張装置、１２ ゼロ詰め部、１３ 線形予測係数→自己相関（α→ｒ）変換回路、１４ 有声音Ｖ／無声音ＵＶ判定回路、１５ 広帯域有声音用コードブック、１６ 広帯域無声音用コードブック、１７ 部分抽出回路、１８ 部分抽出回路、１９ 狭帯域有声音用量子化器、２０狭帯域無声音用量子化器、２１ 広帯域有声音用逆量子化器、２２ 広帯域無声音用逆量子化器、２３ 自己相関→線形予測係数（ｒ→α）変換回路、２４ ＬＰＣ合成回路、２５ バンドストップフィルタ（ＢＳＦ）、２６ 高域抑圧フィルタ、２７ 加算器、２９ オーバーフロー防止部、３０ オーバーフロー検出回路、３１ ゲイン調整回路、３２ 乗算器
Claims (6)
- 狭帯域の主系統の信号に、該狭帯域外の帯域の従系統の信号を加算する信号処理方法において、
上記従系統の信号を主系統の信号に加算する前に、その加算量から判断できるオーバーフローの有無に基づいて、予め上記従系統の信号の当該サンプル及びそのサンプル以降のゲインを調整し、
オーバーフロー有を判断したら、上記従系統信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻すことを特徴とする信号処理方法。 - 上記従系統の信号は、上記主系統の狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測して得られる信号であることを特徴とする請求項１記載の信号処理方法。
- 狭帯域の主系統の信号に、該狭帯域外の帯域の従系統の信号を加算する信号処理装置において、
上記従系統の信号を主系統の信号に加算する加算手段と、
上記加算手段からの加算量から判断できるオーバーフローの有無を検出するオーバーフロー検出手段と、
上記オーバーフロー検出手段からの検出結果に基づいて上記従系統の信号の当該サンプル及びそのサンプル以降のためのゲインを調整するゲイン調整手段と、
上記ゲイン調整手段からの調整ゲインを上記従系統の信号の当該サンプル及びそのサンプル以降に乗算する乗算手段とを備え、
上記オーバーフロー検出手段が上記オーバーフロー有を判断したら、上記ゲイン調整手段は上記従系統信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻すことを特徴とする信号処理装置。 - 上記従系統の信号は、上記主系統の狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測して得られる信号であることを特徴とする請求項３記載の信号処理装置。
- 狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張方法において、
上記帯域外成分を上記狭帯域信号に加算する前に、その加算量から判断できるオーバーフローの有無に基づいて、予め上記帯域外成分のゲインを調整し、
オーバーフロー有を判断したら、上記帯域外成分の信号の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻すことを特徴とする帯域幅拡張方法。 - 狭帯域信号もしくはこれを合成することが可能なパラメータから、帯域外成分を推測し、上記狭帯域信号に加算して帯域幅を拡張する帯域幅拡張装置において、
上記帯域外成分を上記狭帯域信号に加算する加算手段と、
上記加算手段からの加算量から判断できるオーバーフローの有無を検出するオーバーフロー検出手段と、
上記オーバーフロー検出手段からの検出結果に基づいて上記帯域外成分の当該サンプル及びそのサンプル以降のためのゲインを調整するゲイン調整手段と、
上記ゲイン調整手段からの調整ゲインを上記帯域外成分の当該サンプル及びそのサンプル以降に乗算する乗算手段とを備え、
上記オーバーフロー検出手段がオーバーフロー有を判断したら、上記ゲイン調整手段は上記帯域外成分の当該サンプルのゲインをオーバーフロー無と判断できるまで下げ、次サンプル以降についてはオーバーフロー無を保ったままで、徐々にゲインを上げ、初期のゲインまで戻すことを特徴とする帯域幅拡張装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30430198A JP4269364B2 (ja) | 1998-10-26 | 1998-10-26 | 信号処理方法及び装置、並びに帯域幅拡張方法及び装置 |
| US09/417,585 US6539355B1 (en) | 1998-10-15 | 1999-10-14 | Signal band expanding method and apparatus and signal synthesis method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30430198A JP4269364B2 (ja) | 1998-10-26 | 1998-10-26 | 信号処理方法及び装置、並びに帯域幅拡張方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000132192A JP2000132192A (ja) | 2000-05-12 |
| JP4269364B2 true JP4269364B2 (ja) | 2009-05-27 |
Family
ID=17931395
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30430198A Expired - Fee Related JP4269364B2 (ja) | 1998-10-15 | 1998-10-26 | 信号処理方法及び装置、並びに帯域幅拡張方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4269364B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4380174B2 (ja) | 2003-02-27 | 2009-12-09 | 沖電気工業株式会社 | 帯域補正装置 |
| JP4924619B2 (ja) * | 2009-01-08 | 2012-04-25 | 沖電気工業株式会社 | 帯域補正装置 |
-
1998
- 1998-10-26 JP JP30430198A patent/JP4269364B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000132192A (ja) | 2000-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6539355B1 (en) | Signal band expanding method and apparatus and signal synthesis method and apparatus | |
| KR101702281B1 (ko) | 음성 주파수 신호 처리 방법 및 장치 | |
| JP3869211B2 (ja) | 広帯域信号の復号における周期性の強調 | |
| CN100369111C (zh) | 话音增强装置 | |
| JP4777918B2 (ja) | 音声処理装置及び音声を処理する方法 | |
| JP4423300B2 (ja) | 雑音抑圧装置 | |
| JP4132154B2 (ja) | 音声合成方法及び装置、並びに帯域幅拡張方法及び装置 | |
| US6694018B1 (en) | Echo canceling apparatus and method, and voice reproducing apparatus | |
| JP4302978B2 (ja) | 音声コーデックにおける擬似高帯域信号の推定システム | |
| JP4018571B2 (ja) | 音声強調装置 | |
| JP2004101720A (ja) | 音響符号化装置及び音響符号化方法 | |
| JP2000305599A (ja) | 音声合成装置及び方法、電話装置並びにプログラム提供媒体 | |
| EP1008984A2 (en) | Windband speech synthesis from a narrowband speech signal | |
| US9589576B2 (en) | Bandwidth extension of audio signals | |
| JPH0946233A (ja) | 音声符号化方法とその装置、音声復号方法とその装置 | |
| JP4099879B2 (ja) | 帯域幅拡張方法及び装置 | |
| JP4135242B2 (ja) | 受信装置及び方法、通信装置及び方法 | |
| KR101077328B1 (ko) | Ｓｔｆｄ용 헤드셋에서의 음질 개선 시스템 | |
| JP4269364B2 (ja) | 信号処理方法及び装置、並びに帯域幅拡張方法及び装置 | |
| JP4135240B2 (ja) | 受信装置及び方法、通信装置及び方法 | |
| JP2000122679A (ja) | 音声帯域拡張方法及び装置、音声合成方法及び装置 | |
| JP2000206995A (ja) | 受信装置及び方法、通信装置及び方法 | |
| JP2000206996A (ja) | 受信装置及び方法、通信装置及び方法 | |
| JP6713424B2 (ja) | 音声復号装置、音声復号方法、プログラム、および記録媒体 | |
| GB2398980A (en) | Adjustment of non-periodic component in speech coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050708 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |