JP4604864B2 - 帯域拡張装置及び不足帯域信号生成器 - Google Patents

Description

本発明は帯域拡張装置及び不足帯域信号生成器に関し、例えば、狭帯域電話機や交換機からの音声信号を広帯域化する装置に適用し得るものである。

現在、電話などの音声通信は様々なネットワークを用いて盛んに行われている。しかしながら、従来の公衆網を利用していた時代の慣習から、電話音声通信は、一般に電話帯域と呼ばれる３００Ｈｚから３．４ｋＨｚの周波数に制限されて行われている。しかし、人間の発声する音声には、３００Ｈｚ以下の低域成分や、３．４ｋＨｚ以上の高域成分も含まれており、また、これら低域成分及び高域成分は発話の個人性にも係わる重要な成分である。また、これら低域成分及び高域成分の欠如は個人性の欠如だけでなく、音声の認識を低下させる一因であり、これら成分を含んだ音声での通話が望まれている。

しかしながら、一般的な公衆網における交換機では、電話帯域を越える音声を伝送させることができない。また、一般的な公衆網以外でも送信側端末が当該慣例に基づいて設計されているため、電話帯域を越える音声の伝送ができない問題もあった。このような点に鑑み、特許文献１には、音声帯域を拡張する帯域拡張器が提案されている。

特許文献１に記載の帯域拡張器手法を、図２を用いて説明する。３００Ｈｚから３．４ｋＨｚに周波数が限定された狭帯域音声信号（デジタル信号）ＤＣが帯域拡張器１０に入力される。この狭帯域音声信号ＤＣは、標本化周波数変換器１１により標本化周波数が高められた変換原信号Ｓに変換され（例えば、８ｋＨｚから１６ｋＨｚ）、この変換原信号Ｓを用いて、低域側（３００Ｈｚ以下）へ拡張した拡張信号（合成低域信号）ＬＳ、高域側（３．４〜７ｋＨｚ）へ拡張した拡張信号（合成高域信号）ＨＳ、無声部分を拡張した拡張信号（合成無声信号）ＵＳをそれぞれ低域信号生成器１２、高域信号生成器１３、無声部信号生成器１４で生成し、上述の変換原信号Ｓと加算器１５で加算することで帯域拡張信号Ｖを生成している。

この帯域拡張信号Ｖは、帯域制限された狭帯域音声信号ＤＣから生成された低域成分の信号や高域成分の信号などを、伝送された信号と共に同時に提供し、これら各成分が含まれる広帯域信号と同様の臨場感ある音声として聴取することを可能にしている。
特開平９−２５８７８７号公報

しかしながら、特許文献１の帯域拡張方法では、１種類の周波数成分を低域側に付加するだけであるため、特定の値の周波数及びその高調波成分は拡張されるが低域全体として拡張されず、臨場感が不足する問題があり、当初からの広帯域信号と同様の音声を生成する能力としては不十分であった。

そのため、帯域拡張後において、当初からの広帯域信号と同様な信号を実現できる帯域拡張装置及び不足帯域信号生成器が望まれている。

第１の本発明の不足帯域信号生成器は、周波数帯域が低域又は高域に制限された入力信号から、上記制限されて不足している帯域の信号成分を生成するものであって、 周波数帯域が低域又は高域に制限された入力音声信号から、上記制限されて不足している帯域の信号成分を生成する不足帯域信号生成器であって、（１）上記入力音声信号の有音、無音を判定する信号判定手段と、（２）自手段へ入力された音声信号の周波数成分を特定の周波数だけ不足帯域側に変移させる周波数変移手段と、（３）上記信号判定手段が無音と判定したときに、自手段へ入力された無音区間の音声信号をそのまま通過させると共に、上記信号判定手段が有音と判定したときに、自手段へ入力された有音区間の音声信号を、代替音声信号に置き換えて出力する、上記周波数変移手段の後段又は前段に設けられた波形調整手段と、（４）上記周波数変移手段及び上記波形調整手段を介した後の音声信号から、不足帯域範囲の成分を抽出し、不足帯域信号を出力する成分抽出手段とを有し、（５）上記波形調整手段は、当該波形調整手段による処理が少なくとも施された音声信号を所定期間分だけ記憶する出力波形記憶器を備え、この出力波形記憶器に記憶されている音声信号の周期を検出し、この出力波形記憶器に記憶されている音声信号の一部を、検出した周期を単位として取出し、自手段へ入力された有音区間の音声信号に置き換える代替音声信号とすることを特徴とする。

第２の本発明の帯域拡張装置は、第１の本発明の不足帯域信号生成器と、この不足帯域信号生成器から出力された不足帯域信号と入力音声信号とを加算する加算手段とを備えたことを特徴とする。

本発明の帯域拡張装置及び不足帯域信号生成器によれば、入力信号中で制限されている周波数成分の帯域に一様に成分を付加し、当初からの広帯域信号と同様な信号を実現することができる。

（Ａ）第１の実施形態
以下、本発明による帯域拡張装置及び不足帯域信号生成器を、音声帯域拡張装置に適用した第１の実施形態を、図面を参照しながら説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の音声帯域拡張装置１００の構成を示すブロック図であり、上述した従来に係る図２との同一、対応部分には、同一符号を付して示している。

図１において、第１の実施形態の音声帯域拡張装置１００は、標本化周波数変換器１１、低域信号生成器１２、高域信号生成器１３、無声部信号生成器１４、低帯域信号生成器２０及び加算器９０を有する。

ここで、標本化周波数変換器１１、低域信号生成器１２、高域信号生成器１３及び無声部信号生成器１４はそれぞれ、特許文献１に記載のものと同様である。但し、帯域拡張信号Ｖを生成するための合成低域信号ＬＳ、合成高域信号ＨＳ、合成無声信号ＵＳの生成方法は、特許文献１に記載のものに限定されず、他の既存の方法を適用したものであっても良い。

第１の実施形態の音声帯域拡張装置１００は、低帯域信号生成器２０を設けている点、及び、加算器９０が従来のものと異なっている。因みに、従来の加算器１５は、４種類の信号を加算合成するものであった。第１の実施形態の加算器９０は、５種類の信号を加算合成する点で従来と異なっている。加算器９０は、例えば、合計が１である５種類の重み付け係数を用いた重み付け加算によって５種類の信号を加算合成する。

低帯域信号生成器２０は、標本化周波数変換器１１によって標本化周波数が変換された変換原信号Ｓを受取り、合成低帯域信号ＬＬＳを加算器９０へ出力するものである。加算器９０は、低域信号生成器１２、高域信号生成器１３、無声部信号生成器１４及び低帯域信号生成器２０からの合成低域信号ＬＳ、合成高域信号ＨＳ、合成無声信号ＵＳ及び合成低帯域信号ＬＬＳと、変換原信号Ｓとを合成して帯域拡張音声信号Ｖを得て出力するものである。

以下ではまず、低帯域信号生成器２０について、図３及び図４を参照しながら説明する。ここで、図３は低帯域信号生成器２０の内部構成を示すブロック図であり、図４はその周波数変移器２１の内部構成を示すブロック図である。

なお、図１から明らかなように、低帯域信号生成器２０には、標本化周波数変換器１１によって標本化周波数が変換されたデジタル信号が入力される。この第１の実施形態の場合、特定の時間（例えば１０ｍｓ）をひとまとまりにした音声フレーム（フレーム）単位に処理を行うことを想定しているが、フレームの時間長は限定されない。また、固定的なフレームでの処理には限定せず可変長のフレームでもかまわない。

図３において、低帯域信号生成器２０は、周波数変移器２１、信号判定器２２、波形変換器２３、成分抽出器２４及び切換器２５を有する。

信号判定器２２は、標本化周波数変換器１１によって標本化周波数が変換された変換原信号Ｓを受取り、有音／無音判定などにより、周波数変移器２１の処理を有効とするか無効とするかを表す信号判定情報ＳＬを切換器２５に出力するものである。

切換器２５は、変換原信号Ｓと信号判定情報ＳＬとを受取り、信号判定情報ＳＬに基づいて、変換原信号Ｓの出力先を周波数変移器２１又は波形変換器２３に切換えるものである。

周波数変移器２１は、変換原信号Ｓを受取り、その周波数を低域側に変移させた変換信号ＣＳを生成して成分抽出器２４に出力するものである。図４（ａ）及び（ｂ）はそれぞれ、周波数変移器２１の内部構成例を示すものであり、各部の機能については、動作説明で明らかにする。

波形変換器２３は、変換原信号Ｓを受取り、変換原信号Ｓにおける有音的な成分が小さくなった低帯域成分を有する変換信号ＣＳを生成して成分抽出器２４に出力するものである。

成分抽出器２４は、変換信号ＣＳを受取り、その変換信号ＣＳにおける所定の低帯域成分を抽出し、合成低帯域信号ＬＬＳとして出力するものである。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の音声帯域拡張装置１００の動作を説明する。第１の実施形態では、１音声フレームが入力されるたびに以下の動作が実行される。

狭帯域音声信号（デジタル信号）ＤＣが音声帯域拡張装置１００に入力されると、この狭帯域音声信号ＤＣは、標本化周波数変換器１１により標本化周波数が高められた変換原信号Ｓに変換され（例えば、８ｋＨｚから１６ｋＨｚ）、この変換原信号Ｓを用いて、低域信号生成器１２、高域信号生成器１３、無声部信号生成器１４及び低帯域信号生成器２０がそれぞれ、合成低域信号ＬＳ、合成高域信号ＨＳ、合成無声信号ＵＳ及び合成低帯域信号ＬＬＳを生成し、加算器９０が、これら４種類の合成低域信号ＬＳ、合成高域信号ＨＳ、合成無声信号ＵＳ及び合成低帯域信号ＬＬＳと、上述の変換原信号Ｓとを加算することにより帯域拡張信号Ｖを生成する。

低帯域信号生成器２０においては、上述したように、変換原信号Ｓを、１音声フレーム毎入力し、電話帯域より周波数の小さい低帯域の信号を合成低帯域信号ＬＬＳとして生成し、加算器９０へ出力する。

低帯域生成器２０において、信号判定器２２は、例えば、１音声フレーム毎に変換原信号Ｓのパワーを計算し、当該パワーの値から変換原信号Ｓの有効、無効を判定し、その結果を信号判定情報ＳＬとして切換器２５に出力する。第１の実施形態において、信号が無効である場合とは、当該変換原信号Ｓが有音である場合を指し、発声者が発話している区間に相当している。例えば、音声の調波構造が現れているような部分にあたる。また、信号が有効である場合とは、当該変換原信号Ｓが無音である場合をさし、発声者が発話していない部分や、音声の調波構造が現れていないような部分に相当する。従って、信号の有効部分、すなわち無音部分であっても、信号自体の成分は、零ではなく存在している場合が多い。当該判定は、例えば、当該パワーの値に対する閾値を設定し、この閾値よりパワーが小さければ無音、そうでなければ有音と判断する方法で行う。この閾値は、適宜選定すれば良く、特定値に限定されるものではない。また、上述したような信号の有効、無効を判断する手法であれば、上記手法には限定しない（例えば、既存の有音／無音判定方法のいずれも適用可能である）。さらに、上記説明では、パワーの計算に変換原信号Ｓを用いる場合に言及したが、変換原信号Ｓの代わりに狭帯域信号ＤＣを用いても良く、当該音声フレームでのパワーを判定できれば判定に使用する信号は限定されない。

切換器２５は、信号判定情報ＳＬが有効を指示しているとき（無音時）には入力された変換原信号Ｓを周波数変移器２１に出力し、信号判定情報ＳＬが無効を指示しているとき（有音時）には入力された変換原信号Ｓを波形変換器２３に出力する。

有音部分を単純に後述する周波数変移すると有音部分に特有の調波構造が変移するため、聴取者に異音があると聴取される可能性がある。そのため、第１の実施形態では、合成低帯域信号ＬＬＳを生成する際に、有音部分と無音部分を分けて処理するようにしている。

周波数変移器２１は、１音声フレーム毎に変換原信号Ｓを受取り、後述する周波数変移方法により、受取った当該変換原信号Ｓの周波数を低域側へ変移させ、当該変移結果を変換信号ＣＳとして成分抽出器２４へ出力する。第１の実施形態では、この周波数の変移量を３００Ｈｚとしているが、この値に限定するものではない。

周波数変移器２１が適用している周波数変移方法の概要について、図４を使って説明する。

図４（ａ）は、第１の実施形態の周波数変移方法の考え方を表している。周波数変移器２１に入力する変換原信号Ｓに相当する入力される原信号をｓｉｎ（ｆ・ｔ）とする。ｆは、原信号の周波数に対応する角周波数、ｔは時刻を表す。また、変移させる周波数に対応する角周波数をＦとする。例えば、Ｆは、−３００Ｈｚに対応する角周波数である。ここで、負の周波数にしているのは、周波数変移によって低い周波数に変移させるためである。

まず、原信号ｓｉｎ（ｆ・ｔ）に、余弦波信号ｃｏｓ（Ｆ・ｔ）を乗算回路６２により乗算する。この乗算により、ｓｉｎ（ｆ・ｔ）ｃｏｓ（Ｆ・ｔ）となる第１の乗算結果を得る。並行して、遅延回路６１により原信号ｓｉｎ（ｆ・ｔ）の位相をπ／２だけ遅延させ、当該遅延させた原信号ｓｉｎ（ｆ・ｔ−π／２）に対して第２の乗算回路６３により−ｓｉｎ（Ｆ・ｔ）を乗算する。この乗算により、−ｓｉｎ（ｆ・ｔ−π／２）ｓｉｎ（Ｆ・ｔ）＝ｃｏｓ（ｆ・ｔ）ｓｉｎ（Ｆ・ｔ）なる乗算結果を得る。

これら２つの乗算結果ｓｉｎ（ｆ・ｔ）ｃｏｓ（Ｆ・ｔ）、ｃｏｓ（ｆ・ｔ）ｓｉｎ（Ｆ・ｔ）を加算回路６４により加算する。これにより、ｓｉｎ（ｆ・ｔ）ｃｏｓ（Ｆ・ｔ）＋ｃｏｓ（ｆ・ｔ）ｓｉｎ（Ｆ・ｔ）＝ｓｉｎ（（Ｆ＋ｆ）・ｔ）なる加算結果を得られる。この加算結果ｓｉｎ（（Ｆ＋ｆ）・ｔ）は、角周波数Ｆに相当する周波数だけ原信号の周波数を変移した信号になっている。

図４（ａ）では、遅延回路６１、２個の乗算回路６２、６３及び加算回路６４によって、周波数ｆの信号を角周波数Ｆだけ変移した信号ｓｉｎ（（Ｆ＋ｆ）・ｔ）を得る構成を示したが、後述する成分抽出器２４による成分抽出処理（フィルタ処理）を考慮すると、周波数変移器２１からの信号には、周波数成分ｓｉｎ（（Ｆ＋ｆ）・ｔ）を含んでいれば良い。

このように入力信号ｓｉｎ（ｆ・ｔ）から周波数成分ｓｉｎ（（Ｆ＋ｆ）・ｔ）を含む信号を形成するのが、図４（ｂ）に示す構成である。すなわち、入力信号ｓｉｎ（ｆ・ｔ）に余弦波信号ｃｏｓ（Ｆ・ｔ）を乗算回路６５で乗算すると、ｓｉｎ（ｆ・ｔ）ｃｏｓ（Ｆ・ｔ）＝｛ｓｉｎ（（ｆ＋Ｆ）・ｔ）＋ｓｉｎ（（ｆ−Ｆ）・ｔ）｝／２なる乗算結果を得るが、このうちのｓｉｎ（（ｆ＋Ｆ）・ｔ）項のみを取出せれば、図４（ａ）の周波数変移方法を簡略化して用いることができる。

入力信号ｓｉｎ（ｆ・ｔ）の周波数成分ｆは種々の成分を含むが、いずれの周波数成分ｆであっても、固定周波数Ｆずつ変移される。

波形変換器２３は、有音（無効）と判定された変換原信号Ｓを切換器２５から受取り、後述する波形変換方法により、変換原信号Ｓが無音に近くなるように変換し（波形圧縮し）、変換信号ＣＳとして成分抽出器２４へ出力する。この波形変換方法は、例えば、入力された変換原信号Ｓの当該フレームの各サンプリング値の絶対値に平方根をとったものに、そのサンプリング値の正負符号を付与したものである。すなわち、正負を問わず、振幅のみを平方根に小さくするものである。なお、波形変換方法は、これに限定されない。例えば、当該フレームでのパワーを計算しておき、そのパワーで波形の値を除算し、その後、周波数変移を実施するようにしても良い。いずれにせよ、有音的な成分が小さくなった低帯域成分をもつ信号が出力できれば良い。

成分抽出器２４は、周波数変移器２１又は波形変換器２３のうち、その時点で有効動作している方からの変換信号ＣＳから、例えば、３００Ｈｚ以下の低帯域成分を抽出し、合成低帯域信号ＬＬＳとして、加算器９０に出力する。成分抽出器２４を設けているのは、変換信号ＣＳの周波数構成が３００Ｈｚ以上にも存在するためであり、必要な周波数帯を抽出するために設けられている。成分抽出器２４としては、例えば、３００Ｈｚ以下を通過させる低域通過フィルタなどを適用できる。

なお、成分抽出器２４が抽出する上限周波数（例えば、３００Ｈｚ以下）は、低域信号生成器１２において出力可能な最大の周波数と同じ周波数であっても良い。

（Ａ−３）第１の実施形態の効果
第１の実施形態の音声帯域拡張装置によれば、原信号（狭帯域音声信号ＤＣ若しくは変換原信号Ｓ）からその帯域を拡張した帯域拡張信号Ｖを生成するに際し、低周波数について、帯域信号として拡張信号成分を生成するようにしたので、低域の帯域において、全体的に周波数成分を付加することができる。その結果、聴取者に、低域全体の広がり感を聴取させることができる。また、特定の周波数成分を付加する場合に聴取されていた低帯域の不足感を解消することができる。その結果として、出力信号の音質を向上させることができる。

（Ｂ）第２の実施形態
次に、本発明による帯域拡張装置及び不足帯域信号生成器を、音声帯域拡張装置に適用した第２の実施形態を、図面を参照しながら説明する。

第２の実施形態の音声帯域拡張装置も、その全体構成は、第１の実施形態に係る図１で表すことができる。

第２の実施形態は、第１の実施形態に比較すると、低帯域信号生成器（第２の実施形態のものに対しては符号３０を付与している）の内部構成が異なっており、その他は、第１の実施形態と同様である。

図５は、第２の実施形態の低帯域信号生成器３０の内部構成を示すブロック図であり、第１の実施形態に係る図３との同一、対応部分には同一符号を付して示している。図５において、第２の実施形態の低帯域信号生成器３０は、信号判定器２２、波形調整器２８、周波数変移器２１及び成分抽出器２４を有する。

信号判定器２２は、第１の実施形態のものと同様にして、変換原信号Ｓの有効（無音）、無効（有音）を判定し、信号判定情報ＳＬを波形調整器２８に与える。

波形調整器２８は、変換原信号Ｓと信号判定情報ＳＬを受取り、調整信号ＡＳを周波数変移器２１に出力するものである。波形調整器２８は、信号判定情報ＳＬにより音声が無音であると判断した場合には、入力した変換原信号Ｓをそのまま調整信号ＡＳとして出力する。また、波形調整器２８は、信号判定情報ＳＬにより有音であると判断した場合には、変換原信号Ｓを調整して調整信号ＡＳとする。波形調整器２８による波形調整方法は、１音声フレーム内の音声が無音に近くなるように調整する動作をすればその方法は限定されない。例えば、入力した変換原信号Ｓを当該フレームのパワー値で割った値を調整信号ＡＳとして出力する方法を適用できる。また例えば、１つ前のフレームでの波形の最大値と最小値の間の値をランダムに出力させて調整波形とするような方法であっても良い。さらに、必要に応じて出力する調整信号ＡＳの音声レベルの調整を実施しても良い。

周波数変移器２１は、波形調整器２８からの調整信号ＡＳを受取り、第１の実施形態で説明したと同様な方法により周波数変移を施し、その結果を変移信号ＳＳとして成分抽出器２４へ出力する。

成分抽出器２４は、第１の実施形態のものと同様にして、周波数変移器２１からの変移信号ＳＳにおける所定の低帯域を抽出し、合成低帯域信号ＬＬＳとして、加算器９０に出力する。

第２の実施形態の音声帯域拡張装置によっても、原信号からその帯域を拡張した帯域拡張信号を生成するに際し、低周波数について、帯域信号として拡張信号成分を生成するようにしたので、聴取者に、低域全体の広がり感を聴取させることができ、また、特定の周波数成分を付加する場合に聴取されていた低帯域の不足感を解消することができ、結果として、出力信号の音質を向上させることができる。

また、第２の実施形態によれば、第１の実施形態の切換器に代えて、波形調整器を設けたことで、信号の有効、無効に応じた処理構成を一系統にすることができ、処理の複雑さを軽減し、処理量の削減が期待できる。

（Ｃ）第３の実施形態
次に、本発明による帯域拡張装置及び不足帯域信号生成器を、音声帯域拡張装置に適用した第３の実施形態を、図面を参照しながら説明する。

第３の実施形態の音声帯域拡張装置も、その全体構成は、第１の実施形態に係る図１で表すことができる。

第３の実施形態は、第１の実施形態に比較すると、低帯域信号生成器（第３の実施形態のものに対しては符号４０を付与している）の内部構成が異なっており、その他は、第１の実施形態と同様である。

図６は、第３の実施形態の低帯域信号生成器４０の内部構成を示すブロック図であり、第１の実施形態に係る図３や第２の実施形態に係る図５との同一、対応部分には同一符号を付して示している。図６において、第３の実施形態の低帯域信号生成器４０は、信号判定器２２、周波数変移器２１、成分抽出器２４、波形調整器３３、自己相関計算器３５、出力波形記憶器３６及び波形記憶器３７を有する。

以下、第３の実施形態の低帯域信号生成器４０の動作を説明しながら、各部の機能も明らかにする。

図６において、信号判定器２２は、第１の実施形態のものと同様にして、変換原信号Ｓの有効（無音）、無効（有音）を判定し、信号判定情報ＳＬを波形調整器３３に与える。

この第３の実施形態の低帯域信号生成器４０においては、図６に示すように、周波数変移器２１が波形調整器３３より前段に設けられている。位置は異なるが、第３の実施形態の周波数変移器２１は、入力された変換原信号Ｓを受取り、第１の実施形態で説明したと同様な方法により周波数変移を施す。周波数変移器２１は、周波数変移結果を変移信号ＳＳとして波形調整器３３へ出力する。

波形調整器３３は、基本的には、第２の実施形態の場合と同様に、信号判定情報ＳＬが有効を指示している場合（無音の場合）には、入力された変移信号ＳＳを加工せずに調整信号ＡＳとして出力し、信号判定情報ＳＬが無効を指示している場合（有音の場合）には、入力された変移信号ＳＳに対して波形調整を実施し、その波形調整後の信号を調整信号ＡＳとして出力する。

この第３の実施形態の場合、後述するように、有音の場合の調整信号ＡＳの生成方法が第２の実施形態とは異なっている。

出力波形記憶器３６は、波形調整器３３から出力される調整信号ＡＳを記憶しておくものであり、１音声フレーム毎に記憶内容を最新の信号に更新する。出力波形記憶器３６に記憶しておくデータ量は、後述する自己相関計算器３５で自己相関関数を計算するために必要な量、及び、波形調整器３３で調整信号ＡＳに使用するのに必要な量を満たせば良く、例えば、５０ｍｓのデータ量である（但し、この時間長に限定されるものではない）。

以下では、信号判定情報ＳＬが無効を指示している場合（有音の場合）の調整信号ＡＳの生成方法について説明する。

有音と判定された場合、波形調整器３３は、自己相関計算要求ＰＲを自己相関計算器３５へ出力する。自己相関計算器３５では、自己相関関数の計算により、当該時刻での周期を計算し、計算で得られた周期を周期データＳＰとして波形調整器３３へ出力する。

当該自己相関関数の計算をするために、自己相関計算器３５は、まず、波形記憶器３７へ波形更新要求ＤＲを出力する。波形記憶器３７に波形更新要求ＤＲが入力されると、波形記憶器３７は、出力波形記憶器３６に記憶された出力波形データＳＤを自己に複写する。出力波形記憶器３６から出力波形データＳＤを複写後、波形記憶器３７は、当該出力波形データを次に波形更新要求ＤＲが入力されるまで記憶しておき、当該波形データＳＤを波形データＨＤとして自己相関計算器３５へ出力する。この波形データの量は、自己相関関数を計算するのに十分な量があれば良く、例えば、３０ｍｓのデータ量である（但し、この時間長に限定されない）。波形データＨＤを受取った自己相関計算器３５は、その波形データＨＤを用いて自己相関関数の最大となる遅延量を計算し、この遅延量を周期データＳＰとして波形調整器３３へ出力する。

周期データＳＰが表す遅延量の大きさは、例えば、５ｍｓ〜１５ｍｓの範囲の値に制限できるが、遅延量が取り得る範囲が上述の範囲に限定されないことは勿論である。自己相関（遅延量）の計算に用いられる波形データＨＤは無音部分であり、音声成分に周期が存在していない場合があるが、この第３の実施形態では、自己相関関数の最大となる遅延量を出力音声の基準の処理単位として使用している。第３の実施形態の記述では、当該自己相関関数が最大となる遅延量を周期として表現する。また、波形データＨＤの周期が計算できるのならば、自己相関関数を計算せずに他の手法を用いるようにしても良い。

周期データＳＰを受取った波形調整器３３は、波形記憶器３７から周期データＳＰによって定まる必要な波形データＮＤを取出し、音声フレーム毎に後述する調整信号生成方法により信号を生成し、調整信号ＡＳとして出力する。この調整信号ＡＳの生成は、例えば、６音声フレーム間だけ継続し、６音声フレームが経過した後も有音である場合は、上記の有音と判定された場合の処理を再度実行し、無音と判定されるまで一連の処理を繰り返す。

波形調整器３３における調整信号生成方法の一例を、図７に従って説明する。

図７のデータＳＤは、波形記憶器３７に記憶された波形データＳＤ（＝ＮＤ）を表し、図７の信号ＡＳは、波形調整器３３から出力される調整信号ＡＳを表している。図７は、無音から有音に変化した状態から、音声フレーム毎に、調整信号ＡＳ１、ＡＳ２、…が順に出力される様子を表している。周期Ｔは、自己相関計算器３５から出力された周期データＳＰから求められた周期を表している。

周期Ｔが決定された場合、波形データＳＤのうち最新の３周期分を使用して調整信号ＡＳの生成を行う。図７の（０）は、調整信号に使用される区間を表し、上述の最新３周期分に等しい。また、図７（１）、（２）、（３）は時刻の経過を表している。

調整信号ＡＳ１を出力する場合を図７（１）の場合から説明する。調整信号ＡＳ１は、最新側の１周期区間Ｔａを用いて生成される。調整信号ＡＳ１は、１周期区間Ｔａの最古側から最新側へ周期Ｔだけ使用して生成される。図７のように、１周期区間Ｔａの全区間を用いても１音声フレームに満たない場合は、再度、周期区間Ｔａの最古側から出力し、合計で１音声フレームだけ生成されるようにする。すなわち、調整波形ＡＳ１の生成に使用される区間は、Ｓ１１とＳ１２の区間であり、Ｂ１からＥ１までの区間に相当する。この際、区間Ｓ１１とＳ１２とを連続的に遷移させるような手法を実施することが好ましい。例えば、区間Ｓ１２を最新１周期からさらに最古側の１／４周期部分を確保し、区間Ｓ１１の最新１／４周期部分と連続的に区間Ｓ１１から区間Ｓ１２へと遷移するように足し合わせるなどの方法をとっても良い。また、ＳＤとＡＳ１の間、ＡＳ２以降での処理に関しても同様の処理を実施しても良い。

調整信号ＡＳ２を出力する場合、１周期増やして最新の２周期区間を用いて調整信号ＡＳ２を生成する。すなわち、Ｔｂ（＝Ｔ１＋Ｔ２）の区間を用いて調整信号ＡＳ２を生成する。生成に使用する区間は、調整信号ＡＳ１の出力に使用した最後の位置Ｅ１から区間Ｔだけずれた位置Ｂ２から出力を開始するが、位置Ｅ１が区間Ｔｂの最古側の１周期Ｔ内にない場合は、当該１周期Ｔ内になるまで、周期Ｔずつ最古側へ移動させ（図７（２）の場合は移動させない場合になっている）、出力を開始する。従って、調整信号ＡＳ２の生成には、Ｂ２からＥ２の区間が用いられる。

調整信号ＡＳ３を出力する場合、調整信号ＡＳ２の場合と同様に１周期増やした３周期区間Ｔｃ（＝Ｔ１＋Ｔ２＋Ｔ３）の区間を用いて出力させる。その区間Ｔｃからのデータとの取り出し方は、調整信号ＡＳ２の場合と同様である。従って、調整信号ＡＳ３の生成には、Ｂ３からＥ３の区間が用いられる。

調整信号ＡＳ４以降では、生成に使用する区間を広げず、調整信号ＡＳ３で設定した区間Ｔｃを用いて生成させる。また、出力に使用する位置は、直前の生成に使用した位置から開始する。すなわち、ＡＳ４の場合は、位置Ｅ３より出力を開始する。

以上のような処理により、波形調整器３３からの調整信号ＡＳは、波形記憶器３７に記憶された波形データＳＤ（＝ＮＤ）における周期Ｔの周期性は維持しつつ、そのデータＳＤの並びを、周期Ｔの部分を単位として異なる並びに変換したものとなっている。

成分抽出器２４は、第１や第２の実施形態のものと同様にして、波形調整器３３からの調整信号ＡＳにおける所定の低帯域を抽出し、合成低帯域信号ＬＬＳとして、加算器９０に出力する。

第３の実施形態の音声帯域拡張装置によっても、原信号からその帯域を拡張した帯域拡張信号を生成するに際し、低周波数について、帯域信号として拡張信号成分を生成するようにしたので、聴取者に、低域全体の広がり感を聴取させることができ、また、特定の周波数成分を付加する場合に聴取されていた低帯域の不足感を解消することができ、結果として、出力信号の音質を向上させることができる。

また、第３の実施形態によれば、低帯域信号における有音性を、直前の無音波形を使用することで減じることが可能となる。

（Ｄ）他の実施形態
上記各実施形態においては、低域信号生成器１２と低帯域信号生成器２０、３０、４０とがそれぞれ合成信号を生成するような構成としていたが、低帯域信号生成器２０、３０、４０の機能と低域信号生成器１２の機能を発揮するように生成器を構成しても良い。例えば、合成低域信号ＬＳと合成低帯域信号ＬＬＳとをこの生成器の内部で加算し、低域部分の合成信号として加算器９０に出力するようにして構わない。

また、上記各実施形態では、低域信号生成器と低帯域信号生成器との双方を有するものを示したが、本発明は、少なくとも低帯域信号生成器を備えていれば良い。また、入力信号ＤＣによっては、高域信号生成器や無声部信号生成器を省略するようにしても良い。

すなわち、各実施形態では、合成低域信号ＬＳと合成高域信号ＨＳと合成無声信号ＵＳと合成低帯域信号ＬＬＳの４つを生成して、変換原信号Ｓと加算する例を説明したが、加算するために生成される信号数は合成低帯域信号ＬＬＳを含む限りにおいて４つに限定されず、これよりも多くても少なくても良い。

第２の実施形態では、波形調整器及び周波数変移器の順に配置したものであったが、第３の実施形態のように、この処理順序を逆にしても良い。また、第３の実施形態では、周波数変移器及び波形調整器の順に配置したものであったが、第２の実施形態のように、この処理順序を逆にしても良い。

上記各実施形態では、電話公衆網を考慮してなされ、帯域拡張される低帯域は電話帯域外であるように説明したが、低帯域信号生成器が生成した低帯域信号の一部帯域が電話帯域の範囲内にあっても良い。また、本発明の帯域拡張装置が搭載される装置も、一般的な公衆網を介した通信に関係する装置に限定されないことは勿論である。

また、上記各実施形態では、音声信号を前提として説明したが、他の周期性信号、例えば画像信号などにも本発明を適用することが可能である。画像信号であっても、パワーなどに基づいて、周波数変移を有効（無音に相当）とするか無効（有音に相当）とするかを判別することができる。

さらに、上記各実施形態の説明では、構成がハードウェア的に実現されているイメージで説明したが、本発明の構成の全て又は一部をソフトウェア的に実現するようにしても良い。

なお、上記各実施形態では、周波数変移を利用した帯域拡張方法を低周波数側に適用したものを示したが、高周波数側の拡張にも利用するようにしても良い。例えば、高域信号生成器１３が、周波数変移を利用した帯域拡張方法を適用するようにしても良い。

第１の実施形態の音声帯域拡張装置の全体構成を示すブロック図である。 従来の音声帯域拡張装置の全体構成を示すブロック図である。 第１の実施形態の低帯域信号生成器の詳細構成を示すブロック図である。 第１の実施形態の周波数変移器の詳細構成を示すブロック図である。 第２の実施形態の低帯域信号生成器の詳細構成を示すブロック図である。 第３の実施形態の低帯域信号生成器の詳細構成を示すブロック図である。 第３の実施形態の低帯域信号生成器の動作説明に用いる説明図である。

符号の説明

１１…標本化周波数変換器、１２…低域信号生成器、１３…高域信号生成器、１４…無声部信号生成器、２０、３０、４０…低帯域信号生成器、２１…周波数変移器、２２…信号判定器、２３…波形変換器、２４…成分抽出器、２５…切換器、２８…波形調整器、３３…波形調整器、３５…自己相関計算器、３６…出力波形記憶器、３７…波形記憶器、９０…加算器、１００…音声帯域拡張装置。

Claims (3)

1. 周波数帯域が低域又は高域に制限された入力音声信号から、上記制限されて不足している帯域の信号成分を生成する不足帯域信号生成器であって、
   上記入力音声信号の有音、無音を判定する信号判定手段と、
   自手段へ入力された音声信号の周波数成分を特定の周波数だけ不足帯域側に変移させる周波数変移手段と、
   上記信号判定手段が無音と判定したときに、自手段へ入力された無音区間の音声信号をそのまま通過させると共に、上記信号判定手段が有音と判定したときに、自手段に入力された有音区間の音声信号を、代替音声信号に置き換えて出力する、上記周波数変移手段の後段又は前段に設けられた波形調整手段と、
   上記周波数変移手段及び上記波形調整手段を介した後の音声信号から、不足帯域範囲の成分を抽出し、不足帯域信号を出力する成分抽出手段とを有し、
   上記波形調整手段は、当該波形調整手段による処理が少なくとも施された音声信号を所定期間分だけ記憶する出力波形記憶器を備え、この出力波形記憶器に記憶されている音声信号の周期を検出し、この出力波形記憶器に記憶されている音声信号の一部を、検出した周期を単位として取出し、自手段へ入力された有音区間の音声信号に置き換える代替音声信号とする
   ことを特徴とした不足帯域信号生成器。
2. 上記信号判定手段は、上記入力音声信号のパワーを閾値と比較して、上記入力音声信号の有音、無音を判定することを特徴とする請求項１に記載の不足帯域信号生成器。
3. 周波数帯域が低域又は高域に制限された入力音声信号から、上記制限されて不足している帯域の信号成分を生成する、請求項１又は２に記載の不足帯域信号生成器と、
   この不足帯域信号生成器から出力された不足帯域信号と上記入力音声信号とを加算する加算手段とを備えた
   ことを特徴とする帯域拡張装置。

Images