JP4945586B2 - 信号帯域拡張装置 - Google Patents

信号帯域拡張装置 Download PDF

Info

Publication number
JP4945586B2
JP4945586B2 JP2009021717A JP2009021717A JP4945586B2 JP 4945586 B2 JP4945586 B2 JP 4945586B2 JP 2009021717 A JP2009021717 A JP 2009021717A JP 2009021717 A JP2009021717 A JP 2009021717A JP 4945586 B2 JP4945586 B2 JP 4945586B2
Authority
JP
Japan
Prior art keywords
signal
unit
band
frequency
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009021717A
Other languages
English (en)
Other versions
JP2010176090A (ja
Inventor
隆 須藤
将高 長田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009021717A priority Critical patent/JP4945586B2/ja
Priority to US12/558,959 priority patent/US8930184B2/en
Publication of JP2010176090A publication Critical patent/JP2010176090A/ja
Application granted granted Critical
Publication of JP4945586B2 publication Critical patent/JP4945586B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Description

この発明は、帯域制限された音声や音楽・オーディオなどの信号を広帯域信号に変換する信号帯域拡張装置に関する。
音声や音楽・オーディオなどの信号（入力信号）を広帯域に帯域拡張する場合、人工的ではない自然な音に聞こえるようにするためには、入力信号に含まれる帯域拡張したい信号（目的信号）に応じて、周波数帯域を拡張する処理方法を適宜変化させる必要がある。
従来、帯域拡張処理方法としては、目的信号が音声である場合は音声向けに線形予測分析を行った上で周波数帯域を拡張する手法、目的信号が音楽・オーディオである場合は音楽・オーディオ向けに周波数領域変換を行った上で周波数帯域を拡張する手法、目的信号が音声である場合でも有声音か無声音であるかに基づいて、拡張する周波数帯域を切り替える手法（例えば、特許文献１）があった。
特開２００２−８２６８５号公報
従来の信号帯域拡張装置では、入力信号に目的信号と目的信号以外の信号（非目的信号）が混在する場合でも、すべての区間で帯域拡張を行うため、大きな計算量が必要になるという課題があった。
この発明は上記の問題を解決すべくなされたもので、入力信号に目的信号と非目的信号が混在する場合でも、大きな計算量を必要とすることなく、目的信号に対して原音により忠実に周波数帯域を拡張することが可能な信号帯域拡張装置を提供することを目的とする。
上記の目的を達成するために、この発明は、入力信号が目的信号である度合いを算出する目的信号度合算出手段と、この目的信号度合算出手段の結果に応じて、目的信号である度合が低い程、より簡易に周波数帯域を拡張するように制御する制御手段とを具備して構成するようにした。
この発明によれば、入力信号に目的信号と非目的信号が混在する場合でも、大きな計算量を必要とすることなく、目的信号に対して原音により忠実に周波数帯域を拡張することが可能な信号帯域拡張装置を提供できる。
本発明の実施形態に係る通信装置およびディジタルオーディオプレイヤの構成を示す回路ブロック図。 信号帯域拡張部の構成を示す回路ブロック図。 図２に示した信号帯域拡張部の目的信号度合算出部の構成例を示す回路ブロック図。 図２に示した信号帯域拡張部の制御部の動作を説明するための動作制御図。 図２に示した信号帯域拡張部の高域拡張部の構成例を示す回路ブロック図。 図５に示した信号帯域拡張部の高域拡張部の広帯域化処理部の非線形処理で用いる非線形関数の例を示す図。 図２に示した信号帯域拡張部の低域拡張部の構成例を示す回路ブロック図。 図２に示した信号帯域拡張部の変形例を示す回路ブロック図。 図８に示した信号帯域拡張部の非目的信号抑圧部の構成例を示す回路ブロック図。 本発明の第２の実施形態に係わる信号帯域拡張装置の信号帯域拡張部の構成例を示す回路ブロック図。 図１０に示した信号帯域拡張部の制御部の動作を説明するための動作制御図。 図１０に示した信号帯域拡張部の第１の帯域拡張部の構成例を示す回路ブロック図。 図１０に示した信号帯域拡張部の第２の帯域拡張部の構成例を示す回路ブロック図。 図１０に示した信号帯域拡張部の第３の帯域拡張部の構成例を示す回路ブロック図。 図１０に示した信号帯域拡張部の第４の帯域拡張部の構成例を示す回路ブロック図。 図１５に示した信号帯域拡張部の低域拡張部の構成例を示す回路ブロック図。 図１０に示した信号帯域拡張部の第５の帯域拡張部の構成例を示す回路ブロック図。 本発明の第３の実施例に関わる信号帯域拡張装置の信号帯域拡張部の構成を示す回路ブロック図。 図１８に示した信号帯域拡張部の目的信号度合算出部の構成例を示す回路ブロック図。
以下、図面を参照して、この発明の実施形態について説明する。
（第１の実施例）
図１（ａ）は、この発明の一実施形態に係わる通信装置の構成を示すものである。この図に示す通信装置は、例えば携帯電話などの無線通信装置の受信系を示すものであって、無線通信部１と、デコーダ２と、信号帯域拡張部３と、ディジタル・アナログ（Ｄ／Ａ）変換器４と、スピーカ５とを備えている。
無線通信部１は、移動通信網に収容される無線基地局と無線通信し、そしてこの無線基地局および移動通信網を通じて通信相手局との間に通信リンクを確立して通信する。
デコーダ２は、無線通信部１が通信相手局から受信した受信データを、事前に決められた処理単位（1フレーム=Nサンプル）ごとに復号して、ディジタルの入力信号x[n] (n=0,1,…N-1)を得る。ただし、この入力信号x[n]は、サンプリング周波数はfs[Hz]で、fs_nb_low[Hz]からfs_nb_high[Hz]までに帯域制限された狭帯域の信号である。このようにして得られたディジタルの入力信号x[n]は、フレーム単位で信号帯域拡張部３に出力される。
信号帯域拡張部３は、１フレーム単位で上記入力信号x[n] (n=0,1,…N-1)に帯域拡張処理を施し、fs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張した出力信号y[n]を出力
する。このとき、出力信号y[n]のサンプリング周波数はデコーダ２でのサンプリング周波数fs[Hz]のままであるか、あるいはより高いサンプリング周波数fs’[Hz]に変更される。
ここでは、信号帯域拡張部３によって、サンプリング周波数fs’[Hz]の帯域拡張された出力信号y[n]が１フレーム単位で得られるとして説明する。ただし、fs_wb_low ≦ fs_nb_low < fs_nb_high < fs/2 ≦ fs_wb_high < fs’/2 を満たすものとする。また以下の説明では、低域拡張と高域拡張を例に挙げるため、fs_wb_low < fs_nb_low、fs_nb_high < fs_wb_highとして説明し、例えば、fs=8000[Hz]、fs’=16000[Hz]、fs_nb_low=340[Hz]、fs_nb_high=3950[Hz]、fs_wb_low=50[Hz]、fs_wb_high=7950[Hz]とする。また、ここでは１フレームをN=160サンプルとする。帯域制限の周波数帯域やサンプリング周波数、フレー
ムサイズについては、これに限らない。信号帯域拡張部３の具体的な構成例については後に詳述する。
D/A変換器４は、上記帯域拡張された出力信号y[n]をアナログ信号y(t)に変換して、ス
ピーカ５に出力する。スピーカ５は、アナログ信号である出力信号y(t)を音響空間へ出力する。
なお、図１（ａ）では、この発明を通信装置に適用した例を示したが、図１（ｂ）に示すように、ディジタルオーディオプレイヤに適用することも可能である。このディジタルオーディオプレイヤは、無線通信部１に代わって、フラッシュメモリやHDD(Hard Disk Drive)を用いた記憶部６を備え、この記憶部６から読み出した音楽データをデコーダ２が上述したように復号する。
次に、信号帯域拡張部３について説明する。図２は、本実施形態に係わる信号帯域拡張部３の構成を示すものである。図２に示すように、信号帯域拡張部３は、目的信号度合算出部３１と、制御部３２と、信号帯域拡張処理部３３とを備える。信号帯域拡張処理部３３は、アップサンプリング部３３０と、信号遅延処理部３３１、３３９と、信号加算部３３２と、切替器３３３、３３５、３３６、３３８と、高域拡張部３３４と、低域拡張部３３７とを備える。これらは、１つのプロセッサと、図示しない記憶媒体に記録されたソフトウェアによって実現することも可能である。
図３に目的信号度合算出部３１の構成例を示す。目的信号度合算出部３１は、特徴量抽出部３１１と、重み付け加算部３１２とを備える。特徴量抽出部３１１は、自己相関算出部３１１Ａと、自己相関係数最大値算出部３１１Ｂと、周波数領域変換部３１１Ｃと、周波数スペクトル更新部３１１Ｄと、周波数別ＳＮ比算出部３１１Ｅと、周波数別ＳＮ比総和算出部３１１Ｆと、周波数別ＳＮ比分散算出部３１１Ｇとを備える。
目的信号度合算出部３１は、入力信号x[n]が帯域拡張したい目的信号である度合を表す目的信号度合type[f]を算出する。本実施例では、帯域拡張したい目的信号は音声信号で
あるとする。入力信号x[n]には、目的信号である音声信号と、それ以外の非目的信号（ノイズ成分、エコー成分、残響成分、音楽など）が混在しており、すなわち目的信号度合算出部３１は、入力された１フレームごとの入力信号x[n]に目的信号である音声信号がどれぐらい含まれているかを示す目的信号度合type[f]を出力する。ここで、目的信号度合type[f]は、例えばＳＮ比を用いるなど入力信号に目的信号が含まれる割合や量を表してもよいし、例えば自己相関を用いるなど入力信号の信号特性と所望される目的信号の信号特性との類似している度合いを表してもよい。
ここではこれ以降も、音声や音声信号とは、人間の発話による声を表すとする。またここではこれ以降も、音楽やオーディオ信号とは、楽器の音や人間の歌声による音を表すとする。
特徴量抽出部３１１は、入力信号x[n]から目的信号度合type[f]を出力するための複数
の特徴量を抽出する。ここでは複数の特徴量として、１次自己相関係数Acorr[f,1]、自己相関係数最大値Acorr_max[f]、周波数別ＳＮ比総和snr_sum[f]、周波数別ＳＮ比分散snr_var[f]を例に挙げて説明する。目的信号度合type[f]を算出する特徴量は、音声信号にお
ける短時間での定常性・周期性や、音声信号におけるパワースペクトルの不均一性・粗密性を利用するなど、入力信号に音声信号がどれぐらい含まれているかを表現するものであれば何でも構わない。
自己相関算出部３１１Ａは、式（１）に示すように、フレーム単位でのパワーで正規化されて絶対値をとったk次自己相関係数Acorr[f,k] (k=1,…N-1)を計算し、自己相関係数
最大値算出部３１１Ｂに出力する。
Figure 0004945586
併せて、k=1である１次自己相関係数Acorr[f,1]を重み付け加算部３１２に出力する。１
次自己相関係数Acorr[f,1]は０から１の値をとり、０に近づくほどノイズ性が強い。つまり、１次自己相関係数Acorr[f,1]の値が小さいほど、入力信号に非目的信号が多く含まれ、目的信号である音声信号が少ないと判断される。
自己相関係数最大値算出部３１１Ｂは、自己相関算出部３１１Ａから出力された正規化されたk次自己相関係数Acorr[f,k] (k=1,…N-1)を入力として、k次自己相関係数Acorr[f,k](k=1,...,N-1)のうち最大となる自己相関係数Acorr[f,k]を、自己相関係数最大値Acorr_max[f]として出力する。自己相関係数最大値Acorr_max[f]は０から１の値をとり、音声
信号は短時間では定常的で周期性があるため１に近づき、０に近づくほど無相関でノイズ性が強い。つまり、自己相関係数最大値Acorr_max[f]の値が小さいほど、入力信号に非目的信号が多く含まれ、目的信号である音声信号が少ないと判断される。
周波数領域変換部３１１Ｃには、現在のフレームｆの入力信号x[n] (n=0,1,…N-1)が入力される。そして、この現在のフレームｆの入力信号と、窓掛けによるオーバーラップのサンプル数分の直前（１フレーム前）のフレームの入力信号におけるサンプルとを時間方向に結合し、適宜零詰めなどを行って、周波数領域変換に必要なサンプル（２Ｍ）分の入力信号x[n] (n=0,1,…2M-1)を取り出す。直前のフレームでの入力信号のシフト幅と現在
の入力信号のデータ長の比であるオーバーラップは、５０％である場合が考えられるが、ここでは、直前のフレームと現在のフレームとのオーバーラップのサンプル数をL=４８として、直前のフレームの入力信号Ｌサンプルと当該フレームの入力信号x[n]のN=１６０サンプル分とＬサンプル分の零詰めから、２Ｍ=２５６サンプルを用意するとする。この２
Ｍサンプルの信号に対して、正弦波窓による窓関数を乗じることで窓掛けを行う。そして、窓掛けを行った２Ｍサンプルの信号に対して周波数領域変換を行う。周波数領域への変換は、例えば次数を２ＭとしたＦＦＴ（Fast Fourier Transform）によって行うことができる。なお、周波数領域変換を施す信号に零詰めすることによってデータ長を２のべき乗（２Ｍ）にし、周波数領域変換の次数を２のべき乗（２Ｍ）にするとしたが、周波数領域変換の次数はこれに限らない。
入力信号x[n]が実信号である場合には、周波数領域変換を施して得られた信号から冗長なＭ=128ビンを除くと、周波数スペクトルX[f,w] (w=0,1,…M-1)が得られる。ただし、
ωは、周波数ビンを表す。周波数領域変換部３１１Ｃは、この周波数スペクトルX[f,w] (w=0,1,…M-1)を出力してもよいし、パワースペクトル|X[f,w]|2 (w=0,1,…M-1)や、振幅スペクトル|X[f,w]| (w=0,1,…M-1)や、位相スペクトルθX[f,w] (w=0,1,…M-1)を出力
してもよい。ここでは、パワースペクトル|X[f,w]|2 (w=0,1,…M-1)を出力するものとする。なお、入力信号x[n]が実信号のとき、冗長なのは本来Ｍ-1=127ビンであり、最高域の周波数ビンw=128を考慮するべきである。しかしながら、ここでは入力信号x[n]としてfs_nb_high=3950[Hz]までに帯域制限された音声信号を含むディジタル信号を前提としているため、最高域の周波数ビンw=128を考慮しなくても音質に影響を及ぼさない。そこで、こ
れ以降説明の簡略化のために、最高域の周波数ビンw=128を考慮しない記述にする。勿論
、最高域の周波数ビンw=128を考慮しても構わない。その際、最高域の周波数ビンw=128は、w=127と同等に扱うか、単独で扱うようにする。
なお、周波数領域変換部３１１Ｃで行う周波数領域変換は、FFTに限定されず、DFT(Discrete Fourier Transform)や離散コサイン変換（ＤＣＴ: Discrete Cosine Transform）
、修正離散コサイン変換（ＭＤＣＴ：Modified DCT）、ウォルシュ・アダマール変換（ＷＨＴ: Walsh Hadamard Transform）、ハーレ変換（ＨＴ: Harr Transform）、スラント変換（ＳＬＴ: Slant Transform）、カルーネン・レーベ変換（ＫＬＴ: Karhunen Loeve Transform）などの周波数領域に変換する他の直交変換を代用することも可能である。また
、窓掛けに用いる窓関数は、正弦波窓に限定せず、他の対称窓（ハニング窓、ブラックマン窓、ハミング窓など）あるいは音声符号化処理で用いられるような非対称窓などに適宜変更してよい。
周波数スペクトル更新部３１１Ｄは、重み付け加算部３１２から出力される目的信号度合type[f]と、周波数領域変換部３１１Ｃから出力される入力信号x[n]のパワースペクト
ル|X[f,w]|2 (w=0,1,…M-1)を用いて、各周波数帯域の非目的信号のパワースペクトル|N[f,w]|2 (w=0,1,…M-1)を推定して出力する。
まず、重み付け加算部３１２から出力される目的信号度合type[f]を用いて、フレーム
毎に入力信号x[n]は非目的信号が支配的に含まれている区間（非目的信号区間）であるか、そうではない区間、つまり目的信号である音声信号と非目的信号が混在している区間（目的信号区間）であるかの判別を行う。以降、当該成分のみしか存在しないか、あるいは当該成分が他の成分よりも非常に多く含まれる場合を「支配的に含まれる」と表現する。
非目的信号区間であるか目的信号区間であるかの判別は、例えば目的信号度合type[f]が
事前に決められた所定の閾値よりも小さい場合には非目的信号区間とし、そうでない場合には目的信号区間と判定するようにする。
そして、非目的信号が支配的に含まれる区間（非目的信号区間）であると判別されたフレームのパワースペクトル|X[f,w]|2 から平均的なパワースペクトルを算出し、これを各周波数帯域の非目的信号のパワースペクトル|N[f,w]|2 (w=0,1,…M-1)として出力する。
具体的には、式（２）に示されるように、各周波数帯域の非目的信号のパワースペクトル|N[f,w]|2 (w=0,1,…M-1)は、１フレーム前の各周波数帯域の非目的信号のパワースペク
トル|N[f-1,w]|2 を用いて再帰的に算出される。式（２）中の忘却係数αN[ω]は、１以
下の係数であって、例えば０．７５〜０．９５程度である。
Figure 0004945586
周波数別ＳＮ比算出部３１１Ｅには、周波数領域変換部３１１Ｃから出力される入力信号のパワースペクトル|X[f,w]|2と、周波数スペクトル更新部３１１Ｄから出力される非
目的信号のパワースペクトル|N[f,w]|2とが入力される。周波数別ＳＮ算出部３１１Ｅは
、入力信号のパワースペクトル|X[f,w]|2と非目的信号のパワースペクトル|N[f,w]|2との比である各周波数帯域のＳＮ比を算出する。ここでは、各周波数帯域のＳＮ比snr[f,ω]
は、式（３）を用いて算出され、ｄＢ表現されるものとする。
Figure 0004945586
周波数別ＳＮ比総和算出部３１１Ｆには、周波数別ＳＮ比算出部３１１Ｅから出力される各周波数帯域のＳＮ比snr[f,w] (w=0,1,…M-1)が入力される。周波数別ＳＮ比総和算出部３１１Ｆは、各周波数帯域のＳＮ比snr[f,w]の和を式（４）で算出し、周波数別ＳＮ比総和値snr_sum[f]として出力する。周波数別ＳＮ比総和値snr_sum[f]は０以上の値をとり、この値が小さいほど入力信号にノイズ成分などの非目的信号が多く含まれ、目的信号である音声信号が少ないと判断される。
Figure 0004945586
周波数別ＳＮ比分散算出部３１１Ｇには、周波数別ＳＮ比算出部３１１Ｅから出力される各周波数帯域のＳＮ比snr[f,w] (w=0,1,…M-1)が入力される。そして、周波数別ＳＮ比分散算出部３１１Ｇは、各周波数帯域の分散を下式（５）で算出し、周波数別ＳＮ比分散値snr_var[f]として出力する。周波数別ＳＮ比分散値snr_var[f]は０以上の値をとり、音声信号ではパワースペクトルが均一でなく粗密性があることでこの値が大きくなるため、この値が小さいほど入力信号にノイズ成分などの非目的信号が多く含まれ、目的信号である音声信号が少ないと判断される。
Figure 0004945586
重み付け加算部３１２は、特徴量抽出部３１１で抽出された複数の特徴量である、自己相関算出部３１１Ｃから出力された１次自己相関係数Acorr[f,１]、自己相関係数最大値
算出部３１１Ｄから出力された自己相関係数最大値Acorr_max[f]、周波数別ＳＮ比総和算出部３１１Ｆから出力される周波数別ＳＮ比総和値snr_sum[f]、周波数別ＳＮ比分散算出部３１１Ｇから出力される周波数別ＳＮ比分散値snr_var[f]を用いて、これらにそれぞれ所定の重みによる重み付けを行い、これら複数の特徴量の重み付け和である目的信号度合type[f]を算出する。ここでは、目的信号度合type[f]が小さいほど非目的信号が支配的であるとし、大きいほど目的信号が支配的であるとする。重み付け加算部３１２は、例えば、重みw1、w2、w3、w4（ただしw1≧０、w2≧０、w3≧０、w4≧０）を線形識別関数による判定を用いた学習アルゴリズムなどで予め学習させておいた値に設定して、目的信号度合type[f]を、type[f] = w1・Acorr[f,1] + w2・Acorr_max[f] + w3・snr_sum[f] + w4・snr_var[f]と算出する。勿論、目的信号度合type[f]は、特徴量の１次の線形和によって表
すことに限定されなく、多次数の線形和で表現されたり、複数の特徴量による乗算項を含んで表現されたりしても構わない。
以上のように、周波数領域変換部３１１Ｃと、周波数スペクトル更新部３１１Ｄと、周波数別ＳＮ比算出部３１１Ｅと、周波数別ＳＮ比総和算出部３１１Ｆと、周波数別ＳＮ比分散算出部３１１Ｇは、周波数ビンごとに処理するように説明したが、周波数領域変換によって得られる隣接する複数の周波数ビンをまとめてグループを作り、そのグループ単位で処理を行ったり、周波数領域変換をフィルタバンクなどの帯域分割フィルタで実現してその帯域単位で処理を行ったりして、その結果に応じて目的信号度合type[f]をフレーム
単位で算出しても構わない。
また、目的信号度合算出部３１で目的信号度合type[f]を算出する際に、前述した複数
の特徴量を全て使わなくてもよいし、他の特徴量を追加して用いてもよい。他の特徴量としては、後述する平均零交差数Zi[f]、LPCスペクトル包絡の平均値Vi[f]、フレームパワ
ーCi[f]などを用いてよいし、無線通信部１あるいはデコーダ２から出力されるコーデッ
ク情報、例えば、無音挿入記述子（ＳＩＤ）や音声検出器（ＶＡＤ）による音声であるか音声でないかを表す音声検出情報や擬似背景雑音を生成したかどうかの情報などを用いてもよい。すなわち、目的信号度合type[f]を算出する特徴量は、入力信号に音声信号が含
まれる割合や量、入力信号が音声信号の信号特性との類似している度合などによって、入力信号に音声信号がどれぐらい含まれているかを表現するものであれば何でも構わない。
制御部３２は、目的信号度合算出部３１から出力される目的信号度合type[f]を入力と
して、目的信号度合type[f]に応じて、高域拡張部３３４と低域拡張部３３７を動作させ
るか動作させないかを制御する制御信号control[f]を出力する。図４に制御部３２の制御動作を示す。このように制御部３２では、目的信号である度合が低いほど簡易で低音質な帯域拡張処理方法になるように制御し、目的信号である度合が高いほど高精度で高音質な帯域拡張処理方法になるように制御する。またこのように制御部３２では、目的信号である度合が低いほど拡張する周波数帯域の範囲が狭い帯域拡張処理方法になるように制御し、目的信号である度合が高いほど拡張する周波数帯域の範囲が広い帯域拡張処理方法になるように制御する。さらにこのように制御部３２では、目的信号である度合が低いほど低域への帯域拡張処理を動作させないように制御し、目的信号である度合が高いほど高域への帯域拡張処理と低域への帯域拡張処理の両方が動作するように制御する。
一般的に、低音質な帯域拡張処理方法であるほど簡易な処理となるため小さい計算量となり、高音質な帯域拡張処理方法であるほど高精度な処理となるため大きい計算量となる。従って、このようにすれば、目的信号は高精度に帯域拡張処理することで高音質を維持でき、非目的信号は高精度に帯域拡張する必要がないため簡易な帯域拡張処理にして計算量を少なくすることができる。
具体的には、制御部３２は、目的信号度合type[f]を所定の閾値THR_A、THR_Bと比較し
、目的信号度合type[f]がTHR_A以上である場合は制御信号control[f]＝2として高域拡張
部３３４と低域拡張部３３７を共に動作させるように制御し、目的信号度合type[f]がTHR_A未満かつTHR_B以上である場合は制御信号control[f]＝1として高域拡張部３３４を動作させ低域拡張部３３７を動作させないように制御し、目的信号度合type[f]がTHR_B未満である場合は制御信号control[f]＝0として高域拡張部３３４と低域拡張部３３７を共に動
作させないように制御する。信号帯域拡張処理部３３は、制御信号control[f]＝2が入力
された場合は、切替器３３３と切替器３３５と切替器３３６と切替器３３８を閉じて、高域拡張部３３４と低域拡張部３３７を共に動作させるようにする。一方、制御信号control[f]＝1が入力された場合は、切替器３３３と切替器３３５を閉じて、高域拡張部３３４
を動作させるようにし、切替器３３６と切替器３３８を開放して、低域拡張部３３７を動作させないようにする。また、制御信号control[f]＝0が入力された場合は、切替器３３
３と切替器３３５と切替器３３６と切替器３３８を開放して、高域拡張部３３４と低域拡張部３３７を共に動作させないようにする。
なお、制御部３２は、制御信号control[f]を頻繁に変化させないように制御してもよい。目的信号度合type[f]はフレーム単位で算出されるため、一発話内の瞬時的な無音や無
声音などでは制御信号control[f]が頻繁に切り替わることで、帯域拡張の処理方法が頻繁に変更になり異音を生じてしまう可能性がある。従って、以下のような処理を実施することによって、一発話内においてフレーム単位で制御信号control[f]が頻繁に切り替わることを抑制することができる。
まず、切替を許可する情報として、以下のようにフレーム毎に累積加算する変数sum_flag[f]及びsum_flag2[f]を算出する。ただし、sum_flag[0]=0、sum_flag2[0]=0と信号帯域拡張部３の動作開始時に値を０にする。control_tmp[f]=control[f]と制御信号control[f]を格納しておき、control_tmp[f]＝1またはcontrol_tmp[f]＝2の場合、sum_flag[f] = sum_flag[f] + 1として、control[f]=1またはcontrol[f]=2であることを維持しやすくしたり、control[f]=0であることを更新しやすくしたりする。それに対して、control_tmp[f]=0の場合、sum_flag[f] = sum_flag[f] - 1として、control[f]=1またはcontrol[f]=2で
あることを更新しやすくしたり、control[f]=0であることを維持しやすくしたりする。同様にして、control_tmp[f]＝2の場合、sum_flag2[f] = sum_flag2[f] + 1とし、control_tmp[f]=0またはcontrol_tmp[f]＝1の場合、sum_flag2[f] = sum_flag2[f] - 1とする。
次に、語頭での検出を俊敏にするために、sum_flag[f] < -3の場合は、sum_flag[f] = -3として、sum_flag[f]の下限を制御する。同様にして、sum_flag2[f] < -3の場合は、sum_flag2[f] = -3とする。
そして、フレーム単位で頻繁に切り替わらないように変数sum_flag[f]及びsum_flag2[f]を用いて制御信号control[f]を以下のように判定条件を（１）〜（４）に優先順位付け
し、更新する。なお、番号が少ない方が優先順位が高く、条件が重なった場合は優先順位が高い条件における処理が実行される。
（１）control_tmp[f]=1かつsum_flag2[f]>0の場合、control[f]＝2として更新する。
（２）control_tmp[f]=2かつsum_flag2[f]<0の場合、control[f]＝1として更新する。
（３）control_tmp[f]=0かつsum_flag[f]>0の場合、control[f]＝1として更新する。
（４）control_tmp[f]=1かつsum_flag[f]<0の場合、control[f]=0として更新する。
（５）その他の場合は、制御信号control[f]=control_tmp[f]として制御信号control[f]を維持する。
このようにすることで、一発話内においてフレーム単位で制御信号control[f]が頻繁に切り替わらないようにすることができ、帯域拡張の処理方法を頻繁に変更せずに常に自然な音質を保つことができる。
また、一発話内においてフレーム単位で制御信号control[f]が頻繁に切り替わらないようにするための別の方法として、control[f]=0からcontrol[f]=1へ切り替わるための閾値とcontrol[f]=1からcontrol[f]=0へ切り替わるための閾値とで異なった閾値を用いたり、制御信号control[f]が頻繁に切り替わりにくいように強制的に所定の時間は継続して同じ制御信号control[f]の結果を出力するように制御信号control[f]の制御を行ったりしても構わない。
信号帯域拡張処理部３３は、入力信号x[n]に対して帯域拡張し、広帯域信号y[n]を出力信号として得る。このとき、制御部３２から出力される制御信号control[f]に応じて、帯域拡張する処理を変化させる。
高域拡張部３３４は、制御部３２から出力される制御信号control[f]に応じて、動作するか動作しないか制御される。高域拡張部３３４は、制御信号control[f]＝1または2の場合に切替器３３３が閉じられることで動作し、動作する場合は入力信号x[n]に高域拡張処理を施すことによって入力信号x[n]の周波数帯域よりも高い周波数帯域を拡張した高域の広帯域信号y_high[n]を生成し、切替器３３５が閉じられることで高域の広帯域信号y_high[n]を出力する。一方で、高域拡張部３３４は、制御信号control[f]＝0の場合に切替器
３３３が開放されることで動作せず、切替器３３５が開放されることで高域の広帯域信号y_high[n]を出力しない。
高域拡張部３３４は、例えば図５に示すように構成される。高域拡張部３３４は、窓掛け部３３４Ａと、線形予測分析部３３４Ｂと、線スペクトル周波数変換部３３４Ｃと、スペクトル包絡広帯域化処理部３３４Ｄと、逆フィルタ部３３４Ｅと、帯域通過フィルタ部３３４Ｆと、アップサンプリング部３３４Ｇと、広帯域化処理部３３４Ｈと、有声／無声推定部３３４Ｉと、パワー制御部３３４Ｊと、雑音生成部３３４Ｋと、パワー制御部３３４Ｌと、信号加算部３３４Ｍと、信号合成部３３４Ｎと、フレーム合成処理部３３４Ｏと、帯域通過フィルタ部３３４Ｐとを備える。
窓掛け部３３４Ａは、狭帯域に帯域制限された現在のフレームｆの入力信号x[n] (n=0,1,…N-1)が入力され、このフレームと直前の１フレーム前の入力信号の合計２フレームを時間方向に結合したデータ長2Nの入力信号x[n] (n=0,1,…2N-1)に対して、窓関数をハミ
ング窓として窓関数を入力信号x[n]に乗じて、データ長2Nの窓掛けを行い、窓掛けを行った入力信号wx[n] (n=0,1,…2N-1)を出力する。なお、１フレーム前の入力信号x[n]は、窓掛け部３３４Ａが備えるメモリを用いて保持する。ここでは、例として、次の時刻（フレーム）での入力信号x[n]のシフト幅（ここではNサンプル）と窓掛けを行った入力信号wx[n]のデータ長（ここでは2Nサンプル）の比であるオーバーラップは50%としている。ただ
し、窓掛けに用いる窓関数は、ハミング窓に限定せず、他の対称窓（ハニング窓、ブラックマン窓、正弦波窓など）あるいは音声符号化処理で用いられるような非対称窓などに適宜変更してよい。またオーバーラップは、50%に限らない。
線形予測分析部３３４Ｂは、窓掛け部３３４Ａから出力された窓掛けを行った入力信号wx[n] (n=0,1,…2N-1)が入力され、これに対してDnb次の線形予測分析を行い、Dnb次の線形予測係数LPC[f,d]（d=1,…,Dnb）を得る。ここでは例えば、Dnb=10とする。
線スペクトル周波数変換部３３４Ｃは、線形予測分析部３３４Ｂで得た線形予測係数LPC[f,d]（d=1,…,Dnb）を、同じ次数の線スペクトル周波数（LSF）に変換して、狭帯域の
スペクトル包絡を表す狭帯域スペクトルパラメータとして線スペクトル周波数LSF_NB[f,d]（d=1,…,Dnb）を得て、スペクトル包絡広帯域化処理部３３４Ｄに出力する。この実施
形態では、狭帯域のスペクトル包絡を表現する狭帯域スペクトルパラメータとして、線スペクトル周波数を用いる場合を例にしているが、狭帯域スペクトルパラメータとして、線形予測(LPC)係数や線スペクトル対(LSP)、PARCOR係数や反射係数、ケプストラム係数、メルケプストラム係数などを用いてもよい。
スペクトル包絡広帯域化処理部３３４Ｄは、狭帯域信号のスペクトル包絡を表す狭帯域スペクトルパラメータと広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータとの対応を事前にモデル化しておき、狭帯域スペクトルパラメータ（ここでは線スペクトル周波数LSF_NB[f,d]）を取得し、このスペクトルパラメータを用いて、モデル化してお
いた狭帯域スペクトルパラメータと広帯域スペクトルパラメータとの対応から広帯域スペクトルパラメータ（ここでは線スペクトル周波数LSF_WB[f,d]）を求める処理を行う。狭
帯域のスペクトル包絡を表すスペクトルパラメータから広帯域のスペクトル包絡を表すスペクトルパラメータに変換する手法としては、ベクトル量子化(VQ)による符号帳を用いる手法（例えば、吉田, 阿部, ”コードブックマッピングによる狭帯域音声から広帯域音声の生成法”, 信学論(D-II), vol.J78-D-II, No.3, pp.391-399, Mar. 1995.）や、GMMを
用いる手法（例えば、K. Y. Park, H. S. Kim, ”Narrowband to Wideband Conversion of Speech using GMM based Transformation”, Proc. ICASSP2000, vol.3, pp.1843-1846, Jun. 2000.）や、ベクトル量子化(VQ)による符号帳とHMMを用いる手法（例えば、G. Chen, V. Parsa, ”HMM-based Frequency Bandwidth Extension for Speech Enhancement using Line Spectral Frequencies”, Proc. ICASSP2004, vol.1, pp.709-712, 2004.）や、HMMを用いる手法（例えば、S. Yao, C. F. Chan, ”Block-based Bandwidth Extension of Narrowband Speech Signal by using CDHMM”, Proc. ICASSP2005, vol.1, pp.793-796, 2005.）などがあり、どれを用いても構わない。ここでは、例えば前述のGMM(Gaussian mixture model)を利用する手法を用いるとして、線スペクトル周波数変換部３３４Ｃで得た狭帯域スペクトルパラメータである線スペクトル周波数LSF_NB[f,d]を、fs_wb_low[Hz]からfs_wb_high[Hz]までに対応する第２の広帯域スペクトルパラメータであるDwb次の
広帯域の線スペクトル周波数LSF_WB[f,d]（d=1,…,Dwb）に、事前に線スペクトル周波数LSF_NB[f,d]と線スペクトル周波数LSF_WB[f,d]の対応をモデル化しておいたGMMを利用して変換する。ここでは例えばDwb=18とする。なお、広帯域のスペクトルパラメータであるスペクトル包絡を表す特徴量データは、線スペクトル周波数に限らず、例えばLPC係数、PARCOR係数や反射係数、ケプストラム係数、メルケプストラム係数などでも構わない。
逆フィルタ３３４Ｅは、線形予測分析部３３４Ｂから出力される線形予測係数LPC[f,d]を用いて逆フィルタを形成し、その逆フィルタに窓掛け部３３４Ａから出力されるデータ長2Nの窓掛けした入力信号wx[n]を入力して、狭帯域音源信号であるデータ長2Nの線形予
測残差信号e[n]を出力する。
帯域通過フィルタ部３３４Ｆは、逆フィルタ３３４Ｅの出力である線形予測残差信号e[n]から広帯域化に用いる周波数帯域を通過させるためのフィルタであって、帯域制限によって劣化した低域の影響を除去するために、少なくとも低域を低減する特性を有する。ここでは例えば1000[Hz]〜3400[Hz]を通過させる帯域通過フィルタとする。具体的には、逆フィルタ３３４Ｅで得たデータ長2Nの線形予測残差信号e[n]を入力として、帯域通過フィルタ処理し、帯域通過処理した線形予測残差信号をe_bp[n]としてアップサンプリング部
３３４Ｇに出力する。
アップサンプリング部３３４Ｇは、アップサンプリング部３３０と同様の処理を実施するものであって、帯域通過フィルタ部３３４Ｆから出力された信号e_bp[n]を、サンプリ
ング周波数fs[Hz]からfs’[Hz]にアップサンプリングし、エイリアシングを除去し、データ長4Nの信号e_us[n]として出力する。
広帯域化処理部３３４Ｈは、アップサンプリング部３３４Ｇで得たアップサンプリングされたデータ長4Nの線形予測残差信号e_us[n]に非線形処理を施して、少なくとも有声音
では基本周波数の倍音ごとに周波数領域でピークを持つ構造（調波構造）となる広帯域信号に変換する。これによって、広帯域化されたデータ長4Nの線形予測残差信号e_wb[n]が
得られる。
このような調波構造に変換する非線形処理の一例としては、図６（ａ）〜（ｂ）に示すような非線形関数を用いた非線形処理がある。図６（ａ）は半波整流を表す。また、調波構造にする非線形処理としては図６（ｂ）のように全波整流を用いることもできる。これらの処理に限らないが、帯域制限された入力信号が、この帯域制限によって、有声音において、基本周波数が欠落していた場合は基本周波数を生成し、基本周波数が欠落していない場合は基本周波数を生成しないようにするために、少なくとも周期性を残す関数が望ましい。
有声／無声推定部３３４Ｉは、入力信号x[n]と、線形予測分析部３３４Ｂが線形予測分析した狭帯域スペクトルパラメータであるDn次の線形予測係数LPC[f,d]とを入力として、入力信号x[n]がフレーム単位で「有声音」であるか「無声音」であるかを推定し、その推定情報vuv[f]を出力する。具体的には、有声／無声推定部３３４Ｉは、まず入力信号x[n]からフレーム単位での零交差の数を算出し、それをフレーム長Nで割って平均化した上で
マイナスにした負の平均零交差数Zi[f]を算出する。次に、式（６）に示すように、フレ
ーム単位での入力信号x[n]の２乗和をdB単位で計算し、これをフレームパワーCi[f]とす
る。
Figure 0004945586
また、式（７）に示すように、フレーム単位での１次自己相関係数In[f]を計算する。な
お、前述した目的信号度合算出部３１における自己相関算出部３１１Ｃから出力されるパワーで正規化した１次自己相関係数Acorr[f,1]をそのままIn[f]として用いてもよい。
Figure 0004945586
そして、狭帯域スペクトルパラメータであるDn次の線形予測係数LPC[f,d]に零詰めしてデータ長を２のべき乗であるMの信号を生成し、次数をMとしたＦＦＴを行う。例えば、M=256とする。wは周波数ビンの番号を表し、0≦w≦M-1とする。ＦＦＴの結果、周波数スペク
トルL[f,ω]を得て、周波数スペクトルL[f,ω]の２乗であるパワースペクトル|L[f,ω]|2に対して１０を底とする対数を取り−１０倍することでLPCによるスペクトル包絡をdB単
位で算出し、基本周波数が存在すると想定される帯域におけるLPCによるスペクトル包絡
の平均値Vi[f]を式（８）に示すように算出する。なお、例えば基本周波数が存在すると
想定される帯域を75[Hz]≦fs・ω/256[Hz]≦325[Hz]とし、つまりVi[f]として2≦ω≦11
の平均を求める。
Figure 0004945586
そして有声／無声推定部３３４Ｉは、負の平均零交差数Zi[f]、１次自己相関係数In[f]、LPCスペクトル包絡の平均値Vi[f]に対してそれぞれ適宜重みを付けた線形和にフレームパワーCi[f]を乗じた値をフレーム毎に監視し、所定の閾値を超えた場合に「有声音」であ
ると推定し、所定の閾値を超えない場合に「無声音」と推定し、その推定情報vuv[f]を出力する。
パワー制御部３３４Ｊは、アップサンプリング部３３４Ｇから出力されたデータ長4Nの信号e_us[n]と有音／無声推定部３３４Ｉから出力された１次自己相関係数In[f]に基づいて、広帯域化処理部３３４Ｈで得られた広帯域化されたデータ長4Nの信号e_wb[n]を所定
のレベルまで増幅し、e2_wb[n]として信号加算処理部３３４Ｍに出力する。具体的には、まずデータ長4Nの信号e_us[n]の２乗和を求め、データ長4Nの信号e_wb[n]の２乗和を求め、信号e_us[n]の２乗和を信号e_wb[n]の２乗和で割って増幅ゲインg1[f]を求める。次に
、有声音である程レベルを増幅させるために、１次自己相関係数In[f]の絶対値が1に近づけば1に近づき、１次自己相関係数In[f]の絶対値が0に近づけば0に近づく増幅ゲインg2[f]を求める。そして、増幅ゲインg1[f]とg2[f]を信号e_wb[n]に乗じることでパワー制御を行う。
雑音生成部３３４Ｋは、有声／無声推定部３３４Ｉの推定結果である推定情報vuv[f]が「無声音」の場合に、一様にランダムな乱数を生成し、それを信号の振幅値にすることにより、白色化された雑音信号wn[n]をデータ長4N分生成して出力する。
パワー制御部３３４Ｌは、アップサンプリング部３３４Ｇから出力されたデータ長4Nの信号e_us[n]と有音／無声推定部３３４Ｉから出力された１次自己相関係数In[f]に基づいて、雑音生成部３３４Ｋが生成した雑音信号wn[n]を所定のレベルまで増幅し、wn2[n]と
して信号加算処理部３３４Ｍに出力する。具体的には、まずデータ長4Nの信号e_us[n]の
２乗和を求め、データ長4Nの雑音信号wn[n]の２乗和を求め、信号e_us[n]の２乗和を雑音信号wn[n]の２乗和で割って増幅ゲインg3[f]を求める。次に、無声音である程レベルを増幅させるために、１次自己相関係数In[f]の絶対値が0に近づけば1に近づき、１次自己相
関係数In[f]の絶対値が1に近づけば0に近づく増幅ゲインg4[f]を求める。そして、増幅ゲインg3[f]とg4[f]を雑音信号wn[n]に乗じることでパワー制御を行い、その信号wn2[n]を
出力する。
信号加算処理部３３４Ｍは、パワー制御部３３４Ｌから出力される雑音信号wn2[n]と、パワー制御部３３４Ｊから出力される信号e2_wb[n]とを加算して、データ長4Nの信号e3_wb[n]を広帯域音源信号として信号合成部３３４Ｎに出力する。
信号合成部３３４Ｎは、スペクトル包絡広帯域化処理部３３４Ｄで得た上記広帯域スペクトルパラメータである線スペクトル周波数LSF_WB[f,d]（d=1,…,Dwb）に基づいて線ス
ペクトル対LSP_WB[f,d]（d=1,…,Dwb）を生成して、信号加算処理部３３４Ｍで得た広帯
域音源信号であるデータ長4Nの線形予測残差信号e3_wb[n]にＬＳＰ合成フィルタ処理を行い、データ長4Nの広帯域信号y1_high[n]を算出する。
フレーム合成処理部３３４Ｏは、窓掛け部３３４Ａでのオーバーラップ分を戻すようにフレーム合成を行い、データ長2Nの広帯域信号y2_high[n]を算出する。具体的には、ここではオーバーラップ50%であるため、データ長4Nの広帯域信号y1_high[n]の時間的に前半
のデータ（データ長2N）と、１フレーム前に信号合成部３３４Ｎが出力したデータ長4Nの広帯域信号y1_high[n]の時間的に後半のデータ（データ長2N）とを加算して、データ長2Nの広帯域信号y2_high[n]を算出する。
帯域通過フィルタ部３３４Ｐは、フレーム合成処理部３３４Ｏから出力されたデータ長2Nの広帯域信号y2_high[n]に対して、拡張した周波数帯域のみを通過させるフィルタ処理を施し、これにより通過した信号、すなわち拡張した周波数帯域の信号をデータ長2Nの高域の広帯域信号y_high[n]として出力する。つまり、上記フィルタ処理により、fs_nb_high[Hz]からfs_wb_high[Hz]までの周波数帯域を通過させて、この周波数帯域の信号が高域
の広帯域信号y_high[n]として得られる。
低域拡張部３３７は、制御部３２から出力される制御信号control[f]に応じて、動作するか動作しないか制御される。低域拡張部３３７は、制御信号control[f]＝2の場合に切
替器３３６が閉じられることで動作し、動作する場合は入力信号x[n]に低域拡張処理を施して、入力信号x[n]の周波数帯域よりも低い周波数帯域を拡張した低域の広帯域信号y_low[n]を生成し、切替器３３８が閉じられることで低域の広帯域信号y_low[n]を出力する。
一方で、低域拡張部３３７は、制御信号control[f]＝0または1の場合に切替器３３６が開放されることで動作せず、切替器３３８が開放されることで低域の広帯域信号y_low[n]を出力しない。
低域拡張部３３７は、例えば図７に示すように構成される。低域拡張部３３７は、窓掛け部３３７Ａと、線形予測分析部３３７Ｂと、逆フィルタ部３３７Ｃと、広帯域化処理部３３７Ｄと、信号合成部３３７Ｅと、フレーム合成処理部３３７Ｆと、帯域通過フィルタ部３３７Ｇと、アップサンプリング部３３７Ｈとを備える。
窓掛け部３３７Ａは、窓掛け部３３４Ａと同様の処理を実施するものであって、狭帯域に帯域制限された現在のフレームｆの入力信号x[n] (n=0,1,…N-1)が入力され、このフレームと直前の１フレーム前の入力信号の合計２フレームを時間方向に結合したデータ長2Nの入力信号x[n] (n=0,1,…2N-1)に対して、窓関数を入力信号に乗じて、データ長2Nの窓
掛けを行い、窓掛けを行った入力信号wx_low[n] (n=0,1,…2N-1)を出力する。勿論、wx_low[n]＝wx[n] (n=0,1,…2N-1)として、窓掛け部３３４Ａと処理を共通化させてもよい。
線形予測分析部３３７Ｂは、線形予測分析部３３４Ｂと同様の処理を実施するものであって、窓掛け部３３７Ａから出力された窓掛けを行った入力信号wx_low[n] (n=0,1,…2N-1)が入力され、これを線形予測分析して、第２の狭帯域スペクトルパラメータとしてDn次の線形予測係数LPC_low[f,d]（d=1,…,Dn）を得る。ここでは例えばDn=14とする。勿論、Dn＝DnbとしLPC_low[f,d]＝LPC[f,d]として、前記狭帯域スペクトルパラメータと第２の
狭帯域スペクトルパラメータを同じにして、線形予測分析部３３４Ｂと処理を共通化させてもよい。
逆フィルタ３３７Ｃは、逆フィルタ３３４Ｅと同様の処理を実施するものであって、線形予測分析部３３７Ｂで得た第２の狭帯域スペクトルパラメータである線形予測係数LPC_low[f,d]を用いて逆フィルタを形成し、その逆フィルタに窓掛け部３３７Ａで窓掛けしたデータ長2Nの入力信号wx[n]を入力して、第２の狭帯域音源信号としてデータ長2Nの線形
予測残差信号e_low[n]を得る。勿論、Dn＝DnbとしLPC_low[f,d]＝LPC[f,d]として、逆フ
ィルタ３３４Ｅと処理を共通化させてもよい。
広帯域化処理部３３７Ｄは、広帯域化処理部３３４Ｈと同様の処理を実施するものであって、逆フィルタ３３７Ｄから出力されたデータ長2Nの信号e_low[n]に非線形処理を施して、少なくとも有声音では基本周波数の倍音ごとに周波数領域でピークを持つ構造（調波構造）となる広帯域信号に変換する。これによって、広帯域化されたデータ長2Nの線形予測残差信号e_low_wb[n]が得られる。
信号合成部３３７Ｅは、狭帯域スペクトルパラメータである線形予測係数LPC_low[f,d]と、データ長2Nの線形予測残差信号e_low_wb[n]を入力として、線形予測係数LPC_low[f,d]を用いて線形予測合成フィルタを生成し、データ長2Nの線形予測残差信号e_low_wb[n]に線形予測合成を行って、データ長2Nの広帯域信号y1_low[n]を生成する。
フレーム合成処理部３３７Ｆは、フレーム合成処理部３３４Ｏと同様の処理を実施するものであって、窓掛け部３３７Ａでのオーバーラップ分を戻すようにフレーム合成を行い、データ長Nの広帯域信号y2_low[n]を算出する。具体的には、ここではオーバーラップ50%であるため、データ長2Nの広帯域信号y1_low[n]の時間的に前半のデータ（データ長N）
と、１フレーム前に信号合成部３３７Ｅが出力したデータ長2Nの広帯域信号y1_low[n]の
時間的に後半のデータ（データ長N）とを加算して、データ長Nの広帯域信号y2_low[n]を
算出する。
帯域通過フィルタ３３７Ｇは、フレーム合成処理部３３７Ｆから出力されるデータ長N
の広帯域信号y2_low[n]に対して、拡張したい周波数帯域のみを通過させるフィルタ処理
を施し、これにより通過した信号、すなわち拡張したい周波数帯域の信号をデータ長Nの
広帯域信号y3_low[n]として出力する。つまり、上記帯域通過フィルタ処理により、fs_wb_low[Hz]からfs_nb_low[Hz]までの周波数帯域を通過させて、この周波数帯域の信号が広
帯域信号y3_low[n]として得られる。
アップサンプリング部３３７Ｈは、帯域通過フィルタ３３７Ｇから出力されたデータ長Nの広帯域信号y3_low[n]を、サンプリング周波数fs[Hz]からfs’[Hz]にアップサンプリングし、エイリアシングを除去し、データ長2Nの低域の広帯域信号y_low[n]として出力する。
アップサンプリング部３３０は、アップサンプリング部３３４Ｇと同様の処理を実施するものであって、データ長Nの入力信号x[n]を、サンプリング周波数fs[Hz]からfs’[Hz]
にアップサンプリングし、エイリアシングを除去し、データ長2Nのx_us[n]として出力す
る。
信号遅延処理部３３１は、アップサンプリング部３３０から出力されたデータ長2Nのアップサンプリングされた入力信号x_us[n]を所定の時間（D1サンプル分）だけバッファす
ることによって遅延させ、x_us[n-D1]として出力することで、高域拡張部３３４から出力される信号y_high[n]とタイミングを合わせて同期をとる。すなわち、所定の時間（D1サ
ンプル分）は、高域拡張部３３４での入力から出力が得られるまでの処理遅延の時間D_highから、アップサンプリング部３３０での入力から出力が得られるまでの処理遅延の時間D_usを引いた分に相当する（D1＝D_high−D_us）。この値は、事前に求めておき、D1を常に固定値として用いる。
信号遅延処理部３３９は、低域拡張部３３７から出力されたデータ長2Nの広帯域信号y_low[n]を所定の時間（D2サンプル分）だけバッファすることによって遅延させ、y_low[n-D2]として出力することで、高域拡張部３３４から出力される信号y_high[n]とタイミングを合わせて同期をとる。すなわち、所定の時間（D2サンプル分）は、高域拡張部３３４での入力から出力が得られるまでの処理遅延の時間D_highから、低域拡張部３３７での入力から出力が得られるまでの処理遅延の時間D_lowを引いた分に相当する（D2＝D_high−D_low）。この値は、事前に求めておき、D2を常に固定値として用いる。ただし、信号遅延処理部３３９は、制御信号control[f]＝2であって、低域拡張部３３７が動作して低域の広
帯域信号y_low[n]が出力される場合のみ動作をする。
信号加算部３３２は、制御信号control[f]＝2のとき、信号遅延処理部３３１から出力
されるデータ長2Nの入力信号x_us[n-D1]と、信号遅延処理部３３９から出力されるデータ長2Nの広帯域信号y_low[n-D2]と、高域拡張部３３４から出力されるデータ長2Nの広帯域
信号y_high[n]とを、サンプリング周波数fs’[Hz]で加算して、データ長2Nの広帯域信号y[n]を出力信号として得る。これにより、アップサンプリングされた入力信号x[n-D1]は、広帯域信号y_high[n]と広帯域信号y_low[n]の分だけ帯域拡張されて、fs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張した信号が得られる。制御信号control[f]＝1のときは
、信号加算部３３２は、信号遅延処理部３３１から出力されるデータ長2Nの入力信号x_us[n-D1]と、高域拡張部３３４から出力されるデータ長2Nの広帯域信号y_high[n]とを、サ
ンプリング周波数fs’[Hz]で加算して、データ長2Nの広帯域信号y[n]を出力信号として得る。これにより、アップサンプリングされた入力信号x[n-D1]は、広帯域信号y_high[n]の分だけ帯域拡張されて、fs_nb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張した信号が
得られる。制御信号control[f]＝0のときは、信号加算部３３２は、信号遅延処理部３３
１から出力されるデータ長2Nの入力信号x_us[n-D1]をそのままデータ長2Nの広帯域信号y[n]として出力信号とする。すなわち、この場合はアップサンプリングされるだけで帯域拡張されない。
このように構成した信号帯域拡張部３を信号帯域拡張装置に適用すれば、入力信号に目的信号である音声信号とそれ以外の非目的信号（ノイズ成分、エコー成分、残響成分、音楽など）が混在した場合に、常に高精度な帯域拡張処理を行うのではなく、目的信号である音声信号がどれぐらい含まれているかの目的信号度合に応じて帯域拡張処理の方法を変化させ、目的信号度合が高い場合は目的信号を高精度に帯域拡張処理することで原音により忠実に帯域を拡張することができて高音質を維持でき、目的信号度合が低い場合は非目的信号が多く、ユーザが所望しない非目的信号をそれ程高精度に帯域拡張処理をする必要がないため、処理を部分的に省いた簡易な帯域拡張処理にして計算量を少なくすることができる。
なお、この実施例では、デコーダ２から信号帯域拡張部３に入力信号x[n]のみが入力される構成となっているが、デコーダ２で得られた情報やそれを加工した情報（例えば線形予測係数LPC[f,d]や線形予測残差信号e[n]など）を信号帯域拡張部３で用いるようにしてもよい。このようにすることで、各信号を算出するモジュールが不要となり、計算量をさらに少なくすることができる。
（第１の実施例の変形例）
信号帯域拡張部３に、図８に示すような非目的信号抑圧部３４を追加してもよい。非目的信号抑圧部３４は、非目的信号区間判定部３４１と、非目的信号レベル推定部３４２と、非目的信号抑圧処理部３４３とを備える。非目的信号抑圧処理部３４３は、図９に示すように、周波数領域変換部３４３Ａと、パワー算出部３４３Ｂと、パワー算出部３４３Ｃと、抑圧ゲイン算出部３４３Ｄと、スペクトル抑圧部３４３Ｅと、時間領域変換部３４３Ｆとを備える。
非目的信号抑圧部３４は、目的信号度合算出部３１から出力される目的信号度合type[f]を用いて、入力信号x[n]に対して非目的信号成分を抑圧して、非目的信号成分が抑圧さ
れた信号x_ns[n]を信号帯域拡張処理部３３に入力する。本変形例では、信号帯域拡張処
理部３３は入力信号x[n]の代わりに非目的信号成分が抑圧された信号x_ns[n]に対して帯
域拡張し、広帯域信号y[n]を出力信号として得るものである。
非目的信号区間判定部３４１は、目的信号度合算出部３１から出力される目的信号度合type[f]を入力として、フレーム単位で目的信号度合type[f]から非目的信号が支配的に含まれる区間であるかどうかを表すフレーム判定値vad[f]を出力する。例えば、目的信号度合type[f]が閾値THR_B未満である場合に、非目的信号が支配的に含まれる区間であるとしてフレーム判定値vad[f]=0とし、目的信号度合type[f]が閾値THR_B以上である場合に、非目的信号が支配的には含まれない区間であるとしてフレーム判定値vad[f]=1と出力する。
非目的信号レベル推定部３４２は、非目的信号抑圧処理部３４３から出力される入力信号x[n]のパワースペクトル|X[f,w]|2 (w=0,1,…M-1)と、非目的信号区間判定部３４１から出力されるフレーム判定値vad[f]を用いて、フレーム判定値vad[f]=0である非目的信号が支配的に含まれる区間のみの入力信号x[n]のパワースペクトル|X[f,w]|2 を前述の式（２）と同様にしてフレーム単位で忘却させることで平均的なパワースペクトルを算出し、これを各周波数帯域の非目的信号のパワースペクトル|N2[f,w]|2 (w=0,1,…M-1)として
出力する。なお、計算量を小さくするために、目的信号度合算出部３１の周波数スペクトル更新部３１１Ｄから出力される各周波数帯域の非目的信号のパワースペクトル|N[f,w]|2を|N2[f,w]|2として用いてもよい。
非目的信号抑圧処理部３４３は、非目的信号レベル推定部３４２から出力された各周波数帯域の非目的信号のパワースペクトル|N2[f,w]|2 (w=0,1,…M-1)を用いて、入力信号x[n]から非目的信号成分を抑圧して、非目的信号成分が抑圧された信号x_ns[n]を出力し、また入力信号x[n]のパワースペクトル|X[f,w]|2 も出力する。非目的信号抑圧処理部３４３は、図９のように構成される。
周波数領域変換部３４３Ａは、周波数領域変換部３１１Ｃと同様にして、現在のフレームｆの入力信号x[n] (n=0,1,…N-1)が入力され、直前のフレームの入力信号を用いたり、適宜零詰めなどを行ったりして、周波数領域変換に必要なサンプル（２Ｍ）分の信号を取り出し、窓掛けを行い、窓掛け後の２Ｍサンプルの信号に対して周波数領域変換を行い、入力信号の周波数スペクトルX[f,w] (w=0,1,…M-1)を出力する。
パワー算出部３４３Ｂは、周波数領域変換部３４３Ａから出力された入力信号の周波数スペクトルX[f,w] (w=0,1,…M-1)から入力信号のパワースペクトル|X[f,w]|2 (w=0,1,
…M-1)を算出し出力する。
パワー算出部３４３Ｃは、スペクトル抑圧部３４３Ｅから出力された抑圧処理された信号の周波数スペクトルXns[f,w] (w=0,1,…M-1)から抑圧処理された信号のパワースペク
トル|Xns[f,w]|2 (w=0,1,…M-1)を算出し出力する。
抑圧ゲイン算出部３４３Ｄは、パワー算出部３４３Ｂから出力される入力信号のパワースペクトル|X[f,w]|2 (w=0,1,…M-1)と、非目的信号レベル推定部３４２から出力される非目的信号のパワースペクトル|N2[f,w]|2 (w=0,1,…M-1)と、パワー算出部３４３Ｃか
ら出力される１フレーム前の抑圧処理された信号のパワースペクトル|Xns[f-1,w]|2 (w=0,1,…M-1)とを用いて、各周波数帯域の抑圧ゲインG[f,w] (w=0,1,…M-1)を出力する。
例えば、抑圧ゲインG[f,w]の算出は、以下のアルゴリズムまたはそれらの組み合わせによって行う。すなわち、一般のノイズキャンセラであるスペクトル・サブトラクション（Spectral Subtraction）法（S. F. Boll, “Suppression of acoustic noise in speech using spectral subtraction”, IEEE Trans. Acoustics, Speech, and Signal Processing, vol.ASSP-29, pp.113-120 (1979).）、ウィナー・フィルター（Wiener Filter）法（J. S. Lim, A. V. Oppenheim, “Enhancement and bandwidth compression of noisy speech”, Proc. IEEE Vol.67, No.12, pp.1586-1604, Dec.1979.）及び最尤推定（Maximum Likelihood）法（R. J. McAulay, M. L. Malpass, “Speech enhancement using a soft-decision noise suppression filter”, IEEE Trans. on Acoustics, Speech, and Signal Processing, vol.ASSP-28, no.2, pp.137-145, Apr.1980.）などである。ここでは一例としてウィナー・フィルター法を用いて、抑圧ゲインG[f,w]を算出するとする。
スペクトル抑圧部３４３Ｅは、周波数領域変換部３４３Ａから出力された入力信号の周波数スペクトルX[f,w] と、抑圧ゲイン算出部３４３Ｄから出力された抑圧ゲインG[f,w]
とを入力として、入力信号の周波数スペクトルX[f,w]を入力信号の振幅スペクトル|X[f,w]| (w=0,1,…M-1)と位相スペクトルθX[f,w] (w=0,1,…M-1)に分け、入力信号の振幅ス
ペクトル|X[f,w]| に抑圧ゲインG[f,w]を乗じて抑圧処理された信号の振幅スペクトル|Xns[f-1,w]|とし、位相スペクトルθX[f,w]をそのまま抑圧処理された信号の位相スペクト
ルθXns[f,w]として、抑圧処理された信号の周波数スペクトルXns[f,w] (w=0,1,…M-1)
を算出する。
時間領域変換部３４３Ｆは、スペクトル抑圧部３４３Ｅから出力された抑圧処理された信号の周波数スペクトルXns[f,w] (w=0,1,…M-1)を入力として、ＩＦＦＴ（Inverse Fast Fourier Transform）などの時間領域に変換する処理を施して時間領域の信号に変換し
、周波数領域変換部３４３Ａにおける窓掛けによるオーバーラップ分を考慮して１フレーム前の抑圧処理された信号x_ns[n] (n=0,1,…N-1)を加算して、抑圧処理された信号x_ns[n] (n=0,1,…N-1)を算出する。
このような構成であっても、同様の効果を発揮する。また、このような構成によれば、入力信号に含まれる非目的信号の成分が抑圧された信号に対して、信号帯域拡張処理を行うので、目的信号のみを信号帯域拡張処理することができるため、原音により忠実で音質のよい帯域拡張された信号を生成することができるという効果が得られる。またこのように、目的信号度合算出部３１と非目的信号抑圧部３４を併用する構成とすれば、目的信号度合算出部３１と非目的信号抑圧部３４を全く独立に動作する構成とするよりも冗長な処理を削減することができ、計算量を削減することができる。
（第２の実施例）
次に、本発明の第２の実施例について説明する。本実施例の構成は、第１の実施例において図１を用いて説明した構成と同様であるため、説明を省略する。図１０は、本実施形態の信号帯域拡張部３の構成を示すものである。なお、以下の説明では、第１の実施例と同じ構成については同じ番号を付番し、説明を簡明にするために必要に応じて重複する説明を省略する。
第２の実施例では、信号帯域拡張部３の入力信号x[n] (n=0,1,…N-1)は、fs_nb_low[Hz]からfs_nb_high[Hz]までに帯域制限されているものとし、信号帯域拡張部３の帯域拡張
処理によってサンプリング周波数fs[Hz]からより高いサンプリング周波数fs’[Hz]に変更され、fs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張されるものとする。ただし、fs_wb_low ≦ fs_nb_low < fs_nb_high < fs/2 ≦ fs_wb_high < fs’/2 を満たすものとする。
また以下の説明では、低域拡張と高域拡張を例に挙げるため、fs_wb_low < fs_nb_low、fs_nb_high < fs_wb_highとして説明し、例えば、fs=8000[Hz]、fs’=16000[Hz]、fs_nb_low=340[Hz]、fs_nb_high=3950[Hz]、fs_wb_low=50[Hz]、fs_wb_high=7950[Hz]とする
。また、ここでは１フレームをN=160サンプルとする。ただし、帯域制限の周波数帯域や
サンプリング周波数、フレームサイズについては、これらの値に限らない。
第２の実施例において、信号帯域拡張部３は、目的信号度合算出部３５、制御部３６、信号帯域拡張処理部３７を有する。
信号帯域拡張処理部３７は、第１の実施例の信号帯域拡張処理部３３の高域拡張部３３４と、低域拡張部３３７と、切替部３３３、３３５、３３６、３３８に代わって、帯域拡張部３７１と、帯域拡張部３７２と、帯域拡張部３７３と、帯域拡張部３７４と、帯域拡張部３７５と、切替部３７１１、３７１２、３７２１、３７２２、３７３１、３７３２、３７４１、３７４２、３７５１、３７５２とを用い、さらに信号格納部３７６と、遅延時間設定部３７７と、信号遅延処理部３７８を追加した構成になっている。
第２の実施例に関わる目的信号度合算出部３５は、第１の実施例の目的信号度合算出部３１と同じ構成であるため説明を省略するが、１フレームをＮ／２サンプルと第１の実施例の半分にし、時間当たりの処理回数を増やして、目的信号度合算出部３１よりも高精度に目的信号度合type[f]を算出する。
第２の実施例に関わる制御部３６には、目的信号度合算出部３５から出力される目的信号度合type[f]が入力される。制御部３６は、目的信号度合type[f]に応じて、帯域拡張部３７１と、帯域拡張部３７２と、帯域拡張部３７３と、帯域拡張部３７４と、帯域拡張部３７５のいずれかを動作させるかを制御する制御信号control[f]を出力する。具体的には、制御信号control[f]＝0のときは、切替器３７１１、３７１２、３７２１、３７２２、
３７３１、３７３２、３７４１、３７４２、３７５１、３７５２が開放されて帯域拡張部３７１〜３７５のいずれも動作しない。制御信号control[f]＝1のときは、切替器３７１
１、３７１２のみが閉じられることで帯域拡張部３７１のみが動作を行う。制御信号control[f]＝2のときは、切替器３７２１、３７２２のみが閉じられることで帯域拡張部３７
２のみが動作を行う。制御信号control[f]＝3のときは、切替器３７３１、３７３２のみ
が閉じられることで帯域拡張部３７３のみが動作を行う。制御信号control[f]＝4のとき
は、切替器３７４１、３７４２のみが閉じられることで帯域拡張部３７４のみが動作を行う。制御信号control[f]＝5のときは、切替器３７５１、３７５２のみが閉じられること
で帯域拡張部３７５のみが動作を行う。
図１１に制御部３６の制御動作を示す。このように制御部３６では、目的信号である度合が低いほど簡易で低音質な帯域拡張処理方法になるように制御し、目的信号である度合が高いほど高精度で高音質な帯域拡張処理方法になるように制御する。一般的に、低音質な帯域拡張処理方法であるほど簡易な処理となるため小さい計算量となり、高音質な帯域拡張処理方法であるほど高精度な処理となるため大きい計算量となる。このように制御部３６では、目的信号である度合が低いほど、動作を行う処理を部分的に省いたり、拡張する周波数帯域の範囲を狭くしたり、処理単位を大きくしたりすることで簡易で低音質な帯域拡張処理方法になるように制御する。
図１０の帯域拡張処理部３７１が動作する場合とは、図１１の「簡易な高域拡張のみ」を行う場合に相当し、図１０の帯域拡張部３７２が動作する場合とは、図１１の「やや簡易な高域拡張のみ」を行う場合に相当し、図１０の帯域拡張部３７３が動作する場合とは、図１１の「高域拡張のみ」を行う場合に相当し、図１０の帯域拡張部３７４が動作する場合とは、図１１の「低域拡張＋高域拡張」を行う場合に相当し、図１０の帯域拡張部３７５が動作する場合とは、図１１の「高精度な低域拡張＋高精度な高域拡張」を行う場合に相当し、図１０の帯域拡張部３７１〜３７５のいずれも動作しない場合とは、図１１のアップサンプリングのみを行う場合に相当する。つまり、制御部３６が目的信号度合type[f]を用いて、帯域拡張部３７１〜３７５のいずれか１つを動作させるか、または帯域拡
張部３７１〜３７５のいずれも動作をさせないかを制御することにより、目的信号である度合が高いほど高精度で高音質な帯域拡張処理を行うことができる。
図１２は、帯域拡張部３７１の構成例を示すブロック図である。帯域拡張部３７１は、入力信号x[n]を入力として、高域であるfs_nb_high[Hz]からfs_wb_high[Hz]までの周波数帯域が拡張された広帯域信号y_wb1[n]を出力する。帯域拡張部３７１は、図５に示した高域拡張部３３４からスペクトルパラメータの分析・合成（線形予測分析とスペクトル包絡の合成）に関する処理ブロックと、有声無声推定に関する処理ブロックとを除き、切替器３７Ｑを設けた構成である。このように、大幅に処理を削減することによって、簡易な高域拡張処理を実現することができる。また、帯域拡張部３７１は、動作する度に、広帯域化処理部３３４Ｈから出力されるy1_wb1[n]の時間的に後半のデータ（データ長2N）を高
域拡張データy_high_buff[n]として信号格納部３７６に出力し、すべてのサンプルの値を０とした零信号を低域拡張データy_low_buff[n]として信号格納部３７６に出力する。な
お、これ以降も同様で、信号格納部３７６へ入力され信号格納部３７６から出力される信号y_high_buff[n]及びy_low_buff[n]のデータ長は、それぞれ窓掛け部３３４Ａ及び窓掛
け部３３７Ａでのオーバーラップ分を考慮したデータ長となる。
なお、制御部３６の制御によって、信号帯域拡張処理部３７で行われる帯域拡張処理のうちで帯域拡張部３７１が動作するように切り替わった初めのフレームだけは、切替器３７Ｑが切り替えられる。切替器３７Ｑが切り替えられると、帯域拡張部３７１のフレーム合成処理部３３４Ｏは、広帯域化処理部３３４Ｈで拡張された高域拡張データy1_wb1[n]
の時間的に前半のデータ（データ長2N）と信号格納部３７６に格納されたデータ長2Nの高域拡張データy_high_buff[n]（実質的に１フレーム前の信号）を加算してy2_wb1[n]とし
て出力する。これによって、時間方向での信号の平滑化が行われ、信号帯域拡張処理部３７での帯域拡張処理の方法を切り替えることによる音の不連続感を解消することができる。
図１３は、帯域拡張部３７２の構成例を示すブロック図である。帯域拡張部３７２は、入力信号x[n]を入力として、高域であるfs_nb_high[Hz]からfs_wb_high[Hz]までの周波数帯域が拡張された広帯域信号y_wb2[n]を出力する。帯域拡張部３７２は、図５に示した帯域拡張部３３４からスペクトルパラメータの分析・合成（線形予測分析とスペクトル包絡の合成）に関する処理ブロックを除いた構成である。このため、帯域拡張部３７２は、図５に示した高域拡張部３３４による処理よりも計算量を削減することができる。ただし、帯域拡張処理部３７２は、有声無声推定に関する処理ブロックを有しているため、図１２に示した帯域拡張部３７１よりは精度良く高域拡張処理を行うことができる。また、帯域拡張部３７２は、動作する度に、信号加算部３３４Ｍから出力されるy1_wb2[n]の時間的
に後半のデータ（データ長2N）を高域拡張データy_high_buff[n]として信号格納部３７６に出力し、零信号を低域拡張データy_low_buff[n]として信号格納部３７６に出力する。
そして、帯域拡張部３７２が動作するように切り替わった初めのフレームだけは、切替器３７Ｑが切り替えられる。切替器３７Ｑが切り替えられると、帯域拡張部３７２のフレーム合成処理部３３４Ｏは、高域拡張データy1_wb2[n]の時間的に前半のデータ（データ
長2N）と信号格納部３７６に格納された高域拡張データy_high_buff[n]（実質的に１フレーム前の信号）を加算してy2_wb2[n]として出力する。これによって、時間方向での信号
の平滑化が行われ、信号帯域拡張処理部３７での帯域拡張処理の方法を切り替えることによる音の不連続感を解消することができる。
図１４は、帯域拡張部３７３の構成例を示すブロック図である。帯域拡張部３７３は、入力信号x[n]を入力として、高域であるfs_nb_high[Hz]からfs_wb_high[Hz]までの周波数帯域が拡張された広帯域信号y_wb3[n]を出力する。帯域拡張部３７３は、図５に示した帯域拡張部３３４に切替器３７Ｑを設けた構成である。また、帯域拡張部３７３は、動作する度に、信号合成部３３４Ｎから出力されるy1_wb3[n]の時間的に後半のデータ（データ
長2N）を高域拡張データy_high_buff[n]として信号格納部３７６に出力し、零信号を低域拡張データy_low_buff[n]として信号格納部３７６に出力する。
そして同様に、帯域拡張部３７３が動作するように切り替わった初めのフレームだけは、切替器３７Ｑが切り替えられる。切替器３７Ｑが切り替えられると、帯域拡張部３７３のフレーム合成処理部３３４Ｏは、高域拡張データy1_wb3[n]の時間的に前半のデータ（
データ長2N）と信号格納部３７６に格納された高域拡張データy_high_buff[n]（実質的に１フレーム前の信号）を加算してy2_wb3[n]として出力する。これによって、時間方向で
の信号の平滑化が行われ、信号帯域拡張処理部３７での帯域拡張処理の方法を切り替えることによる音の不連続感を解消することができる。
図１５は、帯域拡張部３７４の構成例を示すブロック図である。帯域拡張部３７４は、図１４に示した帯域拡張部３７３と、低域拡張部３７４Ａと、信号遅延処理部３７４Ｂと、信号加算部３７４Ｃとを備えた構成である。このため、帯域拡張部３７４は、図５に示した高域拡張部３３４や図１４に示した帯域拡張部３７３による処理よりも計算量が増加するが、低域拡張処理が含まれるため、より精度良く原音に忠実な信号を生成することができる。帯域拡張部３７４は、入力信号x[n]を入力として、低域であるfs_wb_low[Hz]か
らfs_nb_low[Hz]までと、高域であるfs_nb_high[Hz]からfs_wb_high[Hz]までの周波数帯
域が拡張された広帯域信号y_wb4[n]を出力する。また、帯域拡張部３７４における帯域拡張部３７３は、動作する度に、信号合成部３３４Ｎから出力されるy1_wb4[n]の時間的に
後半のデータ（データ長2N）を高域拡張データy_high_buff[n]として信号格納部３７６に出力する。
図１６は、図１５に示した低域拡張処理部３７４Ａの構成を示すブロック図である。帯域拡張部３７４Ａは、図７に示した帯域拡張部３３７に切替器３７Ｒを設けた構成である。帯域拡張部３７４Ａは、入力信号x[n]を入力として、低域であるfs_wb_low[Hz]からfs_nb_low[Hz]までの周波数帯域が拡張された広帯域信号y_wb_low[n]を出力する。また、帯
域拡張部３７４Ａは、動作する度に、信号合成部３３７Ｅから出力されるy1_low[n]の時
間的に後半のデータ（データ長2N）を低域拡張データy_low_buff[n]として信号格納部３
７６に出力する。
なお、制御部３６の制御によって、信号帯域拡張処理部３７で行われる帯域拡張処理のうちで帯域拡張部３７４が動作するように切り替わった初めのフレームだけは、切替器３７Ｒが切り替えられる。切替器３７Ｒが切り替えられると、帯域拡張部３７４Ａのフレーム合成処理部３３７Ｆは、信号合成部３３７Ｅで合成された高域拡張データy1_low[n]の
時間的に前半のデータ（データ長2N）と信号格納部３７６に格納された低域拡張データy_low_buff[n]（実質的に１フレーム前の信号）を加算してy2_low[n]として出力する。これによって、時間方向での信号の平滑化が行われ、信号帯域拡張処理部３７での帯域拡張処理の方法を切り替えることによる音の不連続感を解消することができる。
信号遅延処理部３７４Ｂは、低域拡張部３７４Ａから出力された信号y_wb_low[n]を所
定の時間（D3サンプル分）だけバッファすることによって遅延させ、y_wb_low[n-D3]として出力することで、帯域拡張部３７３から出力される信号y_wb3[n]とタイミングを合わせて同期をとる。すなわち、所定の時間（D3サンプル分）は、帯域拡張部３７３での入力から出力が得られるまでの処理遅延の時間D_high1から、低域拡張部３７４Ａでの入力から
出力が得られるまでの処理遅延の時間D_low1を引いた分に相当する（D3＝D_high1−D_low1）この値は、事前に求めておき、D3を常に固定値として用いる。
信号加算部３７４Ｃは、信号遅延処理部３７４Ｂから出力される広帯域信号y_wb_low[n-D3]と、帯域拡張部３７３から出力される広帯域信号y_wb3[n]とを、サンプリング周波数fs’[Hz]で加算して、広帯域信号y_wb4[n]を得て出力する。
図１７は、帯域拡張部３７５の構成例を示すブロック図である。帯域拡張部３７５は、帯域拡張部３７４と同じ構成であるが、帯域拡張部３７５で帯域拡張処理を行う処理単位（１フレーム）をＮ／２サンプルと帯域拡張部３７４の処理単位の半分にし、処理する時間間隔を短くし時間当たりの処理回数を増やすことで、帯域拡張部３７４よりも高精度に拡張処理をする。このため、帯域拡張部３７５は、図１４に示した帯域拡張部３７４による処理よりも計算量が増加するが、時間当たりの処理回数を増やすことで、時間方向の精度が増し、より精度良く原音に忠実な信号を生成することができる。勿論１フレームをＮ／２サンプルにすることに限定されなく、目的信号度合type[f]が高くなるにつれて帯域
拡張処理における時間当たりのフレームサイズを小さくして時間分析長を短くするようにすれば、１フレームのサンプル数はどのような値でも構わない。
図１７では帯域拡張部３７５は、帯域拡張部３７３−１と、低域拡張部３７４Ａ−１と、信号遅延処理部３７４Ｂ−１と、信号加算部３７４Ｃ−１とを備えた構成であるが、それぞれ帯域拡張部３７３、低域拡張部３７４Ａ、信号遅延処理部３７４Ｂ、信号加算部３７４Ｃの１フレームをＮ／２サンプルと時間当たりの処理回数を倍に増やしているだけで、動作は変わらないので、ここでは説明を省略する。
そして帯域拡張部３７５は、入力信号x[n]を入力として、低域であるfs_wb_low[Hz]か
らfs_nb_low[Hz]までと、高域であるfs_nb_high[Hz]からfs_wb_high[Hz]までの周波数帯
域が拡張された広帯域信号y_wb5[n]を出力する。また、帯域拡張部３７４と同様に、帯域拡張部３７５は、動作する度に、信号合成部３３４Ｎから出力されるy1_wb4[n]を高域拡
張データy_high_buff[n]として信号格納部３７６に出力する。
信号格納部３７６は、帯域拡張部３７１〜３７５のいずれか１つが動作している場合は、動作している帯域拡張部３７１〜３７５のいずれか１つから高域拡張データy_high_buff[n]と低域拡張データy_low_buff[n]が入力される。また、帯域拡張部３７１〜３７５の
いずれも動作しない場合は、高域拡張データy_high_buff[n]と低域拡張データy_low_buff[n]を両方ともに零信号に設定する。そして、制御信号control[f]が１〜５の中で切り替
わった場合の初めのフレームは、高域拡張データy_high_buff[n]と低域拡張データy_low_buff[n]を、動作している帯域拡張部３７１〜３７５のいずれか１つへ適宜出力する。
遅延時間設定部３７７は、入力信号が帯域拡張部３７１〜３７５のいずれかによって帯域拡張されたかにより処理の遅延時間は異なるため、事前に帯域拡張部３７１〜３７５のそれぞれについて、入力から出力が得られるまでの帯域拡張処理の遅延時間を事前に求めておき、そのうちで最大の遅延時間D_maxを求め、制御部３６から出力された制御信号control[f]に応じて帯域拡張部３７１〜３７５のいずれかによって帯域拡張されるのかを判
断して、帯域拡張部３７１〜３７５のいずれが動作しても遅延時間が最大の遅延時間D_maxに揃うように事前に設定された遅延時間を信号遅延処理部３７８によって行われる信号
の遅延時間Ｄとして設定する。例えば、入力から出力が得られるまでの帯域拡張部３７１〜３７５の遅延時間をぞれぞれD21、D22、D23、D24、D25サンプルとしたとき、そのうち
で最大の遅延時間D_maxを求めて、帯域拡張部３７１が動作した場合はＤ＝D_max−D21、
帯域拡張部３７２が動作した場合はＤ＝D_max−D22、帯域拡張部３７３が動作した場合はＤ＝D_max−D23、帯域拡張部３７４が動作した場合はＤ＝D_max−D24、帯域拡張部３７５が動作した場合はＤ＝D_max−D25と、遅延時間Ｄを設定する。これらの値は、事前に求めておき、常に固定値として用いる。このようにすることにより、遅延時間が異なる様々な帯域拡張の処理に切り替わった場合でも、周波数帯域ごとにタイミングが合って同期がとれた信号を生成することができ、また帯域拡張の処理の切り替わり前後で無音や異音を生成することを防ぐことができ、より原音音に忠実な信号を生成することができる。なお、帯域拡張部３７１〜３７５のいずれも動作しない場合は、遅延時間設定部３７７は動作しない。
信号遅延処理部３７８は、帯域拡張部３７１〜３７５のいずれか１つによって出力された広帯域信号をy_wb[n]とし、これを遅延時間設定部３７７で設定された所定の時間（Dサンプル分）だけバッファすることによって遅延させ、y_wb[n-D]として出力する。なお、
帯域拡張部３７１〜３７５のいずれも動作しない場合は、信号遅延処理部３７８は動作しない。
信号遅延処理部３３１Ａは、アップサンプリング部３３０から出力された入力信号x_us[n]を所定の時間（D20サンプル分）だけバッファすることによって遅延させ、x_us[n-D20]として出力することで、帯域拡張部３７１〜３７５のいずれか１つによって出力された
広帯域信号をy_wb[n-D]とタイミングを合わせて同期をとる。すなわち、所定の時間（D20サンプル分）は、帯域拡張部３７１〜３７５での入力から出力が得られるまでの前述した最大の処理遅延の時間D_maxから、アップサンプリング部３３０での入力から出力が得ら
れるまでの処理遅延の時間D_usを引いた分に相当する（D20＝D_max−D_us）。この値は、事前に求めておき、D20を常に固定値として用いる。
以上の帯域拡張部３７１〜３７５のいずれかによって帯域拡張されて信号遅延処理部３７８で遅延された広帯域信号y_wb[n-D]と、アップサンプリング部３３０によってアップ
サンプリングされ、信号遅延処理部３３１Ａによって遅延させられた入力信号x_us[n-D20]は、信号加算部３３２に入力される。そして、信号加算部３３２は２つの信号を加算処
理し、出力信号y[n]として出力する。
以上のように目的信号度合に応じて帯域拡張処理方法を変えることによって、目的信号は高精度に帯域拡張処理することで高音質を維持でき、非目的信号は高精度に帯域拡張する必要がないため簡易な帯域拡張処理にして計算量を少なくすることができる。
（第３の実施例）
次に、本発明の第３の実施例について説明する。本実施例の構成は、第１の実施例において図１を用いて説明した構成と同様であるため、説明を省略する。図１８は、本実施形態の信号帯域拡張部３の構成を示すものである。以下の説明では、上述した実施例と同じ構成については同じ番号を付番し、説明を簡明にするために必要に応じて重複する説明を省略する。
第３の実施例において、信号帯域拡張部３では、第１の実施例に関わる信号帯域拡張部３の目的信号度合算出部３１の代わりに目的信号度合算出部３８を用い、第１の実施例に関わる信号帯域拡張処理部３３の代わりに信号帯域拡張処理部３９を用いた構成になっている。また、信号帯域拡張部３の信号帯域拡張処理部３９では、第１の実施例に関わる信号帯域拡張処理部３３で用いていた高域拡張部３３４および低域拡張部３３７に代わって、帯域拡張部３７１および帯域拡張部３７２を用い、さらに信号格納部３７６、遅延時間設定部３７７、信号遅延処理３７８を追加した構成になっている。
第３の実施例では、前述した実施例１及び実施例２の信号帯域拡張部３は低域拡張と高域拡張を行うものであったが、高域についての拡張を行う機能のみを備える。
すなわち、第３の実施例では、信号帯域拡張部３の入力信号x[n] (n=0,1,…N-1)は、fs_nb_low[Hz]からfs_nb_high[Hz]までに帯域制限されているものとし、信号帯域拡張部３
の帯域拡張処理によってサンプリング周波数fs[Hz]からより高いサンプリング周波数fs’[Hz]に変更され、fs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張されるものとする
。以下の説明では、fs_wb_low ＝ fs_nb_low、fs_nb_high < fs_wb_highとして、例えば、fs=22050[Hz]、fs’=44100[Hz]、fs_nb_low=50[Hz]、fs_nb_high=11000[Hz]、fs_wb_low=50[Hz]、fs_wb_high=22000[Hz]とする。帯域制限の周波数帯域やサンプリング周波数については、これに限らない。また、ここでは１フレームをN=1024サンプルとする。
図１９に目的信号度合算出部３８の構成例を示す。目的信号度合算出部３８は、特徴量抽出部３８１と、重み付け加算部３８２とを備える。特徴量抽出部３８１は、零交差数算出部３８１Ａと、零交差数分散算出部３８１Ｂと、パワー算出部３８１Ｃと、パワー分散算出部３８１Ｄと、周波数領域変換部３８１Ｅと、スペクトル重心算出部３８１Ｆと、スペクトル重心分散算出部３８１Ｇと、スペクトル差分算出部３８１Ｈと、スペクトル差分分散算出部３８１Ｉとを備える。
目的信号度合算出部３８は、入力信号x[n]が帯域拡張したい目的信号である度合を表す目的信号度合type[f]を算出する。本実施例では、帯域拡張したい目的信号は音楽・オー
ディオ信号であるとする。入力信号x[n]には、目的信号である音楽信号と、それ以外の非目的信号（ノイズ成分、エコー成分、残響成分、音声など）が混在しており、すなわち目的信号度合算出部３８は、入力された１フレームごとの入力信号x[n]に目的信号である音楽信号がどれぐらい含まれているかの目的信号度合type[f]を出力する。目的信号度合type[f]を算出する特徴量は、音声信号における母音などの有声音や子音などの無声音が切り替わる規則性や、音楽信号におけるパワースペクトルの均一性を利用するなど、入力信号に音楽信号がどれぐらい含まれているかを表現するものであれば何でも構わない。
零交差数算出部３８１Ａは、入力信号x[n]からフレーム単位での零交差の数を算出し、それをフレーム長Nで割って平均化した平均零交差数Zi[f]を算出する。
零交差数分散算出部３８１Ｂには、零交差数算出部３８１Ａから出力された現在のフレームｆの平均零交差数Zi[f]が入力される。零交差数分散算出部３８１Ｂは、過去Ｆフレ
ーム分の平均零交差数Zi[f]を用いて、式（９）に示すように、フレーム毎に平均零交差
数Zi[f]の分散である零交差数分散値Zi_var[f]を算出し、この零交差数分散値Zi_var[f]
を出力する。零交差数分散算出部３８１Ｂで用いる過去の平均零交差数Zi[f]のフレーム
数Ｆは、例えば２０とする。平均零交差数分散値zi_var[f]は０以上の値をとり、音声信
号では母音などの有声音や子音などの無声音が切り替わる規則性を有するため、音声信号では零交差数の変動が激しくなり、この値が大きいほど入力信号に音声成分が多くて非目的信号が多く含まれ、目的信号である音楽信号が少ないと判断される。
Figure 0004945586
パワー算出部３８１Ｃは、入力信号x[n]から式（１０）に示すように、フレーム単位での入力信号x[n]の２乗和をdB単位で計算し、これをフレームパワーCi[f]とする。
Figure 0004945586
パワー分散算出部３８１Ｄは、パワー算出部３８１Ｃから出力された現在のフレームｆのフレームパワーCi[f]が入力され、過去Ｆフレーム分のフレームパワーCi[f]を用いて、式（１１）に示すように、フレーム毎にフレームパワーCi[f]の分散であるパワー分散値Ci_var[f]を出力する。パワー分散値Ci_var[f]は０以上の値をとり、これが大きいほど入
力信号に音声成分が多くて非目的信号が多く含まれ、目的信号である音楽信号が少ないと判断される。
Figure 0004945586
周波数領域変換部３８１Ｅは、帯域制限された現在のフレームｆの入力信号x[n] (n=0,1,…N-1)が入力され、このフレームと直前の１フレーム前の入力信号の合計２フレームを時間方向に結合したデータ長2Nの入力信号x[n] (n=0,1,…2N-1)に対して、窓関数をハミ
ング窓として窓関数を入力信号に乗じて、データ長2Nの窓掛けを行い、窓掛けを行った入力信号wx[n] (n=0,1,…2N-1)を算出し、ＦＦＴの次数を2NとしＦＦＴによる周波数領域変換を行い、周波数スペクトルX[f,w] (w=0,1,…M-1)を算出し、パワースペクトル|X[f,w]|2 (w=0,1,…M-1)を出力する。ただし、wは周波数ビンの番号を表し、w=0,1,…2M-1とす
る。なお、１フレーム前の入力信号は、周波数領域変換部３８１Ｅが備えるメモリを用いて保持する。ここでは、例として、次の時刻（フレーム）での入力信号x[n]のシフト幅（ここではNサンプル）と窓掛けを行った入力信号wx[n]のデータ長（ここでは2Nサンプル）の比であるオーバーラップは50%としている。ただし、窓掛けに用いる窓関数は、ハミン
グ窓に限定せず、他の対称窓（ハニング窓、ブラックマン窓、正弦波窓など）あるいは音声符号化処理で用いられるような非対称窓などに適宜変更してよい。またオーバーラップは、50%に限らない。
スペクトル重心算出部３８１Ｆは、周波数領域変換部３８１Ｅから出力されるパワースペクトル|X[f,w]|2 を用いて式（１２）に示すように、フレーム単位でのパワースペクトルの重心を計算し、これをスペクトル重心sweight[f]として出力する。
Figure 0004945586
スペクトル重心分散算出部３８１Ｇには、スペクトル重心算出部３８１Ｆから出力された現在のフレームｆのスペクトル重心sweight[f]が入力される。スペクトル銃身分散算出部３８１Ｇは、過去Ｆフレーム分のスペクトル重心sweight[f]を用いて、式（１３）に示すように、フレーム毎にスペクトル重心sweight[f]の分散であるスペクトル重心分散値sweight_var[f]を算出して出力する。スペクトル重心分散値sweight_var[f]は０以上の値をとり、音楽信号ではパワースペクトルが均一で安定しやすくスペクトル重心の変動が小さくなり、この値が大きいほど入力信号に音声成分が多くて非目的信号が多く含まれ、目的信号である音楽信号が少ないと判断される。
Figure 0004945586
スペクトル差分算出部３８１Ｈは、周波数領域変換部３８１Ｅから出力されるパワースペクトル|X[f,w]|2 と、１フレーム前のパワースペクトル|X[f-1,w]|2 を用いて、式（１４）に示すように、パワーで正規化された周波数ビン毎のパワースペクトルの差分の２乗和を計算し、これをスペクトル差分sdiff[f]として出力する。
Figure 0004945586
スペクトル差分分散算出部３８１Ｉには、スペクトル差分算出部３８１Ｈから出力された現在のフレームｆのスペクトル差分sdiff[f]が入力される。スペクトル差分分散算出部３８１Ｉは、過去Ｆフレーム分のスペクトル差分sdiff[f]を用いて、式（１５）に示すように、フレーム毎にスペクトル差分sdiff[f]の分散であるスペクトル差分分散値sdiff_var[f]を出力する。スペクトル差分分散値sdiff_var[f]は０以上の値をとり、これが大きいほど音声成分が多くて非目的信号が多く含まれ、目的信号である音楽信号が少ないと判断される。
Figure 0004945586
重み付け加算部３８２には、特徴量抽出部３８１で抽出された複数の特徴量（零交差数分散算出部３８１Ｂから出力された零交差数分散値Zi_var[f]、パワー分散算出部３８１
Ｄから出力されたパワー分散値Ci_var[f]、スペクトル重心分散算出部３８１Ｇから出力
されたスペクトル重心分散値sweight_var[f]、スペクトル差分分散算出部３８１Ｉから出力されたスペクトル差分分散値sdiff_var[f]）が入力される。重み付け加算部３８２は、入力された複数の特徴量に対してそれぞれ所定の重み付けによる重み付けを行い、複数の特徴量の重み付け和として目的信号度合type[f]を算出する。ここでは、目的信号度合type[f]が小さいほど非目的信号が支配的であるとし、大きいほど目的信号が支配的であるとしているので、例えば、重みw1、w2、w3、w4（ただしw1≦０、w2≦０、w3≦０、w4≦０）を線形識別関数による判定を用いた学習アルゴリズムなどで予め学習させておいた値に設定して、目的信号度合type[f]を、type[f] = w1・Zi_var[f,1] + w2・Ci_var[f] + w3・sweight_var[f] + w4・sdiff_var[f]と算出する。勿論、目的信号度合type[f]は、特徴量
の１次の線形和によって表すことに限定されなく、多次数の線形和で表現されたり、複数の特徴量による乗算項を含んで表現されたりしても構わない。
第３の実施例に関わる制御部３６には、目的信号度合算出部３８から出力される目的信号度合type[f]が入力される。制御部３６は、目的信号度合type[f]に応じて、帯域拡張部３７１と、帯域拡張部３７２のいずれかを動作させるかを制御する制御信号control[f]を出力する。具体的には、制御信号control[f]＝0のときは、切替器３９１１、３９１２、
３９２１、３９２２が開放されて帯域拡張部３７１〜３７２のいずれも動作しない。制御信号control[f]＝1のときは、切替器３９１１、３９１２のみが閉じられることで帯域拡
張部３７１のみが動作を行う。制御信号control[f]＝2のときは、切替器３９２１、３９
２２のみが閉じられることで帯域拡張部３７２のみが動作を行う。
第３の実施例に関わる帯域拡張部３７１は、図１２を用いて説明した帯域拡張部３７１と同じ構成である。帯域拡張部３７１は、入力信号x[n]を入力として、高域であるfs_nb_high[Hz]からfs_wb_high[Hz]までの周波数帯域が拡張された広帯域信号y_wb1[n]を出力する。また、帯域拡張部３７１は、動作する度に、広帯域化処理部３３４Ｈから出力されるy1_wb1[n]の時間的に後半のデータを高域拡張データy_high_buff[n]として信号格納部３
７６に出力する。
第３の実施例に関わる帯域拡張部３７２は、図１３を用いて説明した帯域拡張部３７２と同じ構成である。帯域拡張部３７２は、入力信号x[n]を入力として、高域であるfs_nb_high[Hz]からfs_wb_high[Hz]までの周波数帯域が拡張された広帯域信号y_wb2[n]を出力する。また、帯域拡張部３７２は、動作する度に、信号加算部３３４Ｍから出力されるy1_wb2[n]の時間的に後半のデータを高域拡張データy_high_buff[n]として信号格納部３７６
に出力する。
第３の実施例に関わる信号格納部３７６は、帯域拡張部３７１〜３７２のいずれか１つが動作している場合は、動作している帯域拡張部３７１〜３７２のいずれか１つから高域拡張データy_high_buff[n]が入力される。また、帯域拡張部３７１〜３７２のいずれも動作しない場合は、高域拡張データy_high_buff[n]を両方ともに零信号に設定する。そして、制御信号control[f]が１〜２の中で切り替わった場合の初めのフレームは、高域拡張データy_high_buff[n]（実質的に１フレーム前の信号になる）を、動作している帯域拡張部３７１〜３７２のいずれか１つへ適宜出力する。
第３の実施例に関わる遅延時間設定部３７７は、入力信号が帯域拡張部３７１〜３７２のいずれかによって帯域拡張されたかにより処理の遅延時間は異なるため、事前に帯域拡張部３７１〜３７２のそれぞれについて、入力から出力が得られるまでの帯域拡張処理の遅延時間を事前に求めておき、そのうちで最大の遅延時間D_maxを求め、制御部３６から
出力された制御信号control[f]に応じて帯域拡張部３７１〜３７２のいずれかによって帯域拡張されるのかを判断して、帯域拡張部３７１〜３７２のいずれが動作しても遅延時間が最大の遅延時間D_maxに揃うように事前に設定された遅延時間を信号遅延処理部３７８
によって行われる信号の遅延時間Ｄとして設定する。例えば、入力から出力が得られるまでの帯域拡張部３７１〜３７２の遅延時間をぞれぞれD21、D22サンプルとしたとき、そのうちで最大の遅延時間D_maxを求めて、帯域拡張部３７１が動作した場合はＤ＝D_max−D21、帯域拡張部３７２が動作した場合はＤ＝D_max−D22と、遅延時間Ｄを設定する。なお
、帯域拡張部３７１〜３７２のいずれも動作しない場合は、遅延時間設定部３７７は動作しない。
第３の実施例に関わる信号遅延処理部３７８は、帯域拡張部３７１〜３７２のいずれか１つによって出力された広帯域信号をy_wb[n]とし、これを遅延時間設定部３７７で設定
された所定の時間（Dサンプル分）だけバッファすることによって遅延させ、y_wb[n-D]として出力する。なお、帯域拡張部３７１〜３７２のいずれも動作しない場合は、信号遅延処理部３７８は動作しない。
このようにすることで、音楽・オーディオ信号が目的信号であった場合でも、入力信号における目的信号である度合を算出し、この目的信号度合算出手段の結果に応じて、目的信号である度合が低い程、より簡易に帯域を拡張するように制御するようにしている。
したがって、上記構成の信号帯域拡張装置によれば、入力信号に目的信号である音楽・オーディオ信号とそれ以外の非目的信号（ノイズ成分、エコー成分、残響成分、音声など）が混在した場合に、常に高精度な帯域拡張処理を行うのではなく、目的信号である音楽・オーディオ信号がどれぐらい含まれているかの目的信号度合に応じて帯域拡張処理の方法を変化させ、目的信号度合が低い場合は目的信号を高精度に帯域拡張処理することで原音により忠実に帯域を拡張することができて高音質を維持でき、目的信号度合が低い場合はより簡易な帯域拡張処理にして計算量を少なくすることができる。
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
勿論、サンプリング周波数を変更しないような帯域拡張処理で構成したり、非可聴な周波数帯域へ拡張する帯域拡張処理で構成したりしても構わない。また、離散ウェーブレット変換などによる多重解析度解析を用いた上で狭帯域の特徴量と広帯域の特徴量との対応を表した辞書を引用することによって帯域拡張処理をする構成としても構わない。
また、帯域拡張処理を切り替える際に、切替器による二値判定ではなく、切り替わりの過渡状態を考慮して連続性を保って（ソフト・デシジョン）で切り替わるようにして、複数の帯域拡張処理からの広帯域信号をそれぞれ重み付けしてから加算することで出力信号を求めるような構成にしてもよい。さらに、音声信号と音楽・オーディオ信号の両方を目的信号とし、それ以外の雑音成分などを非目的信号として、音声信号度合の算出と音楽・オーディオ信号度合の算出を併用して用いた構成でも構わない。
また、入力信号がモノラル信号ではなくステレオ信号であったとしても、例えばＬ（左）チャネルとＲ（右）チャネルにそれぞれ上記信号帯域拡張部３における帯域拡張処理を施したり、和信号（ＬチャネルとＲチャネルの信号の和）と差信号（ＬチャネルからＲチャネルの信号の差）にそれぞれ上記の帯域拡張処理を施したりすることで同様の効果が得られる。勿論、マルチチャネル信号であったとしても例えば同様にそれぞれのチャネル信号に対して上記の帯域拡張処理を施したりすることで同様の効果が得られる。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
１…無線通信部、２…デコーダ、３…信号帯域拡張部、４…Ｄ／Ａ変換器、５…スピーカ、６…記憶部、３１、３５、３８…目的信号度合算出部、３２、３６…制御部、３３、３７、３９…信号帯域拡張処理部、３４…目的信号抑圧部、３１１、３８１…特徴量抽出部、３１２、３８２…重み付け加算部、３１１Ａ…自己相関算出部、３１１Ｂ…自己相関係数最大値算出部、３１１Ｃ、３４３Ａ、３８１Ｅ…周波数領域変換部、３１１Ｄ…周波数スペクトル更新部、３１１Ｅ…周波数別ＳＮ比算出部、３１１Ｆ…周波数別ＳＮ比総和算出部、３１１Ｇ…周波数別ＳＮ比分散算出部、３３０、３３４Ｇ、３３７Ｈ…アップサンプリング部、３３１、３３１Ａ、３３９、３７４Ｂ、３７４Ｂ−１、３７８…信号遅延処理部、３３２、３３４Ｍ、３７４Ｃ、３７４Ｃ−１…信号加算部、３３３、３３５、３３６、３３７、３７１１、３７１２、３７２１、３７２２、３７３１、３７３２、３７４１、３７４２、３７５１、３７５２、３７Ｑ、３７Ｒ、３９１１、３９１２、３９２１、３９２２…切替器、３３４…高域拡張部、３３７、３７４Ａ、３７４Ａ−１…低域拡張部、３３４Ａ、３３７Ａ…窓掛け部、３３４Ｂ，３３７Ｂ…線形予測分析部、３３４Ｃ…線スペクトル周波数変換部、３３４Ｄ…スペクトル包絡広帯域化処理部、３３４Ｅ，３３７Ｃ…逆フィルタ部、３３４Ｆ、３３４Ｐ、３３７Ｇ…帯域通過フィルタ部、３３４Ｈ，３３７Ｄ…広帯域化処理部、３３４Ｉ…有声／無声推定部、３３４Ｊ，３３４Ｌ…パワー制御部、３３４Ｋ…雑音生成部、３３４Ｎ，３３７Ｅ…信号合成部、３３４Ｏ，３３７Ｆ…フレーム合成処理部、３４１…非目的信号区間判定部、３４２…非目的信号レベル推定部、３４３…非目的信号抑圧処理部、３４３Ｂ、３４３Ｃ…パワー算出部、３４３Ｄ…抑圧ゲイン算出部、３４３Ｅ…スペクトル抑圧部、３４３Ｆ…時間領域変換部、３７１、３７２、３７３、３７３−１、３７４、３７５…帯域拡張部、３７６…信号格納部、３７７…遅延時間設定部、３８１Ａ…零交差数算出部、３８１Ｂ…零交差数分散算出部、３８１Ｃ…パワー算出部、３８１Ｄ…パワー分散算出部、３８１Ｆ…スペクトル重心算出部、３８１Ｇ…スペクトル重心分散算出部、３８１Ｈ…スペクトル差分算出部、３８１Ｉ…スペクトル差分分散算出部。

Claims (8)

  1. 入力信号に含まれる音声信号に応じて、前記入力信号の周波数帯域を拡張する帯域拡張手段と、
    入力信号に音声信号が含まれる割合をＳＮ比と自己相関に基づいて算出する音声信号割合算出手段と、
    前記割合が所定の閾値よりも大きいときは第１の方法により周波数帯域に拡張させ、前記割合が前記所定の閾値よりも小さいときは前記第１の方法よりも計算量が少ない第２の方法で周波数帯域を拡張させるよう前記帯域拡張手段を制御する制御手段と、
    を有することを特徴とする信号帯域拡張装置。
  2. 前記制御手段は、前記割合が所定の閾値よりも小さいときは、拡張する周波数帯域の範囲を狭くするように前記帯域拡張手段を制御することを特徴とする請求項１に記載の信号帯域拡張装置。
  3. 前記制御手段は、前記割合が所定の閾値よりも小さいときは第１の周波数帯域に拡張させ、前記割合が所定の閾値よりも大きいときは第１の周波数帯域よりも広帯域に拡張させるよう前記帯域拡張手段を制御することを特徴とする請求項２に記載の信号帯域拡張装置。
  4. 前記制御手段は、前記割合が所定の閾値よりも小さいときは高周波数帯域を拡張させ、前記割合が所定の閾値よりも大きいときは高周波数帯域と低周波数帯域を拡張させるように前記帯域拡張手段を制御することを特徴とする請求項１に記載の信号帯域拡張装置。
  5. 前記制御手段は、前記割合が所定の閾値よりも小さいときは低周波数帯域を拡張させないように前記帯域拡張手段を制御することを特徴とする請求項１に記載の信号帯域拡張装置。
  6. 前記制御手段は、前記割合が所定の閾値よりも小さいときは、帯域を拡張する処理を行う周波数帯域での処理単位を大きくするように前記帯域拡張手段を制御することを特徴とする請求項１に記載の信号帯域拡張装置。
  7. 前記所定の閾値は、第１，第２の閾値から構成され、
    前記制御手段は、前記割合が第１の閾値よりも小さいときは第１の処理単位で第１の周波数帯域に拡張させ、前記割合が第１の閾値よりも大きく第２の閾値よりも小さいときは第１の処理単位で第１の周波数帯域よりも広帯域な第２の周波数帯域に拡張させ、前記割合が第２の閾値よりも大きいときは第１の処理単位よりも小さい第２の処理単位で第２の周波数帯域に拡張させるよう前記帯域拡張手段を制御することを特徴とする請求項１に記載の信号帯域拡張装置。
  8. 周波数帯域を拡張した信号を格納しておく信号格納手段と
    前記帯域拡張手段によって周波数帯域を拡張した信号を以前に帯域拡張した信号と平滑化する平滑化手段とをさらに有し、
    前記平滑化手段は、前記制御手段が周波数帯域を拡張する方法を変化させるよう前記帯域拡張手段を制御したときは、前記信号格納手段に格納された信号を用いて前記帯域拡張手段によって周波数帯域を拡張した信号を平滑化することを特徴とする請求項１乃至請求項７のいずれか１項に記載の信号帯域拡張装置。
JP2009021717A 2009-02-02 2009-02-02 信号帯域拡張装置 Expired - Fee Related JP4945586B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009021717A JP4945586B2 (ja) 2009-02-02 2009-02-02 信号帯域拡張装置
US12/558,959 US8930184B2 (en) 2009-02-02 2009-09-14 Signal bandwidth extending apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009021717A JP4945586B2 (ja) 2009-02-02 2009-02-02 信号帯域拡張装置

Publications (2)

Publication Number Publication Date
JP2010176090A JP2010176090A (ja) 2010-08-12
JP4945586B2 true JP4945586B2 (ja) 2012-06-06

Family

ID=42398432

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009021717A Expired - Fee Related JP4945586B2 (ja) 2009-02-02 2009-02-02 信号帯域拡張装置

Country Status (2)

Country Link
US (1) US8930184B2 (ja)
JP (1) JP4945586B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5754899B2 (ja) 2009-10-07 2015-07-29 ソニー株式会社 復号装置および方法、並びにプログラム
JP5609737B2 (ja) 2010-04-13 2014-10-22 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
SG10202107800UA (en) * 2010-07-19 2021-09-29 Dolby Int Ab Processing of audio signals during high frequency reconstruction
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
US9391579B2 (en) * 2010-09-10 2016-07-12 Dts, Inc. Dynamic compensation of audio signals for improved perceived spectral imbalances
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
CN102610231B (zh) * 2011-01-24 2013-10-09 华为技术有限公司 一种带宽扩展方法及装置
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
JP6147744B2 (ja) * 2011-07-29 2017-06-14 ディーティーエス・エルエルシーＤｔｓ Ｌｌｃ 適応音声了解度処理システムおよび方法
CN103516440B (zh) 2012-06-29 2015-07-08 华为技术有限公司 语音频信号处理方法和编码装置
US9460729B2 (en) * 2012-09-21 2016-10-04 Dolby Laboratories Licensing Corporation Layered approach to spatial audio coding
US8614940B1 (en) 2012-11-14 2013-12-24 The Aerospace Corporation Systems and methods for reducing narrow bandwidth interference contained in broad bandwidth signals
BR112015017868B1 (pt) * 2013-01-29 2022-02-15 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V Aparelho e método para gerar um sinal de melhoria de frequência utilizando uma operação de limitação de energia
CN105531762B (zh) 2013-09-19 2019-10-01 索尼公司 编码装置和方法、解码装置和方法以及程序
CN104517611B (zh) * 2013-09-26 2016-05-25 华为技术有限公司 一种高频激励信号预测方法及装置
KR102356012B1 (ko) 2013-12-27 2022-01-27 소니그룹주식회사 복호화 장치 및 방법, 및 프로그램
US9931483B2 (en) * 2014-05-28 2018-04-03 Devilbiss Healtcare Llc Detection of periodic breathing during CPAP therapy
EP2963649A1 (en) 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio processor and method for processing an audio signal using horizontal phase correction
US9628122B1 (en) 2016-07-25 2017-04-18 The Aerospace Corporation Circuits and methods for reducing interference that spectrally overlaps a desired signal based on dynamic gain control and/or equalization
EP3382703A1 (en) * 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and methods for processing an audio signal
JP6960766B2 (ja) * 2017-05-15 2021-11-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 雑音抑圧装置、雑音抑圧方法及びプログラム
US10056675B1 (en) 2017-08-10 2018-08-21 The Aerospace Corporation Systems and methods for reducing directional interference based on adaptive excision and beam repositioning
EP3483882A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Controlling bandwidth in encoders and/or decoders
EP3483880A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Temporal noise shaping
EP3483879A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Analysis/synthesis windowing function for modulated lapped transformation
EP3483884A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Signal filtering
EP3483886A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Selecting pitch lag
EP3483883A1 (en) 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering
WO2019091576A1 (en) 2017-11-10 2019-05-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoders, audio decoders, methods and computer programs adapting an encoding and decoding of least significant bits
EP3483878A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder supporting a set of different loss concealment tools
CN110728986B (zh) * 2018-06-29 2022-10-18 华为技术有限公司 立体声信号的编码方法、解码方法、编码装置和解码装置
US11212015B2 (en) 2020-05-19 2021-12-28 The Aerospace Corporation Interference suppression using machine learning

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002082685A (ja) 2000-06-26 2002-03-22 Matsushita Electric Ind Co Ltd 音声帯域拡張装置及び音声帯域拡張方法
DE10041512B4 (de) * 2000-08-24 2005-05-04 Infineon Technologies Ag Verfahren und Vorrichtung zur künstlichen Erweiterung der Bandbreite von Sprachsignalen
JP2002162982A (ja) * 2000-11-24 2002-06-07 Matsushita Electric Ind Co Ltd 有音無音判定装置及び有音無音判定方法
US6889182B2 (en) * 2001-01-12 2005-05-03 Telefonaktiebolaget L M Ericsson (Publ) Speech bandwidth extension
JP3957589B2 (ja) * 2001-08-23 2007-08-15 松下電器産業株式会社 音声処理装置
EP1638083B1 (en) * 2004-09-17 2009-04-22 Harman Becker Automotive Systems GmbH Bandwidth extension of bandlimited audio signals
JP4395772B2 (ja) * 2005-06-17 2010-01-13 日本電気株式会社 ノイズ除去方法及び装置
EP1970900A1 (en) * 2007-03-14 2008-09-17 Harman Becker Automotive Systems GmbH Method and apparatus for providing a codebook for bandwidth extension of an acoustic signal

Also Published As

Publication number Publication date
US8930184B2 (en) 2015-01-06
JP2010176090A (ja) 2010-08-12
US20100198588A1 (en) 2010-08-05

Similar Documents

Publication Publication Date Title
JP4945586B2 (ja) 信号帯域拡張装置
JP4818335B2 (ja) 信号帯域拡張装置
JP5127754B2 (ja) 信号処理装置
JP4892021B2 (ja) 信号帯域拡張装置
RU2552184C2 (ru) Устройство для расширения полосы частот
RU2543309C2 (ru) Устройство, способ и компьютерная программа для того, чтобы управлять аудиосигналом, включающим переходный сигнал
US9368103B2 (en) Estimation system of spectral envelopes and group delays for sound analysis and synthesis, and audio signal synthesis system
JP4440937B2 (ja) 暗騒音存在時の音声を改善するための方法および装置
US7792672B2 (en) Method and system for the quick conversion of a voice signal
US20080140396A1 (en) Model-based signal enhancement system
MX2011001339A (es) Aparato y metodo para procesar una señal de audio para mejora de habla, utilizando una extraccion de caracteristica.
JPH10124088A (ja) 音声帯域幅拡張装置及び方法
JP6896881B2 (ja) 音響信号のスペクトル強調処理に関する所定の特性を決定するための装置および方法
JP5148414B2 (ja) 信号帯域拡張装置
Kornagel Techniques for artificial bandwidth extension of telephone speech
US20140019125A1 (en) Low band bandwidth extended
WO2018003849A1 (ja) 音声合成装置および音声合成方法
EP3262641A1 (en) Systems and methods for speech restoration
JP5443547B2 (ja) 信号処理装置
JP2009223210A (ja) 信号帯域拡張装置および信号帯域拡張方法
JPH10149198A (ja) ノイズ削減装置
Amini et al. Speech analysis/synthesis by Gaussian mixture approximation of the speech spectrum for voice conversion
CN112201261A (zh) 基于线性滤波的频带扩展方法、装置及会议终端系统
Balaji et al. A Novel DWT Based Speech Enhancement System through Advanced Filtering Approach with Improved Pitch Synchronous Analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110401

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20110401

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110401

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20110512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110801

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120305

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees