JP4818335B2 - 信号帯域拡張装置 - Google Patents

信号帯域拡張装置 Download PDF

Info

Publication number
JP4818335B2
JP4818335B2 JP2008222291A JP2008222291A JP4818335B2 JP 4818335 B2 JP4818335 B2 JP 4818335B2 JP 2008222291 A JP2008222291 A JP 2008222291A JP 2008222291 A JP2008222291 A JP 2008222291A JP 4818335 B2 JP4818335 B2 JP 4818335B2
Authority
JP
Japan
Prior art keywords
band
signal
frequency
unit
input signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008222291A
Other languages
English (en)
Other versions
JP2010055000A (ja
Inventor
隆 須藤
公生 三関
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008222291A priority Critical patent/JP4818335B2/ja
Priority to US12/549,659 priority patent/US8244547B2/en
Publication of JP2010055000A publication Critical patent/JP2010055000A/ja
Application granted granted Critical
Publication of JP4818335B2 publication Critical patent/JP4818335B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

この発明は、帯域制限された音声や音楽・オーディオなどの信号を広帯域信号に変換する信号帯域拡張装置に関する。
周知のように、音声や音楽・オーディオなどの信号（入力信号）を広帯域に帯域拡張する場合、人工的ではない自然な音に聞こえるようにするためには、有声音において、帯域拡張された信号（出力信号）が基本周波数とその倍音ごとに周波数領域でピークを持ち、基本周波数の周波数間隔で幾つもの成分が存在する構造（調波構造）を保つ必要がある。従来は、基本周波数を抽出して調波構造を生成する第１の手法（例えば、特許文献１）と、基本周波数を抽出せずに非線形処理などによって調波構造を生成する第２の手法（例えば、非特許文献１）に大別される。
上記第１の手法は、入力信号を線形予測分析し、基本周波数を抽出する。そして、線形予測残差信号を基本周波数の整数倍だけ周波数シフトして、線形予測合成フィルタで合成し、これにより帯域拡張信号を得る。しかしながら、このような手法では、基本周波数の抽出に、大きな計算量が必要である。また、確実な基本周波数の抽出法が存在しないため、不安定な基本周波数の抽出精度が全体音質に大きく影響するという問題がある。
一方、上記非特許文献１に係わる第２の手法は、入力信号を線形予測分析し、線形予測残差信号に半波整流による非線形処理を施し低域拡張する。さらに、線形予測合成フィルタによる合成で、低域拡張信号を得る。この第２の手法では、計算量が小さくて済むものの、実際の音（原音）には存在しない予測信号が生成されて、音質が悪くなるという問題があった。
特開平９−５５７７８号公報 日本音響学会講演論文集（平成６年１０月） 「電話帯域音声の擬似広帯域化の検討」、１−Ｐ−６、３４９−３５０ページ（富士通研究所）。
従来の信号帯域拡張装置では、基本周波数の抽出に大きな計算量が必要であったり、原音には存在しない予測信号が生成されたりして、音質が悪くなるという問題があった。
この発明は上記の問題を解決すべくなされたもので、大きな計算量を必要とすることなく、帯域拡張された信号を原音により忠実に生成することが可能な信号帯域拡張装置を提供することを目的とする。
上記の目的を達成するために、この発明は、入力信号に対して帯域を拡張する信号帯域拡張装置であって、入力信号の帯域を拡張する広帯域化手段と、広帯域化手段によって帯域拡張された入力信号が、拡張された帯域において、予め設定した閾値を超えるピーク成分を有する否かを判定する判定手段と、判定手段が、前記ピーク成分を有すると判定した場合には広帯域化手段により帯域拡張された信号を用いることで入力信号の帯域を拡張し、一方、ピーク成分を有さないと判定した場合には広帯域化手段により帯域拡張された信号を用いた入力信号の帯域拡張を行わない制御手段とを具備して構成するようにした。
以上述べたように、この発明では、入力信号を拡張した帯域のピーク成分が予め設定した閾値を超えた否か、帯域拡張の有効性を判断し、有効な場合にだけ、帯域拡張した信号を用いて、入力信号の帯域拡張を行うようにしている。
したがって、この発明によれば、少ない計算量で原音に忠実に帯域拡張された信号を生成することが可能な信号帯域拡張装置を提供できる。
以下、図面を参照して、この発明の実施形態について説明する。
図１（ａ）は、この発明の一実施形態に係わる信号帯域拡張装置が適用された通信装置の構成を示すものである。この図に示す通信装置は、例えば携帯電話などの無線通信装置の受信系を示すものであって、無線通信部１と、デコーダ２と、帯域拡張処理部３と、Ｄ／Ａ変換器４とを備えている。
無線通信部１は、移動通信網に収容される無線基地局と無線通信し、そしてこの無線基地局および移動通信網を通じて通信相手局との間に通信リンクを確立して通信する。
デコーダ２は、無線通信部１が通信相手局から受信した受信データを、事前に決められた単位（1フレーム=Nサンプル）ごとに復号して、ディジタルの入力信号x[n] (n=0,1,…,N-1)を得る。ここで１フレームをN=160サンプルとする。ただし、この入力信号x[n]は、サンプリング周波数はfs[Hz]でfs_nb_low[Hz]からfs_nb_high[Hz]までに帯域制限された狭帯域の信号である。このようにして得られたディジタルの入力信号x[n]は、フレーム単位で帯域拡張処理部３に出力される。
帯域拡張処理部３は、１フレーム単位で上記入力信号x[n] (n=0,1,…,N-1)に帯域拡張処理を施し、帯域拡張処理によりfs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張される。このとき、サンプリング周波数はデコーダ２でのサンプリング周波数fs[Hz]のままであるか、あるいはより高いサンプリング周波数fs’[Hz]に変更される。すなわち、帯域拡張処理部３によって、サンプリング周波数fs[Hz]あるいはサンプリング周波数fs’[Hz]の帯域拡張された出力信号y[n]が１フレーム単位で得られる。なお、帯域拡張処理部３の具体的な構成例については後に詳述する。
D/A変換器４は、上記帯域拡張された出力信号y[n]をアナログ信号y(t)に変換して、スピーカ５に出力する。スピーカ５は、アナログ信号である出力信号y(t)を音響空間へ出力する。
なお、図１（ａ）では、この発明に関わる信号帯域拡張装置を通信装置に適用しているが、図１（ｂ）に示すように、ディジタルオーディオプレイヤに適用することも可能である。このディジタルオーディオプレイヤは、無線通信部１に代わって、フラッシュメモリやHDD(Hard Disk Drive)を用いた記憶部６を備え、この記憶部６から読み出した音楽データをデコーダ２が上述したように復号する。
次に、帯域拡張処理部３の実施例について説明する。
（第１の実施例）
図２は、この発明に係わる帯域拡張処理部３の第１の実施例の構成を示すものである。第１の実施例では、帯域拡張処理部３の帯域拡張処理で、サンプリング周波数fs[Hz]のまま、fs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張されるものとする。ただし、fs_wb_low ≦ fs_nb_low < fs_nb_high ≦ fs_wb_high < fs/2 を満たすものとする。
また以下の説明では、低域拡張を例に挙げるため、fs_wb_low < fs_nb_low、fs_nb_high = fs_wb_highとして説明し、例えば、fs=8000[Hz]、fs_nb_low=340[Hz]、fs_nb_high=3950[Hz]、fs_wb_low=50[Hz]、fs_wb_high=3950[Hz]とする。帯域制限の周波数帯域やサンプリング周波数については、これに限らない。
この図に示すように、第１の実施例の帯域拡張処理部３は、線形予測分析部１０１と、逆フィルタ１０２と、帯域生成判別部１０３と、線形予測合成部１０５と、帯域通過フィルタ１０８と、信号遅延処理部１０９と、信号加算処理部１１０とを備える。これらは、１つのプロセッサと、図示しない記憶媒体に記録されたソフトウェアによって実現することも可能である。
線形予測分析部１０１は、狭帯域に帯域制限された現在のフレームｆの入力信号x[n] (n=0,1,…,N-1)が入力され、これを線形予測分析して、狭帯域のスペクトル包絡を表す狭帯域スペクトルパラメータとして、Dn次の線形予測係数LPC[f,d]（d=1,…,Dn）を得る。ここでは例えば、Dn=14とする。具体的には、線形予測分析の対象となる現在のフレームｆの入力信号x[n] (n=0,1,…,N-1)と、このフレームの直前の１フレーム前の入力信号の合計２フレームを時間方向に結合したデータ長2Nの入力信号x[n] (n=0,1,…,2N-1)に対して、窓関数をハミング窓として窓関数を入力信号に乗じて、データ長2Nの窓掛けを行い、その信号wx[n] (n=0,1,…,2N-1)に対してDn次の線形予測分析を行う。なお、１フレーム前の入力信号は、線形予測分析部１０１が備えるメモリを用いて保持する。
ここでは、例として、次の時刻（フレーム）での入力信号x[n]のシフト幅（ここではNサンプル）と窓掛けを行った入力信号wx[n]のデータ長（ここでは2Nサンプル）の比であるオーバーラップは50%としている。ただし、窓掛けに用いる窓関数は、ハミング窓に限定せず、他の対称窓（ハニング窓、ブラックマン窓、正弦波窓など）あるいは音声符号化処理で用いられるような非対称窓などに適宜変更してよい。またオーバーラップは、50%に限らない。この実施形態では、狭帯域のスペクトル包絡を表現する狭帯域スペクトルパラメータとして、線形予測係数を用いる場合を例にしているが、狭帯域スペクトルパラメータとして、線スペクトル対(LSP)や線スペクトル周波数(LSF)、PARCOR係数、メルケプストラム係数などを用いてもよい。
逆フィルタ１０２は、線形予測分析部１０１で得た線形予測係数LPC[f,d]を用いて逆フィルタを形成し、その逆フィルタに線形予測分析部１０１でデータ長2Nの窓掛けした入力信号wx[n]を入力して、狭帯域音源信号であるデータ長2Nの線形予測残差信号e[n]を得る。
帯域生成判別部１０３は、まず拡張する帯域において入力信号のピーク成分が欠落しているか否かを判定する。つまり、帯域生成判別部１０３は、入力信号に基本周波数が欠落しているかどうかを判定する。そして、欠落してないと判定された場合は、低域を広帯域化した信号を利用しないように動作する。一方で、入力信号に基本周波数が欠落していると判定された場合には、低域の広帯域化によって基本周波数が復元されているので、低域を広帯域化した信号を利用するように動作する。帯域生成判別部１０３は、帯域制限された狭帯域信号である上記線形予測残差信号e[n]が入力され、この信号を低域側について帯域拡張して広帯域化した広帯域音源信号である線形予測残差信号e_wb[n]を生成するとともに、帯域生成するかしないかを示す制御情報info[f]をフレーム単位で生成する。これらの信号および情報は、線形予測合成部１０５に出力される。
図３に帯域生成判別部１０３の構成例を示す。この構成例では、帯域生成判別部１０３は、調波構造生成判定部１０３１と、ハングオーバ制御部１０３２とを備える。
調波構造生成判定部１０３１は、図４に示すように、広帯域化処理部１０３１１と、比較判定部１０３１２とを備える。
広帯域化処理部１０３１１は、逆フィルタ１０２で得た帯域制限された狭帯域信号であるデータ長2Nの線形予測残差信号e[n]に非線形処理を施して、有声音では基本周波数の倍音ごとに周波数領域でピークを持つ構造（調波構造）となる広帯域信号に変換する。これによって、広帯域化されたデータ長2Nの線形予測残差信号e_wb[n]が得られる。
このような調波構造に変換する非線形処理の一例としては、図５（ａ）〜（ｃ）に示すような非線形関数を用いた非線形処理がある。図５（ａ）は半波整流を表す。また、調波構造にする非線形処理としては図５（ｂ）のように全波整流を用いることもできる。図５（ｃ）中のA[n]は、フレーム毎に線形予測残差信号e[n]の時間領域での振幅の絶対値の平均値を算出し、振幅の絶対値の平均値に事前に設定された一定値を加算した値を設定した時間で動的に可変な閾値を示す。これらの処理に限らないが、帯域制限された入力信号が、この帯域制限によって、有声音において、基本周波数が欠落していた場合は基本周波数を生成し、基本周波数が欠落していない場合は基本周波数を生成しないようにするために、少なくとも周期性を残す関数が望ましい。
比較判定部１０３１２は、帯域制限された狭帯域信号であるデータ長2Nの線形予測残差信号e[n]と、広帯域化されたデータ長2Nの線形予測残差信号e_wb[n]とを比較して、広帯域化処理部１０３１１において生成した調波構造を用いるべきか否かを判定し、この判定結果を判定情報info1[f]としてハングオーバ制御部１０３２に出力する。図６に構成例を示す。
図６に示す比較判定部１０３１２は、周波数領域変換部１０３１２１，１０３１２２と、パワー算出部１０３１２３，１０３１２４と、ピーク抽出部１０３１２５，１０３１２６と、ピーク比較部１０３１２７とを備える。
周波数領域変換部１０３１２１は、データ長2Nの線形予測残差信号e[n]が入力され、この信号にＦＦＴ（Fast Fourier Transform）などの処理を施して周波数領域の信号に変換して、線形予測残差信号e[n]の周波数スペクトルE[ω,f]を算出する。以下の説明では、ＦＦＴの次数は2Nとし、ωは周波数ビンの番号を表し、1≦ω≦2Nとする。ただしＦＦＴの次数はこれに限らず、ＦＦＴを施す信号に零詰めしてデータ長を２のべき乗にし、ＦＦＴの次数を２のべき乗にしてもよい。
同様に、周波数領域変換部１０３１２２は、データ長2Nの線形予測残差信号e_wb[n]が入力され、この信号にＦＦＴなどの処理を施して周波数領域の信号に変換して、線形予測残差信号e_wb[n]の周波数スペクトルE_wb[ω,f]を算出する。同様に以下の説明では、ＦＦＴの次数は2Nとする。
なお、周波数領域変換部１０３１２１および周波数領域変換部１０３１２２は、DFT(Discrete Fourier Transform)や離散コサイン変換（ＤＣＴ: Discrete Cosine Transform）、ウォルシュ・アダマール変換（ＷＨＴ: Walsh Hadamard Transform）、ハーレ変換（ＨＴ: Harr Transform）、スラント変換（ＳＬＴ: Slant Transform）、カルーネン・レーベ変換（ＫＬＴ: Karhunen Loeve Transform）などの周波数領域に変換する他の直交変換を代用することも可能である。
パワー算出部１０３１２３は、上記周波数スペクトルE[ω,f]が入力され、これに基づいてパワースペクトル|E[ω,f]|２を算出する。
同様に、パワー算出部１０３１２４は、上記周波数スペクトルE_wb[ω,f]が入力され、これに基づいてパワースペクトル|E_wb[ω,f]|２を算出する。
ピーク抽出部１０３１２５は、上記パワースペクトル|E[ω,f]|２が入力され、これに基づいて、少なくとも低域拡張される周波数帯域（fs_wb_low[Hz]以上かつfs_nb_low[Hz]未満）を含まない所定の探索範囲（fs_nb_low以上かつfs_serch1未満）について、低周波数から高周波数に向けて、パワースペクトル|E[ω,f]|２が極大となり、かつ予め求めておいた全周波数帯域での平均パワースペクトル|E_avr[f]|２以上であるような周波数（ピーク）を探索し、そのピークの周波数ビンとなる周波数ωp[f] [Hz]を抽出する。なお、fs_serch1[Hz]は、有声音の場合の基本周波数を捉えられるように、予め設定される（人間の音声の基本周波数は凡そ56[Hz]〜500[Hz]であるため、例えば500[Hz]）か、あるいは動的に設定される。
同様に、ピーク抽出部１０３１２６は、上記パワースペクトル|E_wb[ω,f]|２が入力され、これに基づいて、少なくとも低域拡張された周波数帯域（fs_wb_low[Hz]以上かつfs_serch2[Hz]未満）を含む所定の探索範囲（fs_wb_low[Hz]以上かつfs_serch2[Hz]未満）について、低周波数から高周波数に向けて、パワースペクトル|E_wb[ω,f]|２が極大となり、かつ予め求めておいた全周波数帯域での平均パワースペクトル|E_wb_avr[f]|２以上であるような周波数（ピーク）を探索し、そのピークの周波数ビンとなる周波数ωp_wb[f] [Hz]を抽出する。
なお、fs_serch2[Hz]は、有声音の場合の基本周波数を捉えられるように、予め設定されるか、あるいは動的に設定されるものとする。fs_serch2は、fs_serch1と同じ値であってもよい。ここではfs_serch1=fs_serch2=500[Hz]と固定値にする。
ピーク比較部１０３１２７は、入力信号に基本周波数が欠落していたかどうかの判定処理を行う。この判定処理では、周波数ωp[f] [Hz]と周波数ωp_wb[f] [Hz]に基づいて、ωp_wb[f] [Hz]がωp[f] [Hz]と比較してfs_nb_low[Hz]より低い周波数帯域に十分にパワーの大きいピークが生成され、かつこのピークの周波数が予め設定した周波数帯域に含まれることを確認することで、帯域制限によって欠落していた基本周波数にピークを有する信号成分が、広帯域化処理部１０３１１による広帯域化処理によって生成されたものと判定する。そして、基本周波数にピークを有する信号成分が生成されたと判定した場合には、「１」となる判定情報info1[f]をハングオーバ制御部１０３２に出力し、一方、生成されたと判定しない場合には「０」を出力する。広帯域化処理部１０３１１による広帯域化処理によって、上記パワースペクトル|E[ω,f]|２が極大値となる最小の周波数の半音（半分の周波数）が上記パワースペクトル|E_wb[ω,f]|２に生成されるため、この予め設定する周波数帯域の上限値はfs_serch1の半分程度にし、下限値はfs_nb_low[Hz]の半分程度にする。ここでは例えば150〜250[Hz]とする。
結果、入力信号に基本周波数が欠落していた場合、例えば周波数ωp[f]は基本周波数の倍音（２倍の周波数）とすると、ピーク抽出部１０３１２５によってfs_nb_low[Hz]以上かつfs_serch1[Hz]未満に周波数ωp[f]を抽出し、広帯域化処理部１０３１１による広帯域化処理によって生成された周波数ωp[f]の半音である周波数ωp_wb[f]がピーク抽出部１０３１２６によって抽出され、所定の周波数帯域（凡そfs_nb_low÷2[Hz]以上かつfs_serch1÷2[Hz]未満）に十分にパワーの大きいピークが生成されることから、周波数ωp_wb[f]を欠落した基本周波数と判定し、入力信号に基本周波数が欠落していたと判定する。一方で、入力信号に基本周波数が欠落していない場合、例えば周波数ωp[f]は基本周波数とすると、ピーク抽出部１０３１２５によってfs_nb_low[Hz]以上かつfs_serch1[Hz]未満に周波数ωp[f]を抽出し、広帯域化処理部１０３１１による広帯域化処理によって周波数ωp[f]の半音が生成されるが、所定の周波数帯域（凡そfs_nb_low÷2[Hz]以上かつfs_serch1÷2未満[Hz]）に十分にパワーの大きいピークが生成さないことから、ピーク抽出部１０３１２６によって周波数ωp_wb[f]は抽出されずに、入力信号に基本周波数が欠落していなかったと判定する。
このようにすることで、基本周波数を陽に抽出することなく、少ない計算量で、入力信号に基本周波数が欠落している場合とそうでない場合を判別できるため、それぞれの場合に応じて、原音により近い信号を生成することができる。
すなわち、比較判定部１０３１２は、帯域制限された狭帯域信号であるデータ長2Nの線形予測残差信号e[n]と、広帯域化されたデータ長2Nの線形予測残差信号e_wb[n]とに基づいて、（１）広帯域化処理部１０３１１による広帯域化処理の前後で、異なる周波数のピークが低周波数領域に発生し、（２）それらのピークが全周波数帯域の平均レベルを超え、（３）広帯域化処理後のピークが基本周波数領域に存在することを確認すると、「１」を示す判定情報info1[f]をハングオーバ制御部１０３２に出力する。
次に、上記構成の比較判定部１０３１２の具体例について説明する。
まず、例えば男性の音声のように、fs_nb_low[Hz]以下に基本周波数があるような声の高さが低く、入力信号として基本周波数が欠落している音声が入力される場合について説明する。図７を用いて、この場合の比較判定部１０３１２の動作を説明する。この場合、ピーク抽出部１０３１２５には、図７（ａ）に示すようなパワースペクトル|E[ω,f]|２が入力される。これに対して、ピーク抽出部１０３１２５は、fs_nb_low[Hz]以上かつfs_serch1[Hz]未満の周波数帯域について、低周波数から順にピーク探索を行うことにより、予め求めておいた全周波数帯域での平均パワースペクトル|E_avr[f]|２以上であるようなピークの周波数ビンとなる周波数ωp[f] [Hz]を抽出する。
ピーク抽出部１０３１２６には、図７（ｂ）に示すようなパワースペクトル|E_wb[ω,f]|２が入力される。これに対して、ピーク抽出部１０３１２６は、fs_wb_low[Hz]以上かつfs_serch2[Hz]未満の周波数帯域について、低周波数から順にピーク探索を行うことにより、予め求めておいた全周波数帯域での平均パワースペクトル|E_wb_avr[f]|２以上であるようなピークの周波数ビンとなる周波数ωp_wb[f] [Hz]を抽出する。
そして、ピーク比較部１０３１２７は、ピーク抽出部１０３１２５が抽出した周波数ωp[f]と、ピーク抽出部１０３１２６が抽出した周波数ωp_wb[f]が一致しないことを確認し、さらに、周波数ωp_wb[f]が前述した予め設定する所定の周波数帯域（例えば150〜250[Hz]）に含まれることを確認する。これによりピーク比較部１０３１２７は、入力信号に基本周波数が欠落していると判定し、広帯域化処理部１０３１１による広帯域化処理によって図７（ｃ）に示すように上記低周波数帯域に帯域拡張が行われた信号であるデータ長2Nの線形予測残差信号e_wb[n]を利用するように動作するために、「１」を示す判定情報info1[f]をハングオーバ制御部１０３２に出力する。
次の例として、例えば女性の音声のように、fs_nb_low[Hz]以上に基本周波数があるような声の高さが高く、入力信号として基本周波数が欠落していない音声が入力される場合について説明する。図８を用いて、この場合の比較判定部１０３１２の動作を説明する。この場合、ピーク抽出部１０３１２５には、図８（ａ）に示すようなパワースペクトル|E[ω,f]|２が入力される。これに対して、ピーク抽出部１０３１２５は、fs_nb_low[Hz]以上かつfs_serch1[Hz]未満の周波数帯域について、低周波数から順にピーク探索を行うことにより、予め求めておいた全周波数帯域での平均パワースペクトル|E_avr[f]|２以上であるようなピークの周波数ビンとなる周波数ωp[f] [Hz]を抽出する。
ピーク抽出部１０３１２６には、図８（ｂ）に示すようなパワースペクトル|E_wb[ω,f]|２が入力される。これに対して、ピーク抽出部１０３１２６は、fs_wb_low[Hz]以上かつfs_serch2[Hz]未満の周波数帯域について、低周波数から順にピーク探索を行うが、予め求めておいた全周波数帯域での平均パワースペクトル|E_wb_avr[f]|２以上であるようなピークの周波数ビンとなる周波数ωp[f] [Hz]を抽出する。なお、広帯域化処理部１０３１１による広帯域化処理によってピークの周波数ビンとなる周波数ωp[f]の半音成分が0[Hz]に生成されるが、0[Hz]はピークの周波数ビンとして抽出されない。
このため、ピーク比較部１０３１２７は、ピーク抽出部１０３１２５が抽出した周波数ωp[f]と、ピーク抽出部１０３１２６の出力が一致し、さらにピーク抽出部１０３１２６の出力の周波数が基本周波数帯域（例えば150〜250[Hz]）に含まれることが確認できない。これによりピーク比較部１０３１２７は、入力信号に基本周波数が欠落していないと判定し、広帯域化処理部１０３１１による広帯域化処理によって図８（ｃ）に示すように上記低周波数帯域に帯域拡張が行わない信号であるデータ長2Nの線形予測残差信号e[n]を利用するように動作するために、「０」を示す判定情報info1[f]をハングオーバ制御部１０３２に出力する。
このように、基本周波数を陽に抽出することなく、少ない計算量で、声の高さが高い音声であるか低い音声であるか、あるいは暗に男性の音声であるか女性の音声であるかを判別できるため、それぞれの場合に応じて、原音により近い信号を生成することができる。
ハングオーバ制御部１０３２は、調波構造生成判定部１０３１（比較判定部１０３１２）からの判定情報info1[f]を平準化して、制御情報info[f]として次数・係数設定部１０５１に出力する。判定情報info1[f]による帯域生成処理の実施／非実施は、結果的に有声音のフレームのみで、フレーム単位で判定しているため、一発話内の無声音などでは判定が切り替わり異音を生じてしまう。従ってこの平準化は、一発話内においてフレーム単位で帯域生成処理の実施／非実施が切り替わらないようにするためのものであって、過去の連続する複数のフレームでそれぞれ得られた制御情報info[f]に基づいて、「１」あるいは「０」を示す制御情報info[f]を出力する。
具体的には、以下のような平準化処理を実施する。
まず、以下のようにフレーム毎に、制御情報info[f]を累積加算したsum_flag[f]を算出する。
info1[f]=1の場合、sum_flag[f] = sum_flag[f] + 1
info1[f]=0の場合、sum_flag[f] = sum_flag[f] - 1
次に、語頭での検出を俊敏にするために、以下のようにsum_flag[f]の下限を制御する。
sum_flag[f] < -3の場合は、sum_flag[f] = -3
そして、フレーム単位で頻繁に切り替わらないよう孤立フラグを以下のように反転させる。
info1[f]=1かつsum_flag[f]<0の場合、info1[f]=0
info1[f]=0かつsum_flag[f]>0の場合、info1[f]=1
このようにハングオーバ制御されたinfo1[f]を、info[f]=info1[f]として出力する。
線形予測合成部１０５は、図９に示すように、次数・係数設定部１０５１と、合成処理部１０５２、フレーム合成処理部１０５３とを備え、狭帯域スペクトルパラメータである線形予測係数LPC[f,d]と、データ長2Nの線形予測残差信号e_wb[n]および制御情報info[f]に基づいて、データ長Nの第１の広帯域信号y1[n]を生成する。線形予測合成部１０５は、入力信号に基本周波数が欠落してないと判定された場合（制御情報info[f]＝０）は、広帯域化処理部１０３１１による広帯域化処理によって生成された広帯域音源信号であるデータ長2Nの線形予測残差信号e_wb[n]を利用すると原音に忠実な信号を生成できなくなるため、これを利用しないように動作し、一方、入力信号に基本周波数が欠落していると判定された場合（制御情報info[f]＝１）は、広帯域化処理部１０３１１による広帯域化処理によって生成された広帯域音源信号であるデータ長2Nの線形予測残差信号e_wb[n]を利用するように動作する。このようにすることで、基本周波数を陽に抽出することなく、少ない計算量で、入力信号に基本周波数が欠落している場合は基本周波数を生成できる処理を行い、入力信号に基本周波数が欠落していない場合は信号を生成しない処理を行うことができ、原音により近い信号を生成することができる。
具体的には、帯域生成判別部１０３内のハングオーバ制御部１０３２からinfo[f]=1が通知される場合、次数・係数設定部１０５１は、狭帯域スペクトルパラメータである線形予測係数LPC[f,d]をそのまま広帯域スペクトルパラメータである線形予測係数LPC1[f,d]とした上で、線形予測係数LPC1[f,d]を用いて線形予測合成フィルタを生成し、合成処理部１０５２が上記線形予測合成フィルタを用いて、広帯域音源信号である線形予測残差信号e_wb[n]に線形予測合成を行ってデータ長2Nの第１の広帯域信号y1[n]を出力し、フレーム合成処理部１０５３がデータ長2Nの第１の広帯域信号y1[n]の時間的に前半のデータ（データ長N）と、１フレーム前に線形予測合成部１０５が出力したデータ長2Nの第１の広帯域信号y1[n]の時間的に後半のデータ（データ長N）とをこれらのオーバーラップ分を考慮して加算して、データ長Nの第１の広帯域信号y1[n]を算出する。
一方、帯域生成判別部１０３内のハングオーバ制御部１０３２からinfo[f]=0が通知される場合、次数・係数設定部１０５１は、全てのdについてLPC1[f,d]=0とした線形予測次数LPC1[f,d]を生成し、広帯域スペクトルパラメータである線形予測係数LPC1[f,d]を用いて線形予測合成フィルタを生成し、合成処理部１０５２が上記線形予測合成フィルタを用いて、広帯域音源信号である線形予測残差信号e_wb[n]に線形予測合成を行ってデータ長2Nの第１の広帯域信号y1[n]を出力し、フレーム合成処理部１０５３がデータ長2Nの第１の広帯域信号y1[n]の時間的に前半のデータ（データ長N）と、１フレーム前に線形予測合成部１０５が出力したデータ長2Nの第１の広帯域信号y1[n]の時間的に後半のデータ（データ長N）とをこれらのオーバーラップ分を考慮して加算して、データ長Nの第１の広帯域信号y1[n]を算出する。あるいは、info[f]=0が通知される場合、合成処理部１０５２が全てのnについてy1[n]=0とするようにしてもよい。
帯域通過フィルタ１０８は、データ長Nの広帯域信号y1[n]に対して、拡張したい周波数帯域のみを通過させるフィルタ処理を施し、これにより通過した信号、すなわち拡張したい周波数帯域の信号をデータ長Nの第２の広帯域信号y2[n]として出力する。つまり、上記帯域通過フィルタ処理により、fs_wb_low[Hz]からfs_nb_low[Hz]までの周波数帯域を通過させて、この周波数帯域の信号が第２の広帯域信号y2[n]として得られる。
信号遅延処理部１０９は、データ長Nの入力信号x[n]を所定の時間（D1サンプル分）だけバッファし、入力信号x[n-D1]として遅延させて出力することで、帯域通過フィルタ１０８から出力される信号とタイミングを合わせる。すなわち、所定の時間（D1サンプル分）は、線形予測分析部１０１への入力から帯域通過フィルタ１０８から出力が得られるまでの処理遅延の時間に相当する。この値は、事前に求めておき、D1を常に固定値として用いる。
信号加算処理部１１０は、信号遅延処理部１０９から出力されるデータ長Nの入力信号x[n-D1]と、データ長Nの第２の広帯域信号y2[n]とを、共にサンプリング周波数fs[Hz]のままで加算して、データ長Nの広帯域信号y[n]を出力信号として得る。これにより、入力信号x[n-D1]は、第２の広帯域信号y2[n]分だけ帯域拡張される。
以上のように、上記構成の信号帯域拡張装置では、入力信号に対する帯域拡張処理として低域拡張処理を実施し、この帯域拡張処理の前後の信号を比較して入力信号において基本周波数成分が欠落しているか否かを判定し、入力信号において基本周波数成分が欠落している場合には、帯域拡張処理で生成した信号成分を加算して帯域拡張するようにし、入力信号において基本周波数の信号が欠落していない場合には、帯域拡張処理で生成した信号成分を加算しないようにしている。
したがって、上記構成の信号帯域拡張装置によれば、帯域制限により基本周波数の成分が欠落しているような入力信号について基本周波数成分を付加することができ、基本周波数が欠落していないような入力信号については帯域拡張処理によって生成してしまった基本周波数の半音成分を付加させないことができ、原音により忠実で音質のよい帯域拡張された信号を生成することができる。また帯域生成判別部１０３における計算量は少ないので、信号処理にかかる演算量を増大することもない。
なお、この実施例では、デコーダ２から帯域拡張処理部３に入力信号x[n]のみが入力される構成となっているが、デコーダ２で得られた情報、例えば線形予測係数LPC[f,d]や線形予測残差信号e[n]などを帯域拡張処理部３で用いるようにしてもよい。このようにすることで、各信号を算出するモジュールが不要となり、計算量を少なくすることができる。
（第１の実施例の変形例１）
また線形予測合成部１０５に代わって、図１０に示すような線形予測合成部１０５ａを用いてもよい。線形予測合成部１０５ａは、無音化処理部１０５４と、切替スイッチＳＷ１と、合成処理部１０５２とを備える。
切替スイッチＳＷ１は、帯域生成判別部１０３によって得られた、帯域生成するかしないかを示す制御情報info[f]にしたがって切替制御され、帯域生成する場合、すなわち制御情報info[f]=1の場合には、帯域生成判別部１０３（広帯域化処理部１０３１１）で生成された広帯域音源信号である線形予測残差信号e_wb[n]を合成処理部１０５２に出力し、一方、帯域生成しない場合、すなわち制御情報info[f]=0の場合には、無音化処理部１０５４で生成された無音信号を広帯域音源信号として合成処理部１０５２に出力する。
これに対して、合成処理部１０５２は、上記狭帯域スペクトルパラメータである線形予測係数LPC[f,d]をそのまま広帯域スペクトルパラメータとして、その広帯域スペクトルパラメータに基づいて線形予測合成フィルタを生成し、切替スイッチＳＷ１から出力される広帯域音源信号に対して線形予測合成を行い、データ長2Nの第１の広帯域信号y1[n]を算出する。
このような構成であっても、同様の効果を発揮する。
また、このような構成によれば、線形予測合成部１０５の合成処理部１０５２における線形予測合成フィルタは常に動作することになるので、制御情報info[f]が０と１とで切り替わることによって、線形予測係数LPC[f,d]に基づく線形予測合成部１０５の合成処理部１０５２における線形予測合成フィルタの内部状態が影響を受けて、出力である第１の広帯域信号y1[n]が不連続になり異音を生じることを防ぐことができる。
（第１の実施例の変形例２）
また線形予測合成部１０５に代わって、図１１に示すような線形予測合成部１０５ｃを用いてもよい。線形予測合成部１０５ｃは、切替スイッチＳＷ３と、合成処理部１０５２と、フレーム合成処理部１０５３とを備える。
切替スイッチＳＷ３は、帯域生成判別部１０３によって得られた、帯域生成するかしないかを示す制御情報info[f]にしたがって切替制御され、帯域生成する場合、すなわち制御情報info[f]=1の場合には、合成処理部１０５２で生成されたデータ長2Nの第１の広帯域信号y1[n]をフレーム合成処理部１０５３に出力し、一方、帯域生成しない場合、すなわち制御情報info[f]=0の場合には、帯域生成判別部１０３（広帯域化処理部１０３１１）で生成されたデータ長2Nの線形予測残差信号e_wb[n]を第１の広帯域信号y1[n]としてフレーム合成処理部１０５３に出力する。
これに対して、フレーム合成処理部１０５３は、上記切替スイッチＳＷ３を介して出力されたデータ長2Nの第１の広帯域信号y1[n]に対してフレーム合成処理を行い、データ長Nの第１の広帯域信号y1[n]を算出する。
このような構成であっても、同様の効果を発揮する。また、このような構成によれば、制御情報info[f]=0の場合には、帯域生成判別部１０３で生成された線形予測残差信号e_wb[n]を第１の広帯域信号y1[n]としてフレーム合成処理部１０５３に出力するようにするため、合成処理部１０５２での処理を行わないようにできるので、第１の実施例よりも小さい計算量で、原音により忠実で音質のよい帯域拡張された信号を生成することができるという効果が得られる。
（第２の実施例）
次に、この発明に係わる帯域拡張処理部３の第２の実施例について説明する。図１２は、その構成を示すものである。以下の説明では、上述した第１の実施例と同じ構成については同じ番号を付番し、説明を簡明にするために必要に応じて重複する説明を省略する。
第２の実施例に関わる帯域拡張処理部３では、第１の実施例に関わる帯域拡張処理部３で用いていた線形予測合成部１０５および信号加算処理部１１０に代わって、線形予測合成部１０５ｂおよび信号加算処理部１１０ｂを用いている。
線形予測合成部１０５ｂは、狭帯域スペクトルパラメータである線形予測係数LPC[f,d]をそのまま広帯域スペクトルパラメータとし、この広帯域スペクトルパラメータに基づいて線形予測合成フィルタを生成して、広帯域音源信号である線形予測残差信号e_wb[n]に線形予測合成を行い、フレーム合成して、データ長Nの第１の広帯域信号y1[n]を算出する。
信号加算処理部１１０ｂは、図１３に示すように構成される。すなわち、信号加算処理部１１０ｂは、信号加算処理部１１０と、切替スイッチＳＷ２とを備える。
信号加算処理部１１０は、信号遅延処理部１０９から出力されるデータ長Nの入力信号x[n-D1]と、データ長Nの第２の広帯域信号y2[n]とを、共にサンプリング周波数fs[Hz]のままで加算して、データ長Nの広帯域信号y[n]を得る。
切替スイッチＳＷ２は、帯域生成判別部１０３によって得られた、帯域生成するかしないかを示す制御情報info[f]にしたがって切替制御され、帯域生成する場合、すなわち制御情報info[f]=1の場合には、信号加算処理部１１０で得た広帯域信号y[n]を出力信号として出力し、一方、帯域生成しない場合、すなわち制御情報info[f]=0の場合には、信号遅延処理部１０９から出力されるデータ長Nの入力信号x[n-D1]を出力信号として出力する。
このような構成であっても、第１の実施例と同様の効果を発揮する。また、このような構成によれば、制御情報info[f]=0の場合には、信号遅延処理部１０９から出力されるデータ長Nの入力信号x[n-D1]を出力信号として出力するようにするため、線形予測合成部１０５ｂ、帯域通過フィルタ１０８、信号加算処理部１１０ｂを処理させなくするようにできるので、第１の実施例よりもさらに小さい計算量で、原音により忠実で音質のよい帯域拡張された信号を生成することができるという効果が得られる。
（第３の実施例）
次に、この発明に係わる帯域拡張処理部３の第３の実施例について説明する。図１４は、その構成を示すものである。以下の説明では、前述した実施例と同じ構成については同じ番号を付番し、説明を簡明にするために必要に応じて重複する説明を省略する。
第３の実施例に関わる帯域拡張処理部３では、第１の実施例の帯域拡張処理部３において、線形予測合成部１０５と帯域通過フィルタ１０８の間に、ディップ強調処理部１０６と歪み低減処理部１０７とを設けるとともに、信号加算処理部１１０の後段にスペクトル補正部１１１を設けたものである。
ディップ強調処理部１０６は、制御情報info[f]=1の場合に、線形予測合成部１０５で合成されたデータ長2Nの第１の広帯域信号y1[n]に対してパワースペクトルのディップ強調処理を施し、この処理によって得た信号y3[n]を帯域通過フィルタ１０８に出力する。一方、制御情報info[f]=0の場合は、ディップ強調処理は実施せず、第１の広帯域信号y1[n]をそのまま信号y3[n]として帯域通過フィルタ１０８へ出力する。
ディップ強調処理部１０６の動作をより具体的に説明すると、ディップ強調処理部１０６は、はじめに広帯域化されたデータ長2Nの広帯域信号y1[n]を2N点を用いたＦＦＴなどの処理によって周波数領域に変換して、周波数スペクトルY1[f,ω]を得る。ただしＦＦＴの次数はこれに限らず、ＦＦＴを施す信号に零詰めしてデータ長を２のべき乗にし、ＦＦＴの次数を２のべき乗にしてもよい。
またディップ強調処理部１０６は、周波数スペクトルY1[f,ω]からパワースペクトル|Y1[f,ω]|２を算出する。
次に、ディップ強調処理部１０６は、fs_wb_low≦fs・ω/2N[Hz]≦fs_nb_low[Hz]を満たす拡張する周波数ビンωについて、パワースペクトル|Y1[f,ω]|２の平均値Y_powthr1[f]を算出する。また、ディップ強調処理部１０６は、拡張する周波数帯域の内で、|Y1[f,ω]|２＜Y_powthr1[f]となる周波数帯域でのパワースペクトルの平均値Y_powavr2[f]を算出する。
そして、ディップ強調処理部１０６は、|Y1[f,ω-1]|２＞|Y1[f,ω]|２かつ|Y1[f,ω]|２＜|Y1[f,ω+1]|２となる隣接周波数ビンのパワースペクトルよりも小さく極小値となる周波数ビンや、|Y1[f,ω]|２＜Y_powavr2[f]を満たすパワースペクトルの小さな周波数ビンを、周波数領域でのパワースペクトルのディップとして抽出する。それから、ディップ強調処理部１０６は、これらの抽出した周波数ビンに対してディップ強調ゲインG[f,ω]を例えば0と設定するなど1よりも小さくなるようにし、周波数領域でのパワースペクトルのディップとして抽出しない周波数ビンについては、G[f,ω]=1とする。
最後に、ディップ強調処理部１０６は、周波数スペクトルY1[f,ω]に上記ディップ強調ゲインG[f,ω]を乗じ、この乗算結果をＩＦＦＴなどによって時間領域に変換して、ディップ強調したデータ長2Nの信号y3[n]を得る。
スペクトル補正部１１１は、制御情報info[f]=1の場合に、信号加算処理部１１０の加算処理から出力されるデータ長Nの広帯域信号y5[n]（実施例１における広帯域信号y[n]に相当する信号）に対して、帯域拡張しようとする帯域fs_wb_low[Hz]〜fs_nb_low[Hz]を強調するようにスペクトル補正処理を施し、これによってスペクトルが補正された信号をy[n]として出力する。具体的には、スペクトル補正部１１１は、データ長Nの広帯域信号y5[n]を2N点を用いたＦＦＴなどの処理によって周波数領域に変換して、周波数スペクトルY5[f,ω]を得る。ただしＦＦＴの次数はこれに限らず、ＦＦＴを施す信号に零詰めしてデータ長を２のべき乗にし、ＦＦＴの次数を２のべき乗にしてもよい。そして、帯域拡張しようとする帯域fs_wb_low[Hz]〜fs_nb_low[Hz]はG’[f,ω]≧1に、他の帯域の周波数ビンについてはG[f,ω]=1と事前に設定されているスペクトル補正ゲインG’[f,ω]を、周波数スペクトルY5[f,ω]に乗じ、この乗算結果をＩＦＦＴなどによって時間領域に変換して、スペクトル補正処理をしたデータ長Nの広帯域信号y[n]を得る。一方、制御情報info[f]=0の場合は、上述したようなスペクトル補正処理は実施せず、信号y5[n]をそのまま信号y[n]として出力する。
このような構成であっても、同様の効果を発揮する。また、このような構成によれば、入力信号に基本周波数が欠落していると判定された場合（制御情報info[f]＝１）に、広帯域化処理部１０３１１による広帯域化処理によって生成されたデータ長2Nの線形予測残差信号e_wb[n]を利用して広帯域信号を得て、ディップ強調により拡張する周波数帯域において、線形予測合成前の広帯域化された信号について調波構造の谷が深くなり山と谷がくっきりし、広帯域化処理によって生じた調波構造の歪みをより低減することができ、広帯域化した帯域拡張された信号の音質を向上させることができる。また、スペクトル補正により帯域拡張しようとする帯域fs_wb_low[Hz]〜fs_nb_low[Hz]を強調することができ、広帯域化した帯域拡張された信号の音質を向上させることができる。一方で、入力信号に基本周波数が欠落していないと判定された場合（制御情報info[f]＝０）は、ディップ強調処理やスペクトル補正処理を施さなくてよいので計算量を抑えることができる。
なお、図１４に示した構成では、ディップ強調処理部１０６とスペクトル補正部１１１とを両方設けた構成を示したが、いずれか一方を備える構成であってもよい。
（第４の実施例）
次に、この発明に係わる帯域拡張処理部３の第４の実施例について説明する。図１５は、その構成を示すものである。以下の説明では、前述した実施例と同じ構成については同じ番号を付番し、説明を簡明にするために必要に応じて重複する説明を省略する。
第５の実施例に関わる帯域拡張処理部３では、第１の実施例の帯域拡張処理部３において、帯域生成判別部１０３と線形予測合成部１０５の間に、パワー制御部１１５と信号加算処理部１１６を設けるとともに、有声／無声推定部１１２と、雑音生成部１１３と、パワー制御部１１４とを設けたものである。
有声／無声推定部１１２は、入力信号x[n]と、線形予測分析部１０１が線形予測分析した狭帯域スペクトルパラメータであるDn次の線形予測係数LPC[f,d]とを入力として、入力信号x[n]がフレーム単位で「有声音」であるか「無声音」であるかを推定し、その推定情報vuv[f]を出力する。具体的には、有声／無声推定部１１２は、まず入力信号x[n]からフレーム単位での零交差の数を算出し、それをフレーム長Nで割って平均化した上でマイナスにした負の平均零交差数Zi[f]を算出する。次に、下式（１）に示すように、フレーム単位での入力信号x[n]の２乗和をdB単位で計算し、これをフレームパワーCi[f]とする。
Figure 0004818335
また、下式（２）に示すように、フレーム単位での１次自己相関係数In[f]を計算する。
Figure 0004818335
そして、狭帯域スペクトルパラメータであるDn次の線形予測係数LPC[f,d]に零詰めして256点の信号として256点ＦＦＴを行い、周波数スペクトルL[f,ω]を得て、周波数スペクトルL[f,ω]の２乗であるパワースペクトル|L[f,ω]|2に対して１０を底とする対数を取り−１０倍することでLPCによるスペクトル包絡をdB単位で算出し、基本周波数が存在すると想定される帯域におけるLPCによるスペクトル包絡の平均値Vi[f]を下式（３）に示すように算出する。なお、例えば基本周波数が存在すると想定される帯域を75[Hz]≦fs・ω/256[Hz]≦325[Hz]とし、つまりVi[f]として2≦ω≦11の平均を求める。
Figure 0004818335
そして有声／無声推定部１１２は、負の平均零交差数Zi[f]、フレームパワーCi[f]、１次自己相関係数In[f]、LPCスペクトル包絡の平均値Vi[f]に対してそれぞれ適宜重みを付けた線形和をフレーム毎に監視し、所定の閾値を超えた場合に「有声音」であると推定し、所定の閾値を超えない場合に「無声音」と推定し、その推定情報vuv[f]を出力する。
雑音生成部１１３は、有声／無声推定部１１２の推定結果である推定情報vuv[f]が「無声音」の場合に、一様にランダムな乱数を生成し、それを信号の振幅値にすることにより、白色化された雑音信号wn[n]をデータ長2N分生成して出力する。
パワー制御部１１４は、逆フィルタ１０２から出力された狭帯域音源信号であるデータ長2Nの線形予測残差信号e[n]と有音／無声推定部１１２から出力された１次自己相関係数In[f]に基づいて、雑音生成部１１３が生成した雑音信号wn[n]を所定のレベルまで増幅し、信号加算処理部１１６に出力する。具体的には、まずデータ長2Nの線形予測残差信号e[n]の２乗和を求め、データ長2Nの雑音信号wn[n]の２乗和を求め、線形予測残差信号e[n]の２乗和を雑音信号wn[n]の２乗和で割って増幅ゲインg1[f]を求める。次に、無声音である程レベルを増幅させるために、１次自己相関係数In[f]の絶対値が0に近づけば1に近づき、１次自己相関係数In[f]の絶対値が1に近づけば0に近づく増幅ゲインg2[f]を求める。そして、増幅ゲインg1[f]とg2[f]を雑音信号wn[n]に乗じる。
パワー制御部１１５は、逆フィルタ１０２から出力された狭帯域音源信号であるデータ長2Nの線形予測残差信号e[n]と有音／無声推定部１１２から出力された１次自己相関係数In[f]に基づいて、帯域生成判別部１０３（広帯域化処理部１０３１１）で得られた広帯域化されたデータ長2Nの線形予測残差信号e_wb[n]を所定のレベルまで増幅し、信号加算処理部１１６に出力する。具体的には、まずデータ長2Nの線形予測残差信号e[n]の２乗和を求め、データ長2Nの線形予測残差信号e_wb[n]の２乗和を求め、線形予測残差信号e[n]の２乗和を線形予測残差信号e_wb[n]の２乗和で割って増幅ゲインg3[f]を求める。次に、有声音である程レベルを増幅させるために、１次自己相関係数In[f]の絶対値が1に近づけば1に近づき、１次自己相関係数In[f]の絶対値が0に近づけば0に近づく増幅ゲインg4[f]を求める。そして、増幅ゲインg3[f]とg4[f]を線形予測残差信号e_wb[n]に乗じる。
信号加算処理部１１６は、パワー制御部１１４から出力される雑音信号wn[n]と、パワー制御部１１５から出力される線形予測残差信号e_wb[n]とを加算して、広帯域音源信号として、線形予測合成部１０５に出力する。
線形予測合成部１０５は、狭帯域スペクトルパラメータである線形予測係数LPC[f,d]をそのまま広帯域スペクトルパラメータとして、広帯域スペクトルパラメータと、信号加算処理部１１６から出力される広帯域音源信号と、制御情報info[f]とに基づいて、データ長Nの第１の広帯域信号y1[n]を合成する。
このような構成であっても、同様の効果を発揮する。また、このような構成によれば、入力信号に基本周波数が欠落していると判定された場合（制御情報info[f]＝１）に、広帯域化処理部１０３１１による広帯域化処理によって生成されたデータ長2Nの線形予測残差信号e_wb[n]を利用して広帯域信号を得て、有音／無声推定部１１２により有声音と無声音でそれぞれに適した信号を生成することができ、広帯域化して帯域拡張された信号を原音に近づけて、音質を向上させることができる。一方で、入力信号に基本周波数が欠落していないと判定された場合（制御情報info[f]＝０）は、有音／無声推定部１１２、雑音生成部１１３、パワー制御部１１４、パワー制御部１１５、信号加算処理部１１６を動作させなくてよいので計算量を抑えることができる。
（第５の実施例）
次に、この発明に係わる帯域拡張処理部３の第５の実施例について説明する。第５の実施例は、第１の実施例と比較して、拡張する帯域において入力信号のピーク成分が欠落しているか否か、つまり帯域制限によって基本周波数の信号成分が欠落した入力信号か否かを判断する判断方法が異なる。第１の実施例では、帯域拡張前の線形予測残差信号のパワースペクトルと帯域拡張後の線形予測残差信号のパワースペクトルとを比較して帯域制限によって基本周波数の信号成分が欠落した入力信号か否かを判断していたが、第５の実施例では、帯域拡張前の線形予測残差信号のパワースペクトルを用いて帯域制限によって基本周波数の信号成分が欠落した入力信号か否かを判断する。
図１６は、この発明に係わる帯域拡張処理部３の第５の実施例の構成を示すものである。以下の説明では、前述した実施例と同じ構成については同じ番号を付番し、説明を簡明にするために必要に応じて重複する説明を省略する。この図に示すように、第５の実施例の帯域拡張処理部３は、線形予測分析部１０１と、逆フィルタ１０２と、帯域生成判別部２０３と、広帯域化処理部１０４と、線形予測合成部１０５と、帯域通過フィルタ１０８と、信号遅延処理部１０９と、信号加算処理部１１０ｂとを備える。
線形予測分析部１０１は、狭帯域に帯域制限された入力信号x[n]が入力され、これを線形予測分析して、狭帯域スペクトルパラメータとしてDn次の線形予測係数LPC[f,d]（d=1,…,Dn）を得る。
逆フィルタ１０２は、線形予測分析部１０１で得た狭帯域スペクトルパラメータである線形予測係数LPC[f,d]を用いて逆フィルタを形成し、その逆フィルタに線形予測分析部１０１で窓掛けしたデータ長2Nの入力信号wx[n]を入力し、狭帯域音源信号としてデータ長2Nの線形予測残差信号e[n]を得る。この信号e[n]は、狭帯域信号である。
帯域生成判別部２０３は、拡張する帯域において入力信号のピーク成分が欠落しているか否かを判定する。具体的には、狭帯域音源信号である上記線形予測残差信号e[n]に基づいて、調波構造を生成するべきか否かを判定し、この判定結果を制御情報info[f]として出力する。帯域生成判別部２０３は、図１７に示すように、調波構造生成判定部２０３１と、ハングオーバ制御部２０３２とを備える。調波構造生成判定部２０３１は、ピーク抽出部２０３１１と、生成判定部２０３１２とを備える。また、図１８に示すように、ピーク抽出部２０３１１は、周波数領域変換部２０３１１１と、第１ピーク抽出部２０３１１２と、第２ピーク抽出部２０３１１３とを備える。
ピーク抽出部２０３１１は、狭帯域信号e[n]のパワースペクトルを求め、これより所定のレベル以上のパワーを有する周波数（ピーク）を、低周波数から順に高周波数に向けて、少なくとも２つ検出する。
周波数領域変換部２０３１１１は、データ長2Nの線形予測残差信号e[n]が入力され、この信号に例えば2N点によるＦＦＴ（Fast Fourier Transform）などの処理を施して周波数領域の信号に変換して、線形予測残差信号e[n]の周波数スペクトルE[f,ω]を算出し、パワースペクトル|E[f,ω]|２を算出する。以下の説明では、ωは周波数ビンの番号を表し、1≦ω≦2Nとする。
第１ピーク抽出部２０３１１２は、パワースペクトル|E[f,ω]|２に基づいて、予め設定された探索範囲の周波数帯域から、パワースペクトル|E[f,ω]|２が極大値となり、かつ所定のレベル以上のパワーを有するような周波数ωp1[f] [Hz]を第１周波数（ピーク）として検出する。
同様に、第２ピーク抽出部２０３１１３は、パワースペクトル|E[f,ω]|２に基づいて、予め設定された探索範囲の周波数帯域から、パワースペクトル|E[f,ω]|２が極大値となり、かつ所定のレベル以上のパワーを有するような周波数ωp2[f] [Hz]を第２周波数（ピーク）として検出する。なお、第２ピーク抽出部２０３１１３は、第１ピーク抽出部２０３１１２の探索範囲に連続し、この探索範囲よりも高い周波数帯域について探索を行うことで、第１ピーク抽出部２０３１１２とは異なるピークを検出する。
生成判定部２０３１２は、ピーク抽出部２０３１１が検出した２つのピークである第１周波数ωp1[f] [Hz]と第２周波数ωp2[f] [Hz]の周波数差に基づいて、拡張しようとする低域において入力信号x[n]の基本周波数が欠落しているか否かを判断することで、広帯域化処理部１０４によって生成された線形予測残差信号e_wb[n]を利用して広帯域信号を生成するべきか否かを判定し、この判定結果を判定情報info1[f]として出力する。具体的には、生成判定部２０３１２は、第１ピーク抽出部２０３１１２が検出した第１周波数ωp1[f] [Hz]と、第２ピーク抽出部２０３１１３が検出した第２周波数ωp2[f] [Hz]との差分ωp2[f]−ωp1[f] [Hz]を求め、上記第１周波数ωp1[f] [Hz]から上記差分だけ引いた周波数であるωp1[f]−(ωp2[f]−ωp1[f])[Hz]が、拡張しようとする低域の帯域fs_wb_low[Hz]〜fs_nb_low[Hz]に収まるか否かで、入力信号x[n]において基本周波数が欠落しているか否かを判断する。
例えば、図１９（ａ）に示すように、第１周波数ωp1[f] [Hz]と第２周波数ωp2[f] [Hz]が求められた場合には、周波数ωp1[f]−(ωp2[f]−ωp1[f])[Hz]は、拡張しようとする低域の帯域fs_wb_low[Hz]〜fs_nb_low[Hz]に収まるので、入力信号x[n]において基本周波数が欠落していると判断し、判定情報info1[f]=1を出力する。一方、図１９（ｂ）に示すように、第１周波数ωp1[f] [Hz]と第２周波数ωp2[f] [Hz]が求められた場合には、周波数ωp1[f]−(ωp2[f]−ωp1[f])[Hz]は、拡張しようとする低域の帯域fs_wb_low[Hz]〜fs_nb_low[Hz]に収まらないので、入力信号x[n]において基本周波数が欠落していないと判断し、判定情報info1[f]=0を出力する。
ハングオーバ制御部２０３２は、生成判定部２０３１２からの判定情報info1[f]を平準化して、制御情報info[f]として出力する。判定情報info1[f]による帯域生成処理の実施／非実施は、結果的に有声音のフレームのみで、フレーム単位で判定しているため、一発話内の無声音などでは判定が切り替わり異音を生じてしまう。従ってこの平準化は、一発話内においてフレーム単位で帯域生成処理の実施／非実施が切り替わらないようにするためのものであって、過去の連続する複数のフレームでそれぞれ得られた制御情報info[f]に基づいて、「１」あるいは「０」を示す制御情報info[f]を出力する。
広帯域化処理部１０４は、制御情報info[f]=1の場合、逆フィルタ１０２で得た帯域制限された狭帯域音源信号であるデータ長2Nの線形予測残差信号e[n]に非線形処理を施して、有声音では基本周波数の倍音ごとに周波数領域でピークを持つ構造（調波構造）となる広帯域信号に変換し、広帯域音源信号として、広帯域化されたデータ長2Nの線形予測残差信号e_wb[n]を得て出力する。一方、広帯域化処理部１０４は、制御情報info[f]=0の場合には、非線形処理は行わずに、線形予測残差信号e[n]を広帯域音源信号である線形予測残差信号e_wb[n]としてそのまま出力する。
線形予測合成部１０５ｂは、第１の実施例で説明したように、狭帯域スペクトルパラメータである線形予測係数LPC[f,d]をそのまま広帯域スペクトルパラメータとし、広帯域スペクトルパラメータと広帯域音源信号であるデータ長2Nの線形予測残差信号e_wb[n]および制御情報info[f]に基づいて、データ長Nの第１の広帯域信号y1[n]を合成する。
このような構成であっても、同様の効果を発揮する。また、このような構成によれば、広帯域化処理部１０４によって広帯域化された線形予測残差信号e_wb[n]を生成し解析することなく、線形予測残差信号e[n]を解析するようにしているので、さらに小さい計算量で、原音により忠実で音質のよい帯域拡張された信号を生成することができるという効果が得られる。
また、実施例１と同様に、線形予測合成部１０５ｂに代わって、図９に示すような線形予測合成部１０５を用いてもよいし、図１０に示すような線形予測合成部１０５ａを用いてもよいし、図１１に示すような線形予測合成部１０５ｃを用いてもよい。また、実施例２と同様に、信号加算処理部１１０に代わって、図１３に示すような信号加算処理部１１０ｂを用いてもよい。これらのような構成であっても、第５の実施例と同様の効果を発揮する。また、これらのような構成によれば、第５の実施例よりもさらに小さい計算量で、原音により忠実で音質のよい帯域拡張された信号を生成することができるという効果が得られる。
（第６の実施例）
次に、この発明に係わる帯域拡張処理部３の第６の実施例について説明する。図２０は、その構成を示すものであって、前述した実施例の帯域拡張処理部３は、低域拡張を行うものであったが、高域についても拡張を行う機能を備える。以下の説明では、上述した実施例と同じ構成については同じ番号を付番し、説明を簡明にするために必要に応じて重複する説明を省略する。
第６の実施例では、帯域拡張処理部３の入力信号x[n] (n=0,1,…,N-1)は、fs_nb_low[Hz]からfs_nb_high[Hz]までに帯域制限されているものとし、帯域拡張処理部３の帯域拡張処理によってサンプリング周波数fs[Hz]からより高いサンプリング周波数fs’[Hz]に変更され、fs_wb_low[Hz]からfs_wb_high[Hz]までの帯域に拡張されるものとする。ただし、fs_wb_low ≦ fs_nb_low < fs_nb_high < fs/2 ≦ fs_wb_high < fs’/2 を満たすものとする。
また以下の説明では、低域拡張と高域拡張を例に挙げるため、fs_wb_low < fs_nb_low、fs_nb_high < fs_wb_highとして説明し、例えば、fs=8000[Hz]、fs’=16000[Hz]、fs_nb_low=340[Hz]、fs_nb_high=3950[Hz]、fs_wb_low=50[Hz]、fs_wb_high=7950[Hz]とする。帯域制限の周波数帯域やサンプリング周波数については、これに限らない。
図２０に示すように、第６の実施例の帯域拡張処理部３は、線形予測分析部１０１と、逆フィルタ１０２と、帯域生成判別部１０３と、線形予測合成部１０５と、帯域通過フィルタ１０８と、アップサンプリング部５００と、高域拡張処理部５１０と、アップサンプリング部５３０と、信号遅延処理部１０９と、信号加算処理部１１０ｄとを備える。これらは、１つのプロセッサと、図示しない記憶媒体に記録されたソフトウェアによって実現することも可能である。
線形予測分析部１０１は、狭帯域に帯域制限された入力信号x[n]が入力され、これを線形予測分析して、狭帯域スペクトルパラメータとしてDn次の線形予測係数LPC[f,d]（d=1,…,Dn）を得る。
逆フィルタ１０２は、線形予測分析部１０１で得た狭帯域スペクトルパラメータである線形予測係数LPC[f,d]を用いて逆フィルタを形成し、その逆フィルタに線形予測分析部１０１で窓掛けしたデータ長2Nの入力信号wx[n]を入力して、狭帯域音源信号としてデータ長2Nの線形予測残差信号e[n]を得る。
帯域生成判別部１０３は、帯域制限された狭帯域音源信号である上記線形予測残差信号e[n]が入力され、この信号を帯域拡張して広帯域音源信号である線形予測残差信号e_wb[n]を生成するとともに、帯域生成するかしないかを示す制御情報info[f]をフレーム単位で生成する。これらの信号および情報は、線形予測合成部１０５に出力される。具体的な構成例は、第１の実施例において、図３乃至図６を用いて説明したものと同様である。
線形予測合成部１０５は、狭帯域スペクトルパラメータである線形予測係数LPC[f,d]をそのまま広帯域スペクトルパラメータとし、その広帯域スペクトルパラメータと広帯域音源信号であるデータ長2Nの線形予測残差信号e_wb[n]および制御情報info[f]に基づいて、データ長Nの第１の広帯域信号y1[n]を生成する。具体的な構成例は、第１の実施例において、図９を用いて説明したものと同様である。
帯域通過フィルタ１０８は、データ長Nの広帯域信号y1[n]に対して、拡張した周波数帯域のみを通過させるフィルタ処理を施し、これにより通過した信号、すなわち拡張した周波数帯域の信号をデータ長Nの第２の広帯域信号y2[n]として出力する。つまり、上記フィルタ処理により、fs_wb_low[Hz]からfs_nb_low[Hz]までの周波数帯域を通過させて、この周波数帯域の信号が第２の広帯域信号y2[n]として得られる。
アップサンプリング部５００は、上記第２の広帯域信号y2[n]を、サンプリング周波数fs[Hz]からfs’[Hz]にアップサンプリングし、エイリアシングを除去し、y2_wb[n]として出力する。
高域拡張処理部５１０は、入力信号x[n]に高域拡張処理を施して、入力信号x[n]の周波数帯域よりも高い周波数帯域を拡張した広帯域信号y_hi_wb[n]を生成する。高域拡張処理部５１０は、例えば図２１に示すように構成される。
線形予測分析部５１８は、線形予測分析部１０１と同様の処理を実施するものであって、狭帯域に帯域制限された入力信号x[n]が入力され、これを線形予測分析して、第２の狭帯域スペクトルパラメータとしてDnb次の線形予測係数LPC2[f,d]（d=1,…,Dnb）を得る。ここでは例えばDnb=10とする。勿論、Dnb＝DnとしLPC2[f,d]＝LPC[f,d]として、前記狭帯域スペクトルパラメータと第２の狭帯域スペクトルパラメータを同じにして、線形予測分析部１０１と処理を共通化させてもよい。
逆フィルタ５１９は、逆フィルタ１０２と同様の処理を実施するものであって、線形予測分析部５１８で得た第２の狭帯域スペクトルパラメータである線形予測係数LPC2[f,d]を用いて逆フィルタを形成し、その逆フィルタに線形予測分析部５１８で窓掛けしたデータ長2Nの入力信号wx[n]を入力して、第２の狭帯域音源信号としてデータ長2Nの線形予測残差信号e2[n]を得る。勿論、Dnb＝DnとしLPC2[f,d]＝LPC[f,d]として、逆フィルタ１０２と処理を共通化させ、前記狭帯域音源信号と第２の狭帯域音源信号を同じにしてもよい。
スイッチＳＷ４およびスイッチＳＷ５は、帯域生成判別部１０３によって得られた、帯域生成するかしないかを示す制御情報info[f]にしたがって切替制御され、帯域生成する場合、すなわち制御情報info[f]=1の場合には、逆フィルタ５１９で得たデータ長2Nの線形予測残差信号e2[n]を帯域通過フィルタ５２０に出力し、一方、帯域生成しない場合、すなわち制御情報info[f]=0の場合には、逆フィルタ５１９で得たデータ長2Nの線形予測残差信号e2[n]をそのままアップサンプリング部５２１に出力する。
帯域通過フィルタ５２０は、逆フィルタ５１９の出力である線形予測残差信号e2[n]から広帯域化に用いる周波数帯域を通過させるためのフィルタであって、帯域制限によって劣化した低域の影響を除去するために、少なくとも低域を低減する特性を有する。ここでは例えば1000[Hz]〜3400[Hz]を通過させる帯域通過フィルタとする。具体的には、逆フィルタ５１９で得たデータ長2Nの線形予測残差信号e2[n]を入力として、帯域通過フィルタ処理し、スイッチＳＷ５を介して、帯域通過処理した線形予測残差信号をe2[n]としてアップサンプリング部５２１に出力する。
アップサンプリング部５２１は、アップサンプリング部５００と同様の処理を実施するものであって、スイッチＳＷ５を介して出力された信号e2[n]を、サンプリング周波数fs[Hz]からfs’[Hz]にアップサンプリングし、エイリアシングを除去し、データ長4Nの信号e2_us[n]として出力する。
広帯域化処理部５２２は、広帯域化処理部１０３１１と同様の処理を実施するものであって、アップサンプリング部５２１から出力されたデータ長4Nの信号e2_us[n]に非線形処理を施して、有声音では基本周波数の倍音ごとに周波数領域でピークを持つ構造（調波構造）となる広帯域信号に変換する。これによって、広帯域化されたデータ長4Nの線形予測残差信号e2_wb[n]が得られる。
雑音生成部５１３は、有声／無声推定部１１２の推定結果である推定情報vuv[f]が「無声音」の場合に、一様にランダムな乱数を生成し、それを信号の振幅値にすることにより、白色化された雑音信号wn[n]をデータ長4N分生成して出力する。
パワー制御部５１４は、アップサンプリング部５２１から出力されたデータ長4Nの信号e2_us[n]と有音／無声推定部１１２から出力された１次自己相関係数In[f]に基づいて、雑音生成部５１３が生成した雑音信号wn[n]を所定のレベルまで増幅し、信号加算処理部５１６に出力する。具体的には、まずデータ長4Nの信号e2_us[n]の２乗和を求め、データ長4Nの雑音信号wn[n]の２乗和を求め、信号e2_us[n]の２乗和を雑音信号wn[n]の２乗和で割って増幅ゲインg1[f]を求める。次に、無声音である程レベルを増幅させるために、１次自己相関係数In[f]の絶対値が0に近づけば1に近づき、１次自己相関係数In[f]の絶対値が1に近づけば0に近づく増幅ゲインg2[f]を求める。そして、増幅ゲインg1[f]とg2[f]を雑音信号wn[n]に乗じる。
パワー制御部５１５は、アップサンプリング部５２１から出力されたデータ長4Nの信号e2_us[n]と有音／無声推定部１１２から出力された１次自己相関係数In[f]に基づいて、広帯域化処理部５２２で得られた広帯域化されたデータ長4Nの信号e2_wb[n]を所定のレベルまで増幅し、信号加算処理部５１６に出力する。具体的には、まずデータ長4Nの信号e2_us[n]の２乗和を求め、データ長4Nの信号e2_wb[n]の２乗和を求め、信号e2_us[n]の２乗和を信号e2_wb[n]の２乗和で割って増幅ゲインg3[f]を求める。次に、有声音である程レベルを増幅させるために、１次自己相関係数In[f]の絶対値が1に近づけば1に近づき、１次自己相関係数In[f]の絶対値が0に近づけば0に近づく増幅ゲインg4[f]を求める。そして、増幅ゲインg3[f]とg4[f]を信号e2_wb[n]に乗じる。
信号加算処理部５１６は、パワー制御部５１４から出力される雑音信号wn[n]と、パワー制御部５１５から出力される信号e2_wb[n]とを加算して、データ長4Nの信号e3_wb[n]を広帯域音源信号として信号合成部５２４に出力する。
スペクトル包絡広帯域化処理部５２３は、狭帯域信号のスペクトル包絡を表す狭帯域スペクトルパラメータと広帯域信号のスペクトル包絡を表す広帯域スペクトルパラメータとの対応を事前にモデル化しておき、第２の狭帯域スペクトルパラメータ（ここでは線形予測係数LPC2[f,d]）を取得し、このスペクトルパラメータを用いて、モデル化しておいた狭帯域スペクトルパラメータと広帯域スペクトルパラメータとの対応から第２の広帯域スペクトルパラメータ（ここでは線スペクトル周波数LSF_WB[f,d]）を求める処理を行う。狭帯域のスペクトル包絡を表すスペクトルパラメータから広帯域のスペクトル包絡を表すスペクトルパラメータに変換する手法としては、ベクトル量子化(VQ)による符号帳を用いる手法（例えば、吉田, 阿部, ”コードブックマッピングによる狭帯域音声から広帯域音声の生成法”, 信学論(D-II), vol.J78-D-II, No.3, pp.391-399, Mar. 1995.）や、GMMを用いる手法（例えば、K. Y. Park, H. S. Kim, ”Narrowband to Wideband Conversion of Speech using GMM based Transformation”, Proc. ICASSP2000, vol.3, pp.1843-1846, Jun. 2000.）や、ベクトル量子化(VQ)による符号帳とHMMを用いる手法（例えば、G. Chen, V. Parsa, ”HMM-based Frequency Bandwidth Extension for Speech Enhancement using Line Spectral Frequencies”, Proc. ICASSP2004, vol.1, pp.709-712, 2004.）や、HMMを用いる手法（例えば、S. Yao, C. F. Chan, ”Block-based Bandwidth Extension of Narrowband Speech Signal by using CDHMM”, Proc. ICASSP2005, vol.1, pp.793-796, 2005.）などがあり、どれを用いても構わない。ここでは、例えばGMM(Gaussian mixture model)を利用する手法を用いるとして、線形予測分析部５１８で得た第２の狭帯域スペクトルパラメータである線形予測係数LPC2[f,d]を、fs_wb_low[Hz]からfs_wb_high[Hz]までに対応する第２の広帯域スペクトルパラメータであるDwb次の広帯域の線スペクトル周波数LSF_WB[f,d]（d=1,…,Dwb）に、事前に線形予測係数LPC2[f,d]と線スペクトル周波数LSF_WB[f,d]の対応をモデル化しておいたGMMを利用して変換する。ここでは例えばDwb=18とする。なお、狭帯域スペクトルパラメータであるスペクトル包絡を表す特徴量データは、線形予測係数限らず、PARCOR係数や反射係数、線スペクトル周波数、ケプストラム係数、メルケプストラム係数などでも構わない。同様に、広帯域のスペクトルパラメータであるスペクトル包絡を表す特徴量データは、線スペクトル周波数に限らず、例えばLPC係数、PARCOR係数や反射係数、ケプストラム係数、メルケプストラム係数などでも構わない。
スペクトル包絡広帯域化処理部５２３のより具体的な構成例を図２２に示す。スペクトル包絡広帯域化処理部３０７は、線スペクトル周波数変換部５２３ａと、GMM格納部５２３ｂと、スペクトル包絡生成部５２３ｃとを備える。
線スペクトル周波数変換部５２３ａは、第２の狭帯域スペクトルパラメータである線形予測係数LPC2[f,d]（d=1,…,Dnb）を、同じ次数の線スペクトル周波数（LSF）であるLSF_NB[f,d]（d=1,…,Dnb）に変換して、スペクトル包絡生成部５２３ｃに出力する。
ＧＭＭ格納部５２３ｂは、事前に学習された混合数Ｑ（ここではQ=64）のGMM λq={ｗq,μq,Σq}（q=1,…,Q）を格納している。なお、ｗqはq番目の混合正規分布の混合重みを示し、μqはq番目の混合正規分布の平均ベクトル、Σqはq次数目の混合正規分布の共分散行列（対角共分散行列または全共分散行列）を表している。なお、平均ベクトルμqと共分散行列Σqの成分の数である次数は、Dnb＋Dwbである。
スペクトル包絡生成部３０７ｃは、線スペクトル周波数LSF_NB[f,d]（d=1,…,Dnb）を入力として、ＧＭＭ格納部５２３ｂからGMM λq={ｗi,μq,Σq}（q=1,…,Q）を読み出して、最小平均２乗推定（MMSE：Minimam Mean Square Error）に従って、下式（４）に示すように、広帯域信号のスペクトル包絡を表す第２の広帯域スペクトルパラメータとして線スペクトル周波数LSF_WB[f,d]（d=1,…,Dwb）を算出して出力する。下式（４）は、次元（d=1,…,Dnb+Dwb）方向のベクトルとして記載している。また、平均ベクトルμq（d=1,…,Dnb+Dwb）は次元方向で、μq N（d=1,…,Dnb）とμq W（d=Dnb,…,Dnb+Dwb）に分割し、（Dn+Dw）×（Dn+Dw）行列である共分散行列Σqも以下のように、Dn×Dn行列であるΣq NNとDn×Dw行列であるΣq NWとDw×Dn行列であるΣq WNとDw×Dw行列であるΣq WWとに分割する。
Figure 0004818335
事前のGMMの学習生成方法について、フローチャートを図２３に示し、説明する。
GMMの生成に用いる信号は、サンプリング周波数fs’[Hz]でfs_wb_low[Hz]からfs_wb_high[Hz]までに対応する理想的な広帯域信号（原音）とし、なるべく多数の音声信号を用いた信号群を用意する。この信号群は、多数の話者、様々な音量、様々な発話内容であることが望ましい。以下では、GMMの生成に用いる理想的な広帯域信号の信号群をまとめて１つにして、広帯域信号データwb[n]と表記する。また、ｎは時刻（サンプル）を表す。
まず、広帯域信号データwb[n]を入力として、ダウンサンプリングフィルタによってサンプリング周波数fs[Hz]にダウンサンプリングし、fs_nb_low[Hz]からfs_nb_high[Hz]までの狭帯域に帯域制限された狭帯域信号データnb[n]を得る（ステップＳ１０１）。このようにして、入力信号x[n]と同じように帯域制限された信号群を生成する。なお、図示しないが、上記ダウンサンプリングフィルタや帯域制限処理でアルゴリズム遅延が生じる場合には、狭帯域信号データnb[n]を広帯域信号データwb[n]と同期を合わせる処理を行う。
次に、上記狭帯域信号データnb[n]からフレームf単位で所定の次数の狭帯域のスペクトル包絡を表す特徴量データを抽出する（ステップＳ１０２）。ステップＳ１０２ではまず、狭帯域信号データnb[n]からフレーム毎に線形予測分析を行い、Dnb次の線形予測係数LPC_NB[f,d]（d=1,…,Dnb）を得る（ステップＳ１０２Ａ）。次にDnb次の線形予測係数LPC_NB[f,d]から同じ次数の線スペクトル周波数LSF_NB[f,d]（d=1,…,Dnb）に変換する。（ステップＳ１０２Ｂ）。
一方、上記に並行して、広帯域信号データwb[n]からフレームf単位で所定の次数の広帯域のスペクトル包絡を表す特徴量データを抽出する（ステップＳ１０３）。ステップＳ１０３ではまず、広帯域信号データwb[n]からフレーム毎に線形予測分析を行い、Dwb次の線形予測係数LPC_WB[f,d]（d=1,…,Dwb）を得る（ステップＳ１０３Ａ）。次にDwb次の線形予測係数LPC_WB[f,d]から同じ次数の線スペクトル周波数LSF_WB[f,d]（d=1,…,Dwb）に変換する。（ステップＳ１０３Ｂ）。
次に、完全に時間的に同期が取れた狭帯域のスペクトル包絡を表す特徴量データである線スペクトル周波数LSF_NB[f,d]（d=1,…,Dnb）と、広帯域のスペクトル包絡を表す特徴量データである線スペクトル周波数LSF_WB[f,d]（d=1,…,Dwb）の２つの特徴量データをフレーム単位で次数方向（次元方向）に連結して、次数Dnb+Dwbの連結特徴量データP[f,d]（d=1,…,Dnb+Dwb）を生成する（ステップＳ１０４）。
最後に、上記連結特徴量データＰ[f,d]から混合数Q=1の初期GMMを生成し、各GMMの平均ベクトルをわずかにずらして2倍の数のGMMを生成することで混合数Qを増やす処理と、上記連結特徴量データＰ[f,d]を用いてＥＭアルゴリズムにより収束するまでGMMの尤度最大化学習を行う処理とを交互に繰り返し行い、混合数Ｑ（ここではQ=64）のGMM λq={ｗq,μq,Σq}（q=1,…,Q）を生成する（ステップＳ１０５）。EMアルゴリズムについては、D.A.Reynols and R.C.Rose,“Robust text-independent speaker identification using Gaussian mixture models”,IEEE Trans. Speech and Audio Processing, Vol.3, no.1, pp.72-83, Jan.1995. などの文献に詳細な記述がある。
信号合成部５２４は、スペクトル包絡広帯域化処理部５２３で得た上記第２の広帯域スペクトルパラメータである線スペクトル周波数LSF_WB[f,d]（d=1,…,Dwb）に基づいて線スペクトル対LSP_WB[f,d]（d=1,…,Dwb）を生成して、信号加算処理部５１６で得た広帯域音源信号であるデータ長4Nの線形予測残差信号e3_wb[n]にＬＳＰ合成フィルタ処理を行い、データ長4Nの広帯域信号y1[n]を算出し、データ長4Nの広帯域信号y1[n]の時間的に前半のデータ（データ長2N）と、１フレーム前に信号合成部５２４が出力したデータ長4Nの広帯域信号y1[n]の時間的に後半のデータ（データ長2N）とをこれらのオーバーラップ分を考慮して加算して、データ長2Nの広帯域信号y1[n]を算出する。
アップサンプリング部５３０は、データ長Nの入力信号x[n]を、サンプリング周波数fs[Hz]からfs’[Hz]にアップサンプリングし、エイリアシングを除去し、データ長2Nのx_wb[n]として出力する。
信号遅延処理部１０９は、データ長2Nの入力信号x_wb[n]を所定の時間（D2サンプル分）だけバッファし、アップサンプリングされた入力信号x_wb[n-D2]として遅延させて出力することで、高域拡張処理部５１０から出力される信号y_hi_wb[n]と、アップサンプリング部５００から出力される信号y2_wb[n]とタイミングを合わせる。すなわち、所定の時間（D2サンプル分）は、線形予測分析部１０１への入力からアップサンプリング部５００から出力が得られるまでの処理遅延の時間からアップサンプリング部５３０での処理遅延の時間を引いた分の時間D3と、高域拡張処理部５１０の処理遅延の時間からアップサンプリング部５３０での処理遅延の時間を引いた分の時間D4の大きな方に相当する。ここでは、D3<D4として、D2=D4としており、アップサンプリング部５００から出力される信号y2_wb[n]についても、y2_wb[n-D2+D3]として、別途遅延させておく。この値は、事前に求めておき、D2を常に固定値として用いる。
信号加算処理部１１０ｄは、信号遅延処理部１０９から出力されるアップサンプリングされたデータ長2Nの入力信号x_wb[n-D2]と、アップサンプリング部５００から出力されるデータ長2Nの第２の広帯域信号y2_wb[n-D2+D3]と、高域拡張処理部５１０から出力されるデータ長2Nの広帯域信号y_hi_wb[n]とを、サンプリング周波数fs’[Hz]で加算して、データ長2Nの広帯域信号y[n]を出力信号として得る。これにより、アップサンプリングされた入力信号x[n-D2]は、広帯域信号y_hi_wb[n]と第２の広帯域信号y2_wb[n]の分だけ帯域拡張される。
このように構成した帯域拡張処理部３を信号帯域拡張装置に適用すれば、入力信号に対する低域拡張処理を実施し、この帯域拡張処理の前後の信号を比較して、帯域制限により入力信号における基本周波数の成分が欠落しているか否かを判定し、入力信号において基本周波数の信号が欠落している場合には、帯域拡張処理で生成した低域信号成分と高域信号成分を加算して帯域拡張するようにし、入力信号において基本周波数の信号が欠落していない場合には、帯域拡張処理で生成した高域信号成分のみを加算して帯域拡張するようにしている。
したがって、上記構成の信号帯域拡張装置によれば、帯域制限により基本周波数が欠落しているような入力信号について基本周波数成分と高域信号成分を付加することができ、帯域制限により基本周波数が欠落していないような入力信号については高域信号成分のみを付加させ、帯域拡張処理によって生成してしまった基本周波数の半音成分を付加させないことができ、原音により忠実で音質のよい帯域拡張された信号を生成することができる。
また、このように構成した帯域拡張処理部３を信号帯域拡張装置に適用すれば、帯域制限により入力信号における基本周波数の成分が欠落しているか否かを判定し、入力信号において基本周波数の信号が欠落している場合には、帯域制限によって劣化した低域の影響を除去するために、帯域通過フィルタによって少なくとも低域を減衰させた信号に基づき広帯域信号を生成するようにしているため、原音により忠実で音質のよい帯域拡張された信号を生成することができる。
なお、この実施例では帯域生成判別部１０３によって制御情報info[f]と広帯域化された線形予測残差信号e_wb[n]を得る構成となっているが、図１７に示した帯域生成判別部２０３によって制御情報info[f]を得て図１６に示した広帯域処理部１０４によって広帯域化された線形予測残差信号e_wb[n]を得る構成にしてもよい。このような構成であっても、第６の実施例と同様の効果を発揮する。また、このような構成によれば、第６の実施例よりもさらに小さい計算量で、原音により忠実で音質のよい帯域拡張された信号を生成することができる。
（第６の実施例の変形１）
また、ＳＷ４とＳＷ５を除き、帯域通過フィルタ５２０に代わって、図２４に示すようにフィルタ設定部５１１と帯域通過フィルタ５２０ａを用いてもよい。また、図２４に示すように高域通過フィルタ５２５と高域通過フィルタ５２６を追加してもよい。
フィルタ設定部５１１は、帯域生成判別部１０３によって得られた制御情報info[f]に基づいて、帯域通過フィルタ５２０ａのフィルタ特性の設定を行う。具体的には、制御情報info[f]=1の場合には、上記フィルタの帯域通過特性を2000[Hz]〜3400[Hz]に設定し、一方、制御情報info[f]=0の場合には、上記フィルタの帯域通過特性を700[Hz]〜3400[Hz]に設定する。すなわち、入力信号において基本周波数の信号が欠落している場合には、入力信号において基本周波数の信号が欠落していない場合よりも上記フィルタの帯域通過特性の低域側を狭くする。このようにすることで、入力信号において基本周波数の信号が欠落している場合において、線形予測残差信号e2[n]における帯域制限によって劣化した低域の影響をより除去することができる。
帯域通過フィルタ５２０ａは、逆フィルタ５１９で得た第２の狭帯域音源信号であるデータ長2Nの線形予測残差信号e2[n]に対して、フィルタ設定部５１１によって設定が行われたフィルタ特性によって帯域通過フィルタ処理を行い、帯域通過処理した線形予測残差信号をe2[n]としてアップサンプリング部５２１に出力する。
高域通過フィルタ５２５は、広帯域化処理部５２２から出力される広帯域化されたデータ長4Nの線形予測残差信号e2_wb[n]を入力として、少なくとも直流成分を除去するような高域通過フィルタによる処理を行い、その処理した信号をパワー制御部５１５に出力する。このようにすることで、広帯域化処理部５２２で生成された線形予測残差信号e2_wb[n]に含まれる直流成分などの不要な成分を除去することができ、パワー制御部５１５において不要な成分がない信号を用いることで正確にパワーを制御することができる。
高域通過フィルタ５２６は、雑音生成部５１３から出力されるデータ長4Nの雑音信号wn[n]を入力として、少なくとも直流成分を除去するような高域通過フィルタ（例えば400[Hz]以下の周波数を除去するようなフィルタ）による処理を行い、その処理した信号をパワー制御部５１４に出力する。このようにすることで、雑音生成部５１３で生成された雑音信号wn[n]に含まれる直流成分などの不要な成分を除去することができ、パワー制御部５１４において不要な成分がない信号を用いることで正確にパワーを制御することができる。
このような構成であっても、第６の実施例と同様の効果を発揮する。
また、このような構成によれば、帯域生成判別部１０３によって得られた制御情報に応じて、帯域通過フィルタ５２０ａのフィルタ設定をフィルタ設定部５１１で変化させることで、入力信号において基本周波数の信号が欠落している場合において、線形予測残差信号e2[n]における帯域制限によって劣化した低域の影響をより除去することができ、原音により忠実で音質のよい帯域拡張された信号を生成することができる。また、高域通過フィルタ５２５において広帯域化処理部５２２で生成された線形予測残差信号e2_wb[n]に含まれる直流成分などの不要な成分を除去すること、あるいは、高域通過フィルタ５２６において雑音生成部５１３から出力される雑音信号wn[n]に含まれる直流成分などの不要な成分を除去することができ、原音により忠実で音質のよい帯域拡張された信号を生成することができる。
（第６の実施例の変形２）
また図２５に示すようにスペクトル補正部１１１を備えてもよい。
スペクトル補正部１１１ａは、帯域生成判別部１０３によって得られた制御情報info[f]に基づいて、信号加算処理部１１０ｄから出力される広帯域信号に対して、周波数帯域ごとに強調あるいは減衰させるようなスペクトル補正処理を施し、これによってスペクトルが補正された信号をy[n]として出力する。具体的には、スペクトル補正部１１１は、まず信号加算処理部１１０ｄから出力されるデータ長2Nの広帯域信号を2N点を用いたＦＦＴなどの処理によって周波数領域に変換して、周波数スペクトルY’[f,ω]を得る。ただしＦＦＴの次数はこれに限らず、ＦＦＴを施す信号に零詰めしてデータ長を２のべき乗にし、ＦＦＴの次数を２のべき乗にしてもよい。そして、帯域生成判別部１０３によって得られた制御情報info[f]=1の場合には声の低い音声であるため、帯域拡張しようとする帯域fs_wb_low[Hz]〜fs_nb_low[Hz]ではスペクトル補正ゲインG’[f,ω]を１以上にし、制御情報info[f]=0の場合には声の低い音声であるため、帯域拡張しようとする帯域fs_wb_low[Hz]〜fs_nb_low[Hz]には信号がないため、スペクトル補正ゲインG’[f,ω]を１以下にする。あるいは、帯域生成判別部１０３によって得られた制御情報info[f]=1の場合には声の低い音声であるため、帯域感を良くするために周波数バランスを補正するように、帯域拡張しようとする帯域fs_nb_high[Hz]〜fs_wb_high[Hz]ではスペクトル補正ゲインG’[f,ω]を１以上にする。そして、他の帯域の周波数ビンについてはG’[f,ω]=1とし、周波数スペクトルY’[f,ω]にスペクトル補正ゲインG’[f,ω]を乗じ、この乗算結果をＩＦＦＴなどによって時間領域に変換して、スペクトル補正処理をした広帯域信号を得る。
このような構成であっても、第６の実施例と同様の効果を発揮する。
また、このような構成によれば、帯域生成判別部１０３によって得られた制御情報に応じて、スペクトル補正部１１１ａによって広帯域信号の周波数バランスを補正することで、入力信号に応じて帯域感を良くすることができる。また、スペクトル補正部１１１ａにより帯域拡張しようとする帯域を強調することができ、広帯域化した帯域拡張された信号の音質を向上させることができる。
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
その一例として例えば、図２６に示すように、帯域拡張処理部３の前段に入力信号x[n]に対して信号処理をする狭帯域信号処理部１１７を設け、狭帯域信号処理部１１７からの出力x_nb[n]を実施例１から実施例６における入力信号x[n]として帯域拡張処理部３へ入力する構成であるとする。狭帯域信号処理部１１７は、雑音抑圧処理や、特定帯域を強調するフィルタ処理などでよく、帯域生成判別部１０３から出力された１フレーム前の制御情報info[f-1]を用いて、処理を変化させるように動作する。狭帯域信号処理部１１７が雑音抑圧処理であるときには、制御情報info[f-1]=1の場合にはピーク抽出された周波数ωp[f]以下の低域を十分に考慮した繊細な処理にし、制御情報info[f-1]=0の場合にはピーク抽出された周波数ωp[f]以下の低域を重要視しないで荒く扱うような処理にする。すなわち、狭帯域信号処理部１１７が雑音抑圧処理であるときには、制御情報info[f-1]=1の場合は、制御情報info[f-1]=0の場合よりも低域の雑音抑圧を弱め、音声を歪ませ過ぎないようにする。例えば、制御情報info[f-1]=0の場合には周波数ωp[f]以下の低域は強く雑音抑圧を行い、他の帯域や制御情報info[f-1]=1の場合には通常の雑音抑圧を行うなどのようにする。また、狭帯域信号処理部１１７が特定帯域を強調するフィルタ処理であるときには、制御情報info[f-1]=0の場合は、制御情報info[f-1]=1の場合よりも低域のピークを強く強調する。例えば、制御情報info[f-1]=0の場合には周波数ωp[f]付近の帯域を強調することでピークを強調し基本周波数を強調したり、他の帯域や制御情報info[f-1]=1の場合には特に強調しないなどの処理にする。これによれば、入力信号において基本周波数の信号が欠落していない場合には、狭帯域信号処理部１１７により事前に基本周波数を強調したり、余計な雑音成分を除去したりすることで、後段の帯域拡張処理部３における広帯域化において、有声音において調波構造を精度よく生成することができるため、原音により忠実で音質のよい帯域拡張された信号を生成することができる。
同様に、図２７に示すように、帯域拡張処理部３の前段に入力信号x[n]に対して信号処理をする狭帯域信号処理部１１７を設け、狭帯域信号処理部１１７からの出力x_nb[n]を実施例１から実施例６における入力信号x[n]として帯域拡張処理部３へ入力する構成であるとし、狭帯域信号処理部１１７は、雑音抑圧処理や、特定帯域を強調するフィルタ処理などでよく、帯域生成判別部２０３から出力された１フレーム前の制御情報info[f-1]を用いて、上記周波数ωp[f]を周波数ωp1[f]と読み変えることにより、処理を変化させるように動作させても、同様の効果が得られる。
また他の一例として例えば、図１（ｂ）に示すように、ディジタルオーディオプレイヤに適用し、入力信号x[n]として音楽・オーディオ信号を想定する。この場合、例えば、図１２と図１３における線形予測分析部１０１と、逆フィルタ部１０２と、線形予測合成部１０５とを除いた構成とする。つまり、入力信号x[n]を帯域生成判別１０３に入力し、帯域生成判別１０３から出力された広帯域化された信号を帯域通過フィルタ１０８に入力し、帯域通過フィルタ１０８から出力された拡張され帯域を抽出した広帯域信号と帯域生成判別１０３から出力された制御情報info[f]を信号加算処理部１１０ｂに入力し、信号加算処理部１１０ｂでは制御情報info[f]に応じて帯域通過フィルタ１０８から出力された広帯域信号を加算したり加算しなかったり制御する。このようにしても同様の効果が得られる。
また、入力信号がモノラル信号ではなくステレオ信号であったとしても、例えばＬ（左）チャネルとＲ（右）チャネルにそれぞれ上記帯域拡張処理部３における帯域拡張処理を施したり、和信号（ＬチャネルとＲチャネルの信号の和）と差信号（ＬチャネルからＲチャネルの信号の差）にそれぞれ上記の帯域拡張処理を施したりすることで同様の効果が得られる。
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
この発明に係わる信号帯域拡張装置を適用した通信装置およびディジタルオーディオプレイヤの構成を示す回路ブロック図。 この発明に係わる信号帯域拡張装置の第１の実施例の構成を示す回路ブロック図。 図２に示した信号帯域拡張装置の帯域生成判別部の構成例を示す回路ブロック図。 図３に示した調波構造生成判定部の帯域生成判別部の構成例を示す回路ブロック図。 図４に示した広帯域化処理部の非線形処理で用いる非線形関数の例を示す図。 図４に示した調波構造生成判定部の比較判定部の構成例を示す回路ブロック図。 図２に示した信号帯域拡張装置の動作を説明するための入出力信号波形図。 図２に示した信号帯域拡張装置の動作を説明するための入出力信号波形図。 図２に示した信号帯域拡張装置の線形予測合成部の構成例を示す回路ブロック図。 図２に示した信号帯域拡張装置の線形予測合成部の変形例を示す回路ブロック図。 図２に示した信号帯域拡張装置の線形予測合成部の変形例を示す回路ブロック図。 この発明に係わる信号帯域拡張装置の第２の実施例の構成例を示す回路ブロック図。 図１２に示した信号帯域拡張装置の信号加算処理部の構成例を示す回路ブロック図。 この発明に係わる信号帯域拡張装置の第３の実施例の構成を示す回路ブロック図。 この発明に係わる信号帯域拡張装置の第４の実施例の構成を示す回路ブロック図。 この発明に係わる信号帯域拡張装置の第５の実施例の構成を示す回路ブロック図。 図１６に示した信号帯域拡張装置の帯域生成判別部の構成例を示す回路ブロック図。 図１６に示した信号帯域拡張装置の帯域生成判別部の構成例を示す回路ブロック図。 図１６に示した信号帯域拡張装置の動作を説明するための入力信号波形図。 この発明に係わる信号帯域拡張装置の第６の実施例の構成を示す回路ブロック図。 図２０に示した信号帯域拡張装置の高域拡張処理部の構成例を示す回路ブロック図。 図２１に示した信号帯域拡張装置の高域拡張処理部のスペクトル包絡広帯域化処理部の構成例を示す回路ブロック図。 GMMの学習生成方法を示す回路ブロック図。 図２０に示した信号帯域拡張装置の第６の実施例の変形例を示す回路ブロック図。 図２０に示した信号帯域拡張装置の第６の実施例の変形例を示す回路ブロック図。 この発明に係わる信号帯域拡張装置の変形例を示す回路ブロック図。 この発明に係わる信号帯域拡張装置の変形例を示す回路ブロック図。
符号の説明
１…無線通信部、２…デコーダ、３…帯域拡張処理部、４…Ｄ／Ａ変換器、５…スピーカ、６…記憶部、１０１，５１８…線形予測分析部、１０２，５１９…逆フィルタ、１０８，５１７，５２０…帯域通過フィルタ、１０３，２０３…帯域生成判別部、１０４，５２２，１０３１１…広帯域化処理部、１０５，１０５ａ，１０５ｂ，１０５ｃ…線形予測合成部、１０６…ディップ強調処理部、１０９…信号遅延処理部、１１０，１１０ｂ，１１０ｄ，１１６，５１６…信号加算処理部、１１１…スペクトル補正部、１１２…有声／無声推定部、１１３，５１３…雑音生成部、１１４，１１５，５１４，５１５…パワー制御部、１１７…狭帯域信号処理部、１０３１，２０３１…調波構造生成判定部、１０３２，２０３２…ハングオーバ制御部、１０３１２…比較判定部、２０３１１１，１０３１２１，１０３１２２…周波数領域変換部、１０３１２３，１０３１２４…パワー算出部、１０３１２５，１０３１２６，２０３１１，２０３１１２，２０３１１３…ピーク抽出部、１０３１２７…ピーク比較部、１０５１…次数・係数設定部、１０５２…合成処理部、１０５３…フレーム合成処理部、１０５４…無音化処理部、ＳＷ１，ＳＷ２，ＳＷ３，ＳＷ４，ＳＷ５…切替スイッチ、２０３１２…生成判定部、５００，５２１，５３０…アップサンプリング部、５１０…高域拡張処理部、５１１…フィルタ設定部、５２３…スペクトル包絡広帯域化処理部、５２３Ａ…線スペクトル周波数変換部、５２３Ｂ…ＧＭＭ格納部、５２３Ｃ…スペクトル包絡生成部、５２４…信号合成部。

Claims (15)

  1. 入力信号に対して帯域を拡張する信号帯域拡張装置であって、
    前記入力信号の帯域を拡張する広帯域化手段と、
    前記広帯域化手段によって帯域拡張された入力信号が、拡張された帯域において、予め設定した閾値を超えるピーク成分を有する否かを判定する判定手段と、
    前記判定手段が、前記ピーク成分を有すると判定した場合には前記広帯域化手段により帯域拡張された信号を用いることで前記入力信号の帯域を拡張し、一方、前記ピーク成分を有さないと判定した場合には前記広帯域化手段により帯域拡張された信号を用いた前記入力信号の帯域拡張を行わない制御手段とを具備することを特徴とする信号帯域拡張装置。
  2. 入力信号に対して帯域を拡張する信号帯域拡張装置であって、
    前記入力信号から異なるピーク周波数を少なくとも２つ抽出するピーク抽出手段と、
    前記ピーク抽出手段が抽出したピーク周波数の差に基づいて、拡張する帯域において前記入力信号のピーク成分が欠落しているか否かを判定する判定手段と、
    前記判定手段が、前記ピーク成分が欠落していると判定した場合には前記入力信号の帯域を拡張し、一方、前記ピーク成分が欠落していないと判定した場合には前記入力信号の帯域を拡張しない制御手段とを具備することを特徴とする信号帯域拡張装置。
  3. 前記広帯域化手段は、
    前記入力信号を分析して狭帯域スペクトルパラメータと狭帯域音源信号を得る分析手段と、
    予め設定した非線形関数に基づいて、前記分析手段によって得られた狭帯域音源信号の帯域を拡張する帯域拡張手段とを備え、
    前記判定手段は、前記帯域拡張手段によって帯域拡張された狭帯域音源信号が、拡張された帯域において、予め設定した閾値を超えるピーク成分を有するか否かを判定し、
    前記制御手段は、前記判定手段の判定結果と、前記帯域拡張手段の入力と出力の比較結果とに応じて、前記入力信号の帯域拡張を行うことを特徴とする請求項１に記載の信号帯域拡張装置。
  4. 前記ピーク抽出手段は、
    前記入力信号を分析して狭帯域スペクトルパラメータと狭帯域音源信号を得る分析手段と、
    前記分析手段によって得られた狭帯域音源信号から異なるピーク周波数を少なくとも２つ抽出する抽出手段とを備え、
    前記判定手段は、前記抽出手段が抽出したピーク周波数の差に基づいて、拡張する帯域において前記入力信号のピーク成分が欠落しているか否かを判定することを特徴とする請求項２に記載の信号帯域拡張装置。
  5. 前記狭帯域音源信号の帯域を拡張した信号を狭帯域スペクトルパラメータと合成する処理を行い広帯域信号を生成する合成手段をさらに備え、
    前記制御手段は、帯域拡張する場合には、前記広帯域信号のディップを強調するディップ強調処理を行い、一方、帯域拡張しない場合には、前記ディップ強調処理を行わないことを特徴とする請求項３または請求項４に記載の信号帯域拡張装置。
  6. 前記制御手段は、
    前記入力信号の帯域拡張を行う場合には、前記狭帯域音源信号の帯域を拡張した信号を前記狭帯域スペクトルパラメータと合成し、この合成された信号をフィルタ処理して前記入力信号に加算して出力し、
    一方、前記入力信号の帯域拡張を行わない場合には、前記狭帯域音源信号の帯域を拡張した信号をフィルタ処理して前記入力信号に加算して出力することを特徴とする請求項３または請求項４に記載の信号帯域拡張装置。
  7. 前記制御手段は、
    前記入力信号の帯域拡張を行う場合には、前記狭帯域音源信号の帯域を拡張した信号を前記狭帯域スペクトルパラメータと合成し、この合成された信号をフィルタ処理して前記入力信号に加算して出力し、
    一方、前記入力信号の帯域拡張を行わない場合には、無音信号を前記狭帯域スペクトルパラメータと合成し、この合成された信号をフィルタ処理して前記入力信号に加算して出力することを特徴とする請求項３または請求項４に記載の信号帯域拡張装置。
  8. 前記制御手段は、帯域拡張する場合には、前記狭帯域音源信号の帯域を拡張した信号を前記狭帯域スペクトルパラメータとを合成し、この合成された信号から拡張する帯域の成分を抽出して前記入力信号に加算することで帯域拡張を行うことを特徴とする請求項３または請求項４に記載の信号帯域拡張装置。
  9. 前記制御手段は、帯域拡張する場合には低域を拡張し、一方、帯域拡張しない場合には低域を拡張しないことを特徴とする請求項３乃至請求項８のいずれか１項に記載の信号帯域拡張装置。
  10. 前記判定手段が判定する前記ピーク成分は前記入力信号の基本周波数であることを特徴とする請求項１乃至請求項９のいずれか１項に記載の信号帯域拡張装置。
  11. さらに、前記制御手段が低域拡張する場合には、前記狭帯域音源信号に対して帯域通過フィルタをかけて高域を拡張する処理を行い、一方、前記制御手段が低域拡張しない場合には、前記狭帯域音源信号に対して前記帯域通過フィルタをかけずに高域を拡張する処理を行う高域拡張手段を備えることを特徴とする請求項９に記載の信号帯域拡張装置。
  12. さらに、前記制御手段が低域拡張する場合には、前記狭帯域音源信号に対して帯域通過フィルタをかけて高域を拡張する処理を行い、一方、前記制御手段が低域拡張しない場合には、低域拡張する場合よりもフィルタの低域側の帯域通過特性が広い帯域通過フィルタを前記狭帯域音源信号に対してかけて高域を拡張する処理を行う高域拡張手段を備えることを特徴とする請求項９に記載の信号帯域拡張装置。
  13. 前記制御手段は、帯域拡張する場合には、帯域拡張しない場合よりも前記拡張する帯域におけるスペクトル補正の度合いを強くすることを特徴とする請求項１乃至請求項１２のいずれか１項に記載の信号帯域拡張装置。
  14. 前記制御手段が帯域拡張する場合には、前記制御手段が帯域拡張しない場合よりも、次のフレームの入力信号に対して低域の雑音抑圧を弱くする雑音抑圧手段を更に有することを特徴とする請求項１乃至請求項１３のいずれか１項に記載の信号帯域拡張装置。
  15. 前記制御手段が帯域拡張する場合には、前記制御手段が帯域拡張しない場合よりも、次のフレームの入力信号に対して低域のピークを強くするピーク強調手段を更に有することを特徴とする請求項１乃至請求項１３のいずれか１項に記載の信号帯域拡張装置。
JP2008222291A 2008-08-29 2008-08-29 信号帯域拡張装置 Expired - Fee Related JP4818335B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008222291A JP4818335B2 (ja) 2008-08-29 2008-08-29 信号帯域拡張装置
US12/549,659 US8244547B2 (en) 2008-08-29 2009-08-28 Signal bandwidth extension apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008222291A JP4818335B2 (ja) 2008-08-29 2008-08-29 信号帯域拡張装置

Publications (2)

Publication Number Publication Date
JP2010055000A JP2010055000A (ja) 2010-03-11
JP4818335B2 true JP4818335B2 (ja) 2011-11-16

Family

ID=41726664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008222291A Expired - Fee Related JP4818335B2 (ja) 2008-08-29 2008-08-29 信号帯域拡張装置

Country Status (2)

Country Link
US (1) US8244547B2 (ja)
JP (1) JP4818335B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1569200A1 (en) * 2004-02-26 2005-08-31 Sony International (Europe) GmbH Identification of the presence of speech in digital audio data
EP2211339B1 (en) * 2009-01-23 2017-05-31 Oticon A/s Listening system
PL2800094T3 (pl) * 2009-10-21 2018-03-30 Dolby International Ab Nadpróbkowanie w banku filtrów z połączonym modułem transpozycji
US8484020B2 (en) * 2009-10-23 2013-07-09 Qualcomm Incorporated Determining an upperband signal from a narrowband signal
EP2555188B1 (en) * 2010-03-31 2014-05-14 Fujitsu Limited Bandwidth extension apparatuses and methods
CN103262409B (zh) * 2010-09-10 2016-07-06 Dts（英属维尔京群岛）有限公司 用于改进的感觉的频谱不平衡的音频信号的动态补偿
US8818797B2 (en) 2010-12-23 2014-08-26 Microsoft Corporation Dual-band speech encoding
US9437202B2 (en) * 2012-03-29 2016-09-06 Telefonaktiebolaget Lm Ericsson (Publ) Bandwidth extension of harmonic audio signal
DE112012007178B4 (de) * 2012-12-12 2022-02-10 Mitsubishi Electric Corporation Schaltungsfehler-Detektionsvorrichtung
US9258428B2 (en) 2012-12-18 2016-02-09 Cisco Technology, Inc. Audio bandwidth extension for conferencing
CN103971694B (zh) * 2013-01-29 2016-12-28 华为技术有限公司 带宽扩展频带信号的预测方法、解码设备
CN105761723B (zh) * 2013-09-26 2019-01-15 华为技术有限公司 一种高频激励信号预测方法及装置
CN105225671B (zh) * 2014-06-26 2016-10-26 华为技术有限公司 编解码方法、装置及系统
US10431231B2 (en) * 2017-06-29 2019-10-01 Qualcomm Incorporated High-band residual prediction with time-domain inter-channel bandwidth extension
EP3701527B1 (en) * 2017-10-27 2023-08-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus, method or computer program for generating a bandwidth-enhanced audio signal using a neural network processor
US11295726B2 (en) * 2019-04-08 2022-04-05 International Business Machines Corporation Synthetic narrowband data generation for narrowband automatic speech recognition systems
US20230110255A1 (en) * 2021-10-12 2023-04-13 Zoom Video Communications, Inc. Audio super resolution

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3189614B2 (ja) * 1995-03-13 2001-07-16 松下電器産業株式会社 音声帯域拡大装置
JPH0955778A (ja) * 1995-08-15 1997-02-25 Fujitsu Ltd 音声信号の広帯域化装置
US5970441A (en) * 1997-08-25 1999-10-19 Telefonaktiebolaget Lm Ericsson Detection of periodicity information from an audio signal
US6704711B2 (en) * 2000-01-28 2004-03-09 Telefonaktiebolaget Lm Ericsson (Publ) System and method for modifying speech signals
US20020128839A1 (en) * 2001-01-12 2002-09-12 Ulf Lindgren Speech bandwidth extension
JP4604864B2 (ja) * 2005-06-14 2011-01-05 沖電気工業株式会社 帯域拡張装置及び不足帯域信号生成器
JP5055759B2 (ja) * 2005-12-16 2012-10-24 沖電気工業株式会社 帯域変換信号生成器及び帯域拡張装置
US7546237B2 (en) * 2005-12-23 2009-06-09 Qnx Software Systems (Wavemakers), Inc. Bandwidth extension of narrowband speech
JP2007310298A (ja) * 2006-05-22 2007-11-29 Oki Electric Ind Co Ltd 帯域外信号生成装置及び周波数帯域拡張装置

Also Published As

Publication number Publication date
JP2010055000A (ja) 2010-03-11
US8244547B2 (en) 2012-08-14
US20100057476A1 (en) 2010-03-04

Similar Documents

Publication Publication Date Title
JP4818335B2 (ja) 信号帯域拡張装置
JP5127754B2 (ja) 信号処理装置
JP4945586B2 (ja) 信号帯域拡張装置
KR101461774B1 (ko) 대역폭 확장기
EP1918910B1 (en) Model-based enhancement of speech signals
JP5666444B2 (ja) 特徴抽出を使用してスピーチ強調のためにオーディオ信号を処理する装置及び方法
JP6896881B2 (ja) 音響信号のスペクトル強調処理に関する所定の特性を決定するための装置および方法
KR20060044629A (ko) 신경 회로망을 이용한 음성 신호 분리 시스템 및 방법과음성 신호 강화 시스템
JP5148414B2 (ja) 信号帯域拡張装置
CN103854662A (zh) 基于多域联合估计的自适应语音检测方法
JPH10124088A (ja) 音声帯域幅拡張装置及び方法
JP2010539792A (ja) スピーチ増強
RU2714579C1 (ru) Устройство и способ реконструкции фазовой информации с использованием структурного тензора на спектрограммах
Kornagel Techniques for artificial bandwidth extension of telephone speech
JP2010210758A (ja) 音声を含む信号の処理方法及び装置
JP5443547B2 (ja) 信号処理装置
JP2009223210A (ja) 信号帯域拡張装置および信号帯域拡張方法
JP2014232245A (ja) 音声明瞭化装置、方法及びプログラム
JP2012208177A (ja) 帯域拡張装置及び音声補正装置
JP2020190606A (ja) 音声雑音除去装置及びプログラム
JP4603727B2 (ja) 音響信号分析方法及び装置
KR101352608B1 (ko) 음성 신호의 대역폭 확장 방법 및 그 장치
JP2019090930A (ja) 音源強調装置、音源強調学習装置、音源強調方法、プログラム
Ding Speech enhancement in transform domain
Krishnamoorthy et al. Processing noisy speech for enhancement

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110802

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110830

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees