JP5649934B2 - サウンドエンハンスメント装置及び方法 - Google Patents

Description

本発明は、音声信号処理に係り、より詳細には、心理音響効果を用いて自然な聴覚環境を提供する装置及び方法に関する。

最近、ＴＶ、ホームシアターなどの装備やモバイルフォンなどで、より小型化、薄型化される機器の特性上、小型ラウドスピーカーに対する要求が高まりつつある。ラウドスピーカの特性上、その容積が小型化されるにつれて、音を発生可能な周波数範囲が制限され、特に、中低周波帯域の音響が低下する問題を有している。

また、最近、周辺他人に騷音公害を誘発せず、イヤホンやヘッドセットなしに特定聴取者にのみ音を伝達することができるパーソナルサウンドゾーン技術に対する関心が高まりつつある。パーソナルサウンドゾーンを形成するために、多数のスピーカーを駆動した時、発生する音の指向性を利用する方法が利用される。音の指向性を生成するために、多数個のスピーカーの入力信号に時間遅延や特定フィルターを付与して出力されるサウンドビームを生成することによって、特定方向及び特定位置に音を集中させる。多数のラウドスピーカーで構成された機器の特性上、個別スピーカーが小型化されて、発生可能な周波数帯域が制限されうる。

本発明が解決しようとする課題は、広帯域信号に対しても、低い混変調歪み成分を有し、聴感上で自然な心理音響的なベースエンハンスメント（ＢＳＥ）技法を利用した音声処理装置及び方法を提供することである。

一態様によるサウンドエンハンスメント（Ｓｏｕｎｄ Ｅｎｈａｎｃｅｍｅｎｔ）装置は、処理部と、ＢＳＥ信号生成部と、利得制御部とを含む。処理部は、原信号を高周波信号及び低周波信号に分離し、前記低周波信号を分析して、低周波信号により発生される歪みの程度に関する予測情報を取得する。心理音響的なベースエンハンスメント（ＢＳＥ）信号生成部は、低周波信号の高調波信号を、低周波信号に代わるＢＳＥ信号として生成する。高調波信号の次数は、歪みの程度に関する予測情報に基づいて調整される。利得制御部は、歪みの程度に関する予測情報に基づいて、低周波信号とＢＳＥ信号との合成比率を適応的に調節する。

記処理部は、低周波信号を複数のサブバンドに従って分類し、各サブバンドに対応する信号により生成される歪みの程度に関する予測情報を生成する。歪みの程度に関する予測情報は、調性（トーナリティー）情報及び包絡線（エンベロープ）情報を含む。

ＢＳＥ信号生成部は、包絡線情報を用いて複数のサブバンドに対応する信号の振幅が一様になるように調整して正規化された信号を生成し、調性情報に基づいて前記正規化された信号の前記ＢＳＥ信号として高調波信号を適応的に生成する。

ＢＳＥ信号生成部は、包絡線情報を用いて複数のサブバンドに対応する信号の振幅が一様になるように調節して正規化された信号を生成する第１調整部と、正規化された信号を調性情報と乗算する第２調整部と、調性情報により乗算された信号のＢＳＥ信号として高調波信号を生成する非線形デバイスとを含む。

サウンドエンハンスメント装置は、第２調整部から出力される信号のうち、高い調性をもつ信号に対してスペクトルの先鋭化（シャープニング）を行うスペクトル先鋭化部を更に含み、非線形デバイスは、スペクトルの先鋭化が行われた信号について高調波信号を生成する。

低周波信号が、調性情報に基づいて低い調性を有すると判定された場合、利得制御部は、低周波信号の一部がＢＳＥ信号の一部よりも大きいように、低周波信号のＢＳＥ信号に対する合成比率を調節して、利得が調節された信号を生成する。

利得制御部は、ＢＳＥ信号の音の強さが高周波信号によってマスクされないように、高周波信号のマスキングレベルを超えるようにＢＳＥ信号の音圧を増幅する。

サウンドエンハンスメント装置は、高周波信号及び前記利得が調節された信号を合成する後処理部を更に含む。後処理部は、合成された信号が出力される時、放射パターンを形成するために合成された信号を処理するビーム成形部と、処理された合成された信号を出力するアレイスピーカーとを含む。

他の態様によるサウンドエンハンスメント方法は、原信号を高周波信号及び低周波信号に分離し、低周波信号を分析して、低周波信号により発生される歪みの程度に関する予測情報を生成する段階と、低周波信号の高調波信号を、低周波信号に代わる心理音響的なベースエンハンスメント（ＢＳＥ）信号として生成する段階と、高調波信号の次数は、歪みの程度に関する予測情報に基づいて調整され、歪みの程度に関する予測情報に基づいて、低周波信号とＢＳＥ信号との合成比率を適応的に調節する段階とを含む。

他の態様によるサウンドエンハンスメント方法で、歪みの程度に関する予測情報を生成する段階は、低周波信号を複数のサブバンドに従って分類する段階と、各サブバンドに対応する信号により生成される歪みの程度に関する予測情報を生成する段階とを含む。歪みの程度に関する予測情報は、調性情報及び包絡線情報を含む。

高調波信号を生成する段階は、包絡線情報を用いて複数のサブバンドに対応する信号の振幅が一様になるように調整して正規化された信号を生成し、調性情報に基づいて正規化された信号のＢＳＥ信号として高調波信号を適応的に生成する段階とを含む。

調性情報に基づいて適応的に正規化された信号の高調波信号を生成する段階は、正規化された信号を調性情報と乗算する段階と、調性情報で乗算された信号のうち、高い調性をもつ信号に対してスペクトルの先鋭化を行う段階と、スペクトルの先鋭化が行われた信号について高調波信号をＢＳＥ信号として生成する段階とを含む。

低周波信号のＢＳＥ信号に対する合成比率を適応的に調節する段階は、低周波信号が、調性情報に基づいて低い調性を有すると判定された場合、低周波信号の一部がＢＳＥ信号の一部よりも大きいように、低周波信号のＢＳＥ信号に対する合成比率を調節して、利得が調節された信号を生成する段階を含む。

低周波信号のＢＳＥ信号に対する合成比率を適応的に調節する段階は、ＢＳＥ信号の音の強さが高周波信号によってマスクされないように、高周波信号のマスキングレベルを超えるようにＢＳＥ信号の音圧を増幅する段階を更に含む。

他の態様によるサウンドエンハンスメント方法は、高周波信号及び利得が調節された信号を合成する段階を更に含む。合成する段階は、合成された信号が出力される時、予め決定された放射パターンを形成するために合成された信号を処理する段階を更に含む。

また、他の態様による音声処理装置は、原信号を高周波信号及び低周波信号に分離し、低周波信号により発生される歪みの予測される程度を含む予測情報を取得する処理部と、低周波信号の前記予測される程度に基づいて、低周波信号の一部を代替する高調波信号を生成する適応的高調波信号生成部と、低周波信号の一部の高調波信号への変換比率を適応的に調整して、不均一な高調波量を減少させ、利得が調整された低周波信号を生成する利得制御部とを含む。

また他の態様による音声処理装置の処理部は、低域フィルタ、マルチバンドスプリッタ、及び歪み予測情報抽出部を含む。

マルチバンドスプリッタは、低周波信号を複数のサブバンドに分離し、歪み予測情報の抽出部は、各サブバンドの信号について歪み予測情報を生成する。マルチバンドスプリッタは、低周波帯域の信号を複数個のサブバンド別に分離し、各サブバンドの信号に対して歪曲発生量の予測情報を生成することができる。歪み予測情報抽出部は、各サブバンドについて調性情報及び包絡線情報を取得する。

適応的高調波信号生成部は、低周波信号の歪みの予測される程度に基づいて、高調波信号の次数を調整することで高調波信号を生成する。

利得制御部は、低周波信号の歪みの予測される程度に基づいて、低周波信号及び生成された高調波信号の合成比率を適応的に調節する。

利得制御部は、低周波信号及び生成された高調波信号の合成比率を適応的に調節する利得処理部を更に含む。

利得処理部は、調性情報に基づいて、低周波信号及び生成された高調波信号の合成比率を適応的に調節する。

利得制御部は、高周波信号の特性に基づいて高調波信号の利得を調整する。

また、他の態様による音声処理装置は、 低周波信号と生成された高調波信号とが合成された信号と共に、高周波信号を出力する更なる処理部を更に含む。更なる処理部は、合成された信号が出力される時、放射パターンを形成するために合成された信号を処理するビーム成形部と、処理された信号を出力するアレイスピーカーとを含む。

また、他の態様による音声処理装置は、原信号を高周波信号及び低周波信号に分類し、低周波信号を複数の低周波のサブバンドに分割し、各低周波のサブバンドに対して行われた非線形処理に基づいて、各低周波のサブバンドによって発生される歪みの予測される程度を含む予測情報を取得する処理部と、低周波信号の歪みの予測される程度に基づいて、各低周波のサブバンドを代替する高調波信号を生成する適応的高調波信号生成部と、低周波信号及び高調波信号の合成比率を適応的に調整して不均一な高調波量を減少させ、利得が調整された低周波信号を生成する利得制御部とを含む。

サウンドエンハンスメントの全体構成の一例を示す図である。 図１の処理部の構成の一例を示す図である。 図２の歪み予測情報抽出部の構成の一例を示す図である。 図１のＢＳＥ信号生成部の構成の一例を示す図である。 エンベロープの大きさの変化による高調波発生比率の変化を示す図である。 エンベロープの大きさの変化による高調波発生比率の変化を示す図である。 調性（トナル）成分とフラットなスペクトルとが混在された信号に対するＢＳＥ処理結果を示す図である。 スペクトルの先鋭化が行われた信号に対するＢＳＥ処理結果を示す図である。 図１の利得制御部の構成の一例を示す図である。 図１の後処理部の構成の一例を示す図である。 図１の後処理部の構成の一例を示す図である。 図１の後処理部の構成の一例を示す図である。 サウンドエンハンスメント方法の動作順序の一例を示すフローチャートである。

以下、添付した図面を参照して、本発明の一実施形態を詳しく説明する。本発明を説明するに当たって、関連した公知機能または構成についての具体的な説明が、本発明の要旨を不明にする恐れがあると判断される場合には、その詳細な説明を省略する。また、後述する用語は、本発明での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例などによって変わりうる。したがって、その定義は、本明細書全般に亘った内容に基づいて下さなければならない。

高調波を用いて、低音を認知させる現象を心理音響では、仮想ピッチ（ｖｉｒｔｕａｌ ｐｉｔｃｈ）又は失われた基底音（ｍｉｓｓｉｎｇ ｆｕｎｄａｍｅｎｔａｌ）と称する。さらに詳しくは、基本周波数ωを有する音と、その高調波（２ω、３ω、４ω、．．．）のみで構成された音が類似したピッチを有する現象を言う。このような現象を用いて実際に低音を発生させずとも、低音の聴感を提供する技法をＢＳＥ（Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ Ｂａｓｓ Ｅｎｈａｎｃｅｍｅｎｔ）（以下、ＢＳＥと略称する）と言う。

通常、高調波信号の生成に非線形デバイス（ｎｏｎ−ｌｉｎｅａｒ ｄｅｖｉｃｅ）が利用される。このような非線形デバイスは、高調波信号を発生させる時、高調波成分の以外の他の周波数成分が発生する。このような高調波ではない（ｎｏｎ−ｈａｒｍｏｎｉｃ）成分による音声信号の歪みを混変調歪み（ｉｎｔｅｒ−ｍｏｄｕｌａｔｉｏｎ ｄｉｓｔｏｒｔｉｏｎ；以下、ＩＭＤと略称する）と言う。このようなＩＭＤは、その大きさが原音より小さくなくて、低音補強技法を使用時に音質劣化の主要原因となる。

ＢＳＥによって処理しようとする帯域の周波数が広い場合には、多様なスペクトルの音成分が存在するので、ＩＭＤが問題となる。また、このような、ＩＭＤは、原音成分に対してさらに高次の高調波信号を発生させるほど大きく発生する傾向があるので、仮想ピッチをより増加させるために、より高次の高調波信号を使うほど音質が低下する。

図１は、サウンドエンハンスメント装置の全体構成の一例を示す図である。

音声指向パターン生成装置１００は、処理部１１０、ＢＳＥ信号生成部１２０、利得制御部１３０、後処理部１４０及びアレイスピーカ１５０を含みうる。

処理部１１０は、高周波帯域の信号及び低周波帯域の信号に分離し、低周波帯域の信号を分析して、歪み発生量の予測情報を生成する。ここで、低周波帯域は、一実施形態によって、ＢＳＥが適用されない高周波帯域を除いた周波数帯域であって、実際に入力される音源の中間周波数帯域を含みうる。すなわち、低周波帯域は、一般的にサブウーファーが処理する低周波帯域より広い範囲の帯域を意味する。

例えば、周波数範囲は、仮想ピッチ（ピッチ強度）に基づくことができる。予測されたピッチ強度がさらに強いほど原音のピッチは、その高調波として強く認識される。例えば、２５０Ｈｚ以下の周波数成分は強いピッチ強度を有するものであって、すなわち、低周波帯域の信号として決定されうる。しかし、このようなピッチ強度は、単に例示的なものであり、サウンドエンハンスメント装置は、これに限定されるものではない。説明したように、強いピッチ強度を有する周波数成分は、高調波に代替されうる。

処理部１１０は、低周波帯域の信号を予め決定されたサブバンドに分離し、各サブバンドの信号から、フレーム単位で歪み発生量の予測情報としてトーナリティー情報及び／又はエンベロープ情報を抽出することができる。トーナリティー情報及び／又はエンベロープ情報は、各サブバンドに対して非線形処理が行われた後に、各サブバンドの信号から生成される歪み発生量の予測に利用されうる。エンベロープ情報は、例えば、信号のエネルギー、信号の音の強さ（ラウドネス）などを含みうる。

ＢＳＥ信号生成部１２０は、歪み発生量の予測情報によって低周波帯域の信号に対して高調波信号の次数を調整して、高調波信号を生成する。例えば、ＢＳＥ信号生成部１２０は、各サブバンドのトーナリティー情報及びエンベロープ情報に基づいて、適応的な高調波信号を生成することができる。サブバンドによって発生する予測された歪み発生量に基づいて、ＢＳＥ信号生成部１２０は、サブバンドを代替する高調波信号の次数を調整することができる。

ＢＳＥ信号生成部１２０は、分割された音声信号を入力され、音声信号が非線形処理を経れば、低周波帯域の信号の歪み発生量を分析し、予測することができる。該予測された歪み発生量に基づいて、ＢＳＥ信号生成部１２０は、各サブバンドの利得を適応的に制御することができて、歪みが発生する機会が少ないサブバンドがさらに高い次数の高調波を生成することができる。各サブバンドの相異なる利得制御は、周波数帯域に亙って高調波の発生量を均等ではないようにできる。これを補償するために、生成された高調波と元のサブバンド信号との合成比率が変更されうる。

仮想ピッチをさらに増加させるのに利用される高調波信号の次数がさらに高いほど、音質の劣化はさらに大きくなる。したがって、さらに高い歪み発生量を起こすと予測されるサブバンドは、さらに低いエンベロープ及びさらに低い次数を有する高調波信号に調整され、さらに低い歪み発生量を起こすと予測されるサブバンドはさらに高いエンベロープ及びさらに高い次数を有する高調波信号に調整されうる。これにより、ＢＳＥ信号生成部１２０は、歪みを起こすサブバンドを回避することができる。

生成された高調波信号は、元の低周波帯域の信号を代替する信号であって、以下では、ＢＳＥ信号と称する。ＢＳＥ信号生成部１２０は、歪み発生量の予測情報のうち、音源のスペクトルによるトーナリティー情報によって適応的に高調波の発生量を調節することができる。また、ＢＳＥ信号生成部１２０は、低周波帯域の信号に対してスペクトルの先鋭化技法を行ってＩＭＤをさらに低減させることができる。

利得制御部１３０は、歪み発生量の予測情報によって低周波帯域の信号とＢＳＥ信号との合成比率を利得調節によって適応的に調節して、出力される低周波帯域の信号を生成する。例えば、利得制御部１３０は、所望の生成される高調波信号の量に基づいて、低周波帯域信号のＢＳＥ信号への変換比率を適応的に調整することができる。各サブバンドの相異なる利得制御は、周波数帯域に亙って高調波の量を均一ではないようにできる。これを補償するために、生成された高調波及び元のサブバンド信号の合成の比率が適応的に調整されて不均一な高調波量を防止するか、減少させることができる。

後処理部１４０は、高周波帯域の信号及び利得制御部１３０によって利得が調節された低周波帯域の信号を合成する。後処理部１４０は、合成された信号が出力される時、既定の放射パターンを形成するように合成された信号を処理し、該処理された信号を出力することができる。例えば、処理された信号は、スピーカーに出力される。

ＩＭＤ成分の発生量を予測して適応的に高調波信号の次数及びその増幅比を調節することによって、音質劣化を最小化させながら、可能な限り多くの低周波成分を高周波帯域に置き換えうる。このように処理された信号が、小型ラウドスピーカーシステムに適用される場合、広帯域の低周波帯域の信号に対して低いＩＭＤ成分を有し、聴感上で自然なＢＳＥ信号を発生させることができる。

図２は、図１の処理部１１０の構成の一例を示す図である。

前処理部１１０は、低域フィルタ２１０、マルチバンドスプリッタ２２０、歪み予測情報抽出部２３０及び高域フィルタ２４０を含みうる。

低域フィルタ２１０は、入力信号のうち、ＢＳＥ信号を発生させる低周波帯域（又は中低周波帯域）の信号を分離する。

マルチバンドスプリッタ２２０は、低域フィルタ２１０によって分離された低周波帯域の信号に対するＩＭＤを低減させるために、低周波帯域の信号を複数のサブバンドに分離する。これは、式（１）で表わすことができる。ここで、サブバンド信号は、１オクターブ又は１／３オクターブフィルタなど聴感特性によって多様な形態で提供されることがある。

ここで、ORG(t)は、低域フィルタ２１０によって分離された低周波帯域の原音信号を表わし、ORG ^(m)(t)は、各サブバンドに対する原音信号を表わす。

このように、低周波帯域を複数のサブバンドに分割し、該分割されたサブバンド成分に対して歪み予測情報を抽出し、今後複数のサブバンドに対する信号にそれぞれ低音補強処理ＢＳＥを行うことによって、ＩＭＤを低減させることができる。詳細には、複数のサブバンドに対する信号にそれぞれ低音補強処理ＢＳＥを行えば、相異なる周波数帯域間の混変調は発生せず、帯域内の周波数成分の間でのみ混変調が発生するので、全体信号にＢＳＥを適用する場合に比べて混変調を低減させることができる。

歪み予測情報抽出部２３０は、マルチバンド信号のそれぞれに対してエンベロープ情報及びトーナリティーパラメータを歪み発生量の予測情報として抽出する。

エンベロープ情報は、ＢＳＥ信号生成部１２０のＢＳＥ処理で高調波発生量の調節に使われる。トーナリティー情報は、各スペクトルが平坦な程度を表わすパラメータであり、ＩＭＤの発生量の調節に使われる。

ＢＳＥは、原音成分にピッチが強い成分に対して適用が必要であり、原音にピッチが存在しない場合や、ＩＭＤが過度に発生する場合には、ＢＳＥを適用する必要がない。例えば、ノイズのような音声信号や、インパルシブサウンド（ｉｍｐｌｕｓｉｖｅ ｓｏｕｎｄ）の場合には、平坦なスペクトルを有するので、ピッチを表わさず、またあらゆる周波数成分が同等の大きさを有するので、歪みが過度に発生する。

したがって、原音成分によってＢＳＥ信号の発生量を調節し、ピッチ強度が低いか、歪みが過度に発生する場合、ＢＳＥ信号に比べて原音の比重を高めて自然な処理結果が得られる。平坦なスペクトルとピッチ成分を有するスペクトルとを区別するために、複数のサブバンドの各周波数バンド毎にスペクトルのトーナリティーを計算することができる。

高域フィルタ２４０は、入力信号のうち、高周波帯域の信号を分離する。高周波帯域の信号に対しては、ＢＳＥ信号処理が行われない。

歪み予測情報抽出部２３０は、図３に示されたように構成することができる。

図３は、図２の歪み予測情報抽出部２３０の概略的構成の一例を示す図である。

歪み予測情報抽出部２３０は、トーナリティー検出部２３２及びエンベロープ検出部２３４を含みうる。

トーナリティー検出部２３２は、ｍ個のマルチバンド信号ＯＲＧ^（１）（ｔ）、．．．、ＯＲＧ^（ｍ）（ｔ）のそれぞれに対してトーナリティーＳＦＭ^（１）（ｔ）、．．．、ＳＦＭ^（ｍ）（ｔ）を検出する。先立って各分離された、各周波数帯域の信号のうち、ｍ番目のバンドの信号のｎ番目のタイムフレーム区間をＯＲＧ^（ｍ,n）（ｔ）と言う。ここで、タイムフレームは、信号の特定視覚で一定の長さの区間を抽出したものであって、各タイムフレームは、時間に対して互いに部分重畳されるものであり得る。

前述したように、平坦なスペクトルとピッチ成分を有するスペクトルとを区別するために、各周波数バンドのタイムフレーム別に、スペクトルのトーナリティーを計算することができる。トーナリティーは、信号がどれほど純音に近いかを表わすものであって、多様な方法で定義されることができるが、一般的に、次のような定義（ｓｐｅｃｔｒａｌ ｆｌａｔｎｅｓｓ ｍｅａｓｕｒｅ；ＳＦＭ）が多く使われる。

ここで、ＡＭ^（ｍ,n）（f）は、ＯＲＧ^（ｍ,n）（ｔ）の周波数スペクトルを表わす。ＡＭ^（ｍ,n）（f）は、離散フーリエ変換を通じて離散化された周波数f＝lΔfに対するスペクトルが得られる。ここで、ｌは０より大きい整数である。ＧＭは、スペクトルＡ^（ｍ,n）（f）の幾何平均（ｇｅｏｍｅｔｒｉｃｍｅａｎ）を表わし、ＡＭは、算術平均（ａｒｉｔｈｍｅｔｉｃ ｍｅａｎ）を表わす。このように定義されたトーナリティーは、純音成分である場合、１の値を表わし、完壁に平坦なスペクトルの場合、０の値を表わす。

トーナリティー検出部２３２は、各タイムフレームで得られたトーナリティー測定値ＳＦＭ^{（ｍ、ｎ）}に補間処理を行い、該補間の結果生成された値を時間軸で連続した値に変換する。このような方法で、トーナリティー検出部２３２は、最終的に各周波数帯域別に連続した信号ＳＦＭ^（ｍ）（ｔ）を獲得することができる。該取得されたトーナリティー測定値は、原音のピッチ強度及びＩＭＤ発生量を代表する。トーナリティー値が高いほどピッチ強度が高く、歪み発生量が少ない信号として扱われる。

エンベロープ検出部２３４は、ｍ個の各マルチバンド信号ＯＲＧ^（１）（ｔ）、．．．、ＯＲＧ^（ｍ）（ｔ）のそれぞれに対してエンベロープ情報ＥＮＶ^（１）（ｔ）、．．．、ＥＮＶ^（ｍ）（ｔ）を検出する。

図３には、ｍ番目のバンド信号ＯＲＧ^（ｍ）（ｔ）に対するエンベロープ情報及びトーナリティー情報を抽出する構成に対して示している。歪み予測情報抽出部２３０のトーナリティー検出部２３２及びエンベロープ検出部２３４は、各サブバンド信号を処理するために、サブバンドの個数に対応する個数のトーナリティー検出部及びエンベロープ検出部を含んで構成することができる。

図４は、図１のＢＳＥ信号生成部１２０の概略的構成の一例を示す図である。

ＢＳＥ信号生成部１２０は、歪み予測情報抽出部２３０から抽出されたトーナリティー情報及びエンベロープ情報を用いて適応的に高調波信号を生成する。適応的に生成された高調波信号をＢＳＥ信号と言う。ＢＳＥ信号生成部１２０は、エンベロープ情報適用部４１０、第１乗算部４２０、第２乗算部４３０、スペクトル先鋭化部４４０及び非線形デバイス４５０を含みうる。

図４は、ｍ番目の帯域の信号ＯＲＧ^（ｍ）（ｔ）に対するＢＳＥを行うためのブロック図であって、ＢＳＥ信号生成部１２０は、他のそれぞれの帯域の信号に対しても、並列的にＢＳＥを行うための機能ブロックをさらに含む。

入力の大きさ変動によるＢＳＥ効果の変化、すなわち、動的範囲の変化による高調波発生量の変化を防止するために、ＢＳＥ演算を行う前に入力信号のピークエンベロープを一様にする処理が行われる。

エンベロープ情報適用部４１０は、入力信号のピークエンベロープ（ｘ）を入力信号を均一化するための値（１／ｘ）に変換する。第１乗算部４２０は、値（１／ｘ）と信号ＯＲＧ^（ｍ）（ｔ）とを乗算することによって、信号ＯＲＧ^（ｍ）（ｔ）のエンベロープを均一化する。

ｍ番目のサブバンドの音源信号をＯＲＧ^（ｍ）（ｔ）とし、抽出されたエンベロープ情報をＥＮＶ^（ｍ）（ｔ）とすれば、エンベロープ情報適用部４１０及び第１乗算部４２０は、ＯＲＧ^（ｍ）（ｔ）をＥＮＶ^（ｍ）（ｔ）で割て単位エンベロープを有する信号に変換させて均一化された信号ｎＯＲＧ^（ｍ）（ｔ）を生成することができる。これは、式（３）のように表わすことができる。

一実施形態では、抽出された信号エンベロープに測定されたトーナリティーを乗算して、トナル成分の場合、より高い次数の高調波信号を生成し、平坦なスペクトルに対しては、その高調波の大きさを幾何級数的に減少させる。これは、式（４）で表わすことができる。

この方法を使えば、ＩＭＤ発生量が少なく、ピッチが強い信号の場合には、高次の高調波が発生し、ＩＭＤが容易に発生する信号の場合には、高次の高調波の発生量が多くないように、低次の高調波のみ発生する効果が得られる。

そのために、第２乗算部４３０は、均一化された信号ｎＯＲＧ^（ｍ）（ｔ）に抽出されたトーナリティーＳＦＭ^（ｍ）（ｔ）を乗算するように構成することができる。エンベロープ情報適用部４１０、第１乗算部４２０及び第２乗算部４３０は、機能的にエンベロープ情報を用いて、各サブバンドの信号の大きさを均一化する第１調整部及び正規化された信号にトーナリティー情報を乗算する第２調整部で構成することができる。

非線形デバイス４５０は、入力される信号に対して高調波を生成する。非線形デバイス４５０としては、乗算器、クリッパなどが使われる。

非線形デバイス４５０は、均一化された信号ｎＯＲＧ^（ｍ）（ｔ）にトーナリティー情報ＳＦＭ^（ｍ）（ｔ）を乗算した信号に対する高調波を生成することによって、ＩＭＤ発生量が高いと予測される信号に対しては、低いエンベロープを有するようにできる。したがって、ＩＭＤ発生量が高いと予測される信号に対しては、低次の高調波のみを生成することによって、高次の高調波の生成時に発生する高い歪みを防止することができる。

このように、トーナリティーによって他のＢＳＥを行う理由について、図５Ａ及び図５Ｂを参照して説明する。図５Ａ及び図５Ｂは、エンベロープの大きさの変化による高調波の発生比率の変化を示す図である。

多くの非線形デバイスであるＢＳＥプロセッサは、非線形特性と同時に不均一な特性を有する。ここで、不均一とは、入力信号が増幅された時、ＢＳＥプロセッサの出力の大きさが線形的に比例して増加しない特性を言う。

図５Ａで、非線形デバイス５１０が、乗算器であると仮定する。乗算器５１０として使って高調波を発生させる時、その入力の大きさをｃ倍ほど増幅させるならば、ｊ番の乗算演算を経た信号の大きさは、式（５）のように表わすことができる。

図５Ａに示されたように、増幅比ｃが１であれば、非線形デバイス５１０に入力された信号に対して、次数に無関係に一定の大きさの高調波信号が出力される。

しかし、図５Ｂに示されたように、ｃ＜１である増幅比を使えば、乗算器５１０を経た高調波の次数が高くなるほどその大きさが幾何級数的に減少する。すなわち、高次の高調波が低次の高調波に比べて非常に小さな信号を得るようになる。

このような効果を利用すれば、非線形デバイス５１０で発生する高調波の大きさを容易に変化させることができ、結果的に、高調波の次数が調節される。

ＩＭＤ発生量によって高調波の次数を調節する方法の以外にも、よりＩＭＤを減衰するために、ＢＳＥ信号生成部１２０にスペクトル先鋭化部４４０がさらに含まれうる。スペクトル先鋭化部４４０は、第２乗算部４３０から出力される信号にトーナリティー情報を用いてスペクトル先鋭化を行うことができる。

図６Ａは、トナル成分と平坦なスペクトルとが混在された信号に対するＢＳＥ処理の結果を表わし、図６Ｂは、スペクトルの先鋭化が行われた信号に対するＢＳＥ処理の結果を示す図である。

図６Ａに示されたように、グラフ６１０のように一つの帯域内に平坦なスペクトルとトナル成分とが混在されている信号に対して高調波を生成すれば、グラフ６２０のように平坦なスペクトルとトナル成分との間のＩＭＤは、広い帯域に亙って発生する。このような、現象を低減するために、スペクトルの領域でピーク成分のみが維持され、ノイズのようなスペクトルは低減するように、スペクトルを拡張するスペクトルの先鋭化を行う。平坦なスペクトルとトナル成分とが混在されている信号をスペクトルの先鋭化によって処理すれば、スペクトルでピーク成分のみが維持されうる。図６Ｂを参照すると、スペクトルの先鋭化が行われた信号６３０に対してＢＳＥを適用すれば、グラフ６４０に示されたように、広い帯域に亙って発生するＩＭＤを低減することができる。

再び図４を参照すると、スペクトルの先鋭化部４４０の動作は、式（６）で表わすことができる。

ここで、αは、スペクトルの先鋭化の量を調節するチューニングパラメータであり、トーナリティー測定と連動されて変更されうる。例えば、スペクトルの先鋭化のための情報として式（７）に表われたように、トーナリティー情報を利用することができる。

ここで、ηは、トーナリティーを反映する程度を表わし、ユーザによって調節される。

スペクトルの先鋭化部４４０は、トーナリティーが高い信号に対してのみ、部分的にスペクトルの先鋭化を使って音質の変化を最小化することができる。言い換えれば、スペクトルの先鋭化部４４０は、周波数領域でピーク成分を除いた残りのスペクトル成分を除去して、広帯域信号とトーナリティー成分との間の歪みを抑制する。

非線形デバイス４５０は、スペクトルが先鋭化された信号に対する高調波信号を生成する。点線矢印で表わしたように、非線形デバイス４５０は、ＢＳＥ信号発生後に、原音信号のエンベロープ情報によってＢＳＥ信号が対応する元の低周波信号のエンベロープを有するように、ＢＳＥ信号のエンベロープを復元することができる。

図７は、図１の利得制御部１３０の構成の一例を示す図である。

利得制御部１３０は、ＩＭＤ発生量によってＢＳＥ信号と原音との合成比率を調節する部分７０２、７０４、７０６、７０８、７１０と、高周波帯域の信号の特性によって再びＢＳＥ信号の利得を調節する部分７１２、７１４、７１６、７１８、７２０、７２２とで構成することができる。図７は、ｍ番目の帯域の原音信号ＯＲＧ^（ｍ）（ｔ）、ｍ番目の帯域のＢＳＥ信号ＢＳＥ^（ｍ）（ｔ）に対する合成のために、それぞれの利得を調整するためのブロック図を中心に表わしたものであって、利得制御部１３０は、他のサブバンドの原音信号及びＢＳＥ信号に対して、それぞれ並列的に利得を調節するための機能ブロックをさらに含む。

まず、ＩＭＤ発生量によってＢＳＥ信号と原音との比率を調節する部分７０２、７０４、７０６、７０８、７１０の動作について説明する。

原音の低周波帯域の音を最大限維持するためには、生成されたＢＳＥ信号と原音とのラウドネスを一致させることが重要である。ＢＳＥ利得処理部７０６は、測定されたトーナリティー情報によって処理されていない低周波帯域信号とＢＳＥ信号との比率を適応的に調整する。これを通じて、ＢＳＥを適用しない信号フレームに対しては、原音の比率を高めて、歪みが少なくより自然な音を具現することができる。

第１エネルギー検出部７０２は、原音低周波成分ＯＲＧ^（ｍ）（ｔ）のラウドネス

を検出する。第２エネルギー検出部７０４は、ＢＳＥ信号ＢＳＥ^（ｍ）（ｔ）のラウドネス

を検出する。ラウドネスは、信号のＲＭＳ（Ｒｏｏｔ−Ｍｅａｎ−Ｓｑｕａｒｅ）の大きさを基準に算出され、またはラウドネスメーターを用いて正確に算出される。

ＢＳＥ利得処理部７０６は、原音低周波成分ＯＲＧ^（ｍ）（ｔ）のラウドネス

及びＢＳＥ信号ＢＳＥ^（ｍ）（ｔ）のラウドネス

を用いて、それぞれの利得調節値ｇ_ｏ ^（ｍ）（ｔ）及びｇ_ｂ ^（ｍ）（ｔ）を生成する。ＢＳＥ利得処理部７０６は、歪み予測情報抽出部２３０で抽出されたトーナリティーＳＦＭを用いて利得調節値ｇ_ｏ ^（ｍ）（ｔ）及びｇ_ｂ ^（ｍ）（ｔ）を生成する。

ＢＳＥ利得処理部７０６は、ＢＳＥ信号ＢＳＥ^（ｍ）（ｔ）の利得調節値ｇ_ｂ ^（ｍ）（ｔ）はトーナリティーに比例する値で設定し、原音低周波成分ＯＲＧ^（ｍ）（ｔ）の利得調節値ｇ_ｏ ^（ｍ）（ｔ）は、トーナリティーに反比例するように設定することができる。これによれば、原音は、信号のトーナリティーに反比例して、その量が縮小され、該縮小された量ほどのエネルギーがＢＳＥ信号に置き換えられる。したがって、トーナリティーが高い場合、ＢＳＥ信号をより多く添加して性能を高め、トーナリティーが低い場合、原音の比率を高めてＩＭＤを最小化することができる。

第１乗算部７０８は、ＢＳＥ信号ＢＳＥ^（ｍ）（ｔ）に利得調節値ｇ_ｂ ^（ｍ）（ｔ）を乗算する。このように、ＢＳＥ信号に利得調節値ｇ_ｂ ^（ｍ）（ｔ）が乗算されて生成されたｗＢＳＥ（ｗｅｉｇｈｔｅｄ ＢＳＥ）信号ｗＢＳＥ^（ｍ）（ｔ）は、各サブバンドに対して計算される。

第２乗算部７１０は、原音低周波成分ＯＲＧ^（ｍ）（ｔ）の利得調節値ｇ_ｏ ^（ｍ）（ｔ）を乗算する。第２乗算部７１０によって生成された信号ｗＯＲＧ^（ｍ）（ｔ）は、後処理部１４０の低周波ビーム処理部６１０に伝達される。

前述したように、原音低周波成分ＯＲＧ^（ｍ）（ｔ）及びＢＳＥ信号ＢＳＥ^（ｍ）（ｔ）に対する処理過程は、式（８）のように表わすことができる。

次いで、高周波帯域の信号の特性によって、再びＢＳＥ信号の利得を調節する部分７１２、７１４、７１６、７１８、７２０、７２２について説明する。

合算部７１２は、各サブバンドのｗＢＳＥ信号を合算して、合算信号ｔＢＳＥ（ｔ）を生成する。合算された信号ｔＢＳＥ（ｔ）と高周波成分は、同じ周波数帯域に位置するので、相互マスキング効果によって合算信号ｔＢＳＥ（ｔ）が聞こえないこともある。マスキング効果とは、人間の音の知覚特性のうち一つであって、一つの音に対して周辺の周波数成分の音が影響を受けることを意味する。すなわち、マスキングサウンドの妨害によって最小可聴値が増加する現象を意味し、ある音がまた他の音を聞くことができる能力を減少させる現象を意味する。

合算信号ｔＢＳＥ（ｔ）の増幅比ｇ_ｔ（ｔ）を算出するために、合算信号ｔＢＳＥ（ｔ）及び高周波信号ＨＰ^（ｍ）（ｔ）信号のそれぞれのラウドネスが分析されなければならない。

このために、ラウドネス検出部７１４は、合算された信号ｔＢＳＥ（ｔ）に対するラウドネスｇ_ｔｂｓｅ（ｔ）を検出する。また、マスキングレベル検出部７１６は、高周波信号ＨＰ^（ｍ）（ｔ）の音量を分析して、そのマスキングレベルｇ_ｍｓｋ（ｔ）を算出する。

制御利得処理部７１８は、マスキング効果によってＢＳＥ信号が聞こえない現象を防止するために、合算信号ｔＢＳＥ（ｔ）のレベルが、高周波信号ＨＰ^（ｍ）（ｔ）のマスキングレベルより高いように増幅比ｇ_ｔを算出する。増幅比ｇ_ｔは、式（９）で表わすことができる。

合算部７２２は、増幅されたＢＳＥ信号と原音の高周波成分とを合算して、最終的な高周波帯域信号を生成する。

図８Ａ乃至図８Ｃは、図１の後処理部１４０の構成の一例を示す図である。

後処理部１４０は、生成されたマルチバンド低周波数信号と高周波数信号とをラウドスピーカーに出力して音波を発生させる。後処理部１４０は、図８Ａ乃至図８Ｃの後処理部８１０、８２０、８３０で示されたように、多様な形態で構成され、これに限定されるものではない。

図８Ａを参照すると、後処理部８１０は、合算部８１２及び単一スピーカー８１４を含みうる。合算部８１２は、低周波帯域のマルチバンド信号及び高周波帯域の信号を結合し、該結合された信号は、スピーカー８１４を通じて出力される。

図８Ｂを参照すると、後処理部８２０は、合算部８２２、ビーム処理部８２４及びアレイスピーカー８１６を含みうる。合算部８２２は、低周波帯域のマルチバンド信号及び高周波帯域の信号を結合する。ビーム処理部８２４は、結合された信号が出力される時、予め決定された放射パターンを形成するように合成された信号を処理する。アレイスピーカー８１６は、合成された信号を出力して、サウンドビームを発生させる。

図８Ｃを参照すると、後処理部８３０は、低周波数帯域ビーム処理部８３１、高周波数帯域ビーム処理部８３２、複数個の合算器８３３、８３４、８３５及びアレイスピーカー８３６を含みうる。低周波数帯域ビーム処理部８３１は、各サブバンド別信号が、各サブバンド毎に設けられたビーム処理部を経るようにする。各サブバンド毎のビーム処理部を通過して生成されたマルチチャンネル信号を低周波数帯域の全周波数帯域に対して合算して出力する。低周波数帯域ビーム処理部８３１に含まれ、低周波数帯域の全周波数帯域に対する信号を合算するための複数の合算器の個数は、アレイスピーカー８３６の出力チャンネルの個数に対応する。

高周波数帯域ビーム処理部８３２は、高周波帯域の信号に対してビーム成形技法を適用して処理する。複数の合算器８３３、８３４、８３５は、低周波数帯域ビーム処理部８３１から出力されたマルチチャンネル信号と高周波帯域の信号とをそれぞれ合算する。複数の合算器８３３、８３４、８３５の個数は、アレイスピーカー８３６の出力チャンネルの個数に対応する。

図９は、サウンドエンハンスメント方法の動作順序の一例を示すフローチャートである。

サウンドエンハンスメント装置１００は、原音信号を高周波帯域の信号及び低周波帯域の信号に分離する（９１０）。サウンドエンハンスメント装置１００は、低周波帯域の信号を複数のサブバンドに分離し、各サブバンドの信号に対してフレーム単位で歪み発生量の予測情報を生成することができる。

サウンドエンハンスメント装置１００は、低周波帯域の信号を分析して、歪み発生量の予測情報を生成する（９２０）。歪み発生量の予測情報は、トーナリティー情報及びエンベロープ情報を含みうる。

サウンドエンハンスメント装置１００は、歪み発生量の予測情報によって低周波帯域の信号に対して高調波信号の次数を調整して高調波信号を生成することによって、低周波帯域の信号を代替するＢＳＥ信号を生成する（９３０）。このために、サウンドエンハンスメント装置１００は、まずエンベロープ情報を用いて、各サブバンドの信号の大きさを均一化し、該均一化された信号に対してトーナリティー情報によって適応的に高調波信号を生成することができる。また、ＩＭＤをさらに低減させるために、サウンドエンハンスメント装置１００は、高調波生成以前に、トーナリティー成分が高い信号に対してスペクトルの先鋭化を行い、該スペクトルの先鋭化が行われた信号に対して高調波信号を生成することができる。

サウンドエンハンスメント装置１００は、歪み発生量の予測情報によって低周波帯域の信号とＢＳＥ信号との合成比率を適応的に調節する（９４０）。このために、サウンドエンハンスメント装置１００は、トーナリティー情報によってトーナリティー情報が低い信号に対しては、低周波帯域の信号の比率がＢＳＥ信号に比べて相対的に高いように低周波帯域の信号及びＢＳＥの合成比率を調節して、利得が調節された信号を生成することができる。また、サウンドエンハンスメント装置１００は、ＢＳＥ信号のラウドネスが高周波帯域の信号によってマスクされないように、高周波数帯域の信号のマスキングレベルを超えてＢＳＥ信号の音圧を増幅することができる。

高周波帯域の信号及び利得が調節された信号は、合成されて出力され、合成された信号が出力される時、予め決定された放射パターンを形成するように出力される。

一実施形態によれば、ＩＭＤを低減しながら広い低周波帯域に対する低音補強処理ＢＳＥを行うことができるので、通常的なサブウーファーより広帯域の低音成分を高周波信号に代替することができる。より広い帯域の信号をＢＳＥ信号に代替して、狭い周波数帯域のみが使用可能な多様なラウドスピーカーシステムで低音知覚を提供することができる。また、より広い帯域の信号をＢＳＥ信号で代替することができるので、より小型化、薄型化されたラウドスピーカーでも十分な低音知覚特性を提供することができる。

ＢＳＥ信号処理で発生する混変調歪みの発生量によって原音の低音成分とＢＳＥ処理された信号との比率を適応的に調節することによって、音質の劣化を最小化しながら信号フレーム毎にＢＳＥ効果を極大化することができる。混変調歪み発生量の予測によってＢＳＥ信号処理で発生させる高調波の次数を適応的に調整して、音源特性によってより自然な低周波帯域の信号に対する知覚特性を提供することができる。また、マルチバンド処理とスペクトルの先鋭化技法とを通じて、より混変調歪みが低減したＢＳＥ信号が得られる。このように処理された信号に対するビーム成形処理時には、ビーム幅が低い低周波帯域の音をビーム幅が狭い高周波帯域の音に変換されることによって、アレイのサイズの増加なしに全周波数帯域で室内に適用するのに十分な音圧差を確保することができる。

これに説明された端末装置は、携帯電話、パーソナル・デジタル・アシスタント（ＰＤＡ）、デジタルカメラ、ポータブルゲームコンソール、ＭＰ３プレーヤー、携帯／個人用マルチメディアプレーヤー（ＰＭＰ）、ハンドヘルド電子ブック、携帯用ラップトップ及び／またはタブレットパーソナルコンピュータ（ＰＣ）、グローバル・ポジショニング・システム（ＧＰＳ）ナビゲーション、デスクトップＰＣ、高画質テレビ（ＨＤＴＶ）、光ディスクプレーヤー、セットトップボックスなどのように、無線通信又はネットワーク通信ができるデバイスであり得る。

コンピュータシステム又はコンピュータは、バス、ユーザインターフェース及びメモリコントローラと電気的に連結されるマイクロプロセッサとを含みうる。コンピュータシステム又はコンピュータは、またフラッシュメモリ装置を更に含みうる。フラッシュメモリは、メモリコントローラを通じてＮビットデータを保存することができる。Ｎビットデータは、マイクロプロセッサによって処理されるか、処理され、ここで、Ｎは、１又は１以上の整数であり得る。コンピュータシステム又はコンピュータが移動装置である時、コンピュータシステム又はコンピュータに電源を供給するために、バッテリーが付加的に提供されることがある。

コンピュータシステム又はコンピュータが、アプリケーションチップセット、ＣＩＳ（ｃａｍｅｒａ ｉｍａｇｅ ｐｒｏｃｅｓｓｏｒ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などを更に含みうるということは当業者には明白である。メモリコントローラ及びフラッシュメモリ装置は、データを保存するのに不揮発性メモリを利用するＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅｒ／ｄｉｓｋ）を構成することができる。

本発明の一態様は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現しうる。前記のプログラムを具現するコード及びコードセグメントは、当該分野のコンピュータプログラマによって容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行可能である。

以上の説明は、本発明の一実施形態に過ぎず、当業者は、本発明の本質的特性から外れない範囲で変形された形態で具現することができる。したがって、本発明の範囲は、前述した実施形態に限定されず、特許請求の範囲に記載の内容と同等な範囲内にある多様な実施形態が含まれるように解析されなければならない。

本発明は、サウンドエンハンスメント装置及び方法関連の技術分野に適用可能である。

１１０：処理部
１２０：ＢＳＥ信号生成部
１３０：利得制御部
１４０：後処理部

Claims (31)

1. 原信号を高周波信号及び低周波信号に分離し、前記低周波信号を分析して、前記低周波信号により発生される歪みの程度に関する予測情報を取得する処理部と、
   前記低周波信号の高調波信号を、前記低周波信号に代わる心理音響的なベースエンハンスメント（ＢＳＥ）信号として生成するＢＳＥ信号生成部と、前記高調波信号の次数は、前記歪みの程度に関する予測情報に基づいて調整され、
   前記歪みの程度に関する予測情報に基づいて、前記低周波信号と前記ＢＳＥ信号との合成比率を適応的に調節する利得制御部と、
   を含むことを特徴とするサウンドエンハンスメント装置。
2. 前記処理部は、
   前記低周波信号を複数のサブバンドに従って分類し、各サブバンドに対応する信号により生成される歪みの程度に関する予測情報を生成する、
   ことを特徴とする請求項１記載のサウンドエンハンスメント装置。
3. 前記歪みの程度に関する予測情報は、調性情報及び包絡線情報を含む、
   ことを特徴とする請求項２記載のサウンドエンハンスメント装置。
4. 前記ＢＳＥ信号生成部は、
   前記包絡線情報を用いて前記複数のサブバンドに対応する信号の振幅が一様になるように調整して正規化された信号を生成し、前記調性情報に基づいて前記正規化された信号の前記ＢＳＥ信号として高調波信号を適応的に生成する、
   ことを特徴とする請求項３記載のサウンドエンハンスメント装置。
5. 前記ＢＳＥ信号生成部は、
   前記包絡線情報を用いて前記複数のサブバンドに対応する信号の振幅が一様になるように調節して前記正規化された信号を生成する第１調整部と、
   前記正規化された信号を前記調性情報と乗算する第２調整部と、
   前記調性情報により乗算された信号の前記ＢＳＥ信号として高調波信号を生成する非線形デバイスと、
   を含むことを特徴とする請求項４記載のサウンドエレメント装置。
6. 前記第２調整部から出力される信号のうち、高い調性をもつ信号に対してスペクトルの先鋭化を行うスペクトル先鋭化部を更に含み、
   前記非線形デバイスは、スペクトルの先鋭化が行われた信号について高調波信号を生成する、
   ことを特徴とする請求項５記載のサウンドエンハンスメント装置。
7. 前記低周波信号が、前記調性情報に基づいて低い調性を有すると判定された場合、前記利得制御部は、前記低周波信号の一部が前記ＢＳＥ信号の一部よりも大きいように、前記低周波信号の前記ＢＳＥ信号に対する合成比率を調節して、利得が調節された信号を生成する、
   ことを特徴とする請求項３記載のサウンドエンハンスメント装置。
8. 前記利得制御部は、前記ＢＳＥ信号の音の強さが前記高周波信号によってマスクされないように、前記高周波信号のマスキングレベルを超えるように前記ＢＳＥ信号の音圧を増幅する、
   ことを特徴とする請求項７記載のサウンドエンハンスメント装置。
9. 前記高周波信号及び前記利得が調節された信号を合成する後処理部を更に含む、
   ことを特徴とする請求項１記載のサウンドエンハンスメント装置。
10. 前記後処理部は、
    前記合成された信号が出力される時、放射パターンを形成するために前記合成された信号を処理するビーム成形部と、
    前記処理された合成された信号を出力するアレイスピーカーと、
    を含むことを特徴とする請求項９記載のサウンドエンハンスメント装置。
11. 原信号を高周波信号及び低周波信号に分離し、前記低周波信号を分析して、前記低周波信号により発生される歪みの程度に関する予測情報を生成する段階と、
    前記低周波信号の高調波信号を、前記低周波信号に代わる心理音響的なベースエンハンスメント（ＢＳＥ）信号として生成する段階と、前記高調波信号の次数は、前記歪みの程度に関する予測情報に基づいて調整され、
    前記歪みの程度に関する予測情報に基づいて、前記低周波信号と前記ＢＳＥ信号との合成比率を適応的に調節する段階と、
    を含むことを特徴とするサウンドエンハンスメント方法。
12. 前記歪みの程度に関する予測情報を生成する段階は、
    前記低周波信号を複数のサブバンドに従って分類する段階と、
    各サブバンドに対応する信号により生成される歪みの程度に関する予測情報を生成する段階と、
    を含むことを特徴とする請求項１１記載のサウンドエンハンスメント方法。
13. 前記歪みの程度に関する予測情報は、調性情報及び包絡線情報を含む、
    ことを特徴とする請求項１２記載のサウンドエンハンスメント方法。
14. 前記高調波信号を生成する段階は、
    前記包絡線情報を用いて前記複数のサブバンドに対応する信号の振幅が一様になるように調整して正規化された信号を生成し、前記調性情報に基づいて前記正規化された信号の前記ＢＳＥ信号として高調波信号を適応的に生成する段階と、
    を含むことを特徴とする請求項１３記載のサウンドエンハンスメント方法。
15. 前記調性情報に基づいて適応的に前記正規化された信号の高調波信号を生成する段階は、
    前記正規化された信号を前記調性情報と乗算する段階と、
    前記調性情報で乗算された信号のうち、高い調性をもつ信号に対してスペクトルの先鋭化を行う段階と、
    スペクトルの先鋭化が行われた信号について高調波信号を前記ＢＳＥ信号として生成する段階と、
    を含むことを特徴とする請求項１４記載のサウンドエンハンスメント方法。
16. 前記低周波信号の前記ＢＳＥ信号に対する合成比率を適応的に調節する段階は、
    前記低周波信号が、前記調性情報に基づいて低い調性を有すると判定された場合、前記低周波信号の一部が前記ＢＳＥ信号の一部よりも大きいように、前記低周波信号の前記ＢＳＥ信号に対する合成比率を調節して、利得が調節された信号を生成する段階を含む、
    ことを特徴とする請求項１３記載のサウンドエンハンスメント方法。
17. 前記低周波信号の前記ＢＳＥ信号に対する合成比率を適応的に調節する段階は、
    前記ＢＳＥ信号の音の強さが前記高周波信号によってマスクされないように、前記高周波信号のマスキングレベルを超えるように前記ＢＳＥ信号の音圧を増幅する段階を更に含む、
    ことを特徴とする請求項１６記載のサウンドエンハンスメント方法。
18. 前記高周波信号及び前記利得が調節された信号を合成する段階を更に含む、
    ことを特徴とする請求項１１記載のサウンドエンハンスメント方法。
19. 前記合成する段階は、
    前記合成された信号が出力される時、予め決定された放射パターンを形成するために前記合成された信号を処理する段階を更に含む、
    ことを特徴とする請求項１８記載のサウンドエンハンスメント方法。
20. 原信号を高周波信号及び低周波信号に分離し、前記低周波信号により発生される歪みの予測される程度を含む予測情報を取得する処理部と、
    前記低周波信号の前記予測される程度に基づいて、前記低周波信号の一部を代替する高調波信号を生成する適応的高調波信号生成部と、
    前記低周波信号の一部の前記高調波信号への変換比率を適応的に調整して、不均一な高調波量を減少させ、利得が調整された低周波信号を生成する利得制御部と、
    を含むことを特徴とする音声処理装置。
21. 前記処理部は、低域フィルター、マルチバンドスプリッタ、及び歪み予測情報の抽出部を含む、
    ことを特徴とする請求項２０記載の音声処理装置。
22. 前記マルチバンドスプリッタは、前記低周波信号を複数のサブバンドに分離し、
    前記歪み予測情報の抽出部は、各サブバンドの信号について歪み予測情報を生成する、
    ことを特徴とする請求項２１記載の音声処理装置。
23. 前記歪み予測情報の抽出部は、各サブバンドについて調性情報及び包絡線情報を取得する、
    ことを特徴とする請求項２１記載の音声処理装置。
24. 前記適応的高調波信号生成部は、前記低周波信号の歪みの予測される程度に基づいて、前記高調波信号の次数を調整することで前記高調波信号を生成する、
    ことを特徴とする請求項２０記載の音声処理装置。
25. 前記利得制御部は、前記低周波信号の歪みの予測される程度に基づいて、前記低周波信号及び前記生成された高調波信号の合成比率を適応的に調節する、
    ことを特徴とする請求項２０記載の音声処理装置。
26. 前記利得制御部は、前記低周波信号及び前記生成された高調波信号の合成比率を適応的に調節する利得処理部を更に含む、
    ことを特徴とする請求項２０記載の音声処理装置。
27. 前記利得処理部は、前記調性情報に基づいて、前記低周波信号及び前記生成された高調波信号の合成比率を適応的に調節する、
    ことを特徴とする請求項２６記載の音声処理装置。
28. 前記利得制御部は、前記高周波信号の特性に基づいて前記高調波信号の利得を調整する、
    ことを特徴とする請求項２６記載の音声処理装置。
29. 前記低周波信号と前記生成された高調波信号とが合成された信号と共に、前記高周波信号を出力する更なる処理部を更に含む、
    ことを特徴とする請求項２０記載の音声処理装置。
30. 前記更なる処理部は、
    前記合成された信号が出力される時、放射パターンを形成するために前記合成された信号を処理するビーム成形部と、
    前記処理された信号を出力するアレイスピーカーと、
    を含むことを特徴とする請求項２９記載の音声処理装置。
31. 原信号を高周波信号及び低周波信号に分類し、前記低周波信号を複数の低周波のサブバンドに分割し、各低周波のサブバンドに対して行われた非線形処理に基づいて、各低周波のサブバンドによって発生される歪みの予測される程度を含む予測情報を取得する処理部と、
    前記低周波信号の歪みの予測される程度に基づいて、各低周波のサブバンドを代替する高調波信号を生成する適応的高調波信号生成部と、
    前記低周波信号及び前記高調波信号の合成比率を適応的に調整して不均一な高調波量を減少させ、利得が調整された低周波信号を生成する利得制御部と、
    を含むことを特徴とする音声処理装置。

Images