JP5232121B2 - 信号処理装置 - Google Patents

Description

本発明は、周波数帯域が制限されている入力信号について、除去されている周波数帯域の信号を生成する信号帯域拡張処理などの高音質化処理を行う信号処理装置、及び携帯端末装置に関する。

従来、周波数帯域が制限されている音声信号の再生に際して、除去されている周波帯域の信号を擬似的に合成して生成し、原音声信号と合わせて再生する信号帯域拡張処理による信号処理装置が知られている。この技術によれば、周波数帯域が制限される前の音声と同様の、人間の聴覚にとって、より自然な音声信号が生成される。

一方、従来、複数の入力チャネルからの音声信号を処理する装置が知られている。このような技術は、例えば特許文献１に開示されている。

特許文献１に開示されている技術では、複数の入力チャネルから入力された音声信号について、それら音声信号の共通成分にのみ雑音成分の抑圧処理を行い、非共通成分には減衰処理を行う。

特開２００８−２８３３８５号公報

ところで、現在、複数の入力チャネルからの信号に対して、より効率的且つ効果的に信号帯域拡張処理を行う技術が望まれている。

しかしながら、上述した特許文献１に開示されている複数の入力チャネルからの信号に対する処理を、従来存在する高音質化する信号処理に単純に適用した場合、次のような問題が生じる。

すなわち、入力信号の種類（例えばステレオ信号やモノラル信号等）及びその音質（例えば制限周波数、有効チャネル、ＳＮ比、残響度合い等）が一定でない場合には、効率的・効果的な高音質化する信号処理を行うことができない。

さらには、例えば２チャネルの信号（ステレオ信号）が入力された場合に、帯域拡張された信号帯域においてステレオ性を備えさせることができない。

本発明は、前記の事情に鑑みて為されたものであり、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に高音質化する信号処理を行うことができる信号処理装置及び携帯端末装置を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様による信号処理装置は、入力信号に対して高音質化処理を施す高音質化処理部と、前記入力信号から制限周波数を検出する音質推定部と、前記制限周波数を参照し、前記制限周波数帯域までの帯域についてのみ、前記高音質化処理部に高音質化処理させる制御部と、を具備し、前記音質推定部は、前記入力信号から間欠的にパワースペクトルを算出し、該パワースペクトルを解析することにより、制限周波数の検出処理を行い、前記制限周波数の検出処理においては、前記入力信号に対して既に信号帯域拡張処理が施されているか否かを判定し、信号帯域拡張処理が施されていない制限周波数を検出することを特徴とする。

本発明によれば、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に高音質化する信号処理を行うことができる信号処理装置を提供することができる。

本発明の一実施形態に係る信号処理装置の一構成例を示す図。 図１に示す上限周波数検出部の動作を説明する図。 図１に示す帯域拡張既処理検出部の動作を説明する図。 図１に示す高音質化処理部の信号帯域拡張処理部を具体化した一構成例を示す図。 第１変形例に係る信号処理装置の構成を示す図。 第２変形例に係る信号処理装置の構成を示す図 第３変形例に係る信号処理装置の構成を示す図 一実施形態及び第１変形例〜第３変形例に係る信号処理装置を適用した通信装置の構成を示す図。

以下、図面を参照して本発明の実施形態について説明する。

図１は、本発明の一実施形態に係る信号処理装置の一構成例を示す図である。図１に示すように、本一実施形態に係る信号処理装置１は、共通成分・非共通成分抽出部１０と、音質推定部２０と、処理制御部３０と、高音質化処理部４０と、複数チャネル生成部５０と、を具備する。本実施形態では、高周波数方向への帯域拡張を行うものとして説明する。

前記共通成分・非共通成分抽出部１０は、複数の入力チャネルの信号ｉｎ［ｎ，ｋ］（ｋ＝１，…，Ｋｉｎ： Ｋｉｎは入力チャネルの総数、ｎは時刻）を入力とし、複数の入力チャネルに共通に含まれる共通成分Ｍｉ［ｎ］を抽出し、且つ、複数の入力チャネルに共通しない非共通成分Ｓｉ［ｎ，ｋ］（ｋ＝１，…，Ｋｉｎ−１）を抽出する。ここで、信号ｉｎ［ｎ，ｋ］は、すべてのチャネルでサンプリング周波数４８ｋＨｚであるとする。

前記音質推定部２０は、時々刻々と変化する可能性もある入力信号に対して、時変に追従してリアルタイムで、有音区間、制限周波数（本実施形態では、高周波数方向への帯域拡張を行うものとするため、以降では上限周波数として説明する。）、帯域拡張既処理であるか否か、ステレオ性度合い、有効チャネル数、残響度合い、雑音度合いを推定して算出する。音質推定部２０は、有音・無音判定部２０ａと、上限周波数検出部２０ｂと、帯域拡張既処理検出部２０ｃと、有効チャネル検出部２０ｄと、残響度合推定部２０ｅと、ＳＮＲ推定部２０ｆと、を有する。

前記有音・無音判定部２０ａは、前記共通成分・非共通成分抽出部１０により抽出された共通成分Ｍｉ［ｎ］及び非共通成分Ｓｉ［ｎ，ｋ］について、信号成分が存在するか否か（音声が存在するか否か）を検出する。

前記帯域拡張既処理検出部２０ｃは、前記共通成分・非共通成分抽出部１０により抽出された共通成分Ｍｉ［ｎ］及び非共通成分Ｓｉ［ｎ，ｋ］について、既に信号帯域拡張処理が施されているか否かを検出する。

図３を用いて帯域拡張既処理検出部２０ｃの動作を説明する。具体的には、特定周波数近傍のパワースペクトルが大きく減衰しているか否かを検出する。例えば、図３に示すように特定周波数１１ｋＨｚなどにおいて、パワースペクトルが所定の閾値以下になるような極小値となっているかどうかを調べることで検出する。ここで、特定周波数近傍のパワースペクトルが大きく減衰して所定の閾値以下である極小値となっている場合のみ、既処理（信号帯域拡張処理済み）であると判断する。図３では、０〜１１ｋＨｚまでが本来有している周波数帯域であり、１１ｋＨｚが上限周波数であり、１１ｋＨｚ以上は既処理（信号帯域拡張処理済み）によって帯域拡張されたと判断する。ここで、既処理（信号帯域拡張処理済み）であると判断された信号は、本来有している上限周波数よりも高い上限周波数を有している。

なお、前記特定周波数は、当該信号帯域拡張処理を施したソフトウェアによって異なるため、単数でも複数個でもよく、事前に設定しておく。

前記上限周波数検出部２０ｂは、前記共通成分・非共通成分抽出部１０により抽出された共通成分Ｍｉ［ｎ］及び非共通成分Ｓｉ［ｎ，ｋ］について、帯域拡張既処理検出部２０ｃの検出結果を用いて、上限周波数を検出する。

図２を用いて上限周波数検出部２０ｂの動作を説明する。帯域拡張既処理検出部２０ｃの検出結果で既処理（信号帯域拡張処理済み）でないと判断されたときは、前記上限周波数検出部２０ｂは、共通成分Ｍｉ［ｎ］及び非共通成分Ｓｉ［ｎ，ｋ］について、例えばＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ ；ＦＦＴ；高速フーリエ変換）アナライザ等により、パワースペクトル（信号のパワーを一定の周波数帯域毎に分割し、各帯域のパワーを周波数の関数として表したもの）を求め、且つ、該パワースペクトルを解析して所定の閾値と大小判定することで、上限周波数を検出する。また、帯域拡張既処理検出部２０ｃの検出結果で既処理（信号帯域拡張処理済み）であると判断されたときは、帯域拡張既処理検出部２０ｃで用いた特定周波数を上限周波数とする。

例えば、パワースペクトルを周波数が高い方から低い方へ解析していく場合、当該信号のパワースペクトルが所定の閾値以上になる起点を上限周波数として検出する。また、上限周波数を検出する際に連続的ではなく、離散的にパワースペクトルを調べてもよいし、ある特定の周波数のパワースペクトルを調べてもよい。図２に示した例では、離散的に1kHz単位でパワースペクトルを調べるとしており、パワースペクトルと所定の閾値との大小関係から、上限周波数は16kHzであるとし、本来有している周波数帯域は0〜16kHzまでであるとしている。さらに、入力される信号が符号化され復号化されていた信号である場合には、コーデックにおけるサンプリング周波数を予想して、8、16、22.05、32、44.1kHzなどの特定の周波数のパワースペクトルを調べることで上限周波数を検出することができる。このように、離散的にパワースペクトルを調べることで処理量を減らすことができる。一方で、図３に示した例では、０〜１１ｋＨｚまでが本来有している周波数帯域であり、１１ｋＨｚが上限周波数であり、１１ｋＨｚ以上は既処理（信号帯域拡張処理済み）によって帯域拡張されたと判断する。

なお、以降では、高周波数方向への帯域拡張を対象とするが、低周波数方向への帯域拡張にも適用できる。低周波数方向へ帯域拡張を施す場合には、パワースペクトルを周波数が低い方から高い方へ解析していき、当該信号のパワースペクトルが所定の閾値以下になる起点を下限周波数として検出し、下限周波数を用いて高音質化処理を行う。

なお、この上限周波数検出部２０ｂによる上限周波数の検出処理は、常時行い続ける必要はなく、間欠的に行えばよい。また、上限周波数検出部２０ｂによる上限周波数の検出処理に用いるパワースペクトルは、瞬時的ではなく所定の時間の平均値を用いてもよいし、有音・無音判定部２０ａによって有音区間と判定された区間の所定の時間の平均値を用いてもよい。

前記有効チャネル検出部２０ｄは、前記共通成分・非共通成分抽出部１０により抽出された共通成分Ｍｉ［ｎ］及び非共通成分Ｓｉ［ｎ，ｋ］に基づいて、どれだけステレオ性が強いかのステレオ性度合いを求めて、そのステレオ性度合いに応じて、前記複数の入力チャネルから有効な入力チャネルを検出する。

具体的にステレオ性度合いは、各入力チャネル間の相関に基づいて（例えば各チャネル間の信号の相関係数を算出したり、各チャネルからすべての２つのチャネルの組み合わせについて２つのチャネル間での信号の差分をとったりする）表現するとして、冗長性の無い入力チャネルの信号を検出する。例えば、入力チャネルがＬ信号とＲ信号から成る２チャネルのステレオ信号であっても、Ｌ信号とＲ信号とが同じ信号である場合には、一方の入力チャネルからの信号は冗長であると検出する。

前記残響度合推定部２０ｅは、上限周波数検出部２０ｂによる上限周波数検出結果と、有効チャネル検出部２０ｄによる有効チャネル検出結果と、に基づいて、信号成分が存在する入力チャネル・周波数帯域の残響度合いを検出する。具体的には、残響度合推定部２０ｅは、例えば特開２００７−６５２０４のような公知の残響抑圧処理技術を用いて、残響時間毎の残響パワーあるいは残響パワースペクトルを検出する。

前記ＳＮＲ推定部２０ｆは、上限周波数検出部２０ｂによる上限周波数検出結果と、有効チャネル検出部２０ｄによる有効チャネル検出結果と、に基づいて、公知の雑音推定技術を用いて、信号成分が存在する入力チャネル・周波数帯域のＳＮＲ(Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ；雑音度合い)を検出する。換言すれば、ＳＮＲ推定部２０ｆは、雑音区間において推定検出処理を行い、当該雑音のパワーあるいは雑音のパワースペクトルを検出する。例えば、前記ＳＮＲ推定部２０ｆは、有効チャネルが２チャネルの場合は、１チャネルずつ２回の前記処理を行う。

前記処理制御部３０は、音質推定部２０による音質推定結果に基づいて、高音質化処理部４０を制御する。この処理制御部３０による制御は、本一実施形態に係る信号処理装置の主な特徴部の一つであり、後に詳述する。

前記高音質化処理部４０は、信号帯域拡張処理部４０ａと、周波数特性変更部４０ｂと、残響抑圧処理部４０ｃと、音量制御部４０ｄと、雑音抑圧処理部４０ｅの少なくともいずれか１つを有し、入力されてくる信号（ここでは共通成分Ｍｉ［ｎ］及び非共通成分Ｓｉ［ｎ，ｋ］）をより高音質な信号にする処理をする。

前記信号帯域拡張処理部４０ａは、１フレーム単位で前記共通成分Ｍｉ［ｎ］に公知の帯域拡張処理を施す。

前記周波数特性変更部４０ｂは、前記共通成分Ｍｉ［ｎ］や非共通成分Ｓｉ［ｎ，ｋ］について、周波数領域でパワー制御する（パワースペクトルを制御する）ことで周波数特性を変更する。換言すれば、前記周波数特性変更部４０ｂは、パワースペクトルを制御して周波数特性を補正する処理や公知のイコライザー（Ｅｑｕａｌｉｚｅｒ）と同様の処理を行う。

前記残響抑圧処理部４０ｃは、残響度合推定部２０ｅにより検出された残響時間毎の残響パワーあるいは残響パワースペクトルに基づいて、例えば特開２００７−６５２０４のような公知の残響抑圧処理を行い、共通成分Ｍｉ［ｎ］及び非共通性分Ｓｉ［ｎ，ｋ］に含まれている残響成分を抑圧処理する。

前記音量制御部４０ｄは、公知の技術を用いて、音量補正処理を行う。具体的には、音量制御部４０ｄは、信号帯域拡張処理部４０ａにより帯域拡張されることに伴って増加してしまった音量の補正処理を行う。つまり、上限周波数検出部２０ｂによって検出された上限周波数を用いて動的に入力信号の音量を算出し、信号帯域拡張処理部４０ａにより帯域拡張された信号の音量を算出してそれを入力信号の音量に揃える処理を行う。

前記雑音抑圧処理部４０ｅは、ＳＮＲ推定部２０ｆにより検出された雑音のパワーあるいは雑音のパワースペクトルに基づいて、共通成分Ｍｉ［ｎ］及び非共通性分Ｓｉ［ｎ，ｋ］に含まれている雑音成分を抑圧処理する。換言すれば、前記雑音抑圧処理部４０ｅは、例えば特開２００８−３０９９５５のような公知のノイズキャンセラ（Ｎｏｉｓｅ Ｃａｎｃｅｌｌｅｒ）と同様の処理を行う。

前記複数チャネル生成部５０は、高音質化処理部４０により高音質化処理を施された共通信号Ｍｉ［ｎ］及び非共通信号Ｓｉ［ｎ，ｋ］に基づいて、Ｋｉｎチャネルの出力信号ｉｎ´［ｎ，ｋ］（ｋ＝１，…，Ｋｉｎ： Ｋｉｎは入力チャネルの総数、ｎは時刻）を生成して入力信号の形式に戻して出力する。

本一実施形態に係る信号処理装置１では、音質推定部２０により音質推定を行い、その推定結果に基づいて、高音質化処理部４０による処理を最適化する制御をリアルタイムに行う。この際に、信号処理装置１では、音質推定部２０により音質推定を行い、その推定結果に基づいて、処理制御部３０においてチャネル・周波数帯域ごとに高音質化処理４０の動作設定を制御する。以下、本一実施形態に係る信号処理装置１の処理制御部３０による特有の処理について、例を挙げて詳細に説明する。

《制御例》
具体的には、例えば、次のような制御を挙げることができる。

・帯域拡張既処理検出部２０ｃにより既に帯域拡張処理されていると判断された場合、信号帯域拡張処理部４０ａにより信号帯域拡張処理を行う前に、既に信号帯域拡張処理により帯域拡張された帯域の周波数成分を除去処理させた上で、改めて信号帯域拡張処理を行わせる。

・有音・無音判定手段により無音であると判定されている時間帯については、高音質化処理部４０による処理を行わせない。

・有効チャネル検出部２０ｄにより有効な入力チャネルであるとして検出された入力チャネルの入力信号のみを、前記高音質化処理部４０に処理させる。

・有効チャネル検出部２０ｄによるステレオ性度合いに応じて前記高音質化処理部４０における処理を適応的に変化させる。

・入力チャネルが２チャネルでステレオ信号が入力された場合であって、有効チャネル検出部２０ｄによりＬ信号とＲ信号とが同一の信号であることが検出された場合、非共通成分Ｓｉ［ｎ，ｋ］についての処理を行わせない。

・周波数特性変更部４０ｂによる処理は、上限周波数検出部２０ｂにより検出された上限周波数を参照し、この上限周波数帯域までの帯域についてのみ行わせる。

・上限周波数検出部２０ｂにより検出された上限周波数に基づいて、信号帯域拡張処理部４０ａにより信号帯域拡張処理する帯域幅を動的に変更する制御を行う。

・上限周波数検出部２０ｂにより検出された上限周波数に基づいて、残響度合推定部２０ｅで検出する残響時間毎の残響パワーあるいは残響パワースペクトルを求める帯域幅と、残響抑圧処理部４０ｃで残響成分を抑圧処理する帯域幅を動的に変更する制御を行う。

・上限周波数検出部２０ｂにより検出された上限周波数に基づいて、ＳＮＲ推定部２０ｆで検出する雑音のパワーあるいは雑音のパワースペクトルを求める帯域幅と、雑音抑圧処理部４０ｅで雑音成分を抑圧処理する帯域幅を動的に変更する制御を行う。

・上限周波数検出部２０ｂにより検出された上限周波数に基づいて、信号帯域拡張処理部４０ａにより帯域拡張されることに伴って増加してしまった音量の音量制御部４０ｄにおける補正処理を動的に変更する制御を行う。

・信号帯域拡張処理部４０ａによって、共通成分Ｍｉ［ｎ］について信号帯域拡張処理し、該処理によって生成した拡張帯域における信号を利用して、非共通成分Ｓｉ［ｎ，ｋ］の帯域を拡張する処理を行う。

以下、高音質化処理部４０における信号帯域拡張処理部４０ａに係る一連の処理を、図４を参照して詳細に説明する。図４は、図１に示す高音質化処理部４０の信号帯域拡張処理部４０ａを具体化した（説明の便宜上、他の処理部については図示を省略）、本一実施形態に係る信号処理装置の一構成例を示す図である。

なお、図４に示す構成例においては、説明の便宜上、ステレオ入力を想定して入力チャネル数を２チャネルとしている。従って、共通成分・非共通成分抽出部１０には、Ｌ［ｎ］信号及びＲ［ｎ］信号が入力される。

図４に示すように、信号帯域拡張処理部４０ａは、バンドパスフィルタ４１，４５と、ダウンサンプリング処理部４２と、帯域拡張処理部４３と、信号加算部４４，４８と、フィルタ（中域）４６と、フィルタ（高域）４７と、フィルタ（中・高域）４９と、を備える。

ここで“中域”とは、入力される信号に含まれている周波数帯域のことを意味する。また、“高域”とは、信号帯域拡張処理部４０ａによって拡張されて生成された高い周波数帯域のことを意味する。そして、“中・高域”は、その両方を含む周波数帯域のことを意味する。これ以降そのように表現するものとする。例えば、入力される信号がサンプリング周波数48kHzで0〜11kHzに周波数成分が存在していれば、“中域”は0〜11kHzとなる。そして例えば、信号帯域拡張処理部４０ａによって、0〜22kHzに周波数成分が存在するように帯域拡張されたならば、“高域”は11〜22kHzとなり、“中・高域”は0〜22kHzとなる。

前記バンドパスフィルタ４１は、共通成分Ｍｉ［ｎ］について、音質推定部２０の帯域拡張既処理検出部２０ｃによる検出結果あるいは上限周波数検出部２０ｂにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。

前記ダウンサンプリング処理部４２は、バンドパスフィルタ４１から出力された共通成分Ｍｉ［ｎ］について、帯域拡張処理部４３による解析に伴う処理量を軽減する為にダウンサンプリング処理を行う。例えば、ダウンサンプリング処理部４２は、サンプリング周波数を半減させる等の処理を行う。

なお、このダウンサンプリング処理部４２による処理においては、音質推定部２０の上限周波数検出部２０ｂにより検出された上限周波数程度まで、サンプリング周波数を低減させてよい。また、ダウンサンプリング処理部４２におけるダウンサンプリング後のサンプリング周波数を、上限周波数検出部２０ｂにより検出された上限周波数に基づいて動的に変更してもよい。

前記帯域拡張処理部４３は、主として次の処理を行い、帯域拡張された高域の周波数成分のみを有する信号を出力する。

・公知の高域へ拡張する信号帯域拡張処理。

・ダウンサンプリング処理部４２にて低減されたサンプリング周波数を元のサンプリング周波数に戻す為のアップサンプリング処理。

・信号帯域拡張処理によって帯域拡張された周波数帯域以外の帯域の周波数成分を除去する為の（帯域拡張された周波数帯域の成分のみを出力させる為の）ハイパスフィルタ処理。

前記信号加算部４４は、帯域拡張処理部４３からの出力（共通成分Ｍｉ［ｎ］における帯域拡張された帯域の成分）と、バンドパスフィルタ４１からの出力（既に帯域拡張された帯域の周波数成分が除去され、且つ、直流成分が除去された共通成分Ｍｉ［ｎ］）と、を加算する処理を行う。

前記バンドパスフィルタ４５は、非共通成分Ｓｉ［ｎ，ｋ］について、音質推定部２０の帯域拡張既処理検出部２０ｃによる検出結果あるいは上限周波数検出部２０ｂにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。

前記フィルタ（高域）４７は、帯域拡張処理部４３からの出力（共通成分Ｍｉ［ｎ］における帯域拡張された周波数帯域成分）について、位相成分をランダムにしたり、片チャネルを遅延させたり、無相関化するフィルタを乗じたりする擬似ステレオ化処理を行うことで、高域信号の波形を変形させて、帯域拡張処理部４３から出力される信号と無相関な信号を生成する。

前記フィルタ（中域）４６は、バンドパスフィルタ４５により処理された非共通成分Ｓｉ［ｎ，ｋ］の中域信号について、所定のフィルタ処理を行うことで、中域信号の波形を変形させ、後述する信号加算部４８でフィルタ（高域）４７の出力信号と加算した際に周波数方向での帯域成分におけるステレオ性についての連続性と整合性がとれるようにする。

前記信号加算部４８は、フィルタ（中域）４６からの出力（フィルタ処理された非共通成分Ｓｉ［ｎ，ｋ］）と、フィルタ（高域）４７からの出力（フィルタ処理された拡張帯域成分）と、を加算する処理を行う。従って、この信号加算部４８による処理で、帯域拡張された非共通成分Ｓｉ［ｎ，ｋ］が生成される。

前記フィルタ（中・高域）４９は、信号加算部４８からの出力（帯域拡張された非共通成分Ｓｉ［ｎ，ｋ］）について、擬似ステレオ化処理を行うことで、中・高域信号の波形を変形させ、信号加算部４４から出力される信号と無相関な信号を生成する。

このようにして、前記フィルタ（中域）４６、前記フィルタ（高域）４７、及び前記フィルタ（中・高域）４９においてフィルタ処理をすることで、当該信号処理装置１からの出力信号（特に帯域拡張された帯域）においてもステレオ性を付加することができる。

なお、当該信号処理装置１からの出力信号にステレオ性を付加する為の構成は、前記フィルタ（中域）４６、前記フィルタ（高域）４７、及び前記フィルタ（中・高域）４９に限られず、他の形態でフィルタ手段を設ける構成にしても勿論よい。

また、有効チャネル検出部２０ｄによるステレオ性度合いに応じて、共通成分Ｍｉ［ｎ］に対してのみ帯域拡張処理を行う構成、共通成分Ｍｉ［ｎ］に対して帯域拡張処理し共通成分Ｍｉ［ｎ］における帯域拡張された帯域の成分を非共通成分Ｓｉ［ｎ，ｋ］にも流用する前述の構成、共通成分Ｍｉ［ｎ］と非共通成分Ｓｉ［ｎ，ｋ］の両方に対して帯域拡張処理を行う構成を適応的に変化させてもよい。

なお、入力チャネルが２チャネルでステレオ信号が入力された場合であって、有効チャネル検出部２０ｄによりＬ信号とＲ信号とが同一の信号であることが検出され、有効チャネルが１チャネルであると判定された区間や入力信号に対しては、非共通成分Ｓｉ［ｎ，ｋ］については前記高音質化処理部４０による処理を行わせないように、処理制御部３０によって制御する。このようにするために処理制御部３０は、バンドパスフィルタ４５、フィルタ（中域）４６、フィルタ（高域）４７、信号加算部４８、フィルタ（中・高域）４９の処理を行わないように制御し、複数チャネル生成部５０において非共通成分Ｓｉ［ｎ，ｋ］を０にして処理をするように制御する。

以上説明したように、本一実施形態によれば、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に信号帯域拡張処理を行うことができる信号処理装置を提供することができる。

具体的には、本一実施形態に係る信号処理装置によれば、例えば次のような効果を奏する。

・入力信号の音質を音質推定部２０によりリアルタイムに推定して、音質に合わせた高音質化処理を高音質化処理部４０によって施して出力する為、例えば入力信号に係るコンテンツによって上限周波数が異なる場合や入力信号における上限周波数が時間帯によって異なる場合であっても、効率的且つ効果的な高音質化処理である帯域拡張処理を行い、高音質での再生が可能となる。

・入力信号に係るコンテンツの音質を示す情報が入力信号に付与されていない場合であっても、当該信号処理装置１自身でリアルタイムに音質を推定して高音質処理することが可能となる。

・音質推定部２０により入力信号の有効チャネルや上限周波数を推定することで、冗長なチャネルや周波数成分がない周波数帯域における無駄な高音質化処理を行わない為、従来技術に比べて処理量を大きく削減することができ、結果として処理時間の短縮化が実現する。

・上述した処理が可能となる為、ハードウェアの構成自由度が上がり、音質も向上させることができる。

さらに言えば、本一実施形態に係る信号処理装置によれば、高音質化処理である帯域拡張処理を行う際に、帯域拡張された帯域においてもステレオ性を維持すること（付加すること）ができる、という更なる格別な効果を奏する。

以上、一実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で、種々の変形及び応用が可能なことは勿論である。

例えば、図４に示す一構成例は、次のように変形することができる。

［第１変形例］
以下、本第１変形例に係る信号処理装置について説明する。説明の重複を避ける為、前記一実施形態に係る信号処理装置との相違点を説明する。

図５は、本第１変形例に係る信号処理装置の構成を示す図である。同図に示すように、信号処理装置１は、共通成分抽出部１００と、音質推定部２０と、処理制御部３０と、バンドパスフィルタ４０１，４０３，４０５と、フィルタ（中域）４０２と、信号加算部４０４と、フィルタ（中域）４０６と、ダウンサンプリング処理部４０７と、帯域拡張処理部４０８と、複数チャネル生成部５０と、フィルタ（中・高域）６０１と、フィルタ（中・高域）６０２と、を具備する。

前記共通成分抽出部１００は、入力信号であるＬ［ｎ］信号とＲ［ｎ］信号との共通成分Ｃ［ｎ］を抽出する。例えば、Ｃ［ｎ］＝（Ｌ［ｎ］＋Ｒ［ｎ］）÷２＝０．５Ｌ［ｎ］＋０．５Ｒ［ｎ］として求める。

前記音質推定部２０は、図４に示す音質推定部２０と同様の処理を行う。

前記処理制御部３０は、図４に示す処理制御部３０と同様の処理を行う。

前記バンドパスフィルタ４０１は、入力信号Ｌ［ｎ］について、音質推定部２０の帯域拡張既処理検出部２０ｃによる検出結果あるいは上限周波数検出部２０ｂにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。

前記フィルタ（中域）４０２は、バンドパスフィルタ４０１の出力について、所定のフィルタ処理を行うことで、中域信号の波形を変形させ、後述する信号加算部５０６で後述するフィルタ（中・高域）５０４の出力信号と加算した際に周波数方向での帯域成分におけるステレオ性についての連続性と整合性がとれるようにする。

前記バンドパスフィルタ４０５は、入力信号Ｒ［ｎ］について、音質推定部２０の帯域拡張既処理検出部２０ｃによる検出結果あるいは上限周波数検出部２０ｂにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。

前記フィルタ（中域）４０６は、バンドパスフィルタ４０５の出力について、所定のフィルタ処理を行うことで、中域信号の波形を変形させ、後述する信号加算部５０７で後述するフィルタ（中・高域）５０５の出力信号と加算した際に周波数方向での帯域成分におけるステレオ性についての連続性と整合性がとれるようにする。

前記バンドパスフィルタ４０３は、入力信号Ｌ［ｎ］とＲ［ｎ］との共通成分であるＣ［ｎ］について、音質推定部２０の帯域拡張既処理検出部２０ｃによる検出結果あるいは上限周波数検出部２０ｂにより検出された上限周波数に基づいて、制限周波数を動的に変化させて、既に帯域拡張された周波数帯域あるいは周波数成分の無い周波数帯域を除去し、且つ、直流成分を除去する。

前記ダウンサンプリング処理部４０７は、バンドパスフィルタ４０３から出力された共通成分Ｃ［ｎ］について、帯域拡張処理部４０８による解析処理を軽減する為にダウンサンプリング処理を行う。例えば、ダウンサンプリング処理部４０７は、サンプリング周波数を半減させる等の処理を行う。

なお、このダウンサンプリング処理部４０７による処理においては、音質推定部２０の上限周波数検出部２０ｂにより検出された上限周波数程度まで、サンプリング周波数を低減させてよい。また、ダウンサンプリング処理部４２におけるダウンサンプリング後のサンプリング周波数を、上限周波数検出部２０ｂにより検出された上限周波数に基づいて動的に変更してもよい。

前記帯域拡張処理部４０８は、主として次の処理を行う。

・公知の高域へ拡張する信号帯域拡張処理。

・ダウンサンプリング処理部４０７にて低減されたサンプリング周波数を元のサンプリング周波数に戻す為のアップサンプリング処理。

・信号帯域拡張処理によって帯域拡張された周波数帯域以外の帯域の周波数成分を除去する為の（帯域拡張された周波数帯域の成分のみを出力させる為の）ハイパスフィルタ処理
前記信号加算部４０４は、帯域拡張処理部４０８からの出力と、バンドパスフィルタ４０３からの出力（共通成分Ｃ［ｎ］における帯域拡張された帯域の成分）と、を加算する処理を行う。これにより信号帯域拡張処理された共通成分Ｃ´［ｎ］が生成される。

前記複数チャネル生成部５０は、振幅制御部５０１，５０３と、信号加算部５０２，５０４と、フィルタ（中・高域）５０５，５０６と、を備える。

前記振幅制御部５０１は、入力された信号のパワーを制御するために、その信号について振幅にゲインαを掛ける。具体的には、Ｌ´［ｎ］＝α×Ｌ［ｎ］＋Ｃ［ｎ］＝（０．５＋α）×Ｌ［ｎ］＋０．５Ｒ［ｎ］で示される処理を行い、Ｌ´［ｎ］を算出して出力する。

前記振幅制御部５０３は、入力された信号のパワーを制御するために、その信号について振幅にゲインβを掛ける。具体的には、Ｒ´［ｎ］＝β×Ｒ［ｎ］＋Ｃ［ｎ］＝０．５Ｌ［ｎ］＋（０．５＋β）×Ｒ［ｎ］で示される処理を行い、Ｒ´［ｎ］を算出して出力する。

なお、α＝β＝０に設定すると、入力信号はモノラル信号となる。従って、α及びβを０でない値に設定し、上述したように前記振幅制御部５０１ではゲインαを用いて、前記振幅制御部５０３ではゲインβを用いることで、出力信号であるＬ´［ｎ］及びＲ´［ｎ］のステレオ性の度合いを制御することができる。なお、これら振幅制御部５０１，５０３におけるステレオ性の度合いの制御は、帯域拡張されていない周波数帯域におけるステレオ性の度合いの制御を行っている。

前記フィルタ（中・高域）５０４，５０５は、信号帯域拡張処理された共通成分Ｃ［ｎ］であるＣ´［ｎ］について、それぞれ別個の擬似ステレオ化処理を行うことで、中・高域信号の波形を変形させ、フィルタ（中・高域）５０４の出力とフィルタ（中・高域）５０５の出力とを無相関化させる。

前記信号加算部５０６は、振幅制御部５０１の出力と、フィルタ（中・高域）５０４の出力と、を加算する処理を行う。すなわち、Ｌ´［ｎ］と、信号帯域拡張処理され擬似ステレオ化処理された共通成分Ｃ´［ｎ］とを加算する処理を行う。

前記信号加算部５０７は、振幅制御部５０３の出力と、フィルタ（中・高域）５０５の出力と、を加算する処理を行う。すなわち、Ｒ´［ｎ］と、信号帯域拡張処理され擬似ステレオ化処理された共通成分Ｃ´［ｎ］とを加算する処理を行う。

前記フィルタ（中・高域）６０１は信号加算部５０６の出力Ｌ´［ｎ］について、前記フィルタ（中・高域）６０２は信号加算部５０７の出力Ｒ´［ｎ］について、それぞれ別個の擬似ステレオ化処理を行うことで、中・高域信号の波形をそれぞれ変形させ、フィルタ（中・高域）６０１の出力とフィルタ（中・高域）６０２の出力とを無相関化させて出力する。

このようにして、前記フィルタ（中域）４０２、前記フィルタ（中域）４０６、前記フィルタ（中・高域）５０４、前記フィルタ（中・高域）５０５、前記フィルタ（中・高域）６０１、及び、前記フィルタ（中・高域）６０２は、当該信号処理装置１からの出力信号（特に帯域拡張された帯域）においてもステレオ性を付加することができる。

なお、当該信号処理装置１からの出力信号にステレオ性を付加する為の構成は、図５に示す構成に限られず、他の形態でフィルタ手段を設ける構成にしても勿論よい。

なお、入力チャネルが２チャネルでステレオ信号が入力された場合であって、有効チャネル検出部２０ｄによりＬ信号とＲ信号とが同一の信号であることが検出され、有効チャネルが１チャネルであると判定された区間や入力信号に対しては、処理制御部３０によって、バンドパスフィルタ４０１、バンドパスフィルタ４０５の処理を行わないように制御し、複数チャネル生成部５０において振幅制御部５０１と振幅制御部５０３でα＝β＝０としてフィルタ（中・高域）６０１の出力とフィルタ（中・高域）６０２の出力とを同じにするように制御する。

以上説明したように、本第１変形例によれば、前記一実施形態に係る信号処理装置と同様の効果を奏する信号処理装置を提供することができる。

［第２変形例］
以下、本第２変形例に係る信号処理装置について説明する。説明の重複を避ける為、前記第１変形例に係る信号処理装置との相違点を説明する。

図６は、本第２変形例に係る信号処理装置の構成を示す図である。同図に示すように、信号処理装置１は、共通成分抽出部１００と、音質推定部２０と、処理制御部３０と、バンドパスフィルタ４０１，４０３，４０５と、フィルタ（中域）４０２と、フィルタ（中域）４０６と、ダウンサンプリング処理部４０７と、帯域拡張処理部４０８と、複数チャネル生成部５０と、フィルタ（中・高域）６０１と、フィルタ（中・高域）６０２と、を具備する。

第１変形例に係る信号処理装置と、本第２変形例に係る信号処理装置と、の主な相違点は、共通成分抽出部１００により抽出された共通成分Ｃ［ｎ］における帯域拡張処理されていない周波数帯域成分の信号を、その後の処理において利用するか否かである。本第２変形例に係る信号処理装置では利用しない。その際、帯域拡張処理部４０８から出力される帯域拡張処理された周波数帯域成分の信号をＣ´´［ｎ］とする。

前記複数チャネル生成部５０は、フィルタ（高域）５１４，５１５と、信号加算部５１６，５１７と、を備える。

前記帯域拡張処理部４０８の出力Ｃ´´［ｎ］は、複数チャネル生成部５０におけるフィルタ（高域）５１４，５１５に入力される。

前記フィルタ（高域）５１４，５１５は、帯域拡張処理部４０８の出力について、擬似ステレオ化処理を行うことで、高域信号の波形を変形させ、帯域拡張処理部４０８から出力される信号と無相関な信号を別個に生成する。ここで、フィルタ（高域）５１４の出力とフィルタ（高域）５１５の出力とは、極力無相関であることが望ましい。

前記信号加算部５１６は、フィルタ（中域）４０２の出力と、フィルタ（高域）５１４の出力と、を加算する処理を行う。これにより、信号帯域拡張処理されたＬ［ｎ］信号であるＬ´［ｎ］信号が生成される。

前記信号加算部５１７は、フィルタ（中域）４０６の出力と、フィルタ（高域）５１５の出力と、を加算する処理を行う。これにより、信号帯域拡張処理されたＲ［ｎ］信号であるＲ´［ｎ］信号が生成される。

なお、入力チャネルが２チャネルでステレオ信号が入力された場合であって、有効チャネル検出部２０ｄによりＬ信号とＲ信号とが同一の信号であることが検出され、有効チャネルが１チャネルであると判定された区間や入力信号に対しては、処理制御部３０によって、バンドパスフィルタ４０１あるいはバンドパスフィルタ４０５のいずれか一方の処理を行わないように制御し、複数チャネル生成部５０においてフィルタ（中・高域）６０１の出力とフィルタ（中・高域）６０２の出力とを同じにするように制御する。

以上説明したように、本第２変形例によれば、前記第１変形例に係る信号処理装置と同様の効果を奏する信号処理装置を提供することができる。

［第３変形例］
以下、本第３変形例に係る信号処理装置について説明する。説明の重複を避ける為、前記第１変形例に係る信号処理装置との相違点を説明する。

図７は、本第３変形例に係る信号処理装置の構成を示す図である。同図に示すように、信号処理装置１は、共通成分抽出部１００と、音質推定部２０と、処理制御部３０と、バンドパスフィルタ４０１，４０３，４０５と、フィルタ（中域）４０６と、ダウンサンプリング処理部４０７と、帯域拡張処理部４０８と、複数チャネル生成部５０と、を具備する。

本第３変形例に係る信号処理装置では、帯域拡張処理した帯域成分に、ステレオ性を備えさせないで、帯域拡張されていない帯域（当初より信号が存在する帯域）の信号についてのみステレオ性を備える。従って、当該装置全体として処理量を軽減することができる。

前記複数チャネル生成部５０は、振幅制御部５０１，５０３と、信号加算部５２１，５２２と、を備える。

前記信号加算部５２１は、信号加算部４０４の出力である信号帯域拡張処理された共通成分Ｃ´［ｎ］と、振幅制御部５０１の出力（バンドパスフィルタ４０１により処理されたＬ［ｎ］）と、を加算する処理を行う。これにより、帯域拡張されていない帯域（当初より信号が存在する帯域）の信号についてのみステレオ性を備えるＬ´´［ｎ］が生成される。

前記信号加算部５２２は、信号加算部４０４の出力である帯域拡張された共通成分信号Ｃ´［ｎ］と、振幅制御部５０３の出力（バンドパスフィルタ４０５により処理されたＲ［ｎ］）と、を加算する処理を行う。これにより、帯域拡張されていない帯域（当初より信号が存在する帯域）の信号についてのみステレオ性を備えるＲ´［ｎ］が生成される。

なお、入力チャネルが２チャネルでステレオ信号が入力された場合であって、有効チャネル検出部２０ｄによりＬ信号とＲ信号とが同一の信号であることが検出され、有効チャネルが１チャネルであると判定された区間や入力信号に対しては、処理制御部３０によって、バンドパスフィルタ４０１あるいはバンドパスフィルタ４０５のいずれか一方の処理を行わないように制御し、複数チャネル生成部５０において信号加算部５２１の出力と信号加算部５２２の出力とを同じにするように制御する。

以上説明したように、本第３変形例によれば、帯域拡張された帯域の信号についてはステレオ性を備えていないが、第１変形例に係る信号処理装置よりも処理量を軽減させた信号処理装置を提供することができる。

［第４変形例］
ところで、上述した一実施形態及び第１変形例〜第３変形例に係る信号処理装置は、例えば図８に示すような通信装置（例えば携帯端末装置）に適用することができる。

図８は、一実施形態及び第１変形例〜第３変形例に係る信号処理装置が適用された通信装置の構成を示す図である。同図に示す通信装置は、例えば携帯電話などの無線通信装置の受信系を示すものであって、無線通信部１５０と、デコーダ２００と、一実施形態及び第１変形例〜第３変形例のうち何れかに係る信号処理装置１と、Ｄ／Ａ変換器４００と、を具備する。

前記無線通信部１５０は、移動通信網に収容される無線基地局と無線通信し、そしてこの無線基地局および移動通信網を通じて通信相手局との間に通信リンクを確立して通信する。

前記デコーダ２００は、無線通信部１が通信相手局から受信した受信データを、事前に決められた単位（1フレーム＝Ｎサンプル）ごとに復号して、ディジタルの受話信号ｘ［ｎ］(ｎ＝０,1,・・・Ｎ−1)を得る。ただし、この受信データのサンプリング周波数はｆｓ［Ｈｚ］とする。このようにして得られたディジタル信号は、フレーム単位で信号処理装置１に出力される。

信号処理装置１は、上述した高音質化する信号処理を、例えば１フレーム単位で前記受話信号（ｘ［０］〜ｘ［Ｎ−１］）に施す。

前記Ｄ／Ａ変換器４００は、前記信号処理された受話信号ｙ［ｎ］をアナログ信号ｙ（ｔ）に変換して、スピーカ５００に出力する。スピーカ５００は、前記アナログ信号に基づく音声信号を音響空間へ拡声出力する。

以上説明したように、本第４変形例によれば、複数チャネルからの入力信号について、入力信号の種類・音質に関わらず、常に効率的且つ効果的に高音質化する信号処理を行うことができる携帯端末装置を提供することができる。

さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１…信号処理装置、 １５０…無線通信部、 ２００…デコーダ、 ４００…Ａ／Ｄ変換器、 ５００…スピーカ、 １０…共通成分・非共通成分抽出部、 ２０…音質推定部、 ２０ａ…有音・無音判定部、 ２０ｂ…上限周波数検出部、 ２０ｃ…帯域拡張既処理検出部、 ２０ｄ…有効チャネル検出部、 ２０ｅ…残響度合推定部、 ２０ｆ…ＳＮＲ推定部、 ３０…処理制御部、 ４０…高音質化処理部、 ４０ａ…信号帯域拡張処理部、 ４０ｂ…周波数特性変更部、 ４０ｃ…残響抑圧処理部、 ４０ｄ…音量制御部、 ４０ｅ…雑音抑圧処理部、 ４１…バンドパスフィルタ、 ４２…ダウンサンプリング処理部、 ４３…帯域拡張処理部、 ４４，４８…信号加算部、 ４４…信号加算部、 ４５…バンドパスフィルタ、 ４６…フィルタ、 ４７…フィルタ、 ４８…信号加算部、 ４９…フィルタ、 ５０…複数チャネル生成部、 １００…共通成分抽出部、 ４０１，４０３…バンドパスフィルタ、 ４０２…フィルタ、 ４０４…信号加算部、 ４０５…バンドパスフィルタ、 ４０６…フィルタ、 ４０７…ダウンサンプリング処理部、 ４０８…帯域拡張処理部、 ５０１，５０３…振幅制御部、 ５０２，５０４…信号加算部、 ５０４，５０５…フィルタ、 ５０６，５０７…信号加算部、 ５１４，５１５…フィルタ、 ５１６，５１７…信号加算部、 ５２１，５２２…信号加算部、 ６０１…フィルタ、 ６０２…フィルタ。

Claims (2)

1. 入力信号に対して高音質化処理を施す高音質化処理部と、
   前記入力信号から制限周波数を検出する音質推定部と、
   前記制限周波数を参照し、前記制限周波数帯域までの帯域についてのみ、前記高音質化処理部に高音質化処理させる制御部と、
   を具備し、
   前記音質推定部は、
   前記入力信号から間欠的にパワースペクトルを算出し、該パワースペクトルを解析することにより、制限周波数の検出処理を行い、
   前記制限周波数の検出処理においては、前記入力信号に対して既に信号帯域拡張処理が施されているか否かを判定し、信号帯域拡張処理が施されていない制限周波数を検出する
   ことを特徴とする信号処理装置。
2. 前記音質推定部は、前記入力信号から算出したパワースペクトルにおける特定周波数近傍の帯域成分が欠落しているか否かを検出することにより、既に帯域拡張処理が施されているか否かを判定する
   ことを特徴とする請求項１に記載の信号処理装置。

Images