JP6655269B2 - 時空間ドメイン内特徴量の分析のために周波数変換結果を拡張する方法 - Google Patents

Description

この書類に開示されているものは、信号処理に向けられ、さらに具体的には、時間ドメイン信号の周波数変換および修正（modification、編集、変形、加工など）に関するいくつかの具体例、および、オーディオ信号（audio signals、音響信号、音声信号など、音を表す信号）の分析、修正（modification）および合成への応用技術に向けられている。

種々の周波数変換としては、高速フーリエ変換（ＦＦＴ）およびそれに関連する変換アリゴリズムがあり、その関連する変換アルゴリズムは、例えば、サイン・コサイン変換、スパース（sparse）高速フーリエ変換、ハートレー（Hartley）変換または最小二乗法を用いた信号解析（ＬＳＳＡ）法であるが、それら周波数変換は、一般に、時空間の（spatio-temporal、時間−空間領域での）電磁信号についての複数の正弦波表現に基づいている。例えば、周波数変換は、これまで、時間ドメイン内のデジタル入力信号を周波数ドメイン内の複数の周波数成分に変換するために用いられてきた。そして、それら周波数成分は、前記入力信号が部分的に抑圧され（suppressed、抑制され、減衰させられ、除去され）、強調され、もしくは変更される（changed）か、または、新たないくつかの信号が生成されるように、表示されるかまたは修正される（modified、変更される、変形させられる、制御される）。しかし、周波数ドメインへの変換を行う従来の手法では、時間ドメイン内の入力信号の構成情報（structural information、入力信号の信号構成に関する時空間情報、時間と強度との関係というような信号の時系列を特定するための情報など）への同時アクセス（simultaneous access、時間と周波数との双方に関して同時にアクセスすること）を行うことができない。

ある信号を周波数ドメイン内において各々正弦波のような複数の周期波の集まりとして表現する場合、周波数分解能（frequency resolution、周波数精度）および時間分解能（time resolution、時間精度）がそれぞれ、互いに反比例する性質（reciprocal properties、一方が増えれば他方が減るという性質、逆比例という性質）を有し、これは、しばしば、物理学におけるハイゼンベルグの不確定性原理の効果に例えられる事実であり、また、これは、一般に、信号処理の分野において、ハイゼンベルグの不確定性原理と称される。等間隔の継続時間（uniform duration、等時間間隔）を有する複数の時間ドメイン測定値（「複数のサンプル（sample、時間ドメイン・サンプル、時間信号サンプル、時間サンプル）」）の数、または、周波数変換結果内において、等間隔帯域（uniform bandwidth、等周波数間隔）を有する複数の周波数測定値（「複数のビン」）の数により、１つの分析インターバル（an analysis interval、分析時間間隔、解析時間間隔、１個の分析フレーム、１個の解析フレーム、１個の変換フレーム、信号のうち１回分の分析によって分析される区間など）内における周波数分解能および時間分解能の双方が決まる。高い周波数分解能と高い時間分解能とを同時に実現することは不可能である。例えば、１つの分析（an analysis、１回分の分析）に含まれる複数の時間ドメイン測定値の数が多い場合、周波数変換が比較的大きい（large、変換サイズが大きい、計算される測定値の数が多い）。逆に、時間ドメイン測定値の数が少ない場合には、周波数変換が比較的小さい（small、変換サイズが小さい、計算される測定値の数が少ない）。当該信号について結果的に得られる周波数ドメイン表現(representation、信号、波形、データなど）は、１つの分析インターバル全体について取得される１個の平均値である。よって、大きい（large、変換サイズが大きい場合の）変換により、良好な周波数分解能が生じるかもしれないが不良な時間分解能も生じるかもしれない。逆に、小さい（small、変換サイズが小さい場合の）変換により、良好な時間分解能が生じるかもしれないが周波数分解能が犠牲になるかもしれない。前記不確定性原理により、時間的に局在化する信号、特に、過渡信号（transients、トランジェント信号）、または、有限の広がりを有する任意の信号を分析するための周波数変換の有用性が制限される。

周波数ドメインと時間ドメインとの双方において高い分解能を同時に提供する方法を開発する必要性が依然として存在する。

上述のように、信号処理方法というものにおいては、分析のための電磁信号の周波数ドメイン表現であって「サンプル・アキュレートな（sample-accurate、サンプル精度が高い、サンプル誤差が少ない）」ものを提供する能力が低い（limited、限界がある）。「サンプル・アキュレートな（sample-accurate）」とは、特定のまたは離散的な１つの信号サンプル(signal sample、１つの信号のうちの１つのサンプル）についての（すなわち、１つの変換フレーム内の１つの時間増分(time increment)についての）周波数分布（frequency distribution、周波数対ゲインの関係、周波数スペクトル）が、前記１つの信号が、時間ドメイン(time domain、実在時空間領域）内を伝搬する際に、上述の特定の１つの時間インスタンス（time instance、１つの時間区間、１つの実在時間区間、前述の１つの時間増分）の位置においてエネルギーを呈示した(exhibited、示した）実際の周波数強度および周波数位相に近似する(close、信号サンプルの強度および位相が、実際の信号の強度および位相に近似する）ことを意味する。現実には、前記１つの信号のうち、取り出された１つの時間フレーム（time frame、時間枠、変換フレーム）がデジタル化され(digitized、サンプリングされ）、その後、数学的アルゴリズムによって周波数ドメインに変換される場合、そのときの周波数分布は、時間ドメインの複数のサンプル時間増分（increments、時間インスタンス）のすべてにわたって平均化されたものとなる。そのため、周波数分析結果(the resulting frequency analysis)は、標準的なフーリエ変換法を用いると、サンプル・アキュレートにならない。この書類に開示されているプロセスによれば、周波数ドメイン内の複数の周波数分布(frequency distributions、周波数ごとの分布）が、前記１つのフレームの全体（the entire frame、前記時間フレームの全体）にわたる複数の平均値(averages、周波数ごとの平均値）に関連付けられる（tied to、結び付けられる、周波数ごとの分布が、１つのフレームの全体にわたって１つの平均値に関連付けられる）のではなく、前記１つのフレーム（the frame、前記時間フレーム）内の複数個の離散的なサンプルの各々に関連付けられる（tied to、結び付けられる、周波数ごとの分布が、１つのフレーム内において、個々のサンプルに関連付けられる）というように、前記デジタル化された信号が処理される。

このサンプル・アキュレートな結果は、入力信号が時間ドメインから周波数ドメインに変換された後、時間−周波数行列拡張（time-frequency matrix extension、周波数ドメインから時間−周波数ドメインへの行列の拡張）を生成することによって達成される。その後、いくつかの平滑化アルゴリズムが、１つのフレーム全体(the entire frame、前記１つの時間フレーム全体）にわたり、互いに隣接する複数の周波数ビンの間で、周波数間位相カップリング（cross-frequency phase coupling）を生成するために用いられる。ある特定の１つの時間サンプル（time sample、時間ドメイン内での１つの離散信号サンプル）において複数の周波数にわたって同時に発生する複数の事象が、前記１つのフレーム内の各時間サンプルに特化された（specific、各時間サンプルごとの）周波数分解能を提供しつつ、露見されるように、局所的な増幅(amplifications、強調）および除去(cancellations、削除）が行われる。そのようにして生成された時間−周波数ドメイン内において、信号の編集を、１つのサンプル・インターバル(sample interval、サンプリング時間、サンプル時間間隔）に特有の(particular to、個別に合致した)周波数操作（すなわち、サンプル・アキュレートな分析および編集）を実現するために行うことが可能である。

一実施態様においては、複数の離散的な信号サンプル（discrete signal samples）内において不要信号特徴量（unwanted signal features、不要信号成分）を識別する（identify、他の特徴量から区別する、特定する、認識する、同定する、選択する、個別に選んで指定する）ために電磁信号を処理する方法が、次のいくつかの処理工程を有する。特別に設定される（particularly configured）マイクロプロセッサが、入力信号の時間−周波数表現（time-frequency representation、入力信号を時間−周波数ドメイン内において表現するもの）を生成する。この生成は、最初に、前記入力信号を、時間ドメイン内の（in、で表現される）複数の変換フレーム（transform frames、信号のうち、周波数変換が行われる最小単位区間、変換用フレーム）として受け入れる工程であって、各変換フレームは、その変換フレームにわたる（across、を横切る）複数の離散的な時間インスタンス（discrete time instances、離散的な時間区間、時間サンプル）に対応する複数の信号サンプルを有するものによって達成される。その後、各変換フレームは、周波数変換を用いることにより、周波数ドメインに変換され、前記入力信号は、各周波数バンド(band、帯域）ごとに、複数の位相測定値および複数の強度測定値を用い、複数の周波数バンドより成るグリッド（a grid、格子、複数のセルや画素の集合体、周波数を一座標軸とするスペクトル図など）上において表現される。続いて、周波数軸と時間軸とを有する複数の行列(matrices、時間と周波数とをそれぞれ変数とする複数の要素を有する行列）であって、各変換フレームにわたる（across、を横切る）前記周波数、強度および位相の情報についての実数部および虚数部に対応する複数の正弦波を有するものが生成され（formulated、作成され、組み立てられ、定義され、取得され、フォーミュレートされ）、各正弦波は、前記入力信号のＮ個の時間ドメイン・サンプルを有する。平滑化フィルタが、前記複数の行列の前記周波数軸に沿って適用され、その適用により、各離散信号サンプルごとに、互いに隣接する複数の周波数範囲（regions）である複数の隣接周波数範囲の間の同期を取り（introduce synchronization between、シンクロを取り、同調を取り）、それにより、それら隣接周波数範囲からの複数の波のエネルギーが互いに漏れ合うように前記複数の行列を前記周波数軸に沿って平滑化する。よって、不要信号特徴量が、前記時間ドメインの前記入力信号のうち当該不要信号特徴量が発生した各時間インスタンスごとに、前記平滑化が行われた時間−周波数表現(time-frequency representation、前記複数の行列）についての複数の周波数バンドであって当該不要信号特徴量に対応するものにおいて拡大される(magnified、強調される、増幅される）。その後、複数の時間−周波数強度（time-frequency magnitudes、時間−周波数で表現される強度、時間と周波数とを変数とする関数として表現される強度）および複数の時間−周波数位相（time-frequency phases、時間−周波数で表現される位相、時間と周波数とを変数とする関数として表現される位相）が、前記平滑化された複数の行列から生成される（formulated、作成される、組み立てられる、定義される、取得される、フォーミュレートされる）。前記複数の時間−周波数強度および複数の時間−周波数位相についての複数の値もしくは複数の表現またはそれらの双方であって、複数の離散信号サンプルについての複数の個別の周波数バンド内において不要信号特徴量を強調するものが、前記マイクロプロセッサに接続されるメモリ・デバイス内に保存するために出力されるか、または、前記マイクロプロセッサに接続される表示装置上に表示される。

一方、前記複数の時間−周波数強度を、前記マイクロプロセッサにより、修正してもよく（modify）、その修正されたものを、さらに、前記入力信号の時間ドメイン表現であって修正されたものに逆変換（inversely transform、時間ドメインへの変換）してもよい。そのようにして修正された時間ドメイン表現を前記マイクロプロセッサから出力してもよい。前記複数の時間−周波数強度は、修正された時間−周波数強度内の不要信号(unwanted signals、不要信号特徴量）を示してもよい。ユーザの入力によるかまたは自動パターン検出プロセスによって前記修正を行う工程の一部として、その不要信号(unwanted signals、不要信号特徴量）の強度もしくは位相またはそれらの双方を変更してもよい。

別の実施態様においては、不要信号特徴量を識別する（identify、他の特徴量から区別する、特定する、認識する、同定する、選択する、個別に選んで指定する）ために、デジタル化された電磁信号を処理する方法がコンピュータ・システムによって実行される。特別に設定される（particularly configured）マイクロプロセッサが、次の複数の処理工程を実行することにより、入力信号の時間−周波数表現（time-frequency representation）であって修正された（modified）ものを生成する。前記入力信号は、時間ドメイン内の（in、で表現される）複数の変換フレーム（transform frames）として前記マイクロプロセッサ内に受け入れられ、各変換フレームは、複数の信号サンプルを有する。前記入力信号の各変換フレームは、周波数変換により、周波数ドメインに変換される。時間次元が前記周波数変換(the frequency transform、前記周波数変換結果）内に導入され、その導入により、各変換フレームごとに前記入力信号について前記周波数変換が行われる各周波数バンド(band、帯域）ごとに、複数の周期部分波（periodic partial wave、周期的に進行する部分波）であって、周波数および強度がそれぞれ不変であるものを生成し、それにより、各変換フレームの時間−周波数表現を形成する。平滑化フィルタが前記時間−周波数表現に適用され、その適用により、互いに隣接する複数の周波数範囲（regions）である複数の隣接周波数範囲の前記複数の周期部分波の間の同期を取る（introduce synchronization between、シンクロを取る、同調を取る）とともに、前記同期によって前記複数の周期部分波から変換された、前記複数の周波数バンド(band、帯域）にわたる（across）複数の非周期性の波束（wave packet、時間的・空間的なサイズが有限な波、局在化する波動）を含む時間−周波数表現であって平滑化されたものを生成する。不要信号特徴量が、前記時間ドメインの前記入力信号のうち当該不要信号特徴量が発生した各信号サンプルごとに、前記平滑化された時間−周波数表現についての複数の周波数バンドであって当該不要信号特徴量に対応するものにおいて拡大される(magnified、強調される、増幅される）。時間−周波数で表現される複数の時間−周波数値（time-frequency values、時間と周波数とを変数とする関数として表現される値）が各信号サンプル内の各周波数バンドごとに前記複数の非周期性の波束（wave packet）から生成される（formulated、作成される、組み立てられる、定義される、取得される）。その後、前記複数の時間−周波数値もしくはそれら時間−周波数値の複数の表現またはそれらの双方であって、複数の離散信号サンプル内において前記不要信号特徴量を識別する（identify）ものが、前記コンピュータ・システム内の表示装置上に表示される。さらに、前記複数の時間−周波数値を、前記平滑化された時間−周波数表現内の不要信号特徴量を修正するために編集してもよい（edit）。前記複数の時間−周波数値であって編集されたものの時間ドメイン信号であって修正されたものを前記マイクロプロセッサによって生成してもよく、さらに、表示装置上の表現として表示してもよい。

さらに別の実施態様においては、非過渡的コンピュータ読取り可能記録媒体が、デジタル化された電磁信号から不要信号特徴量を識別する（identify、他の特徴量から区別する、特定する、認識する、同定する、選択する、個別に選んで指定する）ために前記電磁信号を処理するように用途が特化されたコンピュータを作動させる(initiating、目標の機能を発揮するように作動させる）ための複数の指令を有する。前記複数の指令は、次の複数の工程を含むコンピュータ・プロセスを実行する。時間ドメイン内の（in、で表現される）複数の変換フレーム（transform frames）を有する入力信号が受け入れられる。その入力信号は、周波数変換により、周波数ドメインに変換される。それぞれの変換フレームに対応する複数の時間−周波数行列（time-frequency matrices、時間軸と周波数軸とを有する行列、時間と周波数とをそれぞれ変数とする複数の要素を有する行列）が、前記周波数変換（the frequency transform、周波数変換の結果値）から生成され、前記周波数変換は、その周波数変換についての複数の基底関数を有し、それら基底関数は、各変換フレームについての変換用の強度（transform magnitudes、各基底関数内の、周波数変換に関する強度）および変換用の位相（transform phases、各基底関数内の、周波数変換に関する位相）について調整されている。前記複数の時間−周波数行列は、各変換フレームごとに、各々、サンプル時間ｔを有する複数のインスタンス（time instances、時間サンプル、離散時間サンプル）内の時間という第１次元と、複数の帯域ビン（bin、周波数ビン、周波数を取得するサンプル点である周波数ポイント）ｋ内の周波数という第２次元とを有する。互いに隣接する複数の周波数の間の同期を取る（introduce synchronization between、シンクロを取る、同調を取る）することと、複数の時間−周波数行列であって平滑化されたものを生成することとを行うために、周波数間（cross-frequency）位相（phase）カップリング（coupling、相互作用、エネルギー伝達）処理用アルゴリズムを互いに隣接する複数の周波数の間に適用してもよい。不要信号特徴量が、前記時間ドメインの前記入力信号のうち当該不要信号特徴量が発生した各時間サンプル（time sample、時間ドメイン内での離散信号サンプル）ｔごとに、前記平滑化された複数の時間−周波数行列についての複数の帯域ビンｋであって当該不要信号特徴量に対応するものにおいて拡大される(magnified、強調される、増幅される）。保存するためか、または、表示装置上に表示するために、時間−周波数で表現される複数の時間−周波数値もしくはそれら時間−周波数値の複数の表現またはそれらの双方を、関連する複数の時間サンプル(time sample、時間インスタンス）ｔにつき、前記平滑化された複数の時間−周波数行列であって前記不要信号特徴量を識別する（identify）ものから出力してもよい。さらに、複数の時間−周波数行列であって修正されたものを、前記修正された複数の時変強度および複数の時変位相から形成してもよい。前記入力信号の時間ドメイン信号であって修正されたものを、前記修正された複数の時間−周波数行列であって前記不要信号特徴量に対する複数の編集内容を反映するものから生成してもよい。さらに、保存するためか、または、表示装置上に表示するために、前記修正された時間ドメイン信号を出力してもよい。

別のいくつかの実施態様および特徴が、後続する発明の詳細な説明の欄中に部分的に記載されており、また、それら実施態様および特徴は、この明細書を詳しく調べれば当業者であれば自明となるであろうし、また、それら実施態様および特徴は、ここに開示されている主題を実施することによって理解されるかもしれない。この書類に開示されているもの(the present disclosure、本発明など）の主旨および効果をさらに深く理解することは、この明細書の残りの部分および図面を参照することによって達成されるかもしれず、それら明細書および図面は、この書類の開示範囲の一部を成している。

発明の詳細な説明の欄は、後続する複数の図面およびデータ・グラフを参照するとより十分に理解されるであろうし、それら図面およびデータ・グラフは、この書類に開示されている事項の種々の具体例として提示されており、この書類に開示されている事項の範囲についての完全な記載として解釈されるべきではない。

図１は、１つの信号を分析して復元する（reconstruct、再構成する）ための従来の（conventional、PRIOR ART）短時間フーリエ変換（ＳＴＦＴ）手法を示している。

図２は、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従う入力信号を示している。

図３は、図２に示す入力信号の周波数変換であって、その入力信号のＦＦＴ変換後の強度によって表現されているものを示している。

図４Ａは、図２に示す入力信号のうちの第１の時間成分すなわちスペクトル成分を示している。

図４Ｂは、図２に示す入力信号のうちの第２の時間成分すなわちスペクトル成分を示している。

図４Ｃは、図２に示す入力信号のうちの第３の時間成分すなわちスペクトル成分を示している。

図４Ｄは、図２に示す入力信号のうちの第４の時間成分すなわちスペクトル成分を示している。

図５Ａは、図２に示す入力信号のうちの第１の時間成分の周波数変換後の強度を示している。

図５Ｂは、図２に示す入力信号のうちの第２の時間成分の周波数変換後の強度を示している。

図５Ｃは、図２に示す入力信号のうちの第３の時間成分の周波数変換後の強度を示している。

図５Ｄは、図２に示す入力信号のうちの第４の時間成分の周波数変換後の強度を示している。

図６は、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従い、スペクトル編集を行うために、信号を時間ドメインから時間−周波数ドメインに変換する望ましいプロセスを詳述するフロー図である。

図７は、１つの変換フレーム内におけるすべての時間インスタンスについて拡張された（extended、ドメインが周波数ドメインから時間−周波数ドメインに拡張された）強度を有する従来の周波数変換を示している。

図８は、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従い、図２に示す入力信号に対し、局所的時間−周波数局在化パラメータλであって０．７に等しいものを用いて不確定性低減型変換が行われた結果を示している。

図９は、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従い、図２に示す入力信号に対し、適応型局所的時間−周波数局在化パラメータλを用いて不確定性低減型変換が行われた結果を示している。

図１０は、時間ドメイン表現のチャープ信号の実数部（real valued part、実数値部）を、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従い、１つの変換フレームにつき、周波数変換を実行した後、および、周波数からの時間−周波数への行列拡張を実行した後の状態で示している。

図１１は、時間ドメイン表現のチャープ信号の実数部（real valued part、実数値部）を、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従い、周波数変換を実行した後、および、周波数からの時間−周波数への行列拡張であって周波数ビンｋの座標軸に沿った指数平滑化処理を伴うものを実行した後の状態で示している。

図１２は、図１１に示す強度を、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従い、実数部行列および虚数部行列の双方から取得されたものとして示している。

図１３は、同様な見た目を有する（a visually similar、図中下側と視覚的に近似している）ＳＴＦＴシーケンス(STFT sequence、複数の変換フレームをＳＴＦＴ演算して取得された複数の結果の時系列）（図中上側）であって、Ｎ＝２５６であり、かつ、サンプル・レート（ＳＲ）が４４．１ｋＨｚであるときに周波数ビンごとの分解能が１７２．２６Ｈｚであるものと、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従う適応式（adaptive）不確定性低減型変換（図中下側）であって、Ｎ＝４０９６であり、かつ、ＳＲが４４．１ｋＨｚであるときに周波数ビンごとの分解能が１０．７７Ｈｚであるものとの対比を示している。

図１４は、時間分解能が高い(high time resolution）ＳＴＦＴシーケンス（図中上側）であって、Ｎ＝３２であり、かつ、ＳＲが４４．１ｋＨｚであるときに周波数ビンごとの分解能が１３７８．１３Ｈｚであるものと、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従う適応式不確定性低減型変換（図中下側）であって、Ｎ＝４０９６であり、かつ、ＳＲが４４．１ｋＨｚであるときに周波数ビンごとの分解能が１０．７７Ｈｚであるものとの対比を示している。

図１５は、サイズが同じである(same size、図中下側と変換サイズが同じである）ＳＴＦＴシーケンス（図中上側）と、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従う適応式不確定性低減型変換（図中下側）との対比を示しており、Ｎ＝４０９６であり、それら変換はいずれも、ＳＲが４４．１ｋＨｚであるときに周波数ビンごとの分解能が１０．７７Ｈｚである。

図１６Ａは、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従い、入力信号を処理して修正するように特別に設定された専用コンピュータ・システムを示す系統図である。

図１６Ｂは、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従い、入力信号を修正する処理デバイスを簡略化して示すシステム図である。

図１７は、スペクトル編集のために入力信号を時間ドメインから周波数ドメインに変換する従来(PRIOR ART)の処理方法を示す望ましい例である。

図１８は、スペクトル編集のために入力信号を時間ドメインから周波数ドメインに変換する従来(PRIOR ART)のＳＴＦＴ重複型窓掛け方法（overlapping windowing method、窓を互いにオーバーラップさせながら信号を局所的に切り出す方法）を示す望ましい例である。

図１９は、周波数ドメインに変換された信号を編集して修正するための従来(PRIOR ART)のスペクトル編集ツール環境を示す望ましい例である。

図２０は、この書類に開示されているもの(the present disclosure、本発明など）のいくつかの実施態様に従い、スペクトル編集のために入力信号を時間ドメインから時間−周波数ドメインに変換する処理方法を示す望ましい例である。 図２１は、この明細書中に出現する式（１）−（８）を具体的に示す図である。

この書類に開示されていることは、後述の発明の詳細な説明の欄を後述の図面に関連して参照することにより、理解されるかもしれない。注目すべきことは、説明を明瞭にすることを目的として、種々の図面中のいくつかの具体的な要素が実寸に沿うように描かれているわけではないということである。

この書類に開示されていることにより、ハイゼンベルグ不確定性低減型変換のためのデジタル信号処理方法が提供され、その変換により、フレーム内（intra-frame、イントラフレーム、変換フレーム内に存在する）時間次元が周波数変換の出力結果(the output of frequency transforms、時間ドメイン信号を周波数変換して取得される周波数ドメイン信号）内に導入され、それにより、複数の時間ドメイン測定値の各々につき、複数の周波数変換についての１つの行列が効果的に生成される。電磁信号の周波数解析においては、周波数解析が同時に行われる複数の時間ドメイン測定値が、１つの「変換フレーム」と称される。入力信号が、各変換フレームごとに、Ｎ個の時間ドメイン測定値を有するかもしれず、ここに、Ｎは、変換サイズ（transform size、１つの変換フレーム内の時間ドメイン・サンプルの数、時間ドメイン信号についてのサンプリング点数）を表す。具体的には、前記フレーム内時間次元が、１回分の（single、単一の、１個の変換フレームごとに１回分の）高速フーリエ変換（ＦＦＴ）または他の任意の周波数変換の出力結果に追加されることが、同時に（in unison、前記ＦＦＴとは別に、かつ、それと同時に）か、または、複数の変換フレームについての短時間フーリエ変換（ＳＴＦＴ）シーケンス（a Short-Time Fourier Transform (STFT) sequence of transform frames、複数の変換フレームが短時間フーリエ変換（ＳＴＦＴ）された複数の周波数変換結果の列）の一部として(as part of、前記ＳＴＦＴ演算の一部として）行われ、そのＳＴＦＴは、図１を参照して後述される。

ハイゼンベルグの不確定性原理は、従来の周波数変換の時間分解能および周波数分解能を支配する。その不確定性原理が分解能に及ぼす影響は、高冗長性周波数ドメイン表現に対して周波数間（cross-frequency、周波数成分間）位相カップリング（ＣＦＰＣ（CFPC、複数の近傍周波数成分において位相カップリングする処理、近傍周波数間位相結合、複数の近傍周波数成分を結合することによってそれら成分の位相を整合し、または同期させる信号処理、複数の近傍周波数成分を結合することによってそれら成分を相互に平滑化する信号処理））を用いることにより、軽減されるかもしれない。そのＣＦＰＣは、単一の不変式、局所的時間−周波数局在化パラメータλもしくは適応値λ(adaptiveλ、相手に対して適応的に決定されるλ）であって前記信号の性質と共に変化するもの、および／または時間周波数位置（time and frequency location、時間と周波数とによって特定される位置、時空間上の位置）を用いてもよい。前記入力信号についての周波数変換に対する後処理工程(post-processing、前記周波数変換後に行われる処理工程、前記周波数変換の結果に対する処理工程）を適用することにより、従来の複数の周波数変換結果内に隠されているフレーム内構成情報（intra-frame structural information、当該フレーム内に存在する前記構成情報、時間と強度との関係というような信号の時系列を特定するための情報など）が顕在化されるかもしれない。本方法は、異なる複数の周波数領域の間の同期を取る（introduce synchronization between、シンクロを取る、同調を取る、位相同期を行う）ために同位置（same-location、ほぼ同じないしは近傍の周波数の領域ないしは位置に適用される、など）ＣＦＰＣを用いる。具体的には、複数の複素数型の正弦波が並んだアレイ(array、整列したもの）であって、１つの変換フレーム内においてサンプリングされたすべての時間インスタンスｔが周波数変換された複数の周波数、複数の位相および複数の強度に対応するものを明示的に（explicitly、顕在的に、視認可能に）生成することと、互いに隣接する複数の周波数間にＣＦＰＣを適用することとにより、本方法は、不確定性原理を回避するように作用することができ、そして、１つの変換フレーム内におけるすべての時間インスタンスｔについての瞬時強度および瞬時位相の推定値を提供することができる。

本方法によれば、時間次元を追加することによって時間−周波数行列を生成するために周波数変換の出力結果について計算上の拡張（computational extension、計算上の次元拡張、計算上のドメイン拡張）が実現される。前記行列(the matrix、前記時間−周波数行列）の複数の変換係数は、各周波数の位置において、１つの複素数の指数関数または正弦波の複数の実数部および複数の虚数部、または、前記分析対象である１つの変換フレーム内の他のいくつかの適当な基底関数を有するかもしれない。

本方法によれば、周波数分解能から独立して制御されるフレーム内時間分解能が提供される。前記周波数分解能は、変換サイズに依存しているが、時間上の局在化すなわち時間分解能は、変換サイズに依存しない。代わりに、その時間分解能は、平滑化パラメータすなわち局所的時間−周波数局在化パラメータλに依存し、その局所的時間−周波数局在化パラメータλは、手動で選択してもよいし、局所的な基準（criteria、評価基準、目標基準）または信号特性に基づいて適応的に決定してもよい。

本方法によれば、後述のＳＴＦＴ法内のスペクトル漏れ（spectral leakage）を最小化するように一般的に用いられるアポダイゼーション（apodization）（「窓（windowing、窓掛け）」）関数(function、窓関数）を用いる必要性も、そのような関数の影響力も除外される。図１は、デジタル化された時間ドメインの電磁信号を分析して復元する（reconstruct、再構成する）ための従来のＳＴＦＴ手順を示している。複数のＦＦＴ結果値より成る１つの列であってしばしば短時間フーリエ変換すなわちＳＴＦＴと称されるものが、１つの信号を、互いに重複する複数のチャンク（chunk、固まり）であって、各々、時間ドメイン・データより成るものに分割し、そして、それらチャンクをそれぞれ順に連続的に変換するために一般的に用いられる。図示するように、互いに重複する複数の窓（window、窓関数）１０４を用いることにより、時間ドメインの入力信号１０２が、一般に、最初の複数の窓セグメント（windowed segments、時間窓）１０６に分割され、それら窓セグメント１０６は、隣接する窓セグメントと部分的に重複する。それら窓セグメント１０６は、それぞれ、しばしば、「変換フレーム」と称される。ＳＴＦＴは、しばしば、複数の窓１０４を、少なくとも窓長（window width、時間窓長）半値の位置において互いに重複させる。そのＳＴＦＴは、前記信号（the signal、前記電磁信号）１０２内のすべての成分を保持するために、大きい重複(large overlap、長い重複長さ）を必要とする。

各変換フレームは、複数の時間ドメイン測定値を有する。その後、１回分のＦＦＴが、各変換フレーム１０６に対して適用され、それにより、１つの周波数スペクトル・セグメント１０８を発生させ、その周波数スペクトル・セグメント１０８は、その後、修正された複数のスペクトル・セグメント１１０を発生させるためのスペクトル操作（manipulation、編集、ユーザによるスペクトル編集）のために用いてもよい。例えば、前記１つの周波数スペクトル・セグメント１０８は、前記入力信号１０２のうちの一部が抑圧され、強調され、変更され、または、新しいいくつかの成分が発生させられるように、修正された複数のスペクトル・セグメント(modified spectrum seguments、修正済みスペクトル・セグメント）１１０に変化させられることが可能である。各周波数スペクトル・セグメント１０８は、「フリーズ・フレーム（freeze-frame、静止した１コマ画像、ストップモーション画像）」、すなわち、１つの窓セグメント１０６について平均化された１つのスペクトル図（spectral view、スペクトル周波数解析結果を表す図）を提供する。前記スペクトル操作（manipulation、編集、ユーザによる編集）後、各修正済みスペクトル・セグメント１１０が、複数の修正済み窓セグメント１１２に逆変換され（inversely transformed、ＩＦＦＴが行われ）、それら修正済み窓セグメント１１２は、複数の最初の窓セグメント１０６から修正されたものであるかもしれない。復元された（reconstructed、再構成された、再現された）１つの信号１１４が、複数の修正済み窓セグメント１１２を互いに加算することによって取得されるかもしれない。

実際、不確定性原理が各窓セグメント１０６について依然と存在し、それにより、高時間分解能および高周波数分解能の両立が不可能となっている。前記ＳＴＦＴについての多くの設定態様が、時間分解能であるか周波数分解能であるかを問わず、１つの分解能(one resolution、あるドメインでの分解能）と他のドメインでの分解能との間でのトレードオフを行う(trade off、折り合いをつける）ために開発されてきた。例えば、前記ＳＴＦＴは、変換サイズを入力信号１０２に適応するように決定するかもしれない。前記ＳＴＦＴは、さらに、入力信号１０２を、異なる複数の周波数帯域（band、バンド）に分割し、各帯域（band、バンド）ごとに異なる変換サイズを用いるかもしれない。前記ＳＴＦＴは、さらに、信号成分についての別の表現を提供するために、その信号を変調するかもしれない。前記ＳＴＦＴは、さらに、時間軸上または周波数軸上において互いに隣接する複数の変換（transforms、複数回の変換）の出力結果を平均化するかもしれない。しかし、それら実施態様のいずれであっても、不確定性原理の影響力を軽減せず、代わりに、あるドメイン（例えば、時間ドメインまたは周波数ドメイン）内の分解能を改善する一方で、他のドメイン内の分解能を犠牲にすることにより、不確定性原理を回避するように作用する。従来の周波数変換では、１つの変換フレーム内において、複数の時間局在化（time-localized、時間的に局在化する、時間軸上において局在化する、非定常的に出現する、一時的に出現する）いくつかの特徴量（features）を識別する（distinguish、他のものから区別する、同定する）ことができない。

前記ＳＴＦＴアプローチにより、いくつかの時間的変化部(temporal changes、前記時間局在化特徴量）が入力信号１０２内において、互いに隣接する複数の変換フレームに及ぶように拡散され(spreads、同じ時間的変化部を複数の変換フレーム内に併存させ）、また、時間ドメイン内における局在性の喪失（loss in localization、同じ時間的変化部が複数の変換フレーム内に併存し、その時間的変化部の時間局在性が喪失することなど）が原因で、周波数ドメイン内の操作（manipulation、編集、ユーザによる編集）が、セグメント１０６／１１２の内部におけるすべての時間ドメイン測定値に適用されてしまう。この理由のため、ＳＴＦＴスペクトル表現を操作（manipulation、編集、ユーザが編集）すると、ＳＴＦＴではサンプル・アキュレートなスペクトル編集が不可能であるというように、信号復元後に１つの時間ドメイン測定値より多い時間ドメイン測定値を編集してしまうことになる。

他の既存の方法は、ウェーブレット（Wavelet）変換もしくはウェーブレット・パケット変換、最大エントロピー法、ラップド（lapped）直交変換、ガボール（Gabor）変換、または、双線型（quadratic）時間−周波数解析であってウィグナー・ビレ（Wigner-Ville）分布およびそれらに関連する時間−周波数解析法のようなものを用いる。しかし、それらの方法は、負のエネルギー、エイリアシング（aliasing、偽信号）および交差項歪み（cross-term distortion、クロスターム歪み、共分散歪み）というような、程度の異なる(varying degrees)複数のアーティファクト（artifact、ノイズ）を、測定された信号に導入してしまう。それらの方法は、計算費用が高価なものであるかもしれず、また、直接的な修正を支援する（support、を容易にする）物理的に有意義な表現（例えば、強度、周波数および位相）を考慮することが容易ではないものかもしれない。さらに、解析された成分を修正すると、それらの方法の解析結果を逆変換して、修正された時間ドメイン信号を生じさせることが困難であるかもしれず、また、それらの方法では、本方法と同じ分解能を時間ドメイン内において実現しないかもしれない。一方、「周波数」という概念は、本質的に、正弦波を意味しており、よって、それら正弦波は、周波数ドメイン内において前記信号を厳密に表現しているものではなく、このことにより、ユーザによる手動での操作（manipulation、編集）が直感に反するものとなってしまう。

図２は、この書類に開示されていることに従う入力信号を示す。具体的には、入力信号２００が、時間（TIME）と共に変化する振幅（AMPLITUDE）として測定されている。この入力信号２００は、時間ドメイン（TIME DOMAIN）内において振幅を示している。この入力信号２００は、本方法が作用する仕方を図解するために、この例においては、既知のテスト信号（TEST SIGNAL）である。この入力信号２００は、第１，第２，第３および第４の時間成分、すなわち、図４Ａ−図４Ｄにそれぞれ示すスペクトル成分４０２，４０４，４０６および４０８を有するかもしれない。時間ドメインにおいては、それら成分４０２，４０４，４０６および４０８の寄与度（contributions、入力信号に与える影響度）を識別する（distinguish、他のものから区別する、同定する）ことが困難である。図４Ａに示すように、第１の時間成分４０２は、周波数も振幅（AMPLITUDE）も一定である２つの正弦波であって互いに近接しているものを有する。この例を説明するという目的のために、「異常な(aberrant)」、「不規則な」、「一時的な」またはそれら以外の点で「不要な」複数の信号または複数の信号特徴量が、振幅が一定である複数の正弦波信号に重畳される。それら異常な(aberrant)信号は、注目される信号の明瞭度および品質に影響を及ぼす不要なノイズまたは一時的な異常を示すことが可能である。これに代えて、前記不要な信号は、録音された信号であって除去されることを要望されるものの一部に過ぎないこともあり得る。例えば、音楽の録音という場面においては、単に審美的な目的から、複数の楽器音の合奏において特定の１つの楽器によって作られる音を除去することが要望されるかもしれない。図４Ｂに示すように、第２の時間成分４０４は、直線掃引される１つの正弦波（チャープ）を有しており、その正弦波は、時間（TIME）と共に周波数が増加する。図４Ｃに示すように、第３の時間成分４０６は、周波数が変調される１つの短時間正弦波を有している。図４Ｄに示すように、第４の時間成分４０８は、唯一の時間ドメイン・インパルス波を有しており、そのインパルス波は、スパイクである。仮にその信号がオーディオ信号（audio signals、音響信号、音声信号など、音を表す信号）であるとすると、そのスパイクは、スクラッチありの録音物（scratched record）によって導入される音のようなクリック音であるかもしれない。

本方法は、ＳＴＦＴのように複数の変換フレームを必要とするということはなく、なぜなら、本方法は、前記スペクトルの「フリーズ・フレーム（freeze-frame、静止した１コマ画像、ストップモーション画像）」図を提供しないからである。その代わり、本方法は、スペクトルを、各変換フレームごとに、時間の関数として提供する。いくつかの実施態様においては、処理速度を加速するために、入力信号２００が、複数の（a number of、多数の）変換フレーム２０２に分割されるかもしれず、例えば、各変換フレームが、Ｎ個の時間ドメイン・サンプル分の長さを有するかもしれない。例示的な一実施態様においては、Ｎが、４０９６個の時間ドメイン・サンプル分の長さであるかもしれない。それら変換フレーム２０２は、互いに隣接する複数の変換フレームの間の境界の位置に不連続部が存在しないように、小さなオーバーラップ（overlap、他の変換フレームとの重なり合い部）を有するかもしれない。いくつかの実施態様においては、そのオーバーラップが、１０％（自身の変換フレームの長さの１０％）より短いかもしれない。いくつかの実施態様においては、そのオーバーラップが、５％より短いかもしれない。いくつかの実施態様においては、そのオーバーラップが、１％より短いかもしれない。

入力信号２００は、周波数ドメイン信号に変換されるかもしれず、その周波数ドメイン信号は、複数の周波数ビン（FREQUENCY BIN）（複数の周波数サンプル）より成るグリッド（a grid、格子、複数のセルや画素の集合体、周波数を一座標軸とするスペクトル図など）上において、複数の強度と複数の位相とによって表現される。周波数変換結果（frequency transform、周波数スペクトル）は、与えられた測定時間間隔にわたり、互いに異なる複数の周波数の位置における複数の正弦波の集まりとして表現される。前記周波数変換結果のうちの複数の強度および複数の位相は、周波数ドメイン（FREQUENCY DOMAIN）内において前記信号(the signal、入力信号）２００を表現する適切なミックスチャ（mixture、混じり合い、異なる周波数成分が混合すること、前記複数の正弦波の集まり）を検出するために、測定されるかまたは推定されることが可能である。複数の正弦波が周期的であり、かつ、それぞれが単一の周波数を有するのみであるため、それら正弦波は、前記信号(the signal、入力信号）２００が時間と共に展開すること(evolution、変化しながら進行すること）に関連する構成情報（structural information、入力信号２００の信号構成に関する時空間情報、時間と強度との関係というような入力信号２００の時系列を特定するための情報など）を、解析時間間隔（analysis interval、前記測定時間間隔、分析インターバル、１個の変換フレーム）の全体にわたって分布させ、そのため、前記周波数解析が行われた後、前記信号(the signal、入力信号）２００内において、複数の変化部(changes、前記時間的変化部）の正確な出現(onset、出現位置など）を個々に識別する（pinpoint、個別に正確に標的にする）ことは不可能である。

図３は、図２に示す入力信号（the input signal、テスト信号（TEST SIGNAL））２００についての周波数変換結果（frequency transform、周波数スペクトル）であって、ＦＦＴ結果のうちの複数の強度（MAGNITUDE）によって表現されるものを示している。図示するように、周波数変換結果（frequency transform、周波数スペクトル）３００が、振幅と周波数ビンｋとの関係で示されている。その周波数変換結果（frequency transform、周波数スペクトル）３００は、図４Ａ−図４Ｄにそれぞれ示す４つの時間成分４０２，４０４，４０６および４０８に対応する４つの周波数成分５０２，５０４，５０６および５０８であって図５Ａ−図５Ｄにそれぞれ示すものを有するかもしれない。図５Ａに示すように、第１の周波数成分５０２は、第１の時間成分４０２内の２つの正弦波に対応する２つのピークであって狭い周波数（FREQUENCY）帯域を有するものを有する。また、第２の周波数成分５０４は、第２の時間成分４０４すなわちチャープ信号に対応する１つの広周波数（FREQUENCY）帯域を有する（図５Ｂ参照）。変換結果のうちの強度（MADNITUDE）は、すべての周波数にわたってほぼ不変である。さらに、第３の周波数成分５０６であって第３の時間成分４０６に対応するものは、１つの周波数バンド（band、帯域）または領域（range、レンジ）内において、強度（MAGNITUDE）も周波数（FREQUENCY）も変動する１つの信号を有する。

第４の周波数成分５０８であって第４の時間成分４０８に対応するものは、すべての周波数（FREQUENCY）ビンにわたって不変である強度（MAGNITUDE）を有する。この成分は、時間ドメインにおいて最大の(maximum、最長の）局在化部（唯一の測定値）を有し、よって、不確定性原理によって支配されるように、周波数ドメイン（FREQUENCY DOMAIN）内において局在化部を有しない。

一実施態様においては、複数の時間ドメイン・サンプルが不等間隔で分散する（unevenly spaced、不等時間間隔でサンプリングされる）場合に、周波数変換のために、高速ロム・スクーグル・ピリオドグラム（Lomb-Scargle Periodogram）・アルゴリズムを用いてもよい。そのロム・スクーグル・ピリオドグラム・アルゴリズムによれば、スペクトル解析が前記ＦＦＴより少ないスペクトル漏れのもとに実現され、また、このアルゴリズムは、典型的には、ラグランンジュ（Lagrange）内挿補間とＦＦＴとの組合せにより、周波数が異なる複数の正弦波の列を、与えられた信号に最小二乗法でフィッティングすることによって実現される。複数の時間ドメイン・サンプルが等間隔で分散し、かつ、速度が重要である場合に、前記ＦＦＴを用いてもよい。当業者によって理解されるように、前記ＦＦＴの代わりに、他のいくつかの周波数変換を用いてもよい。

周波数（Frequency、周波数ドメイン）から時間−周波数（Time-Frequency、時間−周波数ドメイン）への行列の拡張（Exension）
後に図６を参照して詳述するが、例示的な望ましいある信号処理法６００が、入力信号を修正して不要特徴量を除去するために、時間−周波数行列拡張と、平滑化処理、例えば、ＣＦＰＣを媒介としたものとを用いる。

この信号処理方法６００は、時間−周波数行列拡張（frequency to time-frequency matrix extension、周波数（周波数ドメイン）から時間−周波数（時間−周波数ドメイン）に行列を拡張すること）を用いる。まず、入力信号が、当該処理システム内において受け取られる（ステップ６０２）。後述の説明を単純化するために、入力信号が、実数型（real-valued、実数表現）の時間ドメイン信号f（t）として仮定されるかもしれず、その実数型の時間ドメイン信号f（t）は、ＦＦＴにより、周波数スペクトルに変換されるかもしれない。次に、時間サンプル数がＮ個であるという長さを有する１個の変換フレームが、前記入力信号から選択される（ステップ６０４）。式（１）で示すように、離散フーリエ変換の出力信号Ｘ_ｋが、時間ドメイン信号f（t）から取得され、その式において、ｔは、時間インスタンスを意味し、Ｎは、当該変換のサイズを意味し、ｋは、周波数ビンすなわち周波数番号（frequency number、周波数帯域の番号）を表しており、ｔは、０以上Ｎ未満である。
図２１中、式（１）
ここに、f（t）は、入力信号を表し、Ｘ_ｋは、周波数番号ｋについてのフーリエ変換結果を表している。Ｘ_ｋは、複素数型の信号であるかもしれず、その信号は、実数部Ｒｅ（Ｘｋ）と虚数部Ｉｍ（Ｘ_ｋ）とを有する（ステップ６０６）。フーリエ変換結果のうちの強度|Ｘ_ｋ|および位相Φ（Ｘ_ｋ）は、式（２）によって取得される。
図２１中、式（２）
ここに、arctan2は、象限保存型（quadrant-preserving、象限内符号が保存される、象限内符号が変化しない）アークタンジェント（arctangent、逆正接）関数であって、Ｉｍ（Ｘ_ｋ）／Ｒｅ（Ｘ_ｋ）の商のアークタンジェント値を計算するものである（ステップ６０８）。

図７は、従来の周波数変換結果を、それの複数の強度が、１個の変換フレーム内のすべての時間インスタンスについて拡張された(extended、次元拡張された、ドメイン拡張された）状態で示しており、その１個の変換フレームは、図１に示すように、１個の窓セグメント１０６であるかもしれない。複数の通常周波数変換強度（Regular frequency transform magnitudes、通常の周波数変換によって生成される複数の強度）７００が、前記１個の変換フレーム内におけるＮ個の時間インスタンスもしくは時間スロットまたは時間サンプルであって、各々、継続時間ｔを有するもののすべてを式（２）で周波数変換した複数の強度|Ｘ_ｋ|（MAGNITUDE |X_k|）を示している。それら強度は、各周波数ビン（frequency bin、BIN FREQUENCY）ｋごとに、水平軸に沿って不変であり、また、垂直軸に沿った複数の時間インスタンスｔから独立している(independent of、強度Ｘ_ｋは時間に依存しない）。図７に示すように、従来の周波数解析を行うと、すべての時間インスタンスｔにわたり、前記１個の変換フレームの複数の強度|Ｘ_ｋ|に比例する時不変（time-invariant、時間に依存しない）の線スペクトル（line spectrum）が得られる。

解析結果としての強度|Ｘ_ｋ|および位相Φ（Ｘ_ｋ）は、式（３）のための入力値として直接用いてもよく、その式（３）は、周波数から時間−周波数への行列拡張を表している。拡張された複数の時間−周波数行列(time-frequency matrices、時間−周波数ドメインで表現される行列）であって、実数部行列Ｍａｔ_ｒｅ（ｔ，ｋ）と虚数部行列Ｍａｔ_ｉｍ（ｔ，ｋ）とを有するものが、サイン波とコサイン波とを有する。それら行列は、すべての時間インスタンスすなわち時間スロットｔについて、複数の個別の部分的周期波（individual partial periodic waves）を生成する。それら拡張された複数の時間−周波数行列は、すべての時間インスタンスｔと、すべての周波数番号すなわち周波数ビンｋとにわたって存在し、また、後述の式（３）で表現されるかもしれない。
図２１中、式（３）
ここに、Ｎは、典型的には、偶数であり、２^ｍ（典型的なサイズでは、オーディオ信号（audio、音響信号、音声信号など、音を表す信号）処理に用いられる場合には、ｍ＝１０，１１，１２，１３）という形態をとる（ステップ６１０）。複数の時間ドメイン・サンプルｔは、０から（Ｎ−１）までの値に等しい。周波数ビンｋは、（Ｎ／２＋１）という最大数を有する。複数の周波数ビンは、Ｈｚを単位として、（ｋ×サンプルレート(SampleRate、サンプリング周波数）／Ｎ）によって与えられる複数の周波数と同じ間隔を有し、このとき、最低周波数ビンの中心位置が０Ｈｚ（ＤＣ）の位置にあり、かつ、最高周波数ビンの中心位置がナイキスト周波数（すなわち、Ｈｚを単位とする（サンプルレート(SampleRate、サンプリング周波数）／２）の位置にある。

前述の複数の行列の各々は、Ｎ×（Ｎ／２＋１）個の変換係数（transform coefficients、フーリエ係数）を有し、この行列の第１の次元（例えば、複数の行（row、横並び））は、サイズがＮ個である時間ｔを示し、また、この行列の第２の次元（例えば、複数の列（column、縦並び））は、サイズが（Ｎ／２＋１）個である周波数ビン番号ｋを示している。一実施態様においては、式（３）中の行列Ｍａｔ_ｒｅ（ｔ，ｋ）と行列Ｍａｔ_ｉｍ（ｔ，ｋ）との双方が、いずれも、強度|Ｘ_ｋ|および位相Φ（Ｘ_ｋ）であって式（２）に示す変換結果から取得されるものを用いる。それら２つの行列Ｍａｔ_ｒｅ（ｔ，ｋ）およびＭａｔ_ｉｍ（ｔ，ｋ）の各々は、Ｎ個の時間スロットであって（Ｎ／２＋１）個の周波数ビンを有するものを有し、それら周波数ビンは、入力信号f（t）を構成する複数の複素型の正弦波の各々に対応する。１つの行列における各行ｔは、周波数ビンｋごとに、周波数変換の出力値に従い、ビン位相Φ（Ｘ_ｋ）およびビン強度|Ｘ_ｋ|について調整された１つの正弦波を有する。

いくつかの実施態様においては、行列Ｍａｔ_ｉｍ（ｔ，ｋ）を前記複数の計算値から除外し（left out of the calculations、行列Ｍａｔ_ｉｍ（ｔ，ｋ）を計算しなく）てもよく、また、その行列Ｍａｔ_ｉｍ（ｔ，ｋ）の寄与度（its contribution、その行列Ｍａｔ_ｉｍ（ｔ，ｋ）が前記行列に及ぼす影響）を、９０度の位相オフセットを行えば冗長が生じるという特性により、行列Ｍａｔ_ｒｅ（ｔ，ｋ）から誘導してもよい。

いくつかの実施態様においては、前記複数の行列の計算値が潜在的である（implicit、計算値そのものとしては実在しない）かもしれない。例えば、それら行列は、計算されないかもしれず、よって、メモリを節約する（conserve memory、メモリを容量的に温存する）かもしれない。それら行列を定義するのに必要な複数回の計算は、前記周波数変換に対する後工程に含まれるかもしれない。

いくつかの実施態様においては、特に、前記ＦＦＴを用いる場合に、複数の位相および複数の強度を、顕在的に計算するのではなく、各周波数番号ｋごとに、実数型および虚数型の変換係数（transform coefficients、フーリエ係数）から直接発生させてもよい。

当業者によって理解されることは、本発明の説明のみを目的として強度および位相が用いられるということである。ハートレー変換のような多くの周波数変換では、実数部および虚数部が簡単に提供されることはない。

当業者によって理解されることは、前記ＦＦＴに代えて他のいくつかの周波数変換を用いてもよいということである。前記入力信号は、例えば、レーダー（RADAR）信号処理におけるように、複素信号（complex-valued signal、複素数で表現される信号）でもよく、また、負の変換周波数と正の変換周波数との双方を用いてもよい。

周波数間位相カップリングの適用
本方法は、さらに、式（３）で示す、周波数から時間−周波数への行列拡張の完了に引き続いてＣＦＰＣ（CFPC、周波数間位相カップリング、コンピュータ上において複数の近傍周波数成分を結合してそれら成分を同期させる処理）を適用する工程も有する（ステップ６１２）。そのＣＦＰＣにより、いくつかの近傍の周波数領域（regions、バンド、帯域）への漏れ（例えば、エネルギー漏れ）が実現される。複数の近傍周波数バンド間の漏れを達成することにより、複数の近傍周波数を有する複数の波から前記エネルギーのある量が現在周波数（a current frequency、現在注目している１つの周波数）に追加される。換言するに、複数の近傍強度および複数の近傍位相（neighboring magnitudes and phrases、互いに近接する複数の近傍周波数バンドの複数の強度および複数の位相）のうちの少量（small amount、一部）が現在周波数バンド内の強度および位相に影響を及ぼしてもよい。具体的には、ＣＦＰＣにより、互いに隣接する複数の周波数バンドの複数の部分波（partial waves）の間の同期が取られ（introduce synchronization between、シンクロが取られ、同調が取られ）、なぜなら、それら部分波のエネルギーが、互いに隣接する複数の周波数バンド内に漏れ出すからである。複数の近傍周波数バンド内において互いに近接する複数のピーク値(peaks、第１周波数成分の山部と第２周波数成分の山部とであってほぼ同位相であるもの同士、第１周波数成分の谷部と第２周波数成分の谷部とであってほぼ同位相であるもの同士など）が、同期処理中に、互いに加算される(add up、強め合う）かもしれず、一方、１つの谷部（a trough）の直ぐ隣にある(next to、を挟む）複数のピーク値(peaks、第１周波数成分の山部と第２周波数成分の谷部とであってほぼ同位相であるもの同士、第１周波数成分の谷部と第２周波数成分の山部とであってほぼ同位相であるもの同士など）が相殺する（cancel out、打ち消し合う）かもしれない。

複数の近傍周波数ビン内の複数の構成波（constituent waves、前記部分波）に漏れが発生すると、エネルギーの加算または相殺が発生し、実際、前記行列のうち、互いに隣接する複数の列（adjacent matrix columns）間の同期（synchronization、シンクロ、同調、同時化、位相の同期または共通化、周波数の同期または共通化など）処理であって、複数の近傍ピーク値(neighboring peaks、複数の近傍周波数バンド内において互いに近接する複数の近傍ピーク値）に影響を及ぼすものを生成する。このことが原因で、複数の周波数にわたって同時に発生する複数の事象が顕在化する（revealed）ように、増幅および消滅（amplifications and cancellations、部分波の強調および減衰）が局所的に（locally、周波数上で局在化するように）発生する。この同期効果により、前記複数の正弦波（the sinusoids、複数の部分波）が局所的に、１つの周波数より多い数の周波数を包含するように修正され、それにより、前記不確定性原理を回避し、それにより、従来の周波数分析ではアクセスできないのが一般的である構成情報（structural information、入力信号の信号構成に関する時空間情報、時間と強度との関係というような入力信号の時系列を特定するための情報など）を顕在化させる。

ＣＦＰＣは、複数の近傍周波数ビン内の複数の波の全体に対して平滑化フィルタ、または移動平均フィルタであって、例えば、指数移動平均フィルタまたは他の移動平均フィルタのようなものを適用することによって達成してもよい。その平滑化フィルタは、所定の遮断周波数より低い周波数を有する信号は通過させるが、前記遮断周波数より高い周波数を有する信号は減衰させるローパスフィルタであってもよい。信号処理において、平滑化処理または積分（integration、加算）が、ローパスフィルタリング処理の効果を有してもよい一方、鮮明化（sharpening、鮮鋭化、シャープニング処理）または微分（differentiation、減算）が、ハイパスフィルタリング処理の効果を有してもよい。

いくつかのローパスフィルタが、電子回路（例えば、音響機器において用いられるヒス・フィルタ）、アナログ信号からデジタル信号への変換に先立って信号を波形整形する（condition）するためのアンチ・エイリアシング・フィルタ、いくつかのデータ・セットを平滑化するためのデジタル・フィルタ、画像のぼかし（blurring of images、ブラー処理）などを含む多くの異なる方式で存在してもよい。ローパスフィルタによれば、短期変動成分を除去し、長期トレンド成分を残すことにより、平滑化された信号波形が提供される。

特定の実施態様においては、上述の平滑化フィルタが指数移動平均フィルタであってもよい。例えば、各時間インスタンスｔ＝０，・・・，（Ｎ−１）ごとに、すべての周波数ビンｋ＝０，・・・，Ｎ／２ならびにすべての行列Ｍａｔ_ｒｅ（ｔ，ｋ）および行列Ｍａｔ_ｉｍ（ｔ，ｋ）を、後述の式（４）に示すような指数移動平均フィルタを適用することによって反復させてもよい。
図２１中、式（４）
ここに、Ｍａｔ_ｒｅ（ｔ，ｋ）’およびＭａｔ_ｉｍ（ｔ，ｋ）’は、最終的に平滑化された行列(matrix、Ｍａｔ_ｒｅ（ｔ，ｋ）およびＭａｔ_ｉｍ（ｔ，ｋ）が平滑化されたもの）内の複数の数値であって、時間スロットｔおよび周波数ビンｋに位置するものを表しており、それら数値は、ローパスフィルタリング処理または平滑化処理の実行後に生成される。この実施態様においては、平滑化係数（smoothing factor、なまし係数）ａが、式（５）に示すような時間−周波数局在化パラメータ(time-frequency localization parameter、時間−周波数ドメイン内において、特定の特徴量が時間的におよび／または周波数的に局在化する（集中する）程度を制御するパラメータ）λから計算されるかもしれない。
図２１中、式（５）

いくつかの実施態様においては、前記局所的時間−周波数局在化パラメータ(local time-frequency localization parameter、時間−周波数ドメイン内において、特定の特徴量が時間的におよび／または周波数的に局在化する（集中する）程度を制御するパラメータであって、局所的に有効であるもの）λの値を、低周波数については周波数分解能が改善され、高周波数については時間分解能が改善されるように、１／ｆ（周波数の逆数）のカーブに比例するように変更してもよい。

いくつかの実施態様においては、前記局所的時間−周波数局在化パラメータλを、強度についての(in the magnitude、強度を表す複数の値についての）ピーク値対局所的平均値比（peak-to-local-average ratio）が高い場合には、相対的に低い局所的時間−周波数局在化パラメータを発生させ、それにより、周波数分解能が改善され、一方、ピーク値対局所的平均値比（peak-to-local-average ratio、強度についてのピーク値対局所的平均値比）が低い場合には、相対的に高い局所的時間−周波数局在化パラメータを発生させ、それにより、時間分解能が改善されるように、白色化された（whitened、平坦化処理された）スペクトルの強度|Ｘ_ｋ|’（強度の絶対値）に比例するように計算してもよい。その白色化されたスペクトルについての強度は、前記ＣＦＰＣが白色ノイズのスペクトルに適用される場合の平均強度である。

前記ＳＴＦＴ法のように、式（３）によっていずれの行列も生成されなかった場合には、平滑化処理が、式（３）において要求されるすべての事前の計算処理を有するかもしれない。前記フィルタからゼロ位相応答(zero-phase response、フィルタ適用前後での位相差が０であること）を達成するために、すべての周波数ビンにわたって正逆両方向に進んでもよい（run、前記フィルタをすべての周波数ビンに対し、順方向と逆方向とにそれぞれ移動させてもよい）。

いくつかの実施態様においては、前記指数移動平均フィルタを、任意の有限インパルス応答（ＦＩＲ）フィルタ、または任意の無限インパルス応答（ＩＩＲ）フィルタに代えてもよい。

いくつかの実施態様においては、前記指数移動平均フィルタを、メディアン・フィルタの如きランク・オーダー・フィルタ(rank order filter)、または、サビツキー・ゴーレイ（Savitzky-Golay）（多項式）平滑化フィルタの如き平滑化フィルタに代えてもよい。

いくつかの実施態様においては、前記指数移動平均フィルタを、適応フィルタ、すなわち、過去の（ｔ−１）時刻および周波数ビンまたは周波数スロットｋからの結果値（the results from the past t-1 time and frequency bin or slots k、時間スロットの番号が（ｔ−１）、周波数ビンの番号がｋのときの誤差値）を考慮することにより、時間インスタンスすなわち時間スロットｔの位置において、自身のフィルタ特性を決めるフィルタに代えてもよい。

信号に依存しない（Signal-invariant）λを有する実施態様
一実施形態においては、前記ＣＦＰＣが、各時間スロットｔごとに、複数の近傍周波数ビンにわたってローパスフィルタリング処理または平滑化処理を行うことによって達成されるかもしれない。そのローパスフィルタリング処理は、互いに隣接する複数の周波数ビン内の複数のピーク値が互いに一致するかもしれない複数のエリアを、互いに隣接する複数の周波数ビン内のすべての部分波にわたるエネルギーを合計することにより、強調するかもしれない。強い（intense）平滑化処理（例えば、式（４）の反復計算をより多数回行うことによって平滑化される）は、時間上において局在化する事象に有利に作用するかもしれない一方、弱い（little）平滑化処理が存在するかまたは何ら平滑化処理が存在しないことは、周期性を有する信号に好適であるかもしれない。例えば、尖鋭な（sharp）時間ドメイン過渡信号が多くの時間スロットｔ内に出現するかもしれない。平滑化処理が、さらに、この尖鋭な時間ドメイン過渡信号を強調するかもしれない。いくつかの周期波が、ある時間区間にわたり、同じいくつかの周波数ビンｋに沿って集中的に分布するかもしれない。強いローパスフィルタリング処理による平滑化処理は、それら周期波を強調しないかもしれない。

ユーザは、局所的時間−周波数局在化パラメータγの値を手動で選択し、そして、目標の出力結果が達成されるように、その局所的時間−周波数局在化パラメータγの値を０と１との間で調節するかもしれない。この手動による方法は、ユーザに自由度を提供し、また、これは、後述のようにγの値を適応的に決定する方法より短い時間しか必要としないかもしれない。信号に依存しないγに関する上述のアプローチ（the signal-invariantγapproach、信号に依存せずにγの値を決定する上述のアプローチ） を用いた場合の結果は、図８に示すように、周波数と時間とにわたって強度で表現されるかもしれない。

信号に適応するように変化する(Signal-adaptive)λを有する実施態様
別の実施態様においては、局所的時間−周波数局在化パラメータγの値が、適応的に決まるλを求める単一の方法によって自動的に生成されるかもしれず、その方法は、複数の計算値のために、前記局所的時間−周波数局在化パラメータγについての互いに異なる複数の値を同時に用い、そして、唯一のλを特定の基準（criteria、評価基準、目標基準）に従って選択するために、それら互いに異なる複数の値であって前記局所的時間−周波数局在化パラメータγについてのものを互いに比較するかもしれない。例えば、コンピュータがあるアルゴリズムを有してもよく、そのアルゴリズムによれば、プロセッサが前記コンピュータ内において、互いに異なる複数のλ値であって、例えば、０．１から０．９まで例えば０．１の増分で変化する複数の値であるようなものを同時に用いることにより、強度Ａ_λ（ｔ，ｋ）についての計算を自動的に実行することが可能である。そのアルゴリズムは、上述の互いに異なる複数のλ値から取得された複数の強度Ａ_λ（ｔ，ｋ）を互いに比較し、最大のまたは最高の強度を生成する１つのλ値を選択してもよい。これに代えて、λの反復的な変化量(iterative change、λの値が反復的に変化させられる場合の各回の変化量）であってλの初期推定値を改善する(refines an initial guess of λ、λの初期推定値（前回推定値）より良好である）ものが、位置（ｔ，ｋ）における局所的な強度を最大化する出力値(output、平滑化された行列Ｍａｔ_ｒｅ（ｔ，ｋ）’およびＭａｔ_ｉｍ（ｔ，ｋ）’など）を生成するまで、λの反復的な変化量であってλの初期推定値を改善するものを用いてもよい。

特定の実施態様においては、前記選択されたλ値を、式（５）に示すように、前記平滑化係数ａを計算するために用いてもよく、その後、前述の２つの行列Ｍａｔ_ｒｅ（ｔ，ｋ）’およびＭａｔ_ｉｍ（ｔ，ｋ）’を式（４）から取得してもよい。後述の式（６）が、強度Ａ_λ（ｔ，ｋ）がそれら行列から計算されてもよいことを示している。このアルゴリズムによれば、信号強度または信号エネルギーの最大化という基準（criteria、評価基準、目標基準）に従い、選択された１つのγ値が、前記出力値、すなわち、平滑化された行列Ｍａｔ_ｒｅ（ｔ，ｋ）’およびＭａｔ_ｉｍ（ｔ，ｋ）’に割り当てられてもよい。
図２１中、式（６）
ここに、ｃ_λは、λの関数である平均ゲインを決める正規化定数である。その正規化定数は、最終的な平均強度を正規化するために白色ノイズのスペクトルに対して前記ＣＦＰＣが適用されるときに試験的運用（test run）の結果からヒューリステックに（heuristically、発見的問題解決法により）誘導してもよい。その正規化定数ｃ_λは、事前に経験的に取得され、また、評価されるべき各γごとに保存されてもよい。

この適応的λアプローチ（adaptiveλmethod、適応的にλ値を決定するアプローチ）によれば、前記基準（criteria、評価基準、目標基準）に従い、例えば、信号強度または信号エネルギーの最大化という基準に従い、最良のγ値が自動的に決定される。この適応的λアプローチによれば、γ値を手動で選択することに比較すれば、より長い処理時間が必要となるかもしれない。前記コンピュータの処理速度が年々高速化されることを考慮すれば、この信号適応的λアプローチ（signal-adaptiveλmethod、信号に適応するようにλ値を決定するアプローチ）は、現時点では、実用可能である。この信号適応的λアプローチを用いた場合の結果は、図９に示すように、周波数と時間とにわたって強度で表現される(expressed in magnitude over frequency and time、周波数と強度との関係および時間と強度との関係として表現される）かもしれない。

いくつかの実施態様においては、１つの行列が、３次元（３Ｄ）空間、すなわち、時間−周波数−λという空間内において計算されるかもしれない。前記平滑化された行列は、十分に高密度でサンプリングされたグリッドについて計算されてもよく、そのグリッドは、局所的時間−周波数局在化パラメータγについての複数の値であって実質的に小さい増分で変化するものについてのものである。式（６）から生成される複数の２次元（２Ｄ）時間−周波数強度スライス（slices、上述の３Ｄ空間をγ平面に平行な複数の平面でスライスしたもの、時間−周波数で強度を表現するもの）が、別の行列次元（another matrix dimension、γという次元）内において、保存されるかもしれない。この３Ｄ行列は、前記入力信号を、時間と周波数とにわたって変化するエネルギー密度として表現してもよく、また、この３Ｄ行列は、前記入力信号を３Ｄ空間内において、時間軸または周波数軸上での局在化(localization、局在性、局在化部の位置など）に従って表示して操作する(manipulate、編集する、ユーザが編集する、ユーザ操作に応じて編集する）ために用いることが可能である。

信号修正(modification、編集）
ひとたび前記信号が時間−周波数ドメイン内で表現されると、その信号を、各周波数バンドの幅の分解能で、かつ、複数の個別の時間サンプルの各々にわたり、編集する（edit、修正する、ユーザが編集する、ユーザ操作に応じて編集する）ことが容易であるかもしれない（ステップ６１４）。時間ドメイン内における各周波数は、時間−周波数ドメイン内においては、対応する１本のスペクトル線を有するため、原信号である入力信号内のノイズまたはスクラッチ音（scratches、ひっかき傷音）を除去するために、いくつかのスペクトル成分を時間−周波数ドメイン内において操作し、修正し、抑圧しまたは強調することが容易である。ユーザは、前記信号を表すスペクトログラム（spectrogram）表現のうちのいくつかの部分を選択し、それら部分を、画像処理において用いられる選択用ツールもしくはコンピュータ支援型（machine-aided、機械支援型）選択用ツールを用いるか、または、信号の基準（criteria、評価基準、目標基準）に基づくパラメトリック選択法（parametric selection methods、パラメトリック入力で選択を行う方法、媒介変数を用いて選択を行う方法）により修正してもよい（modify）。

いくつかの望ましい実施態様においては、複数の周波数より成る一群が、それら周波数であって、「支持領域（region of support）（ＲＯＳ）」とも称されるものを包囲するように任意の形状を有する境界線を手動または自動で定義することにより、抽出されるかもしれない。前記ＲＯＳの外側にある領域は、抑圧されるかまたは抽出されるかもしれない。いくつかの実施態様においては、複素数型の信号表現が出力信号において利用可能である場合に、前記ＲＯＳ内にある平均信号を、ヒルベルト（Hilbert）・スペクトル分析において説明される瞬間的周波数推定を用いて決定することが可能である。具体的には、本方法は、ヒルベルト−ファング（Hilbert-Huang）変換のうちの第１段階として、複数の固有モード関数（intrinsic mode functions）を計算する代わりに用いてもよく、また、本方法は、ヒルベルト・スペクトルをλの関数として計算するために、特異値分解プロセス（Singular Value Decomposition process）の出力結果を用いる代わりに用いてもよい。

出力結果の表現（formulation)
本方法は、さらに、編集後に、前記入力信号の時間ドメイン表現であって修正されたものを提供する。時可変である強度応答および位相応答を表現するために、前記平滑化された行列Ｍａｔ_ｒｅ（ｔ，ｋ）’およびＭａｔ_ｉｍ（ｔ，ｋ）’を、すべての時間インスタンスｔおよびすべての周波数ビンｋであって編集された(edited)複数の周波数ビンを有するものの全体にわたり、反復することにより、前記平滑化された行列Ｍａｔ_ｒｅ（ｔ，ｋ）’およびＭａｔ_ｉｍ（ｔ，ｋ）’を計算してもよい（ステップ６１６）。複数の時間−周波数強度|Ｘ_ｔ，ｋ|および複数の時間−周波数位相|Φ（Ｘ_ｔ，ｋ）|を、平滑化された複数の行列から、後述の式（７）を用いて計算してもよい。
図２１中、式（７）
ここに、arctan2は、象限保存型（quadrant-preserving、象限内符号が保存される、象限内符号が変化しない）アークタンジェント（arctangent、逆正接）関数であって、（Ｍａｔ_ｉｍ（ｔ，ｋ）’／Ｍａｔ_ｒｅ（ｔ，ｋ）’）の商のアークタンジェント値を計算するものである。前記編集された(edited)複数の周波数値についての前記複数の時間−周波数強度|Ｘ_ｔ，ｋ|および複数の時間−周波数位相|Φ（Ｘ_ｔ，ｋ）|であって式（７）から取得されたものに基づき、式（８）（逆離散フーリエ変換（ＩＤＦＴ））であって、後述のように、実数型の信号のための逆時間−周波数変換（inverse time-frequency transform）であるものにより、修正された時間ドメイン表現f（t）'を取得してもよい。
図２１中、式（８）
ここに、ｃは、前記信号について同じゲイン係数を維持する（keep the same gain factor、f（t）'とf（t）とで同じゲイン係数を有する）ために用いられるスケーリング定数（scaling constant）であって、周波数変換に応じて要求されるかもしれないものである（ステップ６１８）。換言するに、前記修正された時間ドメイン表現f（t）'は、前記入力信号f（t）に対して振幅の増加も減少も存在しない。

よって、この修正された時間ドメイン表現f（t）'は、前記周波数変換結果のうちの複数のスペクトル成分を時間軸、周波数軸および強度軸に沿って、かつ、同じ時刻に操作した結果となるかもしれない。この修正された時間ドメイン表現は、さらに、種々の用途の基礎を提供するかもしれない。前記修正された変換の表現（The modified transform representation、前記修正された周波数変換結果を表現するもの）は、表示のためもしくは別のプロセスによって使用されるために出力されるか、または、複数のスペクトル成分を例えば図２に示すような時間ドメインにおいて操作するために直接用いられるか、複数のスペクトル成分を例えば図３に示すような周波数ドメインにおいて操作するために直接用いられるか、または例えば図８または図９に示すように時間−周波数強度(time-frequency magnitude、時間−周波数によって表現される強度）を操作することにより、複数のスペクトル成分をそれら時間ドメインと周波数ドメインとの双方において同じ時刻に操作するために直接用いられてもよい（ステップ６２０）。前記不確定性低減型変換の表現（the reduced uncertainty transform representation、前述の、不確定性が低減された変換結果を表現するもの）を表示するかまたは修正した後、前記修正された出力信号（the modified output signal、f（t）'など）が、例えば、図１に示すステップ１１０および１１２のようなＳＴＦＴアプローチと同じような方法で取得される。

図８は、本発明のいくつかの実施形態に従い、図２に示す入力信号に対し、局所的時間−周波数局在化パラメータλであって０．７に等しいものを用いて不確定性低減型変換が行われたものを示している。図８には、前記時間−周波数変換結果のうちの複数の強度（time-frequency transform magnitudes、時間−周波数ドメインで表現される変換結果のうちの複数の強度、時間−周波数変換強度）|Ｘ_ｔ，ｋ|であって式（７）に示すものが、時間スロット数Ｎ＝４０９６（２^１２）の状態で、周波数ビンｋと時間スロットｔとにわたって示されている。時間−周波数強度８００が、互いに異なる４つの成分８０２，８０４，８０６および８０８であって、図２に示すように、４つの時間成分に対応するものを有する。例えば、第１のスペクトル成分（例えば、垂直線８０２）は、同じ周波数ビンに位置しており、図４Ａに示す複数の正弦波４０２に対応する。これは、局所的周波数分解能が高い事例である。

第２のスペクトル成分（例えば、対角線８０４）は、０である最低時間スロット（ｔ＝０）と０である最低周波数ビン（ｋ＝０）とを有する開始点から、Ｎ−１である最高時間スロット（ｔ＝Ｎ−１）とＮ／２である最高周波数ビン（ｋ＝Ｎ／２）とを有する終了点まで延びている。対角線８０４は、図４Ｂに示すように、チャープという時間成分４０４に対応する。

第３のスペクトル成分（例えば、継続時間が短い短時間正弦波８０６）は、最初の時間スロットに位置していて、図４Ｃに示すように、周波数が変調された１つの短時間正弦波４０６に対応する。第４のスペクトル成分（例えば、水平線８０８）は、同じ時間スロットに位置しており、図４Ｄに示すスパイク４０８に対応する。これは、局所的時間分解能が高い事例である。

前述のように、行列（matrix、Ｍａｔ_ｒｅ（ｔ，ｋ）およびＭａｔ_ｉｍ（ｔ，ｋ））を周波数（frequency、周波数ドメイン）から時間−周波数（time-frequency、時間−周波数ドメイン）に拡張すること（frequency to time-frequency matrix extension、周波数から時間−周波数への行列の拡張）により、式（７）によって与えられるように、前記時間−周波数変換結果のうちの強度（time-frequency transform magnitude）|Ｘ_ｔ，ｋ|内の前述の４つの時間成分を明瞭にまたは顕著に（distinctively、互いに区別されるように、互いに視覚的に区別されるように）提示することが可能となる。これに対し、上述の、周波数から時間−周波数への行列の拡張（frequency to time-frequency matrix extension）を行わないと、式（２）において与えられるように、従来の周波数変換結果のうちの強度|Ｘ_ｋ|は、図７に示すように、前記４つの成分８０２，８０４，８０６および８０８を互いに区別することが不可能である。

これまでに図解したように、時間ドメイン(time domain、時間と強度との関係）内においてスペクトル成分の互いに異なる複数のエレメント（例えば、４０２，４０４，４０６および４０８）（図４Ａ−図４Ｄ参照）の各々は、時間−周波数強度ドメイン（time-frequency magnitude domain、時間−周波数ドメインに強度ドメインすなわち周波数−強度ドメインを組み合わせ、それにより、時間と周波数と強度との関係を表現するものなど）内において、１個のエレメントであってスペクトル成分を有するもの（例えば、８０２，８０４，８０６および８０８）（図８参照）を有する。時間ドメイン(time domain、時間と強度との関係）と時間−周波数強度ドメイン（time-frequency magnitude domain、時間と周波数と強度との関係）との間での上述の単一対応関係(single correspondence、１対１の対応関係）による効果のうちの一つは、時間−周波数強度ドメイン（time-frequency magnitude domain）内でいくつかの変更を行うことにより、複数のスペクトル成分を周波数ドメイン(frequency domain、周波数と強度との関係）および時間ドメイン内において同時に操作することが可能となるということである。

図９は、図２に示す入力信号に対し、適応的局所的時間−周波数局在化パラメータλを用いて不確定性低減型変換が行われたものを示している。この例においては、変換サイズ（the size of the transform、時間スロットの数）Ｎが４０９６に等しい。前記時間−周波数変換結果のうちの複数の強度（time-frequency transform magnitudes、時間−周波数ドメインで表現される変換結果のうちの複数の強度、時間−周波数変換強度）|Ｘ_ｔ，ｋ|が式（７）から計算される。その時間−周波数強度|Ｘ_ｔ，ｋ|９００が、４つの成分９０２，９０４，９０６および９０８を有し、それら成分は、それぞれ、成分８０２，８０４，８０６および８０８と視覚的に近似しているが、図８に示すものより高い分解能を有する。例えば、図９に示す水平線９０８は、図８に示す水平線８０８より幅が狭い。図９に示す不変の（constant、周波数不変の）複数の正弦波９０２は、図８に示す周波数不変の複数の正弦波８０２より変調度（modulation、変動度）が低いように見える。

図１０−図１２は、周波数から時間−周波数への行列拡張（frequency to time-frequency matrix extension）によって複数の部分波が生成される原理と、チャープ信号である場合に、ＣＦＰＣにより、前記複数の部分波が、複数の周期的な正弦波から複数の非周期的な波束（wave packet、局在化する波動）に変化する原理とを示す概略的な表現を提供する。図１０は、時間ドメイン表現のチャープ信号１００２の実数部（real valued part、実数値部）を、本発明のいくつかの実施態様に従い、１つの変換フレーム（SINGLE TRANSFORM FRAME）につき、周波数変換を実行した後、および、周波数からの時間−周波数への行列拡張を実行した後の状態で示している。図示するように、前記１個の変換フレーム内のチャープ信号１００２は、図中下側に示される一方、表現１０００が、図中、チャープ信号１００２より上側に示されている複数の個別の正弦波１００４を有する。それら個別の正弦波１００４は、式（３）から取得され、また、今回の変換フレーム全体にわたり、各周波数ビンごとに、周波数も強度も不変である。表現１０００では、構成情報（structural information、時間局在化特徴量の構成を表す情報など）が何ら顕在化せず、このことは、従来の変換では、１つの変換フレーム内において、時間的に局在化する（time-localized、一時的に存在する）特徴量を求めることができないことを示唆する。このような結果は、ハイゼンベルグの不確定性原理によるものであり、この原理は、周期波である場合には、周波数に関する局在化および時間に関する局在化は、それぞれ互いに反比例する精度でしか検出することができないという性質であるということを述べている。

垂直軸すなわち周波数ビンｋの座標軸に沿った平滑化処理、例えば、指数平滑化処理または他の任意の平滑化処理が行われると、互いに近接する複数の近傍波同士で波の漏れ出しが発生し、これが原因で、増幅（amplifications、強め合い）および減衰（cancellations、打消し、弱め合い）が局所的に発生する。図１１は、時間ドメイン表現のチャープ信号１００２の実数部（real valued part、実数値部）を、本発明のいくつかの実施態様に従い、周波数変換を実行した後、および、周波数からの時間−周波数への行列拡張であって周波数ビンｋの座標軸に沿った指数平滑化処理を伴うものを実行した後の状態で示している。前記平滑化処理により、図１０に示す複数の周期的な正弦波１００４が、より複雑で非周期的である複数の波束（wave packet、局在化する波動）１１０２に変換される。図示するように、平滑化された表現（representation、時間−周波数表現）１１００が、指数平滑化処理の結果、図１０において互いに隣接する複数の波１００４間の可視的な干渉(visible interference)であって対角方向１１０４に沿って発生するものを有する。

図１２は、図１１に示す強度を本発明のいくつかの実施態様に従って示している。平滑化された強度の表現（representation、時間−周波数表現）１２００が、エネルギーすなわち強度１２０２が時間−周波数空間を通過して移動することを明瞭に示している。

図１３−図１５は、本方法と前記ＳＴＦＴ法との対比を提供する。図１３は、同様な見た目を有する（a visually similar、図中下側と視覚的に近似している)ＳＴＦＴシーケンス(STFT sequence、複数のＳＴＦＴ結果の列）（図中上側）であって、Ｎ＝２５６であり、かつ、サンプル・レート（ＳＲ）が４４．１ｋＨｚであるときに周波数ビンごとの分解能が１７２．２６Ｈｚであるものと、本発明のいくつかの実施態様に従う適応式（adaptive）不確定性低減型変換（図中下側）であって、Ｎ＝４０９６であり、かつ、ＳＲが４４．１ｋＨｚであるときに周波数ビンごとの分解能が１０．７７Ｈｚであるものとの対比を示している。ＳＴＦＴ表現（STFT representatiion、前記ＳＴＦＴの実行結果を表す表現（representation、時間−周波数表現））１３００Ａは、強度|Ｘ_ｋ|を、水平軸が時間を表す一方、垂直軸が周波数を表す時間−周波数ドメイン内において示している。強度|Ｘ_ｋ|は、式（３）における行列ではなく、式（４）および（５）に示すローパスフィルタリング処理を用いて取得される。ＳＴＦＴ表現１３００Ａは、その計算のために複数の変換フレームの使用を必要とする。ＳＴＦＴ表現１３００Ａは、４４．１ｋＨｚ／２５６という周波数分解能を有し、この分解能は、サンプリング・レートが４４．１ｋＨｚであるときに各周波数ビンごとに約１７２Ｈｚである。

低減不確定性表現（reduced uncertainty representation、不確定性低減型変換の実行結果を表す表現）１３００Ｂは、強度|Ｘ_ｔ，ｋ|を、水平軸が時間を表す一方、垂直軸が周波数を表す時間−周波数ドメイン内において示している。強度|Ｘ_ｔ，ｋ|は、式（７）から取得される。低減不確定性表現１３００Ｂは、４４．１ｋＨｚ／４０９６という周波数分解能を有し、この分解能は、サンプリング・レートが４４．１ｋＨｚであるときに各周波数ビンごとに約１１Ｈｚである。成分１３０８Ｂの時間分解能は、成分１３０８Ａの時間分解能よりはるかに高く、それが原因で、成分１３０８Ｂの幅がより狭い（smaller width、成分１３０８Ａより狭い）。図示するように、本方法による分解能は、前記ＳＴＦＴ法よりはるかに高い。この例は、さらに、前記ＳＴＦＴの周波数変換結果に対して、時間からの拡張を行うことなく平滑化処理を行うと(smoothing without time extension to the frequency transform、前記ＳＴＦＴの周波数変換結果に対する平滑化処理を、その周波数変換結果を時間−周波数ドメインに拡張することをさらに行うことなく行うと)、高周波数分解能と高時間分解能とが同時に実現されることはないということを示している。

図１４は、時間分解能が高い(high time resolution)ＳＴＦＴシーケンス（STFT sequence、複数のＳＴＦＴ結果の列）（図中上側）であって、Ｎ＝３２であり、かつ、ＳＲが４４．１ｋＨｚであるときに周波数ビンごとの分解能が１３７８．１３Ｈｚであるものと、本発明のいくつかの実施態様に従う適応式（adaptive）不確定性低減型変換（図中下側）であって、Ｎ＝４０９６であり、かつ、ＳＲが４４．１ｋＨｚであるときに周波数ビンごとの分解能が１０．７７Ｈｚであるものとの対比を示している。ＳＴＦＴ表現（STFT representatiion、前記ＳＴＦＴの実行結果を表す表現）１４００Ａは、強度|Ｘ_ｋ|を時間−周波数ドメイン内において示している。このＳＴＦＴ表現１４００Ａ（図中上側）は、時間分解能は高いが、周波数分解能は低く、その周波数分解能は、例えば、ＳＲ（サンプリング・レート）が４４．１ｋＨｚであるときに各周波数ビンごとに１３７８．１３Ｈｚである。具体的には、ＳＴＦＴ表現（STFT representatiion、前記ＳＴＦＴの実行結果を表す表現）１４００Ａは、４つの成分１４０２Ａ，１４０４Ａ，１４０６Ａおよび１４０８Ａを有する。スパイク１４０８Ａのみが、ＳＴＦＴ表現１４００Ａ内において明瞭であり、これは、適応式低減不確定性変換表現１３００Ｂ（図中下側）に示す成分１３０８Ｂに似ている。他の３つの成分１４０２Ａ，１４０４Ａおよび１４０６Ａは、すべて、正弦波に基づくものであるとともに、適応式低減不確定性変換表現１３００Ｂに示す、対応する成分１３０２Ｂ，１３０４Ｂおよび１３０６Ｂとは異なり、不鮮明であるとともに不明りょうであるように見える。

図１５は、サイズが同じである(same size、図中下側と変換サイズが同じである）ＳＴＦＴシーケンス（STFT sequence、複数のＳＴＦＴ結果の列）（図中上側）と、本発明のいくつかの実施態様に従う適応式不確定性低減型変換であってＮ＝４０９６についてのもの（図中下側）との対比を示しており、それら変換は、いずれも、ＳＲが４４．１ｋＨｚであるときに周波数ビンごとの分解能が１０．７７Ｈｚである。ＳＴＦＴ表現（STFT representatiion、前記ＳＴＦＴの実行結果を表す表現）１５００Ａは、強度|Ｘ_ｋ|を時間−周波数ドメイン内において示している。このＳＴＦＴ表現１５００Ａは、前記適応式不確定性低減型変換と同じ変換サイズまたは同じ周波数分解能を有するとともに、周波数分解能は高いが、時間分解能は低い。具体的には、ＳＴＦＴ表現（STFT representatiion、前記ＳＴＦＴの実行結果を表す表現）１５００Ａは、３つの成分１５０２Ａ，１５０４Ａおよび１５０６Ａを有する。成分１５０２Ａは、明りょうであり、すなわち、高い周波数分解能を有する。しかし、ＳＴＦＴ表現１５００Ａには、成分１３０８Ｂに対応するスパイクは存在しない。ＳＴＦＴ表現１５００Ａにおいては、時間分解能が非常に低い。これに対し、スパイク１３０８Ｂは、適応式低減不確定性変換表現１３００Ｂ内において、明りょうである。このことが示すことは、前記適応式不確定性低減型変換結果すなわち適応型時間−周波数変換結果１３００Ｂが、ＳＴＦＴ表現１５００Ａより高い分解能を有する局在化時間ドメイン特徴量を示すということである。他の２つの成分１５０４Ａおよび１５０６Ａも、同様に、それぞれ、２つの成分１５０４Ａおよび１５０６Ａがいくらかのオーバーラップを有するというように、表現１３００Ｂに示される成分１３０４Ｂおよび１３０６Ｂよりはるかに低い分解能を有する。これに対し、成分１３０４Ｂおよび１３０６Ｂは、時間ドメインにおいても周波数ドメインにおいても、高い分解能を有する結果、全くオーバーラップを有しない。これまでに示したように、前記適応式不確定性低減型周波数変換は、周波数ドメインにおいても時間ドメインにおいても、高い分解能を有することが可能である。逆に、前記ＳＴＦＴ変換は、高い周波数分解能を低い時間分解能と共に実現するか、または、高い時間分解能を低い周波数分解能と共に実現することが可能である。

よって、本方法は、サンプル・アキュレートなスペクトル編集のために用いてもよい。時間−周波数変換結果のうちの複数の強度および複数の位相を、１個の時間ドメイン・サンプルの継続時間を超えない長さを有する(down to)複数の信号を時間−周波数ドメインの中から除去するために調整することが可能である。本方法は、クリック音または高度に時間局在化された他の信号を除去するのに有用であるかもしれない。この用途の一例として、音楽の録音物（record）がスクラッチ（scratch、傷）を有するかもしれない。そのスクラッチは、クリック音を生成するかもしれない。そのクリック音は、図４Ｄに示すようなスパイク４０８に似ているかもしれない。周波数から時間−周波数への行列拡張およびＣＦＰＣを用いることにより、前記スクラッチから発生した前記クリック音を、修正された時間ドメイン表現f（t）'を計算する前に、変換結果のうちの複数の強度から簡単に除去してもよい。例えば、図８に示すような成分８０８を抑圧すれば、図４Ｄに示すようなスペクトル成分４０８が除去されることになる。しかし、時間−周波数ドメインの信号（例えば図８または図９に示すようなもの）を表示することにより、ユーザは、不要な部分を除去するようにマウスを用いることにより、ディスプレイ上においてその不要な部分を選択してもよい。前記スクラッチありの録音物からの前記音をここに開示されたプロセスを用いて後処理することにより、前記スクラッチありの録音物が、事実上、視聴者にとってスクラッチのないものとなる。そのプロセスにより、事実上、スクラッチありの録音物がスクラッチなしの録音物に変換される。時間ドメイン内の各周波数が、時間−周波数ドメイン内において、それに対応する１本のスペクトル線を有するため、元の入力信号内におけるノイズまたはスクラッチ音を除去するために、時間−周波数ドメイン内におけるスペクトル成分を操作し、修正し、抑圧し、または強調することが容易である。

これまでに図解したように、周期波が存在するために存在する不確定性原理の影響を局所的に低減させることにより、高時間分解能および高周波数分解能が実現され得る。このことの理由は、本方法が、複数の個別の部分波を、周期的な複数の正弦波から、より複雑な、非周期的な複数の波束（wave packet）に変化させるために平滑化処理またはローパスフィルタリング処理を適用し、それにより、エネルギー集中（concentration、密度、信号強度）が周波数ドメインから時間−周波数ドメインにシフトする(shifting the energy concentration from the frequency domain to the time-frequency domain、信号強度が表現されるドメインが、信号継続性を表現できない周波数ドメインから、信号継続性を表現できる時間−周波数ドメインにシフトする）ことにある。前記平滑化処理は、周波数変換において不確定性原理の影響を局所的に低減させることを支援し、なぜなら、前記本質的な局在化のトレードオフ（the original localization trade-off、時間と周波数との間でそれぞれの観測精度が反比例するという性質）は、周期的な複数の正弦波のみに適用され、非周期的な複数の波束（wave packet、局在化する波動）には適用されないからである。

不確定性を高度に低減させる変換を行うには、その変換の結果を顕在的に計算する場合には、大容量のメモリおよび長時間の処理時間が必要となるかもしれない。現在のコンピュータの向上した容量および速度によれば、時間ドメイン内の分解能を改善することが必要である場合には、メモリおよび処理速度は、それほど問題にならない。前述の行列の計算は、パーソナル・コンピュータまたは他の計算デバイスであって単一命令多重データ処理（Single Instruction Multiple Data）（ＳＩＭＤ）用ＣＰＵ拡張部（extensions）およびグラフィックス処理ユニット（ＧＰＵ、グラフィックス・チップ、画像演算処理装置）を有するものによって実行することが可能である。前記平滑化処理段階は、連続する複数の時間ドメイン・サンプル上で互いに独立して実行されるかもしれないため、前記複数回の計算は、例えばグラフィック・カードまたは複数のプロセッサ・コア上で、並列処理を用いて効率よく実行されるかもしれない。前記平滑化法は、任意の入力信号についての周波数変換結果を後処理するために、デスクトップであるかラップトップであるかを問わず、パーソナル・コンピュータ上で簡単にかつ効率よく実行することが可能である。本方法においては、ＣＦＰＣにより、異なる複数の近傍周波数領域間に発生する同期（synchronization、同調）処理の特徴が説明される。ＣＦＰＣによる処理を、信号が複数の周波数を含む場合に、コンピュータ上でシミュレートすることが可能である。

図１６Ａは、本発明のいくつかの実施態様に従い、入力信号を処理する方法を簡略化して示すシステム図である。前述の信号処理および信号修正処理を実行するコンピュータ・システム１６００であって望ましいものが、図１６Ａに示されている。そのコンピュータ・システム１６００であって、送信者または受信者についてのものは、パーソナル・コンピュータ（ＰＣ）、中央コンピュータすなわちサーバに接続されたワークステーション、ノートブック型すなわちポータブル・コンピュータ、タブレット型ＰＣ、ハンドヘルド型メディア・プレイヤ（例えば、ＭＰ３プレイヤ）、スマート・フォン・デバイス、ビデオ・ゲーム装置またはセット・トップ・ボックスとしてもよく、それらは、内部の処理コンポーネント（component、部品、構成要素、素子）およびメモリ・コンポーネントと、外部の入力デバイス、出力デバイス、記憶デバイス、ネットワークおよび他のタイプの周辺機器との接続のためのインタフェース・コンポーネントとを有する。図１６Ａに示すコンピュータ・システム１６００の複数の内部コンポーネントは、破線内に示される一方、複数の外部コンポーネントは、前記破線外に示されている。内部に存在するかまたは外部に存在する複数のコンポーネントは、前記破線を跨ぐように示されている。ＰＣの代わりに、コンピュータ・システム１６００は、例えば、この書類に記載されているいくつかの信号処理方法およびいくつかの信号修正方法を組み込むために、サーバ、メインフレーム・コンピュータ、分散型コンピュータ、インターネット機器もしくは他のコンピュータ機器またはそれらの複数の組合せのうちの任意のものという形態であってもよい。

この書類に記載されているシステムのいずれの実施態様またはそのシステムのいずれのコンポーネントにおいても、コンピュータ・システム１６００は、システム・バス１６０４によって互いに接続されたプロセッサ（processor、ＣＰＵ、中央処理ユニット）１６０２およびシステム・メモリ１６０６を有しており、そのシステム・バス１６０４は、さらに、互いに異なる複数のシステム・コンポーネント(system components、システム内の複数のコンポーネントなど）を作動に関して互いに連携するように（operatively）互いに接続する。１個または複数個のプロセッサ１６０２が存在してもよく、それらプロセッサ１６０２は、例えば、１個の中央処理ユニット（ＣＰＵ）、または複数個の処理ユニットであって、一般に並列処理環境（例えば、デュアルコア、クアッドコアまたは他のマルチコア型の処理デバイス）と称されるものである。システム・バス１６０４は、複数のバス構造の複数のタイプのうちの任意のものとしてもよく、それらバス構造は、メモリ・バスもしくはメモリ・コントローラ、周辺機器用バス、スイッチド・ファブリック（switched fabric）、ポイント・ツー・ポイント接続、および種々のバス・アーキテクチャのうちの任意のものを用いるローカル・バスを有する。システム・メモリ１６０６は、読出し専用メモリ（ＲＯＭ）１６０８と、ランダム・アクセス・メモリ（ＲＡＭ）１６１０とを有する。基本入力／出力システム（ＢＩＯＳ）１６１２は、例えば起動段階の如き段階でコンピュータ・システム１６００内の複数のコンポーネント間で情報を伝送することを支援する複数の基本ルーチンを有し、そのＢＩＯＳ１６１２は、ＲＯＭ１６０８内に格納されている。頻繁にアクセスされるデータを保存するために高速メモリを実現するためにキャッシュ１６１４をＲＡＭ１６１０内に確保してもよい。

複数のアプリケーション、ファイルおよびデータを不揮発的に保存するために、例えばハード・ディスク・ドライブ１６１８の如きデータ記憶装置に対して読出しおよび書込みのためのアクセスを可能にするために、ハード・ディスク・ドライブ・インタフェース１６１６をシステム・バス１６０４に接続してもよい。注記すべきことは、図１６Ａにおいてハード・ディスク・ドライブ１６１８が前記破線を跨ぐように示されているように、ハード・ディスク・ドライブ１６１８は、コンピュータ・システム１６００の内部コンポーネントであっても外部コンポーネントであってもよいということである。いくつかの設定態様においては、内部ハード・ディスク・ドライブ１６１８と、外部ハード・ディスク・ドライブ１６１８との双方を有してもよい。複数のプログラム・モジュールおよび他のデータが、ハード・ディスク・ドライブ１６１８に保存されてもよく、それらプログラム・モジュールおよびデータは、オペレーティング・システム１６２０、１または複数のアプリケーション・プログラムおよび複数のデータ・ファイルを有する。

望ましい一実施態様においては、ハード・ディスク・ドライブ１６１８が、信号編集アプリケーション・プログラム１６２２を、コンピュータ・システム１６００を複数の専用マシンに転換することが可能な複数のプログラムの一つとして保存してもよい。その信号編集アプリケーション・プログラム１６２２は、当該信号編集アプリケーション・プログラム１６２２の種々の機能を実行するために一緒に実行される複数のソフトウエア・モジュールを有してもよい。望ましい一実施態様においては、その信号編集アプリケーション・プログラム１６２２が、ＦＦＴ／ＩＤＦＴ（FFT/IDFT、高速フーリエ変換／逆離散フーリエ変換、FFT/IFFT、高速フーリエ変換／逆高速フーリエ変換）モジュール１６２４を有してもよく、そのＦＦＴ／ＩＤＦＴモジュール１６２４は、ＣＰＵ１６０２に、信号を時間ドメインから周波数ドメインに変換すること（例えば、ＦＦＴロジックを実行する式（１）および（２）を用いる）と、その信号を、周波数ドメインから時間ドメインに逆変換すること（例えば、ＩＤＦＴ（IDFT、逆離散フーリエ変換、IFFT、逆高速フーリエ変換）ロジックを実行する式（８）を用いる）とを実行させる。

信号編集アプリケーション・プログラム１６２２は、さらに、時間−周波数変換モジュール１６６４を有してもよく、その時間−周波数変換モジュール１６６４は、ＣＰＵ１６０２を、例えば式（３）に従い、複数の個別の部分波（partial individual waves、信号のうちの実数部を表す部分波と、同じ信号のうちの虚数部を表す部分波など）としての周波数データを時間−周波数行列（time-frequency matrix、時間軸と周波数軸とで定義される行列）で表現する時間−周波数行列表現を生成するように設定・構成する（configure）。この信号編集アプリケーション・プログラム１６２２は、さらに、平滑化フィルタ・モジュール１６６６を有してもよく、その平滑化フィルタ・モジュール１６６６は、ＣＰＵ１６０２を、例えば式（４）−（７）に従い、時間−周波数変換モジュール１６６４の複数のプロセスから出力された前記時間−周波数行列内の前記複数の波についての周波数間位相カップリングを実現するように設定・構成する（configure）。その平滑化フィルタ・モジュール１６６６は、前記時間−周波数変換行列（time-frequency transform matrix、前記時間−周波数行列）に対するＣＦＰＣを作成し(create、行い）、平滑化された時間−周波数変換結果（time-frequency transform、前記時間−周波数行列）を出力し、その時間−周波数変換結果（time-frequency transform、前記時間−周波数行列）は、システム・メモリ１６０６内に一時的に保存されてもよく、または、その後の長期アクセスのために、信号編集アプリケーション・プログラム１６２２に関連付けられるデータ・ファイル１６２６内に保存されてもよい。信号編集アプリケーション・プログラム１６２２に関連付けられる別のいくつかのデータ・ファイル１６２６が、前述の複数のモジュールのそれぞれごとに、実行のためのいくつかのパラメータを保存してもよい。例えば、平滑化フィルタ・モジュール１６６６は、式（４）および（５）に示すごとき指数移動平均フィルタを適用してもよい。その平滑化フィルタ・モジュール１６６６は、平滑化された時間−周波数変換結果（time-frequency transform、前記時間−周波数行列）を生成するために、前述の、信号に適応するようにλを決定するアプローチまたは信号に依存せずにλを決定するアプローチを用いてもよい。λについての複数の値およびそれらに関連するパラメータは、いくつかのデータ・ファイル１６２６内に保存されてもよい。

別の一実施態様においては、信号編集アプリケーション・プログラム１６２２を、標準的なＣＰＵ１６０２ではなく、グラフィックス処理ユニット（ＧＰＵ）カード（card、拡張ボード）１６０３上で動作するように最適化することが可能である。ＧＰＵカード１６０３というものは、専用のコンピュータ・ハードウエア処理コンポーネントであり、そのコンポーネントは、数百万個の数値（通常、コンピュータ・スクリーン上で表示を行うための画素、色および輝度に関する複数の数値）を、並列処理で、ある画像のコンピュータ・モデル（例えば、コンピュータ・ゲーム内の３Ｄスクリーンのようなもの）から、いわゆる「シェーダー（Shader、シェーディング（陰影）処理を行うプログラム）」を用いて計算するように設計されている。シェーダーというものは、あるフィルタであり、そのフィルタは、スクリーン上のすべての画素について、光源に対する平面の傾き角の如き複数の入力値を組み合わせ、スクリーン上の数百万個の画素について同時にいくつかのデータ呼び出し（data calls）を受け付け、それにより、ある３Ｄモデルからある画像を高速で計算することを可能にする。信号編集アプリケーション・プログラム１６２２は、時間−周波数変換モジュール１６６４と、平滑化フィルタ・モジュール１６６６とを有し、その信号編集アプリケーション・プログラム１６２２は、ＧＰＵカード１６０３上のシェーダーを用いて、前記複数の行列についての複数の数値であって平滑化されたものを計算するように修正することが可能であり、そのＧＰＵカード１６０３は、前記プログラム（the program、前記シェーダー）が、非常に高速で効率よく実行され、それにより、前記時間−周波数表現をリアルタイムで表示することを提供する。

信号編集アプリケーション・プログラム１６２２は、さらに、いくつかの信号編集ツールを有してもよく、それら信号編集ツールは、前記平滑化された時間−周波数変換結果（time-frequency transform、前記時間−周波数行列）の複数の離散的な時間ビン（time bins、時間区分、時間スロット）において、特定のいくつかの周波数の位置にある不要なエネルギーすなわち不要な信号強度を識別し（identifying、他の特徴量から区別し、特定し、認識し、同定し、選択し、個別に選んで指定し）、そして、変更または除去することを目的とする。そのような信号編集ツールは、いくつかの自動ローパスフィルタを有してもよく、または、その信号編集ツールは、ユーザによって入力されたいくつかのパラメータを受け付けること、もしくは、コンピュータ・システム１６００にインストールされたグラフィカル・ユーザ・インタフェースを媒介として前記時間−周波数ドメイン信号を直接編集する（editing、ユーザが編集する、ユーザ操作に応じて編集す）ことを可能にするユーザ・インタフェースさえ実現してもよい。信号編集が完了すると、その後、その編集済み信号は、時間ドメインの編集済み信号に復元するために、ＦＦＴ／ＩＦＦＴ（FFT/IFFT, FFT/IDFT）モジュール１６２４内のＩＦＦＴ（IFFT, IDFT）演算結果に従い、ＣＰＵ１６０２によって処理してもよい。

コンピュータ・システム６００は、さらに、磁気ディスク・ドライブ１６３０を、リムーバブル磁気ディスク１６３２、テープまたは他の磁気媒体に対する読出しまたは書込みのために有してもよい。その磁気ディスク・ドライブ１６３０は、コンピュータ・システム１６００内の他のいくつかのコンポーネントまたはアプリケーションによって起動される磁気ディスク・ドライブ１６３０に対して読出しおよび書込みのためのアクセスを実現するために、ドライブ・インタフェース１６２８、例えば、スモール・コンピュータ・システム・インタフェース（ＳＣＳＩ）、シリアル接続ＳＣＳＩ（ＳＡＳ）インタフェースまたはシリアルＡＴアタッチメント（ＳＡＴＡ）インタフェースを介してシステム・バス１６０４に接続してもよい。磁気ディスク・ドライブ１６３０およびそれに関連するコンピュータ読取り可能媒体を、コンピュータ・システム１６００のためのコンピュータ読取り可能な指令、データ構造、プログラム・モジュールおよび他のデータを不揮発的に保存するために用いてもよい。

コンピュータ・システム１６００は、さらに、光学ディスク・ドライブ１６３４を、ＣＤＲＯＭ、ＤＶＤもしくは他の光学媒体の如きリムーバブル光学ディスク１６３６に対する読出しまたは書込みのために有してもよい。その光学ディスク・ドライブ１６３４は、コンピュータ・システム１６００内の他のいくつかのコンポーネントまたはアプリケーションによって起動される光学ディスク・ドライブ１６３４に対して読出しおよび書込みのためのアクセスを実現するために、前記ドライブ・インタフェース１６２８を介してシステム・バス１６０４に接続してもよい。光学ディスク・ドライブ１６３４およびそれに関連するコンピュータ読取り可能媒体を、コンピュータ・システム１６００のためのコンピュータ読取り可能な指令、データ構造、プログラム・モジュールおよび他のデータを不揮発的に保存するために用いてもよい。コンピュータ・システム１６００は、さらに、外部（external、外付け）ドライブ・インタフェース１６２８に接続された外部（external、外付け）ハード・ドライブ１６３８を有してもよい。その外部ハード・ドライブ１６３８は、コンピュータ・システム１６００のためのコンピュータ読取り可能な指令、データ構造、プログラム・モジュールおよび他のデータを不揮発的に保存する追加的な手段として用いてもよい。

表示デバイス１６４２、例えば、モニタ、テレビもしくはプロジェクタまたは他のタイプの提示デバイス(presentation device、プレゼンテーション・デバイス）を、さらに、ビデオ・アダプタ１６４０またはビデオ・カードの如きインタフェースを介してシステム・バス１６０４に接続してもよい。同様に、オーディオ・デバイス、例えば、外部（external、外付け）スピーカまたは外部マイク（図示しない）を、オーディオ・カードまたは他のオーディオ・インタフェース（図示しない）を経由してシステム・バス１６０４に接続してもよい。

モニタ１６４２に加え、コンピュータ・システム１６００は、他の周辺機器としての入力デバイスおよび出力デバイスを有してもよく、それらデバイスは、しばしば、シリアル・ポート・インタフェース１６４４を介してプロセッサ１６０２およびメモリ１６０６に接続され、そのシリアル・ポート・インタフェース１６４４は、システム・バス１６０４に接続される。それに加えるかまたはそれに代えて、入力デバイスおよび出力デバイスは、他のインタフェース、例えば、ユニバーサル・シリアル・インタフェース（ＵＳＢ）、ＩＥＥＥ１３９４インタフェース（「ファイヤワイヤ」）、パラレル・ポートまたはゲーム・ポートにより、システム・バス１６０４に接続されてもよい。ユーザは、コマンドおよび情報をコンピュータ・システム１６００に種々の入力デバイス、例えば、キーボード１６４６と、例えばマウスであるポインティング・デバイス１６４８とを有するものを介して入力してもよい。他の入力デバイス（図示しない）として、例えば、ジョイスティック、ゲーム・パッド、タブレット、タッチ・スクリーン・デバイス、サテライト・ディッシュ（satellite dish、衛星放送受信用アンテナ）、スキャナ、ファクシミリ装置、マイク、デジタル・カメラおよびデジタル・ビデオ・カメラを用いてもよい。

他の出力デバイスは、プリンタ１６５０と、１または複数のスピーカ１６７０とを、送信者（sender）のオーディオ性能を提示するために有してもよい。他の出力デバイス（図示しない）は、例えば、プロッタ、複写機、フォトプリンタ、ファクシミリ装置および印刷機を有してもよい。いくつかの実施態様においては、それら入力デバイスおよび出力デバイスのうちの数個を、いくつかの複合機（single devices）、例えば、プリンタとスキャナとファクシミリ装置と複写機とが複合されて成る１台の機械に組み合わせてもよい。さらに理解すべきことは、データを保存するために、他のタイプのコンピュータ読取り可能媒体およびそれに関連するドライブ、例えば、磁気カセットまたはフラッシュ・メモリ・デバイスに、シリアル・ポート・インタフェース１６４４（例えば、ＵＳＢ）またはそれと同様なポート・インタフェースを介してコンピュータ・システム１６００がアクセスしてもよいということである。

コンピュータ・システム１６００は、１または複数の遠隔デバイスと通信するために、システム・バス１６０４に接続されたネットワーク・インタフェース１６５２を媒介として複数の論理接続部（logical connections）を用いて、ネットワーク環境において作動してもよい。図１６Ａに示す複数の論理接続部は、ローカル・エリア・ネットワーク（ＬＡＮ）１６５４と広域ネットワーク（ＷＡＮ）１６６０とを有する。この種のネットワーク環境は、ホーム・ネットワーク、オフィス・ネットワーク、エンタープライズ広域コンピュータ・ネットワークおよびイントラネットにおいて一般的である。それら論理接続部は、コンピュータ・システム１６００に接続されるかまたはそれと一体の通信デバイスによって達成してもよい。図１６Ａに示すように、ＬＡＮ１６５４は、ルータ１６５６またはハブを、有線であるか無線であるかを問わず、内蔵式である（internal）か外付け式である（external）かを問わず、用いてもよく、その目的は、遠隔デバイス、例えば、遠隔コンピュータ１６５８であって同様にしてＬＡＮ１６５４に接続されるものに接続することにある。遠隔コンピュータ１６５８は、別のパーソナル・コンピュータ、サーバ、クライアント、ピアー・デバイス（peer device）、または他の一般的なネットワーク・ノードであってもよく、また、典型的には、コンピュータ・システム１６００に関して前述された複数の要素（elements、コンポーネント）のうちの多数またはすべてを有する。

ＷＡＮ１６６０に接続するために、コンピュータ・システム１６００は、典型的には、ＷＡＮ１６６０上の通信を確立するためにモデム１６６２を有する。典型的には、ＷＡＮ１６６０は、インターネットであってもよい。しかし、いくつかの事例においては、ＷＡＮ１６６０が、多くの位置に広がる大規模なプライベート・ネットワーク、または、仮想プライベート・ネットワーク（ＶＰＮ）であってもよい。モデム１６６２は、電話モデム、高速モデム（例えば、デジタル加入者線（ＤＳＬ）モデム）、ケーブル・モデムまたは同様なタイプの通信デバイスであってもよい。モデム１６６２は、内蔵式でも外付け式でもよいが、ネットワーク・インタフェース１６５２を介してシステム・バス１６１８に接続される。別のいくつかの実施態様においては、モデム１６６２が、シリアル・ポート・インタフェース１６４４を介して接続されてもよい。理解すべきことは、図示されている複数のネットワーク接続部は、例示のものであり、また、コンピュータ・システム１６００と他のデバイスまたは他のネットワークとの間にネットワーク通信リンクを確立するために、他の手段および他の通信デバイスを用いてもよいということである。

コンピュータ・システム１６００は、複数のプロセッサまたは複数のプロセッサ・コアと、並列処理を実行するためにそれらプロセッサを指令するアルゴリズムとを有してもよい。例えば、１個のコンピュータＣＰＵ１６０２は、複数のプロセッサ・コアを有してもよい。これに代えて、互いに接続された複数のコンピュータを用いてもよい。各コンピュータは、少なくとも１つのプロセッサを有してもよい。並列処理により、効率が顕著に改善されるかもしれない。いくつかの高速平滑化アルゴリズムが、現在のＣＰＵまたはＧＰＵ上で利用可能であるかもしれない。例えば、前記変換が実数型の出力信号を提供する場合、信号処理に先立ち、ヒルベルト変換を、それら値（the values、前記実数型の出力信号によって表される複数の実数値）を解析用の（複素数型の）信号に変換するために適用してもよい。ＦＦＴまたは周波数変換処理に基づいてスペクトル操作を行うためのアルゴリズムを追加的に用いてもよい。

この書類に記載されている技術は、この書類に開示されている信号の処理および編集の方法という特別の目的を達成するために設定された１または複数のコンピューティング・システム内において複数の論理演算および／または論理モジュールとして実装してもよい。それら論理演算は、プロセッサ実行型の（processor-implemented）複数のステップ（steps、指令）であって、１または複数のコンピュータ・システムにおけるいくつかのソフトウエア・プログラムの実行によって指示されるものの列として、もしくは、互いに接続された複数のマシンもしくは互いに接続された複数の回路モジュールであって、自立式デバイス内にある複数の論理ゲートを用いるか、もしくは、１もしくは複数のコンピュータ・システム内にある複数の論理ゲートを用いるものとして、または、ソフトウエアによって設定される（software configured）１つのマイクロプロセッサおよびいくつかの回路モジュールとの組合せとして実装してもよい。同様に、種々のコンポーネント・モジュール（component modules、複数のモジュールの実行によって１つの機能が達成されるために個々のモジュルがその機能との関係においては１つのコンポーネントとして機能する場合のそれらモジュール）の記述（descriptions、記述文）を、それらコンポーネント・モジュールによって実行されるかまたは実施される複数の演算という観点から提供してもよい。最終的な実装（The resulting implementation）がどのようなものとなるのかは、選択可能な事項であり、この書類に記載されている技術を実行する基本的なシステムについての性能上の要求事項に依存する。したがって、この書類に記載されている技術のいくつかの具体例を構成する前述のいくつかの論理演算は、演算、ステップ、オブジェクトまたはモジュールというようにいろいろな名前で称される。さらに、理解すべきことは、複数の論理演算が実行される順序は、反対のことが特許請求の範囲に特記されていることも、特別の順序が、特許請求の範囲の記載によって本質的に必要とされることもない限り、任意であってもよいということである。

いくつかの実施態様においては、いくつかの製造物が、本発明を実施するためにコンピュータ・システム上でいくつかの演算のインスタンス化（instantiation、具現化、実行など）を行わせるコンピュータ・プログラム・プロダクトとして提供される。コンピュータ・プログラム・プロダクトの一実施態様が、非過渡的なコンピュータ・プログラム記録媒体であり、その記録媒体は、コンピュータ・システムによって読み取り可能であるとともに、専用コンピュータ（special purpose computer、特定目的向けコンピュータ）を生成するために、前記コンピュータ上で実行される具体的でかつ特別の処理アルゴリズムを符号化する。さらに理解すべきことは、この書類に記載されている技術は、さらに、パーソナル・コンピュータから独立している専用デバイスにおいて利用してもよいということである。

例えば、この書類に記載されている信号処理システムは、図１６Ｂに示すような専用処理デバイス１６７０上に実装してもよい。その処理デバイス１６７０は、プロセッサ１６７６とメモリ１６７８とを組み合わせたマイクロコントローラ１６７４を有してもよい。別の実施態様においては、それぞれ互いに分離したマイクロプロセッサとメモリ・デバイスとを、作動に関して相互に連携するように（operatively）互いに接続してもよい。これに代えて、別のメモリが必要であれば、別のメモリ・モジュールをマイクロコントローラ１６７４に接続することが可能である。メモリ１６７８は、入力信号１６７２を信号処理に備えて保存し、最終的には、修正済み信号（modified signal、編集済み信号）１６９０を出力に備えて保存するために使用してもよい。メモリ１６７８は、さらに、後述の種々の回路モジュールによって実行される処理ステップのための種々のパラメータと、前記いくつかの回路モジュールから出力されるデータおよび複数の数値とを保存するために使用してもよい。マイクロコントローラ１６７４は、メモリ１６７８との間でデータのやりとりをするためのデータの流れを管理するとともに、種々の回路モジュールによって実行される複数の処理ステップを互いに連携させる。いくつかの実施態様においては、マイクロコントローラ１６７４を、前記複数の回路モジュールのうちの１または複数についての前述の複数の処理演算を実行するように設定してもよい。

複数の回路モジュールを、処理デバイス１６７０内においてマイクロコントローラ１６７４に接続してもよい。それら回路モジュールは、例えば、特定用途向け集積回路（ＡＳＩＣ）またはフィールド・プログラマブル・ゲート・アレイ（Field-programmable Gate Array、製造後に現場でプログラミング可能なゲート・アレイ）（ＦＰＧＡ）を用いて実装してもよい。それら回路モジュールは、時間−周波数変換（time-frequency transform、時間−周波数間変換、ＦＦＴ／ＩＦＦＴモジュール）モジュール１６８０であって、信号を時間ドメインから周波数ドメインに変換すること（例えば、式（１）および（２）を実行するＦＦＴ論理回路）と、信号を周波数ドメインから時間ドメインに逆変換すること（例えば、式（８）を実行するＩＤＦＴ（IDFT、逆離散フーリエ変換、ＩＦＦＴ）論理回路）とを行うように設定してもよい。マイクロプロセッサ（microprocessor、マイクロコントローラ）１６７４は、入力信号１６７２を変換モジュール１６８０であってその入力信号１６７２にＦＦＴを適用するものに誘導するように設定してもよい。２番目の回路モジュールは、時間−周波数行列拡張（time-furequency matrix extension、行列のドメインを周波数から時間−周波数に拡張する）モジュール１６８２であってもよく、その時間−周波数行列拡張モジュール１６８２においては、複数の論理ゲートが、例えば式（３）に従い、周波数データ（frequency data、強度と時間と周波数との間の関係を表すデータ）についての複数の時間−周波数行列表現を生成するように設定される。これに代えて、メモリ１６７８は、例えば式（１）および（２）に示すように、入力信号１６７２の周波数変換を行うことと、例えば式（３）に示すように、複数の時間−周波数変換行列(time-frequency transform matrices、前記時間−周波数行列）すなわち複数の部分的な個別波を発生させることとを行うようにプロセッサ１６７６に指令するいくつかのアルゴリズムおよび関連データを保存してもよく、これによれば、互いに分離した複数の変換用回路モジュールを設ける必要がなくなる。

３番目の回路モジュールは、平滑化フィルタ・モジュール１６８４であり、この平滑化フィルタ・モジュール１６８４においては、複数の論理ゲートが、例えば式（４）−（７）に従い、周波数間位相カップリングを実現するように設定される。いくつかの実施態様においては、平滑化フィルタ・モジュール１６８４が、コンピュータ・グラフィックス・コプロセッサであってもよい。この平滑化フィルタ・モジュール１６８４は、時間−周波数行列拡張モジュール１６８２からの出力信号を受け取ってもよい。この平滑化フィルタ・モジュール１６８４は、前記時間−周波数変換行列（time-frequency transform matrix、前記時間−周波数行列）に対するＣＦＰＣを生成し(create、行い）、平滑化された時間−周波数変換結果（time-frequency transform、前記時間−周波数行列）１６８６をメモリ１６７８に出力する。この平滑化フィルタ・モジュール１６８４は、式（４）および（５）に示すごとき指数移動平均フィルタを適用してもよい。この平滑化フィルタ・モジュール１６８４は、平滑化された時間−周波数変換結果（time-frequency transform、前記時間−周波数行列）１６８６を生成するために、前述の、信号に適応するようにλを決定するアプローチまたは信号に依存せずにλを決定するアプローチを用いてもよい。

１または複数の別の回路モジュール、例えば、信号編集モジュール１６８４が、複数の離散的な時間ビン（time bins、時間区分、時間スロット）において、特定のいくつかの周波数の位置にある不要なエネルギーすなわち不要な信号強度を識別し（identifying、他の特徴量から区別し、特定し、認識し、同定し、選択し、個別に選んで指定し）、そして、それを変更または除去するために当該処理デバイス１６７０内に存在してもよい。この種の信号編集モジュール１６８４は、ローパスフィルタ回路というように単純なものであってもよく、または、この信号編集モジュール１６８４は、ユーザによって入力されたいくつかのパラメータを受け付けること、もしくは、前記時間−周波数ドメイン信号を直接編集することを可能にするユーザ・インタフェースさえ実現してもよい。この信号編集モジュール１６８４において編集が完了すると、その後、その編集済み信号は、逆変換（例えば、逆離散フーリエ変換）を実行して時間ドメインの編集済み信号に復元するために、変換モジュール１６８０に逆戻りするように送信されてもよい。プロセッサ１６７６は、その編集済み信号をメモリ１６７８に保存されるように誘導するか、または、他のデバイスによって使用されるかもしくは表示されるために出力してもよい。このように、処理デバイス１６７０は、時間ドメインの入力信号１６７２を受け取り、その入力信号１６７２を、前述の方法を用いて処理した後、修正済みの時間ドメイン信号１６９０を出力する。

図１７−図１９を参照することにより、望ましい信号処理プロセスであって、信号から不要なノイズまたは他の周波数異常部（frequency aberrations）を除去するために前述の時間−周波数行列拡張を用いてもよいものが理解され得る。図１６−図１８は、概略的に、従来(state of the art、PRIOR ART）の信号処理方法を、図１９と比較するために示しており、図１９は、この書類に開示されている前述の時間−周波数行列拡張を概略的に示している。図１６−図１９に示す複数の例は、オーディオ信号の処理という場面において理解してもよいが、本方法は、任意の信号に適用してもよく、そのような信号は、オーディオ信号、静止画像ファイルおよびビデオ信号の如き、時空間上の複数の測定値の列、または、ラジオ送信、テレビ送信および衛星送信；レーダー信号(RADAR)およびソナー信号(SONAR)；地上線および無線の電話送信ならびにデータ信号送信；電波望遠鏡によって受信された信号；地球物理学マッピング信号；ならびに断層画像および磁気共鳴画像として表現され得る。したがって、この書類に示されるオーディオ信号処理の例に加えて、前述の技術を用いる信号処理は、任意の数の分野および用途において実現可能である。

図１７には、従来のスペクトル編集方法１７００についての概略図が示されている。正弦波状の時間ドメイン信号１７０２が、本編集方法１７００の対象である。入力信号１７０２が、アナログ・ツー・デジタル（Ａ／Ｄ）変換により、デジタル表現に変換され（「サンプリングされ」）てもよい。これに代えて、入力信号１７０２が、先行する時刻にサンプリングされたサンプル信号を含むコンピュータ・データ・ファイルであってもよい。この取り込まれた入力信号１７０２は、時間対振幅または時間対強度の関係を表す複数の測定値の列を表す任意のタイプの信号であってもよい。典型的には、その時間ドメイン信号（the time domain signal、前記入力信号）１７０２は、さらなる解析および周波数ドメインへの変換による編集のために、「窓掛けされ」、すなわち、選び出される（selected、切り出される）。サンプリング用の窓（window、時間窓）のサイズ（size、時間窓長）について特別の要件は存在しない。例えば、窓関数１７０４ａを、大きな解析用の窓１７０６ａを選択するためのいくつかのパラメータを用いて設定することが可能であり、または、窓関数１７０４ｂを、比較的小さな解析用の窓１７０６ｂを選択するための別のいくつかのパラメータを用いて設定することが可能である。

その後、このようにして選択された各窓１７０４ａ，１７０４ｂは、前記時間ドメイン信号１７０２を、それに対応する周波数ドメイン表現に変換するためにＦＦＴ（FFT、高速フーリエ変換）演算（operation、計算、処理、演算部）１７０８（例えば、ＳＴＦＴ）を受ける。解析のために選択された前記窓１７０４ａ，１７０４ｂのサイズに応じ、周波数ドメイン表現に対する分解能が、前記不確定性原理に従って影響を受け、すなわち、高い時間分解能と高い周波数分解能とが同時に達成されることは不可能である。特に、時間ドメインからのサンプリング窓１７０４ａ，１７０４ｂが大きいほど、周波数ドメイン内における周波数の分解能が高く、すなわち、分解能帯域幅が狭いが、時間ドメイン内における分解能が犠牲となる。その理由は、前記ＦＦＴの分解能が、サンプリング周波数をサンプル数（すなわち、時間窓長）で割り算した値に等しいからである。

ＦＦＴ演算１７０８により、そのＦＦＴ演算１７０８のレンジ（range、対象範囲）内の複数の周波数のスペクトルに対応する複数の値の列が生成され、それら値は、「複数のビン」１７１２ａ／１７１２ｂ（離散的な複数の周波数値）の「スタック（stack、積み重ね）」１７１０ａ／１７１０ｂとしてグラフィック表示されてもよい。ビン１７１２ａ／１７１２ｂのうち、特定のいくつかの周波数の位置において信号エネルギー１７１４ａ／１７１４ｂを有するものが強調表示され、すなわち、黒塗りされ、それにより、何ら信号エネルギーを有しない複数の空のビンであってそれらビンに関連付けられる特定の周波数に位置するものと比較される。注目すべきことは、小さいサンプリング窓１７０６ｂが用いられる場合におけるスタック１７１０ｂ内の複数のビン１７１２ｂのそれぞれの有するより広い帯域と比較すると、大きなサンプリング窓１７０６ａが用いられる場合には、ＦＦＴ演算１７０８によって識別される前記離散的な複数の周波数であってスタック１７１０ａ内において複数のビン１７１２ａとして表現されるものがそれぞれ非常に狭い帯域を有し、よって、より高い分解能を有し、前記複数のビン１７１２ｂは、より帯域が狭い分解能を有し、このことは、すなわち、前記信号エネルギーが記録される１つの周波数帯域が比較的に広く、さらなる狭帯域化も改善もできないということであるということである。

複数のビン１７１２ａ／１７１２ｂは、それぞれ、画面上において、互いに異なる複数の周波数の位置において信号強度を示すコラム（column、柱、列、縦並び、コラム状グラフ）１７１８ａ／１７１８ｂとして表示されてもよく、前記複数の周波数は、複数の周波数ドメイン・プロット（plot、グラフ）１７１６ａ／１７１６ｂにおいて、時間に対して（plotted against time、時間軸を別の座標軸として）プロットされている。前記大きいサンプリング窓１７０６ａに対応するプロット１７１６ａの概略的な表現が、比較のために、前記小さいサンプリング窓１７０６ｂに対応するプロット１７１６ｂと関連するように示されている。周波数に関する特定のサンプル帯域内の信号エネルギー１７２２ａ／１７２２ｂを、各ビン１７１２ａ／１７１２ｂ内において、前記画面上に、画素数または画素色を異ならせることによって表現するか、または、複数の他の視覚的表現方法のうちの任意の数のものにより表現することが可能である。各コラム１７１８ａ／１７１８ｂは、窓１７０６ａおよび窓１７０６ｂ(the windows 1706a/b、長さが異なる複数の窓１７０６）のうち、Ｎ個の時間ドメイン・サンプル（すなわち、サンプリング周波数）にわたって推定される平均周波数および／または平均強度に対応するものから取得された１つの変換フレーム（transform frame、変換対象としてのフレーム、変換用フレーム）を表している。Ｎの値が大きいほど、周波数ドメイン内での分解能が高くなる（すなわち、同じ時間枠（time frame、時間区分）を占める縦状コラム１７１８ａの数が増加する）。これに対し、Ｎの値が小さいほど、時間ドメイン内での分解能が高くなるが周波数ビンの数が減少する（すなわち、同じ時間枠（time frame、時間区分）を占める縦状コラム１７１８ａの数が減少する）。

図１８には、標準的なスペクトル編集方法１８００についての別の概略図が、ノイズ１８０７を有する信号１８０２についての一般的な分析手順を強調するために示されている。典型的な解析および編集方法１８００においては、サンプリング関数（sampling function、標本化関数、窓関数）１８０４が、いずれのサンプル長さについても同一であり、よって、複数のサンプリング窓１８０６ａ／１８０６ｂが、同じサイズ（size、時間窓長）を有する。それらサンプリング窓１８０６ａ／１８０６ｂは、さらに、通常５０％以上の比率で、互いにオーバーラップするように設定されている（オーバーラップ領域１８０５を参照されたい）。ＦＦＴ演算（operation、計算、演算部）１８０８が、各サンプリング窓１８０６ａ／１８０６ｂ上で作動し、ＦＦＴ演算１８０８のレンジ（range、対象範囲）内の複数の周波数のスペクトルに対応する複数の値の列を生成し、それら値は、「複数のビン」１８１２ａ／１８１２ｂ（離散的な複数の周波数値）の「スタック（stack、積み重ね）」１８１０ａ／１８１０ｂとしてグラフィック表示されてもよい。ＦＦＴ演算１８０８によって識別される前記離散的な複数の周波数であってスタック１８１０ａ内において複数のビン１８１２ａとして表現されるものが、スタック１８１０ｂ内における複数のビン１８１２ｂと同じ分解能を有する。この理由は、サンプリング窓１８０６ａ／１８０６ｂが同じサイズ（size、時間窓長）を有し、ＦＦＴ演算１８０８の複数のパラメータが、それぞれのサンプルについて互いに同じであるからである。

複数のビン１８１２ａ／１８１２ｂは、それぞれ、画面上において、互いに異なる複数の周波数の位置において信号強度を示すコラム（column、柱、列、縦並び、コラム状グラフ）１８１８ａ／１８１８ｂとして表示されてもよく、前記複数の周波数は、１つの周波数ドメイン・プロット（plot、グラフ）１８１６において、時間に対して（plotted against time、時間軸を別の座標軸として）プロットされている。各コラム１８１８ａ／１８１８ｂは、窓１８０６ａおよび窓１８０６ｂのうち、Ｎ個の時間ドメイン・サンプル（すなわち、サンプリング周波数）にわたって推定される平均周波数および／または平均強度に対応するものから取得された１つの変換フレーム（transform frame、変換対象としてのフレーム、変換用フレーム）を表している。しかし、注記すべきことは、互いに隣接するコラム１８１８ａ／１８１８ｂは、互いに隣接する複数の変換フレームを表し、それら変換フレームは、互いにオーバーラップしている複数の窓１８０６ａ／１８０６ｂに対応し、よって、それら互いに隣接する複数の変換フレームは、データとしては互いに異なるが、それぞれある時間区間で互いにオーバーラップし、各変換フレームは、（Ｎ／サンプルレート（SampleRate、サンプリング周波数））秒の継続時間を有するということである。オーバーラップ（overlap、オーバーラップ領域）１８０５の存在および各窓１８０６ａ／１８０６ｂのサイズの結果、各時間ドメイン・サンプルであってノイズ１８０７の如き過渡信号（transient signals）を含むものが、１個より多い数の窓１８０６ａ／１８０６ｂ内に出現する。よって、過渡信号すなわちノイズ信号（noise signal、ノイズ）１８０７は、周波数ドメイン内において、複数の時間インスタンスにわたって拡散し（spread、分散し）、それにより、ノイズ１８０７を精度よく編集することが困難になる。ひとたび信号編集が完了すると、その後、周波数ドメイン内の前記いくつかの編集内容(the modifications、前記信号編集の対象、編集部位、編集点、修正点）が、逆周波数変換により、時間ドメイン表現に復元される。

図１９は、典型的なオーディオ編集アプリケーション１９００のスクリーン・ショットを示している。そのオーディオ編集アプリケーション（The application）１９００は、１つの窓内における解析および編集のためにオーディオ信号１９０４の周波数ドメイン変換結果（frequency domain transformations）を提示する（presents、画面上に表示する、可視化して出力する）とともに、オーディオ信号（the signals）１９０４を操作する（manipulation、編集する、変更する）ための編集ツール１９０２を提供する。ユーザは、画面上のいくつかの画素を、編集ツール１９０２を用いて操作し、それにより、特定のいくつかの周波数に位置する各時間ドメイン・サンプルについて信号エネルギーを変更する。図１９に示す画像は、代表的な１つの操作（manipulation、編集、編集のためにユーザが作業を行う）エリア１９０６を示しており、その操作エリア１９０６は、編集ツール１９０２によって提供される修正（treatment、編集）を適用するためにいくつかのサンプルといくつかの周波数とに跨るように選択される。この例においては、「支持領域（region of support）（ＲＯＳ）」が、前記いくつかの周波数を包囲するように任意の形状を有する境界線によって定義され、前記支持領域の外側にある領域は、手動または自動で抑圧されるかまたは抽出されるかもしれない。

最小の編集分解能（editing resolution、編集が可能である最小の領域）は、１個の画素であるかもしれない。しかし、各画像は、依然として、１個の窓の解析結果のうちの少なくとも一部、すなわち、１個より多い数の時間ドメイン・サンプルを表す。よって、すべての編集操作は、少なくとも、Ｎ個の時間ドメイン・サンプル、すなわち、ＦＦＴ１８０８によって分割されて処理される各サンプリング窓内に存在する複数個の離散的サンプルに影響を及ぼす。時間的に制限される(Time-limited、一時的にしか出現しない）いくつかの事象（例えば、過渡信号または図１８に示すノイズ１８０７）であって、前記オーバーラップ領域１８０５の長さより短い間隔で互いに接近しているものは、互いに分離して編集することは不可能であり、それらは同様な内容で編集されてしまう。例えば、ノイズ１８０７を除去するために前記編集プロセスによって特定の１つの周波数において信号強度を低下させると、その編集周波数において前記信号が、ノイズ１８０７が発生する期間より長さ期間にわたって減衰してしまう。

図２０には、この書類に開示されている時間−周波数行列プロセスを編集ツール２０００に適用することが示されている。この編集ツール２０００においては、時間ドメイン内における窓掛け（windowing、ウインドウイング）が全体的に任意選択的なものであり、前記解析のための変換サイズ（size、計算点数、サンプリング数）は、任意のものであるとともに、信号２００２のうちの、連続した１つの注目領域の全体、または、信号２００２のうちの複数の個別の部分を包含することが可能である。ひとたびＦＦＴ（FFT、ＦＦＴ演算、ＦＦＴ演算部）２００８が信号２００２のうち、窓２００６内に位置する部分に適用され、さらに、行列平滑化アリゴリズム２０１２が、前述のように、ＦＦＴ２００８によって生成された周波数ビン・スタック２０１０に適用されると、結果値としての時間−周波数変換データが、画像表現２０１６として視覚的に表示されてもよく、その画像表現２０１６においては、垂直軸が周波数を表してもよく、また、水平軸が時間を表してもよく、その逆であってもよい。

任意に与えられるスクリーン座標において信号強度を表示するために、画素の色および輝度を用いてもよい（例えば、「スペクトログラム」として）。このスペクトログラムは、ユーザが手動選択ツールを用いることと、その選択されたデータに対して種々の２次的なプロセスを適用することとによって直接的な信号操作（manipulation、編集）を行うために周波数ドメイン・データを表示する一般的な方法である。スペクトログラムを用いて編集を行う従来のプロセスでは、表現された信号のうちのスペクトル成分をサンプル(sample、前記時間的変化部、異常な信号、ノイズなど）ごとのレベルで（on a sample-by-sample level、サンプル単位で）操作することができず、編集操作（edits、編集箇所、編集内容）が、複数の個々のＳＴＦＴ変換フレームの範囲にまで及ぶように制限されてしまう。本方法によれば、データ（data、信号の構成を表すものなど）のうち、時間軸と周波数軸との双方に沿った任意に短いいくつかのセグメント(segmentsa、前記データの一部、いくつかの部分データ）（すなわち、高い時間分解能と高い周波数分解能）に対する編集処理であって、原信号において、時空間上の１個の値の継続時間を有するいくつかのセグメント（segments of the duration of a single spatio-temporal value、特定の時刻と特定の周波数とによって特定される唯一の値の継続時間を有するいくつかのセグメント）（すなわち、「サンプル・アキュレートな（sample accurate、サンプル精度が高い、サンプル誤差が少ない」）を編集することが可能であるものが実行可能となる。

例示的な編集ツール２０００においては、各コラムが、１つの時間ドメイン分割部（divisions、区分）（すなわち、１個のサンプル）を表し、１つの解析フレーム全体を表しているわけではない。垂直方向の分解能は、ＦＦＴ２００８を適用するために選択されたフレーム・サイズ（the frame size、変換フレームのサイズ）すなわち窓（window、時間窓長）２００６に依存する。繰り返すが、解析用の窓２００６は、オーバーラップ（overlap、他の窓とオーバーラップすること）を必要としない。Ｎの値が大きいほど、周波数ドメインの分解能が向上する（すなわち、垂直方向の複数の画素の数が増加する）。各々、複数の画素２０２０より成る複数本のコラムのうち互いに隣接するものは、互いに隣接する時間ドメイン増分（time domain increments、時間ドメイン増分区間）、すなわち、時間ドメイン分割部（partitions、区分）を表し、それぞれの時間ドメイン増分は、（１／サンプルレート（SampleRate、サンプリング周波数））秒の継続時間を有する。各々、複数個の画素２０２０が水平方向に並んで成る複数の帯域（bands、バンド）２０２２は、複数の周波数ビンであって、それぞれ、各時間ドメイン増分の信号エネルギーを表すものに対応し、また、それら帯域２０２２は、複数の時間ドメイン・サンプルの個数Ｎに対応する分解能を有する。時間的に制限される(Time-limited、一時的にしか出現しない）過渡信号すなわちノイズ信号２００７ａ／２００７ｂ／２００７ｃが、特定の複数の時間インスタンスまたは時間ビンにおいて、複数の離散的なオブジェクト(objects、画像対象物）２０２４ａ／２０２４ｂ／２０２４ｃ（すなわち、複数本の垂直線）として出現し、それらノイズ信号２００７ａ／２００７ｂ／２００７ｃは、窓２００６のサイズとは無関係に、それぞれ互いに独立して操作する（manipulate、編集する）ことが可能である。

上述の例示的な編集ツール２０００に関し、ユーザは、画像処理アプリケーションにおいて典型的に見られるものと同じいくつかの編集ツール（例えば、図１８におけるように）を用いて複数個の画素を操作してもよい。よって、それら信号処理方法は、より高い分解能を実現する別の編集ツール用アルゴリズムを簡単に代替するドロップイン・リプレースメント（drop-in replacement）として設定してもよい。ユーザは、前記信号を表す前記スペクトログラム表現のうちのいくつかの部分を選択し、それら部分を、画像処理において使用されるような選択用ツールもしくはコンピュータ支援型（machine aided、機械支援型）選択用ツールを用いるか、または、または、信号の基準（criteria、評価基準、目標基準）に基づくパラメトリック選択法（parametric selection methods、パラメトリック入力で選択を行う方法）により、修正してもよい（modify）。一実施態様においては、前記信号の複数の成分が、リバーブ（reverbs、残響音）、反射音および／またはエコー（echoes、共鳴音）を含むかもしれない。それら信号は、それぞれ識別され(identified、他の信号から区別され、特定され）、分離され、そして、修正されるかもしれない。別の実施態様においては、前記信号の複数の成分が、音声（voice、ボイス）成分、話声（speech、スピーチ）成分および／または非話声成分であるかもしれない。さらに別の実施態様においては、前記信号の複数の成分が、ノイズと、有用な情報を含む成分とであるかもしれない。さらに別の実施態様においては、前記信号の複数の成分が、他の信号から分離されるべき、ユーザによって定義可能なタイプの成分であるかもしれない。さらにまた別の実施態様においては、前記信号の複数の成分が、特に、無線送信信号、画像ファイルまたはビデオ・ファイルを含んでもよいが、それらに限定されない。編集の際における最小の分解能幅は、１個の画素であってもよい。

これに代えて、自動パラメトリック選択／修正ルーチンを、ユーザによる手動操作に代えて用いてもよい。例えば、ＳＴＦＴシーケンスを用いてノイズ内に埋め込まれたある時間−周波数パターン（pattern、時間−周波数ドメイン内での模様、波形、反復的に出現する成分）を探索するという従来技術は、連続した複数のＳＴＦＴ変換フレーム間の高度なオーバーラップを有する複数の変換フレームを必要とするかもしれないし、または、比較基準における高度な自由度（a high degree of freedom in the comparison criteria、目標のパターンの検出に成功したと判定するために測定値と比較される基準が内容的に豊富で充実していること）を必要とするかもしれない。本方法を、パターン検出用アルゴリズム（pattern detection algorithms、パターン検出用ソフトウエア、パターン検出用プログラム）と組み合わせて用いることにより、前記パターン（the pattern、目標の前記時間−周波数パターン）を、前記ノイズから分離してもよいし、また、パターン検出器（pattern detector）が、より高い信頼性で、所定のパターンを検出してもよい。その理由は、本方法においては、周波数分解能が変換サイズＮに依存し、その変換サイズＮは、大きな任意の数値であってもよいからである。時間分解能は、局所的時間−周波数局在化パラメータλに依存し、よって、場所によって変動することが可能である。よって、不要な信号成分を自動的に編集して除去するために、時間−周波数ドメイン内に、自動的なパターン検出用ソフトウエアを採用してもよい。望ましい自動編集ツールとしては、UNMIX::DRUMS（ドイツ国ザイナプティック社）があり、これは、オーディオ・ミックス（audio mix、複数の音声ファイルを結合して成る１つの音声ファイル）内においてドラムという楽器に対応するいくつかのパターンを検出し、それらパターンを、予め選択されたいくつかのパラメータに応じて自動的に減衰または強調し、さらに、UNVEIL（ドイツ国ザイナプティック社）もあり、これは、信号からリバーブを検出して除去するためにパターン検出を用いる。

その後、時間−周波数ドメイン内のいくつかの編集内容（modifications、編集点、編集箇所）を、逆周波数変換により、時間ドメイン表現に戻るように変換してもよい（例えば、式（８）に示すように）。これに代えて、その編集内容（the modification、時間−周波数ドメイン内の編集内容、編集箇所、編集点）を、ディスク上に、変換されたデータ(transformed、時間−周波数ドメインのデータ）、または、そのまま(direct、もとのままの）（時間ドメイン）のデータであって後続する読出しおよびさらなる編集に備えるものとして保存してもよい。編集された時間ドメイン・サンプルをデジタル・ツー・アナログ（Ｄ／Ａ）変換によって復元してもよい。これに代えて、その編集された時間ドメイン・サンプルを、コンピュータ上で、デジタル・データ・ファイルとして保存してもよく、そのデジタル・データ・ファイルは、後日、デジタル・ツー・アナログ（Ｄ／Ａ）変換によって変換してもよい。

当業者であれば理解されることは、本方法は、上記と同様に、他の多くの分野、例えば、電子工学、物理学、画像処理、および、ＦＦＴまたはそれに関連する周波数変換であってスペクトル分析を用途とするものを用いるほぼすべての分野における用途を有してもよいということである。

当業者であれば理解されることは、本方法は、普通であればフーリエ変換に基づく既存の技術およびアルゴリズムであって、前述の信号処理アルゴリズムに対してほとんど変更を施さないものから全く変更を施さないものまでを簡単に代替するドロップイン・リプレースメントとしてか、または、そのようなものと組み合わせて用いてもよいということである。例えば、本方法は、ＳＴＦＴ用の各解析フレームを、等間隔で、Ｎ個のサブ・フレームに変換する（すなわち、１個の時間ドメイン・サンプル当たり１回の変換を行う）ために用いることが可能である。それらサブ・フレームは、それぞれ、フル分解能(full resolution、最小の分解能幅が１個の時間ドメイン・サンプルである）ＦＦＴとして取り扱うことが可能であり、また、ＦＦＴ系(FFT-based、ＦＦＴを基本にした、ＦＦＴを用いる、ＦＦＴに関連する）アルゴリズムを適用することが可能である。

これまでにいくつかの実施態様を詳細に説明してきたが、当業者であれば認識されることは、本発明の主旨を逸脱することなく、種々の変更、別の構成および均等な態様を用いてもよいということである。したがって、多くの周知のプロセスおよび要素についての説明は、本発明を不要なほどに不明りょうにすることを回避するために行わなかった。よって、これまでの説明は、本発明の範囲を限定するものとして把握されるべきではない。

当業者であれば理解されることは、この書類に開示されている複数の実施態様は、本発明の範囲を限定するわけではなく例示のために開示されているということである。したがって、上述の発明の詳細な説明の欄に存在するかまたは添付された図面に示されている事項は、本発明を例示的に説明するものとして解釈されるべきであって、本発明の範囲を限定する意味で解釈されるべきではない。特許請求の範囲の欄における複数の請求項は、この書類に記載されている上位概念的な特徴および下位概念的な特徴のすべてと、この書類に記載されている方法およびシステムの範囲についてのすべての記載とを包含するように意図されており、この書類に記載されている方法およびシステムの範囲は、上位概念的な特徴と下位概念的な特徴との間に位置する。

Claims (22)

1. 複数の離散的な信号サンプル内において不要信号特徴量を識別するために電磁信号を処理する方法であって、
   特別に設定されるマイクロプロセッサにより、入力信号の時間−周波数表現を生成する工程であって、その生成のために、
   前記入力信号を、時間ドメインで表現された複数の変換フレームとして受け入れる工程であって、各変換フレームは、その変換フレームにわたる複数の離散的な時間インスタンスに対応する複数の信号サンプルを有するものと、
   周波数変換を用いることにより、各変換フレームを周波数ドメインに変換する工程であって、前記入力信号は、各周波数バンドごとに、位相および強度の測定値を用い、複数の周波数バンドより成るグリッド上において表現されるものと、
   周波数軸と時間軸とを有する複数の行列であって、各変換フレームにわたる前記周波数、強度および位相の情報についての実数部および虚数部に対応する複数の余弦波および正弦波を有するものを生成する工程であって、各余弦波および各正弦波は、前記変換フレームのＮ個の信号サンプルの時間ドメイン継続時間の全体にわたって延びるものと
   を有するものと、
   平滑化フィルタを前記複数の行列の前記周波数軸に沿って適用し、それにより、各離散信号サンプルごとに、互いに隣接する複数の周波数範囲である複数の隣接周波数範囲の間の同期を取り、それにより、それら隣接周波数範囲からの複数の波のエネルギーが互いに漏れ合うように前記複数の行列を前記周波数軸に沿って平滑化する工程であって、不要信号特徴量が、前記時間ドメインの前記入力信号のうち当該不要信号特徴量が発生した各時間インスタンスごとに、前記平滑化が行われた時間−周波数表現(time-frequency representation、前記複数の行列）についての複数の周波数バンドであって当該不要信号特徴量に対応するものにおいて拡大されるものと、
   前記平滑化された複数の行列から時間−周波数表現の強度および位相を生成する工程と、
   前記時間−周波数表現の強度および位相についての複数の値もしくは複数の表現またはそれらの双方であって、複数の離散信号サンプルについての複数の個別の周波数バンド内において不要信号特徴量を強調するものを前記マイクロプロセッサに接続されるメモリ・デバイス内に保存するために出力するか、または、前記マイクロプロセッサに接続される表示装置上に表示する工程と
   を含む方法。
2. さらに、
   前記マイクロプロセッサにより、前記時間−周波数表現の強度および位相を修正する工程と、
   前記マイクロプロセッサにより、前記時間−周波数表現の強度および位相であって修正されたものを、前記入力信号の時間ドメイン表現であって修正されたものに逆変換する工程と、
   その修正された時間ドメイン表現を前記マイクロプロセッサから出力する工程と
   を含む請求項１に記載の方法。
3. 前記修正する工程は、
   前記時間−周波数表現の強度および位相であって修正されたものの内部の不要信号特徴量を識別する工程と、
   その不要信号特徴量の強度もしくは位相またはそれらの双方を変更する工程と
   を含む請求項２に記載の方法。
4. さらに、前記マイクロプロセッサにより、前記識別する工程および前記変更する工程を実施するために実行される自動パターン検出プロセスを含む請求項３に記載の方法。
5. 不要信号特徴量を識別するために、デジタル化された電磁信号を処理するためにコンピュータ・システムによって実行される方法であって、
   特別に設定されるマイクロプロセッサにより、入力信号の時間−周波数表現であって修正されたものを生成する工程であって、その生成のために、
   前記入力信号を、時間ドメインで表現された複数の変換フレームとして前記マイクロプロセッサ内に受け入れる工程であって、各変換フレームは、複数の信号サンプルを有するものと、
   周波数変換により、前記入力信号の各変換フレームを周波数ドメインに変換する工程と、
   時間次元を前記周波数変換内に導入する工程であって、その導入により、各変換フレームごとに、かつ、前記入力信号について前記周波数変換が行われた各周波数バンドごとに、複数の周期部分波であって、周波数および強度がそれぞれ不変であるものを生成し、それにより、各変換フレームごとに時間−周波数表現を生成する工程と、
   平滑化フィルタを前記時間−周波数表現に適用し、それにより、互いに隣接する複数の周波数範囲である複数の隣接周波数範囲の前記複数の周期部分波の間の同期を取るとともに、前記同期によって前記複数の周期部分波から変換された、前記複数の周波数バンドにわたる複数の非周期性の波束を含む時間−周波数表現であって平滑化されたものを生成する工程であって、不要信号特徴量が、前記時間ドメインの前記入力信号のうち当該不要信号特徴量が発生した各時間インスタンスごとに、前記平滑化が行われた時間−周波数表現についての複数の周波数バンドであって当該不要信号特徴量に対応するものにおいて拡大されるものと、
   各信号サンプル内の各周波数バンドごとに前記複数の非周期性の波束から、時間−周波数で表現される複数の時間−周波数値を生成する工程と、
   前記複数の時間−周波数値もしくはそれら時間−周波数値の複数の表現またはそれらの双方であって、複数の離散信号サンプル内において前記不要信号特徴量を識別するものを前記コンピュータ・システム内の表示装置上に表示する工程と
   を含む方法。
6. さらに、前記平滑化された時間−周波数表現内の不要信号特徴量を修正するために前記複数の時間−周波数値を編集する工程を含む請求項５に記載の方法。
7. さらに、前記マイクロプロセッサにより、前記複数の時間−周波数値であって編集されたものの時間ドメイン信号であって修正されたものを生成する工程を含み、
   前記表示する工程は、さらに、前記修正された時間ドメイン信号を表示装置上の表現として表示する工程を含む請求項５に記載の方法。
8. デジタル化された電磁信号から不要信号特徴量を除去するために前記電磁信号を処理するように用途が特化されたコンピュータを機能させるための複数の指令を有する非過渡的コンピュータ読取り可能記録媒体であって、前記複数の指令は、複数の工程を含むコンピュータ・プロセスを実行し、前記複数の工程は、
   時間ドメイン内の複数の変換フレームを有する入力信号を受け入れる工程と、
   周波数変換により、前記入力信号を周波数ドメインに変換する工程と、
   前記周波数変換結果から、前記複数の変換フレームにそれぞれ対応する複数の時間−周波数行列を生成する工程であって、前記周波数変換結果は、前記周波数変換についての複数の基底関数を有し、それら基底関数は、各変換フレームについての変換用の強度および位相について調整されており、前記複数の時間−周波数行列は、各変換フレームごとに、各々、サンプル時間ｔを有する複数のインスタンス内の時間という第１次元と、複数の帯域ビンｋ内の周波数という第２次元とを有するものと、
   周波数間位相カップリング処理用アルゴリズムを互いに隣接する複数の周波数の間に適用し、それにより、互いに隣接する複数の周波数の間の同期と、平滑化された複数の時間−周波数行列の生成とを行う周波数間位相カップリング処理用アルゴリズム適用工程であって、不要信号特徴量が、前記時間ドメインの前記入力信号のうち当該不要信号特徴量が発生した各サンプル時間ｔごとに、前記平滑化された複数の時間−周波数行列についての複数の帯域ビンｋであって当該不要信号特徴量に対応するものにおいて拡大されるものと、
   保存するためか、または、表示装置上に表示するために、時間−周波数で表現される複数の時間−周波数値もしくはそれら時間−周波数値の複数の表現またはそれらの双方を、関連する複数の時間サンプルｔにつき、前記平滑化された複数の時間−周波数行列であって前記不要信号特徴量を識別するものから出力する工程と
   を含む非過渡的コンピュータ読取り可能記録媒体。
9. 前記複数の指令は、さらに、複数のプロセス工程を実行し、それらプロセス工程は、
   前記平滑化された複数の時間−周波数行列から、各変換フレーム内の各サンプル時間ｔおよび各帯域ビンｋにつき、複数の時変強度および複数の時変位相を生成する工程と、
   関連する複数の帯域ビンｋ内において、前記複数の時間サンプルｔについて前記不要信号特徴量を編集するために前記複数の時変強度および複数の時変位相を修正する工程と
   を含む請求項８に記載の非過渡的コンピュータ読取り可能記録媒体。
10. 前記修正する工程は、前記複数の時変強度および複数の時変位相を時間−周波数ドメイン内において修正し、その結果、複数の離散的な時間サンプルｔに関し、前記時間ドメイン内と前記周波数ドメイン内とにおいてスペクトル成分を編集する請求項９に記載の非過渡的コンピュータ読取り可能記録媒体。
11. 前記複数の指令は、さらなるプロセス工程を含み、そのプロセス工程は、
    前記修正された複数の時変強度および複数の時変位相から、複数の時間−周波数行列であって修正されたものを生成する工程と、
    前記修正された複数の時間−周波数行列であって前記不要信号特徴量に対する複数の編集内容を反映するものから、前記入力信号の時間ドメイン信号が修正された修正済み時間ドメイン信号を生成する修正済み時間ドメイン信号生成工程と
    を含み、
    前記出力する工程は、さらに、保存するためか、または、表示装置上に表示するために、前記修正された時間ドメイン信号を出力する工程を含む請求項９に記載の非過渡的コンピュータ読取り可能記録媒体。
12. 前記修正済み時間ドメイン信号生成工程は、前記入力信号についての修正済み時間ドメイン表現を生成するために、前記平滑化された複数の時間−周波数行列を逆変換する工程を含む請求項１１に記載の非過渡的コンピュータ読取り可能記録媒体。
13. 前記平滑化された複数の時間−周波数行列の生成は、さらに、
    局所的時間−周波数局在化パラメータを選択する工程と、
    その選択された局所的時間−周波数局在化パラメータに基づき、前記平滑化された複数の時間−周波数行列を生成する工程と
    を含む請求項８に記載の非過渡的コンピュータ読取り可能記録媒体。
14. 前記修正済み時間ドメイン信号生成工程は、さらに、
    前記入力信号の時間ドメイン表現であって修正されたものを生成するために、前記平滑化された複数の時間−周波数行列を逆変換する工程を含み、
    前記入力信号についての前記修正された時間ドメイン表現は、局所的時間−周波数局在化パラメータに依存する時間分解能と、前記周波数変換のサイズに依存する周波数分解能とを有する請求項１１に記載の非過渡的コンピュータ読取り可能記録媒体。
15. 前記局所的時間−周波数局在化パラメータは、０以上１未満である請求項１３または１４に記載の非過渡的コンピュータ読取り可能記録媒体。
16. 前記平滑化された複数の時間−周波数行列の生成は、さらに、
    前記平滑化された複数の時間−周波数行列を計算するために前記局所的時間−周波数局在化パラメータを変更する局所的時間−周波数局在化パラメータ変更工程と、
    前記局所的時間−周波数局在化パラメータを、変換後の強度が最大となるように選択する工程と
    を含む請求項１３に記載の非過渡的コンピュータ読取り可能記録媒体。
17. 前記局所的時間−周波数局在化パラメータ変更工程は、さらに、前記局所的時間−周波数局在化パラメータを、低周波数については周波数分解能を改善し、高周波数については時間分解能を改善するために、１／ｆ（周波数の逆数）のカーブに比例するように変更する工程を含む請求項１６に記載の非過渡的コンピュータ読取り可能記録媒体。
18. 前記局所的時間−周波数局在化パラメータ変更工程は、さらに、前記局所的時間−周波数局在化パラメータを、強度についてのピーク値対局所的平均値比が低い場合には、相対的に高い局所的時間−周波数局在化パラメータを発生させ、それにより、相対的に高い時間分解能を達成するとともに、強度についてのピーク値対局所的平均値比が高い場合には、相対的に低い局所的時間−周波数局在化パラメータを発生させ、それにより、相対的に高い周波数分解能を達成するように、白色化された強度スペクトル|Ｘ_ｋ|’（強度の絶対値）に比例するように変更する工程を含む請求項１６に記載の非過渡的コンピュータ読取り可能記録媒体。
19. 前記局所的時間−周波数局在化パラメータ変更工程は、さらに、前記局所的時間−周波数局在化パラメータを一定の増分で変更する工程を含む請求項１６に記載の非過渡的コンピュータ読取り可能記録媒体。
20. 前記周波数間位相カップリング処理用アルゴリズム適用工程は、さらに、各周波数バンド内の波の一部を、隣接する周波数バンド内の波と合波する工程を含む請求項８に記載の非過渡的コンピュータ読取り可能記録媒体。
21. 各時間−周波数行列は、Ｎ×（Ｎ／２＋１）というサイズを有し、そのＮは、各変換フレーム内の時間サンプルｔの数を表す請求項８に記載の非過渡的コンピュータ読取り可能記録媒体。
22. 前記周波数間位相カップリング処理用アルゴリズム適用工程は、さらに、指数移動平均フィルタと、有限インパルス応答（ＦＩＲ）フィルタと、無限インパルス応答フィルタと、ランク・オーダー・フィルタと、平滑化フィルタと、適応フィルタとのうちの１または複数によってローパスフィルタ処理を適用する工程を含む請求項８に記載の非過渡的コンピュータ読取り可能記録媒体。