JPH07505949A - 時間により変化するスペクトル分析に関する方法および装置 - Google Patents

時間により変化するスペクトル分析に関する方法および装置

Info

Publication number
JPH07505949A
JPH07505949A JP5516728A JP51672893A JPH07505949A JP H07505949 A JPH07505949 A JP H07505949A JP 5516728 A JP5516728 A JP 5516728A JP 51672893 A JP51672893 A JP 51672893A JP H07505949 A JPH07505949 A JP H07505949A
Authority
JP
Japan
Prior art keywords
spectrum
signal
coefficient
input signal
analysis device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5516728A
Other languages
English (en)
Other versions
JP2697957B2 (ja
Inventor
キャン,シー
チェン,ダパン
Original Assignee
ナショナル インストルメンツ コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ナショナル インストルメンツ コーポレイション filed Critical ナショナル インストルメンツ コーポレイション
Publication of JPH07505949A publication Critical patent/JPH07505949A/ja
Application granted granted Critical
Publication of JP2697957B2 publication Critical patent/JP2697957B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01RMEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R23/00Arrangements for measuring frequencies; Arrangements for analysing frequency spectra
    • G01R23/16Spectrum analysis; Fourier analysis

Landscapes

  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Complex Calculations (AREA)
  • Measurement Of Resistance Or Impedance (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 時間により変化するスペクトル分析に関する方法および装置 限定された著作権放棄 この特許文書の開示の部分には、著作権保護の申し立てをした素材が含まれてい る。著作権者は、特許の文書や開示の複写物が、米国特許商標庁の出願書類や記 録に表れるように、だれにより行われようと異議を申し立てない。しかし、その 他の権利はすべて留保している。
発明の背景 発明の分野 この発明は、デジタル信号処理に関するものであり、特に、時間により変化する 周波数成分を有する信号の特性を定めるための方法および装置に関するものであ る。
関連する技術の説明 デジタル信号処理のための典型的なシステムは、入力アナログ信号をデジタル・ サンプル信号系列への変換、デジタル・サンプル信号系列をデジタル信号に対し て配列やブロックレベルで計算を行うデジタル信号処理エンジンへの供給および 計算結果に対する分析を含んでいる。この分野は、音声処理、レーダーやソナー の画像認識、水中音波探査器その他の技術に急速に拡大している。
離散フーリエ変換(Discrete Fourier TransformD FT)と高速フーリエ変換(Fast Fourier TransformF FT)によるDFTの実現は、デジタル信号処理システムにおける基本的な処理 技術である。これらの技術は、処理されている信号に対して、時間により周波数 成分がどのように変化しているのかを特徴づけることができないという制限があ る。
従来の時間により周波数成分が変化する信号を分析するシステムにおいては、所 謂短時間フーリエ変換(STFT)が用いられていた。このアルゴリズムは、入 力信号の多数の短いウィンドのフーリエ変換を計算することに基づいている。各 短い時間のウィンドごとに変換して結合することにより、入力信号の時間により 変化するスペクトルがまる。しかし、5TFT技術を用いてめた時間により変化 するスペクトルは、よい分解能を有していない。また、5TFT技術は、計算量 が多い。
Gabor変換は別のデジタル信号処理の手法で、信号の合成された時間−周波 数表現を生成する(D、Gabor ”Theory of (:ommuni cation″ J、 IEE(London)、Vol、93 No、III 、November、1946.pp、429−457を参照)。この応用は、 しかしながら、主として2重直交補助つィンド関数γを選択することが難しいた めに、制限されていた。最近、有限サイクリック離散Gabor変換のための補 助関数γを設計するための枠組みが開発された (Wexler et al、  ”Discrete GaborExpansions”、 Signal  Processing、 Vol、21 No、3゜November、 19 90. pp、207−221.参照)。しかし、沢山の信号処理の応用に対し て、有限サイクリックGabor変換は適当ではない。有限離数Gabor変換 の一般的解法が存在しないため、このデジタル処理技術の有用性が制限されてい る。そして、時間的に変化するエネルギ・スペクトルの作成に適用することに成 功していない (Qian、 et al、 ”Wigner Distrib utionDecomposition and Cross−term In terferenceCancellation+UMBCTechnical  ReportNo、EER−91−1,University of Mar yland、 January。
1991を参照)。
発明の概要 本発明は、時間的に変化する周波数成分で特徴づけられた人力信号の時間的に変 化するスペクトルを生成する信号分析装置を提供するものである。この発明は、 また、時間で変化するスペクトルを基にして信号を分析する方法である。
したがって、第1の特徴として、本発明は、入力信号を表すデジタル信号系列を 生成する変換器を有する信号分析装置を含む。デジタル信号系列は、直交的離数 Gabor変換係数C++t、 nをその信号系列に応答して計算し、この係数 に応答して人力信号エレルギの時間で変化するスペクトル(ここではGabor スペクトルと記述している)を計算する第1のプロセッサに供給される。最後に 、第2のプロセッサはこのスペクトルをその後の分析や表示のために処理する。
時間で変化するスペクトルが有用な一つの特別な分析は、入力信号を別々の構成 要素に分解することである。別々の構成要素は色々な技術を用いて各々分析され る。
第1のプロセッサは大力バッファを有しており、バッファ制御装置により、入力 されるデジタル信号系列を受信し、係数の計算のために適当なフォーマットで供 給される。同時に、プロセッサは出力バッファを有しており、それには時間で変 化するスペクトルを表すマトリックスの値を、プロセッサ・エンジンにより、格 納している。
デジタル信号プロセッサは、ソフトウェアで制御された汎用コンピュータかハー ドウェアで実現されて、係数と時間で変化するスペクトルを計算するようにプロ グラムされている。そのルーティンは、次のステップを基にしている。
入力信号を表すデジタル信号系列を取り入れるステップ、 デジタル信号系列をサンプリングして、長さしの複数のウィンドウを定義し、複 数のウィンドウの各々は、複数のデジタル信号を含み、隣接のウィンドウに関連 する6Mの長さのデジタル信号でシフトするステップ、 サンプリング間隔ΔNと6Mの直交的離散Gabor変換係数C,,、。を、n =oからN−1まで各ウィンドウmに対してと、複数のウィンドウm=oがらM −1まで、ΔNΔMがLより小さい値に対して、計算するステップ、 係数C力、。に応答して、入力信号のエネルギの時間で変化するスペクトルを計 算するステップ、入力信号を時間で変化するスペクトルに応答して分析するステ ップ 直交的離散Gabor変換の係数は、非周期的な局所離散ウィンドウ関数りおよ びhと同様でhとγは重ならないような離散補助関数γを用いて計算される。時 間で変化するスペクトルは、クロス環を削除した(cross−term de leted)Wigner−Ville分布を用いて計算される。
本発明の別の特徴は、離散ウィンドウ関数は、約0、5 (L/12) ”以下 の分散02を有するガウス関数(Lは計算で使用したウィンドウの長さ)である 。
また本発明の別の特徴は、スペクトルが、係数を基にしたエネルギ分布関数で使 用した予め計算した項目を有するルックアップ・テーブルを使用して計算するこ とである。それぞれの係数に対して、スペクトル上の係数の周囲の更新領域は、 係数の大きさに対応して定められている。エネルギ分布は、各係数の更新領域内 で計算される。予め計算された項目のルックアップ・テーブルは、最大の大きさ の係数の更新領域をカバーするのに十分なサイズを有するように計算される。こ の様に、定められた大きさのルックアップ・テーブルは、与えられたGabor スペクトルエンジンに対して使用することができる。
本発明の信号分析装置および方法は、音声処理、音や電磁波の通信、音や電磁波 の監視、レーダー、ソナー、およびその他の信号処理の環境で遭遇する時間で変 化する周波数成分で特徴づけられる信号に対して特に有用である。例えば、複雑 な信号のグループの中で、ある周波数スペクトルを有する信号の始まりと終わり の時間を特定する能力は、即ち他の複数の人が存在する部屋内で特定の人がしゃ べり始めるときに必要であるが、本発明のGaborスペクトル分析装置や方法 により大幅に改良される。
本発明の他の特徴と効果は、明細書、図面、特許請求の範囲をよく読むことで理 解される。
図面の簡単な説明 第1図は、本発明の信号分析装置のブロック図である。
第2A図および第2B図は、本発明のGaborスペクトルを計算する方法をし めずフローチャートである。
第3図は、Gaborスペクトルの計算で使用されるデジタル信号のフレームの 構成を示す図である。
第4図は、Gaborスペクトルの計算で使用されるサンプルを行う分布を示す 説明図である。
第5図は、本発明によるGaborスペクトルのエネルギ分布の計算に使用する 更新領域の例を示す図である。
第6図は、本発明のGaborスペクトルを生成する信号分析装置のより詳細な ブロック図である。
第7A図および第7B図は、それぞれ周波数ホッピング信号および雑音のあるホ ッピング信号で、時間で変化する周波数成分を有する入力信号を示した図である 。
第8A図および第8B図は、それぞれ本発明を第7A図および第7B図に示した 入力信号に適用して生成されるGaborスペクトルを示すグラフの図である。
第9図は、本発明の信号分析装置の応用に用いられる局所化したウィンドウ関数 りと離散補助関数γを示す図である。
発明を実施するための最良の形態 本発明の実施例を図面を用いて詳細に説明する。
第1図は、本発明の信号分析装置を説明するブロック図である。分析装置は、符 号10で参照されるが、アナログ/デジタル変換器11、デジタル信号プロセッ サ12、デジタル信号プロセッサに接続された制御部13、Gaborスペクト ル分析装置14、そして表示装置15を有する。入力信号s (t)が変換器や 他の入力源から線16に供給される。アナログ/デジタル変換器11は入力信号 s (t)を表すデジタル値の系列5(i)を発生する。系列5(i)はデジタ ル信号プロセッサ12に供給される。デジタル信号プロセッサは、デジタル信号 処理(DSP)機能を実行するようにプログラムされた汎用コンピュータを使用 することで、またはこの目的に適合した特別のデジタル信号処理(DSP)を行 うエンジンで実施される。デジタル信号プロセッサ12は離数Gabor変換( DGT)を、入力信号5(i)のGabor係数を計算し、この係数に応答しク ロス環を削除した(cross−termdeleted)Wigner−Vi lle分布(PWDV)を基にして時間および周波数のエネルギ分布を計算する ことにより実行する。エネルギ分布GS(i、s)はデジタル信号プロセッサの 出力から線17上に供給される。エネルギ分布GS(i、s)はGaborベク トル分析装置14で分析され、表示装置15に供給するためにエネルギ分布の画 像表示を生成する。また、Gaborスペクトル分析装置14は、他の分析機能 、例えば、音声処理、伝送、画像認識等で使用するために、時間で入力信号の成 分を分解すること等を行うことができる。スペクトル分析装置14は、プログラ ムされた汎用コンピュータやこの目的のために設計された専用装置である。分析 装置14はデジタル信号プロセッサ12と同じプロセッサ上に実現してもよい。
制御ブロック13は、l実施例では、付表Aのようなコンピュータ・プログラム で構成されている。
付表Aに示されるプログラムは、LABVIEW(National Inst rumentsの商標)計測ソフトウェアシステムのために書かれたソースコー ド・ルーティンの一例である。明らかに、広範囲の種類の他のソースコードで実 装することができる。
付表Aは、GaborSpectrum、c 、 GaborMagnitud e、c。
そしてautoWV、 cを含む3つのルーティンで構成されている。Gabo rSpectrum、 cはGabor係数の計算のためのデータを設定する。
ユーザは、スペクトルを計算するためのオーバーサンプリング率1分散、および ウィンドウの長さのようなパラメータを選択してルーティンを初期化する。パラ メータに関するより詳細な説明が下記に記載されている。ルーティン Gabo rSpectrum、 cは、ルーティンGaborMagnitude、 c を呼び出す。そのルーティンは、複素Gabor係数を計算し、Gaborスペ クトルを計算するのに使用する係数の大きさを出力として供給する。ルーティン autoWV、 cは、係数に応答してエネルギ分布を計算し、Gaborスペ クトルを出力する。
基本的には、Gaborスペクトル・アルゴリズムは、次の1−8のステップで 構成されている。
ステップ1: ウィンドウの長さしを選択する。ある実装では、値しは常に自乗である。例えば 、L = 64.128.256.512゜・・・等である。Lを定めた後、周 波数分解能が式(1)により定められる。
L = 128またはL = 256が音声処理に応用する場合に適当である。
ステップ2ニ オーバーサンプリング率を選択する。オーバーサンプリング率は、式(2)によ り定められる。
ここで、6Mは時間領域の増分、ΔNは周波数領域の増分である。
(mΔM、nΔN)は、Gabor変換で見出されるガウス関数の座標である。
ここで、mは0から(SL/ΔM−1)まで、SLはサンプル長、そして、nは Oから(L/ΔN−1)までである。図4はGabor変換アルゴリズムにおけ る係数0□、0の位置を示す図である。
オーバーサンプリング率として4が選択される。しかし、他の値も可能である。
オーバーサンプリング率が太き(なると、計算量が増加する。オーバーサンプリ ング率の4が、出カスベクトルの分解能と必要な計算量との間の妥協として良い ことが証明されている。
ステップ3: 式(3)となるように、ΔM、ΔNを選択する。
付表Aの実装では、L = 128の場合、ΔM=8および△N=4を選択した 。しかし、他の選択も同様に適している。6MとΔNの選択で、Gaborスペ クトルの時間軸上および周波数軸上のそれぞれの分解能を定まる。
ステップ4: L、ΔM、ΔNが与えられると、ウィンドウ関数の分散σ2は(4)の式で定め られる。
これは、ウィンドウ関数りに対する局所化したガウス関数を確保する。分散を大 きくするとよりよい周波数領域の分解能が得られる。分散を小さくするとよりよ い時間領域の分解能が得られる。
ステップ5: Lと02が与えられると、ガウス・ウィンドウ関数h [L]が与えられる。そ して、離散補助関数γ[L]が、付表Bに示されているように、γが最小自乗誤 差に関してhと同様に定められる。最適なシステムでは、γとhは示された領域 の制限内で重ならない。補助関数γ[L]とウィンドウ関数h [L]の例が第 9図に示されている。
ステップl−5は、準備的なステップである。実際のスペクトル計算はステップ 6以下で行われる。
ステップ6: 第3図は、どのようにして連続的な信号が離散化するのか、そしてどのようにし てL点フレームの離散信号5(i)の系列に適応するのかを示している。あるフ レームのL点がめられると、L点に対するGabor係数の大きさを以下に従っ て計算する。
傘は共役複素数を示す。
5(i)= Ofor i<O m = −L/ΔM+1.−L/Δ旧2.−、0,1,2.−・・n =0.1 ,2.、−、N−1 W −nΔNi −2πnΔNi/L (6)1 −e m6Mの値は入力データの使用され方を示す0次の例は、この過程を説明するた めである。
m= −L/Δ旧1.5(−L+ΔM)、5(−L+Δ+1)、・。
S(6M−1) が用いられる。
m=0,5(0)、5(1) ・=、5(L−1)が用いられる;m= 1.s (6M)、 s(Δ旧2)、 −、s(Δ旧L−1)が用いられる ; m=2. s(2ΔM) 、 s (2△M+2)、 −、s(2Δ旧L−1) が用いられる ; s(m6M)、 s(smΔM+1)、 ・・、s(mΔM+L−1)が用いら れる。
各々、係数Cm、 nが n=o、1. ・・・N−1の場合に対して計算され る。
示されているように、この計算は、FFTの順序の形式を有している。
ステップ7: 係数Cm、nが5(i)に対して計算された後、信号のスペクトルがクロス項を 削除した(cross−term deleted)Wigner−Ville 分布を用いて計算される。Gabor数C1,。
は疎に位置しているので、スペクトルの完全な再構築には、係数Cm、 n間の 点の補間が必要となる。Wigner−Ville分布のクロス項の干渉(in terference)を削除後、信号のエネルギは以下の式で計算される。
m=−L/ΔM+l n=。
O≦1 <■、0 ≦k ≦L/2−1 (7)ステップ8: (m6M、nΔN)における各Gabor係数IC,,n+に対して、スペクト ル値GSa (z、 k)がステップ7の式で計算され、前のGSa (i、  k)と累算される。即ち、第5図に示されているように、点(i、k)における エネルギは、係数C2□+Cal+Cx++Cazそしてその他の分布の累算さ れた寄与である。計算機言語の表現を用いて、その累算は以下のように表される 。
GS、 (i、 k) = GS−(i、 k)式(8)における定数4は正規 化係数で、特定の応用により変化するものである。
上記の項は、(m6M、nΔN)におけるGabor係数から離れた点(i、k )では、急速に減少するので、このステップにおける反復は、点(m6M、nΔ N)の周囲の小さい領域に限定される。正確な領域の大きさは、応用に合わせて 調整される。また、上記指数の項は毎回計算する必要はない。この項は予め計算 され、ルックアップ・テーブルに格納される。
スペクトル計算上の重要な問題は、いつ計算を停止するか即ち更新領域の大きさ である。Cm、 nの隣接する点へのエネルギ寄与は、指数関数的に減少するの で、(m6M、nΔN)から遠く離れた点を計算する必要はない。このため、各 Gabor係数Cm、 nに対して更新領域を定める必要がある。更新領域は、 第5図に示されるように、スペクトルが計算される必要がある楕円として定義さ れる。
i′=i−m6M、に’=に−nΔNとすると、式(9)は以下のように表され る。
これは、第5図の60のような2次元の楕円である。
任意の係数に対する更新領域は、以下のように定義される。
ここで、lc、、、1.、、は、全てのGabor係数の最大の大きさである。
したがって、各係数に対する更新領域は、以下ので表される。
(8,3) 最大の更新領域は、IG、、、l” =ICm、、1...”の場合である。こ のとき、以下の式が導き出せる。
このように、l’maxとj′□、8は、ルックアップ・テーブルのサイズを与 える。正のインデックスと値のみを格納する必要がある。これは、式(8,2) はi′とに′に対して偶関数であるからである。
一旦、テーブルが作成されると、式(8)計算はすぐできる。対応する項目をテ ーブル内で探し、その値とIC□。I2とを掛ける。計算上のコストが高い指数 関数の計算がこの様にして避けることができる。
第2A図と第2B図は、好ましい実施例に従ってGaborスペクトルを計算す る基本的な手法が示されている。
プロセッサをまず初期化するルーティンが含まれる(ブロック50)。この初期 化は、上記に概略したステップ1−5を実行することが含まれる。
次に、Gabor係数が第2A図のブロック51.52.53.54、そして5 5で実現されているアルゴリズムに従って計算される。
特に、インデックスiが−L+ΔMに設定され、インデックスmがL/ΔM +  1に設定され、Mがゼロに設定される(ブロック51)。
次に、ルーティンは次のL点を取り入れ、入力関数5(i)をiがゼロより小さ い値の場合にゼロに等しいと設定する(ブロック52)。
次のステップは、L点直交的離fiGabor係数をインデックスn=0からN −1まで計算する。これは、定数に等しいmに対する係数の行(column) を計算する(ブロック53)。次のステップで、mは増分され、インデックスi はi+ΔMと等しく設定すれる(ブロック54)。
次に、ルーティンは係数が全てのフレームに対して計算されたかを、ループのイ ンデックスMとループで処理されるサンプルされた系列中のフレームの数とが等 しいかを検査することにより判断する。ルーティンが終了していない場合、ルー ティンはブロック55Aに分岐し、ここでMを増分してからブロック52に戻る 。
信号系列が終了している場合は、アルゴリズムは各係数のエネルギ分布を第2B 図に示されているルーティンに従って計算することに進む。
各係数の周囲のエネルギ分布に基づいて、スペクトルを計算するために、アルゴ リズムは第2A図に示されているルーティンにより生成される係数を受け取る( ブロック56)。次のステップは、インデックスmを−L/ΔM+1に設定する (ブロック57)。次は、インデックスnをゼロに設定する(ブロック58)。
次に、係数Cm、 nに対する更新領域を係数の大きさを基にして見出す(ブロ ック59)。
係数に対応する更新領域内の各点(i、k)に対して、エネルギ分布即ちスペク トルを計算する(ブロック60)。次に、インデックスnを増分する(ブロック 61)。次のステップで、インデックスnは値Nに対してテストされ、行中の全 ての係数の分布が計算されたを決める。nがNに等しくない場合、アルゴリズム はブロック59に戻る。nがNに等しい場合、そのときは行は完了しており、ア ルゴリズムはブロック63に進み、インデックスmを増分する。次のステップ( ブロック64)で、アルゴリズムはインデックスmが最大値Mに達したかを決め る。達していない場合、そのときアルゴリズムは次の係数のフレームを処理する ためにブロック58にループする。mがMに等しい場合、そのときアルゴリズム は完了し、エネルギ分布値はGaborスペクトルを出力するために使用される (ブロック65)。最後に、ルーティンは停止する(ブロック66)。
第6図は、本発明によるGaborスペクトル分析装置を示している。Gabo rスペクトル分析装置は、時間により変化する周波数スペクトルにより特徴付け られる入力信号を分析するのに用いられる装置である。第6図に示されている装 置は、典型的な音声処理アルゴリズムで遭遇するようなO〜20 k Hの範囲 の信号に対して特に有用である。しかし、装置は様々な周波数領域で動作するよ うに設計することができる。このため、同じ基本的な装置を様々な周波数範囲を 有する広い範囲の入力信号に対して適用できる。
システムは、折返し除去フィルタとA/D変換器を有する、変換器/フィルタ1 00を含んでいる。折返し除去フィルタは様々なデータ収集システムの構成要素 である。折返し除去フィルタの目的は、連続している信号をデジタル化する場合 に折返しの問題がないように、不要な高い周波数成分を除去することである。サ ンプリング理論によれば、装置の周波数範囲の最高周波数はfとすると、折返し 除去フィルタは、f以上の周波数を実質的に取り除くように設計される。完全な ローパス・フィルタを設計することができないため、折返し除去フィルタは、f より少し高いカットオフ周波数であるように設計されることが多い。サンプリン グ周波数(連続の信号がデジタル化されるレート)は、少なくても最高周波数の 2倍でなければならない。第6図に示されている分析装置は、最高速度は20k )lであるが、最小サンプリング・レートは40kHである。安全を見越して、 48kHのオーディオ・ボードのサンプリングが使用され、これにより0〜20 kH間には折返しがないことを補償している。
変換器/フィルタ100の出力は、線101に信号5(i)として供給される。
記憶装置102は、入力信号系列を後で使用するのに記憶するために使用されて いる。獲得され、記憶されている信号に対しては、変換器/フィルタ100はこ の応用には必要がない。記憶装置102は、アナログ信号を表しているデジタル 信号系列の供給源として作動する。
線101上の離散データは大力バッファ103へ供給される。大力バッファは大 力バッファ制御装置により制御される。大力バッファ103の目的は、この後の 処理に対して十分な点(L)を蓄積することである。各点りのブロックはフレー ムと呼ばれる。
大力バッファ制御装置は、入力バッファを制御する。その主要な機能は大力バッ ファを保持し、ルーティンのその後の処理に対して、オーバーランピング・デー タ・アドレス等を供給することである。選択された時間領域の増分ΔMに依存し て、大力バッファ制御装置は、6M点を現在のフレームに追加し最初の6M点を 取り除いて、新しいフレームを形成する。
L点データフレームはバッファ103の出力をして線105上に得られる。線1 05上のフレームは、離散Gabor変換エンジン106に供給される。エンジ ン105は、第2A図に示されるアルゴリズムに従ってGabor変換を実行す る。エンジン106は、−次元の入力信号5(i)をインデックス(i、k)に 対する二次元の時間−周波数領域のGabor係数に展開する。
Gabor変換エンジン106の出力は、フレームmのインデックスnに対する 周波数増分の信号系列に対する係数Cm、nの配列である。この係数の配列は、 レジスタ配列の様な係数バッファ107に供給される。係数バッファ 107か ら、係数の配列が擬似Wigner−Ville分布エンジン108に供給され る。エンジン108は、第2B図に示されているルーティンに従ってクロス項削 除干渉(cross term deleted 1nterference) により擬似Wigner−Ville分布を実行する。出力は各係数C1,。周 囲のエネルギのWigner分布で定義されたスペクトルである。係数の配列に 対するスペクトルの集まりが、Gaborスペクトル記録GS(i、k)である 。スペクトル記録はスペクトル記録バッファ109へ、Gaborスペクトル記 録バッファ制御装置110の制御で供給される。
Gaborスペクトル記録バッファ制御装置はスペクトル記録バッファ109を 保持し、制御する。
擬似Wigner−Ville分布エンジンに接続されて、ルックアップ・テー ブルがある。ルックアップ・テーブルは、上記した分布関数で用いられる項目を 記憶している。ルックアップ・テーブルを使用して、アルゴリズムをリアルタイ ムに近いGaborスペクトル記録の計算に適しているようにするために、これ らの項目の計算がオフラインで計算される。
スペクトル記録バッファ制御装置110は、バッファ109のデータを、バッフ ァが一杯になると、一時に出力する。例えば、データが線112上から表示装置 113に供給され、 Gaborスペクトル記録の画像表現が生成され、表示さ れる。その他に、線112上のデータは、記憶装置114に後で処理するために 供給される。
第6図に示される実施例では、線112上のデータは分析エンジン115に供給 されている。線101上の入力信号系列5(i)もまた分析装置の入力として供 給される。分析エンジンは、線112上のGaborスペクトル記録データに応 答して入力信号5(i)を区分することができる。そして区分された部分の入力 信号を独立して分析することができる。
表示されたGaborスペクトル記録の応用や、分析エンジン115へのスペク トル記録により生成されるデータは、スペクトル分析装置、音声認識システム、 音声分析および合成システム、音声検出システム、水中音響検知装置、レーダ装 置、自動車電話通信、そして電話トーン検知システムが含まれる。
第7A図と第7B図は、本発明の付表Aのようなルーティンを使用して分析され る入力信号を示している。
第7A図において、周波数ホッピング信号が示され、これは離散時間ウィンドウ における4つの離数周波数成分がある。第7B図には、信号/雑音比OdBにお ける雑音のあるホッピング信号が示されている。
第8A図は、第7A図の周波数ホッピング信号に対するGaborスペクトルを 示しており、等高線はスペクトル上の時間と周波数の位置における増加するエネ ルギ値を示している。このように、第8A図に示すグラフが三次元で表されると 、等高線を有する各領域は、紙の上にピークとして表される。
ホッピング信号の4つの周波数成分の各々は、Gaborスペクトル内の時間で 局所化している。このような明確な成分間の局所化と分離のため、Gaborス ペクトルは時間で変化する周波数成分を有する信号を分析するのに特に有用であ る。
第8B図は、第7B図に示す雑音のある周波数ホッピング信号の4重のオーバー サンプリング率によるGaborベクトルを示している。このように、雑音が相 当台まれている信号でも、Gaborスペクトルは周波数成分を比較的よく局所 化する。Gaborスペクトルは、時間で変化する入力信号のスペクトルにおい て従来技術よりよいと思われる。
上記の発明の好ましい実施例の記述は、説明や記述の目的のために行われた。こ れは、包括的とすること、または発明を開示した詳細な形態に限定することを意 図したものではない。多数の修正や変形がこの分野の知識を有するものにとって 明白である。実施例は、この発明の原理と実際の応用を説明するのに最適である から選択された。このため、この発明の色々な実施例と特定の意図した用途に適 した改造が、この分野の当業者にとって可能である。この発明の範囲は特許請求 の範囲で定義されたものおよびその均等物である。
付表A ソース・コードでの実現の例 著作権 National Instruments 1992LabVIEW  2−OCI NatLOI%aL znscrt=aentst Qprp。
pascal void caborsp=cバーtzaanate、ygan cue、axpha、poancue、error、mes唐≠■■{ C1earCrtor+messQ@、ertorl: /e clear e rror 1/HLock(y)l論コel: /” 1ock down h anales ’/Y −(’yHandlel −> data;G=cfl oat命INyPLr(N/dヒ’Kldf”5izeof(floatll; GaborMagnL jude l z 、 TL、 L、 dt、 df  、 y、 G 、 &raaxl :C1eatArrnyrloa:(P+  )!・に);for (d+nO−0; dmo < rL ; mO+−cl jl (for fclno −0; dno < 幻dno+−cLfl ( r −log(八/+aaxl; 5izeτ−(longl (s ” 5qrl:(rll;for (i e x−siteτ; i % 5izeτ; 1+÷) (ro w i ” i  / var; sLzerw(longl(sqrt(r−kol會に/sol;付表B 補助関数γの計算 Hが階数pの満たされた列を有すると仮定すると、QR分解を用いることにより 、 が得られる。ここでQは直交行列であり、Rは上三角行列である。Hの最初の列 がh”= [h(0)、h(1)、・・・。
h(L−1)]である。
式(A、l1式は ここでqlはQの第1行である。式(A、1)をに代入して、 を得る。式FA、4)において、Xは、X: (RT)−1μ (A、5) により定まり、ベクトルyは任意である。Q”Q=1であるので、 ”Qll X ” Qy y(A、6)xE R’、そして yεRL−11 Qx= [q++”’ 、qp] モしてQ−= [Qp、+、・・・、QL] い(つかの注を順に述べる。
(a)h=γ1□q、であるので、ウィンドウ関数h(i’は行列Q、の範囲内 である。このため (b)複直交補助ウィンドウ関数γは2つの直交ベクトルしx+Q、yの和であ る。このため、11γlI2−11x II2+ fly II” (A、8) である。
(c) Qxx =Qy(R”)−’gは、複直交の関係で定まり、Qyyは、 特定の制限に依存している。Qyy=0のとき、解はγ=しX=γ0.。で、最 小のエネルギーをイする。
γ:Hγ=μ Fを最小にすると、γは と等しくなる。
関係式 %式%) と式(A、8)により、式(A、10)はと書くことができる。
明らかに、ξの最大値は、1lyllがゼロ・ベクトルのとき生じる。
y=Qを式(A、6)に代入すると γ= Qx x= Q−(RT) −’ u (A、 13)が得られる。
対応する最小自乗誤差は である。式(A、13)は、hに最も類似した最適なγを計算した解である。解 は、1lyll=0である必要があり、式(A、8)はγが最小エネルギーを含 むことを示唆している。γは最小エネルギー条件 γ= H”(HH”)−’μ (A、15)を満足する。
FIG、−1 FIG、−2B 1=−り十ΔM L”Of=L−1 m=M−1.第Mフレーム FIG、−3 FIC,−4 FIG、−5 周波数ホッピング信号 雑音のある周波数ホッピング信号 FIG、−7B 補正書の翻訳文提出書(特許法第184条の二基=蟇)平成6年 9月19日

Claims (37)

    【特許請求の範囲】
  1. 1.入力信号を表すデジタル信号系列の供給源と、変換器に接続され、 直交的 離散Gabor変換係数を前記系列に応答して計算し、該係数に応答して入力信 号エネルギの時間で変化するスペクトルを計算する第1のプロセッサと、 前記デジタル信号プロセッサに接続され、前記スペクトルを処理する第2のプロ セッサと を有することを特徴とする信号分析装置。
  2. 2.前記第2のプロセッサが、前記スペクトルに応答して入力信号を区分する手 段を含むことを特徴とする請求の範囲第1項に記載の信号分析装置。
  3. 3.前記第2のプロセッサが、前記スペクトルに応答して入力信号の分析に用い るためにスペクトルを表す画像を表示する手段を含むことを特徴とする請求の範 囲第1項に記載の信号分析装置。
  4. 4.前記第1のプロセッサが、前記係数を生成する第1の手段とスペクトルを計 算する第2の手段とを有することを特徴とする請求の範囲第1項に記載の信号分 析装置。
  5. 5.前記第2の手段が、スペクトルを計算するのに使用する項目のテーブルを格 納する記憶手段を含むことを特徴とする請求の範囲第4項に記載の信号分析装置 。
  6. 6.前記第2の手段が、クロス項を削除した(cross−termdelet ed)Wigner−Ville分布を計算する計算エンジンで構成されること を特徴とする請求の範囲第4項に記載の信号分析装置。
  7. 7.前記第1の手段が、非周期で局所化したウィンドウ関数hおよびhと同様な 離散補助関数γに基づいて直交的離散Gabor変換を計算して係数Cm.nを 結果として出力する計算エンジンを含み、 前記第2の手段が、Gabor係数の大きさを基にした第1の項目とGabor 変換の局所化されたウィンドウ関数に従って変化する第2の項目とを含む各係数 に対するエネルギ分布関数を計算する計算エンジンを含むことを特徴とする請求 の範囲第4項に記載の信号分析装置。
  8. 8.前記第2の手段が、座標i,kに応答してアクセスすることができる前記第 2の項目の予め計算したテーブルを格納する記憶手段を含むことを特徴とする請 求の範囲第7項に記載の信号分析装置。
  9. 9.前記第2の手段が、前記第1の項目に応答して各係数Cm.nに対する更新 領域を定め、定められた更新領域内で各係数の分布を計算する手段を含むことを 特徴とする請求の範囲第7項に記載の信号分析装置。
  10. 10.前記供給源により供給される系列を受け取り、系列をデジタル信号プロセ ッサに重なったフレームの集合として供給するために接続された入力バッファ記 憶システムを含むことを特徴とする請求の範囲第1項に記載の信号分析装置。
  11. 11.前記第1のプロセッサから分布データを受け取り、分布データを前記第2 のプロセッサに供給するために接続された出力バッファ記憶システムを含むこと を特徴とする請求の範囲第1項に記載の信号分析装置。
  12. 12.前記供給源はアナログをデジタルへの変換器を含むことを特徴とする請求 の範囲第1項に記載の信号分析装置。
  13. 13.前記供給源は、折返し除去フィルタを含むことを特徴とする請求の範囲第 12項に記載の信号分析装置。
  14. 14.入力信号の時間で変化するスペクトルを計算する方法において、 入力信号を表すデジタル信号系列を得、デジタル信号系列をサンプリングし、長 さしの複数のウィンドウを、各複数のウィンドウが複数のデジタル信号と隣接す るウィンドウに関連してΔMの長さシフトしたデジタル信号を含むように定義し 、サンプリング間隔ΔNとΔMで、各ウィンドウmに対してn=0からN−1ま で、複数のウィンドウm=0からM−1まで、ΔNΔMがしより小さい場合にお いて、直交的離散Gabor変換の係数Cm.nを計算し、係数Cm.nに応答 して入力信号のエネルギの時間で変化するスペクトルを計算し、 時間変化するスペクトルに応答し、入力信号を分析する ことを特徴とする入力信号の時間で変化するスペクトルを計算する方法。
  15. 15.前記スペクトルを計算するステップに、クロス項を削除した(cross −termdeleted)Wigner−Ville分布を計算することが含 まれることを特徴とする請求の範囲第14項に記載の方法。
  16. 16.前記直交的離散Gabor変換の係数Cm.nを計算するステップに、非 周期で局所化したウィンドウ関数hおよびhと同様な離散補助関数γに基づいて 直交的離散Gabor変換を実行することが含まれることを特徴とする請求の範 囲第14項に記載の方法。
  17. 17.hとγが重ならないことを特徴とする請求の範囲第16項に記載の方法。
  18. 18.hがガウス関数であることを特徴とする請求の範囲第16項に記載の方法 。
  19. 19.前記ガウス関数hが、約0.5(L/12)2以下の分散σ2を有する( Lはウィンドウmの長さ)ことを特徴とする請求の範囲第18項に記載の方法。
  20. 20.γが最小自乗誤差の意味でhと同様であることを特徴とする請求の範囲第 16項に記載の方法。
  21. 21.前記スペクトルを計算するステップがスペクトルの点mΔM,nΔNの周 囲の領域内の端点i,kに対応する項を有するルックアップ・テーブルを含み、 項は分布を計算するのに使用する予め計算した値を格納しており、 前記ルックアップ・テーブル内の値を使用して分布を計算する ことを特徴とする請求の範囲第14項に記載の方法。
  22. 22.前記スペクトルを計算するステップが各係数Cm.nに対して、係数の大 きさに応答して係数の周囲に更新領域を定め、 定められた更新領域内で各係数に対して分布を計算する ことを特徴とする請求の範囲第14項に記載の方法。
  23. 23.前記スペクトルを計算するステップが各係数Cm.nに対して、係数の大 きさに応答して係数の周囲に更新領域を定め、 スペクトルの点mΔM,nΔNの周囲の領域内の各点i,kに対応する項を有す るルックアップ・テーブルを含み、項はクロス項を削除した(cross−te rmdeleted)Wigner−Ville分布を計算するのに使用する予 め計算した値を格納しており、ルックアップ・テーブルは最大の更新領域を有す る係数の分布を計算するために十分な項目を含んでおり、 ルックアップ・テーブル内の値を用いて分布を計算する ことを特徴とする請求の範囲第14項に記載の方法。
  24. 24.前記分析するステップに、スペクトルの画像表現を生成することが含まれ ることを特徴とする請求の範囲第14項に記載の方法。
  25. 25.前記分析するステップに、スペクトルに応答して入力信号系列を時間上で 区分することが含まれることを特徴とする請求の範囲第14項に記載の方法。
  26. 26.前記入力信号が音響エネルギであることを特徴とする請求の範囲第14項 に記載の方法。
  27. 27.前記入力信号が電磁エネルギであることを特徴とする請求の範囲第14項 に記載の方法。
  28. 28.前記入力信号が音声であることを特徴とする請求の範囲第14項に記載の 方法。
  29. 29.前記入力信号がレーダ信号であることを特徴とする請求の範囲第14項に 記載の方法。
  30. 30.前記入力信号がソナー信号であることを特徴とする請求の範囲第14項に 記載の方法。
  31. 31.前記入力信号を得るステップに、入力信号をフィルタすることを含むこと を特徴とする請求の範囲第14項に記載の方法。
  32. 32.入力端を有し、入力端に供給された入力信号を表すデジタル信号系列を生 成する変換器と、該変換器で生成された系列を受け取るように接続され、重なっ たフレームの集合を供給する入力記憶手段と、 該入力記憶手段に接続され、局所化したガウス離散ウィンドウ関数hおよびhと 同様な離散補助関数γにより離散Gabor変換を行うことにより、前記フレー ムの集合に応答して直交的離散Gabor変換の係数Cm.nを計算する第1の 手段と、 該第1の手段に接続され、クロス項を削除した(cross−termdele ted)Wigner−Ville分布を計算することにより、前記係数に応答 して入力信号エネルギの時間変化するスペクトルを生成する第2の手段と、該第 2の手段に接続され、スペクトルを処理する分析手段と を有することを特徴とする信号分析装置。
  33. 33.hが約わ.5(L/12)2以下の分散σ2を有する(Lはウィンドウm の長さ)ガウス関数であることを特徴とする請求の範囲第32項に記載の信号分 析装置。
  34. 34.前記分布がGabor係数の大きさの基にした第1の項目およびGabo r変換の局所化したウィンドウ関数に対して変化する第2の項目の関数として計 算され、第2の手段が座標i,kに応答してアクセスすることができる前記第2 の項目の予め計算したテーブルを格納する記憶手段を含むことを特徴とする請求 の範囲第32項に記載の信号分析装置。
  35. 35.前記第2の手段が、前記第1の係数に応答して各係数Cm.nに対する更 新領域を定め、定められた更新領域内のみで各係数の分布を計算する手段を含む ことを特徴とする請求の範囲第34項に記載の信号分析装置。
  36. 36.前記第1のプロセッサから分布データを受け取り、分布データを前記第2 のプロセッサに供給するために接続された出力バッファ記憶システムを含むこと を特徴とする請求の範囲第32項に記載の信号分析装置。
  37. 37.前記変換器は、折返し除去フィルタを含むことを特徴とする請求の範囲第 32項に記載の信号分析装置。
JP5516728A 1992-03-17 1993-03-17 時間により変化するスペクトル分析に関する方法および装置 Expired - Lifetime JP2697957B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US851,725 1992-03-17
US07/851,725 US5353233A (en) 1992-03-17 1992-03-17 Method and apparatus for time varying spectrum analysis

Publications (2)

Publication Number Publication Date
JPH07505949A true JPH07505949A (ja) 1995-06-29
JP2697957B2 JP2697957B2 (ja) 1998-01-19

Family

ID=25311508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5516728A Expired - Lifetime JP2697957B2 (ja) 1992-03-17 1993-03-17 時間により変化するスペクトル分析に関する方法および装置

Country Status (6)

Country Link
US (1) US5353233A (ja)
EP (1) EP0632899B1 (ja)
JP (1) JP2697957B2 (ja)
AT (1) ATE193769T1 (ja)
DE (1) DE69328828T2 (ja)
WO (1) WO1993019378A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5736631A (en) * 1996-03-11 1998-04-07 Turf Diagnostics & Design, Inc. Turf impact analysis system
JP3552837B2 (ja) * 1996-03-14 2004-08-11 パイオニア株式会社 周波数分析方法及び装置並びにこれを用いた複数ピッチ周波数検出方法及び装置
JP3266819B2 (ja) * 1996-07-30 2002-03-18 株式会社エイ・ティ・アール人間情報通信研究所 周期信号変換方法、音変換方法および信号分析方法
US5852567A (en) * 1996-07-31 1998-12-22 Hughes Electronics Corporation Iterative time-frequency domain transform method for filtering time-varying, nonstationary wide band signals in noise
US5845241A (en) * 1996-09-04 1998-12-01 Hughes Electronics Corporation High-accuracy, low-distortion time-frequency analysis of signals using rotated-window spectrograms
AU763046B2 (en) * 1997-08-14 2003-07-10 Hendry Mechanical Works Electric arc monitoring systems
US5952957A (en) * 1998-05-01 1999-09-14 The United States Of America As Represented By The Secretary Of The Navy Wavelet transform of super-resolutions based on radar and infrared sensor fusion
US6772077B1 (en) 1998-08-10 2004-08-03 Hendry Mechanical Works Electric arc monitoring systems
US6301572B1 (en) 1998-12-02 2001-10-09 Lockheed Martin Corporation Neural network based analysis system for vibration analysis and condition monitoring
US6944318B1 (en) 1999-01-15 2005-09-13 Citicorp Development Center, Inc. Fast matching systems and methods for personal identification
US6434515B1 (en) 1999-08-09 2002-08-13 National Instruments Corporation Signal analyzer system and method for computing a fast Gabor spectrogram
US6754620B1 (en) * 2000-03-29 2004-06-22 Agilent Technologies, Inc. System and method for rendering data indicative of the performance of a voice activity detector
US6810341B2 (en) 2000-04-19 2004-10-26 National Instruments Corporation Time varying harmonic analysis including determination of order components
US6366862B1 (en) 2000-04-19 2002-04-02 National Instruments Corporation System and method for analyzing signals generated by rotating machines
US6332116B1 (en) 2000-04-19 2001-12-18 National Instruments Corporation System and method for analyzing signals of rotating machines
US6850552B2 (en) 2000-12-01 2005-02-01 Klaus Bibl Iterative precision spectrum analysis
DE10110208A1 (de) * 2001-03-02 2002-09-19 Siemens Production & Logistics Verfahren zum Spezifizieren, Ausführen und Analysieren von Verfahrensabläufen beim Erkennen
US7158901B2 (en) * 2004-07-12 2007-01-02 Tektronix, Inc. FFT accelerated display mode
US7958488B2 (en) * 2005-08-16 2011-06-07 National Instruments Corporation Virtual testing in a development environment
US8185316B2 (en) * 2007-05-25 2012-05-22 Prime Geoscience Corporation Time-space varying spectra for seismic processing
US9164131B2 (en) * 2010-05-13 2015-10-20 Tektronix, Inc. Signal recognition and triggering using computer vision techniques
US9795301B2 (en) * 2010-05-25 2017-10-24 The General Hospital Corporation Apparatus, systems, methods and computer-accessible medium for spectral analysis of optical coherence tomography images
RU2449298C1 (ru) * 2010-12-23 2012-04-27 ОАО "Концерн "Океанприбор" Способ определения энергии помехи
TWI438416B (zh) * 2011-04-14 2014-05-21 Delta Electronics Inc 使用連續遞移轉換之信號分析系統及方法
EP3153872A1 (en) * 2015-10-06 2017-04-12 ABB Schweiz AG Method and system for determining phasor components of a periodic waveform
CN109633271A (zh) * 2019-01-17 2019-04-16 长沙理工大学 基于变分模态分解和维格纳威尔分布的行波时频分析方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4837578A (en) * 1981-10-29 1989-06-06 California Institute Of Technology Apparatus and method for range detection using the analytic signal identified from the received signal
US4894795A (en) * 1987-04-28 1990-01-16 The United States Of America As Represented By The Secretary Of The Navy High-resolution technique for time-frequency signal analysis using modified wigner-ville analysis
US5046504A (en) * 1989-02-01 1991-09-10 Corazonix Corporation Method and apparatus for analyzing and interpreting electrocardiograms using spectro-temporal mapping
US5291560A (en) * 1991-07-15 1994-03-01 Iri Scan Incorporated Biometric personal identification system based on iris analysis

Also Published As

Publication number Publication date
EP0632899A1 (en) 1995-01-11
EP0632899A4 (en) 1996-09-11
DE69328828D1 (de) 2000-07-13
EP0632899B1 (en) 2000-06-07
ATE193769T1 (de) 2000-06-15
JP2697957B2 (ja) 1998-01-19
DE69328828T2 (de) 2001-02-15
US5353233A (en) 1994-10-04
WO1993019378A1 (en) 1993-09-30

Similar Documents

Publication Publication Date Title
JPH07505949A (ja) 時間により変化するスペクトル分析に関する方法および装置
Griffin et al. Signal estimation from modified short-time Fourier transform
McAulay et al. Speech analysis/synthesis based on a sinusoidal representation
Malah Time-domain algorithms for harmonic bandwidth reduction and time scaling of speech signals
US5029509A (en) Musical synthesizer combining deterministic and stochastic waveforms
Portnoff Short-time Fourier analysis of sampled speech
EP0388104B1 (en) Method for speech analysis and synthesis
Gokhale et al. Time domain signal analysis using wavelet packet decomposition approach
Spanos et al. Stochastic processes evolutionary spectrum estimation via harmonic wavelets
US6185309B1 (en) Method and apparatus for blind separation of mixed and convolved sources
US6266003B1 (en) Method and apparatus for signal processing for time-scale and/or pitch modification of audio signals
JP2005148274A5 (ja)
Irino et al. Signal reconstruction from modified auditory wavelet transform
US6208946B1 (en) High speed fourier transform apparatus
Palani et al. Principles of digital signal processing
Marques et al. Frequency-varying sinusoidal modeling of speech
EP0685834A1 (en) A speech synthesis method and a speech synthesis apparatus
Kwon et al. Minimization of bias error due to windows in planar acoustic holography using a minimum error window
Tohyama et al. Pulse waveform recovery in a reverberant condition
Frost Power-spectrum estimation
Zalubas et al. Discrete scale transform for signal analysis
CN114822481A (zh) 一种磁共振声波对消降声噪声方法及系统
Antweiler et al. Simulation of time variant room impulse responses
CN113655534A (zh) 基于多线性奇异值张量分解核磁共振fid信号噪声抑制方法
Demirli et al. A high-fidelity time-frequency representation for ultrasonic signal analysis

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070919

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080919

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090919

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100919

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100919

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130919

Year of fee payment: 16