JPH05509409A - 波動分析・事象認識方法およびその装置 - Google Patents

波動分析・事象認識方法およびその装置

Info

Publication number
JPH05509409A
JPH05509409A JP3515309A JP51530991A JPH05509409A JP H05509409 A JPH05509409 A JP H05509409A JP 3515309 A JP3515309 A JP 3515309A JP 51530991 A JP51530991 A JP 51530991A JP H05509409 A JPH05509409 A JP H05509409A
Authority
JP
Japan
Prior art keywords
amplitude
time
event
frequency
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3515309A
Other languages
English (en)
Inventor
レイノルズ,ケンティン
Original Assignee
レイノルズ ソフトウエア,インコーポレイティド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by レイノルズ ソフトウエア,インコーポレイティド filed Critical レイノルズ ソフトウエア,インコーポレイティド
Publication of JPH05509409A publication Critical patent/JPH05509409A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/87Detection of discrete points within a voice signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 波動分析・事象認識方法およびその装置技術分野 マクロフィッシュ・アペンディックスには一連の命令、ルーチン等を含む、タイ トル標示と一般的な機能説明を伴ったコンピュータ・プログラムの原始コード・ リストがマクロフィッシュ・アペンディックスに設けられる。これを本明細書に 参考として含める。マクロフィッシュ・アペンディックスのプログラムリストは 本発明の好適実施例を実施する場合に利用する不明確なソフトウェアに適用する ものである。本発明の実施に際して利用するその他のソフトウェアは市販されて いるものあるいはプログラミング関係技術者によって作成されたもののいずれか である。マクロフィッシュ・アペンディックスは、すべてが未使用である70フ レームを各々が育する2枚のマクロフィッシュから構成される。
本特許文献の開示の一部分は著作権保護に付される資料を含む。
所有者は特許文献または特許開示のいずれをファクシミル再生しても、それが特 許・商標間の特許ファイルまたは記録に示されるようになっていればこれに反対 しないが、そうでない限り、いかなる再生に対しても著作権を留保する。
発明の背景 本発明は連続波動データの分析に関しており、また特に、複合連続波動データを 周波数、振幅および時間スペクトル情報に効率的に変換し、知能的にパターン認 識を行い、また複合連続波動データに含まれる個別事象を識別する新規を方法と 装置とに関する。
波動データの連続流に含まれる個別事象を認識し、識別する必要性は音楽を音楽 的事象の会話形データベースに変換する場合、医用監視装置の発生する波動デー タの連続流における潜在的危険パターンを認識する場合、レーダー、ソーナー、 レーザーその他の波動反射における、監視またはナビゲーション装置による特定 目標の認識、等の広範囲の技術において発生する。こうした状況での事象認識は 一般に、複合連続波動データに含まれる特定パターンの分離と識別とを意味して いる。
波動は物理学の領域ではエネルギーの移動を示す基本的な手段である。また波動 を構成するのは、特定の距離すなわち波長以内で適合する、進行エネルギー・パ ターンである。波長以内で描かれるされるパターンはサイクルであり、また定点 の観測者が、反復するパターンの到着を特定サイクル数7秒すなわち周波数とし て知覚する。
波形は1サイクルの波動パターンとして規定される。波動パターンの周波数には 理論的な限界がないが、検流装置の機能範囲は極低周波数(0,0OIHz)  〜硬宇宙線(100,000,000,000,000,000,000,0O OHZ)である。当業者であれば、本発明を、最新の検出・処理装置を用いて波 長分析に応用することができることを認識しよう。
公知事実として、複合波はその成分正弦波によって完全に描くことができる。多 数の波動源からの複合波を組合わせて、多数の波動事象を含む更に複合した波動 を形成することができる。LelandJacksanはその論文rln Di gital Filters and Signal Processing( Kkuwer Academic Publishers、 Boston、  1986) Jに、周波数の関連している波動の組合わせ方法についてのべてい る。複合波の成分正弦波は、干渉を通じて相加わり、互いに打ち消しあい、互い に惹き合い、また互いに変更しあう。波動組合わせのこの複雑さにもがかわらず 、特定の発生源からの波動事象は通常、他の多くの同時複合波と組み合わさって もそのアイデンティティを失わない。音に対する人間の知覚がこの現象を示す好 例である。例えば、フルート等の楽器の音は平均的な聴取者でも別の楽器、例え ばティンパニー、の音から容易に識別することができ、これはそれらの楽器を同 時に演奏した場合でも可能である。こうした音の波動に対する人間の知覚は、多 くの周波数の波動を分離、識別することを示唆している。
したがって、研究者が多年にわたって、複合波の分析と事象認識とを理解せんが ため音の知覚を典型的なガイドとして研究してきた。
音波分析の分野には相当な技術が存在しており、またその他の分野にも、スペク トル分析、パターン認識に関連した技術が存在する。
本発明の好適実m例で示す音波分析の利用はスペクトル分析、パターン認識技法 に対し、多くの分野で本発明が有用であることを示すものである。音響パターン の複雑さの故に、その他の多くの分野において要求されている内容を越えた内容 のレベルに注意を払うことが必要であるから本発明の好適実施例の音響パターン に対する応用は本発明の広範な実施例の1つとなるものである。
連続した音響データについての現在の分析方法においては、音階を奏する楽器を 波動源と見做す。その楽器で奏される音階は個別の事象と見做される。時間の経 過とともに、奏された音階は複合波データの連続流を発生させる。その連続波動 データは正しい間隔でデジタル・サンプリングされ、結果として得た数字の流れ がコンピュータによる処理を受ける。この場合、はとんどの分析、事象認識技法 を使用して、そのサンプリングした波動データの連続流を周波数、振幅および時 間のスペクトルに変換され、その後でなんらかの形式でのパターン認識が行われ る。既存のパターン認識手順の最終点は音階事象のピッチ、振幅およびタイミン グの識別である。
James A、λIoorerはその論文ron the Segmenta tion and Analysis of Continuous A(us ical 5ound by Digital Computer (CCRM A 。
音楽部、Report No、 5TAN−Lト3)」に、複合波データ分析の 1種類について述べている。Moorerは櫛歯フィルター(comb fil ter)を使用して音楽波動データを前処理し、その後でその処理データを帯域 フィルターで精製する。またMoorerは上記データ前処理、パターン認識手 順に調波比率を用い、また所定長は比率に合った事象発生に基づいてすべての潜 在音階の結合リストを構成する。またMoorerは最適櫛歯波形段が、整数の 調波比率において予測可能かつ安定した調波に応じて決まるので、分析可能な音 楽の構造と器楽用編曲とに極度に拘束されている。しかしながら、実際の音楽は 予測可能かつ安定した調波をもつことが稀であり、Moorerの課す構成的拘 束には合致していない。
正確な周波数、振幅および時間のスペクトルへの、デジタル・サンプリングした データの変換は難しい、かつ演算上も集中度の高い処理であって、この処理には 相当な研究が行われた。その困難さの正確さの性格は、単一の分析段階では、周 波数分析が正確であればあるだけ、時間的分解の正確さが低くなることである。
これは逆の条件でも同様である。Kyle L、 Kashima他はその論文 rThe Bounded−Q Frequency Transform(C CRMA、音楽部、Report No、 5TAN−!1l−28)Jに、官 界Q周波数変換と称する周波数分析方法を示しており、この方法は入力データを 「低域浦波」しかつ「サブサンプリング」するとともに、所望の各オクターブの 出力についての結果的データに高速フーリエ変換(FFT)を適用する。有効周 波数分解が良好でしかも演算時間が相対的に短いが、音楽の分野だけでなくその 他のほとんどの分野においてもそうであるように事象のタイミングの正確さが重 要であっても、結果が十分な性格さを失う程度にまで最終結果てタイミングが歪 められてしまう。
デジタル・サンプリングしたデータを周波数、振幅、時間のスペクトルへ変換す るその他の試みも行われており、Lawrence R,Rabiner他がそ の論文rTheory and Application of Digita l SignalProcessing(Prentice−Hall Inc 、、Englewood Cl1ffs、 N、J、、1975) Jにその試 みを述べている。高度にオーバラップしてのFFTの使用を、帯域フィルター・ バンクの原理とともにその論文に記述している。しかし、必要演算時間が極めて 長くなるために、そのRabiner論文には、帯域フィルター・バンクの使用 を勧めていない。Rabiner他の論文に勧めるFFT技法についての固有の 問題は、FFTからの出力が直線的な間隔ももち、より一般化されたニーズを満 たさないので周波数間隔はほとんどの分析ニーズに適当でないことである。
また、John Chownjng池はその論文rrnteujgent An alysis ofComposite Acoustic Signals( CCRMA、音楽部、Report No、 STAN−M−36)」に連続波 分析と事象認識の研究を発表している。彼等は資源探査とフィードバック・ルー プ制御の戦略を定めるために「シミュレーションによる実時間的問題解決のため にヒユーリスティクス」の使用を提案し、またパラメータ調整のための「システ ム学習用双対プロセッサー」および各種形式のパターン認識を提案している。
彼等の提案する多速度信号処理は育界Q周波数変換の1つの形式である。したが って、その提案システムには時間歪が伴っている。この論文は連続ファンディン グ(funding)に対する単なる提案であるとしても、学習した事実の知識 ベースを学習しかつ保持することのできる処理に対するニーズには注目していな い。
またCr1s Chafeはその論文rTeehniques for Not e [deritification in Po1yphonic Musi c(CCRλIA、音楽部、Report No、 STAN−M−29)Jに おいて、有効周波数分解の適用に先立って事象の介しを識別する移動平均法の使 用について述べている。この技法はいくつかの極めて簡単な形式の音楽には有効 であるが、濃密あるいは複合した音楽にはまるで役立たない。青赤Q周波数変換 の弱点に加え、Chafeは音階事象の不安定部分を無視して、それによって有 効データの多くの部分を利用し損なっている。
かくして、サンプリングした波動データを、周波数あるいは時間を実質的に歪ま せることなく、周波数、振幅および時間のスペクトルに効率的に変換するには、 複合波分析、事象認識のための新規か−)より広範な方法と装置とが必要である ことは明らかである。この方法と装置とは、データのいずれの部分も無視するこ となく、データのいかなる不安定さにも関わらずスペクトル・データのすべての 様相を評価でき、また、広範囲の周波数、タイミング、分析のニーズに容易に適 合するものでなければならない。本発明はこうしたニーズに対処し、上記問題に 効率的な解決を与えるものである。
本発明の主要な長所を記せば次の通りである。すなわち、サンプリングした波動 データの、周波数、振幅、時間のスペクトルへの変換の速度、正確さ、柔軟性、 −貢性であり、またその事象認識の平常ならざる正確さと柔軟性である。更には 、本発明は実質的にいかなる周波数および時間に関する要求にもまた実質的にい かなる規定可能で、認識された波動事象にも対処すべく構成できる点で、広範囲 の科学的調査における研究者は本発明を有効に利用できるものである。
本発明は従来技術のいずれよりも高い効率と正確さでの波動分析と事象認識とを 達成する。より詳細には、本発明によれば、波動データの周波数、振幅および時 間のスペクトルへの変換を従来技術のうちで最良のものに比べ、何倍もの速度お よび正確さで行うことができる。加うるに、本発明は、従来技術の最良の試みで も余儀なくされた拘束を効果的に除去するほどの正確さと柔軟性での事象認識を 行えるものである。更には、本発明は、その周波数スケール、時間スケール、振 幅スケール、変換手順、パターン認識およびファイル構造を様々な用途に合わせ ることができる点で「実質的」である。
発明の開示 したがって、本発明は、各々が周波数、振幅および時間の成分を含んでいる1つ もしくはそれ以上の事象を、1つもしくはそれ以上の波動データ連続流からコン ピユー・夕で自動的に検出、識別する方法を提供する。本発明の方法は、演算時 間を最短化しかつ周波数、振幅および時間の正確さを最適化するために波動デー タ連続流を周波数、振幅および時間の情報に変換する段階と、上記波動データ連 続流から得られたスペクトル情報から識別用特徴点を抽出する段階と、ユーザが 判定することのできるソースと、時間と、基本周波数とを含む選択した既知事象 の、上記抽出した識別用特徴点から指紋(Fingerprint)を発生させ かつ保持する段階と、上記指紋の識別用特徴点を、1つもしくはそれ以上の波動 データ連続流から得たスペクトル情報から抽出した対応の識別用特徴点と比較し 、かつ上記指紋の識別用特徴点と、潜在事象の対応の識別用特徴点との対応レベ ルを示すスコア(点数)セットのデータベースを作成する段階と、上記データベ ースから、上記指紋の識別用特徴点に対して予選したレベルで対応しているスコ アセットを選択し、かつ上記の選択したデータセットに組合わさったスペクトル 情報を解釈して、特定の事象の存在、その開始時間、その振幅およびその持続時 間を判定する段階とからなることを特徴とする。
上記変換段階は、FFT機構の出力を解釈して、多項補間を用いて、選択した周 波数成分の振幅を得る段階と、またFFT機構の出力を解釈して、計算したビン 範囲内の振幅範囲を探索することによって、選択した周波数成分の振幅を予測す る段階と、複数の、長さ・カウント・テーブルを事象タイミング要求カウントで 指原付けして経過サンプル・カウントを検索する段階と、特定事象の開始時間と 、事象タイミング要求カウントから計算した事象タイミング要求との時間オフセ ットを計算する段階と、その時間オフセットを用いて、経過サンプル・カウント から相対時間オフセットを更に計算する段階と、上記相対時間オフセットに経過 サンプル・カウントを加算することによって同期化時間を計算する段階と、更に 、同期化時間を特定事象に割り当てる段階とで構成される。
本発明はまた、データベース、表現、およびそれらの派生物、オーディオ記録物 、ビデオ記録物等の、上記方法によって作成される製品も提供する。
また本発明は、各々が周波数、振幅および時間の成分を有する1つもしくそれ以 上の波動データ連続流から1つもしくそれ以上の事象をコンピュータで自動的に 検出、識別する装置も提供する。この装置は、演算時間を最短化しかつ周波数、 振幅および時間の正確さを最適化するために波動データ連続流を周波数、振幅お よび時間の情報に変換する機構と、上記波動データ連続流から得られたスペクト ル情報から識別用特徴点を抽出する機構と、ユーザが判定することのできるソー スと、時間と、基本周波数とを含む選択した既知事象の、上記抽出した識別用特 徴点から指紋(Fingerprint)を作成しかつ保持する機構と、上記指 紋の識別用特徴点を、1つもしくそれ以上の波動データ連続流から得たスペクト ル情報から抽出した対応の識別用特徴点と比較し、かつ上記指紋の識別用特徴点 と、潜在事象の対応の識別用特徴点との対応レベルを示すスコア(点数)セット のデータベースを作成する機構と、上記データベースから、上記指紋の識別用特 徴点に対して予選したレベルで対応しているスコアセットを選択し、かつ上記の 選択したデータセットに組合わさったスペクトル情報を解釈して、特定の事象の 存在、その開始時間、その振幅およびその持続時間を判定する機構とからなるこ とを特徴とする。
上記波動データ変換機構は、FFTfifjlの出力を解釈して、多項補間を用 いて、選択した周波数成分の振幅を得る手段と、またFFT機構の出力を解釈し て、計算したビン範囲内の振幅範囲を探索するごとによって、選択した周波数成 分の振幅を予測する手段と、複数の、長さの異なるFFTによって作成したスペ クトル情報を、周波数制限により組み合わせることによって周波数、振幅および 時間の正確さを得る機構と、長さの異なったFFTによって作成したスペクトル 情報を、振幅平均化および振幅クリッピングによって組み合わせることによって 周波数、振幅および時間の正確さを得る機構とで構成することができる。
上記識別用特徴点抽出機構は、パーシャルの振幅非依存勾配を経時抽出する機構 と、隣接パーシャルどうしの間にある振幅非依存勾配を抽出する機構と、パーシ ャルに対する振幅非依存周波数分布幅整定時間を経時抽出する機構と、パーシャ ルに対する振幅非依存周波数分布幅を抽出する機構と、最も支配的な振幅ピーク の対する周波数位置とその最も支配的な振幅ピークからの個別振幅ピークの相対 ドリフトとを判定する機構と、所定個数の時点に対する複数パーシャル全部の累 積総合振幅を、振幅レベルが既知である振幅基準指紋から得た累積総合振幅と比 較しかつ結果として得た相対振幅レベルと計算する機構とで構成することができ る。
上記の指紋作成、保持機構は、選択した既知事象の識別用特徴点を抽出すること によってスペクトル情報から指紋を作成し、かつその識別用特徴点の少なくとも 1つを保持する機構と、各々が同じ基本周波数とソースとをもつ1つ以上の選択 した既知事象から指紋を作成し、かつ識別用特徴点のうち少なくとも1つの平均 を示す1セツトの識別用特徴点を保持する機構とて構成できる。
上記比較機構は、指紋の識別用特徴点の選択された周波数成分をスペクトル情報 の対応周波数基準へ移す機構と、指紋から選択した識別用特徴点の少なくとも1 つに対応するスペクトル清Wから少なくとも1つの識別用特徴点を抽出する機構 と、スペクトル情報の抽出した識別用特徴点を、指紋の対応識別用特徴点と比較 する機構と、振幅非依存の対応の度合いを反映する1つのスコアセットを作成す る機構とで構成できる。
上記選択、解釈機構は、特定事象の存在を判定し、その特定事象と組み合わさっ た基本周波数に対して一連のスコアを累積しかつその一連のスコアの傾向を分析 して上記特定事象がどこで時間通りに開始するかを性格に判定する機構と、上記 特定事象の一連のスコアを更に分析して、その特定事象のパーシャルと関連した パーシャルを有する別の潜在事象がとの特定事象の一連のスコアの範囲時間内に 存在するかを判定して、一連のスコアの不正確な解釈の可能性を明らかにする機 構と、更に、特定事象から時間的に経過した各時点に対して特定事象の各パーシ ャルについて振幅をF!積し、パーシャルの振幅の累積総合を、指紋のパーシャ ルに対する振幅総合と比較し、かつ特定事象に対して相対振幅を計算する機構と 、特定事象の振幅レベルを経時測定することによって特定事象の持続時間を判定 して振幅レベルが選ばれた最小閾値以下に下がるか否かまたその時点を判定する 機構と、特定事象の各部の振幅レベルを、先行時点において得た特定事象の振幅 の平均値と比較して、新しい事象がその特定事象の持続時間を中断させたか否か を判定する!!!横と、振幅ピークのドリフトを経時試験することによって特定 事象の持続時間を判定して、より小さいドリフト変化の所定時限に追従可能なよ り大きなドリフト変化を識別し、これにより新しい事象が特定事象のノく−シャ 路を中断させたことを示す機構とで構成できる。
本発明は更に、複数の特定事象と組み合わさった開始時間を外部時間軸に同期化 する装置を提供する。この装置は複数の事象タイミング要求の各々に対する経過 サンプル・カウント・テーブルを作成、格納する装置と、特定事象の開始時間に 付いて事象タイミング要求カウントを計算し、かつ経過サンプル・カウント・テ ーブルを事象タイミング要求カウントで指標付けして経過サンプル・カウントを 検索する装置と、特定事象の開始時間と、事象タイミング要求カウントから計算 した事象タイミング要求との時間オフセットを計算する機構と、その時間オフセ ットを用いて、経過サンプル・カウントから相対時間オフセットを更に計算する 機構と、上記相対時間オフセットに経過サンプル・カウントを加算することによ って同期化時間を計算する機構と、更に、同期化時間を特定事象に割り当てる機 構とで構成される。
以下、添付図面にもとづいて本発明を更に詳細に説明する。
図面の簡単な説明 添付図面は、本明細書に含まれかつその一部をなすものであり、本発明の好適実 施例を示し、また本文説明とともに本発明の詳細な説明するものである。それら の図面は単に本発明の好適実施例を示すものであって、本発明を限定するもので はない。
図1は手順と手順との間でのデータの流れを示すブロック図であり、 図2は手順と手順との間での制御の流れを示すブロック図であり、図3〜図13 Cは、主要手順に対するプログラム構成を示すフローチャートである。主要手順 の各々からの中核機能を示しており、中核機能が実質的に同様のものである場合 、そのうち1つだけを他の代表として示し、各フローチャートにはその上位手順 の名称をタイトルとして示してあり、一般的な機能説明を付しである。
図3は変換(スペクトルファイルの1つのタイムストリップの作成)のフローチ ャート、 図4は比較(初期データベースの作成)フローチャート、図5は比較(時間勾配 の比較)フローチャート、図6は比較(周波数分布幅の比較)フローチャート、 図7は比較(ピークの検出)フローチャート、図8は比較(周波数分布幅の検出 )フローチャー1・、図9は解釈(スコア解釈の制御)フローチャート、図10 は解釈(一連のスコアの評価)フローチャート、図11は解釈(事象の持続時間 の検出)フローチャート、図12は指紋(指数の作成)フローチャート、図13 Aは同期(ファイルの記録、同期テーブルの作成)フローチャート、 図13Bは同期(事象タイミング要求の処理)フローチャート、iNl 3Cは 同期(同期テーブルからの同期時間の計算)フローチャート、 図14は装置概説であり、個別の装置構成パーシャルどうしの間の信号とデータ の流れを示すブロック図であり、装置構成パーシャルのいくつかは特定用途に応 じたオプションである。
標示タイトルおよび、それらのタイトルに直接対応した一般的な機能説明とフロ ーチャートの機能説明とを伴う該当のプログラム原始コードはマイクロフィッシ ュ・アペンデイクスに設けられる。各フローチャートに示す段階には原始コード ・リスト番号に対応した数字が付されている。原始フード・リストは標準ANS  rのC言語に合致したものである。フローチャートは処理フローを概説し、ま た以下の説明と原始コード・リストが本発明に含まれる処理を詳細に示す。
発明を実施するための最良の形態 複合波での本発明の詳細な説明するために、波動を発生させる振動源の性格と受 波方法および濾波方法とを説明する。
予備段階において、波動データを含む信号を、少な(とも2つのサンプルで所望 の最高周波数を示すことができる速度でデジタル・サンプリングする。それらの サンプルは「タイム・ストリップ」と称する連続づンブルの小グループで処理す る。各タイムストリップは特定の持続時間に対応する。
波動を放射し始める前に、その振動源は静止しており、力によって励振する必要 がある。信号が励振力に応答するパターンは、共振周波数に向かって整定する無 秩序周波数の独特なパターンである。
この励振の開始時には、振動源は不安定であり、短時間ではあるが多くの周波数 を発生する。励振が続くと、無秩序周波数がグループ化しかつ「ピーク」周波数 を強調し始める。先ず、ピークは周波数「ドリフトjを傾向を示すが、最終的に は共振周波数に整定する。
励振から整定点までの持続時間を「整定時間」と称される。
通例、整定時間はいくつかのタイム・ストリップにわたっている。
整定しつつある波動がタイム・ストリップに含まれていると、周波数限度どうし の間に分布する多くの周波数が生じる(それらの限度は低周波数と高周波数とで 規定される)。この周波数分布の幅は「周波数分布幅」と称される。周波数分布 幅の形状を分析することによって周波数の「櫂形式」を発生させることができる 。周波数分布幅、櫂形式およびその対応ピークの整定点に向かって多数のタイム ・ストリップを通って進むにつれてパターンが現れる。多くの場合、複合波は数 学的に関連付けされた正弦波から構成され、これら正弦波は「パーシャル(pa rtials)Jと称される。様々な周波数のパーシャルは共通「基本」周波数 を共有している(基本周波数はパーシャルの1つと考えられている)。同一の基 本周波数を共有する隣接パーシャルを「隣接周波数ノと称する。調波もパーシャ ルの一例である。各パーシャルはその固有の整定時間、周波数分布幅、櫂形式、 およびピーク・ドリフトを有する。個別のパーシャルの振幅曲線は「時間勾配」 と規定されている。また隣接パーシャルどうしの振幅関係を「周波数勾配」と規 定する。時間勾配と周波数勾配とは、本発明の実施に際して抽出かつ利用すれば 識別用情報をもたらすものである。
デジタル・サンプリングした波動を分析する場合、ユーザは波動データに適した 低周波数と高周波数の限度範囲で本発明を構成し、適宜の濾波方法を選択して特 定の周波数範囲を不連続な周波数範囲に分割する。各フィルターは特定周波数に 中心を合わせられる。フィルターの目的は特定のタイム・スリップに対するフィ ルター中心周波数の振幅をもたらすことにある。波動の1つもしくはそれ以上の サイクルが、フィルターがその中心周波数の振幅を確実に指定することができる ようになるまでに経過しなければならない。その時点から、lサイクルが経過し た時点まで、波動がフィルターに入り、フィルター出力は勿論、誤っており、結 果として「フィルターの不確実幅」が増大し、振幅が不正確となる。
フィルターには「漏れ」という追加現象がある。複合波から単一周波数を分離す るほど狭いフィルターはないため、いずれのフィルターでも近接する周波数のい くらかの部分が漏れてしまうようになっている。この漏れは、計算されないとフ ィルター出力が誤って解釈されてしまい、結果としてエラー要因が認識されるこ とになる。
本発明を実施する場合、振動源の性格とそれらから放射される波動、および受波 段階および濾波段階で入り込むエラーが勘案される。
波動のパーシャル比率や振幅勾配からは多大の分析データが得られるが、それら は振動源の特性に関する明確な結論を引き出せるほど詳細ではない。また周波数 分布幅、櫂形式、ピーク、整定時間および対応の経時進行から、本発明がその比 類のない正確さを達成するのに必要な追加データを得ることができる。これらの 特性はいかなる周波数にも適用できるため、本発明は実質的にいかなる周波数か らなる事象を用いても実施できる。
本発明では、事象が発生する時点を抽出するとともに信号源、その基本周波数、 振幅および持続時間を識別する。この情報を抽出するために、その属性が既知で ある波動を先ず分析し、その既知属性とともに「指紋ファイル」として格納する 。次に本発明では、既知基本周波数の指紋を、振動源からの波動の基本周波数と 整合するように指紋の周波数成分を移行することによって振動源からの波動と比 較する。周波数比率、振幅比率、周波数分布幅、輻形式、ピークおよび整定時間 (すなわち「指紋属性」)は指紋から採取され、振動源の波動の同属性と比較さ れる。各比較で「スコアセット」が作成され、これが続く解釈のために「スコア ファイルJに格納される。
上記スコアファイルは、スコア密度パターンを計算する統計的収集手順で処理さ れる。これらのスコアパターンから、ユーザが、観察した密度パターンに基づい て検査するスコアの範囲を選択する。
前段の解釈の結果、本発明の装置がスコアの特定進行と関係とをよりよく解釈す る方法をそれによって「学習」する扱いやすいルールが確立される。本発明の解 釈のルールによって、事象が疑わしいと判定されると、一連のフィードバック段 階が開始され、ユーザが本発明の装置による学習を手助けすることができる。い ったん事象の識別が行われると、その持続時間と展開が、エラーが終息するまで 、本発明の装置によって追跡される。
スコア作成あるいはスコ゛ア走歪のいずれかの時点で、ユーザに、予め規定され たメツセージを送ることができる。メツセージは、立ち上げ時にユーザによって 選択、確立された臨界閾値条件にもとづいて送られる。、:れらのメツセージは 警報フラグの役割を果たす、あるいはユーザによる解釈のニーズを示す。
本発明はまた本発明の方法によって作成される製品にも関わっている。かかる製 品としてはデータベース、表現、その派生物およびオーディオ記録物、ビデオ記 n物等があるが、これに限定されない。
本発明の好適実施例は一般に例として音波処理に関わっているが、当業者に理解 される如く、本発明は分析を考えている実質的にいかんを問わない周波数の波動 を処理するのに官用である。特定の周波数範囲に適した実施例の対する特定の構 造や改造も本発明の示す所から当業者には理解されよう。様々な周波数範囲と分 析するために本発明の実施で使用する各種構造の多くは本発明では選択の問題で ある。
図1(データ流れの手順)と図2(制御流れの手順)はそれぞれ、手順、データ ファイル、装置のブロック図、およびこれに続く、制御情報および適切なデータ ファイルの流れのブロック図、である。
先ず、入力装置と出力装置とが規定され、手順とファイル構造とが適宜な値に構 成される。
図1、図2二人力装置(10,0) ここで「入力装置」は(a)原始波動をデジタル化し、外部の高分解クロックを サンプリング処理と時間的に相関付けする装置であり、(b)”jンブリング処 理を制御するために本発明で使用する装置制御器類をいう。多くの用途では、ア ナログ−デジタル変換器を用いて、入り原始波動を特定速度で不連続にサンプリ ングする。入力装置は高分解クロックをサンプリング処理に時間的に相関付けす る場合にも使用される。代表的にはこの装置は経過時間をカカン)・あるいは読 み、同期化(3,0)手順で使用する「事象タイミング要求1を作成する。入力 装置は本発明の「サンプリング開始」、「サンプリング停止Jおよび「経過すニ ップルの照合」コマンドで制御される。
図1、図2=入力(1,0) 「入力Jとは上記入力装置からのサンプルの記録を制御する手順をいう。サンプ ルファイルは原始波動の連続デジタル記録である。
原始波動の記録は必ずしも必要でなく、これは本発明の装置が、前に記録した連 続波動の原始データを処理するように構成されているからである。
図1、図2:立ち上げ(2,0) ユーザは、本発明の表示、処理、比較、格納、検証、解釈の方法を指定するため に立ち上げについての構成パラメータを選択し、そして原始波動と結果として得 るファイルを解釈する。入力装置の能力によって処理すべき最低、最高の周波数 と振幅とが決まる。これらの周波数および振幅の範囲はユーザ指定の周波数スケ ールを重ねることによってより小さい周波数と振幅の区分に分割される。選択し た入力装置のサンプル速度によって、処理可能な最小時間区分が決まる。ユーザ は表示または処理に対して、1サンプルの持続時間と同じほど小さい時間区分を 選択できる。
本発明のファイルはほとんど表示(9、O’)VDU端子に可視表示できる。ユ ーザは周波数範囲と時間区分のどの部分を表示するか制御する。すへての手順に 対するすべての段階と制御のパラメータは立ち上げ(2,0)に規定されており 、立ち上げファイル(2,1)に格納されている。
各手順で、波動源、ユーザあるいは、前段手順で作成されたファイルからの入力 あるいは制御情報を受ける。また各手順で、ファイルが作成されるあるいは本発 明の装置からの情報出力が制御される。
図1、図2=変換(4,0) r変換器とは、サンプルファイル(1、■)入力からのスペクトルファイル(4 ,1)の作成をいう。本発明の装置では、すでにスペクトル形式になっているフ ァイル入力を受ける、あるいは外部帯域フィルターを使用してスペクトルファイ ル(4,1)を作成することができる。あるいはまたFFTの新しい適合と解釈 、すなわち「補間したFFTフィルターバンク」を使用できる。濾波の最終点は スペクトルファイル(4,1)を正確な周波数と更なる処理のために時間分解能 で作成することである。立ち上げ(2,0)では使用する濾波処理を規定する。
はとんどの場合、ユーザが本発明の補間したFFTフィルターバンクを選択する が、これは、他の濾波に比べその補間FFTフィルターバンクのほうが高速、正 確であるためである。
本発明では、周波数が高い場合には比較的少ない個数のサンプリングポイントを FFTに使用し、また周波数が低い場合にか比較的多数のサンプリングポイント をFFTl:使用する。これらの多数のFFTから得た結果は「マルチパス手順 」と称する一連の周波数制限、振幅平均化およびクリッピング手順で組み合わさ れる。周波数制限では様々な長さのFFT (r長さ」はサンプリングポイント の個数の目安である)に対する最適な周波数範囲が規定される。また振幅平均化 、クリッピングでは、長さの短いFFTが処理されるが、この場合、より長いF FTからの対応振幅で個別の振幅を平均化し、また結果としての平均化された振 幅を、それが、長さの短いFFTからの計算された振幅レベルを越えないように クリップする。
FFTは周波数範囲を横切って直線に間隔をとった振幅値のグラフを作成する。
その直線スケール上に、ユーザは考えられる実質的にいかなる周波数スケールで も規定し、かつこれを重ねることができる。ユーザ指定の周波数スケールに含ま れる個別周波数とFFTが発生させる個別周波数はrポイント」と称される。本 発明では、所望周波数スケールポイントを囲む一連のFFTポイントが用いられ 、またこれらのFFTポイントにおいて多項補間を行って曲線近似が行われる。
こうして所望の周波数ポイントが曲線近似させたFFTポイントから補間される 。
より高い周波数範囲では、FFTはユーザ指定の周波数スケールにおける各要求 ポイントに対して多数のポイントを作成する。本発明では、要求ポイント毎の多 数のポイント個数を分析し、「ビン範囲」、要求ポイント上、下の探索範囲を計 算し、また上記ビン範囲を走査して最大振幅ピークを看つける。その最大振幅ピ ークを「ビンにおけるピーク」と称する。
最終的なスペクトルファイル(4,1)は更なる処理のために比較(6,0)お よび指紋(5,0)の手順へ送られる(下記参照)。
図1、図2:同期化(310) ここで「同期化」とは本発明装置が多数の波動源を収集しかつそれらを検査する 時におけるタイミングデータの正確な時間整合をい本発明では様々な時点でまた 、様々な箇所から収集される波動データを共通の[外部時間軸」に同期化させる 必要がしばしば生じる。
外部時間軸は正確なタイミング区分を可能とする高分解のクロック発生器/リー ダから発生させられる。このクロック発生器またはリークは同期化(3,0)手 順が応答し得る事象タイミング要求を発生できるものでなければならない。入力 サンプリング装置は「開始」コマンド、r停止Jコマンドおよび「経過サンプル の照会」コマンドに応答できるものでなければならない。
新しい同期化手順は「開始」コマンドと同時に開始する。入力装置から事象タイ ミング要求を受けると、同期化手順では、経過サンプル個数、[経過サンプル・ カウント」を入力装置から得、タイミングファイル(3,1)からの事象タイミ ング要求と対応の経過サンプルのカウントを累積する。このファイルは解釈(7 ,0)手順へ送られ、ここでアイミングファイルからのタイミング情報の割り出 し、読み出し、解釈が行われて行先ファイル(7,2)に対して正しいタイミン グ情報が計算される。
象に関する既知の事実セットを発生させることである。指紋手順では既知の振動 源からの原始波動のスペクトルファイルが取られ、スペクトルファイルの周波数 および振幅の勾配比率、ピーク位置、整定時間、周波数分布幅、櫂形式の計算、 抽出および格納(指紋ファイルへの)が行われる。またこの指紋手順では、指紋 振幅を計算するために、個別の対応パーシャル振幅が総和され、次いでその振幅 が、すでに格納された指紋、すなわち「振幅基準指紋」の振幅総合と比較される 。「振幅基準指紋」は振幅が既知である既知事象から発生させたものである。指 紋振幅レベルと、振動源と基本周波数とを識別する除去はこうして指紋ファイル に格納される。
指紋手順で初期指紋ファイル(5,1)が作成されると、フィードバック(8, 0)手順ではその初期指紋ファイルのパラメータにもとづいて新しい指紋の変更 と展開とが自動的に行われる。指紋ファイルは次いで更なる処理のために比較( 6,0)手順および解釈(7,0)手順へ送られる(下記参照)。
(4,1)の属性とうしの相違点と類似点の独特な評価をいう。比較手順では、 指紋ファイルの属性毎に独特なスコアを生じさせる。
スペクトルファイル(4,1)は、各ストリップに、指定した周波数スケールの 振幅を含めて一連のタイムストリップとして格納される。また比較手順は、スペ クトルファイルの周波数ポイントの各々を通って進み、スペクトル情報を、指紋 ザイルに格納された同等の属性と比較し、また次ぎのタイムストリップへ進んで 、ファイル全体が処理されるまで処理を繰り返す。指紋ファイルは検査中の特定 周波数ポイント(スペクトルファイルにおける)によって割出しされ、そして単 一の指紋が抽出され、特定のスペクトルファイルの周波数ポイントの要求に合う ように移行される。スペクトルファイルが検査中のファイルから走査され、収集 された周波数と振幅の値が指紋ファイルの様式に整合した様式に変換される。こ うして、変換されたスペクトルファイル情報が指紋の対応属性と比較され、そし て1つのスコアセットが結果から作成されてスコアファイルに格納される。
図1、図2:解釈(7,0) 「解釈」とは、スコアファイル(6,1)からの個別スコアを評価し、癌子波動 において認識された各事象の属性と挙動に関する結論に達する新しい処理を言う 。解釈手順では、干割事象が開始していることを示すスコアが探索され、その干 割事象に対応したタイムストリップの前後にタイムストリップから、干割事象の 基本周波数に関連した「一連のスコア」が収集される。その一連のスコアの解釈 は特定シーケンスやスコアの関係に割り当てた意味を判定する扱い易いルールに よって制御される。解釈手順によって事象が開始したことが判定されると、すな わち「その開始時間」が判定されると、これらの手順において振幅が計算され、 事象の持続時間が追跡される。
解釈手順には、スコアファイル(6,2)を走査しまたスコアの分布に関する統 計が収集する機能が含まれる。ユーザはそれらの分布グラフを表示し、検査する スコアの範囲を選択することができる。
一連の会話的手順を通じてユーザは分ぜきしているデータに適切なルールファイ ル(7,1)に対するルールと条件とをダイナミックに変更また追加することが できる。
また解釈の「フィードバック」手順においては、データに対するそれらルールの 適用から惹起する疑わしい条件がユーザに報知される。こうして、ルールファイ ルに含まれる展開的「知識ベース」はスコア範囲とともに、解釈、指紋および比 較手順を支配する一連のルールを構成する。これらのルールは格納され、ユーザ に対してその後に使用に供される。
また解釈の「持続時間追跡」手順は事象のパーシャルに照準し、新しい事象によ ってすべておパーシャルが完全に中断されるあるいは最小振幅閾値が消されるま で事象を追跡する。
また解釈の「振幅抽出」手順もパーシャルに照準し、スペクトルファイルのパー シャルの振幅レベルを指紋のパーシャルの振幅レベルと比較する。現在の事象が 完了すると、収集された振幅データが指紋の振幅設定と比較され、事象の「相対 振幅」が決定される。
解釈手順では、それらの手順で行われた結論のデータベースである行先ファイル (7,1)が作成される。このファイルは、ユーザが検証する結果をシーケンス するフィードバック(8,0)において評価される。
更に解釈からの出力の、フィードバック(8,0)手順への流れは立ち上げ(2 ,0)あるいはユーザによって、新しい指紋が、比較による平均値が確立された 閾値以下になると作成されるように制御される。
図1、図2=フィードバック(8,0)「フィードバック」とは前段の手順から の結果をユーザに対して検証のために送ることをいう。ユーザはフィードバック を作動する条件を指定する。またこのフィードバック手順では、行先ファイル( 7,2)の適宜部分が読み出され、それらが表示(9,0)および出力(10, 0に適当な様式に変換される。フィードバックではまた、装置ファイル(8,1 )およびメツセージファイル(8,2)の適宜手順への分配が制御される。フィ ードバック手順では、ユーザからの応答が受けられ、こうしてより正確なファイ ルの再生のために指紋(5,0)、変換(4,9)、比較(6,0)および解釈 (7,0)が制御される。フィードバックではまたルールファイル(7,1)の 作成と展開も制御される。
図1、図2=出力装置(10,1) 「出力装置Jとは、フィードバック(S、O)手順において結果を検証するため に用いられる、選択された装置をいう。用途が異なれば装置も異なるが、これは それらの用途の周波数要求が変わり、また結果をもたらす手段も必然的に異なる からである。原則として、出力装置は再生または表示するファイルを受けること ができるものでなければならず、また装置ファイル(8,1)の出力を位置決め 、開始かつ停止させる制御器類を含むものでなければならない。
図3〜図■3: (手順) 手順の説明では(下記参照)主要手順に含まれる主要処理、すなわち、変換4. 0、指紋5.0、比較6.0、解釈7. 0および同期化3.0について説明す る。その他の手順はいずれも、特定装置構成、データ流れ、情報表示を#j御す る補助的機能に関するものであるため、これらその他の手順については詳述しな い。
図14=装置概説 本発明の例としての装置に個別構成部分には一般に、波動源lからの連続波動デ ータを、コンピュータ6と対応の双対プロセッサー7とによって処理される不連 続デジタル・サンプルに変換するA/D変換器3等の装置が含まれる。結果はコ ンピュータ6からD/A変換器3、グラフィクス・カード/モニター9および記 憶装+tIOへ送られる。あるいは、直接デジタル入力袋ft5を用いて、波動 データを、A/D変換器を使用せずに直接コンピュータ6へ入力することもでき る。クロック2は高速のタイミング情報を発生しかつ読み出し、コンピュータに 信号を送って、このコンピュータを制御するタイミング要求発生器4を制御する ことによってタイミング情報に応答する。
音波分析の場合、波動源lは例えば、数本のオーディオ信号トラックと、SMP TEタイミング・トラックとを育するテープを処理できるマルチトラック・テー プレコーダであってよい。そのオーディオ信号はテープレコーダからA/D変換 器へ送られる。このA/D変換器は例えば、ARIELTMのDISP−16で もよい。このDISP−16はコンピュータ6の読み出すデジタル・サンプルを 発生させるものであり、またコンピュータ6は例えば、TBMRのコンピュータ システムあるいはコンパチブルのPC33MH280386コンピユータシステ ムであってもよい。このコンピュータシステムはO8、例えば、MS−DO3R で動作するものである。このコンピュータシステムは記憶装置110にデジタル ・サンプルを格納する。その記憶装置は例えば、ハードディスク駆動装置であっ てもよい。前記のように、A/D変換器はAES EBUコンパチブル入力ボー ト等の直接デジタル入力装置t5を用いてバイパスしてもよい。コンピュータの 処理能力はEighteen Eight LaboratoriesのPL1 250不動小数点アレイ双対プロセッサー等の双対プロセッサー7および、MI CRO3OFT RのWindows 3 、0等のマルチタスクO8によって 補間してもよい。コンピュータシステムは、VIDEO5EVEN”1024X 768高分解能VGAサダブターおよびNECのマルチシンク高分解能カラーモ ニター等のグラフィクス・カード/モニター9へ信号を発生する。またコンピュ ータシステムはARIEL” DISP−16等のD/A変換器3ヘデジタル・ サンプルを送る。高速クロック発生器/リーダ2は例えば、Rolandの5B X−80SMPTEでもよく、テープレコーダからSMPTEタイミング・コー ドを読み出し、タイミング要求発生器4を制御する。このタイミング要求発生器 4は例えば、RolandのMPU−401MIDIインタフェースでもよく、 コンピュータに直接接続される。ユーザはコンピュータのキイボード8を通じて 入力したコマンドで装置をυHMする。
名称: Multi−PassSpectral 0図3 この手順では、可変時間と複数周波数品質の多数のスペクトルタイムストリップ を発生させ、それらを独特に組み合わせて単一のスペクトルタイムストリップを 新規に作る。この処理を説明するために、プログラム原始コードで単一タイムス トリップに対するスペクトル発生を示す。代表的には、スペクトルファイルを多 数のタイムストリップで構成する。
ステップ1: 立ち上げファイルを読み出して、変換手順で要求される制御パラメータ、周波数 スケール、ファイル名を抽出する。
ステップ2: 増大FFTサイズの順にファイル名を分類して後段のスペクトル組み合わせ手順 の始まりにより小さいFFTサイズのスペクトル・タイムストリップを置く。
ステップ3: FFTサイズの異なった多数のスペクトル・タイムストリップの発生を#I御す るループを開始する。
ステップ4: 立ち上げファイルにアクセスして、現在のスペクトル・タイムストリップの発生 において使用するFFTサイズに固有の変数を検索する。
ステップ5: ユーザの要求する周波数をFFTの周波数ポイントに重ね、不動小数点位置を計 算して、要求された周波数スケールポイントを後段の手順で抽出するFFTにお ける位置を判定する。FFTの結果は特定周波数ポイントにおける一連の振幅と して見ることができる。
しかしながら、FFTの使用で作成される、より低い周波数における周波数ポイ ントは十分な解釈を行うには少な過ぎ、また正確な選択が問題となるより高い周 波数における周波数ポイントは多すぎる。
本発明の「多項補間」機能によって、より低い周波数における周波数ポイントの 不足分が補償され、また本発明の「ビンにおけるビーク」機能により、より高い 周波数における過剰の周波数ポイントが新規に補償される。
ステップ6〜ステップ9: 後段の手順で使用する「ビンにおけるピーク」テーブルを計算する。この「ビン におけるピーク」手順では、要求された周波数スケールポイントが取り込まれ、 最も近いFFT周波数ポイントが探され、最も高い振幅レベルに対する周囲のF FT周波数ポイント(すなわち、「ビン範囲」)が探索される。
ステップ6: 要求された周波数スケールにおけるすべての周波数を循環する。
ステップ7: 要求された各周波数スケールポイントに対するビン幅とビン@開始位置とを計算 し、格納する。
ステップ8〜ステップ9: ビン幅が最小ビン幅要求より大きいか否かを検査し、大きければ、「ビンにおけ るビークJの探索を開始する周波数位置を保持する。
ステップ10: 立ち上げ手順から得た特定長の連続サンプルのグループをFFT処理アレイにロ ード荷する。
ステップ11; サンプルアレイにアポダイジング(apodizing)機能を適用してサンプ ルウィンドー(説明のためにHanningウィンドーを示す)のエツジに生じ るFFT分析エラーを少なくする。
ステップ】2: サンプルアレイにおける要求サイズのFFTを行う。
ステップ13: FFTに含まれる実および仮想の部分の多対に対する複合の大きさを計算する。
ステップ10〜ステツプ18: 現在のタイムストリップにおいてを行う。この多項補間ではステップ5(上記) で計算したInterpArray []を用いてFFTにおける正確な位置を 判定して個別の振幅を得る。結果として得た振幅をTimeStripアレイに 置く。
ステップ14: 要求された周波数スケールにおけるすべての周波数ポイントを循環する。
ステップ15〜ステツプ16・ 曲線近似手順の要求に等しい幅で周囲FFTポイントを循環し、振幅を収集する 。
ステップ17: 収集した振幅にChi平方の対角線多項曲線近似を行い、要求された周波数オフ セット位置の振幅を抽出する。
ステップ18: TimeStripアレイに結果として得た振幅値を退避させる。
ステップ19〜ステップ22: 現在の夕・イムストリップで「ビンにおけるピーク」機能を実行する。
ステップ19: 1回に1つの周波数位置ずっ[ビンにおけるピーク」周波数範囲を循環する。
ステップ20: 「ビンにおけるピーク」位置を割出し、探索幅をセットし、探索範囲を循環する 。
ステップ21〜ステップ22: 探索範囲における最も高い振幅レベルを検査し、周波数位置とともにそれを保持 する。
ステップ23〜ステップ37: 多数のスペクトルファイルのタイムストリップを連続的に組み合わせ、これによ って追加のタイムストリップで各々先行組み合わせを更に精製する。より短い持 続時間のFFTで発生させたスペクトル・タイムストリップが最終タイムストリ ップの時間分解能により寄与し、またより長い持続時間のFFTで発生させたタ イムストリップが最終タイムストリップの周波数分解能により寄与する。
ステップ23〜ステップ24: 現在のタイムストリップが上記組み合わせにおける第1タイムストリツプである か否かを検査し、そうであれば、タイムストリップ全体を目的のタイムストリッ プにコピーする。
ステップ25〜ステップ26: 後の組み合わせを制卯する変数を立ち上げファイルからロードし、また前の組み 合わせから対応のタイムストリップをロードする。
ステップ27〜ステップ28: 現在のタイムストリップのいずれかの部分が組み合わせ開始位置の下方にあるか 否かを検査し、そうであれば目的のタイムストリップのその下方範囲をコピーす る。
ステップ29〜ステップ30: 現在のタイムストリップのいずれかの部分が組み合わせ開始位置の上方にあるか 否かを検査し、そうであれば目的のタイムストリップのその上方範囲をコピーす る。
ステップ31・ タイムストリップの組み合わせが必要であるか否かを検査し、必要でなければ、 組み合わせ処理をバイパスする。
ステップ32ニ オーバラツブ領域におけるすべての周波数を循環する。
ステップ33〜ステップ34: 前段での振幅または現在の振幅がゼロであるか否かを検査し、どちらかがゼロで あれば、両方の振幅をゼロにセットする。
ステップ35〜ステップ36: 2つの振幅をともに平均化し、その平均値を前段における振幅にクリップし、こ うしてタイミング情報を、より大きいFFT発生のスペクトルファイルのタイミ ングの不正確さの増大によって生じる歪から保護する。
ステップ37: 結果を現在のタイムストリップに退避する。
現剪(初期データベースの作成) 名称: rnitDatabaseGenerate 0図4 比較はスペクトル情報を、スコアした指紋情報と比較することによってスペクト ルファイルからスコアファイルを得る手順である。
この初期データベース作成段階では、更なるひかく手順によって次ぎに処理され るデータベースを作成する。前段プロセッサーとして作用することにより、この 初期データベース作成段階は、後段での計算を少なくするためにスペクトルファ イルのどの領域で更なる比較を適性化するかを独自に判定する。
ステップ1: 選択した基本周波数範囲に変数rFundamental Jを循環させる。
ステップ2: Fundamentalに対して指紋おr FingerHeaderJ、r  FingerData」アドレスを計算し、Fundamental とFin gerHeaderの基本周波数との間の移行を計算する。
ステップ3: 変数rStripNumber Jを選択したタイムストリップ範囲に循環させ る。
ステップ4: FingerHeaderにリストしたパーシャルに変数r Complete Part 1alsJを循環させる。
ステップ5: CompletePartialsに対して指紋のrFingerPartia lJオフセットアドレスを循環させる。
ステップ6: 変数r CompareStrip」を、選択した個数の、StripNumb erからのタイムストリップオフセットに循環させる。
ステップ7: CompareStripと対応する周波数位置に対するスペクトルファイルの r 5pectralCenterJアドレスを計算する。
ステップ8: 5pectralCenterを囲むより高いまたより低い周波数を探索してピ ーク振幅と対応の周波数位置とを見つける。
ステップ9: Fundamen ta Iが隣接周波数に照準されているか検査し、相応に分 岐する。
ステップ10〜ステップ11: 有効ピークが見つかった場合、指紋のドリフトをスペクトルのドリフトと比較し 、ドリフト変動スコアを計算する。
ステップ12・ 指紋形式をスペクトル形式と比較し、形式変動スコアを得る。
ステップ13: 指紋振幅をスペクトル振幅と比較し、振幅変動スコアを得る。
ステップI4: 周波数と時間との拘束にもとづいて各パーシャルのドリフト変動スコアを調整す る。
ステップ15: 振幅、ドリフトおよび形式変動について最終スコアを計算する。
ステップ16〜ステップ17: 変動スコアが、最終スコアの受容を正当化するに十分な大きさであるか検査し、 そうであれば、事象をスコアデータベースに退避させる。
比較(時間勾配の比較) 名称: CompareTimeSople 0図5 時間勾配とは、2つのタイムストリップにおける振幅および周波数位置から計算 した、所定の周波数位置におけるそれら2つのタイムストリップどうしの間の勾 配をいう。タイムストリップの比較段階では、指紋とスペクトルファイルに対す るタイムストリップがどれだけ密接に整合しているかを反映するスコアを独自に 判定する。
ステップ1: 変数rCompletedPartials Jを、選択した周波数オフセット 範囲に循環させる。
ステップ2: 不良パーシャルの個数が特定の限度を越した場合にエグジットする。
ステップ3 FundOffsetTableを用いてCompletedPartials の現在値にもとづいて変数rFundamentalOffset Jを計算す る。
ステップ4二 幅探索テーブルアドレスと指紋データアドレスとを得る。
ステップ5: 変数rTimestripJおよびr FundamentalOffsetJ の現在値と対応する周波数位置に対するスペクトルファイルのr 5pectr alCenterJアドレスを計算する。
ステップ6: 5pectralCenterの回りのより高い、またより低い周波数を探索し てピーク振幅と対応の周波数位置とを見つけだす。
ステップ7: 変数rcOmparestripJを、TimeStripからオフセラI□I 、ている選択した個数のタイムストリップに循環させる。
ステップ8: 現在のTimeStrippおよびCompletePartialsに対する 指紋データオフセッタドレスを計算する。
ステップ9: 次ぎのタイムストリップに対するピーク振幅を見つける。
ステップ10〜ステツプ11ニ スペクトルファイルにおける2つのポイントに対する時間勾配を計算し、与えら れた勾配の周波数、タイムストリップおよび振幅にもとづいてその変動パーセン トを計算する。
ステップ12〜ステップI3: 指紋ファイルにおける2つのポイントに対する時間勾配を計算し、与えられた勾 配の周波数、タイムストリップおよび振幅にもとづいてその変動パーセントを計 算する。
ステップ14〜ステップ15: 変動スコアを得るべく、スペクトルファイルの変動を指紋ファイルの変動と比較 し、そしてそのスコアを最小の受容叶うなスコアと比較する。
ステップ16: タイムストリップの変動スコアをパーシャルの変動スコア総和に加算する。
ステップ17: 次のタイムストリップの勾配計算のために振幅値を入れ替え、それによって1つ の振幅抽出ステップを省略する。
ステップ18゜ 1つのパーシャルに対する変動スコアを総合変動スコアに加算する。
ステップI9: 不良タイムストリップの個数か確定限度を越える場合不良パーシャルの総和を増 分する。
ステップ20゜ 比較手順におけるすへてのパーシャルに対する最終時間勾配の変動を計算し、そ れを退避する。
比較(周波数分布幅の比較) 名称: CompareWidthO 図6 周波数分布幅とは、ピークの中心の上、下にあるピークの全幅をいう。この周波 数分布幅比較の段階では、指紋ファイルとスペクトルファイルに対する周波数分 布幅が所定時間および周波数位置においていかに互いに整合するかを反映するス コアを新規に判定する。
ステップI: 変数rCompletedPartials JをFingerHeaderに リストされておるパーシャルに循環させる。
ステップ2: 変数r CompareS tri pJを変数rTimestrip Jから オフセットした、選択された個数のタイムストリップ範囲に循環させる。
ステップ3: 指紋データアドレスオフセットを計算する。
ステップ4〜ステツプ5゜ 5pectralCenterを囲むより高い、またより低い周波数を探索して 、ピーク振幅と対応の周波数位置とを見つけだし、ピーク振幅が見つからなかっ た場合に形式変数をNO−FORMにセットする。
ステップ6: 前段階で「完全な」幅が見つからなかった場合に輻探索を放棄する。
ステップ7: ピークに対する正確な幅、そのピークの形式の記述、そのピークの上下セグメン トの形式の記述を判定する。
ステップ8コ スペクトルファイルの櫂形式を指紋ファイルの櫂形式と比較し、櫂形式変動スコ アを得る。
ステップ9: 現在のタイムストリップに対する幅変動スコアを計算する。
ステップ10: 変動スコアを最小の受容可能なスコアと比較する。
ステップ11: 1つのパーシャルに対する変動をパーシャル変動総和に加算する。
ステップ12: 不良タイムストリップの個数が確定限度を越えた場合に不良パーシャル総和を増 分する。
ステップ13: 比較手順におけるすべてのパーシャルに対する幅変動スコアを計算し、退避する 。
比較 (ピーク検出) 名前: FindPeak O 図7 「ピーク検出」は、中心位置前後の周波数範囲において、最も明瞭な振幅ピーク を探し、その位置を特定する。現在の時間帯と周波数位置とに基づき、サーチ範 囲を一意に動的にmWする。
ステップlは、今回のピークサーチ用の周波数サーチ範囲を計算し、計算したサ ーチ範囲を変数UpSearchRangeとDnSearchRangeとで 表す。
ステップ2は、別の比較計算用の変数Tota ISearchRangeを計 算する。
ステップ3は、周波数サーチ範囲において、中心周波数より上位のピークと下位 のピークとを探す。
ステップ4は、傾斜方向フラグと閾値フラグとを使用して、中心位置よりも上位 かつ最も近いピークを探す。
ステップ5は、スペクトルファイルにおいて、現在の周波数位置における振幅を 決定する。
ステップ6は、隣接する周波数位置について、振幅の傾斜方向をtJP、 DO WN、 PLATEAUのいずれかとして計算する。ここで、PLATEAUは 、比較的平坦な振幅であってゆるやかに変化する傾斜領域を表す。
ステップ7は、スペクトルファイルにおける振幅と最小閾値とを比較し、振幅レ ベルが最小閾値よりも小さければサーチを停止する。
ステップ8は、傾斜方向フラグと閾値フラグとを使用し、中心位置よりも下位か つ最も近いピークを探す。
ステップ9は、連続する下降傾斜の数が所定の下降傾斜許容数を超えていれば、 サーチを中断する。
ステップlOは、最後に見つけた振幅が記憶したピーク振幅より大きければ、ピ ーク振幅とその位置とを更新する。
ステップ11は、完全な幅が見つかれば、変数PerfectWidthをTR UEにする。これは、ピークの上位および下位において、振幅が最小閾値に向か って下降していることを示す。
ステップ12は、分析中のサーチデータから、発見したピークの形状を得る。
ステップ13は、サーチ変数と輻データとに基づき、ピーク位置の上位の傾斜お よび下位の傾斜の形状を得る。
ステップ14は、全ピークデータを保存する。
比較 (周波数分布幅検出) 名前: FindFrequencyWidth 0図8 「周波数分布幅検出」は、中心位置の決定を受け、周波数空間におけるピークの 範囲と形状とを一意に決定する。ピークの上位および下位における幅と形状に関 する情報を作る。新しいサーチ範囲において、より良いピークが見つかれば、ピ ーク位置と振幅とを更新する。
ステップ1は、上位方向および下位方向におけるサーチ範囲を計算する。
ステップ2は、2方向ABOVEおよびBELOW (7)間で、変数Both をループさせる。
ステップ3は、元のピークサーチが明瞭な幅を見つけたら、サーチを停止する。
ステップ4は、両方向の最大サーチ範囲において、変数5earchをループさ せる。
ステップ5は、変数5earchの現在値が、その方向におけるサーチ範囲を超 えていれば、サーチを破棄する。
ステップ6は、現在のピーク位置における振幅を決定する。
ステップ7は、周波数傾斜の方向を計算し、それを変数DirectionCa seに設定する。
ステップ8は、変数D i rec t 1oncaseが示す傾斜方向に応じ て分岐する。
ステップ9は、傾斜方向が下向きであれば、ピーク振幅を検査し、該ピーク振幅 が動的に設定された閾値を下回るか否かを決定する。
ステップ10は、傾斜方向が上向きであれば、中断条件に照らし合わせて#tf 4の変化率を検査する。この中断条件とは、下向き傾斜が、動的に設定された限 度を超える率で急激に方向を変えることである。
ステップ11.12は、サーチ完了時またはサーチ中断時に、消失点を計算する 。
ステップ13は、サーチが完了せず中断も無ければ、ピーク振幅値とその位置と を更新する。
ステップ14は、傾斜方向がPLATEAUであれば、ピーク振幅値とその位置 とを更新する。
ステップI5は、幅サーチが完了した否かを検査し、その結果に応じて分岐する 。
ステップ16は、サーチ範囲内の傾斜が、サーチ範囲の境界まで上向きであれば 、最終幅形状を「アップオンリー」とする。
ステップ17は、サーチ範囲内の傾斜が、サーチ範囲の境界まで下向きであれば 、最終幅形状を「境界まで下降jとする。
ステップ18は、サーチ範囲内の傾斜が、「アップオンリーJでもなく「境界ま で下降」でもなければ、最終幅形状を水平とする。
ステップ19は、現在のピーク形状を最終ピーク形状変数に保存する。
ステップ20は、現在の幅形状を最終幅形状変数に保存する。
ステップ21は、最終ピーク振幅とその位置とを保存する。
翻訳 (スコアの翻訳の制御) 名前: [nterpretScores 0図9 スコアの翻訳は2つのカテゴリからなる。1つは、比較処理が作成したスコアフ ァイルを調べ、指紋ファイルとスペクトルファイルが最も良く一致する極大を決 定する。他の1つは、適合するソースの各周波数成分を、固定位置から消失位置 まt:は中断位置まで時間的に前方に追跡し、対象事象の期間を正確に決定する 。開始時間、終了時間、および調査中に決定する性能パラメータは、最終データ ベースに格納する。
ステップlは、比較ファイルから構造体すCompareScoreに現在のス コアをロードする。
ステップ2は、設定した開始および終了間の時間帯にある比較ファイルの全スコ アに対し、変数5coreCountをループさせる。
ステップ3は、現在のスコアの基本周波数が設定した開始周波数と終了周波数の 間にあるか否かを検査し、その結果に応じて分岐する。
ステップ4は、スコアを評価し、該スコアがさらにサーチを要求するものであれ ばフラグをセットする。
ステップ5は、スコアが、進行中の他のサーチの周波数範囲にあるか否かを調べ る。
ステップ6は、予備評価フラグがTRIJEであるか、対象スコアが現在進行中 のサーチと衝突しないかを調べ、その結果に応じて分岐する。
ステップ7は、現在のスコアに関連する周波数帯および時間帯に入るスコア列を 比較ファイルからロードする。
ステップ8,9は、前記スコア列を分析し、事象における最も可能性の高い開始 点を特定する。明瞭な事象開始点を特定すると、フラグ5eriesTestを TRUEにし、それを検査する。
ステップ10は、期間データベースにリソースを割り当て、対象事象を追跡する 。
ステップ11は、対象事象の期間が決定されるまで該事象の各部を追跡する。
ステップ12は、対象事象の期間が設定下限を超えたら、該事象を保存する。
ステップ13は、フラグ5eriesTestが時間の不確定性を示す場合、時 間の不確定性を分析し、知識ベースを更新する。
ステップ14は、フラグ5eriesTestが不完全スコアを示す場合、不完 全スコアを分析し、知識ベースを更新する。
ステップ15は、現在のスフアカウントを増分し、比較ファイルから次のスコア をロードする。
翻訳 (スコア列の翻訳) 名前: EvaluateSeries □図10 スコア列を評価する。時ll11帯の限定領域にわたって関連周波数のスコア列 を集め、該スコア列の中の最も可能性の高い最大スコアを一意に特定し、スコア 列へのオフセットに基づいて同等の時間帯を計算する。分析誤差に関する有用な 情報も提供する。
ステップ1は、スコア列の各データに対し、変数5eriesLoopをループ させる。
ステップ2は、現在のスコアが一連のサーチにおける最大のスコアであれば、該 スコアのスコア列における位置を記録する。
ステップ3は、現在のスコアがそれまでの最大スコアを下回れば、最大スコアの サーチを続行する。
ステップ4は、現在のスコア列について新たな最大値に遭遇せずに、設定したサ ーチ範囲限界に到達したら、最新の最大スコアを受け入れる。
ステップ5は、すべてのスコア列について、上記処理を繰り返す。
ステップ6は、累積バッファを用いて固定位置を計算する。スコア列のスコアが 最大となる該スコア列用オフセットにおいて、累積バッファにスコアを加える。
いくつかのスコア列が同一位置に固定される場合、その固定位置は優れた累積ス コアを示す。
ステップ7は、累積バッファを調べて最良累積固定位置を計算する。
ステップ8は、累積バッファを再びサーチし、2次固定位置を見つける。
ステップ9は、累積バッファ内に発見した最良固定位置に対応する時間帯を計算 する。
ステップ10は、該最良固定位置を記録する。
ステップ11は、固定位置における累積バッファの値か、設定した不確実性範囲 内にある場合、その範囲をさらに分析する必要があることを示すフラグをセット する。
ステップ12は、固定位置における累積バッファの値か、設定した閾値を下回れ ば、スコア列の時間帯には事象が見つからなかったことを示すフラグをセットす る。
ステップ13は、2次固定位置が1次固定位置から所定距離だけ離れていれば、 正確な固定位置を決定できないことを示すフラグをセットする。
ステップ14は、明瞭な固定位置が得られれば、固定位置が許容可能であること を示すフラグをセットする。
翻訳 (事象の作用時間をめる) 名称 ファインドデュアレーション0 図11 一度事象が開始されると、その作用時間はファインドデュアレーション・ルーチ ンにより探知され、部分音が消えるかあるいは別の事象の割込みがあると、この ルーチンはスペクトル・ファイルの部分音をフィンガープリントが指定した周波 数位置で新規に監視してこれを探知する。各部分音はフェードアウトまたは割込 みによりキャンセルされるので、部分音の総数は減少する。活動部分音が減少す ると、フラグをセットして時間探知が5損性であることを示す。
翻訳ルーチンは現在の事象に対する時間探知の安定性を監視する。
活動部分音がユーザー指定の最低数以下になった場合、この事象が完全であるこ とを示すフラグで知らせ、すべての時間探知リソースは解放される。
1、この事象が先行する時間探査の連続であるかどうかをテストする。その場合 は、データベースのフェードアウトおよび割込みエントリをテストし、フェード スコアとインタラブドスコアは正確な数の非活動部分音により概略更新する。
2、部分音のすべてにわたってループを制御する。
3、次の翻訳ステップで必要なビットマスクお呼びデータベース・インデックス を計算する。
4〜5.現在の部分音がすでにフェードアウトしているかあるいは割込みがあっ たかテストし、その場合は、計算流の部分の数を増加する。割込み状態が発生す る前に、一連の下向傾斜が発生しなければならない。初期の下向傾斜をめれば、 時間探知ルーチンにより事象の初期アタック部分が首尾よく発生し、振幅が衰退 する。
6、時間探知データベースを調べ、前の時間探査中に下向斜線が発生したかどう か断定する。
7、フィンガープリント・データの始まりのメモリー・アドレスを計算する。
8、タイム・ストリップ全体にわたってループ制御を行う。
9.現在の事象の振幅決定に用いたフィンガープリント振幅合計を積算する。
10、 H波数と時間の現在位置に対するスペクトル・ファイルの振幅を修正す る。
11、事象振幅の計算に用いたスペクトル・ファイル振幅の合計を積算する。
12〜24.スペクトル振幅とフィンガープリント振幅を比較し、スペクトル振 幅がユーザー指定のフィンガープリント娠輻率以下の場合は、不良部分音数を増 加する。不良部分音数が不合格スレショルドを越える場合は、その部分音数は合 格のマークを付し、フェードスコア数を増加する。十分な部分音が不合格スレシ ョルト以下であり、この時間探査が現在の事象で最初のものであれば、ファイン ドデュアレーションはこの事象を無効としてマークする。
15〜18.現在の振幅が計算運転振幅平均を相当に下回り下向傾斜がある場合 は、時間探査データベースのビットを設定する。
19〜20.現在のスペクトル振幅がフェードアウト振幅以下であるかテストし 、その場合は、時間探査データベースのフェードアウト・ビットを設定する。
21〜22.最後のいくつかの振幅レベルの全体の傾斜が上向き方向の傾向があ るかテストし、その場合は、さらに範囲を拡大して振幅傾向を計算する。
23〜24.現在の振幅レベルが傾向レベルにオフセット量をたしたものを越え る場合は、時間探査データベースのビットを設定し、インタラブド・スコアを増 加する。
25、激動周波数ドリフト数と不良形数を積算する。ある事象組合わせは認識可 能なフェードアウトを破壊しスペクトル・ファイルの特長を妨げることがあるの で、三番目のテストを行って激動周波数ドリフトと大きな形状変化を調べる。こ れは、これらの状態がある新規事象がファインドデユアレージ3ンの探査能力を 低下させていることを示しているからである。
26〜27.激動ドリフト数または不良形数が既にられた最少数を越えているか テストし、その場合は、時間探査データベースのビットを設定する。
28、現在の部分音に対する振幅を合計する。
29、これが最初の時間探査の場合は、事象振幅を計算する。
30、ファインドデュアレーションから送り返された変数に対して時間探査結果 を指定する。
フィンガープリント (指紋をつくる) 名称:メークフィンガープリント 図12 メークフィンガープリントは特異な方法で、既知のソースからスペシャルファイ ルを抽出し、その特性をセーブする。スペシャルファイルは周波数ピークについ て夫々のパーシャルの周波数位置を走査する。スペシャルファイルは二回分析さ れ、ピーク振幅、ドリフト、幅、及びピーク構造の詳細は夫々のピークについて セーブされる。最終結果は、既知ソースを記述する基本情報を含むフィンガープ リントである。
1、フィンガープリント生成変数の変数を初期化する。
2、フィンガープリント生成周波数域におけるすべての周波数により変数’ F reqLoop”をループし、PartialOnOffマツプを埋める。
3、タイムストップの組範囲により変数“TimeLoop”をループする。
4、 FreqLoopに周波数でもっとも近い振幅ピークをみつける。
5、正確なピークが発見できない場合、上及び下の形の変数をNo−FDI?M 状態lこ設定し、それによりピークが識別できない形であるように指定する。
6、周波数幅、形及びドリフトを見つける。
7、ドリフトがいくつかのタイムストリップにわたって極めて不安定である場合 、このパーシャルの分析を不能化する。不安定ドリフトはこの部分について不安 定な周波数位置を意味する。
8、現在の振幅が動的ないき値を越えない場合には、現在のタイムストリップを ドリフトセンタ決定範囲の端部としてマークする。この場合、振幅はドリフトセ ンター位置の決定に含まれる。
9、既知漂準振幅に対する現在のパーシャルの比較に基づき、“Partial Amp”に対する増分を計算する。
lO9分析に基づき、パ・−シャシの共通ドリフトセンターを見つける。
11、最終的なパーシャルが基本である場合には、PartialOnOffマ ツプにおけるパーシャルを、ドリフトなしでログする。
12、共通ドリフトセンタの計算に使用されるストリップの数が必要なタイムス トリップの最少数を越える場合には、PartialOnOffマツプのパーシ ャルをログする。
13、パーシャル比のマツプから分析するため次の推奨周波数を計算する。
14゜計算されたPartialOnOff7 ツブ及び関連する変数をFin gerprintファイル中にセーブする。
+5. Fingerprint生成域におけるすべての周波数を通じ、変動F reqLoopをループし、Fingerprintを正しい振幅レベルで充た す。
16−17. PartialOnOffマツプが現在の周波数がリストされた パーシャルに対応する場合には、タイムストリップの確立した範囲を通じ、変動 TimeLoopをループする。
18、分析中のパーシャルにもっとも近い振幅ピークを見つける。
19、正確なピークが見つけられない場合には、NO−FORMの変数型を設定 し、かくしてピークが型をもたないことを表わすようにする。
20、周波数幅、型、及びドリフトを見つける。
21、完了したFingerprintパーシャルデータをFingerprt ntファイルにセーブする。
同期(総論) 同期手順に関するめる議論を容易にするために、音楽及びレコード産業に共通す る装置及び制御手段が説明の目的で含められるけれとも、これは本発明の一般的 な利用可能性を限定するものではない。
音楽産業におけるレコーディングプロセスでは、映画及びテレビジョン技術者協 会(SMPTE)で特定される潔準的な同期プロトコルが、一般的に使用される 。更に、電子機器及び!!r!!!機器の間音楽情報の交換のために記述し制御 する探準である音楽機器ディジタルインターフェース(M[D[)もまた、この 産業界で広く採用されている。かくして、音楽における音響波形分析に対する利 用は、高解像度クロック装置としてのSMPTE発生器/読取器とのインターフ ェースに関わる。このような装置は、輿望的には、本発明が応動するタイミング 要求を生成するMIDIシリアルインターフェースを経由して、本発明装置に伝 送されるMID I実時間クロック信号、を生成することができる。
ディジタルサンプリング目的のためには、専用の信号処理装置により制御される アナログ−ディジタルコンバータが示唆される。利用の分野が何であれ、選ばれ るサンプリング装置は、記録される波形の要求に応じる速度でサンプリングでき ること、及び本発明にょ65TART RECORD、 5TOP−RECOR D 及U ELAPSED−3AMPLE 要求1:応fできるもの、でなけれ ばならない。
同期 (サンプルファイルのレコード及び同期表の生成)名称: RecordAnd Sync()図13A l−3,同期表のためのメモリの割当て、レコード変数及びカウンタの初期化、 インタラブド(タイミング要求)を可能にする、インタラブド速度の設定、イン タラブド処理ルーチンの初期化。
4、レコーディングプロセスの開始。
5−7.ストップ−レコーディング要求をユーザーから受けた場合には、ENI )−12EcQl?Dコマンドを送り、インタラブド処理ルーチンを不能にする 。
8、同期表をセーブする。
同期化 (事象時間要求処理) 名称:ブロク インド(proc−int)第13B図 これらのルーチンは割り込みに対して迅速、正確、精確に応答するためにアセン ブリ言語を利用する。
1−21割り込み発生処理によりデータポートのデータを検索し、クロック同定 指令があることを確認する。
3−4.サンプリング装置からの経過サンプルカウント数を検索し、サンプリン グ装置の経過サンプルカウンタをクリアし、経過サンプルカウント数を同期テー ブルに記憶する。
同期化 (同期テーブルからの同期時間の計算)名称二同期時間信号入手(GetSyn cTimeData)第13C図 1、要求されたスタート時間ストリップの絶対時間並びに経過時間の測定及び記 録が一定であるとした場合に絶対時間に関連するであろう絶対割り込みカウント 数を計算する。また、要求されたスタ〜 ト時間ストリップ(下位割り込み)直 前に生じるこの割り込みカウント数に関連した時間(a)と要求されたスタート 時間ストリップの絶対時間(b)との差を計算する。
2、同期テーブルをサーチし、下位割り込みに関連するサンプルカウント数と絶 対割り込み直後の割り込みに関連したサンプルカウント数とを検出する。
3、下位サンプルカウント数と上位サンプルカウント数との間のサンプル数を計 算し、その値にブロックl(上記)で計算した時間差を掛算し、それにより下位 割り込みサンプルカウント数からのサンプルオフセット値を得る。
4、下位割り込みサンプルカウント数をサンプルオフセット値に加算して最終サ ンプルカウント数を計算する。
5、最終サンプルカウント数に1つのサンプル時間を掛算して最終同期時間を計 算する。
これらの処理におけるタイミング精度は割り込み間隔を短くすることにより増大 することが出来る。
以上、本発明を好ましい実施例に就き説明してきたが、その他の実施態様によっ ても同様の結果を達成することが出来る。
種々の変形、変更は当業者にとって自明のことであり、従属クレームはそのよう な変更態様あるいは均等物の全てをカバーせんとするものである。
浄書(内容に変更なし) 変換 (スペクトル1r4haへタイムストリップの作成) t−113PI− 1比較(データベース作成の開始)1ハ4比較(時間勾配の比較) Fl、?、 %。
比較(周波数分布幅の比較) 1l−6゜比較(ピーク検出) FIBm7゜ 比較(周波数分布幅検出) 、1い、。
翻訳(スコアの翻訳の制御ll ) t+@r* *。
翻訳(スコア列の翻訳) 解決(事象接続時間の発見) 1+□I+指紋(指紋の作成) 、1ユ、2、 同期化(ファイル記録、同期テーブル作成) 11−134同期化(事象、タイ ミング要求処理) teem I)同期化(同期テーブルから同期化時間の計算  IIユl)C装置概況 鴫re 14゜ 浄書(内容に変更なし) 要約書 連続的波形データを入手、記録、同期化、解析、翻訳する方法及び装置。複数の 事象を含む波形データから別々の事象を取り出し、各事象波の波源、その周波数 成分、振幅、継続時間、タイミングの特性を決定し、同定する方法。波源波形の パラメタを定義し、これらのパラメタを解析条件(例、正しい周波数、振幅、及 びタイミング区分)に適合させる処理。翻訳結果を整合し、翻訳エラーを訂正し 、良好な結果を維持する処理。データベース、記録体等の処理産物も得られる。
手続補正書C方式) %式% 1、事件の表示 PCT/US91104340 λ 発明の名称 波動分析・事象認識方法およびその装置3、補正をする者 事件との間係 特許出願人 名称 レイノルズ ソフトウェア。
インコーホレイティド 4、代理人 住所 〒105東京都港区虎ノ門−丁目8番10号6、補正の対象 明細書、請求の範囲、要約書及び図面の翻訳文 7、補正の内容 明細書、請求の範囲、要約書及び図面の翻訳文の浄書(内容に変更なし) 8、添付書類の目録 明細書、請求の範囲、 要約書及び図面の翻訳文 各1通 国際調査報告

Claims (48)

    【特許請求の範囲】
  1. 1.各々が周波数、振幅および時間の成分を含んでいる1つもしくはそれ以上の 事象を、1つもしくはそれ以上の波動データ連続流からコンピュータで自動的に 検出、識別する方法において、a)演算時間を最短化しかつ周波数、振幅および 時間の正確さを最適化するために波動データ連続流を周波数、振幅および時間の 情報に変換する段階と、 b)上記波動データ連続流から得られたスペクトル情報から識別用特徴点を抽出 する段階と、 c)ユーザが判定することのできるソースと、時間と、基本周波数とを含む選択 した既知事象の、上記抽出した識別用特徴点から指紋((Fingerprin t)を発生させかつ保持する段階と、d)上記指紋の識別用特徴点を、1つもし くはそれ以上の波動データ連続流から得たスペクトル情報から抽出した対応の識 別用特徴点と比較し、かつ上記指紋の識別用特徴点と、潜在事象の対応の識別用 特徴点との対応レベルを示すスコア(点数)セットのデータベースを作成する段 階と、 e)上記データベースから、上記指紋の識別用特徴点に対して予選したレベルで 対応しているスコアセットを選択し、かつ上記の選択したデータセットに組合わ さったスペクトル情報を解釈して、特定の事象の存在、その開始時間、その振幅 およびその持続時間を判定する段階とからなる、方法。
  2. 2.上記変換段階a)が、FFT機構の出力を解釈して、多項補間を用いて、選 択した周波数成分の振幅を得る段階からなる、請求項1に記載の方法。
  3. 3.請求項2に記載の方法によって作成して製品。
  4. 4.上記変換段階a)が、FFT機構の出力を解釈して、計算したビン範囲内の 振幅範囲を探索することによって、選択した周波数成分の振幅を予測する段階か らなる、請求項1に記載の方法。
  5. 5.上記変換段階a)が、複数の、長さの異なるFFTによって作成したスペク トル情報を、周波数制限により組み合わせることによって周波数、振幅および時 間の正確さを得る段階からなる、請求項1に記載の方法。
  6. 6.上記変換段階a)が、長さの異なったFFTによって作成したスペクトル情 報を、振幅平均化および振幅クリッピングによって組み合わせることによって周 波数、振幅および時間の正確さを得る段階からなる、請求項1に記載の方法。
  7. 7.上記識別用特徴点抽出段階b)が、パーシャル(partials)の振幅 非依存勾配を経時抽出する段階からなる、請求項1に記載の方法。
  8. 8.上記識別用特徴点抽出段階b)が、隣接パーシャルどうしの間にある振幅非 依存勾配を抽出する段階からなる、請求項1に記載の方法。
  9. 9.パーシャルに対する振幅非依存周波数分布幅を抽出する段階からなる、請求 項1に記載の方法。
  10. 10.上記識別用特徴点抽出段階b)が、パーシャルに対する振幅非依存周波数 分布幅整定時間を経時抽出する段階からなる、請求項1に記載の方法。
  11. 11.上記識別用特徴点抽出段階b)が、パーシャルに対する振幅非依存周波数 分布幅形式を経時抽出する段階からなる、請求項1に記載の方法。
  12. 12.上記識別用特徴点抽出段階b)が、最も支配的な振幅ピークの対する周波 数位置とその最も支配的な振幅ピークからの個別振幅ピークの相対ドリフトとを 判定する段階からなる、請求項1に記載の方法。
  13. 13.上記識別用特徴点抽出段階b)が、所定個数の時点に対する複数パーシャ ルの累積総合振幅を、振幅レベルが既知である振幅基準指紋から得た累積総合振 幅と比較しかつ結果として得た相対振幅レベルと計算する段階からなる、請求項 1に記載の方法。
  14. 14.上記指紋作成、保持段階c)が、選択した既知事象の識別用特徴点を抽出 することによってスペクトル情報から指紋を作成し、かつその識別用特徴点の少 なくとも1つを保持する段階からなる、請求項1に記載の方法。
  15. 15.請求項14に記載の方法で作成した製品。
  16. 16.上記指紋作成、保持段階c)が、各々が同じ基本周波数とソースをもつ1 つ以上の選択した既知事象から指紋を作成し、かつ識別用特徴点のうち少なくと も1つの平均を示す1セットの識別用特徴点を保持する段階からなる、請求項1 に記載の方法。
  17. 17.上記比較段階d)は、指紋の識別用特徴点の選択された周波数成分をスペ クトル情報の対応周波数基準へ移す段階と、指紋から選択した識別用特徴点の少 なくとも1つに対応するスペクトル情報から少なくとも1つの識別用特徴点を抽 出する段階と、スペクトル情報の抽出した識別用特徴点を、指紋の対応識別用特 徴点と比較する段階と、振幅非依存の対応の度合いを反映する1つのスコアセッ トを作成する段階とからなりる、請求項1に記載の方法。
  18. 18.請求項17に記載の方法で作成した製品。
  19. 19.上記選択、解釈段階e)が、特定事象の存在を判定し、その特定事象と組 み合わさった基本周波数に対して一連のスコアを累積しかつその一連のスコアの 傾向を分析して上記特定事象がだこで時間通りに開始するかを正確に判定する段 階からなる、上記請求項1に記載の方法。
  20. 20.更に、上記特定事象の一連のスコアを更に分析して、その特定事象のパー シャルと関連したパーシャルを有する別の潜在事象がとの特定事象の一連のスコ アの範囲時間内に存在するかを判定して、一連のスコアの不正確な解釈の可能性 を明らかにする段階を含む、請求項19に記載の方法。
  21. 21.更に、特定事象から時間的に経過した各時点に対して特定事象の各パーシ ャルについて振幅を累積し、パーシャルの振幅の累積総合を、指紋のパーシャル に対する振幅総合と比較し、かつ特定事象に対して相対振幅を計算する段階を含 む、請求項19に記載の方法。
  22. 22.更に、特定事象の振幅レベルを経時測定することによって特定事象の持続 時間を判定して振幅レベルが選ばれた最小閾値以下に下がるか否かまたその時点 を判定する段階を含む、請求項19に記載の方法。
  23. 23.更に、特定事象の各部の振幅レベルを、先行時点において得た特定事象の 振幅の平均値と比較して、新しい事象がその特定事象の持続時間を中断させたか 否かを判定する段階を含む、請求項19に記載の方法。
  24. 24.更に、振幅ピークのドリフトを経時試験することによって特定事象の持続 時間を判定して、より小さいドリフト変化の所定時限に追従可能なより大きなド リフト変化を識別し、これにより新しい事象が特定事象のパーシャルを中断させ たことを示す段階を含む、請求項19に記載の方法。
  25. 25.複数の特定事象と組み合わさった開始時間を外部時間軸に対して同期化す る方法において、 a)複数の事象タイミング要求の各々に対する経過サンプル・カウント・テーブ ルを作成、格納する段階と、b)特定事象の開始時間に付いて事象タイミング要 求カウントを計算し、かつ経過サンプル・カウント・テーブルを事象タイミング 要求カウントで指標付けして経過サンプル・カウントを検索する段階と、 c)特定事象の開始時間と、事象タイミング要求カウントから計算した事象タイ ミング要求との時間オフセットを計算する段階と、d)その時間オフセットを用 いて、経過サンプル・カウントから相対時間オフセットを更に計算する段階と、 e)上記相対時間オフセットに経過サンプル・カウントを加算することによって 同期化時間を計算する段階と、f)同期化時間を特定事象に割り当てる段階とか らなる方法。
  26. 26.請求項25に記載の方法によって作成した製品。
  27. 27.各々が周波数、振幅および時間の成分を有する1つもしくはそれ以上の波 動データ連続流から1つもしくはそれ以上の事象をコンピュータで自動的に検出 、識別する装置において、演算時間を最短化しかつ周波数、振幅および時間の正 確さを最適化するために波動データ連続流を周波数、振幅および時間の情報に変 換する手段と、 上記波動データ連続流から得られたスペクトル情報から識別用特徴点を抽出する 手段と、 ユーザが判定することのできるソースと、時間と、基本周波数とを含む選択した 既知事象の、上記抽出した識別用特徴点から指紋((Fingerprint) を作成しかつ保持する手段と、上記指紋の識別用特徴点を、1つもしくはいれ以 上の波動データ連続流から得たスペクトル情報から抽出した対応の識別用特徴点 と比較し、かつ上記指紋の識別用特徴点と、潜在事象の対応の識別用特徴点との 対応レベルを示すスコア(点数)セットのデータベースを作成する手段と、 上記データベースから、上記指紋の識別用特徴点に対して予選したレベルで対応 しているスコアセットを選択し、かつ上記の選択したデータセットに組合わさっ たスペクトル情報を解釈して、特定の事象の存在、その開始時間、その振幅およ びその持続時間を判定する手段とからなる装置。
  28. 28.上記波動データ変換手段が、FFT機構の出力を解釈して、多項補間を用 いて、選択した周波数成分の振幅を得る手段を有する、請求項27に記載の装置 。
  29. 29.上記波動データ変換手段がFFT機構の出力を解釈して、計算したビン範 囲内の振幅範囲を探索することによって、選択した周波数成分の振幅を予測する 手段を有する、請求項27に記載の装置。
  30. 30.上記波動データ変換手段が、複数の、長さの異なるFFTによって作成し たスペクトル情報を、周波数制限により組み合わせることによって周波数、振幅 および時間の正確さを得る手段を有する、請求項27に記載の装置。
  31. 31.上記波動データ変換手段が、長さの異なったFFTによって作成したスペ クトル情報を、振幅平均化および振幅クリッピングによって組み合わせることに よって周波数、振幅および時間の正確さを得る手段を有する、請求項27に記載 の装置。
  32. 32.上記識別用特徴点抽出手段が、パーシャルの振幅非依存勾配を経時抽出す る手段を有する、請求項27に記載の装置。
  33. 33.上記識別用特徴点抽出手段が、隣接パーシャルどうしの間にある振幅非依 存勾配を抽出する手段を有する、請求項27に記載の装置。
  34. 34.上記識別用特徴点抽出手段が、パーシャルに対する振幅非依存周波数分布 幅を抽出する手段を有する、請求項27に記載の装置。
  35. 35.上記識別用特徴点抽出手段が、上記パーシャルに対する振幅非依存周波数 分布幅整定時間を経時抽出する手段を有する、請求項27に記載の装置。
  36. 36.上記識別用特徴点抽出手段が、パーシャルに対する振幅非依存周波数分布 幅形式を抽出する手段を有する、請求項27に記載の装置。
  37. 37.上記識別用特徴点抽出手段が、最も支配的な振幅ピークの対する周波数位 置とその最も支配的な振幅ピークからの個別振幅ピークの相対ドリフトとを判定 する手段を有する、請求項27に記載の装置。
  38. 38.上記識別用特徴点抽出手段が、所定個数の時点に対する複数パーシャル全 部の累積総合振幅を、振幅レベルが既知である振幅基準指紋から得た累積総合振 幅と比較する手段と、結果として得た相対振幅レベルと計算する手段を有する、 請求項27に記載の装置。
  39. 39.上記指紋作成、保持手段が、選択した既知事象の識別用特徴点を抽出する ことによってスペクトル情報から指紋を作成し、かつその識別用特徴点の少なく とも1つを保持する手段を有する、請求項27に記載の装置。
  40. 40.上記指紋作成、保持手段が、各々が同じ基本周波数とソースとを1つ以上 の選択した既知事象から指紋を作成し、かつ識別用特徴点のうち少なくとも1つ の平均を示す1セットの識別用特徴点を保持する手段を有する、請求項27に記 載の装置。
  41. 41.上記比較手段が、指紋の識別用特徴点の選択された周波数成分をスペクト ル情報の対応周波数基準へ移す手段と、指紋から選択した識別用特徴点の少なく とも1つに対応するスペクトル情報から少なくとも1つの識別用特徴点を抽出す る手段と、スペクトル情報の抽出した識別用特徴点を、指紋の対応識別用特徴点 と比較する手段と、振幅非依存の対応の度合いを反映する1つのスコアセットを 作成する手段とからなる、請求項27に記載の装置。
  42. 42.上記選択、解釈手段が、特定事象の存在を判定する手段と、その特定事象 と組み合わさった基本周波数に対して一連のスコアを累積する手段と、その一連 のスコアの傾向を分析して上記特定事象がどこで時間通りに開始するかを正確に 判定する手段とを有する、請求項27に記載の装置。
  43. 43.上記特定事象の一連のスコアを更に分析して、その特定事象のパーシャル と関連したパーシャルを有する別の潜在事象がとの特定事象の一連のスコアの範 囲時間内に存在するかを判定して、一連のスコアの不正確な解釈の可能性を明ら かにする手段を更に有する、請求項42に記載の装置。
  44. 44.特定事象から時間的に経過した各時点に対して特定事象の各パーシャルに ついて振幅を累積する手段と、パーシャルの振幅の累積総合を、指紋のパーシャ ルに対する振幅総合と比較する手段と、特定事象に対して相対振幅を計算する手 段とを更に含む、請求項42に記載の装置。
  45. 45.特定事象の振幅レベルを経時測定することによって特定事象の持続時間を 判定して振幅レベルが選ばれた最小閾値以下に下がるか否かまたその時点を判定 する手段を更に有する、請求項42に記載の装置。
  46. 46.特定事象の各部の振幅レベルを、先行時点において得た特定事象の振幅の 平均値と比較して、新しい事象がその特定事象の持続時間を中断させたか否かを 判定する手段を更に有する、請求項42に記載の装置。
  47. 47.振幅ピークのドリフトを経時試験することによって特定事象の持続時間を 判定して、より小さいドリフト変化の所定時限に追従可能なより大きなドリフト 変化を識別し、これにより新しい事象が特定事象のパーシャルを中断させたこと を示す手段を更に有する、請求項42に記載の装置。
  48. 48.複数の特定事象と組み合わさった開始時間を外部時間軸に同期化する装置 において、 複数の事象タイミング要求の各々に対する経過サンプル・カウント・テーブルを 作成、格納する手段と、特定事象の開始時間に付いて事象タイミング要求カウン トを計算し、かつ経過サンプル・カウント・テーブルを事象タイミング要求カウ ントで割出して経過サンプル・カウントを検索する手段と、特定事象の開始時間 と、事象タイミング要求カウントから計算した事象タイミング要求との時間オフ セットを計算する手段と、その時間オフセットを用いて、経過サンプル・カウン トから相対時間オフセットを更に計算する手段と、上記相対時間オフセットに経 過サンプル・カウントを加算することによって同期化時間を計算する手段と、同 期化時間を特定事象に割り当てる手段とを更に有する、請求項27に記載の装置 。
JP3515309A 1990-06-21 1991-06-18 波動分析・事象認識方法およびその装置 Pending JPH05509409A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US54224190A 1990-06-21 1990-06-21
US542,241 1990-06-21

Publications (1)

Publication Number Publication Date
JPH05509409A true JPH05509409A (ja) 1993-12-22

Family

ID=24162936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3515309A Pending JPH05509409A (ja) 1990-06-21 1991-06-18 波動分析・事象認識方法およびその装置

Country Status (6)

Country Link
US (2) US5276629A (ja)
JP (1) JPH05509409A (ja)
CA (1) CA2085887A1 (ja)
DE (1) DE4191297T1 (ja)
GB (1) GB2262992B (ja)
WO (1) WO1991019989A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015200655A (ja) * 2014-04-08 2015-11-12 アナログ デバイシス グローバル 支配的信号検出の方法および装置

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1991019989A1 (en) * 1990-06-21 1991-12-26 Reynolds Software, Inc. Method and apparatus for wave analysis and event recognition
DE4219372C2 (de) * 1992-06-15 2002-09-26 Busch Dieter & Co Prueftech Verfahren zur Analyse eines Zeitsignals
US5469364A (en) * 1993-03-15 1995-11-21 Hughey; Bradley W. Apparatus and methods for measuring and detecting variations in the value of a capacitor
CA2180240A1 (en) * 1994-01-14 1995-07-20 Charles K. Chui Boundary-spline-wavelet compression for video images
US5717325A (en) * 1994-03-24 1998-02-10 Massachusetts Institute Of Technology Multiprocessing transient event detector for use in a nonintrusive electrical load monitoring system
US5751899A (en) * 1994-06-08 1998-05-12 Large; Edward W. Method and apparatus of analysis of signals from non-stationary processes possessing temporal structure such as music, speech, and other event sequences
US5537329A (en) * 1994-06-30 1996-07-16 At&T Corp. Apparatus and method for analyzing circuits
US6560349B1 (en) * 1994-10-21 2003-05-06 Digimarc Corporation Audio monitoring using steganographic information
US8094949B1 (en) 1994-10-21 2012-01-10 Digimarc Corporation Music methods and systems
US5610847A (en) * 1994-10-28 1997-03-11 Cadence Design Systems, Inc. Ratiometric fourier analyzer
US6263290B1 (en) 1995-02-22 2001-07-17 Michael K. Williams Process and machine for signal waveform analysis
US7486799B2 (en) * 1995-05-08 2009-02-03 Digimarc Corporation Methods for monitoring audio and images on the internet
US6760463B2 (en) * 1995-05-08 2004-07-06 Digimarc Corporation Watermarking methods and media
US7289643B2 (en) * 2000-12-21 2007-10-30 Digimarc Corporation Method, apparatus and programs for generating and utilizing content signatures
US6505160B1 (en) * 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US6829368B2 (en) * 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US7562392B1 (en) 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
US5535131A (en) * 1995-08-22 1996-07-09 Chrysler Corporation System for analyzing sound quality in automobile using musical intervals
US6002807A (en) * 1996-01-11 1999-12-14 Northrop Grumman Corporation Rotationally invariant correlator
US5856803A (en) * 1996-07-24 1999-01-05 Pevler; A. Edwin Method and apparatus for detecting radio-frequency weapon use
US5813002A (en) * 1996-07-31 1998-09-22 International Business Machines Corporation Method and system for linearly detecting data deviations in a large database
US6035341A (en) * 1996-10-31 2000-03-07 Sensormatic Electronics Corporation Multimedia data analysis in intelligent video information management system
US5805457A (en) * 1996-12-06 1998-09-08 Sanders; David L. System for analyzing sound quality in automobiles using musical intervals
US6254784B1 (en) * 1997-10-30 2001-07-03 Baxter International Inc. Optical interface detection system for centrifugal blood processing
US6140568A (en) * 1997-11-06 2000-10-31 Innovative Music Systems, Inc. System and method for automatically detecting a set of fundamental frequencies simultaneously present in an audio signal
US6659773B2 (en) * 1998-03-04 2003-12-09 D-Box Technology Inc. Motion transducer system
US7689532B1 (en) 2000-07-20 2010-03-30 Digimarc Corporation Using embedded data with file sharing
US7302574B2 (en) * 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
US8095796B2 (en) * 1999-05-19 2012-01-10 Digimarc Corporation Content identifiers
CA2809775C (en) * 1999-10-27 2017-03-21 The Nielsen Company (Us), Llc Audio signature extraction and correlation
US7853664B1 (en) * 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
EP1314110B1 (en) 2000-08-23 2009-10-07 Gracenote, Inc. Method of enhancing rendering of a content item, client system and server system
US7031921B2 (en) * 2000-11-03 2006-04-18 International Business Machines Corporation System for monitoring audio content available over a network
US7085613B2 (en) * 2000-11-03 2006-08-01 International Business Machines Corporation System for monitoring audio content in a video broadcast
US6856923B2 (en) * 2000-12-05 2005-02-15 Amusetec Co., Ltd. Method for analyzing music using sounds instruments
KR100893671B1 (ko) * 2001-02-12 2009-04-20 그레이스노트, 인크. 멀티미디어 콘텐트의 해시들의 생성 및 매칭
US7610205B2 (en) 2002-02-12 2009-10-27 Dolby Laboratories Licensing Corporation High quality time-scaling and pitch-scaling of audio signals
US7283954B2 (en) 2001-04-13 2007-10-16 Dolby Laboratories Licensing Corporation Comparing audio using characterizations based on auditory events
US7711123B2 (en) 2001-04-13 2010-05-04 Dolby Laboratories Licensing Corporation Segmenting audio signals into auditory events
US7461002B2 (en) 2001-04-13 2008-12-02 Dolby Laboratories Licensing Corporation Method for time aligning audio signals using characterizations based on auditory events
US7421376B1 (en) * 2001-04-24 2008-09-02 Auditude, Inc. Comparison of data signals using characteristic electronic thumbprints
US7046819B2 (en) * 2001-04-25 2006-05-16 Digimarc Corporation Encoded reference signal for digital watermarks
WO2002093560A1 (en) 2001-05-10 2002-11-21 Dolby Laboratories Licensing Corporation Improving transient performance of low bit rate audio coding systems by reducing pre-noise
MXPA03010749A (es) * 2001-05-25 2004-07-01 Dolby Lab Licensing Corp Comparacion de audio usando caracterizaciones basadas en eventos auditivos.
MXPA03010750A (es) * 2001-05-25 2004-07-01 Dolby Lab Licensing Corp Metodo para la alineacion temporal de senales de audio usando caracterizaciones basadas en eventos auditivos.
AU2002346116A1 (en) * 2001-07-20 2003-03-03 Gracenote, Inc. Automatic identification of sound recordings
US7274731B2 (en) * 2001-11-09 2007-09-25 Adc Dsl Systems, Inc. Non-chronological system statistics
US6995309B2 (en) 2001-12-06 2006-02-07 Hewlett-Packard Development Company, L.P. System and method for music identification
US20050190199A1 (en) * 2001-12-21 2005-09-01 Hartwell Brown Apparatus and method for identifying and simultaneously displaying images of musical notes in music and producing the music
JP2005517211A (ja) 2002-02-05 2005-06-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 指紋の効率的格納
WO2003069954A2 (en) * 2002-02-18 2003-08-21 Koninklijke Philips Electronics N.V. Parametric audio coding
US20040091111A1 (en) * 2002-07-16 2004-05-13 Levy Kenneth L. Digital watermarking and fingerprinting applications
CN1685703A (zh) * 2002-09-30 2005-10-19 皇家飞利浦电子股份有限公司 “指纹”的提取
EP1567965A1 (en) * 2002-11-12 2005-08-31 Koninklijke Philips Electronics N.V. Fingerprinting multimedia contents
CN1998168B (zh) 2004-02-19 2011-04-06 兰德马克数字服务有限责任公司 用于广播源辨识的方法与装置
ATE527654T1 (de) 2004-03-01 2011-10-15 Dolby Lab Licensing Corp Mehrkanal-audiodecodierung
US7508947B2 (en) 2004-08-03 2009-03-24 Dolby Laboratories Licensing Corporation Method for combining audio signals using auditory scene analysis
EP1864243A4 (en) * 2005-02-08 2009-08-05 Landmark Digital Services Llc AUTOMATIC IDENTIFICATION OF REPEATED MATERIAL IN AUDIO SIGNALS
AU2006255662B2 (en) 2005-06-03 2012-08-23 Dolby Laboratories Licensing Corporation Apparatus and method for encoding audio signals with decoding instructions
US20070106405A1 (en) * 2005-08-19 2007-05-10 Gracenote, Inc. Method and system to provide reference data for identification of digital content
DE602005024724D1 (de) * 2005-09-07 2010-12-23 Biloop Tecnologic S L Mikrocontroller-implementiertes verfahren zur erkennung eines tonsignals
US20070063664A1 (en) * 2005-09-22 2007-03-22 Avistar, Inc. Phase identification apparatus having automatic gain control to prevent detector saturation
KR101266267B1 (ko) 2006-10-05 2013-05-23 스플렁크 인코퍼레이티드 시계열 검색 엔진
US8164354B2 (en) * 2006-11-28 2012-04-24 Process Equipment Co. Of Tipp City Proximity detection system
US7477189B2 (en) * 2007-01-30 2009-01-13 Sirf Technology Holdings, Inc. Methods and systems for acquisition, reacquisiton and tracking of weak navigational signals
US8453170B2 (en) * 2007-02-27 2013-05-28 Landmark Digital Services Llc System and method for monitoring and recognizing broadcast data
US20080274687A1 (en) * 2007-05-02 2008-11-06 Roberts Dale T Dynamic mixed media package
US7840177B2 (en) * 2007-05-23 2010-11-23 Landmark Digital Services, Llc Device for monitoring multiple broadcast signals
US8024140B2 (en) * 2007-08-23 2011-09-20 Amherst Systems Associates, Inc. Waveform anomoly detection and notification systems and methods
US8094034B2 (en) * 2007-09-18 2012-01-10 Georgia Tech Research Corporation Detecting actuation of electrical devices using electrical noise over a power line
WO2009103042A2 (en) * 2008-02-15 2009-08-20 Board Of Regents, The University Of Texas System Passive wireless antenna sensor for strain, temperature, crack and fatigue measurement
US9286911B2 (en) 2008-12-15 2016-03-15 Audio Analytic Ltd Sound identification systems
GB2466242B (en) * 2008-12-15 2013-01-02 Audio Analytic Ltd Sound identification systems
US8594961B2 (en) * 2009-02-15 2013-11-26 Board Of Regents, The University Of Texas System Remote interrogation of a passive wireless antenna sensor
US8886489B2 (en) * 2009-05-12 2014-11-11 Georgia Tech Research Corporation Motion detecting method and device
US20110028093A1 (en) * 2009-07-28 2011-02-03 Patel Shwetak N Bluetooth Proximity Detection System and Method of Interacting With One or More Bluetooth Devices
US8930152B2 (en) * 2009-09-25 2015-01-06 University Of Washington Whole structure contactless power consumption sensing
US9766277B2 (en) 2009-09-25 2017-09-19 Belkin International, Inc. Self-calibrating contactless power consumption sensing
EA033063B1 (ru) 2010-04-26 2019-08-30 Белкин Интернэшнл, Инк. Устройство регистрации электрического события и способ регистрации и классификации потребления электроэнергии
EP3418917B1 (en) * 2010-05-04 2022-08-17 Apple Inc. Methods and systems for synchronizing media
US9222816B2 (en) 2010-05-14 2015-12-29 Belkin International, Inc. Apparatus configured to detect gas usage, method of providing same, and method of detecting gas usage
US9291694B2 (en) 2010-07-02 2016-03-22 Belkin International, Inc. System and method for monitoring electrical power usage in an electrical power infrastructure of a building
TWI423549B (zh) 2010-07-02 2014-01-11 Univ Nat Chiao Tung 辨識電器狀態的電力監測裝置及其電力監測方法
EA027503B1 (ru) 2010-07-02 2017-08-31 Белкин Интернэшнл, Инк. Системы и способы измерения потребления электрической энергии в сооружении и системы и способы их калибровки
US9813310B1 (en) 2011-10-31 2017-11-07 Reality Analytics, Inc. System and method for discriminating nature of communication traffic transmitted through network based on envelope characteristics
US9973398B1 (en) 2011-10-31 2018-05-15 Reality Analytics, Inc. System and method for discriminating remote site origination of communication signals transmitted through a network based on envelope characteristics
CN104602725B (zh) 2012-09-04 2017-04-26 汾沃有限公司 用于血液处理系统的界面检测器
US10225136B2 (en) 2013-04-30 2019-03-05 Splunk Inc. Processing of log data and performance data obtained via an application programming interface (API)
US10997191B2 (en) 2013-04-30 2021-05-04 Splunk Inc. Query-triggered processing of performance data and log data from an information technology environment
US10346357B2 (en) 2013-04-30 2019-07-09 Splunk Inc. Processing of performance data and structure data from an information technology environment
US10353957B2 (en) 2013-04-30 2019-07-16 Splunk Inc. Processing of performance data and raw log data from an information technology environment
US10318541B2 (en) 2013-04-30 2019-06-11 Splunk Inc. Correlating log data with performance measurements having a specified relationship to a threshold value
US10019496B2 (en) 2013-04-30 2018-07-10 Splunk Inc. Processing of performance data and log data from an information technology environment by using diverse data stores
US10614132B2 (en) 2013-04-30 2020-04-07 Splunk Inc. GUI-triggered processing of performance data and log data from an information technology environment
CN103763586B (zh) * 2014-01-16 2017-05-10 北京酷云互动科技有限公司 电视节目互动方法、装置和服务器
TWI542881B (zh) 2014-08-14 2016-07-21 國立交通大學 獲得檢測裝置插拔組合及電力線拓樸的方法及其電子裝置
EP3189608B1 (en) 2014-09-04 2019-12-11 University Of Washington Detecting user-driven operating states of electronic devices from a single sensing point
KR101625304B1 (ko) * 2014-11-18 2016-05-27 경희대학교 산학협력단 음향 정보에 기초한 사용자 다수 행위 인식 방법
US10045075B2 (en) 2016-02-18 2018-08-07 The Nielsen Company (Us), Llc Methods and apparatus to identify and credit media using ratios of media characteristics
US10561784B2 (en) 2017-05-31 2020-02-18 Fenwal, Inc. Stationary optical monitoring system for blood processing system
JP6533024B1 (ja) * 2018-05-25 2019-06-19 株式会社東陽テクニカ スペクトラム分析方法及びその装置
US11138334B1 (en) * 2018-10-17 2021-10-05 Medallia, Inc. Use of ASR confidence to improve reliability of automatic audio redaction
US11392641B2 (en) 2019-09-05 2022-07-19 Gracenote, Inc. Methods and apparatus to identify media
US11898967B2 (en) 2021-02-02 2024-02-13 Fenwal, Inc. Predicting malfunction and failure of centrifuge umbilicus

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58105295A (ja) * 1981-12-18 1983-06-23 株式会社日立製作所 音声標準パタン作成方法
US4633748A (en) * 1983-02-27 1987-01-06 Casio Computer Co., Ltd. Electronic musical instrument
US4593367A (en) * 1984-01-16 1986-06-03 Itt Corporation Probabilistic learning element
US4739398A (en) * 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
US4905285A (en) * 1987-04-03 1990-02-27 American Telephone And Telegraph Company, At&T Bell Laboratories Analysis arrangement based on a model of human neural responses
US4843562A (en) * 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
US4873647A (en) * 1988-01-11 1989-10-10 Minc Incorporated Digital waveform analyzer
JP2739950B2 (ja) * 1988-03-31 1998-04-15 株式会社東芝 パターン認識装置
US5065334A (en) * 1989-04-28 1991-11-12 Hewlett-Packard Company Method and apparatus for distinguishing narrowband continuous wave signals from broadband and impulsive signals
WO1991019989A1 (en) * 1990-06-21 1991-12-26 Reynolds Software, Inc. Method and apparatus for wave analysis and event recognition

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015200655A (ja) * 2014-04-08 2015-11-12 アナログ デバイシス グローバル 支配的信号検出の方法および装置

Also Published As

Publication number Publication date
US5400261A (en) 1995-03-21
GB2262992B (en) 1995-07-05
DE4191297T1 (ja) 1993-07-15
CA2085887A1 (en) 1991-12-22
GB2262992A (en) 1993-07-07
GB9226636D0 (en) 1993-03-17
US5276629A (en) 1994-01-04
WO1991019989A1 (en) 1991-12-26

Similar Documents

Publication Publication Date Title
JPH05509409A (ja) 波動分析・事象認識方法およびその装置
JP4392898B2 (ja) 音楽情報処理方法
US7386357B2 (en) System and method for generating an audio thumbnail of an audio track
US7485797B2 (en) Chord-name detection apparatus and chord-name detection program
EP1038291B1 (en) Apparatus and methods for detecting emotions
KR100380947B1 (ko) 오디오 신호 분석 방법 및 컴퓨터와 기록매체
US7064262B2 (en) Method for converting a music signal into a note-based description and for referencing a music signal in a data bank
US6225546B1 (en) Method and apparatus for music summarization and creation of audio summaries
JP3245890B2 (ja) 拍検出装置及びそれを用いた同期制御装置
KR101292698B1 (ko) 메타데이터 부여 방법 및 장치
Chai et al. Music thumbnailing via structural analysis
US20060075883A1 (en) Audio signal analysing method and apparatus
KR950004253A (ko) 카라오케장치의 백코러스재생장치
Hoffmann et al. Music recommendation system
WO2015170126A1 (en) Methods, systems and computer program products for identifying commonalities of rhythm between disparate musical tracks and using that information to make music recommendations
Fennelly A descriptive language for the analysis of electronic music
US6907367B2 (en) Time-series segmentation
GB2282456A (en) Wave analysis
JP2007293602A (ja) 映像検索システム、映像検索方法およびプログラム
JP3501199B2 (ja) 音響信号分離方法
JP2001074640A (ja) 粒子径分布測定装置
Echternach et al. Articulatory and acoustic differences between lyric and dramatic singing in Western classical music
Bodo Music similarity models applied to cover song identification and classification
JP4906565B2 (ja) メロディー推定方法及びメロディー推定装置
TWI410958B (zh) 用於處理音訊信號之方法與裝置及相關軟體程式