JP4945877B2 - 高い雑音、歪み環境下でサウンド・楽音信号を認識するシステムおよび方法 - Google Patents
高い雑音、歪み環境下でサウンド・楽音信号を認識するシステムおよび方法 Download PDFInfo
- Publication number
- JP4945877B2 JP4945877B2 JP2002516764A JP2002516764A JP4945877B2 JP 4945877 B2 JP4945877 B2 JP 4945877B2 JP 2002516764 A JP2002516764 A JP 2002516764A JP 2002516764 A JP2002516764 A JP 2002516764A JP 4945877 B2 JP4945877 B2 JP 4945877B2
- Authority
- JP
- Japan
- Prior art keywords
- landmark
- fingerprint
- file
- sample
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 238000004458 analytical method Methods 0.000 claims description 64
- 230000003595 spectral effect Effects 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 13
- 238000005096 rolling process Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 5
- 238000013139 quantization Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241001050985 Disco Species 0.000 description 1
- 208000003028 Stuttering Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003931 cognitive performance Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007640 computer printing Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/632—Query formulation
- G06F16/634—Query by example, e.g. query by humming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Electrophonic Musical Instruments (AREA)
- Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
（発明の分野）
本発明は、コンテンツに基づく情報検索に関し、具体的には、大きく歪んでいたり高いレベルのノイズが混入したサウンドもしくは楽音を含む音響信号の認識に関する。
【０００２】
（背景技術）
さまざまな音源から生成された音楽もしくはその他のオーディオ信号の自動認識のニーズが高まっている。例えば、著作物のある作品の所有者や広告主は、彼らの作品の放送頻度のデータを得ることに興味がある。音楽追跡サービスは大きな市場の主要ラジオ局のプレイリストを提供する。消費者は、新曲や興味のある曲あるいはその他の製品やサービスを購入できるように、ラジオでオンエアされる曲や宣伝を特定することを希望している。連続的な音響認識あるいはオンデマンド型の音響認識のいずれのタイプのものでも、人手によって行われる場合には非効率であり大きな労働力を要する。よって、音楽・音響の自動認識は、消費者、アーティスト、およびさまざまな業界に非常に大きなメリットをもたらすであろう。音楽販売の形態が店舗購入からインターネットを介したダウンロードに移行すれば、インターネット購入またはその他のインターネット型サービスによりコンピュータで実行される音楽認識に直接リンクすることがまさに現実のものとなる。
従来、ラジオでオンエアされた曲の認識は、ラジオ局もしくはサードパーティの情報源のいずれかから提供されたプレイリストで、曲が演奏されたラジオ局と時刻を照合していた。この方法は本質的に、情報を受け取ることのできるラジオ局だけに限られる。その他、放送信号への耳に聞き取れないコードの埋め込みに頼る方法もある。埋め込まれた信号は受信機でデコードされて放送信号についての識別情報が抽出される。この方法の欠点は、信号を識別するための専用のデコード装置が必要になることと、コードが埋め込まれた曲しか識別できないことである。
【０００３】
大規模オーディオ認識は、識別されていない放送信号を既知の信号のデータベースと比較して同一もしくは近似のデータベース信号を識別する、ある種のコンテンツベースのオーディオ検索を必要とする。コンテンツベースのオーディオ検索は、オーディオファイルを囲みもしくは付属するメタデータテキストだけが検索される、既存のウェブサーチエンジンによるオーディオ検索とは違うことに注意されたい。音声認識は、音声信号を、 周知の手法でインデックスを付与し検索可能なテキストに変換するのに有用であり、音楽・音響を含んだオーディオ信号の多くは適用することができないことにも注意されたい。
【０００４】
ある意味では、オーディオ情報検索は、サーチエンジンにより提供されるテキストベースの情報検索と類似している。しかし、オーディオ信号は検索やインデクシングのための識別子を提供する単語のような識別容易な存在に欠ける点で、オーディオ認識は類似しない。このことから、現在のオーディオ検索手法は、信号の諸種の品質や特性を示す知覚可能な特徴量を計算することでオーディオ信号をインデクシングする。
【０００５】
コンテンツベースのオーディオ検索は一般に、クエリー信号を分析して多数の代表特徴量を得て、その得られた特徴量を類似度測定に与えて、そのクエリー信号に最も類似するデータベースファイルを位置させることで行われる。受信したオブジェクトの類似度は選択された知覚特徴量の反映に必要である。多くのコンテンツベースの検索方法が従来より提案されている。例えば、Kenyonによる米国特許第5,210,820号は、各サンプリングポイントで信号値を得るように受信信号が処理されサンプリングされる信号認識方法を開示している。そして、 ストアされた信号の識別子と比較可能な特徴ベクトルを生成して類似信号を得るために、サンプル値の統計モーメントが計算される。Kenyon等による米国特許4,450,531号および4,843,562号は、識別されていない信号とストアされたリファレンス信号との相互相関を計算する同様の放送情報の分類方法を開示している。
【０００６】
音響類似度によるオーディオ・ドキュメントを検索するシステムが、J. T. Footeによる "Content-Based Retrieval of Music and Audio," （C. -C. J. Kuo et al., editor, Multimedia Storage and Archiving Systems II, Proc. of SPIE, volume 3229, pages 138-147, 1997）に開示されている。各オーディオファイルをメル尺度ケプストラム係数にパラメータ化することで特徴ベクトルが計算され、パラメータ化データから量子化木が成長する。クエリーを実行するために、未知の信号がパラメータ化されて上記量子化木のリーフノードにソーティングされる特徴ベクトルを得るべくパラメータ化される。各リーフノードごとにヒストグラムが得られ、その結果、未知の信号を表すＮ次元ベクトルが生成される。これら２つのベクトル間の距離は、２つのサウンドファイル間の類似度を示す。この方法において、 管理下の量子化スキームは、人手によってトレーニングデータが割り当てられるクラスに基づき、 重要でない変動を無視しつつ音響特徴量の分類を学習する。この分類システムに依存して、異なる音響特徴量が重要なものとして選択される。したがって、この方法は、音楽の認識よりも、曲同士の類似度の計算や音楽のクラス分類に好適である。
【０００７】
オーディオ情報のコンテンツベースの分析、ストレージ、検索、セグメンテーションの方法が、Blum等による米国特許第5,918,223号に開示されている。この方法では、ラウドネス、バス、ピッチ、ブライトネス、帯域幅、メル周波数ケプストラム係数などの各ファイルの多数の音響特徴量が周期的に測定される。これらの特徴量の統計的測定値が得られると、結合されて特徴ベクトルが形成される。データベース中のオーディオデータファイルは、それらの特徴ベクトルと未確認ファイルの特徴ベクトルとの類似度に基づいて検索される。
【０００８】
上記した従来のオーディオ認識方法すべてにいえる重大な問題は、 認識しようとする信号が、背景雑音、伝送誤りおよび欠損、干渉、帯域制限フィルタリング、量子化、タイムワーピング、音声品質ディジタル圧縮などによって生じる線形または非線形の歪みを受けた場合には、失敗する傾向にあることである。従来の方法においては、歪みを受けた音響サンプルが音響特徴量を得るべく処理されると、オリジナル記録について抽出される特徴量はわずかな部分にすぎない。したがって、得られる特徴ベクトルはオリジナル記録の特徴ベクトルとは大して類似しておらず、認識が正確に行なわれる見込みなし、ということになる。よって、高レベルの雑音および歪みが加わる状況下でも良好に動作する音響認識システムに対するニーズは依然としてある。
【０００９】
従来の方法における別の問題は、演算量が大きく、うまくそれを縮小できないことである。したがって、大規模データベースによる従来の方法ではリアルタイム認識は不可能である。このようなシステムにおいては、数百、数千を超える録音のデータベースを持たせることは現実的ではない。従来の方法における検索時間はデータベースのサイズに対し直線的に延びる傾向にあり、数千の録音を数百万に拡大させるのは経済的に実行不可能である。Kenyonの方法も大規模な専用ディジタル信号処理ハードウェアが必要である。
【００１０】
現在の商用化されている方法はたいてい、認識ができるように、入力サンプルに厳格な必要条件を求める。例えば、曲全体や、少なくとも曲の３０秒間がサンプルされていることが求められたり、曲の始まりからサンプルされていることが求められたりする。また、１つのストリームに複数の曲が混在しているものを認識することも困難である。これらの欠点はすべて、従来の方法の実用化を阻んでいる。
【００１１】
（発明の目的と効果）
したがって、本発明の主な目的は、高レベルの雑音や歪みを受けたオーディオ信号を認識する方法を提供することである。
【００１２】
本発明の別の目的は、信号が識別されるまでに数秒で済むようなリアルタイムで実行可能な認識方法を提供することである。
【００１３】
本発明の別の目的は、音響の始まりからではなく任意の位置のサンプルに基づいて音響を認識することができる認識方法を提供することである。
【００１４】
本発明はさらに、音響サンプルを符号化したり特定のラジオ局やプレイリストに関連づけることを必要としない認識方法を提供することを目的とする。
【００１５】
さらに、本発明は、１つのストリームに複数のサウンド記録が混在したものの各々を認識することのできる認識方法を提供することを目的とする。
【００１６】
さらに、本発明は、ほとんどすべての公知の方法によるあらゆる環境から未知音響がシステムに提供されうる音響認識システムを提供することも目的とする。
【００１７】
（概要）
これらの目的は、オーディオ・サンプルなどのメディア・サンプルを、大量の既知のメディア・ファイルのデータベース・インデックスから認識する方法によって達成される。データベース・インデックスは、インデックスされたメディア・ファイルの特定の位置での特徴を表す。データベース内のメディア・ファイルのフィンガープリントの相対的な位置と、未知のメディア・サンプルのフィンガープリントの相対的な位置とが最も忠実にマッチする場合に、そのメディア・サンプルはそのメディア・ファイル（ベストなメディア・ファイル）と認識される。オーディオ・ファイルの場合、ベストなファイルのフィンガープリントの時間進行が、サンプルのフィンガープリントの時間進行とマッチする。
【００１８】
この方法は、好ましくは分散コンピュータシステムによって実現され、以下のステップを有する。すなわち、サンプルにおける特定の位置のサンプル・フィンガープリントのセットを計算するステップと、
【００１９】
前記メディア・ファイルにおける少なくとも１のファイル位置を特徴づけるファイル・フィンガープリントのセットを取得する取得ステップと、データベース・インデックスからマッチするフィンガープリントを特定するステップと、サンプルの前記特定の位置とファイルの前記ファイル位置との間で、対応する位置が同等のフィンガープリントを有する対応関係を生成するステップと、前記対応関係の多くがリニアな関係にあるときに、前記メディア・ファイルを識別するステップとを有する。前記対応関係の多くがリニアな関係にあると、それがベストなメディア・ファイルとみなす。多くの対応関係からファイルを識別する一方法は、対応関係のペアから生成される散布図における斜線を確認することである。一実施形態においては、リニアな対応関係検査からのメディア・ファイルの識別は、メディア・ファイルの第１のサブセットだけから実行する。第１のサブセットにおけるファイルは、その第１のサブセットに含まれないファイルに比べ識別される確率が高い。識別の確率は、事前の識別頻度を反映させるだけでなく、過去の識別における経験的な頻度または時期の新しさに基づくものであることが好ましい。メディア・ファイルが第１のサブセットから識別されなかったときには、残りのファイルを収めた第２のサブセットが検索される。かわりに、ファイルは確率によってランクづけされて、そのランク順に検索されるようにしてもよい。ファイルが特定されると検索は終了する。
【００２０】
好ましくは、サンプルの特定の位置は、そのサンプルに依存して再現可能に計算される。このような再現可能に計算される位置は「ランドマーク」とよばれる。フィンガープリントは数値であることが好ましい。一実施形態においては、各フィンガープリントは、各位置またはその位置から少しオフセットした位置でのメディア・サンプルの多くの特徴を表す。
【００２１】
本方法はとりわけ、オーディオ・サンプルの認識に有用であり、この場合、特定の位置はオーディオ・サンプルの時点となる。これらの時点は、たとえば、オーディオ・サンプルのスペクトルＬｐノルムが極大となる点である。フィンガープリントは各種オーディオ・サンプルの分析によって計算することができ、好ましくは、フィンガープリントはそのサンプルの時間伸縮に対し不変である。フィンガープリントの例は、スペクトル・スライス・フィンガープリント、マルチスライス・フィンガープリント、ＬＰＣ係数、ケプストラム係数、スペクトルピークの周波数成分を含む。
【００２２】
本発明はまた、特定の位置を計算するランドマーク分析オブジェクト、フィンガープリントを計算するフィンガープリント分析オブジェクト、メディア・ファイルのファイル位置およびフィンガープリントを含むデータベース・インデックス、および解析オブジェクトを含み、上記方法を実現するシステムを提供する。解析オブジェクトは、データベース・インデックスにおけるマッチング・フィンガープリントを特定し、対応関係を生成し、その対応関係を分析してベストなメディア・ファイルを選択する。
【００２３】
また、上記方法の各ステップを実行するためのコンピュータによって実行可能な命令のプログラムを有形的に具現化する、当該コンピュータによりアクセス可能なプログラム記憶デバイスも提供される。
【００２４】
くわえて、本発明は、データベース内の大量のオーディオ・ファイルのインデックスを生成するために、以下のステップを含む方法も提供する。すなわち、各ファイルの特定の位置でのフィンガープリントのセットを計算するステップと、ファイルのフィンガープリントと位置とＩＤをメモリに格納するステップとを有する。対応するフィンガープリント、位置、ＩＤは、３つ組の形式で関連付けられる。好ましくは、オーディオ・ファイルの時点であるその位置は、そのファイルに基づき計算され、再現可能である。たとえば、その時点では、そのオーディオ・ファイルのスペクトルＬｐノルムが極大となる。あるケースにおいては、各フィンガープリントは、好ましくは数値であり、特定の位置付近のファイルの多数の特徴を表す。フィンガープリントは、オーディオ・ファイルのあらゆる分析やディジタル信号処理から計算できる。フィンガープリントの例は、スペクトル・スライス・フィンガープリント、マルチスライス・フィンガープリント、ＬＰＣ係数、ケプストラム係数、スペクトルピークの周波数成分、連結されたスペクトルピークを含む。
【００２５】
また、本発明は、時間伸縮に対し不変のフィンガープリントおよび、さまざまな階層検索を組み込んだ、オーディオ・サンプルを識別する方法を提供する。
【００２６】
（詳細な説明）
本発明は、大量の既知メディア・ファイルを含むデータベースに与えられる外来のメディア・サンプルを認識する方法を提供する。また、本発明の認識方法を用いた効率的な検索を可能にするデータベース・インデックスを生成する方法も提供する。以下の説明は主にオーディオデータに言及するものであるが、本発明の方法は、テキスト、オーディオ、ビデオ、画像、別個のメディアタイプを組み合わせた種々のマルチメディアなどを含む、あるゆるタイプのメディア・サンプル、メディア・ファイルにも適用可能であることが理解されよう。オーディオの場合、本発明は、例えば、背景雑音、伝送誤りおよび欠落、干渉、帯域制限フィルタリング、量子化、タイムワーピング、音声品質ディジタル圧縮などによって生じた高レベルの線形歪みもしくは非線形歪みを含んだサンプルの認識に特に有用である。以下の説明から明らかなように、本発明は、たとえ計算される特徴量のわずかな部分だけしか歪みに耐えられなかったとしても、歪みを受けた信号を正確に認識できるため、かかる状況の下で動作する。音響（sound）、音声（voice）、音楽（music）、またはそれらの組み合わせ、を含むあらゆるタイプのオーディオ（audio）が、本発明によって認識されうる。オーディオサンプルの例は、記録された音楽、ラジオ放送プログラム、広告を含む。
【００２７】
外来のメディア・サンプルは、本明細書では、後述するような種々の音源から得られるあらゆるサイズのメディアデータのセグメントをいう。認識が行われるためには、サンプルは、本発明によって使用されるデータベースにおけるインデックス・メディア・ファイルの一部の再現（rendition）でなければならない。インデックス・メディア・ファイルはオリジナル記録であり、サンプルはそのオリジナル記録が歪みを受けおよび／もしくは短縮化された変形もしくは再現であると考えることができる。一般に、サンプルは、インデックス・ファイルの小部分のみに対応する。例えば、データベースにインデックスが付与された５分間の曲のうちの１０秒間で認識が行われうる。「ファイル」の用語はインデックスが付与される構成単位に用いられるが、その構成単位は、必要な値（後述）が得られるかぎり、いかなるフォーマットでもよい。さらに、その値が得られた後にファイルを記憶したりアクセスする必要もない。
【００２８】
図１は、本発明の方法１０の全体ステップを概念的に示す図である。以下、各ステップを詳しく説明する。この方法は、固有フィンガープリントの相対位置が外来サンプルの同様のフィンガープリントの相対位置に最も近似するメディア・ファイルを、ベストなメディア・ファイルとして識別するものである。ステップ１２で外来サンプルがキャプチャー（記録）された後、ステップ１４で、ランドマーク（landmark）およびフィンガープリント（fingerprint）が計算される。ランドマークは、サンプルにおける特定の位置（例えば時点）で生じる。ランドマークのサンプルにおける位置は、サンプル自身によって（すなわち、同じ品質に依存して）決定され、再現可能であることが好ましい。これは、同じ信号に処理を繰り返しても各時刻において同じランドマークが計算されるということである。各ランドマークに対して、そのランドマークまたはその付近でのサンプルの１または２以上の特性を特徴付けるフィンガープリントが得られる。ランドマークへの特性の近似度は、使用されるフィンガープリント法によって定義される。あるケースにおいて、ある特性が明らかにランドマークに一致し、前のランドマークおよび後続のランドマークには一致しない場合には、その特性はそのランドマークに近いと考えれる。別のケースでは、特性は近接する複数のランドマークに相当する。例えば、テキストのフィンガープリントは単語列、オーディオのフィンガープリントはスペクトル成分、画像のフィンガープリントは画素ＲＧＢ値、とすることができる。以下では、ステップ１４の２つの一般的な実施態様を説明する。１つは、ランドマークおよびフィンガープリントがシーケンシャルに計算されるもの、もう１つはランドマークおよびフィンガープリントが同時に計算されるものである。
【００２９】
ステップ１６では、サンプルのフィンガープリントが、マッチング・フィンガープリントのセットをデータベース・インデックス１８から検索するのに用いられる。ここで、マッチング・フィンガープリントはメディア・ファイルのセットのランドマークおよび識別子に関連付けられている。検索されたファイルの識別子およびランドマーク値のセットは、同じフィンガープリントが計算された位置におけるサンプルのランドマーク（ステップ１４で計算された）と検索されたファイルのランドマークとを含む対応ペアの生成（ステップ２０）に用いられる。得られた対応ペアは楽曲ＩＤでソートされ、各適用ファイルのサンプル・ランドマークとファイル・ランドマークとの対応関係のセットを生成する。各セットは、ファイル・ランドマークとサンプル・ランドマークとの位置合わせのために検査される。これは、ランドマーク同士にリニアな対応関係が確認され、そのセットはリニアな対応関係にあるペアの数に従いスコアリングされることになる。多数のサンプル位置とファイル位置との対応関係が許容誤差の範囲内でほぼ等しい一次方程式を記述できる場合に、リニアな対応関係が生じる。例えば、対応ペアのセットを記述する多くの方程式の勾配が＋−５％の範囲の変動で収まっている場合には、対応関係のすべてのセットはリニアな関係を有していると考えられる。もちろん、別の好適な許容誤差を選択してもよい。最高スコアの（すなわち、リニアな対応関係の数が最大の）セットのＩＤが、ステップ２２で、ベストなファイルＩＤとして特定され返される。
【００３０】
さらに後述するように、データベースのエントリ数の対数に比例する時間成分で認識が行われうる。大規模なデータベースであっても、基本的にはリアルタイムで認識が行われうる。すなわち、サンプルが得られてから小さな時間遅れで認識されうる。この方法は、５〜１０秒間、あるいはもっと短い１〜３秒間のセグメントに基づいて音響を識別できる。好適な実施形態においては、ステップ１４のランドマーク分析およびフィンガープリント分析は、ステップ１２でサンプルがキャプチャされるのと同時に実行される。データベース検索（ステップ１６）は、サンプル・フィンガープリントが利用可能となりしだい実行され、対応関係の結果が計算されリニアな対応関係を求めて周期的に検査される。しがたって、この方法の全ステップは、図１に示したとおりの順次実行ではなく、同時進行させることができる。この方法は、部分的にはテキスト検索エンジンに類似していることに留意されたい。ユーザは検索サンプルを提示し、音響データベースにインデックス付与されたファイルのうちマッチするものが返される。
【００３１】
本方法は、典型的にはコンピュータシステムで操作するソフトウェアとして実現され、個々のステップは独立したソフトウェアモジュールとして最も効率的に実現される。したがって、本発明を実現するシステムは、ランドマークおよびフィンガープリント分析オブジェクト、インデックス付けされたデータベース、データベース・インデックスを検索し、対応関係を計算し、ベストなファイルを識別するための解析オブジェクト、で構成されうる。ランドマーク分析およびフィンガープリント分析を順次行う場合には、ランドマーク分析オブジェクトとフィンガープリント分析オブジェクトとは別個のオブジェクトとしてもよい。上記個別のオブジェクトに対するコンピュータ命令コードは、１または２以上のコンピュータのメモリに格納され、１または２以上のコンピュータ・プロセッサにより実行される。一実施形態においては、コード・オブジェクトは、インテルベースのパーソナルコンピュータやその他のワークステーションなどの単一のコンピュータシステムにまとめて収容される。好適な実施形態においては、本方法は、ネットワークにより分散した中央処理装置（ＣＰＵ）によって実現され、演算負荷を分散させるために、別個のソフトウェア・オブジェクトはそれぞれ別個のプロセッサによって実行される。あるいは、それぞれ同様に構成された要素の同形ネットワークとすることを考慮して、各ＣＰＵがすべてのソフトウェア・オブジェクトのコピーを保持するようにしてもよい。この後者の構成においては、各ＣＰＵがデータベース・インデックスのサブセットを有し、自身のメディア・ファイルのサブセットの検索に応答することが可能である。
【００３２】
図２は、分散コンピュータシステム３０の好適な実施形態の一例を示す図である。ただし、本発明は特定のハードウェアシステムに限定されるものではない。システム３０は、マルチプロセッシング・バスアーキテクチャ３４もしくは、ベオウルフ・クラスタ演算プロトコル（the Beowulf cluster computing protocol）などのネットワーク・プロトコル、あるいはそれら２つの組み合わせによって接続されたＬｉｎｕｘベースのプロセッサ３２ａ〜３２ｆを含む。かかる構成において、フィンガープリント分析の高速な立ち上がりが確保されるよう、データベース・インデックスは、クラスタ内の少なくとも１のノード３２ａのランダム・アクセス・メモリ（ＲＡＭ）に記憶されることが好ましい。ランドマーキング・ノード３２ｃおよび３２ｆ、フィンガープリンティング・ノード３２ｂおよび３２ｅや、位置合わせ検査ノード３２ｄなど、その他のオブジェクトに対応する演算ノードは、データベース・インデックスを保持するノード３２ａほどに大容量のＲＡＭは必要ではない。各オブジェクトに割り当てられる演算ノードの数は、１つのオブジェクトがボトルネックとならなよう要求に従い増減することができる。したがって、演算ネットワークは高度に並列処理化することができ、くわえて、利用可能な演算リソース間に分配された複数の信号認識探索を同時進行で処理できる。これは、多数のユーザが認識を要求してきても短時間で結果を返すアプリケーションを可能にするということである。
【００３３】
別の実施形態においては、いくつかの機能オブジェクトがより強固に結合し、一方で他のオブジェクトとはそれほど強固には結合させないでおく。例えば、ランドマーク分析オブジェクトおよびフィンガープリント分析オブジェクトは残りのオブジェクトからは物理的に離れた位置に配置することができる。この一例は、ランドマーク分析オブジェクトおよびフィンガープリント分析オブジェクトと、信号キャプチャ処理との強固な連係が挙げられる。この配置構成において、ランドマーク分析オブジェクトおよびフィンガープリント分析オブジェクトは、例えば移動電話、無線アプリケーションプロトコル（ＷＡＰ）ブラウザ、個人情報端末（ＰＤＡ）、オーディオ検索エンジンのクライアント端末のようなその他のリモート端末などに埋め込まれる、追加的なハードウェアまたはソフトウェアとして組み込まれうる。コンテンツ表示サービスなどのインターネット・ベースのオーディオ検索サービスにおいて、ランドマーク分析オブジェクトおよびフィンガープリント分析オブジェクトは、マイクロソフト（登録商標）ダイナミック・リンク・ライブラリ（ＤＬＬ）のような、リンクされたソフトウェア命令セットまたはソフトウェア・プラグイン・モジュールとして、クライアントのブラウザ・アプリケーションに組み込まれうる。これらの実施形態において、信号キャプチャ、ランドマーキング、フィンガープリンティングのすべてを含めたオブジェクトは、サービスのクライアント端末を構成する。クライアント端末は、ランドマークおよびフィンガープリントのペアを含む特徴量が抽出されたキャプチャ信号サンプルのサマリを、認識を実行するサーバ端末に送信する。生のキャプチャ信号のかわりに、この特徴量が抽出されたサマリをサーバへ送信することは、データ量を大幅に、たいてい５００分の１またはそれ以下に、減らせる点で有利である。このような情報であれば、例えばサーバに送信されるオーディオストリームと一緒にもしくは一緒にではなく、狭い帯域幅の片側チャネルでリアルタイムに送信されうる。これは、各ユーザに狭小な帯域幅しか与えられていない公衆通信網上で本発明を実現することが可能になる。
【００３４】
以下、オーディオ・サンプルと、音響データベースにインデックスが付与されたオーディオ・ファイルを参照して、本方法を詳細に説明する。本方法は音響データベース・インデックスの構築と、サンプル認識の２つに大別される。
【００３５】
（データベース・インデックスの構築）
音響認識を行う前提として、探索可能な音響データベース・インデックスを構築する必要がある。本明細書において、データベースとは、インデックスが付与されたデータの集合体をいうが、商業ベースにのるデータベースに限られない。データベース・インデックスにおいて、つながりのあるデータの要素は互いに関連づけられ、個々の要素は関連するデータの検索に用いられうる。音響データベース・インデックスは、音声、音楽、広告、ソナー信号、またはその他の音響を含む、選択された集合もしくはライブラリにおける各ファイルまたは記録（recording）のインデックスセットを含む。また、各記録は固有の識別子sound_IDも有する。音響データベースそのものは各記録に対するオーディオファイルを記憶する必要はないが、sound_IDは、別の場所からオーディオファイルの検索に使用されうる。音響データベース・インデックスは、数百万、場合によっては何十億のファイルのインデックスを含むため、非常に大きなサイズであると予想される。新たな記録は徐々にデータベース・インデックスに追加されることが望ましい。
【００３６】
図３は、第１の実施形態により探索可能な音響データベース・インデックスを構築する好適な方法４０を示す図である。本実施形態においては、まずランドマークが計算され、その後、そのランドマーク位置もしくはその付近のフィンガープリントが計算される。データベース・インデックスを構築する他の方法が考えられるのは当業者には明らかであろう。とりわけ、以下に示すステップの多くは選択的なものであるが、より効率的に検索がなされるデータベース・インデックスを生成する役を果たす。大規模データベースからのリアルタイム音響認識のためには探索効率が重要であるが、小規模データベースであればたとえ最適にソートされていなくても比較的高速に探索されうる。
【００３７】
音響データベースにインデックスを付与するために、集合における各記録はランドマーク分析およびフィンガープリント分析され、各オーディオファイルのインデックスセットが生成される。図４は、ランドマーク（ＬＭ）およびフィンガープリント（ＦＰ）が計算されるサウンド記録のセグメントを模式的に示す図である。ランドマークは音響の特定の時点で生じ、ファイルの始まりからの時間単位オフセットの値を有しており、フィンガープリントは特定のランドマーク位置またはその付近の音響を特徴付ける。したがって、本実施形態においては、特定のファイルに対する各ランドマークは固有のものである一方、フィンガープリントは１つのファイルまたは複数のファイルで何回も同じものが生じうる。
【００３８】
ステップ４２において、サウンド記録における特徴的で再現性のある位置をみつける方法を用いて、各サウンド記録がランドマーク分析される。好適なランドマーク分析アルゴリズムは、雑音やその他の線形、非線形の歪みが存在していても、サウンド記録内の同じ時点をマークすることができる。いくつかのランドマーク分析方法は、後述するフィンガープリント工程とは概念的に独立のものであるが、その工程の性能を最適化すべく選択することができる。ランドマーク分析によって、サウンド記録における時点 {landmarkk} のリストが得られ、各時点で順次フィンガープリントが計算される。良好なランドマーク分析スキームによれば、サウンド記録の１秒間あたりにおよそ５〜１０個のマークがなされる。もちろん、ランドマークの密度はサウンド記録における活性度に依存する。
【００３９】
ランドマークの計算にはさまざまな手法をとることができるが、いずれも本発明の範疇のものである。本発明のランドマーク分析スキームを実現するのに用いられる特定の手法は公知のものであるのでその詳細な説明は省略する。パワーノルムとよばれる単純なランドマーク分析手法は、サウンド記録の各時点における瞬時パワーを計算し、極大点を選択するものである。これを行う一方法は、波形を直接、調整およびフィルタリングすることで包絡線を計算することである。別の方法は、信号のヒルベルト変換（直交変換）を計算し、ヒルベルト変換および原信号の２乗振幅を用いることである。
【００４０】
ランドマーク分析のパワーノルム法は音響信号における遷移をみつけるのに好適である。パワーノルムは、一般的なスペクトルＬｐノルムのまさに特殊なケース（ｐ＝２）である。一般スペクトルＬｐノルムは、例えばハニング窓の高速フーリエ変換（ＦＦＴ）による短時間スペクトルを計算することにより音響信号の各時点で計算される。好適な実施形態は、８０００Ｈｚのサンプリング・レート、１０２４サンプルのＦＦＴフレームサイズ、各時間スライスのための６４サンプルのシフト幅、を用いる。スペクトル成分の絶対値のｐ乗の和として各時間スライスのＬｐノルムが計算され、選択的に次にｐ乗根も計算される。前述したように、ランドマークは各時刻で得られる値の極大値として選択される。スペクトルＬｐノルム法の一例を、図５に示す。図５は、ある音響信号の時間関数としてのＬ４ノルムのグラフである。極大値における破線はランドマークが選択される位置を示している。
【００４１】
Ｐ＝∞であるとき、Ｌ∞ノルムは事実上最大ノルムとなる。つまり、ノルムの値はスペクトル面における最大のスペクトル成分の絶対値である。このノルムはロバストなランドマークと良好な認識性能が得られ、また、音色の楽曲（tonal music）にも好適なものとなる。
【００４２】
あるいは、単一の時間スライスではなく、固定もしくは可変のオフセットでの複数の時間スライスにわたってスペクトル成分の絶対値のｐ乗の和をとることで、「マルチスライス」スペクトル・ランドマークが計算されうる。この拡張された和の極大値を見つけることによって、後述するマルチスライス・フィンガープリントの配置を最適化することが可能になる。
【００４３】
ランドマークが計算されると、ステップ４４で、各ランドマーク時間位置でフィンガープリントが計算される。フィンガープリントは一般に、サウンド記録における各ランドマーク時間位置もしくはその付近における特徴量のセットを集約した値もしくは値のセットである。この好適な実施形態においては、各フィンガープリントは複数の特徴量のハッシュ関数である単一の数値である。フィンガープリントがとりうるタイプは、スペクトル・スライス・フィンガープリント、マルチスライス・フィンガープリント、ＬＰＣ係数、ケプストラム係数を含む。もちろん、信号またはランドマーク付近の信号の特性を特徴付ける、フィンガープリントのあるゆるタイプは、本発明の範疇のものである。フィンガープリントは、あらゆるタイプのディジタル信号処理または信号の周波数分析によって計算されうる。
【００４４】
スペクトルスライス・フィンガープリントを生成するために、各ランドマーク時間位置の近くで周波数分析が行われ、いくつかのスペクトルピークの頂点が抽出される。単純なフィンガープリント値は、最大のスペクトルピークの周波数値にすぎない。このような単純なピークを用いると、雑音が存在しても非常に良好な認識性能が得られる。しかし、単一の周波数スペクトルスライス・フィンガープリントは、これらが固有でないために、他のフィンガープリント分析スキームよりもフェールス・ポジティブ（false positives）生成する傾向にある。２または３の最大スペクトルピークの関数からなるフィンガープリントを使用することにより、フェールス・ポジティブの数を減らすことが可能である。しかし、これらは、２番目に大きなスペクトルピークが、存在する雑音に対し十分に識別可能なほどに大きくないと、雑音に非常に弱い場合がある。つまり、計算されたフィンガープリント値は、信頼性のある再現につき十分ロバストでない場合がある。にもかかわらず、このケースの性能も良好である。
【００４５】
多くの音響の時間進行を利用するために、時間オフセットのセットをランドマーク時点に加えることによってタイムスライスのセットが計算される。得られた各タイムスライスで、スペクトルスライス・フィンガープリントが計算される。その後、得られたフィンガープリント情報のセットが結合されて、１スライスまたはマルチスライスのフィンガープリントが形成される。各マルチスライス・フィンガープリントは、時間進行をたどっていくので、単一のスペクトル・フィンガープリントに比べ、さらに特有のものとなり、後述するデータベース・インデックス探索においてマッチングの失敗が減ることになる。実験によれば、固有度合いを増したため、２つの時間スライスのそれぞれにおける単一の最大スペクトルピークから計算されたマルチスライス・フィンガープリントによって、後続のデータベース・インデックス探索の演算が速くなった（約１００倍の速度）ものの、大きな雑音が存在する状況では認識率の低下がみられた。
【００４６】
また、マルチスライス・フィンガープリントを計算するのに、与えられた時間スライスからの固定オフセットを用いるのではなく、可変のオフセットを用いることもできる。選択されたスライスへの可変オフセットは、フィンガープリントに対する、次のランドマークへのオフセット、または、“アンカー”ランドマークからのあるオフセット範囲におけるランドマークへのオフセットである。この場合において、ランドマーク間の時間差もマルチ周波数情報と共にフィンガープリントにエンコードされる。フィンガープリントにより次元を加えることにより、さらに固有度合が強まり、マッチングに失敗する機会も減る。
【００４７】
スペクトル成分に加え、他のスペクトル特性を抽出しフィンガープリントとして使用してもよい。線形予測符号化（ＬＰＣ）分析は、信号の予測可能な線形な特性、例えば、スペクトル形状の他にスペクトルピーク、を抽出するものである。ＬＰＣはディジタル信号処理の分野では周知である。本発明に対し、ランドマーク位置で固定された波形スライスのＬＰＣ係数が、量子化されたＬＰＣ係数をインデックス値にハッシングすることによって、フィンガープリントとして用いられうる。
【００４８】
周期性を測定するものとしてはケプストラム係数が有用であり、音声や多くの楽器のような調波構造の信号を特徴付けるのに使用することができる。ケプストラム分析はディジタル信号処理の分野で周知のものである。本発明に対しては、多数のケプストラム係数がインデックスにハッシングされてフィンガープリントとして使用される。
【００４９】
図６は、ランドマークおよびフィンガープリントが同時に計算される別の実施形態５０を示す図である。図３のステップ４２および４４がステップ５２、５４、５６で置き換えられている。後述するように、ステップ５２で、サウンド記録から多次元関数が計算され、その関数からランドマーク（５４）およびフィンガープリント（５６）が抽出される。
【００５０】
図６の実施形態において、ランドマークおよびフィンガープリントは、音声記録のスペクトログラムから計算される。スペクトログラムは音声記録の時間−周波数分析で、一般には高速フーリエ変換（ＦＦＴ）を用いて、音響サンプルの窓かけおよびオーバラップしたフレームがスペクトル分析されたものである。先述したように、好適な実施形態は、８０００Ｈｚのサンプリング・レート、１０２４サンプルのＦＦＴフレームサイズ、各時間スライスのための６４サンプルのシフト幅、を用いる。スペクトログラムの一例を、図７Ａに示す。横軸が時間で、縦軸が周波数である。連続する各ＦＦＴフレームは、時間軸に沿って等間隔に、縦に配置される。このスペクトログラムは、各時間−周波数ポイントでのエネルギー密度を示している。グラフ上の黒い部分は高いエネルギー密度を示す。スペクトログラムはオーディオ信号処理の分野では周知のものである。本発明に対し、ランドマークおよびフィンガープリントは、図７Ｂのスペクトログラムにおいて丸印で示したスペクトルの極大値のような点による凸角点から得られる。例えば、各ピークの時間−周波数座標が得られ、その時間はランドマークとしてとられ、周波数は対応するフィンガープリントの計算に使用される。スペクトルピーク・ランドマークはＬ∞ノルムに近似し、ここでノルムの最大絶対値がランドマーク位置を決定する。しかし、スペクトログラムにおいて、極大値の探索は、時間スライス全体にわたるよりもむしろ、時間−周波数平面のパッチに支配される。
【００５１】
以下では、サウンド記録の凸角点抽出分析から得られる凸角点のセットを、コンステレーション（constellation）という。極大値を有するコンステレーションに対し、好適な分析は、選択された各点の近隣にわたる時間−周波数平面でエネルギーが最大となる点を選択することである。例えば、(t0-T,f0-F), (t0-T, f0+F), (t0+T,f0-F), (t0+T, f0+F) を頂点とする四角形、すなわち、コンステレーションの適当な数が得られるように選ばれたＴおよびＦにより、２Ｔおよび２Ｆを辺の長さとする四角形、において、座標 (t0, f0) の点が最大エネルギーの点であるとき、その点が選択される。四角形の範囲は、周波数値に応じてそのサイズを変更することもできる。もちろん、領域の形状はあらゆるものを用いてもよい。時間−周波数平面における距離に応じて競合の時間−周波数エネルギーのピークが逆に重み付けされるように、すなわち、遠いポイントは低い重み付けとなるように、最大エネルギー基準を重み付けすることもできる。例えば、エネルギーは次式で重みづけされる。
【００５２】
S(t, f) / (1+Ct(t-t0)2+Cf(f-f0)2)
【００５３】
ただし、S(t,f) は点(t,f)における二乗振幅値、CtおよびCfは正の値である（定数である必要はない。）。その他の距離重み付け関数を用いてもよい。極大点選択の制約にはその他の（最大値ではない）凸角点特徴抽出手法を適用してもよく、これらも本発明の範疇のものである。
【００５４】
この方法は、上述した多くの同一の性質を有する単一の周波数スペクトルフィンガープリントに非常に近似した値の組が得られる。スペクトログラム時間−周波数法は、単一周波数法よりも多くのランドマーク／フィンガープリントのペアを生成するが、後述するマッチングステージにおけるマッチングの失敗も多く生じうる。しかし、これは、単一周波数スペクトルフィンガープリントよりもロバストなランドマーク分析およびフィンガープリント分析を提供する。なぜならば、音響サンプルに含まれる主要な雑音は各スライスにおけるスペクトルのあらゆる部分に広がっているわけではないからである。すなわち、スペクトルの部分における多くのランドマークとフィンガープリントとのペアは主要な雑音の影響をほとんど受けない。
【００５５】
このスペクトログラム・ランドマーク分析およびフィンガープリント分析法は、次元の１つを時間とする音響信号の多次元関数を計算し、その関数の値における凸角点を位置決めする分析方法の特殊なケースである。凸角点は極大値、極小値、零交差点などの特徴値とすることができる。ランドマークは凸角点の時間座標として取得され、対応するフィンガープリントが残りの座標の少なくともいずれかから計算されうる。例えば、多次元関数フィンガープリントを形成するために、多次元凸角点の非時間座標が共にハッシングされうる。
【００５６】
上記したマルチスライス・スペクトルフィンガープリントに対する可変オフセット法は、スペクトログラムまたはその他の多次元関数フィンガープリントに適用することができる。この場合において、図７Ｃのスペクトログラムに示されるように、コンステレーションの点が共に結ばれてリンク点が形成される。コンステレーションの各点は、ランドマーク時刻を定義するアンカーポイントとしての役を果たし、その他の点の残りの座標値が連結されてリンクされたフィンガープリントが形成される。例えば後ほど定義するような互いに近い点同士が共に連結されて、より識別および検索が容易となるより複合的な総合特徴フィンガープリントが形成される。マルチスライス・スペクトルフィンガープリントのように、複数リンク凸角点からの情報を単一のフィンガープリントに結合することの目的は、フィンガープリント値がより多くの値をとりうるようにし、それによりマッチングの失敗の可能性を減少させること、すなわち、同じフィンガープリントが２つの異なる音楽サンプルを指し示してしまう可能性を減少させることである。
【００５７】
原理的には、Ｎ個の凸角点の各々は、およそＮ／２通りのリンクを生成する２点連結法により互いの点に連結される。同様に、Ｋ点連結のために、コンステレーションから得られる可能な組み合わせの数はＮのオーダである。このような組み合わせの膨張を回避するために、互いに連結される近隣のポイントを制限することが望ましい。そのような制限を実現する一方法は、各アンカーポイントに対し「ターゲットゾーン」を定義することである。アンカーポイントはその後そのターゲットゾーン内のポイントと連結される。ターゲットゾーン内のポイントのサブセットを選択してすべてのポイントに連結されないようにすることが可能である。たとえば、ターゲットゾーン内の最大ピークに係るポイントだけに連結されるようにすることが可能である。ターゲットゾーンは固定された形状でもよいし、アンカーポイントの特徴に応じて変化する形状でもよい。スペクトルピークのコンステレーションに対するアンカーポイント (t0,f0) のターゲットゾーンの簡単な例は、tが範囲 [t0+L, t0+L+W] 内（ただし、Lはリード時間長、Wはターゲットゾーンの幅）にあるといったようなスペクトル面の点 (t,f) のセットである。この方法において、ターゲットゾーン内ですべての周波数がとりうる。たとえば、レート制御メカニズムが生成される連結組み合わせ数を変調するのに使用される場合には、LまたはWは可変とすることができる。かわりに、たとえば、周波数fが範囲 [f0-F,f0+F] 内（ただし、Fは境界パラメータとする。）にあるといったようなターゲットゾーンの制約によって、周波数制限を実現することができる。周波数制限の利点は次のとおりである。心理音響学において、音符の並びが互いに近い周波数を有するとき、メロディーがよく干渉する傾向があることが知られている。このような制約は、心理音響学のモデリングは本発明の目標に必要でないにもかかわらず、より「心理音響学的に実際的な」認識性能を示すことを可能にする。fを [f0-F,f0+F] の範囲外に選択するような、逆のルールを考えることも可能である。これは、コンステレーション抽出結果が、時間的に近くなおかつ同じ周波数を有する時間−周波数ポイントの吃音列を発するケースを回避することを可能にするように、周波数が相違するポイントを連結させる。その他の局所性のパラメータのように、Fは定数である必要はなく、例えばf0の関数としてもよい。
【００５８】
時間座標にフィンガープリント値のアンカー凸角点が含まれないときは、フィンガープリントが時不変とするために相対時間値を用いる必要がある。たとえばフィンガープリントは、(i) 非時間座標値、および／または、(ii) 凸角点の対応する時間座標値の差、の関数とすることができる。時間差はたとえば、アンカーポイントに関して取得でき、あるいは、連結されたセットにおける一連の凸角点間の逐次の差分として取得できる。座標および差分値は連続ビットフィールドにパックされてハッシングされたフィンガープリントを形成することができる。座標値のセットをフィンガープリント値にマッピングする方法は数多くあり、それらは本発明の範疇に含まれることは当業者には明らかであろう。
【００５９】
この方法の具体例は、座標 (tk, fk)（ただし、k=1, . . . , N）においてN＞1 個の連結されたスペクトルピークを用いる。そして、(i) 第１ピークの時刻t1がランドマーク時刻として取得され、(ii) 周波数fk（ただし、k=1, . . . , N）での、連結ピークの時間差Δtk=tk-t1（ただし、k=2, . . . , N）が共にハッシングされてフィンガープリント値が形成される。フィンガープリントはΔtk-fk座標のとりうるすべての点またはサブセットから演算することができる。たとえば、望まれる場合には、時間差分のすべて一部または全部を除外することができる。
【００６０】
複数ポイントを用いてフィンガープリントを形成することの他の利点は、たとえばサウンド記録が元の録音スピードと異なるスピードで再生されたときの時間伸縮に対しても、フィンガープリント符号化を不変とすることができる点にある。この利点は、スペクトル法および時間スライス法の両方に当てはまる。伸長された時間信号においては、時間差と周波数は相反する関係を有する（たとえば、２点間の時間差が1/2に縮められると周波数は２倍になる）ことに留意されたい。この方法は、フィンガープリントから時間伸縮を除外する方法で時間差と周波数との結合によるデータを利用する。
【００６１】
たとえば、座標値 (tk,fk)（ただし、k=1, . . . , N）に対するＮポイントスペクトルピークの場合において、フィンガープリントにハッシュするためのとりうる中間値は、Δtk=tk-t1（ただし、k=2, . . . , N, また、fk, k=1, . . . , N）である。いずれかの周波数を基準周波数f1として、（ｉ）他の周波数との商、および（ii）時間差との積、を計算することにより、中間値を、時間伸縮に対して不変値とすることができる。たとえば、中間値をgk=fk/f1（ただし、k=2, . . . , N）、sk=Δtk/f1（ただし、k=2, . . . , N）とすることができる。サンプルをα倍に速めると、周波数fkはαfk、時間差tkはΔtk/αとなり、そのため、gk=αfk/αf1、sk=(Δtk/α)(αf1)=Δtkf1となる。そして、これらの新たな中間値は、時間伸縮に左右されないハッシュされたフィンガープリント値を形成するための関数を用いて結合される。たとえば、gkおよびskの値は連結されたビットフィールドにパッキングすることでハッシュされうる。
【００６２】
あるいは、基準周波数ではなく、基準時間差（たとえばΔt2）を用いてもよい。この場合には、（ｉ）他の時間差との商Δtk/Δt2、（ii）周波数との積Δt2fk、として新たな中間値が計算される。この場合は基準周波数を用いるのと等価である。結果の値は上記のgkおよびskの積および商から生成されうるからである。周波数比の相対性を全く等しく用いることもできる。つまり、元の中間値の対数値の和および差をそれぞれ、積と商に替えて用いることもできる。このような数学的操作の交換（commutations, substitutions, permutations）によって得られた時間伸縮に左右されないフィンガープリント値はすべて、本発明の範疇のものである。また、時間差を相対化する複数の基準周波数もしくは基準時間差を用いてもよい。複数の基準周波数もしくは基準時間差の使用は単一の基準値を用いるのと等価である。gkおよびskの演算操作によって同じ結果を得ることができるからである。
【００６３】
図３および図６に説明を戻す。上述した方法のいずれかによるランドマーク分析およびフィンガープリント分析により、図８Ａに示すようなSound_IDのインデックスセットが得られる。与えられたサウンド記録のインデックスセットは、ペアの値（fingerprint, landmark）のリストである。インデックス付けされた各サウンド記録は典型的には、そのインデックスセットに1,000のオーダの（fingerprint, landmark）のペアを有する。上記した第１の実施例では、ランドマーク分析とフィンガープリント分析の手法は基本的には独立であり、両者は別々のもので、かつ交換可能なモジュールとして取り扱うことができる。システム、信号品質、認識される音響のタイプに依存して、多くの異なるランドマーク分析やフィンガープリント分析のモジュールのいずれかを使用することができる。実際に、インデックスセットは値のペアの単純な複合化であるから、複数のランドマーク分析およびフィンガープリント分析の手法を同時に使用することが可能であり、またその方が好ましいことが多い。たとえば、ユニークな調音パターンを検出には、あるランドマーク分析およびフィンガープリント分析手法がよいが、パーカッションの識別には不十分である場合もあり、かかる場合には、対立する属性を有する異なるアルゴリズムがよい、というものである。複数のランドマーク／フィンガープリント分析を用いる手法により、よりロバストで十分なレンジの認識性能が得られる。数種類のフィンガープリント分析のためにいくらかのレンジを確保しておくことによって異なるフィンガープリント分析手法を一緒に用いてもよい。たとえば、３２ｂｉｔのフィンガープリント値において、初めの３ｂｉｔが８つのフィンガープリント分析手法を記述するのに使用し、残りの２９ｂｉｔが符号化に使用するようにしてもよい。
【００６４】
音響データベースのインデックスが付与される各サウンド記録に対してインデックスセットが生成される。ここで、検索可能なデータベースインデックスは高速（すなわち対数時間）検索を可能にするような方法で構築される。これは、ｓｔｅｐ４６で、各インデックスセットにおける各２つ組に対応するsound_IDを追加して得られる３つ組（fingerprint, landmark, sound_ID）のリストを構築することにより実現される。全てのサウンド記録に対しこのような３つ組が大規模なインデックス・リストとして収集される。図８Ｂにこの一例を示す。後続の検索処理を最適化するために、３つ組のリストはフィンガープリントによってソーティングされる。高速なソーティング・アルゴリズムは周知であり、D. E. Knuth、“The Art of Computer Programming, Volume 3: Sorting and Searching, Reading, Mass”（Addison-Wesley, 1998）に詳しく論じられている。これは、この引用により本明細書に含められる。高性能ソーティング・アルゴリズムは、リストのエントリ数をNとすると、NlogN回でリストをソートすることができる。
【００６５】
インデックス・リストがソーティングされると、ｓｔｅｐ４８で、リスト内の固有のフィンガープリントの各々が新たなマスター・インデックス・リストに集められるように区分される。図８Ｃにこの一例を示す。マスター・インデックス・リストの各エントリは、フィンガープリント値と（landmark, sound_ID）のリストへのポインタとを含む。インデックスされるサウンド記録の数および特徴に依存して、収集結果全体に特定のフィンガープリントが数百回以上現れることが考えられる。インデックス・リストをマスター・インデックス・リストに再構成することは任意であるが、各フィンガープリント値が１回しか現れないので、メモリの節約になる。現行のリストのエントリ数が固有の値のリストに大幅に減少するので、後続のデータベース検索の高速化にもなる。あるいは、バランス木（B-tree）に各３つ組を挿入することでマスター・インデックス・リストが構成されるようにしてもよい。周知のように、マスター・インデックス・リストを構築する方法は他にもある。マスター・インデックス・リストは、信号認識処理中の高速アクセスのためにＤＲＡＭのようなシステムメモリに保持されることが好ましい。マスター・インデックス・リストは、図２に示すようなシステム内の単一ノードのメモリに保持するようにしてもよい。あるいは、マスター・インデックス・リストは複数のリストに分割され複数の演算ノード間に分配されるようにしてもよい。上記した音響データベース・インデックスは図８Ｃに示したマスター・インデックス・リストであることが好ましい。
【００６６】
音響データベース・インデックスはオフラインで構築され、認識システムに新たな音響が入力されたときに追加的に更新することが好ましい。リストを更新するために、新たなフィンガープリントがマスター・インデックス・リストのしかるべき位置に挿入されうる。新たなサウンド記録が既に存在するフィンガープリントを含んでいる場合には、対応するペア（landmark, sound_ID）が、それらのフィンガープリントに対して既に存在するリストに追加される。
【００６７】
（認識システム）
上記のように生成されたマスター・インデックス・リストを用いて、入力される音響サンプルに対して音響認識が行われる。音響サンプルは典型的にはそのサンプルの識別に関心を持っているユーザによって供給される。たとえば、ユーザがラジオで新曲を聴いてその曲のアーティストとタイトルを知りたくなるであろう。サンプルはあらゆる環境から作り出すことができる。たとえば、ラジオ放送、ディスコ、パブ、サブマリーン（submarine）、サウンドファイル、ストリーミング・オーディオのセグメント、ステレオシステムなど。そして、これらは背景雑音、音飛び（dropouts）、あるいは話し声を含んでいてもよい。ユーザは、オーディオサンプルを認識システムに供給する前にそのオーディオサンプルを、応答装置、コンピュータファイル、テープレコーダ、電話もしくは移動電話、ボイスメールシステムといった記憶デバイスに記憶させることができる。システム設定およびユーザ設定に基づいて、あるゆるアナログもしくはディジタルの音源（ステレオシステム、テレビ、コンパクトディスクプレーヤー、ラジオ放送、応答装置、電話、移動電話、インターネットストリーミング放送、ＦＴＰ、電子メールの添付ファイルとしてのコンピュータファイル、これらの記録物を送信に適したその他の装置）から、オーディオサンプルが本発明の認識システムに供給される。サンプルは、その音源に依存して、音響波、無線波、ディジタルオーディオＰＣＭストリーム、圧縮ディジタルオーディオストリーム（ドルビーデジタル、ＭＰ３など）、インターネットストリーミング放送、などの形式であったりする。ユーザは、電話、移動電話、ＷＥＢブラウザ、電子メールなどの標準的なインタフェースを介して認識システムと対話する。サンプルはシステムによってキャプチャされ、リアルタイムに処理されるか、あるいは、過去にキャプチャされたサウンド（たとえばサウンドファイル）から処理するために再生されることになる。キャプチャ中、オーディオサンプルはマイクロホンのようなサンプリングデバイスによってディジタルで抽出されてシステムに送られる。サンプルは、キャプチャ方法に依存して、チャネルやサウンドキャプチャ装置の制限によって更に劣化するであろう。
【００６８】
サウンド信号がディジタル形式に変換されると、認識のための処理が行われる。データベースファイルのインデックスセットの構築として、そのサンプルに対し、サウンド記録データベースを処理するのに使用したのと同じアルゴリズムでランドマークおよびフィンガープリントが計算される。オリジナルのサウンドファイルが大きく歪んだものの処理しても、オリジナル記録に対して得られたランドマークとフィンガープリントのペアのセットと同一もしくは近似のものが得られるのであれば、方法は最適に動作する。サウンドサンプルに対し得られたインデックスセットは、図９Ａに示す分析値のペアセット（fingerprint, landmark）となる。
【００６９】
サウンドサンプルについての分析値ペアが与えられると、データベース・インデックスが検索されて、マッチしそうなファイルを特定する。検索は次のように実行される。未知サンプルのインデックスセットにおける各（fingerprintk, landmarkk）ペアは、マスター・インデックス・リストにおけるfingerprintkを検索することで処理される。順序付きリストに対する高速検索アルゴリズムは周知であり、D. E. Knuth、“The Art of Computer Programming, Volume 3: Sorting and Searching, Reading, Mass”（Addison-Wesley, 1998）に詳しく論じられている。マスター・インデックス・リストのfingerprintkが見つかると、マッチする（landmark*j, sound_IDj）ペアの対応するリストがコピーされ、landmarkkを加えて、（landmarkk, landmark*j, sound_IDj）の形式の３つ組のセットを形成する。ここで、アスタリスク（*）はデータベース内のインデックスファイルのいずれかのランドマークを示しており、アスタリスクのないランドマークはサンプルのものを示している。場合によっては、両者のフィンガープリントが同一のときに限りマッチするとする必要はなく、フィンガープリントが互いに近似している（たとえば、差が予め定められたしきい値に収まる）場合にはマッチしていると判定することが好ましい。両者同一によりマッチするフィンガープリント同士も、近似によりマッチするフィンガープリント同士も、ここでは「同等（equivalent）」という。３つ組におけるsound_IDjは、アスタリスクの付いたlandmarkを有するファイルに対応する。したがって、各３つ組は、同等のフィンガープリントが計算されたときの、２つの別個のランドマークを含む。１つはデータベース・インデックスのもので、もう１つはサンプルのものである。この処理は、入力サンプルのインデックスセットの範囲にわたるすべてのｋについて繰り返される。得られたすべての３つ組は、図９Ｂに示すような大規模な候補リストに収集される。候補リストは、フィンガープリントのマッチングによるサウンドファイルのsound_IDを含んでおり、これらのsound_IDが入力されたサウンドサンプルに対する識別の候補であるので、そのように呼ばれる。
【００７０】
候補リストが集められた後は、sound_IDによるセグメンテーションが行われる。この簡便な方法は、sound_IDによって候補リストをソーティングするか、候補リストをバランス木（B-tree）に挿入することである。多くのソーティング・アルゴリズムが適用可能であることは先述したとおりである。この処理の結果が、候補sound_IDのリストとなり、それぞれが、図９Ｃに示すように、オプションとしてそのsound_IDが除去された、サンプルのランドマーク時刻とデータベースファイルのランドマーク時刻とのペア（landmarkk, landmark*j）の散布リストを有する。したがって各散布リストは、互いが同等のフィンガープリントによって特徴付けられるランドマークのセットを含むことになる。
【００７１】
そして、sound_IDがサンプルにマッチするかどうかを判断するために、各候補sound_IDに対する散布リストが分析される。極めて小さい散布リストしかない候補を除外するために、オプションとして、しきい値処理ステップを用いてもよい。明らかに、散布リストにエントリが１つしかない候補、すなわち、サンプルと同様のフィンガープリントが１つしかない候補は、そのサンプルとはマッチしない。１以上のあらゆる適切なしきい値を用いてもよい。
【００７２】
最終的な候補数が決定されると、ベストな候補が特定される。以下のアルゴリズムでベストな候補が特定できなければ、認識失敗のメッセージが返される。このマッチング処理のキーポイントは、両者の時間軸が固定されていると想定して、サウンドのマッチングにおける時間の進行が、リニアな対応関係に従っているはずである点である。これは、いずれかのサウンドが作為的に非線形に歪んでいたり、速度が小刻みに揺れる異常があるテープデッキの如く再生装置に欠陥があるようなことがないかぎり、そのとおりになる。したがって、与えられたsound_IDの散布リストにおける正常なランドマークペア（landmarkn, landmark*n）は次式のリニアな対応関係を有するはずである。
【００７３】
landmark*n=m*landmarkn+offset
【００７４】
ただし、ｍは傾きで１に近い値である。landmarknは入力されたサンプルにおける時点、landmark*nはsound_IDによってインデックスされたサウンド記録における対応する時点、offsetは入力されたサウンドサンプルの始点に対応するサウンド記録への時間オフセットである。特定の値ｍおよびoffsetによって上式に適合するランドマークペアは「リニアな関係」にあるという。明らかに、リニアな関係にあることの概念は、対応するランドマークペアが２以上あれば有効である。このリニアな関係は、重要でない範囲外のランドマークペアを除外すると、正常なサウンドファイルを高い確率で識別する注意されたい。２の別個の信号が多数の同一のフィンガープリントを含むことが可能であるとはいえ、これらのフィンガープリントが同じ相対的な時間進行を有することはまずない。リニアな対応関係の要求は本発明のキーとなる特徴であり、単純に普通の特徴量のトータル数をカウントしたり特徴量の類似度を測定するといった技術よりも大きく認識性能を上げることができる。実際、本発明のこの側面により、たとえオリジナル記録のフィンガープリントが入力されたサウンドサンプルに現れるのが１％に満たないとしても、すなわち、サウンドサンプルが非常に短かったり大きく歪んでいる場合であったとしても、サウンドを認識することができる。
【００７５】
そのため、入力されたサンプルに対してマッチするかどうかの判断の問題が、与えられた散布リストのランドマークポイントの散布図のうちで傾き１程度の斜線をみつけることに相当するものへと絞り込まれる。図１０Ａおよび図１０Ｂに散布図の２つの例を示す。横軸がサウンドファイルのランドマークで、縦軸が入力されたサウンドサンプルのランドマークである。図１０Ａにおいて、ほぼ１の傾きの斜線が認識される。これは曲が確かにサンプルにマッチした、すなわち、そのサウンドファイルがベストなファイルであることを示している。横軸での切片は、サンプルの始めにおけるオーディオファイル内のオフセットを示している。図１０Ｂの散布図には統計上の有意な斜線がみられない。これは入力されたサンプルに対しそのサウンドファイルはマッチしないことを示している。
【００７６】
散布図における斜線をみつける方法は多くあり、これらはすべて本発明の範疇のものである。「斜線の特定（locating a diagonal line）」の用語は、明示的に斜線を生成せずに斜線を特定することに相当するすべての方法をいう。好適な方法は、上式の両辺からm*landmarknを引いて次式を得ることにより開始する。
【００７７】
(landmark*n-m*landmarkn)=offset
【００７８】
ｍはほぼ１と想定する（すなわち、時間伸縮がないと想定する）と、次式が得られる。
【００７９】
(landmark*n-landmarkn)=offset
【００８０】
斜線を特定するときの問題は、ほぼ同じオフセット値で分割される所定のsound_IDに対する複数のランドマークペアをみつけることに絞られる。これは、１のランドマークと他のランドマークとを引き算して得られたオフセット値のヒストグラムを収集することにより、容易に実現できる。高速ソーティング・アルゴリズムを用いて、あるいは、カウンタでビンのエントリを生成しバランス木（B-tree）に挿入することにより、このヒストグラムを加工してもよい。ヒストグラムのベストなオフセット・ビンは最大のポイント数を含む。以下では、このビンをヒストグラムのピークという。入力されたサウンド信号が正常なライブラリ・サウンドファイルに十分に含まれていればオフセットは正のはずであるから、負のオフセットとなるランドマークペアは除外される。同様に、ファイルの終端を超えるオフセットも除外される。ヒストグラムのベストなオフセット・ビンにおけるポイント数が各予選sound_IDに対し示される。この数は各サウンド記録のスコアとなる。最高スコアの候補リストにおけるサウンド記録がベストとして選ばれる。識別の成功を通知すべくベストなsound_IDが下記のようにユーザにレポートされる。識別の失敗を防ぐために、最小しきい値スコアを用いて識別処理の成功をゲート制御するようにしてもよい。ライブラリ・サウンドがしきい値を超えるスコアでなければ、認識はされず、その旨ユーザに通知される。
【００８１】
入力されたサウンド信号が複数のサウンドを含む場合、それぞれのサウンドを認識することができる。この場合、位置合わせ検査において複数の当たり（winner）が特定される。サウンド信号が複数の当たりを含んでいることを知っている必要はない。位置合わせ検査で、残りのスコアよりもかなり高いスコアのsound_IDが２つ以上特定されるであろうからである。よく使われるフィンガープリント分析方法は良好な線形な重ね合わせを示し、そのため個々のフィンガープリントが抽出される。たとえば、スペクトログラム・フィンガープリント分析方法は線形な重ね合わせを示す。
【００８２】
サウンドサンプルが時間伸縮を受けると、傾き（slope）は等しく１とはならない。時間伸縮を受けたサンプルの傾きを１と仮定する（フィンガープリントが時間伸縮に対し不変であると仮定する）と、計算されるオフセット（offset）値は均一でなくなる。これに対処してほどほどの時間伸縮に適応する一方法は、オフセット・ビンのサイズを増加させること、すなわち、オフセットが均一になる範囲を考慮することである。一般に、各点が直線上に位置しなければ、計算されるオフセット値が大きく異なり、オフセット・ビンのサイズがわずかに増加しても、フェールス・ポジティブを大量に生じることはない。
【００８３】
直線をみつける手法は他にもある。たとえば、マシン・ビジョンやグラフィックの研究の分野で周知な、T. Risse, "Hough Transform for Line Recognition," （Computer Vision and Image Processing, 46, 327-345, 1989）に記述されているRadon変換またはHough変換を用いてもよい。Hough変換では、散布図の各点は（slope, offset）空間における直線に射影する。したがって、散布図の点の集合がHough変換における２空間の直線上に投影される。Hough変換におけるピークはパラメータ直線の交点に対応する。このような所定の散布図の変換のグローバルピークは、Hough変換における交差する直線の最大数、つまり共直線性の点の最大数、を示している。５％のスピードの変動を許容すべく、たとえば、Hough変換の構成を傾きパラメータが0.95から1.05の間で変動する領域に制限して、それにより演算量を節約するようにしてもよい。
【００８４】
（階層検索）
非常に小さな散布リストで候補をふるい落とすしきい値処理ステップに加えて、さらに効果的な改良策を施すこともできる。改良策の１つは、発生確率に応じてデータベース・インデックスを少なくとも２つの区分にセグメント化しておき、サンプルのマッチングをとる確率の高いほうのサウンドファイルのみをまず検索するというものである。分割は処理のさまざまな段階で行うことができる。たとえば、いずれか１のセグメントでｓｔｅｐ１６またはｓｔｅｐ２０が実行されるときに、マスター・インデックス・リスト（図８Ｃ）を２以上の区分にセグメント化することが可能である。すなわち、データベース・インデックスの一部分だけからマッチング・フィンガープリントに対応するファイルが検索され、その一部分から散布リストが生成される。ベストなサウンドファイルが特定されなければ、別のデータベース・インデックスについて処理が繰り返される。別の実現例では、データベース・インデックスからすべてのファイルが検索されるが、斜線検査は異なるセグメントで別々に行われる。
【００８５】
この手法を用いて、演算量が集中している斜線検査は、まず、データベース・インデックスにおけるサウンドファイルの小さなサブセットで行われる。斜線検査は検査されるサウンドファイルの数に対してほぼリニアな時間成分を有しているので、階層検索を行うことは大変有効である。たとえば、サウンド・データベース・インデックスが1,000,000のサウンドファイルを表すフィンガープリントを含んでいるが、高い頻度で検索照会されるサンプルにマッチするのは1000ファイル程度しかない場合、たとえば、検索照会の95％が1000ファイルに対するもので、検索照会の５％だけが残りの999,000のファイルに対するものである場合、を想定する。演算コストがファイル数の一次従属であると仮定すると、その演算コストは、1000ファイルの95％時間に比例し、999,000ファイルの５％時間に比例する。そうすると、平均演算コストはおよそ50,900に比例する。したがって、階層検索は演算負荷を1/20近くに抑えることができる。もちろん、データベース・インデックスは、２レベル以上の階層（たとえば、ニュー・リリースの曲のグループ、最近リリースされた曲のグループ、古くて流行らない曲のグループ）にセグメント化することができる。
【００８６】
上述したように、検索は、サウンドファイルの高確率のファイルの集合である第１のサブセットについてまず行われ、この第１の検索が失敗したときにのみ、残りのファイルを含む第２のサブセットについて行われる。各オフセット・ビンにおけるポイント数が予め定められたしきい値に届かないときは、斜線検査の失敗となる。かわりに、２つの検索を並列的（同時）に実行させてもよい。第１のサブセットの検索で正しいサウンドファイルが特定されると、第２のサブセットの検索を終了させるための信号が送られる。第１のサブセットの検索で正しいサウンドファイルが特定されなければ、ベストなファイルが特定されるまで第２のサブセットの検索が継続される。これら２つの異なる実現例は演算量と時間のトレードオフの関係にある。第１の実現例は演算量が軽いが第１の検索が失敗に終わると若干の遅延を招く。これに対して、第２の実現例は、ベストなファイルが第１のサブセットにある場合には演算量が多いが、そうでなければ遅延は最小化される。
【００８７】
リストのセグメント化の目的は、サウンドファイルが検索照会のターゲットである確率を見積もって、検索を、照会サンプルにもっともマッチしそうなファイルに限定することにある。データベースのサウンドに確率を割当ててソーティングする方法はいくつも考えられるが、それらはすべて本発明の範疇のものである。確率は、ベストなサウンドファイルとして識別される時期の新しさ（recency）や頻度（frequency）に基づいて割り当てられるのが好ましい。時期の新しさは、とりわけポピュラーソングに対しては有用な測定値である。新曲がリリースされるので、音楽の関心が時間の流れにつれて非常に急速に変化するからである。確率スコアが計算されると、ファイルにランキングが割り当てられ、そのランキングでそのリスト自身をソートする。ソートされたリストは検索のために２以上のサブセットにセグメント化される。小さなサブセットは所定数のファイルを含む。たとえば、ランキングがたとえば上位1000ファイルにおけるファイルを特定すると、そのファイルは速い検索のための小さなサブセットに置かれる。かわりに、２つのサブセットに対するカットオフポイントを動的に調整するようにしてもよい。たとえば、所定のしきい値を超えるスコアのファイルすべてを第１のサブセットに置いて、それにより各サブセット内のファイル数が頻繁に変わるようにしてもよい。
【００８８】
確率を計算する特別な一方法は、照会サンプルがマッチしたと識別された各時刻でサウンドファイルのスコアを１ずつ増加させることである。時期の新しさを考慮するために、新しい照会が古い照会よりもランキングで強い結果となるように、スコアのすべてが周期的に下方修正される。たとえば、照会があるごとにすべてのスコアを一定倍率でもって段階的に減らすようにすることができる。その結果、スコアは更新されなければ指数関数的に減少していく。データベースにおけるファイル数（難なく100万くらいになりうる）に依存して、この方法は照会がある度に大量のスコアの更新を要することになり、場合によっては望ましくない状況となる。代案として、相対的に少ない頻度の間隔（たとえば１日に１回）でスコアを下方修正するようにしてもよい。少ない頻度での修正による結果は、照会の度に修正する場合の結果とだいたい似たようなものであるが、まったく同じではない。しかし、ランキングを更新するための計算負荷は非常に小さくなる。
【００８９】
この時期の新しさによる調整の変形例としては、指数関数的に増加するスコア更新at（ただし、tは最後の一括更新からの経過時間）を照会の都度ベストなサウンドファイルに付加することが考えられる。一括更新の都度、aT（ただし、Tは最後の一括更新からの総合経過時間）で割り算することで全スコアが下方修正される。この変形例において、aは近時率（recency factor）で、１より大の値である。
【００９０】
上述したランキング処理に加えて、リスティングの強弱をつけるのに役立つように事前の知識を導入することもできる。たとえば、ニューリリースは古い曲よりも問い合わせが多く来るであろう。そこで、ニューリリースは、照会サンプルにマッチする確率の高い曲を集めた第１のサブセットに自動的に置くようにしてもよい。これは上記した自己ランキングアルゴリズムとは独立に行われうる。自己ランキングの特徴をも用いると、ニューリリースは第１のサブセット内のいずれかの位置する初期ランキングに割り当てられる。ニューリリースは、リストの最上位、高い確率の曲のリストの末尾、もしくはリスト中の中間のどこか、にシードされうる。検索の目的のため、ランキングは時間経過につれて収束して関心の真のレベルを反映するようになるので、初期位置は問題にならない。
【００９１】
代替の実施例においては、時期の新しさのランキングの順序で検索を行い、sound_IDスコアが所定のしきい値を超えた時点で終了する。これは、各セグメントがsound_IDを１つだけを含む上記の方法と等価である。
【００９２】
ベストなサウンドのスコアは他のすべてのサウンドファイルのスコアよりもかなり高いことが実験で分かり、そのため、わずかな実験で好適なしきい値を選択することができる。この実施例を実現する一方法は、データベース・インデックスのすべてのsound_IDを、時期の新しさに応じて、スコアが同一の場合に任意の決定で、ランクづけすることである。時期の新しさの各ランキングはユニークであるから、時期の新しさのスコアとsound_IDとの間は１対１でマッピングされる。そして、候補sound_IDのリストとそれに付随する散布リスト（図９Ｃ）を作成するためにsound_IDをソーティングするときに、ランキングがsound_IDのかわりに用いられる。３つ組（fingerprint, landmark, sound_ID）のインデックス・リストが生成され、そのインデックス・リストがマスター・インデックス・リストにソートされる前に、ランキング番号をインデックスと結合してもよい。そして、sound_IDについてランキングが実行される。かわりに、検索および更新機能を用いてランキング付きsound_IDを更新することもできる。ランキングが更新されると、新たなランキングが古いランキングのところに割り当てられ、マッピングの整合性が維持される。
【００９３】
代替案として、ランキングを後の処理において結合するようにしてもよい。いったん散布リストが生成されると、ランキングを各sound_IDに対応付けることができる。そして、そのセットがランキングによってソートされる。この実現例においては、散布リストへのポインタだけを修正する必要がある。散布リストへのグルーピングを繰り返す必要はない。後の処理において結合することの利点は、ランキングが更新される度にデータベース・インデックス全部を再生成する必要がない点である。
【００９４】
流行によるランキングはそれ自身、経済的価値の対象となりうることにも注目すべきである。すなわち、ランキングは、知らないサウンドサンプルを確認しようとする消費者の好みを反映するものである。多くの場合、曲の記録物の購入への欲求によって照会が指示される。実際に、ユーザについての人口情報が分かっていれば、要求された人口グループの各々に対して別のランキング手法を実現することもできる。ユーザの人口グループは、そのユーザが認識サービスに登録したときに受けたプロフィール情報から得ることができる。標準協調フィルタリング技術により動的に判断することも可能である。
【００９５】
リアルタイムシステムでは、サウンドが認識システムに時間経過につれて追加的に供給され、パイプライン認識が可能である。この場合、セグメント内で入力データを処理してサンプルのインデックスセットを追加的に更新することが可能である。各更新周期の後、上述の検索および検査ステップによりサウンド記録の候補リストを検索するために、新たな拡張インデックスセットが用いられる。新たに得られたサンプル・フィンガープリントにマッチするフィンガープリントに対しデータベース・インデックスが検索され、新しい３つ組（landmarkk, landmark*j, sound_IDj）が生成される。新たなペアが散布リストに付加されて、ヒストグラムが追加される。このアプローチの利点は、サウンド記録を正確に識別するのに十分なデータが収集されると、たとえば、あるサウンドファイルのオフセット・ビンにおけるポイント数が高いしきい値を超える場合、もしくは２番目に高いサウンドファイルのスコアを超える場合には、データ収集を中断してその結果を通知することができることである。
【００９６】
いったん正しいサウンドが識別されると、適当な方法でその結果がユーザもしくはシステムに通知される。 その結果はたとえば、コンピュータ印刷、電子メール、ｗｅｂ検索結果ページ、移動電話へのＳＭＳ（short messaging service）テキストメッセージ、コンピュータ生成された電話による音声メッセージ、ユーザが後でアクセスできるｗｅｂサイトもしくはインターネット・アカウントへの結果のポスティングなどによって通知されうる。通知された結果には、曲の名称やアーティスト、クラシック曲の作曲者やレコーディング属性（たとえば演奏者、指揮者、会場）、広告の会社やプロダクト、その他各種の好適な識別子などの、サウンドの識別情報を含めてもよい。くわえて、経歴情報、周辺のコンサート情報、その他ファンが関心のある情報を提供してもよいし、そのような情報へのハイパーリンクを提供してもよい。通知される結果には、サウンドファイルの絶対スコアもしくは次にスコアの高かったサウンドファイルとの比較におけるスコアを含めてもよい。
【００９７】
認識方法の有用な成果の一つは、同じサウンドの異なる２つの演奏を混同しない点である。たとえば、クラシックの同じ曲でも演奏が異なれば、たとえ人が両者の違いを検知できなくても、それらを同一とみなさない。ランドマーク／フィンガープリントのペアとそれらの時間進行が２つの演奏ではマッチする可能性が非常に低いからである。本実施例では、リニアな対応関係が特定されるためには、ランドマーク／フィンガープリントのペアが互いに約10msの中になければならない。この結果、本発明の自動認識によって、あらゆるケースにおいて、適切な演奏／サウンドトラックやアーティスト／ラベルが得られる。
【００９８】
（実現例）
以下、本発明の好適な実現例である連続スライディング・ウィンドウ・オーディオ認識について説明する。マイクロホンまたはその他の音源が連続的にバッファにサンプリングされ、過去Ｎ秒のサウンドの記録が得られる。 サウンド・コンテンツのＩＤを突き止めるべく、サウンド・バッファの内容が周期的に分析される。サウンド・バッファは固定サイズとしてもよいし、サウンドがサンプリングされるときのサイズに応じて増大するようにしてもよい。後者は、オーディオ・サンプルの順次増大セグメントとよばれる。サウンド記録が識別されたことを示すための通知がなされる。たとえば、ログファイルが収集され、もしくは、タイトル、アーティスト、アルバムカバーアート、歌詞といった 曲の情報や購入情報を示す装置にディスプレイ表示される。重複を避けるため、認識されるサウンドのＩＤが変わったとき、たとえば、ジュークボックスのプログラムが変わったとき、にだけ通知がなされる。かかる装置は、あらゆるサウンド・ストリーム（ラジオ、インターネット・ストリーミング・ラジオ、隠しマイク、電話呼び出しなど）から再生された音楽のリストを生成するのに使用されうる。曲ＩＤに加え、認識時刻のような情報のログをとることができる。特定情報が（例えばＧＰＳから）取得可能であれば、これらの情報のログをとることができる。
【００９９】
識別を達成するため、各バッファを初めから識別してもよい。かわりに、サウンドパラメータをたとえばフィンガープリントまたは他の中間特徴量抽出形式に抽出し、第２バッファに記憶してもよい。 第２バッファの前に、新たなフィンガープリントを、バッファの最後から廃棄される古いフィンガープリントとともに加算してもよい。このようなローリング・バッファ法の利点は、サウンドサンプルのオーバーラップしているセグメントで同じ分析を重複して行う必要がなく、そのため演算量を節約できることである。ローリング・フィンガープリント・バッファの内容に対し識別プロセスが周期的に実行される。小型の携帯型装置の場合、フィンガープリント・ストリームはデータ量が非常に大きいので、フィンガープリント分析をその装置で行い、その結果を、比較的低い帯域のデータチャネルを用いて認識サーバに送信するようにしてもよい。ローリング・フィンガープリント・バッファは、これを携帯型装置に置き、各回ごとに認識サーバに送信してもよいし、認識サーバにローリング・フィンガープリント・バッファを備え、サーバで認識セッションが連続的に行われるようにしてもよい。
【０１００】
このようなローリング・バッファ認識システムでは、認識するのに十分な情報が得られしだい新たなサウンド記録が認識されうる。十分な情報はバッファ長より少なくてもよい。たとえば、特徴的な曲は１秒間の演奏で一義的に認識されうるし、バッファが１５〜３０秒の長さを有しているとしても、システムは１秒で周期的に認識し、曲が直ちに認識されうる。逆に、特徴的でない曲が認識にさらに数秒間のサンプルを必要とする場合には、システムは曲のＩＤを宣言する前に長時間待たなければならない。このスライディング・ウィンドウ認識法においては、サウンドが識別されうるようになりしだい認識される。
【０１０１】
次の点に注意することが重要である。本発明は全機能を備えたシステムおよび方法を前提に説明されたが、本発明の構成はさまざまな形式による命令を格納したコンピュータ読み取り可能な媒体のかたちで流通させることが可能であり、また、本発明はその流通に実際に用いるメディアに記録する信号の形式にかかわらず適用されることは当業者には理解されよう。このようなコンピュータによってアクセス可能なデバイスは、コンピュータメモリ（ＲＡＭ，ＲＯＭ）、フロッピディスク、ＣＤ−ＲＯＭをはじめ、ディジタルまたはアナログの通信リンクのような伝送系メディアを含む。
【０１０２】
上述した実施の形態は、本発明の技術的範囲から逸脱することなく多くの方法で変更可能であることは明らかであろう。よって、本発明の技術的範囲は請求の範囲およびその均等の範囲によって画定される。
【図面の簡単な説明】
【図１】 音響サンプルを認識する本発明の方法を示すフローチャートである。
【図２】 図１の方法を実現する分散型コンピュータシステムの一例を示すブロック図である。
【図３】 音響ファイルのデータベース・インデックスを構築する方法を示すフローチャートである。
【図４】 音響サンプルに対して計算されるランドマークおよびフィンガープリントを模式的に示す図である。
【図５】 ランドマークの選択を示す、音響サンプルのＬ４ノルムのグラフである。
【図６】 図１の方法で用いられる音響ファイルのデータベース・インデックスを構築する別の実施態様を示すフローチャートである。
【図７Ａ】、
【図７Ｂ】、
【図７Ｃ】 凸角点および連結した凸角点を示すスペクトログラムである。
【図８Ａ】、
【図８Ｂ】、
【図８Ｃ】 図３の方法におけるインデックス・セット、インデックス・リスト、マスター・インデックス・リストを示す図である。
【図９Ａ】、
【図９Ｂ】、
【図９Ｃ】 図１の方法におけるインデックス・リスト、候補リスト、散布リストを示す図である。
【図１０Ａ】、
【図１０Ｂ】 未知音響サンプルに対する識別の成功および識別の失敗をそれぞれ示す散布図である。
（発明の分野）
本発明は、コンテンツに基づく情報検索に関し、具体的には、大きく歪んでいたり高いレベルのノイズが混入したサウンドもしくは楽音を含む音響信号の認識に関する。
【０００２】
（背景技術）
さまざまな音源から生成された音楽もしくはその他のオーディオ信号の自動認識のニーズが高まっている。例えば、著作物のある作品の所有者や広告主は、彼らの作品の放送頻度のデータを得ることに興味がある。音楽追跡サービスは大きな市場の主要ラジオ局のプレイリストを提供する。消費者は、新曲や興味のある曲あるいはその他の製品やサービスを購入できるように、ラジオでオンエアされる曲や宣伝を特定することを希望している。連続的な音響認識あるいはオンデマンド型の音響認識のいずれのタイプのものでも、人手によって行われる場合には非効率であり大きな労働力を要する。よって、音楽・音響の自動認識は、消費者、アーティスト、およびさまざまな業界に非常に大きなメリットをもたらすであろう。音楽販売の形態が店舗購入からインターネットを介したダウンロードに移行すれば、インターネット購入またはその他のインターネット型サービスによりコンピュータで実行される音楽認識に直接リンクすることがまさに現実のものとなる。
従来、ラジオでオンエアされた曲の認識は、ラジオ局もしくはサードパーティの情報源のいずれかから提供されたプレイリストで、曲が演奏されたラジオ局と時刻を照合していた。この方法は本質的に、情報を受け取ることのできるラジオ局だけに限られる。その他、放送信号への耳に聞き取れないコードの埋め込みに頼る方法もある。埋め込まれた信号は受信機でデコードされて放送信号についての識別情報が抽出される。この方法の欠点は、信号を識別するための専用のデコード装置が必要になることと、コードが埋め込まれた曲しか識別できないことである。
【０００３】
大規模オーディオ認識は、識別されていない放送信号を既知の信号のデータベースと比較して同一もしくは近似のデータベース信号を識別する、ある種のコンテンツベースのオーディオ検索を必要とする。コンテンツベースのオーディオ検索は、オーディオファイルを囲みもしくは付属するメタデータテキストだけが検索される、既存のウェブサーチエンジンによるオーディオ検索とは違うことに注意されたい。音声認識は、音声信号を、 周知の手法でインデックスを付与し検索可能なテキストに変換するのに有用であり、音楽・音響を含んだオーディオ信号の多くは適用することができないことにも注意されたい。
【０００４】
ある意味では、オーディオ情報検索は、サーチエンジンにより提供されるテキストベースの情報検索と類似している。しかし、オーディオ信号は検索やインデクシングのための識別子を提供する単語のような識別容易な存在に欠ける点で、オーディオ認識は類似しない。このことから、現在のオーディオ検索手法は、信号の諸種の品質や特性を示す知覚可能な特徴量を計算することでオーディオ信号をインデクシングする。
【０００５】
コンテンツベースのオーディオ検索は一般に、クエリー信号を分析して多数の代表特徴量を得て、その得られた特徴量を類似度測定に与えて、そのクエリー信号に最も類似するデータベースファイルを位置させることで行われる。受信したオブジェクトの類似度は選択された知覚特徴量の反映に必要である。多くのコンテンツベースの検索方法が従来より提案されている。例えば、Kenyonによる米国特許第5,210,820号は、各サンプリングポイントで信号値を得るように受信信号が処理されサンプリングされる信号認識方法を開示している。そして、 ストアされた信号の識別子と比較可能な特徴ベクトルを生成して類似信号を得るために、サンプル値の統計モーメントが計算される。Kenyon等による米国特許4,450,531号および4,843,562号は、識別されていない信号とストアされたリファレンス信号との相互相関を計算する同様の放送情報の分類方法を開示している。
【０００６】
音響類似度によるオーディオ・ドキュメントを検索するシステムが、J. T. Footeによる "Content-Based Retrieval of Music and Audio," （C. -C. J. Kuo et al., editor, Multimedia Storage and Archiving Systems II, Proc. of SPIE, volume 3229, pages 138-147, 1997）に開示されている。各オーディオファイルをメル尺度ケプストラム係数にパラメータ化することで特徴ベクトルが計算され、パラメータ化データから量子化木が成長する。クエリーを実行するために、未知の信号がパラメータ化されて上記量子化木のリーフノードにソーティングされる特徴ベクトルを得るべくパラメータ化される。各リーフノードごとにヒストグラムが得られ、その結果、未知の信号を表すＮ次元ベクトルが生成される。これら２つのベクトル間の距離は、２つのサウンドファイル間の類似度を示す。この方法において、 管理下の量子化スキームは、人手によってトレーニングデータが割り当てられるクラスに基づき、 重要でない変動を無視しつつ音響特徴量の分類を学習する。この分類システムに依存して、異なる音響特徴量が重要なものとして選択される。したがって、この方法は、音楽の認識よりも、曲同士の類似度の計算や音楽のクラス分類に好適である。
【０００７】
オーディオ情報のコンテンツベースの分析、ストレージ、検索、セグメンテーションの方法が、Blum等による米国特許第5,918,223号に開示されている。この方法では、ラウドネス、バス、ピッチ、ブライトネス、帯域幅、メル周波数ケプストラム係数などの各ファイルの多数の音響特徴量が周期的に測定される。これらの特徴量の統計的測定値が得られると、結合されて特徴ベクトルが形成される。データベース中のオーディオデータファイルは、それらの特徴ベクトルと未確認ファイルの特徴ベクトルとの類似度に基づいて検索される。
【０００８】
上記した従来のオーディオ認識方法すべてにいえる重大な問題は、 認識しようとする信号が、背景雑音、伝送誤りおよび欠損、干渉、帯域制限フィルタリング、量子化、タイムワーピング、音声品質ディジタル圧縮などによって生じる線形または非線形の歪みを受けた場合には、失敗する傾向にあることである。従来の方法においては、歪みを受けた音響サンプルが音響特徴量を得るべく処理されると、オリジナル記録について抽出される特徴量はわずかな部分にすぎない。したがって、得られる特徴ベクトルはオリジナル記録の特徴ベクトルとは大して類似しておらず、認識が正確に行なわれる見込みなし、ということになる。よって、高レベルの雑音および歪みが加わる状況下でも良好に動作する音響認識システムに対するニーズは依然としてある。
【０００９】
従来の方法における別の問題は、演算量が大きく、うまくそれを縮小できないことである。したがって、大規模データベースによる従来の方法ではリアルタイム認識は不可能である。このようなシステムにおいては、数百、数千を超える録音のデータベースを持たせることは現実的ではない。従来の方法における検索時間はデータベースのサイズに対し直線的に延びる傾向にあり、数千の録音を数百万に拡大させるのは経済的に実行不可能である。Kenyonの方法も大規模な専用ディジタル信号処理ハードウェアが必要である。
【００１０】
現在の商用化されている方法はたいてい、認識ができるように、入力サンプルに厳格な必要条件を求める。例えば、曲全体や、少なくとも曲の３０秒間がサンプルされていることが求められたり、曲の始まりからサンプルされていることが求められたりする。また、１つのストリームに複数の曲が混在しているものを認識することも困難である。これらの欠点はすべて、従来の方法の実用化を阻んでいる。
【００１１】
（発明の目的と効果）
したがって、本発明の主な目的は、高レベルの雑音や歪みを受けたオーディオ信号を認識する方法を提供することである。
【００１２】
本発明の別の目的は、信号が識別されるまでに数秒で済むようなリアルタイムで実行可能な認識方法を提供することである。
【００１３】
本発明の別の目的は、音響の始まりからではなく任意の位置のサンプルに基づいて音響を認識することができる認識方法を提供することである。
【００１４】
本発明はさらに、音響サンプルを符号化したり特定のラジオ局やプレイリストに関連づけることを必要としない認識方法を提供することを目的とする。
【００１５】
さらに、本発明は、１つのストリームに複数のサウンド記録が混在したものの各々を認識することのできる認識方法を提供することを目的とする。
【００１６】
さらに、本発明は、ほとんどすべての公知の方法によるあらゆる環境から未知音響がシステムに提供されうる音響認識システムを提供することも目的とする。
【００１７】
（概要）
これらの目的は、オーディオ・サンプルなどのメディア・サンプルを、大量の既知のメディア・ファイルのデータベース・インデックスから認識する方法によって達成される。データベース・インデックスは、インデックスされたメディア・ファイルの特定の位置での特徴を表す。データベース内のメディア・ファイルのフィンガープリントの相対的な位置と、未知のメディア・サンプルのフィンガープリントの相対的な位置とが最も忠実にマッチする場合に、そのメディア・サンプルはそのメディア・ファイル（ベストなメディア・ファイル）と認識される。オーディオ・ファイルの場合、ベストなファイルのフィンガープリントの時間進行が、サンプルのフィンガープリントの時間進行とマッチする。
【００１８】
この方法は、好ましくは分散コンピュータシステムによって実現され、以下のステップを有する。すなわち、サンプルにおける特定の位置のサンプル・フィンガープリントのセットを計算するステップと、
【００１９】
前記メディア・ファイルにおける少なくとも１のファイル位置を特徴づけるファイル・フィンガープリントのセットを取得する取得ステップと、データベース・インデックスからマッチするフィンガープリントを特定するステップと、サンプルの前記特定の位置とファイルの前記ファイル位置との間で、対応する位置が同等のフィンガープリントを有する対応関係を生成するステップと、前記対応関係の多くがリニアな関係にあるときに、前記メディア・ファイルを識別するステップとを有する。前記対応関係の多くがリニアな関係にあると、それがベストなメディア・ファイルとみなす。多くの対応関係からファイルを識別する一方法は、対応関係のペアから生成される散布図における斜線を確認することである。一実施形態においては、リニアな対応関係検査からのメディア・ファイルの識別は、メディア・ファイルの第１のサブセットだけから実行する。第１のサブセットにおけるファイルは、その第１のサブセットに含まれないファイルに比べ識別される確率が高い。識別の確率は、事前の識別頻度を反映させるだけでなく、過去の識別における経験的な頻度または時期の新しさに基づくものであることが好ましい。メディア・ファイルが第１のサブセットから識別されなかったときには、残りのファイルを収めた第２のサブセットが検索される。かわりに、ファイルは確率によってランクづけされて、そのランク順に検索されるようにしてもよい。ファイルが特定されると検索は終了する。
【００２０】
好ましくは、サンプルの特定の位置は、そのサンプルに依存して再現可能に計算される。このような再現可能に計算される位置は「ランドマーク」とよばれる。フィンガープリントは数値であることが好ましい。一実施形態においては、各フィンガープリントは、各位置またはその位置から少しオフセットした位置でのメディア・サンプルの多くの特徴を表す。
【００２１】
本方法はとりわけ、オーディオ・サンプルの認識に有用であり、この場合、特定の位置はオーディオ・サンプルの時点となる。これらの時点は、たとえば、オーディオ・サンプルのスペクトルＬｐノルムが極大となる点である。フィンガープリントは各種オーディオ・サンプルの分析によって計算することができ、好ましくは、フィンガープリントはそのサンプルの時間伸縮に対し不変である。フィンガープリントの例は、スペクトル・スライス・フィンガープリント、マルチスライス・フィンガープリント、ＬＰＣ係数、ケプストラム係数、スペクトルピークの周波数成分を含む。
【００２２】
本発明はまた、特定の位置を計算するランドマーク分析オブジェクト、フィンガープリントを計算するフィンガープリント分析オブジェクト、メディア・ファイルのファイル位置およびフィンガープリントを含むデータベース・インデックス、および解析オブジェクトを含み、上記方法を実現するシステムを提供する。解析オブジェクトは、データベース・インデックスにおけるマッチング・フィンガープリントを特定し、対応関係を生成し、その対応関係を分析してベストなメディア・ファイルを選択する。
【００２３】
また、上記方法の各ステップを実行するためのコンピュータによって実行可能な命令のプログラムを有形的に具現化する、当該コンピュータによりアクセス可能なプログラム記憶デバイスも提供される。
【００２４】
くわえて、本発明は、データベース内の大量のオーディオ・ファイルのインデックスを生成するために、以下のステップを含む方法も提供する。すなわち、各ファイルの特定の位置でのフィンガープリントのセットを計算するステップと、ファイルのフィンガープリントと位置とＩＤをメモリに格納するステップとを有する。対応するフィンガープリント、位置、ＩＤは、３つ組の形式で関連付けられる。好ましくは、オーディオ・ファイルの時点であるその位置は、そのファイルに基づき計算され、再現可能である。たとえば、その時点では、そのオーディオ・ファイルのスペクトルＬｐノルムが極大となる。あるケースにおいては、各フィンガープリントは、好ましくは数値であり、特定の位置付近のファイルの多数の特徴を表す。フィンガープリントは、オーディオ・ファイルのあらゆる分析やディジタル信号処理から計算できる。フィンガープリントの例は、スペクトル・スライス・フィンガープリント、マルチスライス・フィンガープリント、ＬＰＣ係数、ケプストラム係数、スペクトルピークの周波数成分、連結されたスペクトルピークを含む。
【００２５】
また、本発明は、時間伸縮に対し不変のフィンガープリントおよび、さまざまな階層検索を組み込んだ、オーディオ・サンプルを識別する方法を提供する。
【００２６】
（詳細な説明）
本発明は、大量の既知メディア・ファイルを含むデータベースに与えられる外来のメディア・サンプルを認識する方法を提供する。また、本発明の認識方法を用いた効率的な検索を可能にするデータベース・インデックスを生成する方法も提供する。以下の説明は主にオーディオデータに言及するものであるが、本発明の方法は、テキスト、オーディオ、ビデオ、画像、別個のメディアタイプを組み合わせた種々のマルチメディアなどを含む、あるゆるタイプのメディア・サンプル、メディア・ファイルにも適用可能であることが理解されよう。オーディオの場合、本発明は、例えば、背景雑音、伝送誤りおよび欠落、干渉、帯域制限フィルタリング、量子化、タイムワーピング、音声品質ディジタル圧縮などによって生じた高レベルの線形歪みもしくは非線形歪みを含んだサンプルの認識に特に有用である。以下の説明から明らかなように、本発明は、たとえ計算される特徴量のわずかな部分だけしか歪みに耐えられなかったとしても、歪みを受けた信号を正確に認識できるため、かかる状況の下で動作する。音響（sound）、音声（voice）、音楽（music）、またはそれらの組み合わせ、を含むあらゆるタイプのオーディオ（audio）が、本発明によって認識されうる。オーディオサンプルの例は、記録された音楽、ラジオ放送プログラム、広告を含む。
【００２７】
外来のメディア・サンプルは、本明細書では、後述するような種々の音源から得られるあらゆるサイズのメディアデータのセグメントをいう。認識が行われるためには、サンプルは、本発明によって使用されるデータベースにおけるインデックス・メディア・ファイルの一部の再現（rendition）でなければならない。インデックス・メディア・ファイルはオリジナル記録であり、サンプルはそのオリジナル記録が歪みを受けおよび／もしくは短縮化された変形もしくは再現であると考えることができる。一般に、サンプルは、インデックス・ファイルの小部分のみに対応する。例えば、データベースにインデックスが付与された５分間の曲のうちの１０秒間で認識が行われうる。「ファイル」の用語はインデックスが付与される構成単位に用いられるが、その構成単位は、必要な値（後述）が得られるかぎり、いかなるフォーマットでもよい。さらに、その値が得られた後にファイルを記憶したりアクセスする必要もない。
【００２８】
図１は、本発明の方法１０の全体ステップを概念的に示す図である。以下、各ステップを詳しく説明する。この方法は、固有フィンガープリントの相対位置が外来サンプルの同様のフィンガープリントの相対位置に最も近似するメディア・ファイルを、ベストなメディア・ファイルとして識別するものである。ステップ１２で外来サンプルがキャプチャー（記録）された後、ステップ１４で、ランドマーク（landmark）およびフィンガープリント（fingerprint）が計算される。ランドマークは、サンプルにおける特定の位置（例えば時点）で生じる。ランドマークのサンプルにおける位置は、サンプル自身によって（すなわち、同じ品質に依存して）決定され、再現可能であることが好ましい。これは、同じ信号に処理を繰り返しても各時刻において同じランドマークが計算されるということである。各ランドマークに対して、そのランドマークまたはその付近でのサンプルの１または２以上の特性を特徴付けるフィンガープリントが得られる。ランドマークへの特性の近似度は、使用されるフィンガープリント法によって定義される。あるケースにおいて、ある特性が明らかにランドマークに一致し、前のランドマークおよび後続のランドマークには一致しない場合には、その特性はそのランドマークに近いと考えれる。別のケースでは、特性は近接する複数のランドマークに相当する。例えば、テキストのフィンガープリントは単語列、オーディオのフィンガープリントはスペクトル成分、画像のフィンガープリントは画素ＲＧＢ値、とすることができる。以下では、ステップ１４の２つの一般的な実施態様を説明する。１つは、ランドマークおよびフィンガープリントがシーケンシャルに計算されるもの、もう１つはランドマークおよびフィンガープリントが同時に計算されるものである。
【００２９】
ステップ１６では、サンプルのフィンガープリントが、マッチング・フィンガープリントのセットをデータベース・インデックス１８から検索するのに用いられる。ここで、マッチング・フィンガープリントはメディア・ファイルのセットのランドマークおよび識別子に関連付けられている。検索されたファイルの識別子およびランドマーク値のセットは、同じフィンガープリントが計算された位置におけるサンプルのランドマーク（ステップ１４で計算された）と検索されたファイルのランドマークとを含む対応ペアの生成（ステップ２０）に用いられる。得られた対応ペアは楽曲ＩＤでソートされ、各適用ファイルのサンプル・ランドマークとファイル・ランドマークとの対応関係のセットを生成する。各セットは、ファイル・ランドマークとサンプル・ランドマークとの位置合わせのために検査される。これは、ランドマーク同士にリニアな対応関係が確認され、そのセットはリニアな対応関係にあるペアの数に従いスコアリングされることになる。多数のサンプル位置とファイル位置との対応関係が許容誤差の範囲内でほぼ等しい一次方程式を記述できる場合に、リニアな対応関係が生じる。例えば、対応ペアのセットを記述する多くの方程式の勾配が＋−５％の範囲の変動で収まっている場合には、対応関係のすべてのセットはリニアな関係を有していると考えられる。もちろん、別の好適な許容誤差を選択してもよい。最高スコアの（すなわち、リニアな対応関係の数が最大の）セットのＩＤが、ステップ２２で、ベストなファイルＩＤとして特定され返される。
【００３０】
さらに後述するように、データベースのエントリ数の対数に比例する時間成分で認識が行われうる。大規模なデータベースであっても、基本的にはリアルタイムで認識が行われうる。すなわち、サンプルが得られてから小さな時間遅れで認識されうる。この方法は、５〜１０秒間、あるいはもっと短い１〜３秒間のセグメントに基づいて音響を識別できる。好適な実施形態においては、ステップ１４のランドマーク分析およびフィンガープリント分析は、ステップ１２でサンプルがキャプチャされるのと同時に実行される。データベース検索（ステップ１６）は、サンプル・フィンガープリントが利用可能となりしだい実行され、対応関係の結果が計算されリニアな対応関係を求めて周期的に検査される。しがたって、この方法の全ステップは、図１に示したとおりの順次実行ではなく、同時進行させることができる。この方法は、部分的にはテキスト検索エンジンに類似していることに留意されたい。ユーザは検索サンプルを提示し、音響データベースにインデックス付与されたファイルのうちマッチするものが返される。
【００３１】
本方法は、典型的にはコンピュータシステムで操作するソフトウェアとして実現され、個々のステップは独立したソフトウェアモジュールとして最も効率的に実現される。したがって、本発明を実現するシステムは、ランドマークおよびフィンガープリント分析オブジェクト、インデックス付けされたデータベース、データベース・インデックスを検索し、対応関係を計算し、ベストなファイルを識別するための解析オブジェクト、で構成されうる。ランドマーク分析およびフィンガープリント分析を順次行う場合には、ランドマーク分析オブジェクトとフィンガープリント分析オブジェクトとは別個のオブジェクトとしてもよい。上記個別のオブジェクトに対するコンピュータ命令コードは、１または２以上のコンピュータのメモリに格納され、１または２以上のコンピュータ・プロセッサにより実行される。一実施形態においては、コード・オブジェクトは、インテルベースのパーソナルコンピュータやその他のワークステーションなどの単一のコンピュータシステムにまとめて収容される。好適な実施形態においては、本方法は、ネットワークにより分散した中央処理装置（ＣＰＵ）によって実現され、演算負荷を分散させるために、別個のソフトウェア・オブジェクトはそれぞれ別個のプロセッサによって実行される。あるいは、それぞれ同様に構成された要素の同形ネットワークとすることを考慮して、各ＣＰＵがすべてのソフトウェア・オブジェクトのコピーを保持するようにしてもよい。この後者の構成においては、各ＣＰＵがデータベース・インデックスのサブセットを有し、自身のメディア・ファイルのサブセットの検索に応答することが可能である。
【００３２】
図２は、分散コンピュータシステム３０の好適な実施形態の一例を示す図である。ただし、本発明は特定のハードウェアシステムに限定されるものではない。システム３０は、マルチプロセッシング・バスアーキテクチャ３４もしくは、ベオウルフ・クラスタ演算プロトコル（the Beowulf cluster computing protocol）などのネットワーク・プロトコル、あるいはそれら２つの組み合わせによって接続されたＬｉｎｕｘベースのプロセッサ３２ａ〜３２ｆを含む。かかる構成において、フィンガープリント分析の高速な立ち上がりが確保されるよう、データベース・インデックスは、クラスタ内の少なくとも１のノード３２ａのランダム・アクセス・メモリ（ＲＡＭ）に記憶されることが好ましい。ランドマーキング・ノード３２ｃおよび３２ｆ、フィンガープリンティング・ノード３２ｂおよび３２ｅや、位置合わせ検査ノード３２ｄなど、その他のオブジェクトに対応する演算ノードは、データベース・インデックスを保持するノード３２ａほどに大容量のＲＡＭは必要ではない。各オブジェクトに割り当てられる演算ノードの数は、１つのオブジェクトがボトルネックとならなよう要求に従い増減することができる。したがって、演算ネットワークは高度に並列処理化することができ、くわえて、利用可能な演算リソース間に分配された複数の信号認識探索を同時進行で処理できる。これは、多数のユーザが認識を要求してきても短時間で結果を返すアプリケーションを可能にするということである。
【００３３】
別の実施形態においては、いくつかの機能オブジェクトがより強固に結合し、一方で他のオブジェクトとはそれほど強固には結合させないでおく。例えば、ランドマーク分析オブジェクトおよびフィンガープリント分析オブジェクトは残りのオブジェクトからは物理的に離れた位置に配置することができる。この一例は、ランドマーク分析オブジェクトおよびフィンガープリント分析オブジェクトと、信号キャプチャ処理との強固な連係が挙げられる。この配置構成において、ランドマーク分析オブジェクトおよびフィンガープリント分析オブジェクトは、例えば移動電話、無線アプリケーションプロトコル（ＷＡＰ）ブラウザ、個人情報端末（ＰＤＡ）、オーディオ検索エンジンのクライアント端末のようなその他のリモート端末などに埋め込まれる、追加的なハードウェアまたはソフトウェアとして組み込まれうる。コンテンツ表示サービスなどのインターネット・ベースのオーディオ検索サービスにおいて、ランドマーク分析オブジェクトおよびフィンガープリント分析オブジェクトは、マイクロソフト（登録商標）ダイナミック・リンク・ライブラリ（ＤＬＬ）のような、リンクされたソフトウェア命令セットまたはソフトウェア・プラグイン・モジュールとして、クライアントのブラウザ・アプリケーションに組み込まれうる。これらの実施形態において、信号キャプチャ、ランドマーキング、フィンガープリンティングのすべてを含めたオブジェクトは、サービスのクライアント端末を構成する。クライアント端末は、ランドマークおよびフィンガープリントのペアを含む特徴量が抽出されたキャプチャ信号サンプルのサマリを、認識を実行するサーバ端末に送信する。生のキャプチャ信号のかわりに、この特徴量が抽出されたサマリをサーバへ送信することは、データ量を大幅に、たいてい５００分の１またはそれ以下に、減らせる点で有利である。このような情報であれば、例えばサーバに送信されるオーディオストリームと一緒にもしくは一緒にではなく、狭い帯域幅の片側チャネルでリアルタイムに送信されうる。これは、各ユーザに狭小な帯域幅しか与えられていない公衆通信網上で本発明を実現することが可能になる。
【００３４】
以下、オーディオ・サンプルと、音響データベースにインデックスが付与されたオーディオ・ファイルを参照して、本方法を詳細に説明する。本方法は音響データベース・インデックスの構築と、サンプル認識の２つに大別される。
【００３５】
（データベース・インデックスの構築）
音響認識を行う前提として、探索可能な音響データベース・インデックスを構築する必要がある。本明細書において、データベースとは、インデックスが付与されたデータの集合体をいうが、商業ベースにのるデータベースに限られない。データベース・インデックスにおいて、つながりのあるデータの要素は互いに関連づけられ、個々の要素は関連するデータの検索に用いられうる。音響データベース・インデックスは、音声、音楽、広告、ソナー信号、またはその他の音響を含む、選択された集合もしくはライブラリにおける各ファイルまたは記録（recording）のインデックスセットを含む。また、各記録は固有の識別子sound_IDも有する。音響データベースそのものは各記録に対するオーディオファイルを記憶する必要はないが、sound_IDは、別の場所からオーディオファイルの検索に使用されうる。音響データベース・インデックスは、数百万、場合によっては何十億のファイルのインデックスを含むため、非常に大きなサイズであると予想される。新たな記録は徐々にデータベース・インデックスに追加されることが望ましい。
【００３６】
図３は、第１の実施形態により探索可能な音響データベース・インデックスを構築する好適な方法４０を示す図である。本実施形態においては、まずランドマークが計算され、その後、そのランドマーク位置もしくはその付近のフィンガープリントが計算される。データベース・インデックスを構築する他の方法が考えられるのは当業者には明らかであろう。とりわけ、以下に示すステップの多くは選択的なものであるが、より効率的に検索がなされるデータベース・インデックスを生成する役を果たす。大規模データベースからのリアルタイム音響認識のためには探索効率が重要であるが、小規模データベースであればたとえ最適にソートされていなくても比較的高速に探索されうる。
【００３７】
音響データベースにインデックスを付与するために、集合における各記録はランドマーク分析およびフィンガープリント分析され、各オーディオファイルのインデックスセットが生成される。図４は、ランドマーク（ＬＭ）およびフィンガープリント（ＦＰ）が計算されるサウンド記録のセグメントを模式的に示す図である。ランドマークは音響の特定の時点で生じ、ファイルの始まりからの時間単位オフセットの値を有しており、フィンガープリントは特定のランドマーク位置またはその付近の音響を特徴付ける。したがって、本実施形態においては、特定のファイルに対する各ランドマークは固有のものである一方、フィンガープリントは１つのファイルまたは複数のファイルで何回も同じものが生じうる。
【００３８】
ステップ４２において、サウンド記録における特徴的で再現性のある位置をみつける方法を用いて、各サウンド記録がランドマーク分析される。好適なランドマーク分析アルゴリズムは、雑音やその他の線形、非線形の歪みが存在していても、サウンド記録内の同じ時点をマークすることができる。いくつかのランドマーク分析方法は、後述するフィンガープリント工程とは概念的に独立のものであるが、その工程の性能を最適化すべく選択することができる。ランドマーク分析によって、サウンド記録における時点 {landmarkk} のリストが得られ、各時点で順次フィンガープリントが計算される。良好なランドマーク分析スキームによれば、サウンド記録の１秒間あたりにおよそ５〜１０個のマークがなされる。もちろん、ランドマークの密度はサウンド記録における活性度に依存する。
【００３９】
ランドマークの計算にはさまざまな手法をとることができるが、いずれも本発明の範疇のものである。本発明のランドマーク分析スキームを実現するのに用いられる特定の手法は公知のものであるのでその詳細な説明は省略する。パワーノルムとよばれる単純なランドマーク分析手法は、サウンド記録の各時点における瞬時パワーを計算し、極大点を選択するものである。これを行う一方法は、波形を直接、調整およびフィルタリングすることで包絡線を計算することである。別の方法は、信号のヒルベルト変換（直交変換）を計算し、ヒルベルト変換および原信号の２乗振幅を用いることである。
【００４０】
ランドマーク分析のパワーノルム法は音響信号における遷移をみつけるのに好適である。パワーノルムは、一般的なスペクトルＬｐノルムのまさに特殊なケース（ｐ＝２）である。一般スペクトルＬｐノルムは、例えばハニング窓の高速フーリエ変換（ＦＦＴ）による短時間スペクトルを計算することにより音響信号の各時点で計算される。好適な実施形態は、８０００Ｈｚのサンプリング・レート、１０２４サンプルのＦＦＴフレームサイズ、各時間スライスのための６４サンプルのシフト幅、を用いる。スペクトル成分の絶対値のｐ乗の和として各時間スライスのＬｐノルムが計算され、選択的に次にｐ乗根も計算される。前述したように、ランドマークは各時刻で得られる値の極大値として選択される。スペクトルＬｐノルム法の一例を、図５に示す。図５は、ある音響信号の時間関数としてのＬ４ノルムのグラフである。極大値における破線はランドマークが選択される位置を示している。
【００４１】
Ｐ＝∞であるとき、Ｌ∞ノルムは事実上最大ノルムとなる。つまり、ノルムの値はスペクトル面における最大のスペクトル成分の絶対値である。このノルムはロバストなランドマークと良好な認識性能が得られ、また、音色の楽曲（tonal music）にも好適なものとなる。
【００４２】
あるいは、単一の時間スライスではなく、固定もしくは可変のオフセットでの複数の時間スライスにわたってスペクトル成分の絶対値のｐ乗の和をとることで、「マルチスライス」スペクトル・ランドマークが計算されうる。この拡張された和の極大値を見つけることによって、後述するマルチスライス・フィンガープリントの配置を最適化することが可能になる。
【００４３】
ランドマークが計算されると、ステップ４４で、各ランドマーク時間位置でフィンガープリントが計算される。フィンガープリントは一般に、サウンド記録における各ランドマーク時間位置もしくはその付近における特徴量のセットを集約した値もしくは値のセットである。この好適な実施形態においては、各フィンガープリントは複数の特徴量のハッシュ関数である単一の数値である。フィンガープリントがとりうるタイプは、スペクトル・スライス・フィンガープリント、マルチスライス・フィンガープリント、ＬＰＣ係数、ケプストラム係数を含む。もちろん、信号またはランドマーク付近の信号の特性を特徴付ける、フィンガープリントのあるゆるタイプは、本発明の範疇のものである。フィンガープリントは、あらゆるタイプのディジタル信号処理または信号の周波数分析によって計算されうる。
【００４４】
スペクトルスライス・フィンガープリントを生成するために、各ランドマーク時間位置の近くで周波数分析が行われ、いくつかのスペクトルピークの頂点が抽出される。単純なフィンガープリント値は、最大のスペクトルピークの周波数値にすぎない。このような単純なピークを用いると、雑音が存在しても非常に良好な認識性能が得られる。しかし、単一の周波数スペクトルスライス・フィンガープリントは、これらが固有でないために、他のフィンガープリント分析スキームよりもフェールス・ポジティブ（false positives）生成する傾向にある。２または３の最大スペクトルピークの関数からなるフィンガープリントを使用することにより、フェールス・ポジティブの数を減らすことが可能である。しかし、これらは、２番目に大きなスペクトルピークが、存在する雑音に対し十分に識別可能なほどに大きくないと、雑音に非常に弱い場合がある。つまり、計算されたフィンガープリント値は、信頼性のある再現につき十分ロバストでない場合がある。にもかかわらず、このケースの性能も良好である。
【００４５】
多くの音響の時間進行を利用するために、時間オフセットのセットをランドマーク時点に加えることによってタイムスライスのセットが計算される。得られた各タイムスライスで、スペクトルスライス・フィンガープリントが計算される。その後、得られたフィンガープリント情報のセットが結合されて、１スライスまたはマルチスライスのフィンガープリントが形成される。各マルチスライス・フィンガープリントは、時間進行をたどっていくので、単一のスペクトル・フィンガープリントに比べ、さらに特有のものとなり、後述するデータベース・インデックス探索においてマッチングの失敗が減ることになる。実験によれば、固有度合いを増したため、２つの時間スライスのそれぞれにおける単一の最大スペクトルピークから計算されたマルチスライス・フィンガープリントによって、後続のデータベース・インデックス探索の演算が速くなった（約１００倍の速度）ものの、大きな雑音が存在する状況では認識率の低下がみられた。
【００４６】
また、マルチスライス・フィンガープリントを計算するのに、与えられた時間スライスからの固定オフセットを用いるのではなく、可変のオフセットを用いることもできる。選択されたスライスへの可変オフセットは、フィンガープリントに対する、次のランドマークへのオフセット、または、“アンカー”ランドマークからのあるオフセット範囲におけるランドマークへのオフセットである。この場合において、ランドマーク間の時間差もマルチ周波数情報と共にフィンガープリントにエンコードされる。フィンガープリントにより次元を加えることにより、さらに固有度合が強まり、マッチングに失敗する機会も減る。
【００４７】
スペクトル成分に加え、他のスペクトル特性を抽出しフィンガープリントとして使用してもよい。線形予測符号化（ＬＰＣ）分析は、信号の予測可能な線形な特性、例えば、スペクトル形状の他にスペクトルピーク、を抽出するものである。ＬＰＣはディジタル信号処理の分野では周知である。本発明に対し、ランドマーク位置で固定された波形スライスのＬＰＣ係数が、量子化されたＬＰＣ係数をインデックス値にハッシングすることによって、フィンガープリントとして用いられうる。
【００４８】
周期性を測定するものとしてはケプストラム係数が有用であり、音声や多くの楽器のような調波構造の信号を特徴付けるのに使用することができる。ケプストラム分析はディジタル信号処理の分野で周知のものである。本発明に対しては、多数のケプストラム係数がインデックスにハッシングされてフィンガープリントとして使用される。
【００４９】
図６は、ランドマークおよびフィンガープリントが同時に計算される別の実施形態５０を示す図である。図３のステップ４２および４４がステップ５２、５４、５６で置き換えられている。後述するように、ステップ５２で、サウンド記録から多次元関数が計算され、その関数からランドマーク（５４）およびフィンガープリント（５６）が抽出される。
【００５０】
図６の実施形態において、ランドマークおよびフィンガープリントは、音声記録のスペクトログラムから計算される。スペクトログラムは音声記録の時間−周波数分析で、一般には高速フーリエ変換（ＦＦＴ）を用いて、音響サンプルの窓かけおよびオーバラップしたフレームがスペクトル分析されたものである。先述したように、好適な実施形態は、８０００Ｈｚのサンプリング・レート、１０２４サンプルのＦＦＴフレームサイズ、各時間スライスのための６４サンプルのシフト幅、を用いる。スペクトログラムの一例を、図７Ａに示す。横軸が時間で、縦軸が周波数である。連続する各ＦＦＴフレームは、時間軸に沿って等間隔に、縦に配置される。このスペクトログラムは、各時間−周波数ポイントでのエネルギー密度を示している。グラフ上の黒い部分は高いエネルギー密度を示す。スペクトログラムはオーディオ信号処理の分野では周知のものである。本発明に対し、ランドマークおよびフィンガープリントは、図７Ｂのスペクトログラムにおいて丸印で示したスペクトルの極大値のような点による凸角点から得られる。例えば、各ピークの時間−周波数座標が得られ、その時間はランドマークとしてとられ、周波数は対応するフィンガープリントの計算に使用される。スペクトルピーク・ランドマークはＬ∞ノルムに近似し、ここでノルムの最大絶対値がランドマーク位置を決定する。しかし、スペクトログラムにおいて、極大値の探索は、時間スライス全体にわたるよりもむしろ、時間−周波数平面のパッチに支配される。
【００５１】
以下では、サウンド記録の凸角点抽出分析から得られる凸角点のセットを、コンステレーション（constellation）という。極大値を有するコンステレーションに対し、好適な分析は、選択された各点の近隣にわたる時間−周波数平面でエネルギーが最大となる点を選択することである。例えば、(t0-T,f0-F), (t0-T, f0+F), (t0+T,f0-F), (t0+T, f0+F) を頂点とする四角形、すなわち、コンステレーションの適当な数が得られるように選ばれたＴおよびＦにより、２Ｔおよび２Ｆを辺の長さとする四角形、において、座標 (t0, f0) の点が最大エネルギーの点であるとき、その点が選択される。四角形の範囲は、周波数値に応じてそのサイズを変更することもできる。もちろん、領域の形状はあらゆるものを用いてもよい。時間−周波数平面における距離に応じて競合の時間−周波数エネルギーのピークが逆に重み付けされるように、すなわち、遠いポイントは低い重み付けとなるように、最大エネルギー基準を重み付けすることもできる。例えば、エネルギーは次式で重みづけされる。
【００５２】
S(t, f) / (1+Ct(t-t0)2+Cf(f-f0)2)
【００５３】
ただし、S(t,f) は点(t,f)における二乗振幅値、CtおよびCfは正の値である（定数である必要はない。）。その他の距離重み付け関数を用いてもよい。極大点選択の制約にはその他の（最大値ではない）凸角点特徴抽出手法を適用してもよく、これらも本発明の範疇のものである。
【００５４】
この方法は、上述した多くの同一の性質を有する単一の周波数スペクトルフィンガープリントに非常に近似した値の組が得られる。スペクトログラム時間−周波数法は、単一周波数法よりも多くのランドマーク／フィンガープリントのペアを生成するが、後述するマッチングステージにおけるマッチングの失敗も多く生じうる。しかし、これは、単一周波数スペクトルフィンガープリントよりもロバストなランドマーク分析およびフィンガープリント分析を提供する。なぜならば、音響サンプルに含まれる主要な雑音は各スライスにおけるスペクトルのあらゆる部分に広がっているわけではないからである。すなわち、スペクトルの部分における多くのランドマークとフィンガープリントとのペアは主要な雑音の影響をほとんど受けない。
【００５５】
このスペクトログラム・ランドマーク分析およびフィンガープリント分析法は、次元の１つを時間とする音響信号の多次元関数を計算し、その関数の値における凸角点を位置決めする分析方法の特殊なケースである。凸角点は極大値、極小値、零交差点などの特徴値とすることができる。ランドマークは凸角点の時間座標として取得され、対応するフィンガープリントが残りの座標の少なくともいずれかから計算されうる。例えば、多次元関数フィンガープリントを形成するために、多次元凸角点の非時間座標が共にハッシングされうる。
【００５６】
上記したマルチスライス・スペクトルフィンガープリントに対する可変オフセット法は、スペクトログラムまたはその他の多次元関数フィンガープリントに適用することができる。この場合において、図７Ｃのスペクトログラムに示されるように、コンステレーションの点が共に結ばれてリンク点が形成される。コンステレーションの各点は、ランドマーク時刻を定義するアンカーポイントとしての役を果たし、その他の点の残りの座標値が連結されてリンクされたフィンガープリントが形成される。例えば後ほど定義するような互いに近い点同士が共に連結されて、より識別および検索が容易となるより複合的な総合特徴フィンガープリントが形成される。マルチスライス・スペクトルフィンガープリントのように、複数リンク凸角点からの情報を単一のフィンガープリントに結合することの目的は、フィンガープリント値がより多くの値をとりうるようにし、それによりマッチングの失敗の可能性を減少させること、すなわち、同じフィンガープリントが２つの異なる音楽サンプルを指し示してしまう可能性を減少させることである。
【００５７】
原理的には、Ｎ個の凸角点の各々は、およそＮ／２通りのリンクを生成する２点連結法により互いの点に連結される。同様に、Ｋ点連結のために、コンステレーションから得られる可能な組み合わせの数はＮのオーダである。このような組み合わせの膨張を回避するために、互いに連結される近隣のポイントを制限することが望ましい。そのような制限を実現する一方法は、各アンカーポイントに対し「ターゲットゾーン」を定義することである。アンカーポイントはその後そのターゲットゾーン内のポイントと連結される。ターゲットゾーン内のポイントのサブセットを選択してすべてのポイントに連結されないようにすることが可能である。たとえば、ターゲットゾーン内の最大ピークに係るポイントだけに連結されるようにすることが可能である。ターゲットゾーンは固定された形状でもよいし、アンカーポイントの特徴に応じて変化する形状でもよい。スペクトルピークのコンステレーションに対するアンカーポイント (t0,f0) のターゲットゾーンの簡単な例は、tが範囲 [t0+L, t0+L+W] 内（ただし、Lはリード時間長、Wはターゲットゾーンの幅）にあるといったようなスペクトル面の点 (t,f) のセットである。この方法において、ターゲットゾーン内ですべての周波数がとりうる。たとえば、レート制御メカニズムが生成される連結組み合わせ数を変調するのに使用される場合には、LまたはWは可変とすることができる。かわりに、たとえば、周波数fが範囲 [f0-F,f0+F] 内（ただし、Fは境界パラメータとする。）にあるといったようなターゲットゾーンの制約によって、周波数制限を実現することができる。周波数制限の利点は次のとおりである。心理音響学において、音符の並びが互いに近い周波数を有するとき、メロディーがよく干渉する傾向があることが知られている。このような制約は、心理音響学のモデリングは本発明の目標に必要でないにもかかわらず、より「心理音響学的に実際的な」認識性能を示すことを可能にする。fを [f0-F,f0+F] の範囲外に選択するような、逆のルールを考えることも可能である。これは、コンステレーション抽出結果が、時間的に近くなおかつ同じ周波数を有する時間−周波数ポイントの吃音列を発するケースを回避することを可能にするように、周波数が相違するポイントを連結させる。その他の局所性のパラメータのように、Fは定数である必要はなく、例えばf0の関数としてもよい。
【００５８】
時間座標にフィンガープリント値のアンカー凸角点が含まれないときは、フィンガープリントが時不変とするために相対時間値を用いる必要がある。たとえばフィンガープリントは、(i) 非時間座標値、および／または、(ii) 凸角点の対応する時間座標値の差、の関数とすることができる。時間差はたとえば、アンカーポイントに関して取得でき、あるいは、連結されたセットにおける一連の凸角点間の逐次の差分として取得できる。座標および差分値は連続ビットフィールドにパックされてハッシングされたフィンガープリントを形成することができる。座標値のセットをフィンガープリント値にマッピングする方法は数多くあり、それらは本発明の範疇に含まれることは当業者には明らかであろう。
【００５９】
この方法の具体例は、座標 (tk, fk)（ただし、k=1, . . . , N）においてN＞1 個の連結されたスペクトルピークを用いる。そして、(i) 第１ピークの時刻t1がランドマーク時刻として取得され、(ii) 周波数fk（ただし、k=1, . . . , N）での、連結ピークの時間差Δtk=tk-t1（ただし、k=2, . . . , N）が共にハッシングされてフィンガープリント値が形成される。フィンガープリントはΔtk-fk座標のとりうるすべての点またはサブセットから演算することができる。たとえば、望まれる場合には、時間差分のすべて一部または全部を除外することができる。
【００６０】
複数ポイントを用いてフィンガープリントを形成することの他の利点は、たとえばサウンド記録が元の録音スピードと異なるスピードで再生されたときの時間伸縮に対しても、フィンガープリント符号化を不変とすることができる点にある。この利点は、スペクトル法および時間スライス法の両方に当てはまる。伸長された時間信号においては、時間差と周波数は相反する関係を有する（たとえば、２点間の時間差が1/2に縮められると周波数は２倍になる）ことに留意されたい。この方法は、フィンガープリントから時間伸縮を除外する方法で時間差と周波数との結合によるデータを利用する。
【００６１】
たとえば、座標値 (tk,fk)（ただし、k=1, . . . , N）に対するＮポイントスペクトルピークの場合において、フィンガープリントにハッシュするためのとりうる中間値は、Δtk=tk-t1（ただし、k=2, . . . , N, また、fk, k=1, . . . , N）である。いずれかの周波数を基準周波数f1として、（ｉ）他の周波数との商、および（ii）時間差との積、を計算することにより、中間値を、時間伸縮に対して不変値とすることができる。たとえば、中間値をgk=fk/f1（ただし、k=2, . . . , N）、sk=Δtk/f1（ただし、k=2, . . . , N）とすることができる。サンプルをα倍に速めると、周波数fkはαfk、時間差tkはΔtk/αとなり、そのため、gk=αfk/αf1、sk=(Δtk/α)(αf1)=Δtkf1となる。そして、これらの新たな中間値は、時間伸縮に左右されないハッシュされたフィンガープリント値を形成するための関数を用いて結合される。たとえば、gkおよびskの値は連結されたビットフィールドにパッキングすることでハッシュされうる。
【００６２】
あるいは、基準周波数ではなく、基準時間差（たとえばΔt2）を用いてもよい。この場合には、（ｉ）他の時間差との商Δtk/Δt2、（ii）周波数との積Δt2fk、として新たな中間値が計算される。この場合は基準周波数を用いるのと等価である。結果の値は上記のgkおよびskの積および商から生成されうるからである。周波数比の相対性を全く等しく用いることもできる。つまり、元の中間値の対数値の和および差をそれぞれ、積と商に替えて用いることもできる。このような数学的操作の交換（commutations, substitutions, permutations）によって得られた時間伸縮に左右されないフィンガープリント値はすべて、本発明の範疇のものである。また、時間差を相対化する複数の基準周波数もしくは基準時間差を用いてもよい。複数の基準周波数もしくは基準時間差の使用は単一の基準値を用いるのと等価である。gkおよびskの演算操作によって同じ結果を得ることができるからである。
【００６３】
図３および図６に説明を戻す。上述した方法のいずれかによるランドマーク分析およびフィンガープリント分析により、図８Ａに示すようなSound_IDのインデックスセットが得られる。与えられたサウンド記録のインデックスセットは、ペアの値（fingerprint, landmark）のリストである。インデックス付けされた各サウンド記録は典型的には、そのインデックスセットに1,000のオーダの（fingerprint, landmark）のペアを有する。上記した第１の実施例では、ランドマーク分析とフィンガープリント分析の手法は基本的には独立であり、両者は別々のもので、かつ交換可能なモジュールとして取り扱うことができる。システム、信号品質、認識される音響のタイプに依存して、多くの異なるランドマーク分析やフィンガープリント分析のモジュールのいずれかを使用することができる。実際に、インデックスセットは値のペアの単純な複合化であるから、複数のランドマーク分析およびフィンガープリント分析の手法を同時に使用することが可能であり、またその方が好ましいことが多い。たとえば、ユニークな調音パターンを検出には、あるランドマーク分析およびフィンガープリント分析手法がよいが、パーカッションの識別には不十分である場合もあり、かかる場合には、対立する属性を有する異なるアルゴリズムがよい、というものである。複数のランドマーク／フィンガープリント分析を用いる手法により、よりロバストで十分なレンジの認識性能が得られる。数種類のフィンガープリント分析のためにいくらかのレンジを確保しておくことによって異なるフィンガープリント分析手法を一緒に用いてもよい。たとえば、３２ｂｉｔのフィンガープリント値において、初めの３ｂｉｔが８つのフィンガープリント分析手法を記述するのに使用し、残りの２９ｂｉｔが符号化に使用するようにしてもよい。
【００６４】
音響データベースのインデックスが付与される各サウンド記録に対してインデックスセットが生成される。ここで、検索可能なデータベースインデックスは高速（すなわち対数時間）検索を可能にするような方法で構築される。これは、ｓｔｅｐ４６で、各インデックスセットにおける各２つ組に対応するsound_IDを追加して得られる３つ組（fingerprint, landmark, sound_ID）のリストを構築することにより実現される。全てのサウンド記録に対しこのような３つ組が大規模なインデックス・リストとして収集される。図８Ｂにこの一例を示す。後続の検索処理を最適化するために、３つ組のリストはフィンガープリントによってソーティングされる。高速なソーティング・アルゴリズムは周知であり、D. E. Knuth、“The Art of Computer Programming, Volume 3: Sorting and Searching, Reading, Mass”（Addison-Wesley, 1998）に詳しく論じられている。これは、この引用により本明細書に含められる。高性能ソーティング・アルゴリズムは、リストのエントリ数をNとすると、NlogN回でリストをソートすることができる。
【００６５】
インデックス・リストがソーティングされると、ｓｔｅｐ４８で、リスト内の固有のフィンガープリントの各々が新たなマスター・インデックス・リストに集められるように区分される。図８Ｃにこの一例を示す。マスター・インデックス・リストの各エントリは、フィンガープリント値と（landmark, sound_ID）のリストへのポインタとを含む。インデックスされるサウンド記録の数および特徴に依存して、収集結果全体に特定のフィンガープリントが数百回以上現れることが考えられる。インデックス・リストをマスター・インデックス・リストに再構成することは任意であるが、各フィンガープリント値が１回しか現れないので、メモリの節約になる。現行のリストのエントリ数が固有の値のリストに大幅に減少するので、後続のデータベース検索の高速化にもなる。あるいは、バランス木（B-tree）に各３つ組を挿入することでマスター・インデックス・リストが構成されるようにしてもよい。周知のように、マスター・インデックス・リストを構築する方法は他にもある。マスター・インデックス・リストは、信号認識処理中の高速アクセスのためにＤＲＡＭのようなシステムメモリに保持されることが好ましい。マスター・インデックス・リストは、図２に示すようなシステム内の単一ノードのメモリに保持するようにしてもよい。あるいは、マスター・インデックス・リストは複数のリストに分割され複数の演算ノード間に分配されるようにしてもよい。上記した音響データベース・インデックスは図８Ｃに示したマスター・インデックス・リストであることが好ましい。
【００６６】
音響データベース・インデックスはオフラインで構築され、認識システムに新たな音響が入力されたときに追加的に更新することが好ましい。リストを更新するために、新たなフィンガープリントがマスター・インデックス・リストのしかるべき位置に挿入されうる。新たなサウンド記録が既に存在するフィンガープリントを含んでいる場合には、対応するペア（landmark, sound_ID）が、それらのフィンガープリントに対して既に存在するリストに追加される。
【００６７】
（認識システム）
上記のように生成されたマスター・インデックス・リストを用いて、入力される音響サンプルに対して音響認識が行われる。音響サンプルは典型的にはそのサンプルの識別に関心を持っているユーザによって供給される。たとえば、ユーザがラジオで新曲を聴いてその曲のアーティストとタイトルを知りたくなるであろう。サンプルはあらゆる環境から作り出すことができる。たとえば、ラジオ放送、ディスコ、パブ、サブマリーン（submarine）、サウンドファイル、ストリーミング・オーディオのセグメント、ステレオシステムなど。そして、これらは背景雑音、音飛び（dropouts）、あるいは話し声を含んでいてもよい。ユーザは、オーディオサンプルを認識システムに供給する前にそのオーディオサンプルを、応答装置、コンピュータファイル、テープレコーダ、電話もしくは移動電話、ボイスメールシステムといった記憶デバイスに記憶させることができる。システム設定およびユーザ設定に基づいて、あるゆるアナログもしくはディジタルの音源（ステレオシステム、テレビ、コンパクトディスクプレーヤー、ラジオ放送、応答装置、電話、移動電話、インターネットストリーミング放送、ＦＴＰ、電子メールの添付ファイルとしてのコンピュータファイル、これらの記録物を送信に適したその他の装置）から、オーディオサンプルが本発明の認識システムに供給される。サンプルは、その音源に依存して、音響波、無線波、ディジタルオーディオＰＣＭストリーム、圧縮ディジタルオーディオストリーム（ドルビーデジタル、ＭＰ３など）、インターネットストリーミング放送、などの形式であったりする。ユーザは、電話、移動電話、ＷＥＢブラウザ、電子メールなどの標準的なインタフェースを介して認識システムと対話する。サンプルはシステムによってキャプチャされ、リアルタイムに処理されるか、あるいは、過去にキャプチャされたサウンド（たとえばサウンドファイル）から処理するために再生されることになる。キャプチャ中、オーディオサンプルはマイクロホンのようなサンプリングデバイスによってディジタルで抽出されてシステムに送られる。サンプルは、キャプチャ方法に依存して、チャネルやサウンドキャプチャ装置の制限によって更に劣化するであろう。
【００６８】
サウンド信号がディジタル形式に変換されると、認識のための処理が行われる。データベースファイルのインデックスセットの構築として、そのサンプルに対し、サウンド記録データベースを処理するのに使用したのと同じアルゴリズムでランドマークおよびフィンガープリントが計算される。オリジナルのサウンドファイルが大きく歪んだものの処理しても、オリジナル記録に対して得られたランドマークとフィンガープリントのペアのセットと同一もしくは近似のものが得られるのであれば、方法は最適に動作する。サウンドサンプルに対し得られたインデックスセットは、図９Ａに示す分析値のペアセット（fingerprint, landmark）となる。
【００６９】
サウンドサンプルについての分析値ペアが与えられると、データベース・インデックスが検索されて、マッチしそうなファイルを特定する。検索は次のように実行される。未知サンプルのインデックスセットにおける各（fingerprintk, landmarkk）ペアは、マスター・インデックス・リストにおけるfingerprintkを検索することで処理される。順序付きリストに対する高速検索アルゴリズムは周知であり、D. E. Knuth、“The Art of Computer Programming, Volume 3: Sorting and Searching, Reading, Mass”（Addison-Wesley, 1998）に詳しく論じられている。マスター・インデックス・リストのfingerprintkが見つかると、マッチする（landmark*j, sound_IDj）ペアの対応するリストがコピーされ、landmarkkを加えて、（landmarkk, landmark*j, sound_IDj）の形式の３つ組のセットを形成する。ここで、アスタリスク（*）はデータベース内のインデックスファイルのいずれかのランドマークを示しており、アスタリスクのないランドマークはサンプルのものを示している。場合によっては、両者のフィンガープリントが同一のときに限りマッチするとする必要はなく、フィンガープリントが互いに近似している（たとえば、差が予め定められたしきい値に収まる）場合にはマッチしていると判定することが好ましい。両者同一によりマッチするフィンガープリント同士も、近似によりマッチするフィンガープリント同士も、ここでは「同等（equivalent）」という。３つ組におけるsound_IDjは、アスタリスクの付いたlandmarkを有するファイルに対応する。したがって、各３つ組は、同等のフィンガープリントが計算されたときの、２つの別個のランドマークを含む。１つはデータベース・インデックスのもので、もう１つはサンプルのものである。この処理は、入力サンプルのインデックスセットの範囲にわたるすべてのｋについて繰り返される。得られたすべての３つ組は、図９Ｂに示すような大規模な候補リストに収集される。候補リストは、フィンガープリントのマッチングによるサウンドファイルのsound_IDを含んでおり、これらのsound_IDが入力されたサウンドサンプルに対する識別の候補であるので、そのように呼ばれる。
【００７０】
候補リストが集められた後は、sound_IDによるセグメンテーションが行われる。この簡便な方法は、sound_IDによって候補リストをソーティングするか、候補リストをバランス木（B-tree）に挿入することである。多くのソーティング・アルゴリズムが適用可能であることは先述したとおりである。この処理の結果が、候補sound_IDのリストとなり、それぞれが、図９Ｃに示すように、オプションとしてそのsound_IDが除去された、サンプルのランドマーク時刻とデータベースファイルのランドマーク時刻とのペア（landmarkk, landmark*j）の散布リストを有する。したがって各散布リストは、互いが同等のフィンガープリントによって特徴付けられるランドマークのセットを含むことになる。
【００７１】
そして、sound_IDがサンプルにマッチするかどうかを判断するために、各候補sound_IDに対する散布リストが分析される。極めて小さい散布リストしかない候補を除外するために、オプションとして、しきい値処理ステップを用いてもよい。明らかに、散布リストにエントリが１つしかない候補、すなわち、サンプルと同様のフィンガープリントが１つしかない候補は、そのサンプルとはマッチしない。１以上のあらゆる適切なしきい値を用いてもよい。
【００７２】
最終的な候補数が決定されると、ベストな候補が特定される。以下のアルゴリズムでベストな候補が特定できなければ、認識失敗のメッセージが返される。このマッチング処理のキーポイントは、両者の時間軸が固定されていると想定して、サウンドのマッチングにおける時間の進行が、リニアな対応関係に従っているはずである点である。これは、いずれかのサウンドが作為的に非線形に歪んでいたり、速度が小刻みに揺れる異常があるテープデッキの如く再生装置に欠陥があるようなことがないかぎり、そのとおりになる。したがって、与えられたsound_IDの散布リストにおける正常なランドマークペア（landmarkn, landmark*n）は次式のリニアな対応関係を有するはずである。
【００７３】
landmark*n=m*landmarkn+offset
【００７４】
ただし、ｍは傾きで１に近い値である。landmarknは入力されたサンプルにおける時点、landmark*nはsound_IDによってインデックスされたサウンド記録における対応する時点、offsetは入力されたサウンドサンプルの始点に対応するサウンド記録への時間オフセットである。特定の値ｍおよびoffsetによって上式に適合するランドマークペアは「リニアな関係」にあるという。明らかに、リニアな関係にあることの概念は、対応するランドマークペアが２以上あれば有効である。このリニアな関係は、重要でない範囲外のランドマークペアを除外すると、正常なサウンドファイルを高い確率で識別する注意されたい。２の別個の信号が多数の同一のフィンガープリントを含むことが可能であるとはいえ、これらのフィンガープリントが同じ相対的な時間進行を有することはまずない。リニアな対応関係の要求は本発明のキーとなる特徴であり、単純に普通の特徴量のトータル数をカウントしたり特徴量の類似度を測定するといった技術よりも大きく認識性能を上げることができる。実際、本発明のこの側面により、たとえオリジナル記録のフィンガープリントが入力されたサウンドサンプルに現れるのが１％に満たないとしても、すなわち、サウンドサンプルが非常に短かったり大きく歪んでいる場合であったとしても、サウンドを認識することができる。
【００７５】
そのため、入力されたサンプルに対してマッチするかどうかの判断の問題が、与えられた散布リストのランドマークポイントの散布図のうちで傾き１程度の斜線をみつけることに相当するものへと絞り込まれる。図１０Ａおよび図１０Ｂに散布図の２つの例を示す。横軸がサウンドファイルのランドマークで、縦軸が入力されたサウンドサンプルのランドマークである。図１０Ａにおいて、ほぼ１の傾きの斜線が認識される。これは曲が確かにサンプルにマッチした、すなわち、そのサウンドファイルがベストなファイルであることを示している。横軸での切片は、サンプルの始めにおけるオーディオファイル内のオフセットを示している。図１０Ｂの散布図には統計上の有意な斜線がみられない。これは入力されたサンプルに対しそのサウンドファイルはマッチしないことを示している。
【００７６】
散布図における斜線をみつける方法は多くあり、これらはすべて本発明の範疇のものである。「斜線の特定（locating a diagonal line）」の用語は、明示的に斜線を生成せずに斜線を特定することに相当するすべての方法をいう。好適な方法は、上式の両辺からm*landmarknを引いて次式を得ることにより開始する。
【００７７】
(landmark*n-m*landmarkn)=offset
【００７８】
ｍはほぼ１と想定する（すなわち、時間伸縮がないと想定する）と、次式が得られる。
【００７９】
(landmark*n-landmarkn)=offset
【００８０】
斜線を特定するときの問題は、ほぼ同じオフセット値で分割される所定のsound_IDに対する複数のランドマークペアをみつけることに絞られる。これは、１のランドマークと他のランドマークとを引き算して得られたオフセット値のヒストグラムを収集することにより、容易に実現できる。高速ソーティング・アルゴリズムを用いて、あるいは、カウンタでビンのエントリを生成しバランス木（B-tree）に挿入することにより、このヒストグラムを加工してもよい。ヒストグラムのベストなオフセット・ビンは最大のポイント数を含む。以下では、このビンをヒストグラムのピークという。入力されたサウンド信号が正常なライブラリ・サウンドファイルに十分に含まれていればオフセットは正のはずであるから、負のオフセットとなるランドマークペアは除外される。同様に、ファイルの終端を超えるオフセットも除外される。ヒストグラムのベストなオフセット・ビンにおけるポイント数が各予選sound_IDに対し示される。この数は各サウンド記録のスコアとなる。最高スコアの候補リストにおけるサウンド記録がベストとして選ばれる。識別の成功を通知すべくベストなsound_IDが下記のようにユーザにレポートされる。識別の失敗を防ぐために、最小しきい値スコアを用いて識別処理の成功をゲート制御するようにしてもよい。ライブラリ・サウンドがしきい値を超えるスコアでなければ、認識はされず、その旨ユーザに通知される。
【００８１】
入力されたサウンド信号が複数のサウンドを含む場合、それぞれのサウンドを認識することができる。この場合、位置合わせ検査において複数の当たり（winner）が特定される。サウンド信号が複数の当たりを含んでいることを知っている必要はない。位置合わせ検査で、残りのスコアよりもかなり高いスコアのsound_IDが２つ以上特定されるであろうからである。よく使われるフィンガープリント分析方法は良好な線形な重ね合わせを示し、そのため個々のフィンガープリントが抽出される。たとえば、スペクトログラム・フィンガープリント分析方法は線形な重ね合わせを示す。
【００８２】
サウンドサンプルが時間伸縮を受けると、傾き（slope）は等しく１とはならない。時間伸縮を受けたサンプルの傾きを１と仮定する（フィンガープリントが時間伸縮に対し不変であると仮定する）と、計算されるオフセット（offset）値は均一でなくなる。これに対処してほどほどの時間伸縮に適応する一方法は、オフセット・ビンのサイズを増加させること、すなわち、オフセットが均一になる範囲を考慮することである。一般に、各点が直線上に位置しなければ、計算されるオフセット値が大きく異なり、オフセット・ビンのサイズがわずかに増加しても、フェールス・ポジティブを大量に生じることはない。
【００８３】
直線をみつける手法は他にもある。たとえば、マシン・ビジョンやグラフィックの研究の分野で周知な、T. Risse, "Hough Transform for Line Recognition," （Computer Vision and Image Processing, 46, 327-345, 1989）に記述されているRadon変換またはHough変換を用いてもよい。Hough変換では、散布図の各点は（slope, offset）空間における直線に射影する。したがって、散布図の点の集合がHough変換における２空間の直線上に投影される。Hough変換におけるピークはパラメータ直線の交点に対応する。このような所定の散布図の変換のグローバルピークは、Hough変換における交差する直線の最大数、つまり共直線性の点の最大数、を示している。５％のスピードの変動を許容すべく、たとえば、Hough変換の構成を傾きパラメータが0.95から1.05の間で変動する領域に制限して、それにより演算量を節約するようにしてもよい。
【００８４】
（階層検索）
非常に小さな散布リストで候補をふるい落とすしきい値処理ステップに加えて、さらに効果的な改良策を施すこともできる。改良策の１つは、発生確率に応じてデータベース・インデックスを少なくとも２つの区分にセグメント化しておき、サンプルのマッチングをとる確率の高いほうのサウンドファイルのみをまず検索するというものである。分割は処理のさまざまな段階で行うことができる。たとえば、いずれか１のセグメントでｓｔｅｐ１６またはｓｔｅｐ２０が実行されるときに、マスター・インデックス・リスト（図８Ｃ）を２以上の区分にセグメント化することが可能である。すなわち、データベース・インデックスの一部分だけからマッチング・フィンガープリントに対応するファイルが検索され、その一部分から散布リストが生成される。ベストなサウンドファイルが特定されなければ、別のデータベース・インデックスについて処理が繰り返される。別の実現例では、データベース・インデックスからすべてのファイルが検索されるが、斜線検査は異なるセグメントで別々に行われる。
【００８５】
この手法を用いて、演算量が集中している斜線検査は、まず、データベース・インデックスにおけるサウンドファイルの小さなサブセットで行われる。斜線検査は検査されるサウンドファイルの数に対してほぼリニアな時間成分を有しているので、階層検索を行うことは大変有効である。たとえば、サウンド・データベース・インデックスが1,000,000のサウンドファイルを表すフィンガープリントを含んでいるが、高い頻度で検索照会されるサンプルにマッチするのは1000ファイル程度しかない場合、たとえば、検索照会の95％が1000ファイルに対するもので、検索照会の５％だけが残りの999,000のファイルに対するものである場合、を想定する。演算コストがファイル数の一次従属であると仮定すると、その演算コストは、1000ファイルの95％時間に比例し、999,000ファイルの５％時間に比例する。そうすると、平均演算コストはおよそ50,900に比例する。したがって、階層検索は演算負荷を1/20近くに抑えることができる。もちろん、データベース・インデックスは、２レベル以上の階層（たとえば、ニュー・リリースの曲のグループ、最近リリースされた曲のグループ、古くて流行らない曲のグループ）にセグメント化することができる。
【００８６】
上述したように、検索は、サウンドファイルの高確率のファイルの集合である第１のサブセットについてまず行われ、この第１の検索が失敗したときにのみ、残りのファイルを含む第２のサブセットについて行われる。各オフセット・ビンにおけるポイント数が予め定められたしきい値に届かないときは、斜線検査の失敗となる。かわりに、２つの検索を並列的（同時）に実行させてもよい。第１のサブセットの検索で正しいサウンドファイルが特定されると、第２のサブセットの検索を終了させるための信号が送られる。第１のサブセットの検索で正しいサウンドファイルが特定されなければ、ベストなファイルが特定されるまで第２のサブセットの検索が継続される。これら２つの異なる実現例は演算量と時間のトレードオフの関係にある。第１の実現例は演算量が軽いが第１の検索が失敗に終わると若干の遅延を招く。これに対して、第２の実現例は、ベストなファイルが第１のサブセットにある場合には演算量が多いが、そうでなければ遅延は最小化される。
【００８７】
リストのセグメント化の目的は、サウンドファイルが検索照会のターゲットである確率を見積もって、検索を、照会サンプルにもっともマッチしそうなファイルに限定することにある。データベースのサウンドに確率を割当ててソーティングする方法はいくつも考えられるが、それらはすべて本発明の範疇のものである。確率は、ベストなサウンドファイルとして識別される時期の新しさ（recency）や頻度（frequency）に基づいて割り当てられるのが好ましい。時期の新しさは、とりわけポピュラーソングに対しては有用な測定値である。新曲がリリースされるので、音楽の関心が時間の流れにつれて非常に急速に変化するからである。確率スコアが計算されると、ファイルにランキングが割り当てられ、そのランキングでそのリスト自身をソートする。ソートされたリストは検索のために２以上のサブセットにセグメント化される。小さなサブセットは所定数のファイルを含む。たとえば、ランキングがたとえば上位1000ファイルにおけるファイルを特定すると、そのファイルは速い検索のための小さなサブセットに置かれる。かわりに、２つのサブセットに対するカットオフポイントを動的に調整するようにしてもよい。たとえば、所定のしきい値を超えるスコアのファイルすべてを第１のサブセットに置いて、それにより各サブセット内のファイル数が頻繁に変わるようにしてもよい。
【００８８】
確率を計算する特別な一方法は、照会サンプルがマッチしたと識別された各時刻でサウンドファイルのスコアを１ずつ増加させることである。時期の新しさを考慮するために、新しい照会が古い照会よりもランキングで強い結果となるように、スコアのすべてが周期的に下方修正される。たとえば、照会があるごとにすべてのスコアを一定倍率でもって段階的に減らすようにすることができる。その結果、スコアは更新されなければ指数関数的に減少していく。データベースにおけるファイル数（難なく100万くらいになりうる）に依存して、この方法は照会がある度に大量のスコアの更新を要することになり、場合によっては望ましくない状況となる。代案として、相対的に少ない頻度の間隔（たとえば１日に１回）でスコアを下方修正するようにしてもよい。少ない頻度での修正による結果は、照会の度に修正する場合の結果とだいたい似たようなものであるが、まったく同じではない。しかし、ランキングを更新するための計算負荷は非常に小さくなる。
【００８９】
この時期の新しさによる調整の変形例としては、指数関数的に増加するスコア更新at（ただし、tは最後の一括更新からの経過時間）を照会の都度ベストなサウンドファイルに付加することが考えられる。一括更新の都度、aT（ただし、Tは最後の一括更新からの総合経過時間）で割り算することで全スコアが下方修正される。この変形例において、aは近時率（recency factor）で、１より大の値である。
【００９０】
上述したランキング処理に加えて、リスティングの強弱をつけるのに役立つように事前の知識を導入することもできる。たとえば、ニューリリースは古い曲よりも問い合わせが多く来るであろう。そこで、ニューリリースは、照会サンプルにマッチする確率の高い曲を集めた第１のサブセットに自動的に置くようにしてもよい。これは上記した自己ランキングアルゴリズムとは独立に行われうる。自己ランキングの特徴をも用いると、ニューリリースは第１のサブセット内のいずれかの位置する初期ランキングに割り当てられる。ニューリリースは、リストの最上位、高い確率の曲のリストの末尾、もしくはリスト中の中間のどこか、にシードされうる。検索の目的のため、ランキングは時間経過につれて収束して関心の真のレベルを反映するようになるので、初期位置は問題にならない。
【００９１】
代替の実施例においては、時期の新しさのランキングの順序で検索を行い、sound_IDスコアが所定のしきい値を超えた時点で終了する。これは、各セグメントがsound_IDを１つだけを含む上記の方法と等価である。
【００９２】
ベストなサウンドのスコアは他のすべてのサウンドファイルのスコアよりもかなり高いことが実験で分かり、そのため、わずかな実験で好適なしきい値を選択することができる。この実施例を実現する一方法は、データベース・インデックスのすべてのsound_IDを、時期の新しさに応じて、スコアが同一の場合に任意の決定で、ランクづけすることである。時期の新しさの各ランキングはユニークであるから、時期の新しさのスコアとsound_IDとの間は１対１でマッピングされる。そして、候補sound_IDのリストとそれに付随する散布リスト（図９Ｃ）を作成するためにsound_IDをソーティングするときに、ランキングがsound_IDのかわりに用いられる。３つ組（fingerprint, landmark, sound_ID）のインデックス・リストが生成され、そのインデックス・リストがマスター・インデックス・リストにソートされる前に、ランキング番号をインデックスと結合してもよい。そして、sound_IDについてランキングが実行される。かわりに、検索および更新機能を用いてランキング付きsound_IDを更新することもできる。ランキングが更新されると、新たなランキングが古いランキングのところに割り当てられ、マッピングの整合性が維持される。
【００９３】
代替案として、ランキングを後の処理において結合するようにしてもよい。いったん散布リストが生成されると、ランキングを各sound_IDに対応付けることができる。そして、そのセットがランキングによってソートされる。この実現例においては、散布リストへのポインタだけを修正する必要がある。散布リストへのグルーピングを繰り返す必要はない。後の処理において結合することの利点は、ランキングが更新される度にデータベース・インデックス全部を再生成する必要がない点である。
【００９４】
流行によるランキングはそれ自身、経済的価値の対象となりうることにも注目すべきである。すなわち、ランキングは、知らないサウンドサンプルを確認しようとする消費者の好みを反映するものである。多くの場合、曲の記録物の購入への欲求によって照会が指示される。実際に、ユーザについての人口情報が分かっていれば、要求された人口グループの各々に対して別のランキング手法を実現することもできる。ユーザの人口グループは、そのユーザが認識サービスに登録したときに受けたプロフィール情報から得ることができる。標準協調フィルタリング技術により動的に判断することも可能である。
【００９５】
リアルタイムシステムでは、サウンドが認識システムに時間経過につれて追加的に供給され、パイプライン認識が可能である。この場合、セグメント内で入力データを処理してサンプルのインデックスセットを追加的に更新することが可能である。各更新周期の後、上述の検索および検査ステップによりサウンド記録の候補リストを検索するために、新たな拡張インデックスセットが用いられる。新たに得られたサンプル・フィンガープリントにマッチするフィンガープリントに対しデータベース・インデックスが検索され、新しい３つ組（landmarkk, landmark*j, sound_IDj）が生成される。新たなペアが散布リストに付加されて、ヒストグラムが追加される。このアプローチの利点は、サウンド記録を正確に識別するのに十分なデータが収集されると、たとえば、あるサウンドファイルのオフセット・ビンにおけるポイント数が高いしきい値を超える場合、もしくは２番目に高いサウンドファイルのスコアを超える場合には、データ収集を中断してその結果を通知することができることである。
【００９６】
いったん正しいサウンドが識別されると、適当な方法でその結果がユーザもしくはシステムに通知される。 その結果はたとえば、コンピュータ印刷、電子メール、ｗｅｂ検索結果ページ、移動電話へのＳＭＳ（short messaging service）テキストメッセージ、コンピュータ生成された電話による音声メッセージ、ユーザが後でアクセスできるｗｅｂサイトもしくはインターネット・アカウントへの結果のポスティングなどによって通知されうる。通知された結果には、曲の名称やアーティスト、クラシック曲の作曲者やレコーディング属性（たとえば演奏者、指揮者、会場）、広告の会社やプロダクト、その他各種の好適な識別子などの、サウンドの識別情報を含めてもよい。くわえて、経歴情報、周辺のコンサート情報、その他ファンが関心のある情報を提供してもよいし、そのような情報へのハイパーリンクを提供してもよい。通知される結果には、サウンドファイルの絶対スコアもしくは次にスコアの高かったサウンドファイルとの比較におけるスコアを含めてもよい。
【００９７】
認識方法の有用な成果の一つは、同じサウンドの異なる２つの演奏を混同しない点である。たとえば、クラシックの同じ曲でも演奏が異なれば、たとえ人が両者の違いを検知できなくても、それらを同一とみなさない。ランドマーク／フィンガープリントのペアとそれらの時間進行が２つの演奏ではマッチする可能性が非常に低いからである。本実施例では、リニアな対応関係が特定されるためには、ランドマーク／フィンガープリントのペアが互いに約10msの中になければならない。この結果、本発明の自動認識によって、あらゆるケースにおいて、適切な演奏／サウンドトラックやアーティスト／ラベルが得られる。
【００９８】
（実現例）
以下、本発明の好適な実現例である連続スライディング・ウィンドウ・オーディオ認識について説明する。マイクロホンまたはその他の音源が連続的にバッファにサンプリングされ、過去Ｎ秒のサウンドの記録が得られる。 サウンド・コンテンツのＩＤを突き止めるべく、サウンド・バッファの内容が周期的に分析される。サウンド・バッファは固定サイズとしてもよいし、サウンドがサンプリングされるときのサイズに応じて増大するようにしてもよい。後者は、オーディオ・サンプルの順次増大セグメントとよばれる。サウンド記録が識別されたことを示すための通知がなされる。たとえば、ログファイルが収集され、もしくは、タイトル、アーティスト、アルバムカバーアート、歌詞といった 曲の情報や購入情報を示す装置にディスプレイ表示される。重複を避けるため、認識されるサウンドのＩＤが変わったとき、たとえば、ジュークボックスのプログラムが変わったとき、にだけ通知がなされる。かかる装置は、あらゆるサウンド・ストリーム（ラジオ、インターネット・ストリーミング・ラジオ、隠しマイク、電話呼び出しなど）から再生された音楽のリストを生成するのに使用されうる。曲ＩＤに加え、認識時刻のような情報のログをとることができる。特定情報が（例えばＧＰＳから）取得可能であれば、これらの情報のログをとることができる。
【００９９】
識別を達成するため、各バッファを初めから識別してもよい。かわりに、サウンドパラメータをたとえばフィンガープリントまたは他の中間特徴量抽出形式に抽出し、第２バッファに記憶してもよい。 第２バッファの前に、新たなフィンガープリントを、バッファの最後から廃棄される古いフィンガープリントとともに加算してもよい。このようなローリング・バッファ法の利点は、サウンドサンプルのオーバーラップしているセグメントで同じ分析を重複して行う必要がなく、そのため演算量を節約できることである。ローリング・フィンガープリント・バッファの内容に対し識別プロセスが周期的に実行される。小型の携帯型装置の場合、フィンガープリント・ストリームはデータ量が非常に大きいので、フィンガープリント分析をその装置で行い、その結果を、比較的低い帯域のデータチャネルを用いて認識サーバに送信するようにしてもよい。ローリング・フィンガープリント・バッファは、これを携帯型装置に置き、各回ごとに認識サーバに送信してもよいし、認識サーバにローリング・フィンガープリント・バッファを備え、サーバで認識セッションが連続的に行われるようにしてもよい。
【０１００】
このようなローリング・バッファ認識システムでは、認識するのに十分な情報が得られしだい新たなサウンド記録が認識されうる。十分な情報はバッファ長より少なくてもよい。たとえば、特徴的な曲は１秒間の演奏で一義的に認識されうるし、バッファが１５〜３０秒の長さを有しているとしても、システムは１秒で周期的に認識し、曲が直ちに認識されうる。逆に、特徴的でない曲が認識にさらに数秒間のサンプルを必要とする場合には、システムは曲のＩＤを宣言する前に長時間待たなければならない。このスライディング・ウィンドウ認識法においては、サウンドが識別されうるようになりしだい認識される。
【０１０１】
次の点に注意することが重要である。本発明は全機能を備えたシステムおよび方法を前提に説明されたが、本発明の構成はさまざまな形式による命令を格納したコンピュータ読み取り可能な媒体のかたちで流通させることが可能であり、また、本発明はその流通に実際に用いるメディアに記録する信号の形式にかかわらず適用されることは当業者には理解されよう。このようなコンピュータによってアクセス可能なデバイスは、コンピュータメモリ（ＲＡＭ，ＲＯＭ）、フロッピディスク、ＣＤ−ＲＯＭをはじめ、ディジタルまたはアナログの通信リンクのような伝送系メディアを含む。
【０１０２】
上述した実施の形態は、本発明の技術的範囲から逸脱することなく多くの方法で変更可能であることは明らかであろう。よって、本発明の技術的範囲は請求の範囲およびその均等の範囲によって画定される。
【図面の簡単な説明】
【図１】 音響サンプルを認識する本発明の方法を示すフローチャートである。
【図２】 図１の方法を実現する分散型コンピュータシステムの一例を示すブロック図である。
【図３】 音響ファイルのデータベース・インデックスを構築する方法を示すフローチャートである。
【図４】 音響サンプルに対して計算されるランドマークおよびフィンガープリントを模式的に示す図である。
【図５】 ランドマークの選択を示す、音響サンプルのＬ４ノルムのグラフである。
【図６】 図１の方法で用いられる音響ファイルのデータベース・インデックスを構築する別の実施態様を示すフローチャートである。
【図７Ａ】、
【図７Ｂ】、
【図７Ｃ】 凸角点および連結した凸角点を示すスペクトログラムである。
【図８Ａ】、
【図８Ｂ】、
【図８Ｃ】 図３の方法におけるインデックス・セット、インデックス・リスト、マスター・インデックス・リストを示す図である。
【図９Ａ】、
【図９Ｂ】、
【図９Ｃ】 図１の方法におけるインデックス・リスト、候補リスト、散布リストを示す図である。
【図１０Ａ】、
【図１０Ｂ】 未知音響サンプルに対する識別の成功および識別の失敗をそれぞれ示す散布図である。
Claims (28)
- オーディオ・サンプルを識別する方法であって、
前記オーディオ・サンプルの内容に基づき計算される当該オーディオ・サンプルにおける時間上の特定の位置で生じるランドマークと、当該オーディオ・サンプルの前記特定の位置またはその付近における１または２以上の特徴量を含むフィンガープリントとで形成される、サンプル・ランドマーク／フィンガープリント・ペアを生成するステップと、
１または２以上のオーディオ・ファイルの各々に対し、当該オーディオ・ファイルの内容に基づき計算される当該オーディオ・ファイルにおける時間上の特定の位置で生じるランドマークと、当該オーディオ・ファイルの前記特定の位置またはその付近における１または２以上の特徴量を含むフィンガープリントとで形成される、ファイル・ランドマーク／フィンガープリント・ペアを生成するファイル・フィンガープリント生成ステップと、
各サンプル・ランドマーク／フィンガープリント・ペアと過去に生成されたファイル・ランドマーク／フィンガープリント・ペアとのほぼリニアな対応関係を特定する特定ステップと、
前記ほぼリニアな対応関係が多数あるときにベストなファイルを識別する識別ステップと、
を有することを特徴とする方法。 - 各フィンガープリントは、各ランドマーク位置またはその位置からわずかにオフセットした位置における当該オーディオの多数の特徴量を表現することを特徴とする請求項１に記載の方法。
- 各フィンガープリントは、前記サンプルの時間伸縮に対し不変であることを特徴とする請求項１又は２に記載の方法。
- 各フィンガープリントは、スペクトル・スライス・フィンガープリント、マルチスライス・フィンガープリント、ＬＰＣ係数、ケプストラム係数、およびスペクトルピークの周波数成分のうちのいずれかとして計算されることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
- 前記スペクトル・スライス・フィンガープリントは、ランドマーク時点に対する時間オフセットのセットにおいて計算されることを特徴とする請求項４に記載の方法。
- 各ランドマークの位置は、サウンド記録における特徴的かつ再現可能な位置をみつけるランドマーク分析方法を用いて識別されることを特徴とする請求項１乃至５のいずれか１項に記載の方法。
- 前記ランドマーク分析方法は、スペクトルＬｐノルムを用いて前記サウンド記録においてとりうるすべての時点で瞬時パワーを計算し、ランドマークとしての極大点を選択することを特徴とする請求項６に記載の方法。
- １または２以上のランドマークは、固定もしくは可変のオフセットでの複数の時間スライスにわたるスペクトル成分から得られるマルチスライス・ランドマークであることを特徴とする請求項６または７に記載の方法。
- 前記ファイル・ランドマーク／フィンガープリント・ペアはデータベースに格納され、そのデータベース内の各ファイルはそのファイルのフィンガープリントによってインデックスされることを特徴とする請求項１乃至８のいずれか１項に記載の方法。
- 前記インデックスはフィンガープリントに基づきソートされることを特徴とする請求項９に記載の方法。
- 固有のフィンガープリントとそれに対応するランドマークのリストへのポインタと含むエントリを有するマスター・インデックス・リストが構成されることを特徴とする請求項１０に記載の方法。
- 各ファイルはSOUND_IDによって識別され、前記データベースは、フィンガープリントと、ランドマークと、SOUND_IDとの３つ組を複数記憶することを特徴とする請求項９乃至１１のいずれか１項に記載の方法。
- 統計的に最もリニアな対応関係にあるファイル・ランドマーク／フィンガープリント・ペアを有するファイルが前記ベストなファイルとして選択されることを特徴とする請求項１乃至１２のいずれか１項に記載の方法。
- サンプル・ランドマーク／フィンガープリント・ペアが許容範囲内でファイル・ランドマーク／フィンガープリント・ペアにマッチするときに、サンプル・ランドマークとファイル・ランドマークのペア（landmarkn, landmark*n）においてリニアな対応関係が生じることを特徴とする請求項１乃至１３のいずれか１項に記載の方法。
- 個々のフィンガープリント同士がマッチし、なおかつ、個々のランドマーク同士がリニアな関係にあるときに、サンプル・ランドマーク／フィンガープリント・ペアとファイル・ランドマーク／フィンガープリント・ペアとの間にリニアな対応関係が生じることを特徴とする請求項１乃至１４のいずれか１項に記載の方法。
- フィンガープリント同士が同一または所定の許容範囲内の差にあるときに、両者のフィンガープリントがマッチしたとすることを特徴とする請求項１５に記載の方法。
- リスト内のサンプル・ランドマークとファイル・ランドマークのペア（landmarkn, landmark*n）が
landmark*n=m*landmarkn+offset、
の関係にあるときに、リニアな対応関係が生じることを特徴とする請求項１５または１６に記載の方法。 - 前記サンプルは、音響波、無線波、ディジタルオーディオＰＣＭストリーム、圧縮ディジタルオーディオストリーム、インターネットストリーミング放送のいずれかの形式であることを特徴とする請求項１乃至１７のいずれか１項に記載の方法。
- 前記サンプル・フィンガープリントはローリング・バッファに格納されることを特徴とする請求項１乃至１８のいずれか１項に記載の方法。
- 前記特定ステップおよび識別ステップは、前記ローリング・バッファの内容に対して周期的に実行されることを特徴とする請求項１９に記載の方法。
- 前記特定ステップおよび識別ステップは、認識するのに十分な情報が前記ローリング・バッファから得られしだい実行されることを特徴とする請求項１９または２０に記載の方法。
- 前記特定ステップおよび識別ステップは、まずファイルの第１のサブセットに対して実行され、その第１のサブセットでベストなファイルが識別されなかったときに、残りのファイルを収めた第２のサブセットが検索されることを特徴とする請求項１乃至２１のいずれか１項に記載の方法。
- 前記第１のサブセットは、当該第１のサブセットに含まれないファイルよりも識別される経験的に確率が高いファイルを含むことを特徴とする請求項２２に記載の方法。
- 前記特定ステップは、前記対応する位置間の差分をとり、その差分のヒストグラムのピークを計算することにより、前記対応する位置の散布図における斜線を特定することを特徴とする請求項１に記載の方法。
- 前記識別ステップは、多数の対応関係を生じる前記ベストなファイルにおける位置に対するオフセットの指標を提供するステップを更に有することを特徴とする請求項１に記載の方法。
- オーディオ・サンプルを識別する方法であって、
クライアントからの要求に応じて、前記オーディオ・サンプルの少なくとも一部を、請求項１に記載の各ステップを実行するサーバに取り次ぐステップと、
前記サーバがベストなファイルを識別したことに応じて、前記クライアントに応答を返すステップと
を有することを特徴とする方法。 - 請求項１乃至２６のいずれか１項に記載の方法をコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。
- 請求項１乃至２５のいずれか１項に記載の方法を実行するコンピュータシステムであって、
キャプチャされた信号サンプルのランドマーク／フィンガープリント・ペアを含む特徴抽出サマリを、認識処理を実行するサーバ端末に送信するクライアント端末を含むことを特徴とするコンピュータシステム。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US22202300P | 2000-07-31 | 2000-07-31 | |
| US60/222,023 | 2000-07-31 | ||
| US09/839,476 | 2001-04-20 | ||
| US09/839,476 US6990453B2 (en) | 2000-07-31 | 2001-04-20 | System and methods for recognizing sound and music signals in high noise and distortion |
| PCT/EP2001/008709 WO2002011123A2 (en) | 2000-07-31 | 2001-07-26 | Method for search in an audio database |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004505328A JP2004505328A (ja) | 2004-02-19 |
| JP2004505328A5 JP2004505328A5 (ja) | 2005-03-17 |
| JP4945877B2 true JP4945877B2 (ja) | 2012-06-06 |
Family
ID=26916372
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002516764A Expired - Lifetime JP4945877B2 (ja) | 2000-07-31 | 2001-07-26 | 高い雑音、歪み環境下でサウンド・楽音信号を認識するシステムおよび方法 |
Country Status (14)
| Country | Link |
|---|---|
| US (9) | US6990453B2 (ja) |
| EP (1) | EP1307833B1 (ja) |
| JP (1) | JP4945877B2 (ja) |
| KR (1) | KR100776495B1 (ja) |
| CN (1) | CN1592906B (ja) |
| AT (1) | ATE329319T1 (ja) |
| AU (1) | AU2001289766A1 (ja) |
| BR (1) | BRPI0112901B1 (ja) |
| DE (1) | DE60120417T2 (ja) |
| DK (1) | DK1307833T3 (ja) |
| ES (1) | ES2266254T3 (ja) |
| HK (1) | HK1051248A1 (ja) |
| PT (1) | PT1307833E (ja) |
| WO (1) | WO2002011123A2 (ja) |
Families Citing this family (766)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6449377B1 (en) * | 1995-05-08 | 2002-09-10 | Digimarc Corporation | Methods and systems for watermark processing of line art images |
| US6560349B1 (en) * | 1994-10-21 | 2003-05-06 | Digimarc Corporation | Audio monitoring using steganographic information |
| US7362775B1 (en) * | 1996-07-02 | 2008-04-22 | Wistaria Trading, Inc. | Exchange mechanisms for digital information packages with bandwidth securitization, multichannel digital watermarks, and key management |
| US7224819B2 (en) | 1995-05-08 | 2007-05-29 | Digimarc Corporation | Integrating digital watermarks in multimedia content |
| US6760463B2 (en) * | 1995-05-08 | 2004-07-06 | Digimarc Corporation | Watermarking methods and media |
| US7805500B2 (en) * | 1995-05-08 | 2010-09-28 | Digimarc Corporation | Network linking methods and apparatus |
| US5613004A (en) * | 1995-06-07 | 1997-03-18 | The Dice Company | Steganographic method and device |
| US6505160B1 (en) | 1995-07-27 | 2003-01-07 | Digimarc Corporation | Connected audio and other media objects |
| US6965682B1 (en) | 1999-05-19 | 2005-11-15 | Digimarc Corp | Data transmission by watermark proxy |
| US7711564B2 (en) * | 1995-07-27 | 2010-05-04 | Digimarc Corporation | Connected audio and other media objects |
| US7562392B1 (en) * | 1999-05-19 | 2009-07-14 | Digimarc Corporation | Methods of interacting with audio and ambient music |
| US6411725B1 (en) * | 1995-07-27 | 2002-06-25 | Digimarc Corporation | Watermark enabled video objects |
| US6829368B2 (en) * | 2000-01-26 | 2004-12-07 | Digimarc Corporation | Establishing and interacting with on-line media collections using identifiers in media signals |
| US7664263B2 (en) | 1998-03-24 | 2010-02-16 | Moskowitz Scott A | Method for combining transfer functions with predetermined key creation |
| US6205249B1 (en) | 1998-04-02 | 2001-03-20 | Scott A. Moskowitz | Multiple transform utilization and applications for secure digital watermarking |
| US7457962B2 (en) * | 1996-07-02 | 2008-11-25 | Wistaria Trading, Inc | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
| US7177429B2 (en) * | 2000-12-07 | 2007-02-13 | Blue Spike, Inc. | System and methods for permitting open access to data objects and for securing data within the data objects |
| US7346472B1 (en) | 2000-09-07 | 2008-03-18 | Blue Spike, Inc. | Method and device for monitoring and analyzing signals |
| US5889868A (en) | 1996-07-02 | 1999-03-30 | The Dice Company | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
| US7095874B2 (en) * | 1996-07-02 | 2006-08-22 | Wistaria Trading, Inc. | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
| US7159116B2 (en) | 1999-12-07 | 2007-01-02 | Blue Spike, Inc. | Systems, methods and devices for trusted transactions |
| US7730317B2 (en) * | 1996-12-20 | 2010-06-01 | Wistaria Trading, Inc. | Linear predictive coding implementation of digital watermarks |
| US7689532B1 (en) | 2000-07-20 | 2010-03-30 | Digimarc Corporation | Using embedded data with file sharing |
| US7664264B2 (en) * | 1999-03-24 | 2010-02-16 | Blue Spike, Inc. | Utilizing data reduction in steganographic and cryptographic systems |
| GB9909362D0 (en) * | 1999-04-23 | 1999-06-16 | Pace Micro Tech Plc | Memory database system for encrypted progarmme material |
| US8874244B2 (en) * | 1999-05-19 | 2014-10-28 | Digimarc Corporation | Methods and systems employing digital content |
| US7302574B2 (en) * | 1999-05-19 | 2007-11-27 | Digimarc Corporation | Content identifiers triggering corresponding responses through collaborative processing |
| US7185201B2 (en) | 1999-05-19 | 2007-02-27 | Digimarc Corporation | Content identifiers triggering corresponding responses |
| US7013301B2 (en) * | 2003-09-23 | 2006-03-14 | Predixis Corporation | Audio fingerprinting system and method |
| US20050038819A1 (en) * | 2000-04-21 | 2005-02-17 | Hicken Wendell T. | Music Recommendation system and method |
| US7475246B1 (en) | 1999-08-04 | 2009-01-06 | Blue Spike, Inc. | Secure personal content server |
| US8326584B1 (en) | 1999-09-14 | 2012-12-04 | Gracenote, Inc. | Music searching methods based on human perception |
| US7194752B1 (en) | 1999-10-19 | 2007-03-20 | Iceberg Industries, Llc | Method and apparatus for automatically recognizing input audio and/or video streams |
| US7174293B2 (en) * | 1999-09-21 | 2007-02-06 | Iceberg Industries Llc | Audio identification system and method |
| US6671407B1 (en) | 1999-10-19 | 2003-12-30 | Microsoft Corporation | System and method for hashing digital images |
| US6834308B1 (en) * | 2000-02-17 | 2004-12-21 | Audible Magic Corporation | Method and apparatus for identifying media content presented on a media playing device |
| US20060217828A1 (en) * | 2002-10-23 | 2006-09-28 | Hicken Wendell T | Music searching system and method |
| US8121843B2 (en) * | 2000-05-02 | 2012-02-21 | Digimarc Corporation | Fingerprint methods and systems for media signals |
| US6990453B2 (en) * | 2000-07-31 | 2006-01-24 | Landmark Digital Services Llc | System and methods for recognizing sound and music signals in high noise and distortion |
| US7853664B1 (en) | 2000-07-31 | 2010-12-14 | Landmark Digital Services Llc | Method and system for purchasing pre-recorded music |
| ATE445190T1 (de) | 2000-08-23 | 2009-10-15 | Gracenote Inc | Verfahren zur verbesserten wiedergabe von informationen, client-system und server-system |
| US8010988B2 (en) * | 2000-09-14 | 2011-08-30 | Cox Ingemar J | Using features extracted from an audio and/or video work to obtain information about the work |
| US8205237B2 (en) | 2000-09-14 | 2012-06-19 | Cox Ingemar J | Identifying works, using a sub-linear time search, such as an approximate nearest neighbor search, for initiating a work-based action, such as an action on the internet |
| US7127615B2 (en) * | 2000-09-20 | 2006-10-24 | Blue Spike, Inc. | Security based on subliminal and supraliminal channels for data objects |
| JP2002108350A (ja) * | 2000-09-28 | 2002-04-10 | Internatl Business Mach Corp <Ibm> | 音楽配信のための方法及びシステム |
| BR0114879A (pt) | 2000-10-24 | 2003-08-12 | Thomson Licensing Sa | Método de dimensionar uma página de executor de meios embutido |
| US8122236B2 (en) | 2001-10-24 | 2012-02-21 | Aol Inc. | Method of disseminating advertisements using an embedded media player page |
| WO2002056139A2 (en) | 2000-10-26 | 2002-07-18 | Digimarc Corporation | Method and system for internet access |
| FR2816157A1 (fr) * | 2000-10-31 | 2002-05-03 | Thomson Multimedia Sa | Procede de traitement de donnees video distinees a etre visualisees sur ecran et dispositif mettant en oeuvre le procede |
| US7925967B2 (en) * | 2000-11-21 | 2011-04-12 | Aol Inc. | Metadata quality improvement |
| US20020072982A1 (en) | 2000-12-12 | 2002-06-13 | Shazam Entertainment Ltd. | Method and system for interacting with a user in an experiential environment |
| AU2002232817A1 (en) | 2000-12-21 | 2002-07-01 | Digimarc Corporation | Methods, apparatus and programs for generating and utilizing content signatures |
| US20020091761A1 (en) * | 2001-01-10 | 2002-07-11 | Lambert James P. | Technique of generating a composite media stream |
| WO2002065782A1 (en) * | 2001-02-12 | 2002-08-22 | Koninklijke Philips Electronics N.V. | Generating and matching hashes of multimedia content |
| WO2003005242A1 (en) * | 2001-03-23 | 2003-01-16 | Kent Ridge Digital Labs | Method and system of representing musical information in a digital representation for use in content-based multimedia information retrieval |
| US7363278B2 (en) | 2001-04-05 | 2008-04-22 | Audible Magic Corporation | Copyright detection and protection system and method |
| US7248715B2 (en) * | 2001-04-06 | 2007-07-24 | Digimarc Corporation | Digitally watermarking physical media |
| DE10117871C1 (de) * | 2001-04-10 | 2002-07-04 | Fraunhofer Ges Forschung | Verfahren und Vorrichtung zum Extrahieren einer Signalkennung, Verfahren und Vorrichtung zum Erzeugen einer Datenbank aus Signalkennungen und Verfahren und Vorrichtung zum Referenzieren eines Such-Zeitsignals |
| US7421376B1 (en) | 2001-04-24 | 2008-09-02 | Auditude, Inc. | Comparison of data signals using characteristic electronic thumbprints |
| US6996273B2 (en) * | 2001-04-24 | 2006-02-07 | Microsoft Corporation | Robust recognizer of perceptually similar content |
| US7356188B2 (en) * | 2001-04-24 | 2008-04-08 | Microsoft Corporation | Recognizer of text-based work |
| US7020775B2 (en) * | 2001-04-24 | 2006-03-28 | Microsoft Corporation | Derivation and quantization of robust non-local characteristics for blind watermarking |
| US6973574B2 (en) * | 2001-04-24 | 2005-12-06 | Microsoft Corp. | Recognizer of audio-content in digital signals |
| US6975743B2 (en) * | 2001-04-24 | 2005-12-13 | Microsoft Corporation | Robust and stealthy video watermarking into regions of successive frames |
| US7046819B2 (en) * | 2001-04-25 | 2006-05-16 | Digimarc Corporation | Encoded reference signal for digital watermarks |
| US7962482B2 (en) * | 2001-05-16 | 2011-06-14 | Pandora Media, Inc. | Methods and systems for utilizing contextual feedback to generate and modify playlists |
| DE60236161D1 (de) * | 2001-07-20 | 2010-06-10 | Gracenote Inc | Automatische identifizierung von klangaufzeichnungen |
| US8972481B2 (en) | 2001-07-20 | 2015-03-03 | Audible Magic, Inc. | Playlist generation method and apparatus |
| US20030028796A1 (en) * | 2001-07-31 | 2003-02-06 | Gracenote, Inc. | Multiple step identification of recordings |
| US6724914B2 (en) * | 2001-10-16 | 2004-04-20 | Digimarc Corporation | Progressive watermark decoding on a distributed computing platform |
| US7035867B2 (en) * | 2001-11-28 | 2006-04-25 | Aerocast.Com, Inc. | Determining redundancies in content object directories |
| US20050010604A1 (en) | 2001-12-05 | 2005-01-13 | Digital Networks North America, Inc. | Automatic identification of DVD title using internet technologies and fuzzy matching techniques |
| US7020304B2 (en) | 2002-01-22 | 2006-03-28 | Digimarc Corporation | Digital watermarking and fingerprinting including synchronization, layering, version control, and compressed embedding |
| EP1474761A2 (en) | 2002-02-05 | 2004-11-10 | Koninklijke Philips Electronics N.V. | Efficient storage of fingerprints |
| AU2003222132A1 (en) * | 2002-03-28 | 2003-10-13 | Martin Dunsmuir | Closed-loop command and response system for automatic communications between interacting computer systems over an audio communications channel |
| US7287275B2 (en) | 2002-04-17 | 2007-10-23 | Moskowitz Scott A | Methods, systems and devices for packet watermarking and efficient provisioning of bandwidth |
| EP1497991B1 (en) | 2002-04-22 | 2021-04-14 | Nielsen Media Research, Inc. | Methods and apparatus to collect audience information associated with a media presentation |
| DK1504445T3 (da) * | 2002-04-25 | 2008-12-01 | Landmark Digital Services Llc | Robust og invariant lydmönster-matching |
| US7824029B2 (en) * | 2002-05-10 | 2010-11-02 | L-1 Secure Credentialing, Inc. | Identification card printer-assembler for over the counter card issuing |
| JP2005525600A (ja) * | 2002-05-10 | 2005-08-25 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 透かしの埋め込み及び取り出し |
| US7899915B2 (en) | 2002-05-10 | 2011-03-01 | Richard Reisman | Method and apparatus for browsing using multiple coordinated device sets |
| US7421096B2 (en) * | 2004-02-23 | 2008-09-02 | Delefevre Patrick Y | Input mechanism for fingerprint-based internet search |
| US7461392B2 (en) * | 2002-07-01 | 2008-12-02 | Microsoft Corporation | System and method for identifying and segmenting repeating media objects embedded in a stream |
| US7095873B2 (en) | 2002-06-28 | 2006-08-22 | Microsoft Corporation | Watermarking via quantization of statistics of overlapping regions |
| US7006703B2 (en) * | 2002-06-28 | 2006-02-28 | Microsoft Corporation | Content recognizer via probabilistic mirror distribution |
| WO2004004351A1 (en) * | 2002-07-01 | 2004-01-08 | Microsoft Corporation | A system and method for providing user control over repeating objects embedded in a stream |
| US7949689B2 (en) * | 2002-07-18 | 2011-05-24 | Accenture Global Services Limited | Media indexing beacon and capture device |
| DE10232916B4 (de) * | 2002-07-19 | 2008-08-07 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Charakterisieren eines Informationssignals |
| US7239981B2 (en) | 2002-07-26 | 2007-07-03 | Arbitron Inc. | Systems and methods for gathering audience measurement data |
| US20030191764A1 (en) * | 2002-08-06 | 2003-10-09 | Isaac Richards | System and method for acoustic fingerpringting |
| KR100872191B1 (ko) * | 2002-09-27 | 2008-12-09 | 인터내셔널 비지네스 머신즈 코포레이션 | 발표 하이퍼링크 타임 테이블 생성 방법, 발표 처리 방법, 컴퓨팅 시스템 및 컴퓨터 판독가능한 기록 매체 |
| US9711153B2 (en) | 2002-09-27 | 2017-07-18 | The Nielsen Company (Us), Llc | Activating functions in processing devices using encoded audio and detecting audio signatures |
| US8959016B2 (en) | 2002-09-27 | 2015-02-17 | The Nielsen Company (Us), Llc | Activating functions in processing devices using start codes embedded in audio |
| CN1685703A (zh) * | 2002-09-30 | 2005-10-19 | 皇家飞利浦电子股份有限公司 | “指纹”的提取 |
| US7171561B2 (en) * | 2002-10-17 | 2007-01-30 | The United States Of America As Represented By The Secretary Of The Air Force | Method and apparatus for detecting and extracting fileprints |
| SE524936C2 (sv) * | 2002-10-23 | 2004-10-26 | Softhouse Nordic Ab | Mobil likhetsbedömning av objekt |
| KR20050061594A (ko) * | 2002-11-01 | 2005-06-22 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 개선된 오디오 데이터 지문 검색 |
| KR20050086470A (ko) * | 2002-11-12 | 2005-08-30 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 멀티미디어 컨텐츠를 핑거프린트하는 방법 |
| JP4172259B2 (ja) * | 2002-11-26 | 2008-10-29 | ソニー株式会社 | 情報処理装置および方法、並びにコンピュータ・プログラム |
| US6958103B2 (en) * | 2002-12-23 | 2005-10-25 | Kimberly-Clark Worldwide, Inc. | Entangled fabrics containing staple fibers |
| AU2003234420A1 (en) | 2002-12-27 | 2004-07-29 | Nielsen Media Research, Inc. | Methods and apparatus for transcoding metadata |
| US8201194B2 (en) * | 2003-01-06 | 2012-06-12 | Wijnands Rudi J M | Real-time recording agent for streaming data from an internet |
| US7593915B2 (en) * | 2003-01-07 | 2009-09-22 | Accenture Global Services Gmbh | Customized multi-media services |
| EP1593217A4 (en) | 2003-02-10 | 2009-04-01 | Nielsen Media Res Inc | METHOD AND DEVICE FOR ADAPTIVELY COLLECTING INVESTIGATOR INFORMATION DATA |
| US7606790B2 (en) | 2003-03-03 | 2009-10-20 | Digimarc Corporation | Integrating and enhancing searching of media content and biometric databases |
| WO2004084181A2 (en) * | 2003-03-15 | 2004-09-30 | Mindspeed Technologies, Inc. | Simple noise suppression model |
| US20060235864A1 (en) * | 2005-04-14 | 2006-10-19 | Apple Computer, Inc. | Audio sampling and acquisition system |
| US20040243852A1 (en) * | 2003-05-28 | 2004-12-02 | Rosenstein Adam H. | Method, system and software for state signing of internet resources |
| WO2005113099A2 (en) | 2003-05-30 | 2005-12-01 | America Online, Inc. | Personalizing content |
| US20040237759A1 (en) * | 2003-05-30 | 2004-12-02 | Bill David S. | Personalizing content |
| JP2007528144A (ja) * | 2003-07-11 | 2007-10-04 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置 |
| US7505964B2 (en) * | 2003-09-12 | 2009-03-17 | Google Inc. | Methods and systems for improving a search ranking using related queries |
| US7454417B2 (en) * | 2003-09-12 | 2008-11-18 | Google Inc. | Methods and systems for improving a search ranking using population information |
| EP1668903A4 (en) | 2003-09-12 | 2011-01-05 | Nielsen Media Res Inc | DEVICES AND METHOD FOR DIGITAL VIDEO SIGNATURES FOR USE WITH VIDEO PROGRAM IDENTIFICATION SYSTEMS |
| US7715934B2 (en) * | 2003-09-19 | 2010-05-11 | Macrovision Corporation | Identification of input files using reference files associated with nodes of a sparse binary tree |
| JP4328169B2 (ja) * | 2003-10-02 | 2009-09-09 | オリンパス株式会社 | データ処理装置 |
| US7383174B2 (en) * | 2003-10-03 | 2008-06-03 | Paulin Matthew A | Method for generating and assigning identifying tags to sound files |
| WO2005041109A2 (en) * | 2003-10-17 | 2005-05-06 | Nielsen Media Research, Inc. | Methods and apparatus for identifiying audio/video content using temporal signal characteristics |
| US7379875B2 (en) * | 2003-10-24 | 2008-05-27 | Microsoft Corporation | Systems and methods for generating audio thumbnails |
| US8554681B1 (en) * | 2003-11-03 | 2013-10-08 | James W. Wieder | Providing “identified” compositions and digital-works |
| US9098681B2 (en) | 2003-11-03 | 2015-08-04 | James W. Wieder | Adaptive personalized playback or presentation using cumulative time |
| US7884274B1 (en) | 2003-11-03 | 2011-02-08 | Wieder James W | Adaptive personalized music and entertainment |
| US9053181B2 (en) | 2003-11-03 | 2015-06-09 | James W. Wieder | Adaptive personalized playback or presentation using count |
| US8001612B1 (en) | 2003-11-03 | 2011-08-16 | Wieder James W | Distributing digital-works and usage-rights to user-devices |
| US20150128039A1 (en) | 2003-11-03 | 2015-05-07 | James W. Wieder | Newness Control of a Personalized Music and/or Entertainment Sequence |
| US9053299B2 (en) | 2003-11-03 | 2015-06-09 | James W. Wieder | Adaptive personalized playback or presentation using rating |
| US11165999B1 (en) | 2003-11-03 | 2021-11-02 | Synergyze Technologies Llc | Identifying and providing compositions and digital-works |
| US8396800B1 (en) | 2003-11-03 | 2013-03-12 | James W. Wieder | Adaptive personalized music and entertainment |
| US8521725B1 (en) | 2003-12-03 | 2013-08-27 | Google Inc. | Systems and methods for improved searching |
| US7831832B2 (en) * | 2004-01-06 | 2010-11-09 | Microsoft Corporation | Digital goods representation based upon matrix invariances |
| CN1998168B (zh) | 2004-02-19 | 2011-04-06 | 兰德马克数字服务有限责任公司 | 用于广播源辨识的方法与装置 |
| ATE543140T1 (de) | 2004-02-26 | 2012-02-15 | Mediaguide Inc | Verfahren und vorrichtung zur automatischen erkennung und identifikation der sendung von audio- oder videoprogrammsignalen |
| US7877810B2 (en) * | 2004-03-02 | 2011-01-25 | Rovi Solutions Corporation | System, method and client user interface for a copy protection service |
| US7925657B1 (en) | 2004-03-17 | 2011-04-12 | Google Inc. | Methods and systems for adjusting a scoring measure based on query breadth |
| US20050215239A1 (en) * | 2004-03-26 | 2005-09-29 | Nokia Corporation | Feature extraction in a networked portable device |
| KR100967125B1 (ko) * | 2004-03-26 | 2010-07-05 | 노키아 코포레이션 | 네트워크 휴대용 장치에서의 특징 추출 |
| US20050216512A1 (en) * | 2004-03-26 | 2005-09-29 | Rahav Dor | Method of accessing a work of art, a product, or other tangible or intangible objects without knowing the title or name thereof using fractional sampling of the work of art or object |
| US7221902B2 (en) * | 2004-04-07 | 2007-05-22 | Nokia Corporation | Mobile station and interface adapted for feature extraction from an input media sample |
| WO2005101243A1 (en) * | 2004-04-13 | 2005-10-27 | Matsushita Electric Industrial Co. Ltd. | Method and apparatus for identifying audio such as music |
| WO2005101998A2 (en) | 2004-04-19 | 2005-11-03 | Landmark Digital Services Llc | Content sampling and identification |
| CN1998044B (zh) * | 2004-04-29 | 2011-08-03 | 皇家飞利浦电子股份有限公司 | 音频信号分类方法和系统 |
| US7770014B2 (en) | 2004-04-30 | 2010-08-03 | Microsoft Corporation | Randomized signal transforms and their applications |
| US7565213B2 (en) * | 2004-05-07 | 2009-07-21 | Gracenote, Inc. | Device and method for analyzing an information signal |
| DE102004022659B3 (de) * | 2004-05-07 | 2005-10-13 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung zum Charakterisieren eines Tonsignals |
| US7273978B2 (en) | 2004-05-07 | 2007-09-25 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Device and method for characterizing a tone signal |
| DE102004023436B4 (de) * | 2004-05-10 | 2006-06-14 | M2Any Gmbh | Vorrichtung und Verfahren zum Analysieren eines Informationssignals |
| US20050251455A1 (en) * | 2004-05-10 | 2005-11-10 | Boesen Peter V | Method and system for purchasing access to a recording |
| US20150051967A1 (en) * | 2004-05-27 | 2015-02-19 | Anonymous Media Research, Llc | Media usage monitoring and measurment system and method |
| US20050267750A1 (en) * | 2004-05-27 | 2005-12-01 | Anonymous Media, Llc | Media usage monitoring and measurement system and method |
| WO2006012241A2 (en) * | 2004-06-24 | 2006-02-02 | Landmark Digital Services Llc | Method of characterizing the overlap of two media segments |
| JP4327202B2 (ja) | 2004-07-01 | 2009-09-09 | 日本電信電話株式会社 | 特定音響信号含有区間検出システム及びその方法並びにプログラム |
| US20090138108A1 (en) * | 2004-07-06 | 2009-05-28 | Kok Keong Teo | Method and System for Identification of Audio Input |
| EP2312475B1 (en) | 2004-07-09 | 2012-05-09 | Nippon Telegraph and Telephone Corporation | Sound signal detection and image signal detection |
| CN101032106B (zh) | 2004-08-06 | 2014-07-23 | 数字标记公司 | 便携计算装置中的快速信号检测和分布式计算 |
| US20060212149A1 (en) * | 2004-08-13 | 2006-09-21 | Hicken Wendell T | Distributed system and method for intelligent data analysis |
| US7623823B2 (en) * | 2004-08-31 | 2009-11-24 | Integrated Media Measurement, Inc. | Detecting and measuring exposure to media content items |
| DE102004046746B4 (de) | 2004-09-27 | 2007-03-01 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zum Synchronisieren von Zusatzdaten und Basisdaten |
| US7574451B2 (en) * | 2004-11-02 | 2009-08-11 | Microsoft Corporation | System and method for speeding up database lookups for multiple synchronized data streams |
| US7826708B2 (en) * | 2004-11-02 | 2010-11-02 | Microsoft Corporation | System and method for automatically customizing a buffered media stream |
| EP1667106B1 (en) * | 2004-12-06 | 2009-11-25 | Sony Deutschland GmbH | Method for generating an audio signature |
| US20060135098A1 (en) * | 2004-12-17 | 2006-06-22 | Yarosz Matthew J | Method and apparatus for processing digital broadcast audio in the AM/FM bands |
| US7567899B2 (en) * | 2004-12-30 | 2009-07-28 | All Media Guide, Llc | Methods and apparatus for audio recognition |
| US7921369B2 (en) * | 2004-12-30 | 2011-04-05 | Aol Inc. | Mood-based organization and display of instant messenger buddy lists |
| US7451078B2 (en) * | 2004-12-30 | 2008-11-11 | All Media Guide, Llc | Methods and apparatus for identifying media objects |
| US7634405B2 (en) * | 2005-01-24 | 2009-12-15 | Microsoft Corporation | Palette-based classifying and synthesizing of auditory information |
| JP5150266B2 (ja) * | 2005-02-08 | 2013-02-20 | ランドマーク、ディジタル、サーヴィセズ、エルエルシー | オーディオ信号において繰り返されるマテリアルの自動識別 |
| US20060224798A1 (en) * | 2005-02-22 | 2006-10-05 | Klein Mark D | Personal music preference determination based on listening behavior |
| US7818350B2 (en) | 2005-02-28 | 2010-10-19 | Yahoo! Inc. | System and method for creating a collaborative playlist |
| KR20070116853A (ko) * | 2005-03-04 | 2007-12-11 | 뮤직아이피 코포레이션 | 플레이리스트를 작성하기 위한 스캔 셔플 |
| DE102005014477A1 (de) * | 2005-03-30 | 2006-10-12 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zum Erzeugen eines Datenstroms und zum Erzeugen einer Multikanal-Darstellung |
| WO2006112843A1 (en) * | 2005-04-19 | 2006-10-26 | Sean Ward | Distributed acoustic fingerprint based recognition |
| US8065332B2 (en) * | 2005-05-19 | 2011-11-22 | Ntt Docomo, Inc. | Method and apparatus for communication efficient private information retrieval and oblivious transfer |
| US20070016918A1 (en) * | 2005-05-20 | 2007-01-18 | Alcorn Allan E | Detecting and tracking advertisements |
| US7613736B2 (en) * | 2005-05-23 | 2009-11-03 | Resonance Media Services, Inc. | Sharing music essence in a recommendation system |
| KR20060133410A (ko) * | 2005-06-20 | 2006-12-26 | 엘지전자 주식회사 | 복합 미디어 장치에서 파일 검색 및 파일 데이터베이스관리 방법 |
| US20070028262A1 (en) * | 2005-07-29 | 2007-02-01 | Zermatt Systems, Inc. | Virtual discovery of content available to a device |
| US20070033229A1 (en) * | 2005-08-03 | 2007-02-08 | Ethan Fassett | System and method for indexing structured and unstructured audio content |
| US20070106405A1 (en) * | 2005-08-19 | 2007-05-10 | Gracenote, Inc. | Method and system to provide reference data for identification of digital content |
| US7516074B2 (en) * | 2005-09-01 | 2009-04-07 | Auditude, Inc. | Extraction and matching of characteristic fingerprints from audio signals |
| CN100367279C (zh) * | 2005-09-08 | 2008-02-06 | 上海交通大学 | 数字音乐旋律的跨越式高速匹配装置 |
| US7809943B2 (en) * | 2005-09-27 | 2010-10-05 | Rovi Solutions Corporation | Method and system for establishing trust in a peer-to-peer network |
| US20070078708A1 (en) * | 2005-09-30 | 2007-04-05 | Hua Yu | Using speech recognition to determine advertisements relevant to audio content and/or audio content relevant to advertisements |
| US20070076869A1 (en) * | 2005-10-03 | 2007-04-05 | Microsoft Corporation | Digital goods representation based upon matrix invariants using non-negative matrix factorizations |
| EP1938269A1 (en) * | 2005-10-13 | 2008-07-02 | Koninklijke Philips Electronics N.V. | Remote informed watermark detection system |
| US9697231B2 (en) * | 2005-11-09 | 2017-07-04 | Cxense Asa | Methods and apparatus for providing virtual media channels based on media search |
| US20070118873A1 (en) * | 2005-11-09 | 2007-05-24 | Bbnt Solutions Llc | Methods and apparatus for merging media content |
| US9697230B2 (en) * | 2005-11-09 | 2017-07-04 | Cxense Asa | Methods and apparatus for dynamic presentation of advertising, factual, and informational content using enhanced metadata in search-driven media applications |
| US7801910B2 (en) | 2005-11-09 | 2010-09-21 | Ramp Holdings, Inc. | Method and apparatus for timed tagging of media content |
| KR100803206B1 (ko) | 2005-11-11 | 2008-02-14 | 삼성전자주식회사 | 오디오 지문 생성과 오디오 데이터 검색 장치 및 방법 |
| US7844774B2 (en) * | 2005-11-16 | 2010-11-30 | Sun Microsystems, Inc. | Extensible fingerprinting functions and content addressed storage system using the same |
| KR101488317B1 (ko) | 2005-12-20 | 2015-02-04 | 아비트론 인코포레이티드 | 리서치 작업을 수행하는 방법 및 시스템 |
| EP1963958B1 (en) | 2005-12-21 | 2019-04-24 | Digimarc Corporation | Rules driven pan id metadata routing system and network |
| US8086722B2 (en) | 2005-12-21 | 2011-12-27 | Rovi Solutions Corporation | Techniques for measuring peer-to-peer (P2P) networks |
| US20070162761A1 (en) * | 2005-12-23 | 2007-07-12 | Davis Bruce L | Methods and Systems to Help Detect Identity Fraud |
| US8254308B1 (en) * | 2006-01-05 | 2012-08-28 | Sprint Spectrum L.P. | Method and system for acoustically triggering electronic coupon retrieval |
| WO2007080764A1 (ja) * | 2006-01-12 | 2007-07-19 | Matsushita Electric Industrial Co., Ltd. | 対象音分析装置、対象音分析方法および対象音分析プログラム |
| US8108452B2 (en) * | 2006-01-12 | 2012-01-31 | Yahoo! Inc. | Keyword based audio comparison |
| FR2897217A1 (fr) * | 2006-02-03 | 2007-08-10 | France Telecom | Determination d'identificateur de signal |
| US8209180B2 (en) * | 2006-02-08 | 2012-06-26 | Nec Corporation | Speech synthesizing device, speech synthesizing method, and program |
| KR100774585B1 (ko) * | 2006-02-10 | 2007-11-09 | 삼성전자주식회사 | 변조 스펙트럼을 이용한 음악 정보 검색 방법 및 그 장치 |
| US7653342B2 (en) * | 2006-02-16 | 2010-01-26 | Dell Products L.P. | Providing content to a device when lost a connection to the broadcasting station |
| US20070196802A1 (en) * | 2006-02-21 | 2007-08-23 | Nokia Corporation | Visually Enhanced Personal Music Broadcast |
| KR100788682B1 (ko) * | 2006-03-03 | 2007-12-26 | 삼성전자주식회사 | 음원 컨텐츠 전송 서비스 제공 방법 및 장치 |
| US8626707B2 (en) * | 2006-03-15 | 2014-01-07 | Beats Music, Llc | Automatic meta-data sharing of existing media to create streamable collections |
| US8285595B2 (en) | 2006-03-29 | 2012-10-09 | Napo Enterprises, Llc | System and method for refining media recommendations |
| US7765192B2 (en) * | 2006-03-29 | 2010-07-27 | Abo Enterprises, Llc | System and method for archiving a media collection |
| WO2007120518A2 (en) | 2006-03-31 | 2007-10-25 | Nielsen Media Research, Inc. | Methods, systems, and apparatus for multi-purpose metering |
| MX2007015979A (es) | 2006-03-31 | 2009-04-07 | Nielsen Media Res Inc | Metodos, sistemas y aparato para medicion de multiples fines. |
| US7772478B2 (en) * | 2006-04-12 | 2010-08-10 | Massachusetts Institute Of Technology | Understanding music |
| US20070244985A1 (en) * | 2006-04-13 | 2007-10-18 | Concert Technology Corporation | User system providing previews of a user's media collection to an associated portable media player |
| US20070245377A1 (en) * | 2006-04-13 | 2007-10-18 | Concert Technology Corporation | Central system providing previews to a portable media player |
| US7603434B2 (en) * | 2006-04-13 | 2009-10-13 | Domingo Enterprises, Llc | Central system providing previews of a user's media collection to a portable media player |
| US20070245378A1 (en) * | 2006-04-13 | 2007-10-18 | Concert Technology Corporation | User system providing previews to an associated portable media player |
| US8316081B2 (en) * | 2006-04-13 | 2012-11-20 | Domingo Enterprises, Llc | Portable media player enabled to obtain previews of a user's media collection |
| US7444388B1 (en) | 2006-04-13 | 2008-10-28 | Concert Technology Corporation | System and method for obtaining media content for a portable media player |
| US7774385B1 (en) | 2007-07-02 | 2010-08-10 | Datascout, Inc. | Techniques for providing a surrogate heuristic identification interface |
| US7840540B2 (en) * | 2006-04-20 | 2010-11-23 | Datascout, Inc. | Surrogate hashing |
| US7801868B1 (en) | 2006-04-20 | 2010-09-21 | Datascout, Inc. | Surrogate hashing |
| US8549022B1 (en) | 2007-07-02 | 2013-10-01 | Datascout, Inc. | Fingerprint generation of multimedia content based on a trigger point with the multimedia content |
| US7814070B1 (en) | 2006-04-20 | 2010-10-12 | Datascout, Inc. | Surrogate hashing |
| US8463000B1 (en) | 2007-07-02 | 2013-06-11 | Pinehill Technology, Llc | Content identification based on a search of a fingerprint database |
| US8156132B1 (en) | 2007-07-02 | 2012-04-10 | Pinehill Technology, Llc | Systems for comparing image fingerprints |
| US9020964B1 (en) * | 2006-04-20 | 2015-04-28 | Pinehill Technology, Llc | Generation of fingerprints for multimedia content based on vectors and histograms |
| US7991206B1 (en) | 2007-07-02 | 2011-08-02 | Datascout, Inc. | Surrogate heuristic identification |
| KR100684457B1 (ko) * | 2006-05-04 | 2007-02-22 | 주식회사 모빌리언스 | 이동통신단말의 외부 음원 인식을 이용하여 사용자에게고유정보를 제공하는 고유정보 제공 시스템, 고유정보 제공방법 및 그 이동통신단말 |
| US8903843B2 (en) | 2006-06-21 | 2014-12-02 | Napo Enterprises, Llc | Historical media recommendation service |
| KR101071043B1 (ko) * | 2006-07-03 | 2011-10-06 | 인텔 코오퍼레이션 | 고속 오디오 검색을 위한 방법 및 장치 |
| US8805831B2 (en) | 2006-07-11 | 2014-08-12 | Napo Enterprises, Llc | Scoring and replaying media items |
| US8059646B2 (en) * | 2006-07-11 | 2011-11-15 | Napo Enterprises, Llc | System and method for identifying music content in a P2P real time recommendation network |
| US7680959B2 (en) | 2006-07-11 | 2010-03-16 | Napo Enterprises, Llc | P2P network for providing real time media recommendations |
| US7970922B2 (en) | 2006-07-11 | 2011-06-28 | Napo Enterprises, Llc | P2P real time media recommendations |
| US9003056B2 (en) | 2006-07-11 | 2015-04-07 | Napo Enterprises, Llc | Maintaining a minimum level of real time media recommendations in the absence of online friends |
| US8327266B2 (en) | 2006-07-11 | 2012-12-04 | Napo Enterprises, Llc | Graphical user interface system for allowing management of a media item playlist based on a preference scoring system |
| US9633356B2 (en) * | 2006-07-20 | 2017-04-25 | Aol Inc. | Targeted advertising for playlists based upon search queries |
| US8620699B2 (en) * | 2006-08-08 | 2013-12-31 | Napo Enterprises, Llc | Heavy influencer media recommendations |
| US8090606B2 (en) | 2006-08-08 | 2012-01-03 | Napo Enterprises, Llc | Embedded media recommendations |
| JP4961300B2 (ja) * | 2006-08-14 | 2012-06-27 | 三洋電機株式会社 | 楽曲一致判定装置、楽曲記録装置、楽曲一致判定方法、楽曲記録方法、楽曲一致判定プログラム、及び楽曲記録プログラム |
| US8239190B2 (en) * | 2006-08-22 | 2012-08-07 | Qualcomm Incorporated | Time-warping frames of wideband vocoder |
| US20080051029A1 (en) * | 2006-08-25 | 2008-02-28 | Bradley James Witteman | Phone-based broadcast audio identification |
| US9654447B2 (en) | 2006-08-29 | 2017-05-16 | Digimarc Corporation | Customized handling of copied content based on owner-specified similarity thresholds |
| US8738749B2 (en) | 2006-08-29 | 2014-05-27 | Digimarc Corporation | Content monitoring and host compliance evaluation |
| US8707459B2 (en) | 2007-01-19 | 2014-04-22 | Digimarc Corporation | Determination of originality of content |
| US8726195B2 (en) | 2006-09-05 | 2014-05-13 | Aol Inc. | Enabling an IM user to navigate a virtual world |
| WO2008042953A1 (en) | 2006-10-03 | 2008-04-10 | Shazam Entertainment, Ltd. | Method for high throughput of identification of distributed broadcast content |
| US9135951B2 (en) * | 2006-10-10 | 2015-09-15 | Qualcomm Incorporated | System and method for dynamic audio buffer management |
| US8661029B1 (en) | 2006-11-02 | 2014-02-25 | Google Inc. | Modifying search result ranking based on implicit user feedback |
| US8874655B2 (en) * | 2006-12-13 | 2014-10-28 | Napo Enterprises, Llc | Matching participants in a P2P recommendation network loosely coupled to a subscription service |
| US9179200B2 (en) | 2007-03-14 | 2015-11-03 | Digimarc Corporation | Method and system for determining content treatment |
| US10242415B2 (en) | 2006-12-20 | 2019-03-26 | Digimarc Corporation | Method and system for determining content treatment |
| EP2117143A3 (en) * | 2006-12-22 | 2012-03-14 | Apple Inc. | Communicating and storing information associated with media broadcasts |
| US20090070185A1 (en) * | 2007-01-17 | 2009-03-12 | Concert Technology Corporation | System and method for recommending a digital media subscription service |
| CA2676106A1 (en) | 2007-02-02 | 2008-08-14 | Websense, Inc. | System and method for adding context to prevent data leakage over a computer network |
| US8307092B2 (en) * | 2007-02-21 | 2012-11-06 | Napo Enterprises, Llc | Method and system for collecting information about a user's media collections from multiple login points |
| US8453170B2 (en) | 2007-02-27 | 2013-05-28 | Landmark Digital Services Llc | System and method for monitoring and recognizing broadcast data |
| US7453379B2 (en) * | 2007-03-12 | 2008-11-18 | Citrix Systems, Inc. | Systems and methods for identifying long matches of data in a compression history |
| EP2126727A4 (en) * | 2007-03-12 | 2010-04-14 | Webhitcontest Inc | METHOD AND SYSTEM FOR AUTOMATICALLY EVALUATING DIGITAL FILES |
| US7827237B2 (en) * | 2007-03-12 | 2010-11-02 | Citrix Systems, Inc. | Systems and methods for identifying long matches of data in a compression history |
| US7460038B2 (en) * | 2007-03-12 | 2008-12-02 | Citrix Systems, Inc. | Systems and methods of clustered sharing of compression histories |
| US7865585B2 (en) | 2007-03-12 | 2011-01-04 | Citrix Systems, Inc. | Systems and methods for providing dynamic ad hoc proxy-cache hierarchies |
| US7532134B2 (en) | 2007-03-12 | 2009-05-12 | Citrix Systems, Inc. | Systems and methods for sharing compression histories between multiple devices |
| US7619545B2 (en) * | 2007-03-12 | 2009-11-17 | Citrix Systems, Inc. | Systems and methods of using application and protocol specific parsing for compression |
| US8938463B1 (en) | 2007-03-12 | 2015-01-20 | Google Inc. | Modifying search result ranking based on implicit user feedback and a model of presentation bias |
| US8255570B2 (en) * | 2007-03-12 | 2012-08-28 | Citrix Systems, Inc. | Systems and methods of compression history expiration and synchronization |
| US7873634B2 (en) * | 2007-03-12 | 2011-01-18 | Hitlab Ulc. | Method and a system for automatic evaluation of digital files |
| GB0704856D0 (en) * | 2007-03-13 | 2007-04-18 | Wesby Philip B | System and method for data acquisition and processing |
| US8694374B1 (en) | 2007-03-14 | 2014-04-08 | Google Inc. | Detecting click spam |
| US9224427B2 (en) | 2007-04-02 | 2015-12-29 | Napo Enterprises LLC | Rating media item recommendations using recommendation paths and/or media item usage |
| US8112720B2 (en) | 2007-04-05 | 2012-02-07 | Napo Enterprises, Llc | System and method for automatically and graphically associating programmatically-generated media item recommendations related to a user's socially recommended media items |
| US10489795B2 (en) * | 2007-04-23 | 2019-11-26 | The Nielsen Company (Us), Llc | Determining relative effectiveness of media content items |
| US9092510B1 (en) | 2007-04-30 | 2015-07-28 | Google Inc. | Modifying search result ranking based on a temporal element of user feedback |
| US20080274687A1 (en) * | 2007-05-02 | 2008-11-06 | Roberts Dale T | Dynamic mixed media package |
| US7840177B2 (en) * | 2007-05-23 | 2010-11-23 | Landmark Digital Services, Llc | Device for monitoring multiple broadcast signals |
| US8849432B2 (en) * | 2007-05-31 | 2014-09-30 | Adobe Systems Incorporated | Acoustic pattern identification using spectral characteristics to synchronize audio and/or video |
| US9164993B2 (en) | 2007-06-01 | 2015-10-20 | Napo Enterprises, Llc | System and method for propagating a media item recommendation message comprising recommender presence information |
| US20080301187A1 (en) * | 2007-06-01 | 2008-12-04 | Concert Technology Corporation | Enhanced media item playlist comprising presence information |
| US8285776B2 (en) | 2007-06-01 | 2012-10-09 | Napo Enterprises, Llc | System and method for processing a received media item recommendation message comprising recommender presence information |
| US8839141B2 (en) | 2007-06-01 | 2014-09-16 | Napo Enterprises, Llc | Method and system for visually indicating a replay status of media items on a media device |
| US9037632B2 (en) | 2007-06-01 | 2015-05-19 | Napo Enterprises, Llc | System and method of generating a media item recommendation message with recommender presence information |
| US20090049045A1 (en) | 2007-06-01 | 2009-02-19 | Concert Technology Corporation | Method and system for sorting media items in a playlist on a media device |
| CN101681381B (zh) * | 2007-06-06 | 2012-11-07 | 杜比实验室特许公司 | 使用多搜索组合改善音频/视频指纹搜索精确度 |
| US8171030B2 (en) * | 2007-06-18 | 2012-05-01 | Zeitera, Llc | Method and apparatus for multi-dimensional content search and video identification |
| US8140331B2 (en) * | 2007-07-06 | 2012-03-20 | Xia Lou | Feature extraction for identification and classification of audio signals |
| US8006314B2 (en) | 2007-07-27 | 2011-08-23 | Audible Magic Corporation | System for identifying content of digital data |
| US8694511B1 (en) | 2007-08-20 | 2014-04-08 | Google Inc. | Modifying search result ranking based on populations |
| US8238669B2 (en) * | 2007-08-22 | 2012-08-07 | Google Inc. | Detection and classification of matches between time-based media |
| US7712150B2 (en) * | 2007-10-01 | 2010-05-11 | Pardillo Joseph M | Protective pad assembly magnetically attachable to garment |
| US8909655B1 (en) | 2007-10-11 | 2014-12-09 | Google Inc. | Time based ranking |
| KR100921867B1 (ko) * | 2007-10-17 | 2009-10-13 | 광주과학기술원 | 광대역 오디오 신호 부호화 복호화 장치 및 그 방법 |
| US8468014B2 (en) * | 2007-11-02 | 2013-06-18 | Soundhound, Inc. | Voicing detection modules in a system for automatic transcription of sung or hummed melodies |
| US7865522B2 (en) | 2007-11-07 | 2011-01-04 | Napo Enterprises, Llc | System and method for hyping media recommendations in a media recommendation system |
| US9060034B2 (en) | 2007-11-09 | 2015-06-16 | Napo Enterprises, Llc | System and method of filtering recommenders in a media item recommendation system |
| KR100939215B1 (ko) * | 2007-12-17 | 2010-01-28 | 한국전자통신연구원 | 인덱스 데이터베이스 생성 장치 및 검색 장치 |
| US9224150B2 (en) | 2007-12-18 | 2015-12-29 | Napo Enterprises, Llc | Identifying highly valued recommendations of users in a media recommendation network |
| US9734507B2 (en) | 2007-12-20 | 2017-08-15 | Napo Enterprise, Llc | Method and system for simulating recommendations in a social network for an offline user |
| US9130686B2 (en) * | 2007-12-20 | 2015-09-08 | Apple Inc. | Tagging of broadcast content using a portable media device controlled by an accessory |
| US8396951B2 (en) | 2007-12-20 | 2013-03-12 | Napo Enterprises, Llc | Method and system for populating a content repository for an internet radio service based on a recommendation network |
| US8316015B2 (en) | 2007-12-21 | 2012-11-20 | Lemi Technology, Llc | Tunersphere |
| US8060525B2 (en) * | 2007-12-21 | 2011-11-15 | Napo Enterprises, Llc | Method and system for generating media recommendations in a distributed environment based on tagging play history information with location information |
| US8117193B2 (en) | 2007-12-21 | 2012-02-14 | Lemi Technology, Llc | Tunersphere |
| EP2253121B1 (en) * | 2008-01-11 | 2012-07-04 | Telefonaktiebolaget L M Ericsson (publ) | Message handling in an ip multimedia subsystem |
| WO2009089621A1 (en) * | 2008-01-14 | 2009-07-23 | Algo Communication Products Ltd. | Methods and systems for searching audio records |
| WO2009107049A2 (en) * | 2008-02-26 | 2009-09-03 | Koninklijke Philips Electronics N.V. | Content identification method |
| US10216761B2 (en) * | 2008-03-04 | 2019-02-26 | Oath Inc. | Generating congruous metadata for multimedia |
| US9130986B2 (en) * | 2008-03-19 | 2015-09-08 | Websense, Inc. | Method and system for protection against information stealing software |
| US9015842B2 (en) * | 2008-03-19 | 2015-04-21 | Websense, Inc. | Method and system for protection against information stealing software |
| US8407784B2 (en) | 2008-03-19 | 2013-03-26 | Websense, Inc. | Method and system for protection against information stealing software |
| US8370948B2 (en) * | 2008-03-19 | 2013-02-05 | Websense, Inc. | System and method for analysis of electronic information dissemination events |
| US8312022B2 (en) | 2008-03-21 | 2012-11-13 | Ramp Holdings, Inc. | Search engine optimization |
| US8725740B2 (en) * | 2008-03-24 | 2014-05-13 | Napo Enterprises, Llc | Active playlist having dynamic media item groups |
| US8484311B2 (en) | 2008-04-17 | 2013-07-09 | Eloy Technology, Llc | Pruning an aggregate media collection |
| US9106801B2 (en) | 2008-04-25 | 2015-08-11 | Sony Corporation | Terminals, servers, and methods that find a media server to replace a sensed broadcast program/movie |
| DE102008022125A1 (de) | 2008-05-05 | 2009-11-19 | Siemens Aktiengesellschaft | Verfahren und Vorrichtung zur Klassifikation von schallerzeugenden Prozessen |
| US9128945B1 (en) | 2008-05-16 | 2015-09-08 | Google Inc. | Query augmentation |
| US8275177B2 (en) * | 2008-05-23 | 2012-09-25 | Oracle America, Inc. | System and method for media fingerprint indexing |
| GB2460306B (en) | 2008-05-29 | 2013-02-13 | Intrasonics Sarl | Data embedding system |
| JP4327886B1 (ja) * | 2008-05-30 | 2009-09-09 | 株式会社東芝 | 音質補正装置、音質補正方法及び音質補正用プログラム |
| JP4327888B1 (ja) * | 2008-05-30 | 2009-09-09 | 株式会社東芝 | 音声音楽判定装置、音声音楽判定方法及び音声音楽判定用プログラム |
| US20090305665A1 (en) * | 2008-06-04 | 2009-12-10 | Irwin Oliver Kennedy | Method of identifying a transmitting device |
| US20090307061A1 (en) * | 2008-06-10 | 2009-12-10 | Integrated Media Measurement, Inc. | Measuring Exposure To Media |
| US20090307084A1 (en) * | 2008-06-10 | 2009-12-10 | Integrated Media Measurement, Inc. | Measuring Exposure To Media Across Multiple Media Delivery Mechanisms |
| US8364698B2 (en) | 2008-07-11 | 2013-01-29 | Videosurf, Inc. | Apparatus and software system for and method of performing a visual-relevance-rank subsequent search |
| US20100023328A1 (en) * | 2008-07-28 | 2010-01-28 | Griffin Jr Paul P | Audio Recognition System |
| US20100057545A1 (en) * | 2008-08-28 | 2010-03-04 | Daniel Jean | System and method for sending sponsored message data in a communications network |
| CN101673262B (zh) * | 2008-09-12 | 2012-10-10 | 未序网络科技（上海）有限公司 | 音频内容的搜索方法 |
| US20100070537A1 (en) * | 2008-09-17 | 2010-03-18 | Eloy Technology, Llc | System and method for managing a personalized universal catalog of media items |
| US20100082180A1 (en) * | 2008-10-01 | 2010-04-01 | Honeywell International Inc. | Errant vehicle countermeasures |
| US8983677B2 (en) * | 2008-10-01 | 2015-03-17 | Honeywell International Inc. | Acoustic fingerprinting of mechanical devices |
| US20170034586A1 (en) * | 2008-10-08 | 2017-02-02 | Wakingapp Ltd. | System for content matching and triggering for reality-virtuality continuum-based environment and methods thereof |
| US8484227B2 (en) | 2008-10-15 | 2013-07-09 | Eloy Technology, Llc | Caching and synching process for a media sharing system |
| US8880599B2 (en) * | 2008-10-15 | 2014-11-04 | Eloy Technology, Llc | Collection digest for a media sharing system |
| US9667365B2 (en) | 2008-10-24 | 2017-05-30 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
| US8121830B2 (en) | 2008-10-24 | 2012-02-21 | The Nielsen Company (Us), Llc | Methods and apparatus to extract data encoded in media content |
| US8359205B2 (en) | 2008-10-24 | 2013-01-22 | The Nielsen Company (Us), Llc | Methods and apparatus to perform audio watermarking and watermark detection and extraction |
| GB2465141B (en) | 2008-10-31 | 2014-01-22 | Media Instr Sa | Simulcast resolution in content matching systems |
| US20100205628A1 (en) | 2009-02-12 | 2010-08-12 | Davis Bruce L | Media processing methods and arrangements |
| US9986279B2 (en) | 2008-11-26 | 2018-05-29 | Free Stream Media Corp. | Discovery, access control, and communication with networked services |
| US10880340B2 (en) | 2008-11-26 | 2020-12-29 | Free Stream Media Corp. | Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device |
| US9519772B2 (en) | 2008-11-26 | 2016-12-13 | Free Stream Media Corp. | Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device |
| US10334324B2 (en) | 2008-11-26 | 2019-06-25 | Free Stream Media Corp. | Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device |
| US10977693B2 (en) | 2008-11-26 | 2021-04-13 | Free Stream Media Corp. | Association of content identifier of audio-visual data with additional data through capture infrastructure |
| US9154942B2 (en) | 2008-11-26 | 2015-10-06 | Free Stream Media Corp. | Zero configuration communication between a browser and a networked media device |
| US10567823B2 (en) | 2008-11-26 | 2020-02-18 | Free Stream Media Corp. | Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device |
| US10631068B2 (en) | 2008-11-26 | 2020-04-21 | Free Stream Media Corp. | Content exposure attribution based on renderings of related content across multiple devices |
| US8508357B2 (en) | 2008-11-26 | 2013-08-13 | The Nielsen Company (Us), Llc | Methods and apparatus to encode and decode audio for shopper location and advertisement presentation tracking |
| US10419541B2 (en) | 2008-11-26 | 2019-09-17 | Free Stream Media Corp. | Remotely control devices over a network without authentication or registration |
| US8180891B1 (en) | 2008-11-26 | 2012-05-15 | Free Stream Media Corp. | Discovery, access control, and communication with networked services from within a security sandbox |
| US9961388B2 (en) | 2008-11-26 | 2018-05-01 | David Harrison | Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements |
| US9390167B2 (en) | 2010-07-29 | 2016-07-12 | Soundhound, Inc. | System and methods for continuous audio matching |
| US20100132122A1 (en) * | 2008-12-02 | 2010-06-03 | Dan Hollingshead | Bed-Mounted Computer Terminal |
| US8433431B1 (en) | 2008-12-02 | 2013-04-30 | Soundhound, Inc. | Displaying text to end users in coordination with audio playback |
| US8396865B1 (en) | 2008-12-10 | 2013-03-12 | Google Inc. | Sharing search engine relevance data between corpora |
| US8200602B2 (en) | 2009-02-02 | 2012-06-12 | Napo Enterprises, Llc | System and method for creating thematic listening experiences in a networked peer media recommendation environment |
| KR20110116201A (ko) * | 2009-02-05 | 2011-10-25 | 디지맥 코포레이션 | 휴대 전화용 ｔｖ 위젯의 텔레비전 기반 광고 및 배포 |
| US8312061B2 (en) * | 2009-02-10 | 2012-11-13 | Harman International Industries, Incorporated | System for broadcast information database |
| US9009146B1 (en) | 2009-04-08 | 2015-04-14 | Google Inc. | Ranking search results based on similar queries |
| US9633117B2 (en) | 2009-04-27 | 2017-04-25 | Hewlett Packard Enterprise Development Lp | System and method for making a recommendation based on user data |
| US8666528B2 (en) | 2009-05-01 | 2014-03-04 | The Nielsen Company (Us), Llc | Methods, apparatus and articles of manufacture to provide secondary content in association with primary broadcast media content |
| CN102461066B (zh) * | 2009-05-21 | 2015-09-09 | 数字标记公司 | 鉴别内容信号的方法 |
| US8687839B2 (en) * | 2009-05-21 | 2014-04-01 | Digimarc Corporation | Robust signatures derived from local nonlinear filters |
| AU2010254269A1 (en) | 2009-05-26 | 2011-12-22 | Websense, Inc. | Systems and methods for efficient detection of fingerprinted data and information |
| US8718805B2 (en) * | 2009-05-27 | 2014-05-06 | Spot411 Technologies, Inc. | Audio-based synchronization to media |
| US8489774B2 (en) | 2009-05-27 | 2013-07-16 | Spot411 Technologies, Inc. | Synchronized delivery of interactive content |
| US10116972B2 (en) | 2009-05-29 | 2018-10-30 | Inscape Data, Inc. | Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device |
| US10375451B2 (en) | 2009-05-29 | 2019-08-06 | Inscape Data, Inc. | Detection of common media segments |
| US8769584B2 (en) | 2009-05-29 | 2014-07-01 | TVI Interactive Systems, Inc. | Methods for displaying contextually targeted content on a connected television |
| US9449090B2 (en) | 2009-05-29 | 2016-09-20 | Vizio Inscape Technologies, Llc | Systems and methods for addressing a media database using distance associative hashing |
| US10949458B2 (en) | 2009-05-29 | 2021-03-16 | Inscape Data, Inc. | System and method for improving work load management in ACR television monitoring system |
| US9055309B2 (en) | 2009-05-29 | 2015-06-09 | Cognitive Networks, Inc. | Systems and methods for identifying video segments for displaying contextually relevant content |
| CN102460470B (zh) * | 2009-06-11 | 2014-12-03 | 杜比实验室特许公司 | 基于指纹的内容识别趋势分析 |
| US8620967B2 (en) | 2009-06-11 | 2013-12-31 | Rovi Technologies Corporation | Managing metadata for occurrences of a recording |
| US8713068B2 (en) * | 2009-06-11 | 2014-04-29 | Yahoo! Inc. | Media identification system with fingerprint database balanced according to search loads |
| US20100319043A1 (en) * | 2009-06-11 | 2010-12-16 | Microsoft Corporation | Interactive television architecture |
| US8381290B2 (en) * | 2009-07-17 | 2013-02-19 | Exelis Inc. | Intrusion detection systems and methods |
| US8447760B1 (en) | 2009-07-20 | 2013-05-21 | Google Inc. | Generating a related set of documents for an initial set of documents |
| US8498974B1 (en) | 2009-08-31 | 2013-07-30 | Google Inc. | Refining search results |
| JP5440051B2 (ja) * | 2009-09-11 | 2014-03-12 | 株式会社Ｊｖｃケンウッド | コンテンツ同定方法、コンテンツ同定システム、コンテンツ検索装置及びコンテンツ利用装置 |
| US20110069937A1 (en) * | 2009-09-18 | 2011-03-24 | Laura Toerner | Apparatus, system and method for identifying advertisements from a broadcast source and providing functionality relating to the same |
| US8677400B2 (en) | 2009-09-30 | 2014-03-18 | United Video Properties, Inc. | Systems and methods for identifying audio content using an interactive media guidance application |
| ES2475965T5 (es) * | 2009-09-30 | 2021-02-25 | Rovi Guides Inc | Sistemas y métodos para identificar contenido de audio utilizando una aplicación interactiva de guía de medios |
| US8161071B2 (en) | 2009-09-30 | 2012-04-17 | United Video Properties, Inc. | Systems and methods for audio asset storage and management |
| US8972391B1 (en) | 2009-10-02 | 2015-03-03 | Google Inc. | Recent interest based relevance scoring |
| US8706276B2 (en) | 2009-10-09 | 2014-04-22 | The Trustees Of Columbia University In The City Of New York | Systems, methods, and media for identifying matching audio |
| US8521779B2 (en) | 2009-10-09 | 2013-08-27 | Adelphoi Limited | Metadata record generation |
| US9197736B2 (en) * | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
| US8121618B2 (en) | 2009-10-28 | 2012-02-21 | Digimarc Corporation | Intuitive computing methods and systems |
| US9218530B2 (en) | 2010-11-04 | 2015-12-22 | Digimarc Corporation | Smartphone-based methods and systems |
| US8175617B2 (en) | 2009-10-28 | 2012-05-08 | Digimarc Corporation | Sensor-based mobile search, related methods and systems |
| US8594392B2 (en) * | 2009-11-18 | 2013-11-26 | Yahoo! Inc. | Media identification system for efficient matching of media items having common content |
| US8874555B1 (en) | 2009-11-20 | 2014-10-28 | Google Inc. | Modifying scoring data based on historical changes |
| EP2541963B1 (en) | 2009-12-29 | 2021-03-17 | Inscape Data, Inc. | Method for identifying video segments and displaying contextually targeted content on a connected television |
| US8886531B2 (en) * | 2010-01-13 | 2014-11-11 | Rovi Technologies Corporation | Apparatus and method for generating an audio fingerprint and using a two-stage query |
| US20110173185A1 (en) * | 2010-01-13 | 2011-07-14 | Rovi Technologies Corporation | Multi-stage lookup for rolling audio recognition |
| US8615514B1 (en) | 2010-02-03 | 2013-12-24 | Google Inc. | Evaluating website properties by partitioning user feedback |
| US8731943B2 (en) * | 2010-02-05 | 2014-05-20 | Little Wing World LLC | Systems, methods and automated technologies for translating words into music and creating music pieces |
| US8924379B1 (en) | 2010-03-05 | 2014-12-30 | Google Inc. | Temporal-based score adjustments |
| US8959093B1 (en) | 2010-03-15 | 2015-02-17 | Google Inc. | Ranking search results based on anchors |
| US20110238679A1 (en) * | 2010-03-24 | 2011-09-29 | Rovi Technologies Corporation | Representing text and other types of content by using a frequency domain |
| US8725766B2 (en) * | 2010-03-25 | 2014-05-13 | Rovi Technologies Corporation | Searching text and other types of content by using a frequency domain |
| US8560583B2 (en) | 2010-04-01 | 2013-10-15 | Sony Computer Entertainment Inc. | Media fingerprinting for social networking |
| US9264785B2 (en) * | 2010-04-01 | 2016-02-16 | Sony Computer Entertainment Inc. | Media fingerprinting for content determination and retrieval |
| CN103069823A (zh) * | 2010-04-14 | 2013-04-24 | 斯文·里思米勒 | 与媒体广播的平台无关的交互性 |
| US9159338B2 (en) | 2010-05-04 | 2015-10-13 | Shazam Entertainment Ltd. | Systems and methods of rendering a textual animation |
| KR101490576B1 (ko) | 2010-05-04 | 2015-02-11 | 샤잠 엔터테인먼트 리미티드 | 미디어의 동기화 방법 및 시스템 |
| US20120191231A1 (en) * | 2010-05-04 | 2012-07-26 | Shazam Entertainment Ltd. | Methods and Systems for Identifying Content in Data Stream by a Client Device |
| US9026034B2 (en) | 2010-05-04 | 2015-05-05 | Project Oda, Inc. | Automatic detection of broadcast programming |
| EP2567332A1 (en) | 2010-05-04 | 2013-03-13 | Shazam Entertainment Ltd. | Methods and systems for processing a sample of a media stream |
| US9413477B2 (en) | 2010-05-10 | 2016-08-09 | Microsoft Technology Licensing, Llc | Screen detector |
| US9508011B2 (en) * | 2010-05-10 | 2016-11-29 | Videosurf, Inc. | Video visual and audio query |
| US9311708B2 (en) | 2014-04-23 | 2016-04-12 | Microsoft Technology Licensing, Llc | Collaborative alignment of images |
| US9838753B2 (en) | 2013-12-23 | 2017-12-05 | Inscape Data, Inc. | Monitoring individual viewing of television events using tracking pixels and cookies |
| US10192138B2 (en) | 2010-05-27 | 2019-01-29 | Inscape Data, Inc. | Systems and methods for reducing data density in large datasets |
| EP2580750B1 (en) | 2010-06-09 | 2014-05-14 | Adelphoi Limited | System and method for audio media recognition |
| US20110307786A1 (en) * | 2010-06-11 | 2011-12-15 | Brian Shuster | Method and apparatus for bookmarking and retrieval of video content |
| US9623119B1 (en) | 2010-06-29 | 2017-04-18 | Google Inc. | Accentuating search results |
| US20110320944A1 (en) * | 2010-06-29 | 2011-12-29 | Nokia Corporation | Systems, methods, and apparatuses for generating an integrated user interface |
| US9814977B2 (en) | 2010-07-13 | 2017-11-14 | Sony Interactive Entertainment Inc. | Supplemental video content on a mobile device |
| US8730354B2 (en) | 2010-07-13 | 2014-05-20 | Sony Computer Entertainment Inc | Overlay video content on a mobile device |
| US9159165B2 (en) | 2010-07-13 | 2015-10-13 | Sony Computer Entertainment Inc. | Position-dependent gaming, 3-D controller, and handheld as a remote |
| US9143699B2 (en) | 2010-07-13 | 2015-09-22 | Sony Computer Entertainment Inc. | Overlay non-video content on a mobile device |
| US9832441B2 (en) | 2010-07-13 | 2017-11-28 | Sony Interactive Entertainment Inc. | Supplemental content on a mobile device |
| US8832083B1 (en) | 2010-07-23 | 2014-09-09 | Google Inc. | Combining user feedback |
| US9047371B2 (en) | 2010-07-29 | 2015-06-02 | Soundhound, Inc. | System and method for matching a query against a broadcast stream |
| US9876905B2 (en) | 2010-09-29 | 2018-01-23 | Genesys Telecommunications Laboratories, Inc. | System for initiating interactive communication in response to audio codes |
| KR20120034378A (ko) * | 2010-10-01 | 2012-04-12 | 엔에이치엔(주) | 사운드 인식을 통한 광고 정보 제공 시스템 및 방법 |
| JP5728888B2 (ja) * | 2010-10-29 | 2015-06-03 | ソニー株式会社 | 信号処理装置および方法、並びにプログラム |
| US8716584B1 (en) * | 2010-11-01 | 2014-05-06 | James W. Wieder | Using recognition-segments to find and play a composition containing sound |
| US8863165B2 (en) * | 2010-11-01 | 2014-10-14 | Gracenote, Inc. | Method and system for presenting additional content at a media system |
| US9484046B2 (en) | 2010-11-04 | 2016-11-01 | Digimarc Corporation | Smartphone-based methods and systems |
| US8762852B2 (en) * | 2010-11-04 | 2014-06-24 | Digimarc Corporation | Smartphone-based methods and systems |
| US8346792B1 (en) | 2010-11-09 | 2013-01-01 | Google Inc. | Query generation using structural similarity between documents |
| US8584198B2 (en) * | 2010-11-12 | 2013-11-12 | Google Inc. | Syndication including melody recognition and opt out |
| TWI716169B (zh) * | 2010-12-03 | 2021-01-11 | 美商杜比實驗室特許公司 | 音頻解碼裝置、音頻解碼方法及音頻編碼方法 |
| JP5750167B2 (ja) | 2010-12-07 | 2015-07-15 | エンパイア テクノロジー ディベロップメント エルエルシー | 端末間の体感品質を測定するためのオーディオフィンガープリントの差分 |
| US20120158769A1 (en) * | 2010-12-15 | 2012-06-21 | Dish Network L.L.C. | Music distribution and identification systems and methods |
| US9002867B1 (en) | 2010-12-30 | 2015-04-07 | Google Inc. | Modifying ranking data based on document changes |
| EP2659480B1 (en) | 2010-12-30 | 2016-07-27 | Dolby Laboratories Licensing Corporation | Repetition detection in media data |
| WO2012120531A2 (en) | 2011-02-02 | 2012-09-13 | Makarand Prabhakar Karanjkar | A method for fast and accurate audio content match detection |
| US9093120B2 (en) | 2011-02-10 | 2015-07-28 | Yahoo! Inc. | Audio fingerprint extraction by scaling in time and resampling |
| KR20140038374A (ko) * | 2011-02-18 | 2014-03-28 | 샤잠 엔터테인먼트 리미티드 | 클라이언트 장치에 의해 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템 |
| US20120224711A1 (en) * | 2011-03-04 | 2012-09-06 | Qualcomm Incorporated | Method and apparatus for grouping client devices based on context similarity |
| US8589171B2 (en) | 2011-03-17 | 2013-11-19 | Remote Media, Llc | System and method for custom marking a media file for file matching |
| US8688631B2 (en) | 2011-03-17 | 2014-04-01 | Alexander Savenok | System and method for media file synchronization |
| US8478719B2 (en) | 2011-03-17 | 2013-07-02 | Remote Media LLC | System and method for media file synchronization |
| US9380356B2 (en) | 2011-04-12 | 2016-06-28 | The Nielsen Company (Us), Llc | Methods and apparatus to generate a tag for media content |
| US8937537B2 (en) * | 2011-04-29 | 2015-01-20 | Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America | Method and system for utilizing spread spectrum techniques for in car applications |
| US8612390B2 (en) * | 2011-05-02 | 2013-12-17 | Microsoft Corporation | Lightweight caching of transaction log for sequential access |
| US9035163B1 (en) | 2011-05-10 | 2015-05-19 | Soundbound, Inc. | System and method for targeting content based on identified audio and multimedia |
| US8996557B2 (en) * | 2011-05-18 | 2015-03-31 | Microsoft Technology Licensing, Llc | Query and matching for content recognition |
| WO2012089288A1 (en) | 2011-06-06 | 2012-07-05 | Bridge Mediatech, S.L. | Method and system for robust audio hashing |
| KR20150113991A (ko) | 2011-06-08 | 2015-10-08 | 샤잠 엔터테인먼트 리미티드 | 수신된 데이터의 비교를 수행하고 비교에 기초하여 후속 서비스를 제공하는 방법 및 시스템 |
| EP2718849A1 (en) | 2011-06-10 | 2014-04-16 | Shazam Entertainment Ltd. | Methods and systems for identifying content in a data stream |
| US9210208B2 (en) | 2011-06-21 | 2015-12-08 | The Nielsen Company (Us), Llc | Monitoring streaming media content |
| US9209978B2 (en) | 2012-05-15 | 2015-12-08 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
| US9953039B2 (en) * | 2011-07-19 | 2018-04-24 | Disney Enterprises, Inc. | Method and system for providing a compact graphical user interface for flexible filtering of data |
| US8564684B2 (en) * | 2011-08-17 | 2013-10-22 | Digimarc Corporation | Emotional illumination, and related arrangements |
| US9374183B2 (en) | 2011-08-30 | 2016-06-21 | Iheartmedia Management Services, Inc. | Broadcast source identification based on matching via bit count |
| US9461759B2 (en) | 2011-08-30 | 2016-10-04 | Iheartmedia Management Services, Inc. | Identification of changed broadcast media items |
| US8639178B2 (en) | 2011-08-30 | 2014-01-28 | Clear Channel Management Sevices, Inc. | Broadcast source identification based on matching broadcast signal fingerprints |
| US9049496B2 (en) * | 2011-09-01 | 2015-06-02 | Gracenote, Inc. | Media source identification |
| US8498627B2 (en) | 2011-09-15 | 2013-07-30 | Digimarc Corporation | Intuitive computing methods and systems |
| US20130111514A1 (en) * | 2011-09-16 | 2013-05-02 | Umami Co. | Second screen interactive platform |
| US9113202B1 (en) * | 2011-09-21 | 2015-08-18 | Google Inc. | Inverted client-side fingerprinting and matching |
| US9460465B2 (en) | 2011-09-21 | 2016-10-04 | Genesys Telecommunications Laboratories, Inc. | Graphical menu builder for encoding applications in an image |
| WO2013043393A1 (en) | 2011-09-23 | 2013-03-28 | Digimarc Corporation | Context-based smartphone sensor logic |
| CA2849974C (en) * | 2011-09-26 | 2021-04-13 | Sirius Xm Radio Inc. | System and method for increasing transmission bandwidth efficiency ("ebt2") |
| US8433577B2 (en) * | 2011-09-27 | 2013-04-30 | Google Inc. | Detection of creative works on broadcast media |
| US9384272B2 (en) | 2011-10-05 | 2016-07-05 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for identifying similar songs using jumpcodes |
| US9223893B2 (en) | 2011-10-14 | 2015-12-29 | Digimarc Corporation | Updating social graph data using physical objects identified from images captured by smartphone |
| US9402099B2 (en) * | 2011-10-14 | 2016-07-26 | Digimarc Corporation | Arrangements employing content identification and/or distribution identification data |
| US9098576B1 (en) * | 2011-10-17 | 2015-08-04 | Google Inc. | Ensemble interest point detection for audio matching |
| US9015109B2 (en) | 2011-11-01 | 2015-04-21 | Lemi Technology, Llc | Systems, methods, and computer readable media for maintaining recommendations in a media recommendation system |
| US8886543B1 (en) * | 2011-11-15 | 2014-11-11 | Google Inc. | Frequency ratio fingerprint characterization for audio matching |
| CN102508916B (zh) * | 2011-11-21 | 2013-08-14 | 电子科技大学 | 一种海量数据的文件指纹分析方法 |
| US9286942B1 (en) * | 2011-11-28 | 2016-03-15 | Codentity, Llc | Automatic calculation of digital media content durations optimized for overlapping or adjoined transitions |
| US9696336B2 (en) | 2011-11-30 | 2017-07-04 | The Nielsen Company (Us), Llc | Multiple meter detection and processing using motion data |
| US8492633B2 (en) | 2011-12-02 | 2013-07-23 | The Echo Nest Corporation | Musical fingerprinting |
| US8586847B2 (en) * | 2011-12-02 | 2013-11-19 | The Echo Nest Corporation | Musical fingerprinting based on onset intervals |
| EP2600545A1 (en) * | 2011-12-02 | 2013-06-05 | Waterford Institute Of Technology | Research data measurement system and method |
| JP2013117688A (ja) * | 2011-12-05 | 2013-06-13 | Sony Corp | 音響処理装置、音響処理方法、プログラム、記録媒体、サーバ装置、音響再生装置および音響処理システム |
| DE102011087843B4 (de) * | 2011-12-06 | 2013-07-11 | Continental Automotive Gmbh | Verfahren und System zur Auswahl mindestens eines Datensatzes aus einer relationalen Datenbank |
| US9116928B1 (en) * | 2011-12-09 | 2015-08-25 | Google Inc. | Identifying features for media file comparison |
| CN103999150B (zh) * | 2011-12-12 | 2016-10-19 | 杜比实验室特许公司 | 媒体数据中的低复杂度重复检测 |
| US8977194B2 (en) | 2011-12-16 | 2015-03-10 | The Nielsen Company (Us), Llc | Media exposure and verification utilizing inductive coupling |
| US8538333B2 (en) | 2011-12-16 | 2013-09-17 | Arbitron Inc. | Media exposure linking utilizing bluetooth signal characteristics |
| US8892572B2 (en) * | 2011-12-30 | 2014-11-18 | Cellco Partnership | Video search system and method of use |
| US10078690B2 (en) * | 2011-12-31 | 2018-09-18 | Thomson Licensing Dtv | Method and device for presenting content |
| US20130178966A1 (en) * | 2012-01-09 | 2013-07-11 | Function(x), Inc. | Method and System for Identifying a Media Program From an Audio Signal Associated With the Media Program |
| US9027049B2 (en) | 2012-02-07 | 2015-05-05 | Turner Braodcasting System, Inc. | Method and system for coupons based on automatic content recognition |
| US9384734B1 (en) * | 2012-02-24 | 2016-07-05 | Google Inc. | Real-time audio recognition using multiple recognizers |
| US9519909B2 (en) | 2012-03-01 | 2016-12-13 | The Nielsen Company (Us), Llc | Methods and apparatus to identify users of handheld computing devices |
| US9684715B1 (en) * | 2012-03-08 | 2017-06-20 | Google Inc. | Audio identification using ordinal transformation |
| US9292894B2 (en) | 2012-03-14 | 2016-03-22 | Digimarc Corporation | Content recognition and synchronization using local caching |
| US8965766B1 (en) * | 2012-03-15 | 2015-02-24 | Google Inc. | Systems and methods for identifying music in a noisy environment |
| US8768003B2 (en) | 2012-03-26 | 2014-07-01 | The Nielsen Company (Us), Llc | Media monitoring using multiple types of signatures |
| US8681950B2 (en) | 2012-03-28 | 2014-03-25 | Interactive Intelligence, Inc. | System and method for fingerprinting datasets |
| US9202472B1 (en) * | 2012-03-29 | 2015-12-01 | Google Inc. | Magnitude ratio descriptors for pitch-resistant audio matching |
| CN102663090B (zh) * | 2012-04-10 | 2013-11-06 | 华为技术有限公司 | 元数据查询方法和装置 |
| US8473975B1 (en) | 2012-04-16 | 2013-06-25 | The Nielsen Company (Us), Llc | Methods and apparatus to detect user attentiveness to handheld computing devices |
| US8953811B1 (en) * | 2012-04-18 | 2015-02-10 | Google Inc. | Full digest of an audio file for identifying duplicates |
| US9052986B1 (en) * | 2012-04-18 | 2015-06-09 | Google Inc. | Pitch shift resistant audio matching |
| WO2014020449A2 (en) * | 2012-05-10 | 2014-02-06 | Magiktunes Limited | Identifying audio stream content |
| US9418669B2 (en) * | 2012-05-13 | 2016-08-16 | Harry E. Emerson, III | Discovery of music artist and title for syndicated content played by radio stations |
| KR101315970B1 (ko) * | 2012-05-23 | 2013-10-08 | (주)엔써즈 | 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법 |
| US8886635B2 (en) | 2012-05-23 | 2014-11-11 | Enswers Co., Ltd. | Apparatus and method for recognizing content using audio signal |
| US9235867B2 (en) * | 2012-06-04 | 2016-01-12 | Microsoft Technology Licensing, Llc | Concurrent media delivery |
| US9213703B1 (en) * | 2012-06-26 | 2015-12-15 | Google Inc. | Pitch shift and time stretch resistant audio matching |
| US9628829B2 (en) | 2012-06-26 | 2017-04-18 | Google Technology Holdings LLC | Identifying media on a mobile device |
| US9118951B2 (en) | 2012-06-26 | 2015-08-25 | Arris Technology, Inc. | Time-synchronizing a parallel feed of secondary content with primary media content |
| KR102040199B1 (ko) | 2012-07-11 | 2019-11-05 | 한국전자통신연구원 | 오디오 품질 측정 장치 및 그 방법 |
| US10957310B1 (en) | 2012-07-23 | 2021-03-23 | Soundhound, Inc. | Integrated programming framework for speech and text understanding with meaning parsing |
| US20140041054A1 (en) * | 2012-08-01 | 2014-02-06 | Microsoft Corporation | Attestation of possession of media content items using fingerprints |
| US9282366B2 (en) | 2012-08-13 | 2016-03-08 | The Nielsen Company (Us), Llc | Methods and apparatus to communicate audience measurement information |
| CN103593356A (zh) * | 2012-08-16 | 2014-02-19 | 丁瑞彭 | 基于多媒体信息指纹技术的信息搜索方法、系统和应用 |
| GB201214842D0 (en) * | 2012-08-21 | 2012-10-03 | Omnifone Ltd | Content tracker |
| US20140074466A1 (en) | 2012-09-10 | 2014-03-13 | Google Inc. | Answering questions using environmental context |
| US9081778B2 (en) | 2012-09-25 | 2015-07-14 | Audible Magic Corporation | Using digital fingerprints to associate data with a work |
| US9549253B2 (en) | 2012-09-26 | 2017-01-17 | Foundation for Research and Technology—Hellas (FORTH) Institute of Computer Science (ICS) | Sound source localization and isolation apparatuses, methods and systems |
| US10149048B1 (en) | 2012-09-26 | 2018-12-04 | Foundation for Research and Technology—Hellas (F.O.R.T.H.) Institute of Computer Science (I.C.S.) | Direction of arrival estimation and sound source enhancement in the presence of a reflective surface apparatuses, methods, and systems |
| US10136239B1 (en) | 2012-09-26 | 2018-11-20 | Foundation For Research And Technology—Hellas (F.O.R.T.H.) | Capturing and reproducing spatial sound apparatuses, methods, and systems |
| US9554203B1 (en) * | 2012-09-26 | 2017-01-24 | Foundation for Research and Technolgy—Hellas (FORTH) Institute of Computer Science (ICS) | Sound source characterization apparatuses, methods and systems |
| US9955277B1 (en) | 2012-09-26 | 2018-04-24 | Foundation For Research And Technology-Hellas (F.O.R.T.H.) Institute Of Computer Science (I.C.S.) | Spatial sound characterization apparatuses, methods and systems |
| US10175335B1 (en) | 2012-09-26 | 2019-01-08 | Foundation For Research And Technology-Hellas (Forth) | Direction of arrival (DOA) estimation apparatuses, methods, and systems |
| JP2014067292A (ja) * | 2012-09-26 | 2014-04-17 | Toshiba Corp | 情報処理装置及び情報処理方法 |
| US20160210957A1 (en) | 2015-01-16 | 2016-07-21 | Foundation For Research And Technology - Hellas (Forth) | Foreground Signal Suppression Apparatuses, Methods, and Systems |
| US20140095161A1 (en) * | 2012-09-28 | 2014-04-03 | At&T Intellectual Property I, L.P. | System and method for channel equalization using characteristics of an unknown signal |
| US9460204B2 (en) * | 2012-10-19 | 2016-10-04 | Sony Corporation | Apparatus and method for scene change detection-based trigger for audio fingerprinting analysis |
| US9992729B2 (en) | 2012-10-22 | 2018-06-05 | The Nielsen Company (Us), Llc | Systems and methods for wirelessly modifying detection characteristics of portable devices |
| US9064318B2 (en) | 2012-10-25 | 2015-06-23 | Adobe Systems Incorporated | Image matting and alpha value techniques |
| US8735708B1 (en) | 2012-10-28 | 2014-05-27 | Google Inc. | System and method for synchronizing tag history |
| US9355649B2 (en) * | 2012-11-13 | 2016-05-31 | Adobe Systems Incorporated | Sound alignment using timing information |
| EP2731030A1 (en) * | 2012-11-13 | 2014-05-14 | Samsung Electronics Co., Ltd | Music information searching method and apparatus thereof |
| US10638221B2 (en) | 2012-11-13 | 2020-04-28 | Adobe Inc. | Time interval sound alignment |
| US9201580B2 (en) | 2012-11-13 | 2015-12-01 | Adobe Systems Incorporated | Sound alignment user interface |
| US9027048B2 (en) * | 2012-11-14 | 2015-05-05 | Bank Of America Corporation | Automatic deal or promotion offering based on audio cues |
| US9076205B2 (en) | 2012-11-19 | 2015-07-07 | Adobe Systems Incorporated | Edge direction and curve based image de-blurring |
| US10249321B2 (en) | 2012-11-20 | 2019-04-02 | Adobe Inc. | Sound rate modification |
| US10366419B2 (en) | 2012-11-27 | 2019-07-30 | Roland Storti | Enhanced digital media platform with user control of application data thereon |
| US10339936B2 (en) | 2012-11-27 | 2019-07-02 | Roland Storti | Method, device and system of encoding a digital interactive response action in an analog broadcasting message |
| US9106953B2 (en) | 2012-11-28 | 2015-08-11 | The Nielsen Company (Us), Llc | Media monitoring based on predictive signature caching |
| US9451304B2 (en) | 2012-11-29 | 2016-09-20 | Adobe Systems Incorporated | Sound feature priority alignment |
| US9135710B2 (en) | 2012-11-30 | 2015-09-15 | Adobe Systems Incorporated | Depth map stereo correspondence techniques |
| US9241259B2 (en) | 2012-11-30 | 2016-01-19 | Websense, Inc. | Method and apparatus for managing the transfer of sensitive information to mobile devices |
| CA2875354C (en) | 2012-11-30 | 2018-04-10 | The Nielsen Company (Us), Llc | Multiple meter detection and processing using motion data |
| US10455219B2 (en) | 2012-11-30 | 2019-10-22 | Adobe Inc. | Stereo correspondence and depth sensors |
| US9912713B1 (en) | 2012-12-17 | 2018-03-06 | MiMedia LLC | Systems and methods for providing dynamically updated image sets for applications |
| US9208547B2 (en) | 2012-12-19 | 2015-12-08 | Adobe Systems Incorporated | Stereo correspondence smoothness tool |
| US10249052B2 (en) | 2012-12-19 | 2019-04-02 | Adobe Systems Incorporated | Stereo correspondence model fitting |
| US9214026B2 (en) | 2012-12-20 | 2015-12-15 | Adobe Systems Incorporated | Belief propagation and affinity measures |
| US9159327B1 (en) * | 2012-12-20 | 2015-10-13 | Google Inc. | System and method for adding pitch shift resistance to an audio fingerprint |
| US9158760B2 (en) | 2012-12-21 | 2015-10-13 | The Nielsen Company (Us), Llc | Audio decoding with supplemental semantic audio recognition and report generation |
| US9195649B2 (en) | 2012-12-21 | 2015-11-24 | The Nielsen Company (Us), Llc | Audio processing techniques for semantic audio recognition and report generation |
| US9183849B2 (en) | 2012-12-21 | 2015-11-10 | The Nielsen Company (Us), Llc | Audio matching with semantic audio recognition and report generation |
| US9167276B2 (en) | 2012-12-28 | 2015-10-20 | Turner Broadcasting System, Inc. | Method and system for providing and handling product and service discounts, and location based services (LBS) in an automatic content recognition based system |
| US9529907B2 (en) * | 2012-12-31 | 2016-12-27 | Google Inc. | Hold back and real time ranking of results in a streaming matching system |
| CN103971689B (zh) * | 2013-02-04 | 2016-01-27 | 腾讯科技（深圳）有限公司 | 一种音频识别方法及装置 |
| CN103970793B (zh) * | 2013-02-04 | 2020-03-03 | 腾讯科技（深圳）有限公司 | 信息查询方法、客户端及服务器 |
| US9706252B2 (en) | 2013-02-04 | 2017-07-11 | Universal Electronics Inc. | System and method for user monitoring and intent determination |
| US9099080B2 (en) | 2013-02-06 | 2015-08-04 | Muzak Llc | System for targeting location-based communications |
| US9313544B2 (en) | 2013-02-14 | 2016-04-12 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
| US9008490B1 (en) | 2013-02-25 | 2015-04-14 | Google Inc. | Melody recognition systems |
| US9223297B2 (en) | 2013-02-28 | 2015-12-29 | The Nielsen Company (Us), Llc | Systems and methods for identifying a user of an electronic device |
| US9344759B2 (en) | 2013-03-05 | 2016-05-17 | Google Inc. | Associating audio tracks of an album with video content |
| US9275625B2 (en) * | 2013-03-06 | 2016-03-01 | Qualcomm Incorporated | Content based noise suppression |
| US9307337B2 (en) | 2013-03-11 | 2016-04-05 | Arris Enterprises, Inc. | Systems and methods for interactive broadcast content |
| US9301070B2 (en) | 2013-03-11 | 2016-03-29 | Arris Enterprises, Inc. | Signature matching of corrupted audio signal |
| US9451048B2 (en) | 2013-03-12 | 2016-09-20 | Shazam Investments Ltd. | Methods and systems for identifying information of a broadcast station and information of broadcasted content |
| US9298758B1 (en) | 2013-03-13 | 2016-03-29 | MiMedia, Inc. | Systems and methods providing media-to-media connection |
| US9465521B1 (en) | 2013-03-13 | 2016-10-11 | MiMedia, Inc. | Event based media interface |
| US9153239B1 (en) * | 2013-03-14 | 2015-10-06 | Google Inc. | Differentiating between near identical versions of a song |
| US9384273B1 (en) * | 2013-03-14 | 2016-07-05 | Google Inc. | Compressed patch features for audio fingerprinting |
| US10257301B1 (en) | 2013-03-15 | 2019-04-09 | MiMedia, Inc. | Systems and methods providing a drive interface for content delivery |
| US9183232B1 (en) | 2013-03-15 | 2015-11-10 | MiMedia, Inc. | Systems and methods for organizing content using content organization rules and robust content information |
| US20140278845A1 (en) | 2013-03-15 | 2014-09-18 | Shazam Investments Limited | Methods and Systems for Identifying Target Media Content and Determining Supplemental Information about the Target Media Content |
| US9390170B2 (en) | 2013-03-15 | 2016-07-12 | Shazam Investments Ltd. | Methods and systems for arranging and searching a database of media content recordings |
| US8990638B1 (en) * | 2013-03-15 | 2015-03-24 | Digimarc Corporation | Self-stabilizing network nodes in mobile discovery system |
| US9773058B2 (en) | 2013-03-15 | 2017-09-26 | Shazam Investments Ltd. | Methods and systems for arranging and searching a database of media content recordings |
| WO2014145929A1 (en) * | 2013-03-15 | 2014-09-18 | Zeev Neumeier | Systems and methods for addressing a media database using distance associative hashing |
| US9223458B1 (en) | 2013-03-21 | 2015-12-29 | Amazon Technologies, Inc. | Techniques for transitioning between playback of media files |
| US9269022B2 (en) | 2013-04-11 | 2016-02-23 | Digimarc Corporation | Methods for object recognition and related arrangements |
| US9183499B1 (en) | 2013-04-19 | 2015-11-10 | Google Inc. | Evaluating quality based on neighbor features |
| US9305038B2 (en) * | 2013-04-19 | 2016-04-05 | International Business Machines Corporation | Indexing of significant media granulars |
| CN104125509B (zh) * | 2013-04-28 | 2015-09-30 | 腾讯科技（深圳）有限公司 | 节目识别方法、装置及服务器 |
| US9123330B1 (en) * | 2013-05-01 | 2015-09-01 | Google Inc. | Large-scale speaker identification |
| US10157618B2 (en) | 2013-05-02 | 2018-12-18 | Xappmedia, Inc. | Device, system, method, and computer-readable medium for providing interactive advertising |
| US9460201B2 (en) | 2013-05-06 | 2016-10-04 | Iheartmedia Management Services, Inc. | Unordered matching of audio fingerprints |
| US20140336797A1 (en) * | 2013-05-12 | 2014-11-13 | Harry E. Emerson, III | Audio content monitoring and identification of broadcast radio stations |
| US20140336799A1 (en) * | 2013-05-13 | 2014-11-13 | Harry E. Emerson, III | Discovery of music artist and title via companionship between a cellular phone and a broadcast radio receiver |
| CN105493422A (zh) | 2013-06-20 | 2016-04-13 | 汤姆逊许可公司 | 用于辅助内容的分布式播放的同步的系统和方法 |
| US20150312369A1 (en) * | 2013-06-26 | 2015-10-29 | Intel Corporation | Checkpoints for media buffering |
| US20150039321A1 (en) | 2013-07-31 | 2015-02-05 | Arbitron Inc. | Apparatus, System and Method for Reading Codes From Digital Audio on a Processing Device |
| US9711152B2 (en) | 2013-07-31 | 2017-07-18 | The Nielsen Company (Us), Llc | Systems apparatus and methods for encoding/decoding persistent universal media codes to encoded audio |
| US9542488B2 (en) | 2013-08-02 | 2017-01-10 | Google Inc. | Associating audio tracks with video content |
| US9373320B1 (en) * | 2013-08-21 | 2016-06-21 | Google Inc. | Systems and methods facilitating selective removal of content from a mixed audio recording |
| CN103440330A (zh) * | 2013-09-03 | 2013-12-11 | 网易（杭州）网络有限公司 | 一种音乐节目信息获取方法和设备 |
| US9275427B1 (en) * | 2013-09-05 | 2016-03-01 | Google Inc. | Multi-channel audio video fingerprinting |
| US10014006B1 (en) | 2013-09-10 | 2018-07-03 | Ampersand, Inc. | Method of determining whether a phone call is answered by a human or by an automated device |
| CN103442083A (zh) * | 2013-09-10 | 2013-12-11 | 百度在线网络技术（北京）有限公司 | 音频文件传输关联内容的方法、系统、客户端和服务器 |
| US9053711B1 (en) * | 2013-09-10 | 2015-06-09 | Ampersand, Inc. | Method of matching a digitized stream of audio signals to a known audio recording |
| TW201513095A (zh) * | 2013-09-23 | 2015-04-01 | Hon Hai Prec Ind Co Ltd | 語音處理系統、裝置及方法 |
| US9507849B2 (en) | 2013-11-28 | 2016-11-29 | Soundhound, Inc. | Method for combining a query and a communication command in a natural language computer system |
| US9275136B1 (en) | 2013-12-03 | 2016-03-01 | Google Inc. | Method for siren detection based on audio samples |
| US9354778B2 (en) | 2013-12-06 | 2016-05-31 | Digimarc Corporation | Smartphone-based methods and systems |
| US9286902B2 (en) | 2013-12-16 | 2016-03-15 | Gracenote, Inc. | Audio fingerprinting |
| US9466310B2 (en) | 2013-12-20 | 2016-10-11 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Compensating for identifiable background content in a speech recognition device |
| US9955192B2 (en) | 2013-12-23 | 2018-04-24 | Inscape Data, Inc. | Monitoring individual viewing of television events using tracking pixels and cookies |
| US9426525B2 (en) | 2013-12-31 | 2016-08-23 | The Nielsen Company (Us), Llc. | Methods and apparatus to count people in an audience |
| US9292488B2 (en) | 2014-02-01 | 2016-03-22 | Soundhound, Inc. | Method for embedding voice mail in a spoken utterance using a natural language processing computer system |
| US9311639B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods, apparatus and arrangements for device to device communication |
| DK3111672T3 (en) | 2014-02-24 | 2018-01-02 | Widex As | HEARING WITH SUPPORTED NOISE PRESSURE |
| US11295730B1 (en) | 2014-02-27 | 2022-04-05 | Soundhound, Inc. | Using phonetic variants in a local context to improve natural language understanding |
| CN103853836B (zh) * | 2014-03-14 | 2017-01-25 | 广州酷狗计算机科技有限公司 | 一种基于音乐指纹特征的音乐检索方法及系统 |
| US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| US9438940B2 (en) | 2014-04-07 | 2016-09-06 | The Nielsen Company (Us), Llc | Methods and apparatus to identify media using hash keys |
| CN104978968A (zh) * | 2014-04-11 | 2015-10-14 | 鸿富锦精密工业（深圳）有限公司 | 水印加载装置及水印加载的方法 |
| US20150302458A1 (en) * | 2014-04-16 | 2015-10-22 | Ebay Inc. | Identifying advertisements based on audio data and performing associated tasks |
| US9699499B2 (en) | 2014-04-30 | 2017-07-04 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
| US9564123B1 (en) | 2014-05-12 | 2017-02-07 | Soundhound, Inc. | Method and system for building an integrated user profile |
| US9590755B2 (en) | 2014-05-16 | 2017-03-07 | Alphonso Inc. | Efficient apparatus and method for audio signature generation using audio threshold |
| CN104023247B (zh) | 2014-05-29 | 2015-07-29 | 腾讯科技（深圳）有限公司 | 获取、推送信息的方法和装置以及信息交互系统 |
| US9905233B1 (en) | 2014-08-07 | 2018-02-27 | Digimarc Corporation | Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements |
| US9558272B2 (en) | 2014-08-14 | 2017-01-31 | Yandex Europe Ag | Method of and a system for matching audio tracks using chromaprints with a fast candidate selection routine |
| US9881083B2 (en) | 2014-08-14 | 2018-01-30 | Yandex Europe Ag | Method of and a system for indexing audio tracks using chromaprints |
| US10204622B2 (en) | 2015-09-10 | 2019-02-12 | Crestron Electronics, Inc. | Acoustic sensory network |
| US10748539B2 (en) | 2014-09-10 | 2020-08-18 | Crestron Electronics, Inc. | Acoustic sensory network |
| CN104361889B (zh) * | 2014-10-28 | 2018-03-16 | 北京音之邦文化科技有限公司 | 一种对音频文件进行处理的方法及装置 |
| US20160132600A1 (en) * | 2014-11-07 | 2016-05-12 | Shazam Investments Limited | Methods and Systems for Performing Content Recognition for a Surge of Incoming Recognition Queries |
| EP3023884A1 (en) * | 2014-11-21 | 2016-05-25 | Thomson Licensing | Method and apparatus for generating fingerprint of an audio signal |
| US9837101B2 (en) * | 2014-11-25 | 2017-12-05 | Facebook, Inc. | Indexing based on time-variant transforms of an audio signal's spectrogram |
| WO2016085414A1 (en) * | 2014-11-27 | 2016-06-02 | JOHN SMITH s.r.o. | Method to lower decline in watching channels during commercial breaks and a connection |
| EP3228084A4 (en) | 2014-12-01 | 2018-04-25 | Inscape Data, Inc. | System and method for continuous media segment identification |
| US9363562B1 (en) | 2014-12-01 | 2016-06-07 | Stingray Digital Group Inc. | Method and system for authorizing a user device |
| WO2016086905A1 (es) * | 2014-12-05 | 2016-06-09 | Monitoreo Tecnológico, S.A | Método de medición de audiencias |
| JP2018505442A (ja) | 2014-12-31 | 2018-02-22 | ピーシーエムエス ホールディングス インコーポレイテッド | 聴取ログおよび音楽ライブラリの生成のためのシステムおよび方法 |
| US10333696B2 (en) | 2015-01-12 | 2019-06-25 | X-Prime, Inc. | Systems and methods for implementing an efficient, scalable homomorphic transformation of encrypted data with minimal data expansion and improved processing efficiency |
| BR112017016123A2 (pt) | 2015-01-30 | 2018-04-17 | Inscape Data Inc | servidor de correspondência para identificação de conteúdo de vídeo que é exibido por um sistema de televisão, método executado por computador, e produto de programa informático concretamente incorporado a um meio de armazenamento de leitura por máquina permanente de um dispositivo de informática |
| US10929464B1 (en) * | 2015-02-04 | 2021-02-23 | Google Inc. | Employing entropy information to facilitate determining similarity between content items |
| US10360583B2 (en) | 2015-02-05 | 2019-07-23 | Direct Path, Llc | System and method for direct response advertising |
| US10269392B2 (en) | 2015-02-11 | 2019-04-23 | Immersion Corporation | Automated haptic effect accompaniment |
| US10142471B2 (en) * | 2015-03-02 | 2018-11-27 | Genesys Telecommunications Laboratories, Inc. | System and method for call progress detection |
| US9955274B2 (en) | 2015-04-08 | 2018-04-24 | The Boeing Company | Vibration monitoring systems |
| CA2982797C (en) | 2015-04-17 | 2023-03-14 | Inscape Data, Inc. | Systems and methods for reducing data density in large datasets |
| CN107533850B (zh) | 2015-04-27 | 2022-05-24 | 三星电子株式会社 | 音频内容识别方法和装置 |
| CN106294331B (zh) * | 2015-05-11 | 2020-01-21 | 阿里巴巴集团控股有限公司 | 音频信息检索方法及装置 |
| GB201508963D0 (en) | 2015-05-26 | 2015-07-01 | Geo Track Identifier Gmbh | Audio identification method |
| US9762965B2 (en) | 2015-05-29 | 2017-09-12 | The Nielsen Company (Us), Llc | Methods and apparatus to measure exposure to streaming media |
| US10323612B2 (en) | 2015-06-12 | 2019-06-18 | Ford Global Technologies, Llc | Methods and systems for dual fuel injection |
| US10094320B2 (en) | 2015-06-23 | 2018-10-09 | Ford Global Technologies, Llc | Methods and systems for dual fuel injection |
| EP3317878B1 (de) | 2015-06-30 | 2020-03-25 | Fraunhofer Gesellschaft zur Förderung der Angewand | Verfahren und vorrichtung zum erzeugen einer datenbank |
| US10080062B2 (en) | 2015-07-16 | 2018-09-18 | Inscape Data, Inc. | Optimizing media fingerprint retention to improve system resource utilization |
| JP6891170B2 (ja) | 2015-07-16 | 2021-06-18 | インスケイプ データ インコーポレイテッド | ステムリソース利用を最適化するための映像セグメントの将来の視聴予測 |
| CA2992319C (en) | 2015-07-16 | 2023-11-21 | Inscape Data, Inc. | Detection of common media segments |
| EP3323244B1 (en) * | 2015-07-16 | 2021-12-29 | Inscape Data, Inc. | System and method for improving work load management in acr television monitoring system |
| JP6763019B2 (ja) | 2015-07-16 | 2020-09-30 | インスケイプ データ インコーポレイテッド | メディアセグメント識別効率向上のために探索索引を区分するためのシステムおよび方法 |
| US9900636B2 (en) | 2015-08-14 | 2018-02-20 | The Nielsen Company (Us), Llc | Reducing signature matching uncertainty in media monitoring systems |
| US9654891B2 (en) | 2015-09-15 | 2017-05-16 | D&M Holdings, Inc. | System and method for determining proximity of a controller to a media rendering device |
| CN106558318B (zh) * | 2015-09-24 | 2020-04-28 | 阿里巴巴集团控股有限公司 | 音频识别方法和系统 |
| US9769607B2 (en) | 2015-09-24 | 2017-09-19 | Cisco Technology, Inc. | Determining proximity of computing devices using ultrasonic audio signatures |
| US9978366B2 (en) | 2015-10-09 | 2018-05-22 | Xappmedia, Inc. | Event-based speech interactive media player |
| TWI579716B (zh) * | 2015-12-01 | 2017-04-21 | Chunghwa Telecom Co Ltd | Two - level phrase search system and method |
| US10594689B1 (en) | 2015-12-04 | 2020-03-17 | Digimarc Corporation | Robust encoding of machine readable information in host objects and biometrics, and associated decoding and authentication |
| US9516373B1 (en) | 2015-12-21 | 2016-12-06 | Max Abecassis | Presets of synchronized second screen functions |
| US10089987B2 (en) * | 2015-12-21 | 2018-10-02 | Invensense, Inc. | Music detection and identification |
| US9596502B1 (en) | 2015-12-21 | 2017-03-14 | Max Abecassis | Integration of multiple synchronization methodologies |
| CN105589970A (zh) * | 2015-12-25 | 2016-05-18 | 小米科技有限责任公司 | 音乐搜索方法和装置 |
| EP3405830A4 (en) | 2016-01-19 | 2020-01-22 | Magic Leap, Inc. | SYSTEMS AND METHODS WITH EXTENDED REALITY USING REFLECTIONS |
| US9848235B1 (en) * | 2016-02-22 | 2017-12-19 | Sorenson Media, Inc | Video fingerprinting based on fourier transform of histogram |
| US9924222B2 (en) * | 2016-02-29 | 2018-03-20 | Gracenote, Inc. | Media channel identification with multi-match detection and disambiguation based on location |
| KR20170101500A (ko) * | 2016-02-29 | 2017-09-06 | 한국전자통신연구원 | 노이즈 제거를 통한 오디오 신호 식별 방법 및 장치 |
| US10063918B2 (en) | 2016-02-29 | 2018-08-28 | Gracenote, Inc. | Media channel identification with multi-match detection and disambiguation based on single-match |
| US9930406B2 (en) | 2016-02-29 | 2018-03-27 | Gracenote, Inc. | Media channel identification with video multi-match detection and disambiguation based on audio fingerprint |
| US10433026B2 (en) * | 2016-02-29 | 2019-10-01 | MyTeamsCalls LLC | Systems and methods for customized live-streaming commentary |
| US9959885B2 (en) | 2016-03-08 | 2018-05-01 | Samsung Eletrônica Da Amazônia Ltda | Method for user context recognition using sound signatures |
| US9786298B1 (en) | 2016-04-08 | 2017-10-10 | Source Digital, Inc. | Audio fingerprinting based on audio energy characteristics |
| CA3021964A1 (en) | 2016-04-26 | 2017-11-02 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
| NL2016742B1 (en) | 2016-05-09 | 2017-11-16 | Audiocoup B V | System for determining user exposure to audio fragments. |
| US10015612B2 (en) * | 2016-05-25 | 2018-07-03 | Dolby Laboratories Licensing Corporation | Measurement, verification and correction of time alignment of multiple audio channels and associated metadata |
| US10936651B2 (en) | 2016-06-22 | 2021-03-02 | Gracenote, Inc. | Matching audio fingerprints |
| US9959448B2 (en) | 2016-08-19 | 2018-05-01 | Google Llc | Multi-step sequence alignment |
| GB201617409D0 (en) | 2016-10-13 | 2016-11-30 | Asio Ltd | A method and system for acoustic communication of data |
| GB201617408D0 (en) | 2016-10-13 | 2016-11-30 | Asio Ltd | A method and system for acoustic communication of data |
| JP6805765B2 (ja) | 2016-10-21 | 2020-12-23 | 富士通株式会社 | ソフトウェアサービスの実行のためのシステム、方法、及びプログラム |
| US10776170B2 (en) | 2016-10-21 | 2020-09-15 | Fujitsu Limited | Software service execution apparatus, system, and method |
| JP7100422B2 (ja) | 2016-10-21 | 2022-07-13 | 富士通株式会社 | データプロパティ認識のための装置、プログラム、及び方法 |
| EP3312722A1 (en) | 2016-10-21 | 2018-04-25 | Fujitsu Limited | Data processing apparatus, method, and program |
| EP3312724B1 (en) | 2016-10-21 | 2019-10-30 | Fujitsu Limited | Microservice-based data processing apparatus, method, and program |
| US10701438B2 (en) | 2016-12-31 | 2020-06-30 | Turner Broadcasting System, Inc. | Automatic content recognition and verification in a broadcast chain |
| US10785329B2 (en) | 2017-01-05 | 2020-09-22 | The Nielsen Company (Us), Llc | Methods and apparatus to facilitate meter to meter matching for media identification |
| US10922720B2 (en) | 2017-01-11 | 2021-02-16 | Adobe Inc. | Managing content delivery via audio cues |
| GB201704636D0 (en) | 2017-03-23 | 2017-05-10 | Asio Ltd | A method and system for authenticating a device |
| EP3379814A1 (en) | 2017-03-23 | 2018-09-26 | Christian Rymarenko | Converting media using mobile devices |
| US10983984B2 (en) | 2017-04-06 | 2021-04-20 | Inscape Data, Inc. | Systems and methods for improving accuracy of device maps using media viewing data |
| RU172737U1 (ru) * | 2017-04-18 | 2017-07-21 | Общество с ограниченной ответственностью "ДЖЕНТ КЛАБ" | Устройство для идентификации музыкальных произведений |
| US10166472B2 (en) | 2017-05-04 | 2019-01-01 | Shazam Investments Ltd. | Methods and systems for determining a reaction time for a response and synchronizing user interface(s) with content being rendered |
| RU2662939C1 (ru) * | 2017-05-12 | 2018-07-31 | Общество с ограниченной ответственностью "ИСКОНА ХОЛДИНГ" | Способ идентификации музыкальных произведений |
| GB2565751B (en) | 2017-06-15 | 2022-05-04 | Sonos Experience Ltd | A method and system for triggering events |
| GB2562515A (en) * | 2017-05-17 | 2018-11-21 | Snell Advanced Media Ltd | Generation of audio or video hash |
| US10867185B2 (en) | 2017-12-22 | 2020-12-15 | Samuel Chenillo | System and method for media segment identification |
| US10271095B1 (en) | 2017-12-21 | 2019-04-23 | Samuel Chenillo | System and method for media segment indentification |
| WO2018218034A1 (en) | 2017-05-25 | 2018-11-29 | J. W. Pepper & Son, Inc. | Sheet music search and discovery system |
| EP3425522A1 (en) * | 2017-07-06 | 2019-01-09 | Bmat Licensing, S.L.U. | Identifying background audio in broadcast signals using multiple sources |
| US20190028766A1 (en) * | 2017-07-18 | 2019-01-24 | Audible Magic Corporation | Media classification for media identification and licensing |
| CN107367676A (zh) * | 2017-09-04 | 2017-11-21 | 厦门斯玛特思智能电气股份有限公司 | 基于音频智能识别的局放指示器 |
| US10264297B1 (en) * | 2017-09-13 | 2019-04-16 | Perfect Sense, Inc. | Time-based content synchronization |
| US20190104335A1 (en) * | 2017-09-29 | 2019-04-04 | Theater Ears, LLC | Theater ears audio recognition & synchronization algorithm |
| US10599702B2 (en) * | 2017-10-05 | 2020-03-24 | Audible Magic Corporation | Temporal fraction with use of content identification |
| US10158907B1 (en) | 2017-10-10 | 2018-12-18 | Shazam Investments Ltd. | Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings |
| US10129575B1 (en) | 2017-10-25 | 2018-11-13 | Shazam Entertainment Limited | Methods and systems for determining a latency between a source and an alternative feed of the source |
| US10249319B1 (en) | 2017-10-26 | 2019-04-02 | The Nielsen Company (Us), Llc | Methods and apparatus to reduce noise from harmonic noise sources |
| EP3477643B1 (en) * | 2017-10-31 | 2019-10-16 | Spotify AB | Audio fingerprint extraction and audio recognition using said fingerprints |
| EP3477505B1 (en) | 2017-10-31 | 2021-10-20 | Spotify AB | Fingerprint clustering for content-based audio recogntion |
| CN108012173B (zh) * | 2017-11-16 | 2021-01-22 | 百度在线网络技术（北京）有限公司 | 一种内容识别方法、装置、设备和计算机存储介质 |
| US10276175B1 (en) | 2017-11-28 | 2019-04-30 | Google Llc | Key phrase detection with audio watermarking |
| US10140966B1 (en) * | 2017-12-12 | 2018-11-27 | Ryan Laurence Edwards | Location-aware musical instrument |
| CN107967922A (zh) * | 2017-12-19 | 2018-04-27 | 成都嗨翻屋文化传播有限公司 | 一种基于特征的音乐版权识别方法 |
| GB2570634A (en) | 2017-12-20 | 2019-08-07 | Asio Ltd | A method and system for improved acoustic transmission of data |
| US11048946B2 (en) | 2017-12-21 | 2021-06-29 | Samuel Chenillo | System and method for identifying cognate image sequences |
| SE542269C2 (en) * | 2017-12-21 | 2020-03-31 | Telia Co Ab | Methods and apparatuses for determining meta data related to media content |
| EP3729817A1 (de) | 2017-12-22 | 2020-10-28 | NativeWaves GmbH | Verfahren zum synchronisieren von einem zusatzsignal zu einem hauptsignal |
| DE102017131266A1 (de) | 2017-12-22 | 2019-06-27 | Nativewaves Gmbh | Verfahren zum Einspielen von Zusatzinformationen zu einer Liveübertragung |
| US10089994B1 (en) | 2018-01-15 | 2018-10-02 | Alex Radzishevsky | Acoustic fingerprint extraction and matching |
| ES2779985B2 (es) | 2019-02-20 | 2021-03-04 | Moehs Iberica Sl | Sal de dietilamina del ácido 3alfa-tetrahidropiraniloxi-6alfa-etil-7alfa-hidroxi-5ß-colánico |
| CN110322886A (zh) * | 2018-03-29 | 2019-10-11 | 北京字节跳动网络技术有限公司 | 一种音频指纹提取方法及装置 |
| CN110322897B (zh) * | 2018-03-29 | 2021-09-03 | 北京字节跳动网络技术有限公司 | 一种音频检索识别方法及装置 |
| GB201810202D0 (en) * | 2018-06-21 | 2018-08-08 | Magus Communications Ltd | Answer machine detection method & apparatus |
| US10904587B2 (en) | 2018-07-19 | 2021-01-26 | Gracenote, Inc. | Establishment and use of time mapping based on interpolation using low-rate fingerprinting, to help facilitate frame-accurate content revision |
| US11483785B2 (en) | 2018-07-25 | 2022-10-25 | Trulli Engineering, Llc | Bluetooth speaker configured to produce sound as well as simultaneously act as both sink and source |
| US10915292B2 (en) | 2018-07-25 | 2021-02-09 | Eagle Acoustics Manufacturing, Llc | Bluetooth speaker configured to produce sound as well as simultaneously act as both sink and source |
| US10860647B2 (en) | 2018-09-06 | 2020-12-08 | Gracenote, Inc. | Systems, methods, and apparatus to improve media identification |
| US10771828B2 (en) * | 2018-09-18 | 2020-09-08 | Free Stream Media Corp. | Content consensus management |
| US10868620B2 (en) * | 2018-12-26 | 2020-12-15 | The Nielsen Company (Us), Llc | Methods and apparatus for optimizing station reference fingerprint loading using reference watermarks |
| TR201902782A2 (tr) * | 2019-02-25 | 2019-03-21 | Aksoy Ahmet | Kamusal alanlar için müzik analiz sistemi ve yöntemi. |
| US11683236B1 (en) | 2019-03-30 | 2023-06-20 | Snap Inc. | Benchmarking to infer configuration of similar devices |
| US11853192B1 (en) | 2019-04-16 | 2023-12-26 | Snap Inc. | Network device performance metrics determination |
| US11240104B1 (en) * | 2019-05-21 | 2022-02-01 | Snap Inc. | Device configuration parameter determination |
| US11212560B2 (en) | 2019-06-24 | 2021-12-28 | The Nielsen Company (Us), Llc | Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action |
| US11234049B2 (en) * | 2019-06-24 | 2022-01-25 | The Nielsen Company (Us), Llc | Use of steganographically-encoded time information as basis to control implementation of dynamic content modification |
| CN110635824B (zh) * | 2019-10-19 | 2021-07-09 | 广东石油化工学院 | 一种利用分类回归树的plc信道脉冲噪声检测方法和系统 |
| US20220414808A1 (en) * | 2019-11-19 | 2022-12-29 | Google Llc | Methods, systems, and media for rights management of embedded sound recordings using composition clustering |
| CN110910899B (zh) * | 2019-11-27 | 2022-04-08 | 杭州联汇科技股份有限公司 | 一种实时音频信号一致性对比检测方法 |
| CN112995759A (zh) * | 2019-12-13 | 2021-06-18 | 腾讯科技（北京）有限公司 | 互动业务处理方法、系统、装置、设备及存储介质 |
| CN111008301B (zh) * | 2019-12-19 | 2023-08-15 | 新华智云科技有限公司 | 一种以图搜视频的方法 |
| US11922532B2 (en) | 2020-01-15 | 2024-03-05 | Digimarc Corporation | System for mitigating the problem of deepfake media content using watermarking |
| US11284144B2 (en) * | 2020-01-30 | 2022-03-22 | Snap Inc. | Video generation system to render frames on demand using a fleet of GPUs |
| US11356720B2 (en) | 2020-01-30 | 2022-06-07 | Snap Inc. | Video generation system to render frames on demand |
| US11036781B1 (en) | 2020-01-30 | 2021-06-15 | Snap Inc. | Video generation system to render frames on demand using a fleet of servers |
| EP4096798A1 (en) | 2020-01-30 | 2022-12-07 | Snap Inc. | System for generating media content items on demand |
| US11991419B2 (en) | 2020-01-30 | 2024-05-21 | Snap Inc. | Selecting avatars to be included in the video being generated on demand |
| US11616797B2 (en) | 2020-04-30 | 2023-03-28 | Mcafee, Llc | Large scale malware sample identification |
| GB2597334A (en) * | 2020-07-17 | 2022-01-26 | Playrcart Ltd | A media player |
| US11670322B2 (en) | 2020-07-29 | 2023-06-06 | Distributed Creation Inc. | Method and system for learning and using latent-space representations of audio signals for audio content-based retrieval |
| US11988784B2 (en) | 2020-08-31 | 2024-05-21 | Sonos, Inc. | Detecting an audio signal with a microphone to determine presence of a playback device |
| US11283586B1 (en) | 2020-09-05 | 2022-03-22 | Francis Tiong | Method to estimate and compensate for clock rate difference in acoustic sensors |
| US11284139B1 (en) * | 2020-09-10 | 2022-03-22 | Hulu, LLC | Stateless re-discovery of identity using watermarking of a video stream |
| KR102447554B1 (ko) * | 2020-11-18 | 2022-09-27 | 주식회사 샵캐스트 | 오디오 핑거프린트 매칭을 기반으로하는 음원 인식 방법 및 장치 |
| US11405684B1 (en) * | 2021-01-08 | 2022-08-02 | Christie Digital Systems Usa, Inc. | Distributed media player for digital cinema |
| US20220222294A1 (en) * | 2021-01-14 | 2022-07-14 | Smule, Inc. | Densification in Music Search and Recommendation |
| WO2022198065A1 (en) | 2021-03-19 | 2022-09-22 | Evalve, Inc. | Systems for tissue grasping and assessment |
| US11589100B1 (en) * | 2021-03-31 | 2023-02-21 | Amazon Technologies, Inc. | On-demand issuance private keys for encrypted video transmission |
| US11665377B2 (en) * | 2021-04-23 | 2023-05-30 | At&T Intellectual Property I, L.P. | System and method for identifying encrypted, pre-recorded media content in packet data networks |
| US11996087B2 (en) | 2021-04-30 | 2024-05-28 | Comcast Cable Communications, Llc | Method and apparatus for intelligent voice recognition |
| CN117280340A (zh) * | 2021-04-30 | 2023-12-22 | 华为技术有限公司 | 一种用于在数据存储系统中索引数据项的系统和方法 |
| US20220392435A1 (en) * | 2021-06-08 | 2022-12-08 | Comcast Cable Communications, Llc | Processing Voice Commands |
| US11496776B1 (en) * | 2021-07-19 | 2022-11-08 | Intrado Corporation | Database layer caching for video communications |
| WO2023068101A1 (ja) | 2021-10-20 | 2023-04-27 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及びプログラム |
| TWI806210B (zh) * | 2021-10-29 | 2023-06-21 | 宏碁股份有限公司 | 聲音浮水印的處理方法及聲音浮水印處理裝置 |
| EP4336381A1 (en) | 2022-09-09 | 2024-03-13 | Sparwk AS | System and method for music entity matching |
Family Cites Families (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4415767A (en) * | 1981-10-19 | 1983-11-15 | Votan | Method and apparatus for speech recognition and reproduction |
| US4450531A (en) * | 1982-09-10 | 1984-05-22 | Ensco, Inc. | Broadcast signal recognition system and method |
| US4582181A (en) * | 1983-08-12 | 1986-04-15 | Advanced Cardiovascular Systems, Inc. | Steerable dilatation catheter |
| JPS6273298A (ja) * | 1985-09-26 | 1987-04-03 | 沖電気工業株式会社 | 音声認識方式 |
| US4852181A (en) * | 1985-09-26 | 1989-07-25 | Oki Electric Industry Co., Ltd. | Speech recognition for recognizing the catagory of an input speech pattern |
| JPS62159195A (ja) * | 1986-01-06 | 1987-07-15 | 沖電気工業株式会社 | 音声パタン作成方法 |
| US4843562A (en) * | 1987-06-24 | 1989-06-27 | Broadcast Data Systems Limited Partnership | Broadcast information classification system and method |
| JPH03291752A (ja) * | 1990-04-10 | 1991-12-20 | Matsushita Electric Ind Co Ltd | データ検索装置 |
| US5210820A (en) * | 1990-05-02 | 1993-05-11 | Broadcast Data Systems Limited Partnership | Signal recognition system and method |
| JPH05509409A (ja) * | 1990-06-21 | 1993-12-22 | レイノルズ ソフトウエア，インコーポレイティド | 波動分析・事象認識方法およびその装置 |
| US5627915A (en) * | 1995-01-31 | 1997-05-06 | Princeton Video Image, Inc. | Pattern recognition system employing unlike templates to detect objects having distinctive features in a video field |
| JPH09138691A (ja) * | 1995-11-15 | 1997-05-27 | Brother Ind Ltd | 楽曲検索装置 |
| US7346472B1 (en) | 2000-09-07 | 2008-03-18 | Blue Spike, Inc. | Method and device for monitoring and analyzing signals |
| US5918223A (en) * | 1996-07-22 | 1999-06-29 | Muscle Fish | Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information |
| US6434520B1 (en) * | 1999-04-16 | 2002-08-13 | International Business Machines Corporation | System and method for indexing and querying audio archives |
| JP2001042866A (ja) * | 1999-05-21 | 2001-02-16 | Yamaha Corp | ネットワークを介したコンテンツ提供方法及びシステム |
| GR1003625B (el) | 1999-07-08 | 2001-08-31 | Μεθοδος χημικης αποθεσης συνθετων επικαλυψεων αγωγιμων πολυμερων σε επιφανειες κραματων αλουμινιου | |
| JP2001075992A (ja) * | 1999-09-07 | 2001-03-23 | Hitachi Ltd | 音響検索方法及び装置、並びに、コンピュータ読みとり可能な記録媒体 |
| JP3969908B2 (ja) * | 1999-09-14 | 2007-09-05 | キヤノン株式会社 | 音声入力端末器、音声認識装置、音声通信システム及び音声通信方法 |
| US7174293B2 (en) * | 1999-09-21 | 2007-02-06 | Iceberg Industries Llc | Audio identification system and method |
| US7194752B1 (en) * | 1999-10-19 | 2007-03-20 | Iceberg Industries, Llc | Method and apparatus for automatically recognizing input audio and/or video streams |
| US6834308B1 (en) * | 2000-02-17 | 2004-12-21 | Audible Magic Corporation | Method and apparatus for identifying media content presented on a media playing device |
| US6453252B1 (en) | 2000-05-15 | 2002-09-17 | Creative Technology Ltd. | Process for identifying audio content |
| AU2001267028A1 (en) | 2000-06-23 | 2002-01-08 | Mmr Technologies Inc | Flexible counter-flow heat exchangers |
| US6990453B2 (en) | 2000-07-31 | 2006-01-24 | Landmark Digital Services Llc | System and methods for recognizing sound and music signals in high noise and distortion |
| US6748360B2 (en) * | 2000-11-03 | 2004-06-08 | International Business Machines Corporation | System for selling a product utilizing audio content identification |
| US7359889B2 (en) * | 2001-03-02 | 2008-04-15 | Landmark Digital Services Llc | Method and apparatus for automatically creating database for use in automated media recognition system |
| US7117159B1 (en) * | 2001-09-26 | 2006-10-03 | Sprint Spectrum L.P. | Method and system for dynamic control over modes of operation of voice-processing in a voice command platform |
| DK1504445T3 (da) * | 2002-04-25 | 2008-12-01 | Landmark Digital Services Llc | Robust og invariant lydmönster-matching |
| CN1998168B (zh) * | 2004-02-19 | 2011-04-06 | 兰德马克数字服务有限责任公司 | 用于广播源辨识的方法与装置 |
| JP5150266B2 (ja) * | 2005-02-08 | 2013-02-20 | ランドマーク、ディジタル、サーヴィセズ、エルエルシー | オーディオ信号において繰り返されるマテリアルの自動識別 |
| US20100132122A1 (en) | 2008-12-02 | 2010-06-03 | Dan Hollingshead | Bed-Mounted Computer Terminal |
| US8428955B2 (en) * | 2009-10-13 | 2013-04-23 | Rovi Technologies Corporation | Adjusting recorder timing |
| US20130036455A1 (en) | 2010-01-25 | 2013-02-07 | Nokia Siemens Networks Oy | Method for controlling acess to resources |
| US9390170B2 (en) * | 2013-03-15 | 2016-07-12 | Shazam Investments Ltd. | Methods and systems for arranging and searching a database of media content recordings |
-
2001
- 2001-04-20 US US09/839,476 patent/US6990453B2/en not_active Expired - Lifetime
- 2001-07-26 AT AT01969535T patent/ATE329319T1/de active
- 2001-07-26 AU AU2001289766A patent/AU2001289766A1/en not_active Abandoned
- 2001-07-26 BR BRPI0112901A patent/BRPI0112901B1/pt not_active IP Right Cessation
- 2001-07-26 JP JP2002516764A patent/JP4945877B2/ja not_active Expired - Lifetime
- 2001-07-26 ES ES01969535T patent/ES2266254T3/es not_active Expired - Lifetime
- 2001-07-26 EP EP01969535A patent/EP1307833B1/en not_active Expired - Lifetime
- 2001-07-26 DE DE60120417T patent/DE60120417T2/de not_active Expired - Lifetime
- 2001-07-26 WO PCT/EP2001/008709 patent/WO2002011123A2/en active IP Right Grant
- 2001-07-26 KR KR1020037001489A patent/KR100776495B1/ko active IP Right Grant
- 2001-07-26 DK DK01969535T patent/DK1307833T3/da active
- 2001-07-26 PT PT01969535T patent/PT1307833E/pt unknown
- 2001-07-26 CN CN01813565XA patent/CN1592906B/zh not_active Expired - Fee Related
-
2003
- 2003-05-15 HK HK03103440A patent/HK1051248A1/xx not_active IP Right Cessation
-
2006
- 2006-01-23 US US11/337,450 patent/US7346512B2/en not_active Expired - Lifetime
-
2008
- 2008-03-14 US US12/048,825 patent/US7865368B2/en not_active Expired - Fee Related
-
2010
- 2010-11-24 US US12/954,004 patent/US8190435B2/en not_active Expired - Lifetime
-
2012
- 2012-04-30 US US13/460,079 patent/US8386258B2/en not_active Expired - Lifetime
-
2013
- 2013-01-24 US US13/749,243 patent/US8700407B2/en not_active Expired - Fee Related
-
2014
- 2014-04-14 US US14/252,433 patent/US9401154B2/en not_active Expired - Lifetime
-
2016
- 2016-07-19 US US15/213,969 patent/US9899030B2/en not_active Expired - Fee Related
-
2018
- 2018-01-23 US US15/877,955 patent/US10497378B2/en not_active Expired - Fee Related
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4945877B2 (ja) | 高い雑音、歪み環境下でサウンド・楽音信号を認識するシステムおよび方法 | |
| KR101578279B1 (ko) | 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템 | |
| US7240207B2 (en) | Fingerprinting media entities employing fingerprint algorithms and bit-to-bit comparisons | |
| JP5150266B2 (ja) | オーディオ信号において繰り返されるマテリアルの自動識別 | |
| CN100437572C (zh) | 音频指纹识别系统和方法 | |
| JP5362178B2 (ja) | オーディオ信号からの特徴的な指紋の抽出とマッチング | |
| CN1636240A (zh) | 利用音频内容标识来销售产品的系统 | |
| CN100538701C (zh) | 用于从媒体样本辨认媒体实体的方法 | |
| CN109271501B (zh) | 一种音频数据库的管理方法及系统 | |
| KR101002732B1 (ko) | 온라인을 통한 디지털 컨텐츠 관리 시스템 | |
| CN117807564A (zh) | 音频数据的侵权识别方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20060525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060525 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110422 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110719 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111020 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120120 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20120216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20120216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4945877 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |