JP5266343B2 - 署名を生成する方法及び装置 - Google Patents

署名を生成する方法及び装置 Download PDF

Info

Publication number
JP5266343B2
JP5266343B2 JP2010549634A JP2010549634A JP5266343B2 JP 5266343 B2 JP5266343 B2 JP 5266343B2 JP 2010549634 A JP2010549634 A JP 2010549634A JP 2010549634 A JP2010549634 A JP 2010549634A JP 5266343 B2 JP5266343 B2 JP 5266343B2
Authority
JP
Japan
Prior art keywords
window function
signature
windowed
voice signal
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010549634A
Other languages
English (en)
Other versions
JP2011521272A (ja
Inventor
アレクサンダー パブロヴィッチ トプチィ
アラン ラマスワミィ
ベヌゴパル スリニバサン
Original Assignee
ザ ニールセン カンパニー (ユー エス) エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ ニールセン カンパニー (ユー エス) エルエルシー filed Critical ザ ニールセン カンパニー (ユー エス) エルエルシー
Publication of JP2011521272A publication Critical patent/JP2011521272A/ja
Application granted granted Critical
Publication of JP5266343B2 publication Critical patent/JP5266343B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8358Generation of protective data, e.g. certificates involving watermark
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H2201/00Aspects of broadcast communication
    • H04H2201/90Aspects of broadcast communication characterised by the use of signatures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/66Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on distributors' side

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本開示は、一般に、メディア監視、マルチメディア・コンテンツの探索と検索、及びより詳細にはメディア情報の識別に使用される署名を生成するための方法及び装置に関する。
本出願は、2008年3月5日に出願された米国仮出願61/033,992の利益を主張するものであり、この仮出願は、引用により全体が本明細書に組み込まれる。
メディア情報の識別、及びより具体的には署名照合技術を使用した音声信号(たとえば、音声ストリームの情報)の識別は、十分に確立されている。また、署名は、指紋と同等に知られており、指紋と呼ばれることが多い。署名照合技術は、テレビ及びラジオ視聴者計測用途でしばしば使用され、署名を生成し照合するためのいくつかの方法を使用して実施される。たとえば、テレビ視聴者計測用途では、署名は、監視サイト(monitoring site)(たとえば、被監視世帯)と基準サイト(reference site)で生成される。監視サイトには、一般に、たとえば視聴者のメディア消費が監視される世帯などの場所が含まれる。たとえば、監視サイトでは、選択チャネルや無線局などと関連付けられた音声ストリームに基づいて被監視署名(monitored signature)が生成される。被監視署名は、次に、分析のために中央データ収集機構に送られる場合がある。基準サイトでは、放送領域内で提供された既知の番組に基づいて、一般に基準署名(reference signature)と呼ばれる署名が生成される。基準署名は、基準サイト及び/又は中央データ収集機構に記憶され、監視サイトで生成された被監視署名と比較される場合がある。基準署名と一致する被監視署名が見つかる場合があり、また一致基準署名に対応する既知の番組が、監視サイトで提示された番組として識別される場合がある。
米国特許出願公開第2002/0082731号 米国特許出願公開第2003/0005430号
署名を生成し音声ストリームを識別するための例示的な音声ストリーム識別システムを示す図である。 署名を生成し音声ストリームを識別するための例示的な音声ストリーム識別システムを示す図である。 例示的な署名生成プロセスを示す流れ図である。 例示的な被監視音声ストリームを表す時間領域の図である。 正弦波である被監視音声ストリーム(すなわち、音声ブロック)の一部分の例のグラフである。 図4の音声ブロックに適用される場合がある例示的なウィンドウのグラフである。 図4の音声ブロックに図5のウィンドウを適用することにより得られる被ウィンドウ処理音声ブロックのグラフである。 図4の音声ブロックに適用される場合がある第2の例示的ウィンドウのグラフである。 図4の音声ブロックに図7のウィンドウを適用することにより得られる被ウィンドウ処理音声ブロックのグラフである。 ウィンドウの対応する周波数応答を示す、図5のウィンドウのグラフである。 ウィンドウの対応する周波数応答を示す、図7のウィンドウのグラフである。 第2の代替の例示的ウィンドウとその対応する周波数応答のグラフである。 第3の代替の例示的ウィンドウとその対応する周波数応答のグラフである。 例示的な署名照合プロセスの流れ図である。 図13の流れ図にしたがって署名をどのように比較するかを示す図である。 音声ストリーム又は音声ブロックに基づいて署名を生成するための例示的な署名生成システムのブロック図である。 署名を比較するための例示的な署名比較システムのブロック図である。 本明細書に記載された方法及び装置を実施するために使用される場合がある例示的なプロセッサ・システムのブロック図である。
以下では、いくつかある構成要素の中で、ハードウェア上で実行されるソフトウェアを使用して実施される例示的なシステムを開示するが、そのようなシステムが、単に説明的なものであり、限定と見なされるべきでないことに注意されたい。たとえば、そのようなハードウェア及びソフトウエア構成要素のいずれか又はすべては、ハードウェアだけで実施されてもよく、ソフトウェアだけで実施されてもよく、又はハードウェアとソフトウェアの任意の組み合わせで実施されてもよい。したがって、以下では例示的なシステムを説明するが、当業者は、提供された例がそのようなシステムを実施する唯一の方法ではないことを容易に理解するであろう。
本明細書で述べる方法及び装置は、一般に、メディア情報を識別するために使用される場合があるデジタル署名の生成に関する。デジタル署名(すなわち、デジタル指紋)は、照合、索引付け、又はデータベースの探索と検索のために信号を正確に特徴付ける信号記述子である。詳細には、開示された方法及び装置は、音声ストリーム又は音声ブロック(たとえば、音声情報)に基づくデジタル音声署名の生成と関連して説明される。しかしながら、本明細書で説明する方法及び装置は、他のタイプの信号、時系列データ、及びたとえばビデオ情報、ウェブ・ページ、静止画像、コンピュータ・データなどのメディア情報に基づいてデジタル署名を生成するために使用されてもよい。さらに、メディア情報は、同等通信情報(たとえば、テレビ情報、無線情報など)、任意の記憶メディア(たとえば、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)など)から再生された情報、又はデジタル署名が生成された音声ストリーム、ビデオ・ストリーム又は他のメディア情報と関連した他の情報と関連付けられてもよい。1つの特定の例では、音声ストリームは、監視サイト(たとえば、被監視世帯)で生成された被監視デジタル署名と、基準サイト及び/又は中央データ収集機構で生成されかつ/又は記憶された基準デジタル署名とを含むデジタル署名に基づいて識別される。
後で詳しく述べるように、本明細書で述べる方法及び装置は、デジタル署名に基づいて音声ストリームや他のメディアを含むメディア情報を識別する。たとえば、本明細書で述べる例示的な技術は、特定の時間にたとえば音声サンプルの単一音声ブロックを使用して署名を計算するが、2つ以上のウィンドウ関数を使用して音声ブロックを処理して2つ以上の被ウィンドウ処理音声ブロックを得る。被ウィンドウ処理音声ブロックをさらに処理することにより、音声ブロックの音声スペクトルへのウィンドウ処理の影響を検出することができる。音声ブロックに固有又は実質的に固有の署名値は、音声ブロックに対する2つ以上のウィンドウ処理関数の影響から得られる。すなわち、本明細書で述べる例示的な技術は、時間的にずれた音声ブロックを使用することなく音声署名の計算又は決定を可能にする。当然ながら、ウィンドウ処理関数の選択は、変換のタイプ、そのパラメータ及び/又は署名を決定するために使用される解決策に応じて調整されてもよい。
以下に詳細に述べるように、音声サンプルのブロックにウィンドウ処理関数を適用した後で、たとえば離散的フーリエ変換(DFT)や他の適切な変換(たとえば、離散コサイン変換(DCT)、変形離散コサイン変換(MDCT)、ハール変換、ウォルシュ変換など)を使用して被ウィンドウ処理音声ブロックを時間領域から周波数領域に変換することによって、被ウィンドウ処理音声ブロックの周波数成分が生成され、これは、フーリエ変換に基づいても基づかなくてもよい。この変換を使用して、被ウィンドウ処理音声ブロック内の周波数成分を分析し、各周波数成分のスペクトル・パワーを識別することができる。次に、スペクトル・パワーを使用してデジタル署名を生成することができる。
音声ブロックにウィンドウ関数を適用した後で他の技術が使用されてもよい。たとえば、被ウィンドウ処理音声ブロックは、音声情報を時間領域からウェーブレット領域に変換するウェーブレット変換を使用して処理されてもよい。一般に、ウェーブレット変換を使用して、データ(たとえば、時間領域音声サンプル)のブロック又はフレームを複数の副帯域に分解することができ、それにより、データセットを様々なスケール及び/又は分解能で分析することが可能になる。データを複数の副帯域に分けることによって、ウェーブレット変換を使用して、データの各時間間隔を所望のスケール又は分解能で分析することができる。
あるいは、時間領域内のウィンドウ関数を音声サンプルの時間領域ブロックに適用する代わりに、周波数領域内でウィンドウ処理を行ってもよく、その場合、時間領域ウィンドウに対応する周波数応答を音声ブロックの周波数スペクトルで畳み込んでもよい。畳み込みを含む周波数領域処理を使用する場合、音声ブロックの周波数領域への変換は、フーリエ変換を使用して実行されてもよく、その場合、不連続性を考慮するために音声ブロック間で調整が行われる。さらに、ウィンドウの処理と適用が周波数領域内で行われる場合は、いくつかの非ゼロ要素(たとえば、3〜5個の非ゼロ要素)を有する周波数特性を有する時間領域ウィンドウが選択されてもよい。
被監視署名は、視聴者が消費するか又は視聴者がさらされるメディア情報と関連付けられた音声ストリーム(たとえば、監視された音声ストリーム)に基づいて、監視サイトで前述の技術を使用して生成されてもよい。たとえば、テレビ番組の音声トラック又は監視サイトで提示された他のメディアに基づいて被監視署名が生成されてもよい。次に、被監視署名は、1つ又は複数の基準署名と比較するために中央データ収集機構に送られてもよい。
基準署名は、基準サイト及び/又は中央データ収集機構で、既知のメディア情報と関連付けられた音声ストリームに上記の技術を使用して生成される。既知のメディア情報には、領域内で放送されたメディア、世帯内で再生されたメディア、インターネットなどを介して受け取ったメディアなどが含まれる場合がある。各基準署名は、たとえば曲名や映画名などのメディア識別情報と共にメモリに記憶される。被監視署名を中央データ収集機構で受け取ったとき、被監視署名は、一致が見つかるまで1つ又は複数の基準署名と比較される。次に、この一致情報を使用して、被監視署名が生成されたメディア情報(たとえば、被監視音声ストリーム)を識別してもよい。たとえば、ルックアップ・テーブル又はデータベースを参照して、被監視署名が生成されたメディア情報に対応するメディア名、番組識別名、エピソード番号などを取得することができる。
一例では、被監視署名と基準署名が生成される速度が異なってもよい。たとえば、処理や他の問題のために、被監視署名は、基準署名のデータ転送速度の25%でもよい。たとえば、48ビット基準署名が、0.032秒ごとに生成されてもよく、その結果、基準データ転送速度は、48ビット*31.25/秒すなわち187.5バイト/秒になる。そのような構成では、48ビット被監視署名が、0.128秒ごとに生成されてもよく、その結果、被監視データ転送速度は、48ビット*7.8125/秒すなわち46.875バイト/秒になる。当然ながら、被監視署名と基準署名のデータ転送速度が異なる構成では、被監視署名を基準署名と比較するときこの差を考慮しなければならない。たとえば、監視レートが参照レートの25%の場合、連続した被監視署名はそれぞれ、4つごとの基準署名に対応する。
図1Aと図1Bは、デジタル・スペクトル署名を生成し音声ストリームを識別するための例示的な音声ストリーム識別システム100及び150を示す。例示的な音声ストリーム識別システム100及び150はそれぞれ、テレビ放送識別情報システムとラジオ放送識別情報システムとして実施されてもよい。例示的な音声ストリーム識別システム100は、監視サイト102(たとえば、被監視世帯)、基準サイト104及び中央データ収集機構106を含む。
テレビ放送情報の監視は、テレビ放送情報の音声情報に基づいて監視サイト102で被監視署名を生成し、その被監視署名をネットワーク108を介して中央データ収集機構106に通信することを含む。基準署名は、基準サイト104で生成されてもよく、ネットワーク108を介して中央データ収集機構106に通信されてもよい。監視サイト102で生成された被監視署名によって表わされる音声コンテンツは、中央データ収集機構106において、一致が見つかるまで被監視署名を1つ又は複数の基準署名と比較することによって識別されてもよい。あるいは、被監視署名は、監視サイト102から基準サイト104に送られ、基準サイト104で1つ又は複数の基準署名と比較されてもよい。別の例では、基準署名は、監視サイト102に送られ、監視サイト102で被監視署名と比較されてもよい。
監視サイト102は、たとえば、視聴者のメディア消費が監視される世帯である。一般に、監視サイト102は、複数のメディア配信装置110、複数のメディア表現装置112、及び監視サイト102で提示されたメディアと関連付けられた被監視署名を生成するために使用される署名ジェネレータ114を含むことができる。
複数のメディア配信装置110には、たとえば、セットトップ・ボックス・チューナ(たとえば、ケーブル・チューナ、衛星チューナなど)、PVR装置、DVDプレーヤ、CDプレーヤ、ラジオなどがある。たとえば、セットトップ・ボックス・チューナなどのメディア配信装置110のうちのいくつか又はすべてが、1つ又は複数の放送情報受信装置116に通信可能に結合されてもよく、放送情報受信装置116は、ケーブル、衛星放送アンテナ、アンテナ、及び/又は放送情報を受信するための他の適切な装置を含むことができる。メディア配信装置110は、たとえば、放送情報及び/又は記憶情報に基づいてメディア情報(たとえば、音声情報、ビデオ情報、ウェブ・ページ、静止画像など)、を再生するように構成されてもよい。放送情報は、放送情報受信装置116から取得されてもよく、記憶情報が、任意の情報記憶メディア(たとえば、DVD、CD、テープなど)から取得されてもよい。メディア配信装置110は、メディア表現装置112に通信可能に結合され、表現するためにメディア情報をメディア表現装置112に通信するように構成可能である。メディア表現装置112には、視聴者がたとえば放送テレビ情報、音楽、映画などを消費する表示装置及び/又は1組のスピーカを有するテレビが含まれてもよい。
署名ジェネレータ114は、後でより詳しく述べるように、音声情報に基づいて被監視デジタル署名を生成するために使用される場合がある。詳細には、監視サイト102で、署名ジェネレータ114は、メディア配信装置110によって再生されかつ/又はメディア表現装置112によって表現される被監視音声ストリームに基づいて被監視署名を生成するように構成されてもよい。署名ジェネレータ114は、音声監視インタフェース118を介して、メディア配信装置110及び/又はメディア表現装置112に通信可能に結合されてもよい。このようにして、署名ジェネレータ114は、メディア配信装置110によって再生されかつ/又はメディア表現装置112によって表現されるメディア情報と関連付けられた音声ストリームを得ることができる。追加又は代替として、署名ジェネレータ114は、音声ストリームを検出するためにメディア表現装置112の近くに配置されたマイクロフォン(図示せず)に通信可能に結合されてもよい。署名ジェネレータ114は、ネットワーク108を介して中央データ収集機構106に通信可能に結合されてもよい。
ネットワーク108は、監視サイト102と基準サイト104と中央データ収集機構106間で署名(たとえば、デジタル・スペクトル署名)、制御情報及び/又は構成情報を通信するために使用されてもよい。たとえば、広帯域ケーブル・ネットワーク、DSLネットワーク、携帯電話ネットワーク、衛星ネットワーク及び/又は他の通信ネットワークなどの任意の有線又は無線通信システムを使用してネットワーク108を実現することができる。
図1Aに示されたように、基準サイト104は、複数の放送情報チューナ120、基準署名ジェネレータ122、トランスミッタ124、データベース又はメモリ126、及び放送情報受信装置128を含むことができる。基準署名ジェネレータ122とトランスミッタ124は、基準署名を記憶しかつ/又は記憶された基準署名を取り出すためにメモリ126に通信可能に結合されてもよい。
放送情報チューナ120は、放送情報受信装置128に通信可能に結合されてもよく、放送情報受信装置128は、ケーブル、アンテナ、衛星放送アンテナ及び/又は放送情報を受け取るための他の適切な装置を含むことができる。放送情報チューナ120はそれぞれ、特定の放送チャネルに同調するように構成されてもよい。一般に、基準サイト104にあるチューナの数は、特定の放送領域内で利用可能なチャネルの数と等しい。このようにして、放送領域内のすべてのチャネルを介して送信されたすべてのメディア情報の基準署名が生成されてもよい。同調されたメディア情報の音声部分は、放送情報チューナ120から基準署名ジェネレータ122に通信されてもよい。
基準署名ジェネレータ122は、特定の放送領域内で利用可能なすべてのメディア情報の音声部分を取得するように構成されてもよい。その場合、基準署名ジェネレータ122は、音声情報に基づいて複数の基準署名(たとえば、後でより詳しく説明する処理を使用して)を生成し、基準署名をメモリ126に記憶してもよい。図1には1つの基準署名ジェネレータが示されているが、基準サイト104で複数の基準署名ジェネレータが使用されてもよい。たとえば、複数の署名ジェネレータのそれぞれが、放送情報チューナ120のそれぞれに通信可能に結合されてもよい。
トランスミッタ124は、メモリ126に通信可能に結合され、メモリ126から署名を取得し、ネットワーク108を介して基準署名を中央データ収集機構106に通信するように構成されてもよい。
中央データ収集機構106は、監視サイト102から受け取った被監視署名を、基準サイト104から受け取った基準署名と比較するように構成されてもよい。更に、中央データ収集機構106は、被監視署名を基準署名と照合し、一致情報を使用してデータベースからテレビ番組識別情報(たとえば、番組名、放送時間、放送チャネルなど)を取得することによって被監視音声ストリームを識別するように構成されてもよい。中央データ収集機構106は、レシーバ130、署名アナライザ132及びメモリ134を含み、これらはすべて、図示したように通信可能に結合される。
レシーバ130は、ネットワーク108を介して被監視署名と基準署名を受信するように構成されてもよい。レシーバ130は、メモリ134に通信可能に結合され、被監視署名と基準署名をそこに記憶するように構成される。
署名アナライザ132を使用して、基準署名を被監視署名と比較することができる。署名アナライザ132は、メモリ134に通信可能に結合され、メモリ134から被監視署名と基準署名を取得するように構成される。署名アナライザ132は、メモリ134から基準署名と被監視署名を取り出し、一致が見つかるまで被監視署名を基準署名と比較するように構成されてもよい。メモリ134は、たとえば、1つ又は複数のハードドライブや1つ又は複数の光学記憶装置などの任意の機械的アクセス可能な情報記憶メディアを使用して実施されてもよい。
署名アナライザ132は、図1Aでは中央データ収集機構106に配置されているが、その代りに署名アナライザ132は、基準サイト104に配置されてもよい。そのような構成では、被監視署名は、ネットワーク108を介して監視サイト102から基準サイト104に通信されてもよい。あるいは、メモリ134は、監視サイト102に配置されてもよく、基準署名が、ネットワーク108を介してトランスミッタ124によってメモリ134に定期的に追加されてもよい。さらに、署名アナライザ132が、署名ジェネレータ114及び122と別の装置として示されているが、署名アナライザ132は、基準署名ジェネレータ122及び/又は署名ジェネレータ114と一体化されてもよい。更に、図1は、単一の監視サイト(すなわち、監視サイト102)と単一の基準サイト(すなわち、基準サイト104)を示しているが、複数のそのようなサイトがネットワーク108を介して中央データ収集機構106に結合されてもよい。
図1Bの音声ストリーム識別システム150は、ラジオ放送情報や他のメディアと関連付けられた音声ストリームを監視し識別するように構成されてもよい。一般に、音声ストリーム識別システム150は、特定の放送領域内の複数の無線局によって放送されたコンテンツを監視するために使用される。視聴者によって消費されるテレビ・コンテンツを監視するために使用される音声ストリーム識別システム100と異なり、音声ストリーム識別システム150は、放送領域内で放送された音楽や歌などとそれらが放送された回数を監視するために使用されてもよい。このタイプのメディア・トラッキングは、各音声構成物と関連付けられた印税支払いや著作権の適正使用などを判定するために使用されてもよい。音声ストリーム識別システム150は、監視サイト152、中央データ収集機構154及びネットワーク108を含む。
監視サイト152は、特定の放送領域内で利用可能なすべてのラジオ放送情報を受信し、ラジオ放送情報に基づいて被監視署名を生成するように構成される。監視サイト152は、複数の放送情報チューナ120、トランスミッタ124、メモリ126m、及び放送情報受信装置128を含み、これらはすべて、図1Aと関連して前に説明されている。更に、監視サイト152は、署名ジェネレータ156を含む。音声ストリーム識別システム150内で使用されるときに、放送情報受信装置128は、ラジオ放送情報を受信するように構成され、放送情報チューナ120は、ラジオ放送局に同調するように構成される。監視サイト152にある放送情報チューナ120の数は、特定の放送領域内のラジオ放送局の数と等しくてもよい。
署名ジェネレータ156は、各放送情報チューナ120から音声同調情報を受け取り、その音声同調情報のための被監視署名を生成するように構成される。1つの署名ジェネレータ(すなわち、署名ジェネレータ156)が示されているが、監視サイト152は、放送情報チューナ120のうちの1つに通信可能にそれぞれ結合された複数の署名ジェネレータを含んでもよい。署名ジェネレータ156は、被監視署名をメモリ126に記憶してもよい。トランスミッタ124は、メモリ126から被監視署名を取得し、その被監視署名をネットワーク108を介して中央データ収集機構154に通信してもよい。
中央データ収集機構154は、監視サイト152から被監視署名を受け取り、基準音声ストリームに基づいて基準署名を生成し、被監視署名を基準署名と比較するように構成される。中央データ収集機構154は、レシーバ130、署名アナライザ132及びメモリ134を含み、これらはすべて、図1Aと関連してより詳しく説明される。更に、中央データ収集機構154は、基準署名ジェネレータ158を含む。
基準署名ジェネレータ158は、基準音声ストリームに基づいて基準署名を生成するように構成される。基準音声ストリームは、たとえば、CD、DVD、デジタル音声テープ(DAT)などの任意のタイプの機械的アクセス可能メディア上に記憶されてもよい。一般に、芸術家又はレコード製作会社は、その音声作品(すなわち、音楽や歌など)を、基準ライブラリに追加される中央データ収集機構154に送る。基準署名ジェネレータ158は、機械的アクセス可能なメディアから音声情報を読み取り、各音声作品(たとえば、図3の取り込まれた音声300)に基づいて複数の基準署名を生成してもよい。次に、基準署名ジェネレータ158は、署名アナライザ132によって後で取り出すために基準署名をメモリ134に記憶してもよい。各基準音声ストリームと関連付けられた識別情報(たとえば、歌名、アーティスト名、トラック番号など)は、データベースに記憶されてもよく、基準署名に基づいて索引付けされてもよい。このようにして、中央データ収集機構154は、既知で利用可能なすべての歌名に対応する基準署名と識別情報のデータベースを含む。
レシーバ130は、ネットワーク108から被監視署名を受信し、その被監視署名をメモリ134に記憶するように構成される。被監視署名と基準署名は、放送領域内で放送された被監視音声ストリームの識別に使用するために、署名アナライザ132によってメモリ134から取り出される。署名アナライザ132は、最初に被監視署名を基準署名と照合することによって、被監視音声ストリームを識別することができる。次に、一致情報及び/又は一致基準署名を使用して、メモリ134に記憶されたデータベースから識別情報(たとえば、歌名、歌トラック、芸術家など)を取り出す。
図1Bには1つの監視サイト(たとえば、監視サイト152)が示されているが、複数の監視サイトが、ネットワーク108に通信可能に結合され、被監視署名を生成するように構成されてもよい。詳細には、各監視サイトは、それぞれの放送領域内に配置され、それぞれの放送領域内の放送局のコンテンツを監視するように構成されてもよい。
図2は、例示的な署名生成プロセス200を表わす流れ図である。図2に示されたように、署名生成プロセス200は、最初に、署名によって特徴付ける音声ブロックを取り込む(ブロック202)。取り込まれることがある音声の例示的な時間領域プロットは、図3に参照数字300で示されている。音声は、音源から、たとえば音源への配線接続によって又は音源への音声センサなどの無線接続によって取り込まれてもよい。音源がアナログの場合、取り込みは、たとえばアナログ−デジタル変換器を使用してアナログ音源をサンプリングすることを含む。一例では、音源は、サンプリング・レート(Fs)と呼ばれる8キロヘルツ(kHz)のレートでサンプリングされてもよい。これは、アナログ音声が、1秒当たり8000サンプルの割合、すなわち125マイクロ秒ごとに1サンプル取得されるデジタル・サンプルによって表わされることを意味する。音声サンプルはそれぞれ、モノオーラル(monoaural)の16ビットの分解能によって表わされてもよい。
一例では、8192個のサンプルに対応する音声ブロックが、処理のために取り込まれる。前述の8kHzのサンプリング・レートで、これは、1.024秒の音声に対応する。しかしながら、これは単に一例であり、収集されるサンプルの数は、持続時間が約1秒〜2秒の任意の範囲の音声セグメントに対応してもよい。総称的に、本明細書では、音声ブロック内の取り込まれたサンプルの数を変数Nと呼ぶ。したがって、上記の例では、N=8192であり、取り込まれた音声の時間範囲は、t...t+N/Fsに対応する。音声ブロックの表現は、図4では参照数字402で示され、例として、音声ブロックは正弦波に対応する。
音声ブロックを取り込んだ(ブロック202)後、プロセス200は、W1と呼ばれる第1のウィンドウ関数(ブロック204A)を音声ブロックに適用して、第1の被ウィンドウ処理音声ブロックを作成する。さらに、プロセス200は、W2と呼ばれる第2のウィンドウ関数(ブロック204B)を使用して音声ブロックをウィンドウ処理して、第2の被ウィンドウ処理音声ブロックを作成する。たとえば、ウィンドウは、図5に参照数字502で示されたようなガウス関数又はベル形関数でもよく、W1502の上端と下端は0の値を有し、ウィンドウ502の中心は1の値を有する。一例では、ウィンドウ処理は、ウィンドウ関数の値と音声ブロックのそれぞれのサンプルの間のサンプルに関しての乗算(sample−wise multiplication)である。たとえば、音声ブロック402をウィンドウ502でウィンドウ処理する結果として、図6に示されたような被ウィンドウ処理音声ブロック602が得られ、被ウィンドウ処理音声ブロック602の振幅は、ウィンドウ502の末端ではゼロであり、被ウィンドウ処理音声ブロック602の中心では音声ブロック402と同じ振幅である。
あるいは、ウィンドウ関数のサンプルに関しての乗算を使用して時間領域内でウィンドウ関数を音声ブロックに適用するのではなく、ウィンドウ処理は周波数領域内で行われてもよく、時間領域ウィンドウに対応する周波数応答が、音声ブロックの周波数スペクトルで畳み込まれてもよい。前述のように、畳み込みを含む周波数領域処理が使用される場合は、周波数領域への音声ブロックの変換が、フーリエ変換を使用して実行されてもよく、ここで、不連続性を考慮するために音声ブロック間で調整が行われる。さらに、ウィンドウの処理と適用が周波数領域内で行われる場合は、いくつかの非ゼロ要素(たとえば、3〜5個の非ゼロ要素)を含む周波数特性を有する時間領域ウィンドウが選択されてもよい。
1とW2に選択されるウィンドウは、本質的に相補的でよい。たとえば、W1に図5に示されたウィンドウ502が選択された場合は、W2に図7のウィンドウ702が選択されてもよい。図7に示されたように、ウィンドウ702は、ウィンドウW1を逆にしたもの、すなわちW2(k)=1−W1(k)であり、ここで、kは、ウィンドウ領域内のサンプル指標である。ウィンドウW2は、ウィンドウ702の上端と下端で1の値に近づき、ウィンドウ702の中心にゼロ値を有する。したがって、ウィンドウ702が音声ブロック402に適用されたときに、図8に示されたような被ウィンドウ処理音声ブロック802が得られる。図8に示されたように、被ウィンドウ処理音声ブロック802は、その中心にゼロ振幅を有するが、被ウィンドウ処理音声ブロック802の末端で音声ブロック402の振幅と実質的に一致する振幅を有する。
図9と図10に示されたように、ウィンドウ502及び702は、それぞれの周波数応答902及び1002を有する。したがって、ウィンドウ502及び702の音声ブロック(たとえば、音声ブロック402)への適用は、音声ブロックのスペクトルに影響を及ぼす。後述するように、音声ブロックを表す署名を決定するために、様々なウィンドウの音声ブロックに対する様々な影響が検査される。
上記の説明に選択されたウィンドウ502及び702はそれぞれ、Hannウィンドウ及び逆Hannウィンドウと似ているが、他のウィンドウ形状が使用されてもよい。たとえば、図11と図12に示されたように、2つの非対称的なウィンドウ1102及び1202が選択されてもよく、第1のウィンドウ1102は、ウィンドウ処理空間の上側半分を占め、第2のウィンドウ1202は、ウィンドウ処理空間の下側半分を占める。非対称ウィンドウ1102及び1202の周波数応答は、図11と図12に参照数字1104及び1204で示されたものと同一であるが、ウィンドウが、音声ブロックのほとんど別々の部分で動作するので、ウィンドウ処理の結果は、正弦波でない音声信号に様々なスペクトル特性を有する。
本明細書ではウィンドウ形状の特定の例を説明したが、他のウィンドウ形状が使用されてもよい。たとえば、ウィンドウ形状は、第1のウィンドウと第2のウィンドウ(たとえば、W1とW2)の両方に任意に選択されてもよく、この選択は、1組のウィンドウ関数から行われる。当然ながら、監視サイトと基準サイトが同時に使用する場合は、時間によって異なるウィンドウが使用されてもよい。さらに、2つを超えるウィンドウが使用されてもよい。
図2に戻ると、ウィンドウ処理(ブロック204A及び204B)が完了した後で、被ウィンドウ処理音声ブロックがそれぞれ変換される(ブロック206A及び206B)。一例では、変換は、時間領域から周波数領域への変換でよい。たとえば、ウィンドウ処理されたN個の取り込み音声サンプルが、N/2複合DFT係数によって表わされる音声スペクトルに変換されてもよい。あるいは、ウェーブレット変換、DCT、MDCT、ハール変換、ウォルシュ変換などの任意の適切な変換が使用されてもよい。
変換(ブロック206A及び206B)が完了した後、プロセス200は、各変換(ブロック208A及び208B)の結果を特徴付ける。たとえば、プロセスは、各変換結果のK+1個の異なる各帯域内のエネルギーを決定する。すなわち、ウィンドウW1の使用(ブロック206A)によって得られる被ウィンドウ処理音声ブロックの変換の結果が、たとえば16個の異なる帯域に分割されてもよく、16個の異なる各帯域内のエネルギーが決定されてもよい。これは、Ej(w1)によって表わされてもよく、ここで、jは0〜15の範囲であり、w1は、エネルギーが、ウィンドウW1をサンプリング音声(すなわち、音声ブロック)に適用する結果得られるスペクトルと関連付けられることを示す。同様に、ウィンドウW2の使用(ブロック206B)によって得られるウィンドウ処理ブロックの変換の結果が、たとえば16個の異なる帯域に分割されてもよく、そのエネルギーは、決定され、Ej(w2)として表わされてもよく、ここで、jは0から15の範囲であり、w2は、エネルギーが、ウィンドウW2を適用することより得られるスペクトルと関連付けられることを示す。あるいは、結果を特徴付けるためにエネルギー以外の異なるスペクトル特性が使用されてもよい。たとえば、エネルギー分布のスペクトル平坦度が使用されてもよい。
各組の変換結果が特徴付けられた後で(ブロック208A及び208B)、プロセス210は、特徴付けの結果を比較する。たとえば、各帯域の特徴付けの結果が、互いに減算されてもよい。一例では、中間値がdj=Ej(w2)−Ej(w1)として計算されてもよく、ここで、jは0からKの範囲である。K=15の前述の具体例に沿って、中間値djが計算されてもよく、ここで、dj=Ej(w2)−Ej(w1)であり、jは0〜15の範囲である。したがって、そのような比較により16個の異なる中間値(たとえば、d0,d1,d2,...d15)が得られ、各中間値は、たとえば被ウィンドウ処理音声ブロックの変換によって得られるスペクトルの類似周波数帯の特徴の違いである。
特徴付けの比較を表わすために中間値を計算した後で(ブロック210)、プロセス200は、この比較に基づいて署名ビットを決定する(ブロック212)。たとえば、署名ビットSjは、中間値dj>0の場合に値1が割り当てられ、その他の場合は値0が割り当てられてもよく、ここで、jは0からKの範囲である。より具体的には、K=15の上の例に示したように、したがって、0の値に対する中間値の比較は16個になり、これら比較に基づいて、図2のブロック202で取り込まれた音声ブロックを表わすために16ビットの署名が生成される。署名が決定された(ブロック212)後で、プロセス200は、繰り返し(ブロック214)、追加の音声を取り込んで(ブロック202)、追加の署名を生成する。
以上、第1のウィンドウ(W1)と第2のウィンドウ(W2)の選択と、取り込んだ音声のブロックの全ての署名ビットが、選択されたウィンドウを使用して決定されることを述べたが、他の構成も可能である。たとえば、取り込んだ音声のブロックを表わす署名のいくつかのビットは、第1のウィンドウ対(たとえば、W1とW2)を使用して決定されてもよく、一方署名の他のビットは、異なるウィンドウ対(たとえば、W3とW4)を使用して決定されてもよい。さらに、第3のウィンドウ対(たとえば、W1とW3)を使用して、追加の署名ビットを決定してもよい。場合によっては、固有のウィンドウ対が、基準サイトにある同じウィンドウブロック上で動作するように選択される限り、それらの固有のウィンドウ対が、各署名ビットの値を決定するために所定又は任意の方式で選択されてもよい。
以上、取り込まれた音声の一部分を表す署名を決定するために実行される場合がある署名方法について説明した。図13は、基準署名(すなわち、基準サイトで決定された署名)を被監視署名(すなわち、監視サイトで決定された署名)と比較するために実行される場合がある1つの例の署名照合プロセス1300を示す。署名照合の最終目標は、照会音声署名(たとえば、被監視音声)とデータベース内の署名(たとえば、基準音声に基づいて行われた署名)の間の最も近い一致を見つけることである。この比較は、基準サイト、監視サイト、又は被監視署名にアクセスする他のデータ処理サイト及び基準署名を含むデータベースで実行されてもよい。
次に、図13の例示的な方法の詳細に戻ると、例示的プロセス1300は、被監視署名及びその関連付けられたタイミングを取得する段階(ブロック1302)を含む。図14に示されたように、署名の収集は、いくつかの被監視署名を含んでもよく、それらのうちの3個が、図14に参照数字802,804及び806で示される。各署名は、シグマ(σ)によって表わされる。被監視署名1402、1404、1406がそれぞれ、タイミング情報1408、1410、1412を含む場合があり、そのタイミング情報は、暗黙的な場合も明示的な場合もある。
次に、基準署名を含むデータベースに照会して(ブロック1304)、最も近い一致を有するデータベース内の署名を識別する。一実施態様では、署名間の類似性(近さ)の測定は、ハミング距離、すなわち照会ビット・ストリング値と参照ビット・ストリング値が異なる位置の数になるように行われる。図14では、署名とタイミング情報のデータベースが、参照数字1416で示される。当然ながら、データベース1406は、様々なメディア表現と異なる任意数の署名をも含んでもよい。次に、一致した基準署名と関連付けられた番組と未知の署名との間の関連付けが行われる(ブロック1306)。
次に、必要に応じて、プロセス1300は、被監視署名と基準署名の間のオフセットを設定してもよい(ブロック1308)。このオフセットの値は、照会署名ブロックが基準署名と十分に一致するかどうかをより適切でより確実に決定するために必要とされる。一般に、短い照会ブロック内のすべての署名のオフセット値は、監視(表示)の連続性により、それぞれの基準署名に対してほとんど一定のままである。
複数の基準署名の全ての記述子が、所定のハミング距離しきい値を下回るハミング距離と関連付けられる例では、一致する可能性のある基準音声ストリームのそれぞれの基準署名と複数の被監視署名を照合しなければならない場合がある。被監視音声ストリームに基づいて生成されたすべての被監視署名が、複数の基準音声ストリームのすべての基準署名と一致する可能性は比較的低く、したがって、複数の基準音声ストリームを被監視音声ストリームに間違って照会するのを防ぐことができる。
前述の例示的な方法、プロセス及び/又は技術は、ハードウェア、ソフトウェア及び/又は任意の組み合わせによって実施されてもよい。より具体的には、例示的な方法は、図15と図16のブロック図によって定義されたハードウェアで実行されてもよい。また、例示的な方法、プロセス及び/又は技術は、たとえば図16のプロセッサ・システム1610などのプロセッサ・システム上で実行されるソフトウェアによって実施されてもよい。
図15は、デジタルスペクトル署名を生成するための例示的な署名生成システム1500のブロック図である。詳細には、この例示的な署名生成システム1500を使用して、前述のような音声ブロックのウィンドウ処理、変換、特徴付け、比較に基づいて被監視署名及び/又は基準署名を生成してもよい。たとえば、例示的な署名生成システム1500を使用して、図1Aの署名ジェネレータ114及び122と図1Bの署名ジェネレータ156及び158を実施することができる。さらに、例示的な署名生成システム1500を使用して、図2の例示的な方法を実施してもよい。
図15に示されたように、例示的な署名生成システム1500は、サンプル・ジェネレータ1502、タイミング装置1503、基準時間ジェネレータ1504、ウィンドウ処理器(windower)1506、トランスフォーマ1508、特徴決定器(characteristic determiner)1510、比較器1512、署名決定器1514、記憶装置1516及びデータ通信インタフェース1518を含み、これらはすべて、図示したように通信可能に結合されてもよい。例示的な署名生成システム1500は、例示的な音声ストリームを獲得し、例示的な音声ストリームから複数の音声サンプルを取得し、その単一音声ブロックからその音声ブロックを表す署名を生成するように構成されてもよい。
サンプル・ジェネレータ1502は、図3の取り込まれた音声300が得られるストリームなどの例示的な音声ストリームを取得するように構成されてもよい。ストリーム300は、任意のアナログ又はデジタル音声ストリームでよい。例示的な音声ストリームがアナログ音声ストリームの場合、サンプル・ジェネレータ1502は、アナログ−デジタル変換器を使用して実施されてもよい。例示的な音声ストリームがデジタル音声ストリームの場合、サンプル・ジェネレータ1502は、デジタル信号プロセッサを使用して実施されてもよい。さらに、サンプル・ジェネレータ1502は、任意の所望のサンプリング周波数Fsで音声サンプルを取得しかつ/又は抽出するように構成されてもよい。たとえば、前述のように、サンプル・ジェネレータは、8kHzでN個のサンプルを取得するように構成されてもよく、各サンプルを表わすために16個のビットを使用してもよい。そのような構成で、Nは、たとえばN=8192などの任意のサンプル数でよい。サンプル・ジェネレータ1502は、また、音声サンプル取得プロセスがいつ始まるかを基準時間ジェネレータ1504に通知してもよい。サンプル・ジェネレータ1502は、ウィンドウ処理器1506にサンプルを送る。
タイミング装置1503は、時間データ及び/又はタイムスタンプ情報を生成するように構成されてもよく、またクロック、タイマ、カウンタ及び/又は他の適切な装置によって実施されてもよい。タイミング装置1503は、基準時間ジェネレータ1504に通信可能に結合されてもよく、時間データ及び/又はタイムスタンプを基準時間ジェネレータ1504に通信するように構成されてもよい。また、タイミング装置1503は、サンプル・ジェネレータ1502に通信可能に結合されてもよく、サンプル・ジェネレータ1502に指示して音声サンプル・データを収集又は取得し始めるように開始信号をアサートするか割り込んでもよい。一例では、タイミング装置1503は、ミリ秒の分解能で時間を追跡する24時間の期間を有する実時間クロックによって実施されてもよい。ここで、タイミング装置1503は、深夜にゼロにリセットされ、深夜に対する時間をミリ秒で追跡するように構成されてもよい。しかしながら、一般に、タイムスタンプは、完全な年、月、日、時間、分、秒情報を、2005年1月1日午前00:00などの過去の所定の瞬間から経過した秒数として表わすことができる。収集された音声署名の決定性取得レート(deterministic acquisition rate)から導出することによって秒以下の分解能を追加することができる。
基準時間ジェネレータ1504は、サンプル・ジェネレータ1502から通知を受け取ったときに基準時間t0を初期化することができる。基準時間t0は、署名が生成される音声ストリーム内の時間を示すために使用されてもよい。詳細には、基準時間ジェネレータ1504は、サンプル・ジェネレータ1502からサンプル取得プロセスの開始の通知を受けたときに、タイミング装置1503から時間データ及び/又はタイムスタンプ値を受け取るように構成されてもよい。次に、基準時間ジェネレータ1504は、タイムスタンプ値を基準時間t0として記憶してもよい。
ウィンドウ処理器1506は、たとえば、サンプル・ジェネレータ1502から出力された音声ブロックに2つのウィンドウを適用する。したがって、ウィンドウ処理器1506の結果は、2つの被ウィンドウ処理音声ブロックである。前述のように、ウィンドウは、任意の組のウィンドウでよい。しかしながら、相補的ウィンドウが好ましいことあり、その理由は、相補的ウィンドウが、平均で両方のエネルギ値が同じであり、それによりビット分布の蓋然性が等しくなることが保証されるからである。
トランスフォーマ1508は、各被ウィンドウ処理音声ブロックでNポイントDFTを実行するように構成されてもよく、ここで、Nは、サンプル・ジェネレータ1502によって取得されたサンプル数である。たとえば、サンプル・ジェネレータが8192個のサンプルを取得した場合、トランスフォーマは、サンプルから、スペクトルが4096個の複素数値フーリエ係数によって表わされるスペクトルを作成する。
特徴決定器1510は、トランスフォーマ1508によって生成されたDFTスペクトル特徴付け内のいくつかの周波数帯(たとえば、16個の帯域)を識別するように構成されてもよい。選択された帯域は、互いに重複してもよいが、重複しないことが好ましい。帯域は、任意の方法によって選択されてもよい。当然ながら、任意数の適切な帯域が選択されてもよい(たとえば、48個)。次に、特徴決定器1510が、各帯域内の特徴を決定する。たとえば、特徴決定器1510は、各帯域内のエネルギーを決定することができる。したがって、特徴決定器1510の結果は、たとえば16個の各帯域ごとに2組の特徴である。たとえば、16個の帯域が選択された場合、特徴決定器1510出力は、各DFTの各帯域に1つずつ32個のエネルギー尺度になる。特徴は、Ej(w1)とEj(w2)よって表わされてもよく、jは、0〜Kの範囲(たとえば、0〜15)と、w1とw2はそれぞれ、ウィンドウ1とウィンドウ2を表す。
比較器1512は、それぞれの帯域の特徴を比較して中間値を決定する。たとえば、比較器1512は、dj=Ej(w2)−Ej(w1)にしたがって中間値を生成してもよく、その結果、DFTのそれぞれの帯域内のエネルギーが互いに減算される。
署名決定器1514は、比較器1512から得られた値を処理して各中間値ごとに1つの署名ビットを作成する。この操作は、図2と関連して前述したプロセス212ときわめて類似しているか又は同一でもよい。すなわち、署名ビット値は、中間値のゼロに対する比較に基づいてもよい。署名ビットは、記憶装置1516に出力される。
記憶装置は、任意の署名記憶に対応するのに適した任意のメディアでよい。たとえば、記憶装置1516は、ランダムアクセスメモリ(RAM)、フラッシュ・メモリなどのメモリでよい。さらに又はあるいは、記憶装置1516は、ハードドライブ、光記憶メディア、テープ・ドライブなどの大容量メモリでよい。
記憶装置1516は、データ通信インタフェース1518に結合される。たとえば、システム1500が、監視サイト(たとえば、人の住宅内)にある場合は、記憶装置1516内の署名情報が、データ通信インタフェース1518を使用して、収集機構や基準サイトなどに通信されてもよい。
図16は、デジタルスペクトル署名を比較するための例示的な署名比較システム1600のブロック図である。詳細には、例示的な署名比較システム1600を使用して、被監視署名を基準署名と比較してもよい。たとえば、例示的な署名比較システム1600を使用して、図1Aの署名アナライザ132を実施して、被監視署名を基準署名と比較してもよい。さらに、例示的な署名比較システム1600を使用して、図13の例示的なプロセスを実現してもよい。
例示的な署名比較システム1600は、被監視署名レシーバ1602、基準署名レシーバ1604、比較器1606、ハミング距離フィルタ1608、メディア識別器1610及びメディア識別ルックアップ・テーブル・インタフェース1612を含み、これらのすべてが通信可能に結合されてもよい。
被監視署名レシーバ1602は、ネットワーク108(図1)を介して被監視署名を取得し、被監視署名を比較器1606に通信するように構成されてもよい。基準署名レシーバ1604は、メモリ134(図1Aと図1B)から基準署名を取得し、基準署名を比較器1606に通信するように構成されてもよい。
比較器1606とハミング距離フィルタ1608は、ハミング距離を使用して基準署名を被監視署名と比較するように構成されてもよい。詳細には、比較器1606は、被監視署名の記述子を複数の基準署名からの記述子と比較し、比較ごとにハミング距離値を生成するように構成されてもよい。次に、ハミング距離フィルタ1608は、比較器1606からハミング距離値を取得し、ハミング距離値に基づいて一致しない基準署名をフィルタリングしてもよい。
一致基準署名が見つかった後、メディア識別器1610は、一致基準署名を取得し、メディア識別ルックアップ・テーブル・インタフェース1612と協力して、未確認音声ストリーム(たとえば、図3の例示的な被監視音声ストリーム300)と関連付けられたメディア情報を識別してもよい。たとえば、メディア識別ルックアップ・テーブル・インタフェース1612は、基準署名に基づいてメディア識別情報(たとえば、映画題名、ショー題名、歌名、アーティスト名、エピソード番号など)を相互参照するために使用されるメディア識別ルックアップ表又はデータベースに通信可能に結合されてもよい。このようにして、メディア識別器1610は、一致基準署名に基づいてメディア識別データベースからメディア識別情報を取り出してもよい。
図17は、本明細書で説明された装置と方法を実施するために使用することができる例示的なプロセッサ・システム1710のブロック図である。図17に示されたように、プロセッサ・システム1710は、相互接続バス又はネットワーク1714に結合されたプロセッサ1712を含む。プロセッサ1712は、図17では全体にチップ上にあるように示されているが、全体又は部分的にチップ外に配置され、専用の電気接続及び/又は相互接続ネットワーク又はバス1714を介してプロセッサ1712に結合されたたレジスタ・セット又はレジスタ空間116を含んでもよい。プロセッサ1712は、任意の適切なプロセッサ、処理装置又はマイクロプロセッサでよい。図17に示されていないが、システム1710は、マルチプロセッサ・システムでよく、したがって、プロセッサ1712と同一又は類似でかつ相互接続バス又はネットワーク1714に通信可能に結合された1つ又は複数の追加のプロセッサを含んでもよい。
図17のプロセッサ1712は、メモリ・コントローラ1720と入出力(I/O)コントローラ1722を含むチップセット1718に結合される。周知のとおり、チップセットは、一般に、入出力機能とメモリ管理機能ならびにチップセットに結合された1つ又は複数のプロセッサによってアクセス可能又は使用される複数の汎用及び/又は専用レジスタ、タイマなどを提供する。メモリ・コントローラ1720は、1つのプロセッサ1712(又は、複数のプロセッサがある場合には複数のプロセッサ)がシステム・メモリ1724と大容量記憶メモリ1725にアクセスすることを可能にする機能を実行する。
システム・メモリ1724には、たとえばスタティック・ランダム・アクセス・メモリ(SRAM)、ダイナミック・ランダム・アクセス・メモリ(DRAM)、フラッシュ・メモリ、読み出し専用メモリ(ROM)などの任意の所望のタイプの揮発性及び/又は不揮発性メモリがある。大容量記憶メモリ1725には、ハード・ディスク・ドライブ、光ドライブ、テープ記憶装置などを含む任意の所望のタイプの大容量記憶装置がある。
入出力コントローラ1722は、プロセッサ1712が入出力バス1730を介して周辺入出力(I/O)装置1726及び1728と通信することを可能にする機能を実行する。入出力装置1726及び1728は、たとえば、キーボード、ビデオ・ディスプレイ又はモニタ、マウスなどの任意の所望のタイプの入出力装置でよい。メモリ・コントローラ1720と入出力コントローラ1722は、図17に、チップセット1718内の個別の機能ブロックとして示されているが、これらのブロックによって実行される機能は、単一半導体回路内で統合されてもよく、2つ以上の独立した集積回路を使用して実現されてもよい。
本明細書で述べた方法は、コンピュータ可読媒体上に記憶されプロセッサ1712によって実行される命令を使用して実施されてもよい。コンピュータ可読媒体には、大容量記憶装置(たとえば、ディスクドライブ)、取外し可能記憶装置(たとえば、フロッピディスク、メモリカード又はスティックなど)及び/又は統合メモリ装置(たとえば、ランダム・アクセス・メモリ、フラッシュ・メモリなど)の任意の所望の組み合わせを使用して実施される固体媒体、磁気媒体及び/又は光学媒体の任意の所望の組み合わせが含まれる。
本明細書で特定の製造方法、装置及び品物について説明したが、この特許の適用範囲はそれらに限定されない。

Claims (40)

  1. 音声信号の一部分を表わす署名を生成する方法であって
    声信号の一部分に第1のウィンドウ関数を適用して第1の被ウィンドウ処理音声ブロックを作成するステップと、
    記音声信号の一部分と同じ部分、前記第1のウィンドウ関数とは異なる第2のウィンドウ関数を適用して第2の被ウィンドウ処理音声ブロックを作成するステップと、
    前記第1の被ウィンドウ処理音声ブロックにおける周波数帯域の第1の特徴を決定するステップと、
    前記第2の被ウィンドウ処理音声ブロックにおける周波数帯域の第2の特徴を決定するステップと、
    前記第1の特徴を前記第2の特徴と比較するステップと、
    記音声信号の前記一部分を表す署名ビットを、前記第1の特徴と前記第2の特徴の比較に基づいて割り当てるステップとを含む方法。
  2. 記音声信号の前記一部分に前記第1のウィンドウ関数を適用して前記第1の被ウィンドウ処理音声ブロックを作成するステップと、前記音声信号の前記一部分に前記第2のウィンドウ関数を適用して前記第2の被ウィンドウ処理音声ブロックを作成するステップが、周波数領域処理して第1と第2の変換被ウィンドウ処理音声ブロックを作成するステップを含む、請求項1に記載の方法。
  3. 前記第1と第2の被ウィンドウ処理音声ブロックにおける前記周波数帯域の前記第1と第2の特徴を決定するステップが、前記第1と第2の変換被ウィンドウ処理音声ブロックを処理するステップを含む、請求項2に記載の方法。
  4. 前記音声信号、無線音声信号である、請求項1に記載の方法。
  5. 前記音声信号、デジタル・サンプリングにより取り込まれる、請求項4に記載の方法。
  6. 前記第1と第2のウィンドウ関数が、相補的関数を含む、請求項1に記載の方法。
  7. 前記第1のウィンドウ関数が、前記第1のウィンドウ関数の上端と下端で大きい振幅を有する、請求項6に記載の方法。
  8. 前記第2のウィンドウ関数が、前記第2のウィンドウ関数の上端と下端で小さい振幅を有する、請求項7に記載の方法。
  9. 前記第1のウィンドウ関数が、前記第1のウィンドウ関数の上端で大きい振幅と、前記第1のウィンドウ関数の下端で小さい振幅を有する、請求項6に記載の方法。
  10. 前記第2のウィンドウ関数が、前記第2のウィンドウ関数の上端で小さい振幅と、前記第2のウィンドウ関数の下端で大きい振幅を有する、請求項9に記載の方法。
  11. 前記第1のウィンドウ関数と前記第2のウィンドウ関数が、1組のウィンドウ関数から選択された、請求項1に記載の方法。
  12. 前記第1のウィンドウ関数と前記第2のウィンドウ関数が、前記1組のウィンドウ関数から任意に選択された、請求項11に記載の方法。
  13. 記音声信号の前記一部分に前記第1のウィンドウ関数を適用するステップが、時間領域操作において前記第1のウィンドウ関数と前記音声信号の前記一部分を乗算するステップを含む、請求項1に記載の方法。
  14. 記音声信号の前記一部分に前記第2のウィンドウ関数を適用するステップが、時間領域演算において前記第2のウィンドウ関数と前記音声信号の前記一部分を乗算するステップを含む、請求項13に記載の方法。
  15. 前記第1と第2の特徴が、第1と第2のエネルギーを含む、請求項1に記載の方法。
  16. 前記第1と第2の特徴を比較するステップが、第1と第2のエネルギーを減算するステップを含む、請求項15に記載の方法。
  17. 署名ビットを割り当てるステップが、前記第1と第2のエネルギーの減算の結果に基づいて署名ビット値を割り当てるステップを含む、請求項16に記載の方法。
  18. 前記第1と第2の被ウィンドウ処理音声ブロックのそれぞれにおける付加的特徴を決定するステップと、前記付加的特徴を使用して、前記音声信号の前記一部分を表す付加的ビットを決定するステップとを更に含む、請求項15記載の方法。
  19. 記音声信号の前記一部分に第3のウィンドウ関数と第4のウィンドウ関数を適用して第3の被ウィンドウ処理音声ブロックと第4の被ウィンドウ処理音声ブロックを作成するステップと、
    前記第3の被ウィンドウ処理音声ブロックと前記第4の被ウィンドウ処理音声ブロックを処理して前記音声信号の前記一部分を表す付加的ビットを決定するステップとを含む、請求項1に記載の方法。
  20. 前記処理するステップが、前記第3の被ウィンドウ処理音声ブロックの第3の特徴、前記第4の被ウィンドウ処理音声ブロックの第4の特徴、前記第1の特徴、又は前記第2の特徴のうちの1つ又は複数を比較するステップを含む、請求項19に記載の方法。
  21. 実行されたときに、コンピュータに
    声信号の一部分に第1のウィンドウ関数を適用して第1の被ウィンドウ処理音声ブロックを作成するステップと、
    記音声信号の一部分と同じ部分、前記第1のウィンドウ関数とは異なる第2のウィンドウ関数を適用して第2の被ウィンドウ処理音声ブロックを作成するステップと、
    前記第1の被ウィンドウ処理音声ブロックにおける周波数帯域の第1の特徴を決定するステップと、
    前記第2の被ウィンドウ処理音声ブロックにおける前記周波数帯域の第2の特徴を決定するステップと、
    前記第1の特徴を第2の特徴と比較するステップと、
    前記第1の特徴と前記第2の特徴の比較に基づいて、前記音声信号の前記一部分を表す署名ビットを割り当てるステップとを含む、コンピュータ可読命令を記憶するコンピュータ可読媒体。
  22. 記音声信号の前記一部分に第1のウィンドウ関数を適用して前記第1の被ウィンドウ処理音声ブロックを作成し、前記音声信号の前記一部分に前記第2のウィンドウ関数を適用して前記第2の被ウィンドウ処理音声ブロックを作成するステップが、第1と第2の変換された被ウィンドウ処理音声ブロックを作成する周波数領域処理を含む、請求項21に記載のコンピュータ可読媒体。
  23. 前記第1と第2の被ウィンドウ処理音声ブロックの周波数帯域の前記第1と第2の特徴を決定するステップが、前記第1と第2の変換被ウィンドウ処理音声ブロックを処理するステップを含む、請求項22に記載のコンピュータ可読媒体。
  24. 前記第1と第2のウィンドウ関数が、相補的関数を含む、請求項21に記載のコンピュータ可読媒体。
  25. 記音声信号の前記一部分に前記第1のウィンドウ関数を適用するステップが、時間領域操作において前記第1のウィンドウ関数と前記音声信号の前記一部分を乗算するステップを含む、請求項21に記載のコンピュータ可読媒体。
  26. 記音声信号の前記一部分に前記第2のウィンドウ関数を適用するステップが、時間領域操作において前記第2のウィンドウ関数と前記音声信号の前記一部分を乗算するステップを含む、請求項25に記載のコンピュータ可読媒体。
  27. 前記第1と第2の特徴が、第1と第2のエネルギーを含む、請求項21に記載のコンピュータ可読媒体。
  28. 前記第1と第2の特徴を比較するステップが、第1と第2のエネルギーを減算するステップを含む、請求項27に記載のコンピュータ可読媒体。
  29. 署名ビットを割り当てるステップが、前記第1と第2のエネルギー前記減算の結果に基づいて署名ビット値を割り当てるステップ含む、請求項28に記載のコンピュータ可読媒体。
  30. 前記第1と第2の被ウィンドウ処理音声ブロックのそれぞれにおける付加的特徴を決定し、前記付加的特徴を使用して前記音声信号の前記一部分を表す付加的ビットを決定するステップを更に含む、請求項29に記載のコンピュータ可読媒体。
  31. 音声信号の一部分を表わす署名を生成する装置が
    声信号の一部分に第1のウィンドウ関数を適用して第1の被ウィンドウ処理音声ブロックを作成し、前記音声信号の一部分と同じ部分、前記第1のウィンドウ関数とは異なる第2のウィンドウ関数を適用して第2の被ウィンドウ処理音声ブロックを作成するウィンドウ処理器と、
    前記第1の被ウィンドウ処理音声ブロックにおける周波数帯域の第1の特徴を決定しかつ前記第2の被ウィンドウ処理音声ブロックにおける周波数帯域の第2の特徴を決定する特徴決定器と、
    前記第1の特徴を前記第2の特徴と比較する比較器と、
    記音声信号の前記一部分を表す署名ビットを、前記第1の特徴と第2の特徴の前記比較に基づいて割り当てる署名決定器とを含む装置。
  32. 前記ウィンドウ処理器が、周波数領域処理を使用して、前記音声信号の前記一部分に前記第1のウィンドウ関数を適用して前記第1の被ウィンドウ処理音声ブロックを作成しかつ前記音声信号の前記一部分に前記第2のウィンドウ関数を適用して前記第2の被ウィンドウ処理音声ブロックを作成して、第1と第2の変換被ウィンドウ処理音声ブロックを作成する、請求項31に記載の装置。
  33. 前記特徴決定器が、前記第1と第2の変換被ウィンドウ処理音声ブロックを処理することによって前記第1と第2の被ウィンドウ処理音声ブロックにおける前記周波数帯域の前記1と第2の特徴を決定する、請求項32に記載の装置。
  34. 前記第1と第2のウィンドウ関数が、相補的関数を含む,請求項31に記載の装置。
  35. 前記ウィンドウ処理器が、時間領域操作において前記第1のウィンドウ関数と前記音声信号の前記一部分を乗算することによって前記音声信号の一部分に前記第1のウィンドウ関数を適用するステップを含む、請求項34に記載の装置。
  36. 前記ウィンドウ処理器が、時間領域操作において前記第2のウィンドウ関数と前記音声信号の一部分を乗算することによって前記音声信号の前記一部分に前記第2のウィンドウ関数を適用する、請求項35に記載の装置。
  37. 前記第1と第2の特徴が、第1と第2のエネルギーを含む、請求項31に記載の装置。
  38. 前記比較器が、前記第1と第2のエネルギーを減算する、請求項37に記載の装置。
  39. 前記署名決定器が、前記第1と第2のエネルギーの前記減算の結果に基づいて署名ビット値を割り当てる、請求項38に記載の装置。
  40. 前記特徴決定器が、前記第1と第2の被ウィンドウ処理音声ブロックのそれぞれにおける付加的特徴を決定し、前記付加的特徴を使用して前記音声信号の前記一部分を表す付加的ビットを決定する、請求項39に記載の装置。

JP2010549634A 2008-03-05 2008-11-06 署名を生成する方法及び装置 Expired - Fee Related JP5266343B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US3399208P 2008-03-05 2008-03-05
US61/033,992 2008-03-05
PCT/US2008/082657 WO2009110932A1 (en) 2008-03-05 2008-11-06 Methods and apparatus for generating signatures

Publications (2)

Publication Number Publication Date
JP2011521272A JP2011521272A (ja) 2011-07-21
JP5266343B2 true JP5266343B2 (ja) 2013-08-21

Family

ID=40451076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010549634A Expired - Fee Related JP5266343B2 (ja) 2008-03-05 2008-11-06 署名を生成する方法及び装置

Country Status (8)

Country Link
US (2) US8600531B2 (ja)
EP (1) EP2263335B1 (ja)
JP (1) JP5266343B2 (ja)
CN (2) CN102007714B (ja)
CA (1) CA2717723C (ja)
ES (1) ES2512640T3 (ja)
HK (1) HK1155863A1 (ja)
WO (1) WO2009110932A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278568B (zh) 2005-08-16 2010-12-15 尼尔森(美国)有限公司 显示装置开/关检测方法和设备
EP2132888A2 (en) 2007-02-20 2009-12-16 Nielsen Media Research, Inc. et al Methods and apparatus for characterizing media
US10489795B2 (en) * 2007-04-23 2019-11-26 The Nielsen Company (Us), Llc Determining relative effectiveness of media content items
EP2156583B1 (en) 2007-05-02 2018-06-06 The Nielsen Company (US), LLC Methods and apparatus for generating signatures
DE102008009024A1 (de) * 2008-02-14 2009-08-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum synchronisieren von Mehrkanalerweiterungsdaten mit einem Audiosignal und zum Verarbeiten des Audiosignals
US8600531B2 (en) 2008-03-05 2013-12-03 The Nielsen Company (Us), Llc Methods and apparatus for generating signatures
CA2754170A1 (en) * 2009-03-11 2010-09-16 Paymaan Behrouzi Digital signatures
WO2010107717A2 (en) * 2009-03-15 2010-09-23 San Diego State University Rectangular power spectral densities of orthogonal functions
WO2010135623A1 (en) * 2009-05-21 2010-11-25 Digimarc Corporation Robust signatures derived from local nonlinear filters
GB2508115B (en) * 2009-11-30 2014-08-27 Miranda Technologies Inc Method and apparatus for providing signatures of audio/video signals and for making use thereof
US8860883B2 (en) * 2009-11-30 2014-10-14 Miranda Technologies Partnership Method and apparatus for providing signatures of audio/video signals and for making use thereof
US9473795B2 (en) 2011-12-19 2016-10-18 The Nielsen Company (Us), Llc Methods and apparatus for crediting a media presentation device
US9692535B2 (en) 2012-02-20 2017-06-27 The Nielsen Company (Us), Llc Methods and apparatus for automatic TV on/off detection
US9495451B2 (en) 2013-01-07 2016-11-15 Gracenote, Inc. Identifying video content via fingerprint matching
US9323840B2 (en) * 2013-01-07 2016-04-26 Gracenote, Inc. Video fingerprinting
US9294815B2 (en) 2013-03-15 2016-03-22 The Nielsen Company (Us), Llc Methods and apparatus to discriminate between linear and non-linear media
WO2014144589A1 (en) 2013-03-15 2014-09-18 The Nielsen Company (Us), Llc Systems, methods, and apparatus to identify linear and non-linear media presentations
US9420323B2 (en) 2013-12-19 2016-08-16 The Nielsen Company (Us), Llc Methods and apparatus to verify and/or correct media lineup information
WO2015134452A1 (en) 2014-03-04 2015-09-11 Interactive Intelligence Group, Inc. Optimization of audio fingerprint search
US9548830B2 (en) 2014-09-05 2017-01-17 The Nielsen Company (Us), Llc Methods and apparatus to generate signatures representative of media
JP6251145B2 (ja) * 2014-09-18 2017-12-20 株式会社東芝 音声処理装置、音声処理方法およびプログラム
US9497505B2 (en) 2014-09-30 2016-11-15 The Nielsen Company (Us), Llc Systems and methods to verify and/or correct media lineup information
US9680583B2 (en) 2015-03-30 2017-06-13 The Nielsen Company (Us), Llc Methods and apparatus to report reference media data to multiple data collection facilities
US9924224B2 (en) 2015-04-03 2018-03-20 The Nielsen Company (Us), Llc Methods and apparatus to determine a state of a media presentation device
US9786298B1 (en) 2016-04-08 2017-10-10 Source Digital, Inc. Audio fingerprinting based on audio energy characteristics
US10225730B2 (en) * 2016-06-24 2019-03-05 The Nielsen Company (Us), Llc Methods and apparatus to perform audio sensor selection in an audience measurement device
CN107071531A (zh) * 2016-12-31 2017-08-18 天脉聚源(北京)科技有限公司 一种生成奖品海报的方法和装置
US10726852B2 (en) 2018-02-19 2020-07-28 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
US10733998B2 (en) 2017-10-25 2020-08-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to identify sources of network streaming services
US11049507B2 (en) 2017-10-25 2021-06-29 Gracenote, Inc. Methods, apparatus, and articles of manufacture to identify sources of network streaming services
US10629213B2 (en) 2017-10-25 2020-04-21 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
JP2018025827A (ja) * 2017-11-15 2018-02-15 株式会社東芝 対話システム
CN108447501B (zh) * 2018-03-27 2020-08-18 中南大学 一种云存储环境下基于音频字的盗版视频检测方法与系统
US10891971B2 (en) 2018-06-04 2021-01-12 The Nielsen Company (Us), Llc Methods and apparatus to dynamically generate audio signatures adaptive to circumstances associated with media being monitored
US10853413B2 (en) * 2018-09-20 2020-12-01 Rovi Guides, Inc. Method and systems for providing personalized supplemental audio streams

Family Cites Families (126)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2605361A (en) 1950-06-29 1952-07-29 Bell Telephone Labor Inc Differential quantization of communication signals
US3845391A (en) 1969-07-08 1974-10-29 Audicom Corp Communication including submerged identification signal
US3919479A (en) 1972-09-21 1975-11-11 First National Bank Of Boston Broadcast signal identification system
FR2238412A5 (ja) 1973-07-20 1975-02-14 Trt Telecom Radio Electr
DE2536640C3 (de) * 1975-08-16 1979-10-11 Philips Patentverwaltung Gmbh, 2000 Hamburg Anordnung zur Erkennung von Geräuschen
US4025851A (en) 1975-11-28 1977-05-24 A.C. Nielsen Company Automatic monitor for programs broadcast
US4053710A (en) 1976-03-01 1977-10-11 Ncr Corporation Automatic speaker verification systems employing moment invariants
US4214125A (en) 1977-01-21 1980-07-22 Forrest S. Mozer Method and apparatus for speech synthesizing
JPS5525150A (en) 1978-08-10 1980-02-22 Nec Corp Pattern recognition unit
US4230990C1 (en) 1979-03-16 2002-04-09 John G Lert Jr Broadcast program identification method and system
US4624009A (en) 1980-05-02 1986-11-18 Figgie International, Inc. Signal pattern encoder and classifier
US4450531A (en) 1982-09-10 1984-05-22 Ensco, Inc. Broadcast signal recognition system and method
US4533926A (en) 1982-12-23 1985-08-06 American Home Products Corporation (Del.) Strip chart recorder and medium status
US4967273A (en) 1983-03-21 1990-10-30 Vidcode, Inc. Television program transmission verification method and apparatus
US4805020A (en) 1983-03-21 1989-02-14 Greenberg Burton L Television program transmission verification method and apparatus
US4547804A (en) 1983-03-21 1985-10-15 Greenberg Burton L Method and apparatus for the automatic identification and verification of commercial broadcast programs
US4639779A (en) 1983-03-21 1987-01-27 Greenberg Burton L Method and apparatus for the automatic identification and verification of television broadcast programs
US4703476A (en) 1983-09-16 1987-10-27 Audicom Corporation Encoding of transmitted program material
US4520830A (en) 1983-12-27 1985-06-04 American Home Products Corporation (Del.) Ultrasonic imaging device
FR2559002B1 (fr) 1984-01-27 1986-09-05 Gam Steffen Procede et dispositif de detection d'une information audiovisuelle diffusee par un emetteur
US4697209A (en) 1984-04-26 1987-09-29 A. C. Nielsen Company Methods and apparatus for automatically identifying programs viewed or recorded
JPH0813004B2 (ja) 1984-09-07 1996-02-07 株式会社日立製作所 A/d変換器
US4677466A (en) 1985-07-29 1987-06-30 A. C. Nielsen Company Broadcast program identification method and apparatus
JPS62204652A (ja) 1986-03-04 1987-09-09 Nec Corp 可聴周波信号識別方式
US4739398A (en) 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
GB8611014D0 (en) 1986-05-06 1986-06-11 Emi Plc Thorn Signal identification
US4783660A (en) 1986-09-29 1988-11-08 Signatron, Inc. Signal source distortion compensator
GB8630118D0 (en) 1986-12-17 1987-01-28 British Telecomm Speaker identification
US4834724A (en) 1987-04-06 1989-05-30 Geiss Alan C Device for aspirating fluids from a body cavity or hollow organ
US4843562A (en) 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
US5121428A (en) 1988-01-20 1992-06-09 Ricoh Company, Ltd. Speaker verification system
US4945412A (en) 1988-06-14 1990-07-31 Kramer Robert A Method of and system for identification and verification of broadcasting television and radio program segments
US4931871A (en) 1988-06-14 1990-06-05 Kramer Robert A Method of and system for identification and verification of broadcasted program segments
US5023929A (en) 1988-09-15 1991-06-11 Npd Research, Inc. Audio frequency based market survey method
GB8824969D0 (en) 1988-10-25 1988-11-30 Emi Plc Thorn Identification codes
EP0385799A3 (en) 1989-03-02 1991-04-17 Seiko Instruments Inc. Speech signal processing method
US5210820A (en) 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
FR2681997A1 (fr) 1991-09-30 1993-04-02 Arbitron Cy Procede et dispositif d'identification automatique d'un programme comportant un signal sonore.
US5319735A (en) 1991-12-17 1994-06-07 Bolt Beranek And Newman Inc. Embedded signalling
US5436653A (en) 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
CA2628654C (en) 1992-04-30 2009-12-01 Arbitron Inc. Method and system for updating a broadcast segment recognition database
US5437050A (en) * 1992-11-09 1995-07-25 Lamb; Robert G. Method and apparatus for recognizing broadcast information using multi-frequency magnitude detection
US7316025B1 (en) 1992-11-16 2008-01-01 Arbitron Inc. Method and apparatus for encoding/decoding broadcast or recorded segments and monitoring audience exposure thereto
DE69333661T2 (de) 1992-11-16 2006-02-23 Arbitron Inc. Verfahren und vorrichtung zur kodierung/dekodierung von gesendeten oder aufgezeichneten ausschnitten und überwachung der zuhörerreaktion darauf
DE59310346D1 (de) 1992-11-19 2003-08-14 Liechti Ag Kriegstetten Verfahren zur Ermittlung von Radiohörerverhalten und Vorrichtung dazu
US7171016B1 (en) 1993-11-18 2007-01-30 Digimarc Corporation Method for monitoring internet dissemination of image, video and/or audio files
CA2116043C (en) 1994-02-21 1997-09-23 Alexander F. Tulai Programmable digital call progress tone detector
AU709873B2 (en) 1994-03-31 1999-09-09 Arbitron Inc. Apparatus and methods for including codes in audio signals and decoding
US5450490A (en) 1994-03-31 1995-09-12 The Arbitron Company Apparatus and methods for including codes in audio signals and decoding
CA2136054C (en) 1994-11-17 2005-06-21 Liechti Ag Method and device for the determination of radio and television users behaviour
US7362775B1 (en) 1996-07-02 2008-04-22 Wistaria Trading, Inc. Exchange mechanisms for digital information packages with bandwidth securitization, multichannel digital watermarks, and key management
US5629739A (en) 1995-03-06 1997-05-13 A.C. Nielsen Company Apparatus and method for injecting an ancillary signal into a low energy density portion of a color television frequency spectrum
US5650943A (en) 1995-04-10 1997-07-22 Leak Detection Services, Inc. Apparatus and method for testing for valve leaks by differential signature method
US7486799B2 (en) 1995-05-08 2009-02-03 Digimarc Corporation Methods for monitoring audio and images on the internet
FR2734977B1 (fr) 1995-06-02 1997-07-25 Telediffusion Fse Systeme de diffusion de donnees.
US5822360A (en) 1995-09-06 1998-10-13 Solana Technology Development Corporation Method and apparatus for transporting auxiliary data in audio signals
US5687191A (en) 1995-12-06 1997-11-11 Solana Technology Development Corporation Post-compression hidden data transport
US6205249B1 (en) 1998-04-02 2001-03-20 Scott A. Moskowitz Multiple transform utilization and applications for secure digital watermarking
US6061793A (en) 1996-08-30 2000-05-09 Regents Of The University Of Minnesota Method and apparatus for embedding data, including watermarks, in human perceptible sounds
US6002443A (en) 1996-11-01 1999-12-14 Iggulden; Jerry Method and apparatus for automatically identifying and selectively altering segments of a television broadcast signal in real-time
US6317703B1 (en) 1996-11-12 2001-11-13 International Business Machines Corporation Separation of a mixture of acoustic sources into its components
US5941822A (en) 1997-03-17 1999-08-24 Polartechnics Limited Apparatus for tissue type recognition within a body canal
US5792053A (en) 1997-03-17 1998-08-11 Polartechnics, Limited Hybrid probe for tissue type recognition
US6026323A (en) 1997-03-20 2000-02-15 Polartechnics Limited Tissue diagnostic system
PT887958E (pt) 1997-06-23 2003-06-30 Liechti Ag Metodo para a compressao de gravacoes de ruido ambiente metodo para a deteccao de elementos de programa no mesmo dispositivos e programa de computadorpara tal
US6170060B1 (en) 1997-10-03 2001-01-02 Audible, Inc. Method and apparatus for targeting a digital information playback device
US6286005B1 (en) 1998-03-11 2001-09-04 Cannon Holdings, L.L.C. Method and apparatus for analyzing data and advertising optimization
US7006555B1 (en) 1998-07-16 2006-02-28 Nielsen Media Research, Inc. Spectral audio encoding
US6272176B1 (en) 1998-07-16 2001-08-07 Nielsen Media Research, Inc. Broadcast encoding system and method
US6167400A (en) * 1998-07-31 2000-12-26 Neo-Core Method of performing a sliding window search
US6711540B1 (en) 1998-09-25 2004-03-23 Legerity, Inc. Tone detector with noise detection and dynamic thresholding for robust performance
WO2000019699A1 (en) 1998-09-29 2000-04-06 Sun Microsystems, Inc. Superposition of data over voice
JP2000115116A (ja) 1998-10-07 2000-04-21 Nippon Columbia Co Ltd 直交周波数分割多重信号発生装置、直交周波数分割多重信号発生方法及び通信装置
AUPP767898A0 (en) 1998-12-14 1999-01-14 Carter (New Zealand) Limited Spinal monitor apparatus and method
US6442283B1 (en) 1999-01-11 2002-08-27 Digimarc Corporation Multimedia data embedding
US7302574B2 (en) 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
US6871180B1 (en) 1999-05-25 2005-03-22 Arbitron Inc. Decoding of information in audio signals
AU2006203639C1 (en) 1999-05-25 2009-01-08 Arbitron Inc. Decoding of information in audio signals
US7284255B1 (en) 1999-06-18 2007-10-16 Steven G. Apel Audience survey system, and system and methods for compressing and correlating audio signals
US7194752B1 (en) 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
US6469749B1 (en) 1999-10-13 2002-10-22 Koninklijke Philips Electronics N.V. Automatic signature-based spotting, learning and extracting of commercials and other video content
US6971010B1 (en) * 1999-10-15 2005-11-29 Koninklijke Philips Electronics N.V. Image and video authentication system
CA2809775C (en) 1999-10-27 2017-03-21 The Nielsen Company (Us), Llc Audio signature extraction and correlation
US7426750B2 (en) 2000-02-18 2008-09-16 Verimatrix, Inc. Network-based content distribution system
US6968564B1 (en) 2000-04-06 2005-11-22 Nielsen Media Research, Inc. Multi-band spectral audio encoding
US6879652B1 (en) 2000-07-14 2005-04-12 Nielsen Media Research, Inc. Method for encoding an input signal
US7058223B2 (en) 2000-09-14 2006-06-06 Cox Ingemar J Identifying works for initiating a work-based action, such as an action on the internet
US7085613B2 (en) 2000-11-03 2006-08-01 International Business Machines Corporation System for monitoring audio content in a video broadcast
US7031921B2 (en) 2000-11-03 2006-04-18 International Business Machines Corporation System for monitoring audio content available over a network
US6604072B2 (en) 2000-11-03 2003-08-05 International Business Machines Corporation Feature-based audio content identification
WO2002051063A1 (en) 2000-12-21 2002-06-27 Digimarc Corporation Methods, apparatus and programs for generating and utilizing content signatures
US20020114299A1 (en) 2000-12-27 2002-08-22 Daozheng Lu Apparatus and method for measuring tuning of a digital broadcast receiver
JP4723171B2 (ja) * 2001-02-12 2011-07-13 グレースノート インク マルチメディア・コンテンツのハッシュの生成および突合せ
US8572640B2 (en) 2001-06-29 2013-10-29 Arbitron Inc. Media data use measurement with remote decoding/pattern matching
KR20040024870A (ko) * 2001-07-20 2004-03-22 그레이스노트 아이엔씨 음성 기록의 자동 확인
US20030054757A1 (en) 2001-09-19 2003-03-20 Kolessar Ronald S. Monitoring usage of media data with non-program data elimination
US6814123B2 (en) 2001-12-21 2004-11-09 3M Innovative Properties Company Method and apparatus for applying a splicing tape to a roll of sheet material
US20030131350A1 (en) 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
US7013030B2 (en) 2002-02-14 2006-03-14 Wong Jacob Y Personal choice biometric signature
US7013468B2 (en) 2002-02-26 2006-03-14 Parametric Technology Corporation Method and apparatus for design and manufacturing application associative interoperability
AUPS322602A0 (en) 2002-06-28 2002-07-18 Cochlear Limited Coil and cable tester
CN1711531A (zh) 2002-11-12 2005-12-21 皇家飞利浦电子股份有限公司 采指纹多媒体内容
US7483835B2 (en) 2002-12-23 2009-01-27 Arbitron, Inc. AD detection using ID code and extracted signature
US7460684B2 (en) 2003-06-13 2008-12-02 Nielsen Media Research, Inc. Method and apparatus for embedding watermarks
GB0317571D0 (en) 2003-07-26 2003-08-27 Koninkl Philips Electronics Nv Content identification for broadcast media
US7592908B2 (en) 2003-08-13 2009-09-22 Arbitron, Inc. Universal display exposure monitor using personal locator service
KR100554680B1 (ko) 2003-08-20 2006-02-24 한국전자통신연구원 크기 변화에 강인한 양자화 기반 오디오 워터마킹 장치 및방법
US7369677B2 (en) 2005-04-26 2008-05-06 Verance Corporation System reactions to the detection of embedded watermarks in a digital host content
US20050203798A1 (en) 2004-03-15 2005-09-15 Jensen James M. Methods and systems for gathering market research data
US7463143B2 (en) 2004-03-15 2008-12-09 Arbioran Methods and systems for gathering market research data within commercial establishments
US7420464B2 (en) 2004-03-15 2008-09-02 Arbitron, Inc. Methods and systems for gathering market research data inside and outside commercial establishments
US7408460B2 (en) 2004-03-19 2008-08-05 Arbitron, Inc. Gathering data concerning publication usage
US7483975B2 (en) 2004-03-26 2009-01-27 Arbitron, Inc. Systems and methods for gathering data concerning usage of media data
DE102004036154B3 (de) * 2004-07-26 2005-12-22 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zur robusten Klassifizierung von Audiosignalen sowie Verfahren zu Einrichtung und Betrieb einer Audiosignal-Datenbank sowie Computer-Programm
CA2576865C (en) 2004-08-09 2013-06-18 Nielsen Media Research, Inc. Methods and apparatus to monitor audio/visual content from various sources
MX2007002071A (es) 2004-08-18 2007-04-24 Nielsen Media Res Inc Metodos y aparatos para generar firmas.
EP1667106B1 (en) 2004-12-06 2009-11-25 Sony Deutschland GmbH Method for generating an audio signature
US7698008B2 (en) * 2005-09-08 2010-04-13 Apple Inc. Content-based audio comparisons
US20090132074A1 (en) 2005-12-08 2009-05-21 Nec Corporation Automatic segment extraction system for extracting segment in music piece, automatic segment extraction method, and automatic segment extraction program
DK1826932T3 (da) 2006-02-22 2011-10-17 Media Evolution Technologies Inc Fremgangsmåde og apparatur til generering af digitale audiosignaturer
CA3144408C (en) * 2007-01-25 2023-07-25 Arbitron Inc. Research data gathering
EP2132888A2 (en) 2007-02-20 2009-12-16 Nielsen Media Research, Inc. et al Methods and apparatus for characterizing media
EP2156583B1 (en) 2007-05-02 2018-06-06 The Nielsen Company (US), LLC Methods and apparatus for generating signatures
JP5241832B2 (ja) * 2007-06-27 2013-07-17 ドルビー ラボラトリーズ ライセンシング コーポレイション マルチメディアコンテンツの特定のためのシグネチャポインターを含む検索ツリーのインクレメンタル構造
CA2858944C (en) 2007-11-12 2017-08-22 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8600531B2 (en) 2008-03-05 2013-12-03 The Nielsen Company (Us), Llc Methods and apparatus for generating signatures

Also Published As

Publication number Publication date
US20140137146A1 (en) 2014-05-15
CA2717723C (en) 2016-10-18
EP2263335A1 (en) 2010-12-22
US8600531B2 (en) 2013-12-03
CN102007714B (zh) 2013-01-02
CN102007714A (zh) 2011-04-06
CN102982810B (zh) 2016-01-13
HK1155863A1 (en) 2012-05-25
WO2009110932A1 (en) 2009-09-11
US9326044B2 (en) 2016-04-26
JP2011521272A (ja) 2011-07-21
CA2717723A1 (en) 2009-09-11
EP2263335B1 (en) 2014-07-23
CN102982810A (zh) 2013-03-20
ES2512640T3 (es) 2014-10-24
US20090225994A1 (en) 2009-09-10

Similar Documents

Publication Publication Date Title
JP5266343B2 (ja) 署名を生成する方法及び装置
US9136965B2 (en) Methods and apparatus for generating signatures
US8489884B2 (en) Methods and apparatus for generating signatures
CA2678942C (en) Methods and apparatus for characterizing media
EP1774348B1 (en) Method of characterizing the overlap of two media segments
US20020116195A1 (en) System for selling a product utilizing audio content identification
AU2012211498B2 (en) Methods and apparatus for characterizing media
AU2013203321B2 (en) Methods and apparatus for characterizing media

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130502

R150 Certificate of patent or registration of utility model

Ref document number: 5266343

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees