JP4392495B2 - Measurement of media data usage by remote decoding / pattern matching - Google Patents

Measurement of media data usage by remote decoding / pattern matching Download PDF

Info

Publication number
JP4392495B2
JP4392495B2 JP2003509778A JP2003509778A JP4392495B2 JP 4392495 B2 JP4392495 B2 JP 4392495B2 JP 2003509778 A JP2003509778 A JP 2003509778A JP 2003509778 A JP2003509778 A JP 2003509778A JP 4392495 B2 JP4392495 B2 JP 4392495B2
Authority
JP
Japan
Prior art keywords
data
media data
data set
media
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003509778A
Other languages
Japanese (ja)
Other versions
JP2004531996A5 (en
JP2004531996A (en
Inventor
コレッサー、ロナルド、エス
Original Assignee
アービトロン インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アービトロン インコーポレイテッド filed Critical アービトロン インコーポレイテッド
Publication of JP2004531996A publication Critical patent/JP2004531996A/en
Publication of JP2004531996A5 publication Critical patent/JP2004531996A5/ja
Application granted granted Critical
Publication of JP4392495B2 publication Critical patent/JP4392495B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/08Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/173Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal

Description

本発明は、遠隔デコーディング及び/又はパターンマッチング技法を用いて、ユーザのロケーションで収集されたメディアデータの使用を識別及び/又は測定するシステムと方法に関する。 The present invention uses a remote decoding and / or pattern matching techniques, to systems and methods for identifying and / or measuring the use of the media data collected by the location of the user.

聴衆が享受していたプログラムや他のコンテンツを判定するために用いられる技法が意図するのは、聴衆のロケーションにおいてこのようなデータを収集することである。この目的のためさまざまなシステムが提案されてきた。1つの変更例では、静止デバイスをテレビ、ラジオ、コンピュータ又は類似物の近くに置いて、聴衆のロケーションでメディアデータを監視する。   The technique used to determine the program or other content the audience has enjoyed is intended to collect such data at the audience location. Various systems have been proposed for this purpose. In one variation, a stationary device is placed near a television, radio, computer or the like to monitor media data at the audience location.

別の変更例では、携帯式デバイスを用いて、これを聴衆の周りに搬送して、聴衆が受けていたプログラムや他のコンテンツに関するデータを収集することが提案されている。   In another modification, it has been proposed to use a portable device to convey it around the audience and collect data about programs and other content that the audience was receiving.

このようなデバイスが得た信号は、直接的な電気的接続を介して又はマイクロフォンや、光に敏感なデバイスや、容量性ピックアップ又は磁気センサーなどのセンサーによって監視される。一般的には、このようなデバイスは、メディアデータ中の付随的コードの存在を検出するか、さもなければ、それからパターンマッチング用のシグネチャを抽出して、このコード又はシグネチャをストアしておいて、後で遠隔ロケーションで処理する。統計的に信頼できる聴衆の統計を取るためには、比較的多くの調査参加者と関与することが必要であり、したがって、同様に、静止デバイスや携帯式デバイスなどの監視用デバイスを比較的多く供給する必要がある。したがって、このようなデバイスの複雑さを最小限にとどめて、その経費を最小限に抑えるのが望ましい。   The signals obtained by such devices are monitored via direct electrical connections or by sensors such as microphones, light sensitive devices, capacitive pickups or magnetic sensors. In general, such devices detect the presence of ancillary codes in the media data, or otherwise extract a signature for pattern matching from this and store this code or signature. Later, processing at a remote location. In order to obtain statistically reliable audience statistics, it is necessary to engage with a relatively large number of survey participants, and thus there are relatively many monitoring devices such as stationary and portable devices as well. It is necessary to supply. It is therefore desirable to minimize the complexity of such devices and minimize their costs.

本出願においては、単数形もしくは複数形の名詞及びすべての動詞時制の双方に対して、以下の用語と定義が当てはまるものとする。   In this application, the following terms and definitions shall apply to both singular or plural nouns and all verb tenses.

本書で用いる「データ」という用語は、永久的もしくは一時的、可視、可聴、音響的、電気的、磁気的、電磁気的又は別様に明示された、なんらかのインディシア、信号、マーク、記号、ドメイン、記号セット、表示及び他のなんらかの物理的形態もしくは情報を表す形態を意味する。   The term “data” as used in this document refers to any indicia, signal, mark, symbol, domain, which may be permanent or temporary, visible, audible, acoustic, electrical, magnetic, electromagnetic or otherwise specified. , Symbol set, display, and any other physical form or form representing information.

本書で用いる「セット」という用語は、エレメント、事物又はデータのなんらかの収集物を意味する。   As used herein, the term “set” means any collection of elements, things or data.

本書で用いる「振幅」という用語は、エネルギ、電力、電圧、電流、電荷、強度、サイズ、大きさ及び/又は圧力の値のことであるが、絶対的もしくは相対的なベースに基づいて、離散的もしくは連続的なベースに基づいて、瞬間的もしくは累積的なベースに基づいて又は別様に測定されたり評価されたりした値のことである。   As used herein, the term “amplitude” refers to values of energy, power, voltage, current, charge, intensity, size, magnitude and / or pressure, but based on an absolute or relative basis, discrete A value that is measured or evaluated on a continuous or continuous basis, on an instantaneous or cumulative basis, or otherwise.

本書で用いる「メディアデータ」という用語は、空気を介して又はケーブル、衛星、ネットワーク、インターネットワーク(インターネットを含む)を介して、ストレージメディア上で分配されるか又は別様に広範囲にわたってアクセス可能なデータを意味するが、ここで、その形態やコンテンツとは無関係であり、また、これに限られないがオーディオデータやビデオデータが含まれる。   The term “media data” as used herein is distributed over storage media or otherwise widely accessible via air or via cable, satellite, network, internetwork (including the Internet). It means data, but here is irrelevant to its form and contents, and includes, but is not limited to, audio data and video data.

本書で用いる「カップリングされる」、「〜にカップリングされている」、「〜とカップリングされている」は、それぞれが、(a)直接に又は1つ以上の他のデバイス、装置、ファイル、プログラム、メディア、成分、ネットワーク、システム、サブシステム又は手段を介しての接続又は(b)直接に又は1つ以上の他のデバイス、装置、ファイル、プログラム、メディア、成分、ネットワーク、システム、サブシステム又は手段を介しての通信関係又は(c)その他の1つ又は複数のものの動作が、全面的又は部分的に他の1つ又は複数のものの動作に依存する機能的関係の内のどれか1つを構成する2つ以上のデバイス、装置、ファイル、プログラム、メディア、成分、ネットワーク、システム、サブシステム及び/又は手段同士間での関係を意味するものである。   As used herein, “coupled”, “coupled to”, “coupled with” are each (a) directly or one or more other devices, apparatus, Connection via a file, program, media, component, network, system, subsystem or means or (b) directly or one or more other devices, apparatus, files, programs, media, component, network, system, Any of the functional relationships in which the communication relationship through the subsystem or means or (c) the operation of one or more of the other depends entirely or in part on the operation of the other one or more Between two or more devices, apparatus, files, programs, media, components, networks, systems, subsystems and / or means that constitute one It is intended to mean the relationship.

本書で用いる「シグネチャ」という用語は、メディアデータのコンテンツから派生したデータセットを意味する。   As used herein, the term “signature” refers to a data set derived from the content of media data.

本書で用いる「通信する」及び「通信」という用語は、データをソースから目的地に搬送すること及び、目的地に搬送されるように、データを通信メディア、システム又はリンクに対して伝達することの双方を含む。   As used in this document, the terms “communicate” and “communication” refer to the transmission of data from a source to a destination and the transmission of data to a communication medium, system or link so that it can be transferred to the destination. Including both.

本書で用いる「プロセッサ」という用語は、ハードウエア、ソフトウエア又はその双方で実現される、処理用のデバイス、装置、プログラム、回路、システム及びサブシステムを意味する。   As used herein, the term “processor” means a processing device, apparatus, program, circuit, system, and subsystem implemented in hardware, software, or both.

本発明のある態様によれば、ユーザのロケーションで受信されたメディアデータの使用を測定する方法が提供されるが、このメディアデータは、包括的な画像又は包括的な音声として再生可能であり、また、メディアデータの少なくとも一部に付随的(ancillary)コードを有している。本方法は:ユーザのロケーションから遠隔地に置かれた処理システムでデータセットを受信するステップであり、このデータセットは、メディアデータ中の付随的コードをデコーディングする又はシグネチャを形成してメディアデータを識別するに十分なデータを含むが、同時に、包括的な画像や包括的な音声を再生するために必要とされるデータは除外される、前記ステップと;遠隔地に置かれた処理システムのところで、(a)付随的コードをデータセットに基づいて検出することと(b)メディアデータを特徴付けるシグネチャを生成し、生成されたシグネチャをメディアデータの識別データと関連する基準シグネチャとマッチングさせることとの内の少なくとも一方を実行するステップと;を含む。 According to an aspect of the present invention, a method for measuring the use of the media data received by the location of the user is provided, the media data is reproducible as a comprehensive image or comprehensive audio And at least a portion of the media data has an ancillary code. The method includes receiving a data set at a processing system located remotely from a user's location, the data set decoding the ancillary code in the media data or forming a signature to form the media data Including the data sufficient to identify, but at the same time excludes data required to play comprehensive images and sounds, and of the processing system located at a remote location; By the way, (a) detecting the incidental code based on the data set; and (b) generating a signature characterizing the media data and matching the generated signature with a reference signature associated with the identification data of the media data; Performing at least one of the following.

本発明の別の態様によれば、ユーザのロケーションで受信されたメディアデータの使用を測定するシステムが提供されるが、このメディアデータは、包括的な画像又は包括的な音声として再生可能であり、また、メディアデータの少なくとも一部に付随的コードを有している。本システムは:ユーザのロケーションから遠隔地に置かれた処理システムでデータセットを受信する手段であり、このデータセットは、メディアデータ中の付随的コードをデコーディングするに十分な又はメディアデータを特徴付けするシグネチャを形成するに十分なデータを含み、同時に、包括的な画像や包括的な音声を再生するために必要とされるデータは除外する、前記手段と;(a)付随的コードをデータセットに基づいて検出することと(b)メディアデータを特徴付けるシグネチャを生成して、生成されたシグネチャをメディアデータの識別データと関連する基準シグネチャとマッチングさせることとの内の少なくとも一方を実行する、処理システムのところに置かれた処理手段と;を備える。 According to another aspect of the present invention, although a system for measuring the use of the media data received by the location of the user is provided, the media data can be reproduced as the complete picture or comprehensive audio In addition, at least a part of the media data has an accompanying code. The system is a means for receiving a data set at a processing system located remotely from the user's location, the data set featuring sufficient or media data to decode ancillary code in the media data. Said means including sufficient data to form a signature to be attached, and at the same time excluding data required to reproduce comprehensive images and sounds; and (a) data associated with the code; Performing at least one of detecting based on the set and (b) generating a signature characterizing the media data and matching the generated signature with a reference signature associated with the identification data of the media data; Processing means placed at the processing system.

図1に、ユーザのロケーションで受信された情報を表すメディアデータの使用を測定するシステムのある実施形態を示す。本システムは、図2のステップ25で示されるように、メディアデータを監視するユーザロケーションのところにある監視デバイス20を含む。メディアデータを含む音響データが監視される場合、この監視デバイス20は、一般的に、音響エネルギという形態でメディアデータを受信し、また、この音響エネルギを電気データに変換する入力部を有するマイクロフォンであったりする。ビデオデータなどの光エネルギという形態のメディアデータを監視する場合、監視デバイス20は、光ダイオードやビデオカメラなどの光感知デバイスという形態を取る。メディアデータを含む光エネルギは、たとえば、ビデオディスプレイから放射された光であったりする。デバイス20はまた、話者と関連する磁場を感知する磁気ピックアップ、電場を感知する要領性ピックアップ又は電磁エネルギ用のアンテナという形態も取り得る。別の実施形態では、デバイス20は、テレビ、ラジオ、ケーブルコンバータ、衛星テレビシステム、ゲームプレー用システム、VCR、DVDプレーヤ、携帯式プレーヤ、コンピュータ、Web機器又は類似物であったりする被監視デバイスに対する電気的接続物という形態を取る。更に別の実施形態では、監視用デバイス20は、コンピュータ上で実行される監視用ソフトウエア又はメディアデータを収集する他の再生システムとして実現される。 Figure 1 illustrates an embodiment of a system for measuring the use of the media data representing the information received by the location of the user. The system includes a monitoring device 20 at a user location that monitors media data, as shown in step 25 of FIG. When acoustic data including media data is monitored, the monitoring device 20 is typically a microphone that receives media data in the form of acoustic energy and has an input that converts the acoustic energy into electrical data. There is. When monitoring media data in the form of light energy such as video data, the monitoring device 20 takes the form of a light sensitive device such as a photodiode or a video camera. The light energy that includes the media data may be, for example, light emitted from a video display. Device 20 may also take the form of a magnetic pickup that senses the magnetic field associated with the speaker, a point-of- pickup that senses an electric field, or an antenna for electromagnetic energy. In another embodiment, device 20 is for a monitored device, which may be a television, radio, cable converter, satellite television system, game playing system, VCR, DVD player, portable player, computer, web equipment or the like. It takes the form of electrical connections. In yet another embodiment, the monitoring device 20 is implemented as monitoring software running on a computer or other playback system that collects media data.

ある実施形態では、監視用デバイス20は、テレビ、ラジオ、コンピュータ、Web機器、ケーブルコンバータ、衛星テレビシステム、ゲームプレー用システム、VCR、DVDプレーヤ又は類似物の近くに置かれた静止した監視用デバイスとして実現される。他の実施形態では、監視用デバイス20は、ユーザが受けているメディアデータに関するデータを収集するためにユーザによって持ち運ばれる携帯式デバイスとして実現される。   In one embodiment, the monitoring device 20 is a stationary monitoring device located near a television, radio, computer, web equipment, cable converter, satellite television system, game playing system, VCR, DVD player or the like. As realized. In other embodiments, the monitoring device 20 is implemented as a portable device that is carried by the user to collect data regarding the media data that the user is receiving.

監視用デバイス20は、ユーザのロケーションのところにあるプロセッサ30の入力部とカップリングされているので、プロセッサ30は、メディアデータを監視用デバイスから受信することが可能である。プロセッサ30は、図2のステップ35で示されるように、メディアデータによって表される情報のすべてではないがその一部を表すデータセットを生成するように動作する。   Since the monitoring device 20 is coupled to the input of the processor 30 at the user's location, the processor 30 can receive media data from the monitoring device. The processor 30 operates to generate a data set that represents some but not all of the information represented by the media data, as shown in step 35 of FIG.

プロセッサ30は、引き続き、コード(付随的コード及び/又は識別コードなど)がデータセットから検出されるか、周知のメディアデータを表すシグネチャのライブラリにマッチングするシグネチャが形成されるか、又は、これらのプロセスの双方が実行される遠隔のロケーションでさらなる処理のためには必要とされないメディアデータの部分を消去することによって、データセットを形成する。   The processor 30 may continue to detect a code (such as an incidental code and / or identification code) from the data set, form a signature that matches a library of signatures representing known media data, or A data set is formed by erasing portions of the media data that are not needed for further processing at a remote location where both processes are performed.

再度図2のステップ35を参照すると、利点ある1実施形態では、プロセッサ30は、受信されたメディアデータを周波数ドメインのデータに変換し、次に、この周波数ドメインデータのある部分を選択して、データセットを形成する。本実施形態のある代替例によれば、メディアデータは、複数の周波数範囲の各々に対する振幅データという形態で周波数ドメインデータに変換する。これらの範囲はその各々が、メディアデータ中に存在する所定の識別コード成分及び/又は付随的コード成分に対応する。これら実施形態の内のあるものでは、振幅データは、このような周波数範囲外の振幅データに基づいて雑音レベルに対するある周波数範囲内の振幅データの比を生成することによって形成される。この技法のある変更例では、この比は、信号対雑音比として形成される。   Referring again to step 35 of FIG. 2, in one advantageous embodiment, processor 30 converts the received media data into frequency domain data, and then selects a portion of this frequency domain data, Form a data set. According to an alternative of this embodiment, the media data is converted to frequency domain data in the form of amplitude data for each of a plurality of frequency ranges. Each of these ranges corresponds to a predetermined identification code component and / or ancillary code component present in the media data. In some of these embodiments, the amplitude data is formed by generating a ratio of amplitude data within a certain frequency range to noise level based on amplitude data outside such frequency range. In some variations of this technique, this ratio is formed as a signal to noise ratio.

更に別の実施形態では、時間ドメインデータのデータセットが形成される。ある実施形態では、このデータセットは、時間ドメインデータをサブサンプリングすることによって、時間の経過に従うこのようなデータの値を平均化したり組み合わせたりすることによって、又は、データの時間セグメントを消去することによって形成される。他の実施形態では、時間ドメインデータは、メディアデータの周波数範囲より狭い周波数範囲からこのような時間ドメインデータのある部分を選択することによって生成される。一部のこのような実施形態では、この時間ドメインデータは、メディアデータをフィルタリングすることによって形成される。   In yet another embodiment, a data set of time domain data is formed. In some embodiments, the data set is obtained by subsampling time domain data, by averaging or combining values of such data over time, or by deleting time segments of data. Formed by. In other embodiments, the time domain data is generated by selecting a portion of such time domain data from a frequency range that is narrower than the frequency range of the media data. In some such embodiments, this time domain data is formed by filtering media data.

更に別の実施形態では、データセットは、位相情報を表すデータから成る。このような位相情報を形成する代替技法は、互いに異なったそれぞれの周波数範囲又はビンからの同時発生するメディアデータの成分の位相、すなわち、1つ以上の単一周波数成分を構成する位相を比較する、又は、時間のずれたメディアデータ値を比較する、又は、このような技法を組み合わせるステップが含まれる。   In yet another embodiment, the data set consists of data representing phase information. An alternative technique for forming such phase information is to compare the phases of simultaneously occurring media data components from different frequency ranges or bins, i.e., the phases that make up one or more single frequency components. Or comparing time-shifted media data values or combining such techniques.

通信デバイス40は、プロセッサ30とカップリングされて、データを受信する。この通信デバイス40は、図2のステップ45で示されるように、このデータセットを、通信システム、リンク又は媒体50を介して、さらなる通信デバイス70と遠隔地プロセッサ60とを含む遠隔地に置かれた処理システムに通信する。ある実施形態では、通信デバイス40は、電話ネットワーク、ケーブルテレビシステム、WAN又は無線通信システムを介しての通信に適切なフォーマットにデータセットを変換するモデム又はネットワークカードである。データを無線で通信する実施形態では、通信デバイス40は、セルラー電話送信機、無線インターネット送信機ユニット、光送信機、音響送信機又は衛星通信送信機などの適切な送信機を含む。   The communication device 40 is coupled with the processor 30 to receive data. The communication device 40 is placed at a remote location including the additional communication device 70 and the remote processor 60 via the communication system, link or medium 50 as shown in step 45 of FIG. Communicate to the processing system. In some embodiments, the communication device 40 is a modem or network card that converts the data set into a format suitable for communication over a telephone network, cable television system, WAN or wireless communication system. In embodiments that communicate data wirelessly, the communication device 40 includes a suitable transmitter, such as a cellular telephone transmitter, a wireless Internet transmitter unit, an optical transmitter, an acoustic transmitter, or a satellite communication transmitter.

デバイス70は、適切に選択されて、デバイス40とカップリングされて、これで、データセットを、システム、リンク又は媒体50を介して通信されたものとして受信する。通信デバイス70は、図2のステップ55に示すように、遠隔地プロセッサ60とカップリングされて、それに対してデータセットを提供して、識別データを生成するようにする。   Device 70 is appropriately selected and coupled with device 40 so that it receives the data set as communicated over system, link or medium 50. The communication device 70 is coupled to the remote processor 60 and provides a data set thereto for generating identification data, as shown in step 55 of FIG.

ある実施形態では、遠隔地プロセッサ60は、データセットを処理して、その中のメディアデータの識別コード及び/又は付随的コードをデータセットに基づいて検出する。他の実施形態では、遠隔地プロセッサ60がパターンマッチングプロセスを、データセットに基づいてメディアデータのシグネチャを生成して、生成されたシグネチャを、遠隔地に置かれた処理システムのところで利用可能とされる基準シグネチャとマッチングさせることによって実行する。基準シグネチャは、遠隔地に置かれた処理システムのところに維持されているデータベースから得られる実施形態もあれば、基準シグネチャは、遠隔地に置かれたデータベースにアクセスするサーバなどの遠隔地のソースからから得られる実施形態もある。   In some embodiments, the remote processor 60 processes the data set to detect an identification code and / or an incidental code for media data therein based on the data set. In another embodiment, the remote processor 60 generates a signature of the media data based on the data set based on the data set, and the generated signature is made available at a processing system located at the remote location. By matching with a reference signature. In some embodiments, the reference signature is derived from a database maintained at a processing system located at a remote location, while the reference signature is a remote source such as a server accessing a database located at a remote location. There are also embodiments obtained from

基準シグネチャは、それから基準シグネチャが得られたメディアデータを識別する役目をする識別データと関連している。したがって、生成されたシグネチャが一旦基準シグネチャと確実にマッチングすれば、基準グネチャと関連する識別データは、受信されたデータセットによって表されるメディアデータを識別する働きをする。   The reference signature is associated with identification data that serves to identify the media data from which the reference signature was obtained. Thus, once the generated signature is reliably matched with the reference signature, the identification data associated with the reference signature serves to identify the media data represented by the received data set.

メディアデータ中の識別コードを検出する利点あるいくつかのそして適切な技法が、本出願の譲受人に譲渡され、参照してここに組み込まれるジェンセン(James M. Jensen)らに対する米国特許第5,764,763号に開示されている。他の適切なデコーディング技法が、各々が本出願の譲受人に譲渡され、そのすべてが参照してここに組み込まれる、アジャラ(Ajala)らに対する米国特許第5,579,124号、ファーデュー(Fardeau)らに対する米国特許第5,574,962号、第5,581,800号及び第5,787,334号、ジェンセン(Jensen)らに対する米国特許第5,450,490号並びにノイハウザー(Neuhauser) らの名目における米国特許出願第09/318,045号に開示されている。   Some advantageous and suitable techniques for detecting identification codes in media data are assigned to the assignee of the present application and are hereby incorporated by reference and incorporated herein by reference. No. 764,763. Other suitable decoding techniques are described in US Pat. No. 5,579,124 to Ajala et al., Fardue, each assigned to the assignee of the present application, which is hereby incorporated by reference in its entirety. US Pat. Nos. 5,574,962, 5,581,800 and 5,787,334 to Fardeau et al., US Pat. No. 5,450,490 to Jensen et al. And Neuhauser No. 09 / 318,045 in their name.

更に別の適切なデコーダが、そのすべてを参照してここに組み込む、スリニバサン(Srinivasan)に対するPCT公報第WO00/04662号、プレウス(Preuss)らに対する米国特許第5,319,735号、ペトロビッチ(Petrovich)らに対する米国特許第6,175,627号、ヲロセビック(Wolosewicz)らに米国特許第5,828,325号、リー(Lee)らに対する米国特許第6,154,484号、スミス(Smith)らに対する米国特許第5,945、932号、ルー(Lu)らに対するPCT公報第WO99/59275号、ルー(Lu)らに対するPCT公報第WO98/26529号及びルー(Lu)らに対するPCT公報第WO96/27264号の主題となっている。   Yet another suitable decoder, PCT publication WO 00/04662, to Srinivasan, US Pat. No. 5,319,735 to Preuss et al., Petrovich, which is hereby incorporated by reference in its entirety. U.S. Patent No. 6,175,627 to Wolosewicz et al., U.S. Patent No. 5,828,325, U.S. Patent No. 6,154,484 to Lee et al., Smith et al. No. 5,945,932 to PCT Publication No. WO 99/59275 to Lu et al., PCT Publication No. WO 98/26529 to Lu et al. And PCT Publication No. WO 96/26 to Lu et al. It is the subject of 27264.

ある実施形態では、プロセッサ30は周波数ドメインデータのデータセットを形成し、プロセッサ60はデータセット中の周波数ドメインデータを処理して、その中にある識別コード又は付随的コードを検出する。ジェンセン(Jensen)らの米国特許第第5,764,763号又は第5,450,490号に記載するように形成されている場合、周波数ドメインデータはプロセッサ60によって処理されて、所定の周波数を持つコード成分を検出する。コードがスリニバサン(Srinivasan)PCT公報第WO00/04662号に記載するように形成する場合、プロセッサ60は周波数ドメインデータを処理して、周波数ホッピングパターンにしたがって分布されているコード成分を検出する。ある実施形態では、このコード成分は、情報をエンコーディングするための振幅を修正された周波数成分の対を含み、また、プロセッサ60は、このような振幅修正を検出する。他のある実施形態では、コード成分は、情報をエンコーディングするために移送を修正された周波数成分の対を含み、また、プロセッサ60はこのような位相修正を検出する。コードが、アジャラ(Ajara)による米国特許第5,579,124号又はプレウス(Preuss)らによる米国特許第5,319,735号に記載する様にスペクトル拡散コードとして形成されている場合、プロセッサ60は適切なスペクトル拡散デコーダを備えている。   In some embodiments, processor 30 forms a data set of frequency domain data, and processor 60 processes the frequency domain data in the data set to detect an identification code or an accompanying code therein. When configured as described in US Pat. Nos. 5,764,763 or 5,450,490 to Jensen et al., Frequency domain data is processed by processor 60 to obtain a predetermined frequency. Detects the code component possessed. When the code is formed as described in Srinivasan PCT Publication No. WO 00/04662, processor 60 processes the frequency domain data to detect code components that are distributed according to a frequency hopping pattern. In some embodiments, the code component includes a pair of frequency components that have been amplitude modified to encode information, and processor 60 detects such amplitude modification. In certain other embodiments, the code component includes a pair of frequency components whose transport has been modified to encode information, and the processor 60 detects such phase correction. If the code is formed as a spread spectrum code as described in US Pat. No. 5,579,124 by Ajara or US Pat. No. 5,319,735 by Preuss et al., Processor 60 Has a suitable spread spectrum decoder.

データセットに基づいてメディアデータを識別するためにパターンマッチングプロセスを実行する利点ある適切な技法が存在する。このような技法をいくつか、図3を参照して以下に説明する。   There are advantageous and suitable techniques for performing a pattern matching process to identify media data based on a data set. Some such techniques are described below with reference to FIG.

シグネチャをメディアデータから抽出してこれらのシグネチャを基準シグネチャとマッチングさせる他の適切な技法が、おのおのが本発明の譲受人に譲渡され、その双方を参照してここに組み込む、エリス(Ellis)らに対する米国特許第5,612,729号と、トーマス(Thomas)らに対する米国特許第4,739,398号とに開示されている。   Other suitable techniques for extracting signatures from media data and matching these signatures with reference signatures are assigned to the assignee of the present invention, each of which is incorporated herein by reference to both Ellis et al. U.S. Pat. No. 5,612,729 to Thomas et al. And U.S. Pat. No. 4,739,398 to Thomas et al.

更に別の適切な技法が、そのすべてを参照してここに組み込む、ムーン(Moon)らに対する米国特許第3,919,479号と、キウイット(Kiewit)に対する米国特許第4,697,209号と、ラート(Lert)らに対する米国特許第4,677,466号と、ホワイトレー(Whiteley)らに対する米国特許第5,512,933号と、ウェルシュ(Welsh)らに対する米国特許第4,955,070号と、シュルツ(Shulze)らに対する米国特許第4,918,730号と、ケニオン(Kenyon)らに対する米国特許第4,843,562号と、ケニオン(Kenyon)らに対する米国特許第4,450,551号と、ラート(Lert)らに対する米国特許第4,230,990号との主題となっている。   Yet another suitable technique is U.S. Pat. No. 3,919,479 to Moon et al., U.S. Pat. No. 4,697,209 to Kiewit, which is hereby incorporated by reference in its entirety. U.S. Pat. No. 4,677,466 to Lert et al., U.S. Pat. No. 5,512,933 to Whiteley et al. And U.S. Pat. No. 4,955,070 to Welsh et al. U.S. Pat. No. 4,918,730 to Shulze et al., U.S. Pat. No. 4,843,562 to Kenyon et al., U.S. Pat. No. 4,450,562 to Kenyon et al. No. 551 and U.S. Pat. No. 4,230,990 to Lert et al.

本発明の利点ある実施形態によれば、監視用デバイス20は、包括的な画像又は音声として再生可能なメディアデータをユーザのロケーションで受信するが、この受信されたメディアデータはその中に付随的コードを有している。プロセッサ30は、包括的な画像又は包括的な音声を再生するために必要とされるデータを除外し、同時に、メディアデータ中の識別コード及び/又は付随的コードをデコーディングする又はシグネチャを形成してこのようなデータを識別するに十分なデータを含むことによってメディアデータからデータセットを形成する働きをする。   According to an advantageous embodiment of the present invention, the monitoring device 20 receives media data that can be played as a comprehensive image or sound at the user's location, the received media data being incidental thereto. Have a code. The processor 30 excludes the data required to play the comprehensive image or the comprehensive sound and at the same time decodes the identification code and / or the incidental code in the media data or forms a signature. The data set is formed from the media data by including sufficient data to identify such data.

これらの実施形態のある変更例では、監視用デバイス20によってピックアップされたオーディオデータ又は画像データは、周波数ドメインに変換されるか又は周波数ドメインデータとして受信される。オーディオデータ又は画像データの識別コード又は付随的コードをデコーディングする又はシグネチャを形成してこのようなデータを識別するためには無用の周波数ドメインデータの部分は、消去される。これに限られないが、これらのコードは、米国特許第5,764,763号の不可聴エンコーディング技法にしたがってオーディオデータに追加されているのが望ましい。これらのコード自身は再生済みオーディオデータ中では不可聴であるため、オーディオデータの内の不可聴部分は、コードをデコーディングするために必要とされるデータを失うことなくデータセットから消去される。他の種類の不可聴コードはこのようにして回復されることが理解されよう。   In certain variations of these embodiments, audio data or image data picked up by the monitoring device 20 is converted to the frequency domain or received as frequency domain data. The portions of the frequency domain data that are useless in order to identify such data by decoding or forming a signature or an identification code of audio data or image data are erased. While not limited thereto, these codes are preferably added to the audio data according to the inaudible encoding technique of US Pat. No. 5,764,763. Since these codes themselves are inaudible in the reproduced audio data, the inaudible portion of the audio data is erased from the data set without losing the data needed to decode the code. It will be appreciated that other types of inaudible codes are recovered in this manner.

同様に、エンコーディングされた画像データが監視用デバイス20によって収集される場合、回復されるべきコードは、視覚的に近く不可能であるか又は最小であるのが望ましい。このようにして、データセットは、コードをデコーディングするために必要なデータを含むように形成され、同時に、包括的な画像を再生するために必要とされるデータが消去される。視覚的に知覚不可能な又は最小のエンコーディングアーチファクトを有するエンコーディング済み画像を生成して、これをデコーディングする適切な画像エンコーディング技法が、そのすべてを参照してここに組み込む、ローズ(Rhoads)に対する米国特許第6,122,403号と、フローレンシオ(Florencio)らに対する米国特許第6,208,745号と、モスコビッチ(Moskowitz)に対する米国特許第6,205,249号と、マエス(Maes)らに対する米国特許第6,198,832号と、ヅファティ(Dougherty)らに対する米国特許第5,737,025号と、ルー(Lu)らに対する米国特許第5,737,026号との主題となっている。   Similarly, if encoded image data is collected by the monitoring device 20, it is desirable that the code to be recovered is visually impossible or minimal. In this way, the data set is formed to contain the data needed to decode the code, while at the same time the data needed to reproduce the comprehensive image is erased. The United States for Rhoads, a suitable image encoding technique that generates an encoded image with visually unperceivable or minimal encoding artifacts and decodes it, which is incorporated herein by reference. US Pat. No. 6,122,403, US Pat. No. 6,208,745 to Florencio et al., US Pat. No. 6,205,249 to Moskowitz, and Maes et al. Subject of US Pat. No. 6,198,832, US Pat. No. 5,737,025 to Dougherty et al. And US Pat. No. 5,737,026 to Lu et al. .

他の変更例では、監視用デバイスによって受信された時間ドメインのオーディオメディアデータ又は画像メディアデータは、このような識別コード又は付随的コードをデコーディングする又はこのようなシグネチャを形成するためには無用な部分を消去することによって減少する。このようなデータの減少は、たとえば、データをフィルタリングもしくはサブサンプリング、平均化もしくは別様に組み合わせる、又はデータの時間セグメントを消去することによって達成することが可能である。   In other variations, time domain audio media data or image media data received by the monitoring device is useless to decode such identification codes or incidental codes or to form such signatures. This is reduced by erasing important parts. Such data reduction can be achieved, for example, by filtering or sub-sampling, averaging or otherwise combining data, or eliminating time segments of data.

したがって、データセット中に含まれるデータの量を大幅に減少させることが可能であり、これによって、データセットの記憶と通信が容易化される。また、これによって、包括的な音声又は画像の再生を防止することによって、監視用デバイス20の近くの聴衆のプライバシーが保護される。   Thus, the amount of data contained in the data set can be significantly reduced, which facilitates storage and communication of the data set. This also protects the privacy of the audience near the monitoring device 20 by preventing comprehensive sound or image playback.

図3に、データセットがユーザのロケーションで生成され、これで、識別コード及び/又は付随的コードがメディアデータ中にあれば、それがデータセットから抽出され、このようなコードが存在しなければ、そのデータセットを用いて、シグネチャマッチングプロセスで使用するためのシグネチャを生成させる、利点ある実施形態を示す。図3のステップ100で、マイクロフォンの出力部から得られたデータなどの時間ドメインオーディオデータは、高速フーリエ変換(「FFT」)、ウエーブレット変換、ディジタルフィルタリング又は他の時間から周波数ドメインへの変換によって周波数ドメインに伝送される。オーディオデータが初期に、周波数ドメインデータという形態で受信される場合、このステップは不要である。   In FIG. 3, a data set is generated at the user's location so that if an identification code and / or ancillary code is present in the media data, it is extracted from the data set and no such code exists. An advantageous embodiment is shown in which the data set is used to generate a signature for use in a signature matching process. In step 100 of FIG. 3, time domain audio data, such as data obtained from the output of the microphone, is obtained by fast Fourier transform (“FFT”), wavelet transform, digital filtering or other time to frequency domain transform. Transmitted to the frequency domain. If audio data is initially received in the form of frequency domain data, this step is not necessary.

周波数ドメインデータは、ステップ110でデータ抽出プロセスを受けて、減少したデータセットを生成し、このため、識別コード及び/又は付随的コードが存在すれば、それを検出するために必要なデータがこの減少したデータセット中に存在するが、オーディオ情報のかなりの部分はこの減少したデータセット中には含まれないようになる。この減少したデータセットは、単にオーディオ信号の圧縮バージンであるばかりではなく、オーディオ信号の包括的バージョンを生成するために必要なデータを除外するものである。その結果、このプロセスは、信号圧縮で達成されるレベルを超えたかなりのデータ減少をもたらす結果となるだけではなく、プライバシーも保証する。   The frequency domain data undergoes a data extraction process in step 110 to generate a reduced data set, so that the data needed to detect the identification code and / or ancillary code, if present, is the Although present in the reduced data set, a significant portion of the audio information will not be included in the reduced data set. This reduced data set is not only a compressed virgin for the audio signal, but also excludes the data needed to generate a comprehensive version of the audio signal. As a result, this process not only results in significant data reduction beyond the level achieved with signal compression, but it also ensures privacy.

このように生成された減少したデータセットは、ユーザのロケーションから、ステップ120に示すように、遠隔地に置かれた処理システムに通信される。次に、このデータセットは、データセットの周波数コンテンツを検査することによって実行されるコード検出プロセス130を受ける。コードが存在すれば、ステップ140で示すように、このコードの記録がステップ150で作成される。こうする代わりに、又はこれに加えて、検出されたコードは、遠隔地に置かれた処理システムにとってアクセス可能なデータベース中のメディアデータの識別コードとマッチングされる。   The reduced data set thus generated is communicated from the user's location to a processing system located at a remote location, as shown at step 120. This data set is then subjected to a code detection process 130 that is performed by examining the frequency content of the data set. If a code exists, a record of this code is created at step 150, as shown at step 140. Alternatively or additionally, the detected code is matched with an identification code for media data in a database accessible to a processing system located at a remote location.

コードが検出されない場合、マッチングプロセス160を実行する。このマッチングプロセス中で、シグネチャがデータセットに基づいて生成される。シグネチャを抽出する代替の技法がいくつかある。その1つの代替技法では、データセット全体を、シグネチャとしての修正なしで用いられる。別の代替技法では、データセットのある部分がシグネチャとして選択される。さらに別の代替技法では、シグネチャが、そのデータを組み合わせる又はシグネチャ生成のため別様に処理することによって、データセットに基づいて生成される。このようなプロセスの内のある一部のプロセスでは、参照してここに組み込むエリス(Ellis)らの米国特許第5,612,729号に開示するオーディオシグネチャ形成技法の場合のように、対を成す周波数データがデータセットから選択されて用いられて、生成されたシグネチャの成分を表す比を形成する。   If no code is detected, a matching process 160 is performed. During this matching process, a signature is generated based on the data set. There are several alternative techniques for extracting the signature. In that alternative technique, the entire data set is used without modification as a signature. In another alternative technique, a portion of the data set is selected as the signature. In yet another alternative technique, a signature is generated based on the data set by combining the data or otherwise processing for signature generation. Some of these processes involve pairing, as in the audio signature forming technique disclosed in Ellis et al., US Pat. No. 5,612,729, which is incorporated herein by reference. The resulting frequency data is selected from the data set and used to form a ratio representing the components of the generated signature.

このようにして生成されたシグネチャは、次に、遠隔地に置かれた処理システムにとってアクセス可能なデータベース中にストアされている基準シグネチャと比較される。マッチングプロセスは、たとえば、エリス(Ellis)らによって米国特許第5,612,729号に開示されている仕方で実行される。一旦確実なマッチングが見つかれば、ステップ170に示されるように、このマッチングの記録が作成される。   The signature generated in this manner is then compared to a reference signature stored in a database accessible to a processing system located at a remote location. The matching process is performed, for example, in the manner disclosed by Ellis et al. In US Pat. No. 5,612,729. Once a positive match is found, a record of this match is created, as shown in step 170.

ステップ110で減少したデータセットを生成する多くの適切な技法が存在する。オーディオ信号がスリニバサン(Srinivasan)のPCT公報第WO00/04662号にしたがってエンコーディングされている場合、コード成分を含むこれらの周波数成分は保持され、一方、コード成分を含まない周波数成分は実質的に除外される。   There are many suitable techniques for generating the reduced data set at step 110. If the audio signal is encoded according to Srinivasan PCT Publication No. WO 00/04662, these frequency components, including code components, are retained, while frequency components not including code components are substantially excluded. The

ジャンセン(Jansen)らの米国特許第5,764,763号又は米国特許第5,450,490号の場合のようにエンコーディングされたオーディオデータの場合の用いられる利点ある技法を、図4を参照して説明する。図4の技法では、ステップ200に示すように、オーディオデータは、周波数ドメイン中にすでになければ、FFT又は別の適切な方法によって周波数ドメインに変換される。   The advantageous technique used in the case of encoded audio data, as in Jansen et al. US Pat. No. 5,764,763 or US Pat. No. 5,450,490, is described with reference to FIG. I will explain. In the technique of FIG. 4, as shown in step 200, audio data is transformed into the frequency domain by FFT or another suitable method if it is not already in the frequency domain.

発生し得るコード成分の周波数近傍における雑音振幅が、ステップ210で推定される。これは、このような近傍における周波数成分の振幅を検査することによって達成される。たとえば、平均もしくは中間の振幅又は固定値などの閾値未満の振幅を有するような成分は、組み合わされたり平均化されたり又は別様に処理されて、代表的な雑音振幅を生成する。   The noise amplitude in the vicinity of the frequency of the code component that can occur is estimated in step 210. This is achieved by examining the amplitude of the frequency component in such a neighborhood. For example, components having an amplitude below a threshold, such as an average or intermediate amplitude or a fixed value, are combined, averaged, or otherwise processed to produce a representative noise amplitude.

次に、ステップ220で、起こり得る各コード成分に対する信号対雑音比が、その周波数近傍における雑音振幅に対するその周波数のデータ振幅に基づいて決定される。1つの実施形態では、上の閾値を超える比は、非コードオーディオ信号成分を表している確率が高いとして排除され、下の閾値未満の比は雑音として排除される。このプロセスは、ステップ230で実行される。ある代替実施形態では、上の閾値を超える比は、それでも、データセットが形成される場合は保持される。更に別の実施形態では、すべての比が保持され、ステップ230は省かれる。   Next, at step 220, a signal to noise ratio for each possible code component is determined based on the data amplitude at that frequency relative to the noise amplitude near that frequency. In one embodiment, ratios above the upper threshold are excluded as having a high probability of representing non-coded audio signal components, and ratios below the lower threshold are excluded as noise. This process is performed at step 230. In an alternative embodiment, ratios above the above threshold are still retained when the data set is formed. In yet another embodiment, all ratios are retained and step 230 is omitted.

この保持された比は、それがデータセットを遠隔地の置かれた処理システムに通信するに適切なものとなるまでステップ240でストアされる。ステップ250で示すように、所定の判定基準が満たされたときに、通信するという決定が下される。たとえば、聴衆が持ち歩いている監視用デバイスによってデータが収集される場合、ブルックス(Brooks)らの米国特許第5,483,276号に記載されているように、デバイスが基地局とカップリングされている間に、データは通信される。その代わり、このデータを通信するという決定は、ストアされているデータの量又は経過時間に基づいて又は他のデータの送信及び/又は受信のためのデバイスによる通信経路の確立に基づいて下される。データ通信のための判定基準が満たされたら、ステップ260に示すように、ストアされているデータセットが遠隔地に置かれた処理システムに通信される。   This retained ratio is stored at step 240 until it is suitable for communicating the data set to a remote processing system. As indicated by step 250, a decision is made to communicate when predetermined criteria are met. For example, if data is collected by a monitoring device carried by the audience, the device is coupled to a base station as described in Brooks et al. US Pat. No. 5,483,276. Data is communicated while in the air. Instead, the decision to communicate this data is made based on the amount or elapsed time of the stored data or based on the establishment of a communication path by the device for transmission and / or reception of other data. . Once the criteria for data communication are met, the stored data set is communicated to a processing system located at a remote location, as shown at step 260.

本実施形態では各データ記号を比較的少ない周波数成分でエンコーディングすることが可能であるので、遠隔地に置かれた処理システムで記号をエンコーディングするために必要とされる比は比較的少ない。これによって、データセットのサイズを制限して、その記憶動作と送信動作を容易化することが可能である。   In this embodiment, each data symbol can be encoded with a relatively small number of frequency components, so that a relatively low ratio is required to encode the symbol in a remote processing system. As a result, the size of the data set can be limited to facilitate the storage operation and the transmission operation.

本発明を利点ある実施形態、エレメントもしくはステップの配置、特徴及び類似物を参照して説明したが、すべての又はなんらかの考えられる実施形態、配置又は特徴を制限したり排除したりする意図はなく、実際、他の修正例や変更例が当業者には確認されよう。   Although the present invention has been described with reference to advantageous embodiments, arrangements of elements or steps, features and the like, there is no intent to limit or exclude all or any of the possible embodiments, arrangements or features, Indeed, other modifications and variations will be apparent to those skilled in the art.

本発明の利点となるある実施形態のブロック図である。FIG. 4 is a block diagram of an embodiment that is an advantage of the present invention. 図1の実施形態の動作の説明に用いられるフローチャートである。It is a flowchart used for description of operation | movement of embodiment of FIG. オーディオメディアデータ及び/又は音響メディアデータから識別データを生成する本発明のある実施形態を説明するために用いられるフローチャートである。FIG. 4 is a flowchart used to describe an embodiment of the present invention for generating identification data from audio media data and / or acoustic media data. 図3の実施形態を実施する1つの代替例を説明するために用いられるフローチャートである。FIG. 4 is a flow chart used to describe one alternative for implementing the embodiment of FIG.

Claims (73)

ユーザのロケーションのところで受信されたメディアデータの使用を測定する方法であり、前記メディアデータが包括的画像又は包括的音声として再生可能であり、また、前記メディアデータの少なくとも一部に付随的コードを有し、前記方法が:
前記ユーザのロケーションから遠隔の地に置かれた処理システムのところでデータセットを受信するステップであり、前記データセットが、前記メディアデータ中の前記付随的コードをデコーディングするに十分なデータを含む一方、前記包括的画像又は前記包括的音声を再生するために必要とされるデータを除外するものである、前記ステップと;
前記遠隔地に置かれた処理システムのところで、前記付随的コードを検出するために、前記データセットを処理するステップと;
を含む前記方法。
A method for measuring the use of the received media data at the user location, the media data is reproducible as a comprehensive image or generic audio, also, incidentally code to at least a portion of the media data And the method comprises:
A step of receiving a data set at the processing system is placed from the location of the user to a remote land of the data set, sufficient data to decode the ancillary codes in the media data including the other hand, it is intended to exclude the data needed to reproduce the generic image or the comprehensive voice, and said step;
Processing the data set to detect the ancillary code at a processing system located at the remote location;
Including said method.
前記メディアデータを、前記ユーザのロケーションのところで監視用デバイスに受信するステップと;
前記監視用デバイス中の前記データセットを前記メディアデータから形成するステップと;
前記データセットを前記ユーザのロケーションから前記遠隔地に置かれた処理システムに通信するステップと;
を更に含む、請求項1に記載の方法。
Receiving the media data at a monitoring device at the user's location;
Forming the data set in the monitoring device from the media data;
Communicating the data set from the user's location to a processing system located at the remote location;
The method of claim 1, further comprising:
前記データセットを形成する前記ステップが、前記受信されたメディアデータの少なくともある部分を周波数ドメインデータに変換するステップを含む、請求項2に記載の方法。  The method of claim 2, wherein the step of forming the data set comprises converting at least some portion of the received media data into frequency domain data. 前記データセットを形成する前記ステップが、各々の周波数範囲が前記付随的コードの所定の成分に対応する、前記周波数ドメインのデータの複数の周波数範囲の各々に対して振幅データを生成するステップを含む、請求項3に記載の方法。  The step of forming the data set includes generating amplitude data for each of a plurality of frequency ranges of the frequency domain data, each frequency range corresponding to a predetermined component of the accompanying code. The method according to claim 3. 前記振幅データはその各々が、対応する周波数範囲中の振幅データの、このような対応する周波数範囲外の振幅データに基づく雑音レベルに対する比として形成される、請求項4に記載の方法。  The method of claim 4, wherein each of the amplitude data is formed as a ratio of amplitude data in a corresponding frequency range to a noise level based on amplitude data outside such corresponding frequency range. 前記データセットが、時間ドメイン情報を表すデータを含む、請求項2に記載の方法。  The method of claim 2, wherein the data set includes data representing time domain information. 前記時間ドメインデータが、前記メディアデータの周波数範囲より狭い周波数範囲からのデータを含む、請求項6に記載の方法。  The method of claim 6, wherein the time domain data includes data from a frequency range that is narrower than a frequency range of the media data. 前記データセットが、位相情報を表すデータを含む、請求項2に記載の方法。  The method of claim 2, wherein the data set includes data representing phase information. 前記メディアデータが、オーディオデータを含む、請求項2に記載の方法。  The method of claim 2, wherein the media data includes audio data. 前記メディアデータが、ビデオデータを含む、請求項2に記載の方法。  The method of claim 2, wherein the media data includes video data. 前記メディアデータが、音響エネルギとして受信される、請求項2に記載の方法。  The method of claim 2, wherein the media data is received as acoustic energy. 前記メディアデータが、電磁エネルギとして受信される、請求項2に記載の方法。  The method of claim 2, wherein the media data is received as electromagnetic energy. 前記メディアデータが、光エネルギとして受信される、請求項12に記載の方法。  The method of claim 12, wherein the media data is received as light energy. 前記メディアデータが、磁気エネルギとして受信される、請求項2に記載の方法。  The method of claim 2, wherein the media data is received as magnetic energy. 前記メディアデータが、電気エネルギとして受信される、請求項2に記載の方法。  The method of claim 2, wherein the media data is received as electrical energy. メディアデータを受信する前記ステップが、ユーザである人物が持ち運び可能な携帯式監視用デバイス中にメディアデータを受信するステップを含む、請求項2に記載の方法。The method of claim 2, wherein the step of receiving media data comprises receiving media data in a portable monitoring device that can be carried by a user person. 前記付随的コードを検出する前記ステップが、周波数ドメインデータを処理するステップを含む、請求項1に記載の方法。  The method of claim 1, wherein detecting the ancillary code comprises processing frequency domain data. 前記周波数ドメインデータが、所定の周波数にある前記付随的コードの成分を検出するために処理される、請求項17に記載の方法。  The method of claim 17, wherein the frequency domain data is processed to detect a component of the incidental code at a predetermined frequency. 前記周波数ドメインデータが、周波数ホッピングパターンに従って分布される前記付随的コードの成分を検出するために処理される、請求項17に記載の方法。  The method of claim 17, wherein the frequency domain data is processed to detect components of the incidental code distributed according to a frequency hopping pattern. 前記コード成分が、情報をエンコーディングするために振幅を修正された周波数成分の対を含む、請求項19項に記載の方法。  The method of claim 19, wherein the code component comprises a pair of frequency components whose amplitudes are modified to encode information. 前記コード成分が、情報をエンコーディングするために位相を修正された周波数成分の対を含む、請求項19項に記載の方法。  The method of claim 19, wherein the code component comprises a pair of frequency components that are phase modified to encode information. 前記付随的コードを検出する前記ステップが、スペクトル拡散コードを検出するステップを含む、請求項1に記載の方法。  The method of claim 1, wherein the step of detecting the incidental code comprises detecting a spread spectrum code. ユーザのロケーションのところで受信されたメディアデータの使用を測定するシステムであり、前記メディアデータが包括的画像又は包括的音声として再生可能であり、また、前記メディアデータの少なくとも一部に付随的コードを有し、前記システムが:
前記ユーザのロケーションから遠隔の地に置かれた処理システムのところでデータセットを受信する手段であり、前記データセットが、前記メディアデータ中の前記付随的コードをデコーディングするに十分なデータを含む一方、前記包括的画像又は前記包括的音声を再生するために必要とされるデータを除外するものである、前記手段と;
前記付随的コードを検出すべく、前記データセットを処理するため、前記遠隔地に置かれた処理システムのところに配置された処理手段と;
を備える前記システム。
A system for measuring the use of the received media data at the user location, the media data is reproducible as a comprehensive image or generic audio, also, incidentally code to at least a portion of the media data And the system is:
A means for receiving a data set at the processing system is placed from the location of the user in a remote place, the data set is sufficient data to decode the ancillary codes in the media data including the other hand, it is intended to exclude the data needed to reproduce the generic image or the comprehensive voice, and said means;
Wherein in order to detect the incidental code, and said to process the data sets, arranged processing means at the processing system is placed in the remote;
The system comprising:
前記メディアデータを、前記ユーザのロケーションのところで受信する手段と;
前記メディアデータから前記データセットを前記ユーザのロケーションのところで形成する手段と;
前記データセットを前記ユーザのロケーションから前記遠隔地に置かれた処理システムに通信する手段と;
を更に備える、請求項23に記載のシステム。
Means for receiving the media data at the user's location;
Means for forming the data set at the user's location from the media data;
Means for communicating the data set from the user's location to a processing system located at the remote location;
24. The system of claim 23, further comprising:
前記データセットを形成する前記手段が、前記受信されたメディアデータの少なくともある部分を周波数ドメインデータに変換するように動作する、請求項24に記載のシステム。  25. The system of claim 24, wherein the means for forming the data set is operative to convert at least some portion of the received media data into frequency domain data. 前記データセットを形成する前記手段が、各々の周波数範囲が前記付随的コードの所定の成分に対応する、前記周波数ドメインのデータの複数の周波数範囲の各々に対して振幅データを生成するように動作する、請求項25に記載のシステム。  The means for forming the data set is operable to generate amplitude data for each of a plurality of frequency ranges of data in the frequency domain, each frequency range corresponding to a predetermined component of the accompanying code; 26. The system of claim 25. 前記データセットを形成する前記手段が、前記振幅データの各々を、対応する周波数範囲中の振幅データの、このような対応する周波数範囲外の振幅データに基づく雑音レベルに対する比として形成するように動作する、請求項26に記載のシステム。  The means for forming the data set is operable to form each of the amplitude data as a ratio of amplitude data in a corresponding frequency range to a noise level based on amplitude data outside such corresponding frequency range; 27. The system of claim 26. 前記データセットを形成する前記手段が、時間ドメイン情報を表すデータを含むように動作する、請求項24に記載のシステム。  25. The system of claim 24, wherein the means for forming the data set is operative to include data representing time domain information. 前記データセットを形成する前記手段が、前記時間ドメインデータを、前記メディアデータの周波数範囲より狭い周波数範囲から選択するように動作する、請求項28に記載のシステム。  30. The system of claim 28, wherein the means for forming the data set is operative to select the time domain data from a frequency range that is narrower than a frequency range of the media data. 前記データセットを形成する前記手段が、位相情報を表すデータを含むように動作する、請求項24に記載のシステム。  25. The system of claim 24, wherein the means for forming the data set is operative to include data representing phase information. 前記メディアデータを受信する前記手段が、前記メディアデータを音響エネルギとして受信するように動作する、請求項24に記載のシステム。  25. The system of claim 24, wherein the means for receiving the media data is operative to receive the media data as acoustic energy. 前記メディアデータを受信する前記手段が、前記メディアデータを電磁エネルギとして受信するように動作する、請求項24に記載のシステム。  25. The system of claim 24, wherein the means for receiving the media data is operative to receive the media data as electromagnetic energy. 前記メディアデータを受信する前記手段が、前記メディアデータを光エネルギとして受信するように動作する、請求項32に記載のシステム。  The system of claim 32, wherein the means for receiving the media data is operative to receive the media data as light energy. 前記メディアデータを受信する前記手段が、前記メディアデータを磁気エネルギとして受信される、請求項24に記載のシステム。  25. The system of claim 24, wherein the means for receiving the media data is received as magnetic energy. 前記メディアデータを受信する前記手段が、前記メディアデータを電気エネルギとして受信される、請求項24に記載のシステム。  25. The system of claim 24, wherein the means for receiving the media data is received as electrical energy. 前記処理手段が、前記付随的コードを検出するために周波数ドメインデータを処理する手段を含む、請求項23に記載のシステム。  24. The system of claim 23, wherein the processing means includes means for processing frequency domain data to detect the accompanying code. 前記処理手段が、所定の周波数にある前記付随的コードの成分を検出するために前記周波数ドメインデータを処理するように動作する、請求項36に記載のシステム。  37. The system of claim 36, wherein the processing means is operative to process the frequency domain data to detect a component of the accompanying code at a predetermined frequency. 前記処理手段が、周波数ホッピングパターンに従って分布されている前記付随的コードの成分を検出するために前記周波数ドメインデータを処理するように動作する、請求項36に記載のシステム。  The system of claim 36, wherein the processing means is operative to process the frequency domain data to detect components of the incidental code that are distributed according to a frequency hopping pattern. 前記処理手段が、情報をエンコーディングするために振幅を修正された付随的コード周波数成分の対を検出するように動作する、請求項38項に記載のシステム。  39. The system of claim 38, wherein the processing means is operative to detect an associated code frequency component pair whose amplitude has been modified to encode information. 前記処理手段が、情報をエンコーディングするために位相を修正された付随的コード周波数成分の対を検出するように動作する、請求項38項に記載のシステム。  39. The system of claim 38, wherein the processing means is operative to detect a pair of accompanying code frequency components that are phase modified to encode information. 前記処理手段が、前記付随的コードをスペクトル拡散コードという形態で検出するように動作する、請求項23に記載のシステム。  24. The system of claim 23, wherein the processing means is operative to detect the incidental code in the form of a spread spectrum code. ユーザのロケーションのところで受信されたメディアデータの使用を測定する方法であり、前記メディアデータが包括的画像又は包括的音声として再生可能であり、前記方法が:A method of measuring use of media data received at a user location, wherein the media data can be played back as a comprehensive image or a comprehensive sound, the method comprising:
前記ユーザのロケーションから遠隔の地に置かれた処理システムのところでデータセットを受信するステップであり、前記データセットが、前記メディアデータを識別するためのシグネチャを形成するに十分なデータを含む一方、前記包括的画像又は前記包括的音声を再生するために必要とされるデータを除外するものである、前記ステップと;Receiving a data set at a processing system located remote from the user's location, wherein the data set includes sufficient data to form a signature for identifying the media data; Said step, which excludes data required to play said comprehensive image or said comprehensive audio;
前記遠隔地に置かれた処理システムのところで、前記メディアデータを特徴付けるシグネチャを生成して、前記生成されたシグネチャを、前記メディアデータの識別データと関連する基準シグネチャとマッチングさせるステップと;Generating a signature characterizing the media data at a processing system located at the remote location and matching the generated signature with a reference signature associated with identification data of the media data;
を含む前記方法。Including said method.
前記メディアデータを、前記ユーザのロケーションのところで監視用デバイスに受信するステップと;Receiving the media data at a monitoring device at the user's location;
前記監視用デバイス中の前記データセットを前記メディアデータから形成するステップと;Forming the data set in the monitoring device from the media data;
前記データセットを前記ユーザのロケーションから前記遠隔地に置かれた処理システムに通信するステップと;Communicating the data set from the user's location to a processing system located at the remote location;
を更に含む、請求項42に記載の方法。43. The method of claim 42, further comprising:
前記データセットを形成する前記ステップが、前記受信されたメディアデータの少なくともある部分を周波数ドメインデータに変換するステップを含む、請求項43に記載の方法。44. The method of claim 43, wherein the step of forming the data set comprises converting at least some portion of the received media data into frequency domain data. 前記データセットが、時間ドメイン情報を表すデータを含む、請求項43に記載の方法。44. The method of claim 43, wherein the data set includes data representing time domain information. 前記時間ドメインデータが、前記メディアデータの周波数範囲より狭い周波数範囲からのデータを含む、請求項45に記載の方法。46. The method of claim 45, wherein the time domain data includes data from a frequency range that is narrower than a frequency range of the media data. 前記データセットが、位相情報を表すデータを含む、請求項43に記載の方法。44. The method of claim 43, wherein the data set includes data representing phase information. 前記メディアデータが、オーディオデータまたはビデオデータを含む、請求項43に記載の方法。44. The method of claim 43, wherein the media data comprises audio data or video data. 前記メディアデータが、音響エネルギ、電磁エネルギ、光エネルギ、磁気エネルギまたは電気エネルギとして受信される、請求項43に記載の方法。44. The method of claim 43, wherein the media data is received as acoustic energy, electromagnetic energy, light energy, magnetic energy, or electrical energy. メディアデータを受信する前記ステップが、ユーザである人物が持ち運び可能な携帯式監視用デバイス中にメディアデータを受信するステップを含む、請求項43に記載の方法。44. The method of claim 43, wherein the step of receiving media data comprises receiving media data in a portable monitoring device that can be carried by a user person. ユーザのロケーションのところで受信されたメディアデータの使用を測定するシステムであり、前記メディアデータが包括的画像又は包括的音声として再生可能であり、前記システムが:A system for measuring the use of media data received at a user's location, wherein the media data can be played back as a comprehensive image or a comprehensive sound, the system comprising:
前記ユーザのロケーションから遠隔の地に置かれた処理システムのところでデータセットを受信する手段であり、前記データセットが、前記メディアデータを識別するためのシグネチャを形成するに十分なデータを含む一方、前記包括的画像又は前記包括的音声を再生するために必要とされるデータを除外するものである、前記手段と;Means for receiving a data set at a processing system located remote from the user's location, wherein the data set includes sufficient data to form a signature for identifying the media data; Said means for excluding data required to reproduce said comprehensive image or said comprehensive audio;
前記メディアデータを特徴付けるシグネチャを生成して、前記生成されたシグネチャを、前記メディアデータの識別データと関連する基準シグネチャとマッチングさせるため、前記遠隔地に置かれた処理システムのところに配置された処理手段と;A process located at a processing system located at the remote location to generate a signature characterizing the media data and to match the generated signature with a reference signature associated with the identification data of the media data Means;
を備える前記システム。The system comprising:
前記メディアデータを、前記ユーザのロケーションのところで受信する手段と;
前記メディアデータから前記データセットを前記ユーザのロケーションのところで形成する手段と;
記データセットを前記ユーザのロケーションから前記遠隔地に置かれた処理システムに通信する手段と;
を更に備える、請求項51に記載のシステム。
Means for receiving the media data at the user's location;
Means for forming the data set from the media data at the user's location;
It means for communicating a pre-Symbol dataset processing system placed in the remote from the location of said user;
52. The system of claim 51, further comprising:
前記データセットを形成する前記手段が、前記受信されたメディアデータの少なくともある部分を周波数ドメインデータに変換するように動作する、請求項52に記載のシステム。53. The system of claim 52, wherein the means for forming the data set is operative to convert at least some portion of the received media data into frequency domain data. 前記データセットを形成する前記手段が、時間ドメイン情報を表すデータを含むように動作する、請求項52に記載のシステム。53. The system of claim 52, wherein the means for forming the data set is operative to include data representing time domain information. 前記データセットを形成する前記手段が、前記時間ドメインデータを、前記メディアデータの周波数範囲より狭い周波数範囲から選択するように動作する、請求項54に記載のシステム。55. The system of claim 54, wherein the means for forming the data set is operative to select the time domain data from a frequency range that is narrower than a frequency range of the media data. 前記データセットを形成する前記手段が、位相情報を表すデータを含むように動作する、請求項52に記載のシステム。53. The system of claim 52, wherein the means for forming the data set is operative to include data representing phase information. 前記メディアデータを受信する前記手段が、前記メディアデータを音響エネルギ、電磁エネルギ、光エネルギ、磁気エネルギまたは電気エネルギとして受信するように動作する、請求項52に記載のシステム。53. The system of claim 52, wherein the means for receiving the media data is operative to receive the media data as acoustic energy, electromagnetic energy, light energy, magnetic energy, or electrical energy. ユーザのロケーションのところで受信されたメディアデータの使用を測定する方法であり、前記メディアデータが包括的画像又は包括的音声として再生可能であり、前記方法が:A method of measuring use of media data received at a user location, wherein the media data can be played back as a comprehensive image or a comprehensive sound, the method comprising:
前記ユーザのロケーションから遠隔の地に置かれた処理システムのところでデータセットを受信するステップであり、前記データセットは、付随的コードが前記メディアデータ中に存在するとしたら、その付随的コードをデコーディングするに十分な、又は、前記メディアデータを識別するためのシグネチャを形成するに十分なデータを含む一方、前記包括的画像又は前記包括的音声を再生するために必要とされるデータを除外するものである、前記ステップと;Receiving a data set at a processing system located remote from the user's location, the data set decoding the ancillary code if ancillary code is present in the media data; Including sufficient data to form a signature to identify the media data, while excluding data required to play the comprehensive image or the comprehensive audio And said step;
前記遠隔地に置かれた処理システムのところで:At the processing system located at the remote location:
前記付随的コードが前記データセット中に存在するとしたら、前記付随的コードを検出するために、前記データセットを処理するステップと、付随的コードが前記データセット中に検出されない場合には、前記メディアデータを特徴付けるシグネチャを生成して、前記生成されたシグネチャを、前記メディアデータの識別データと関連する基準シグネチャとマッチングさせるステップと;If the ancillary code is present in the data set, processing the data set to detect the ancillary code; and if the ancillary code is not detected in the data set, the media Generating a signature characterizing data and matching the generated signature with a reference signature associated with identification data of the media data;
を含む前記方法。Including said method.
前記メディアデータを、前記ユーザのロケーションのところで監視用デバイスに受信するステップと;Receiving the media data at a monitoring device at the user's location;
前記監視用デバイス中の前記データセットを前記メディアデータから形成するステップと;Forming the data set in the monitoring device from the media data;
前記データセットを前記ユーザのロケーションから前記遠隔地に置かれた処理システムに通信するステップと;Communicating the data set from the user's location to a processing system located at the remote location;
を更に含む、請求項58に記載の方法。59. The method of claim 58, further comprising:
前記データセットを形成する前記ステップが、前記受信されたメディアデータの少なくともある部分を周波数ドメインデータに変換するステップを含む、請求項59に記載の方法。60. The method of claim 59, wherein the step of forming the data set comprises converting at least some portion of the received media data into frequency domain data. 前記データセットが、時間ドメイン情報を表すデータを含む、請求項59に記載の方法。60. The method of claim 59, wherein the data set includes data representing time domain information. 前記時間ドメインデータが、前記メディアデータの周波数範囲より狭い周波数範囲からのデータを含む、請求項61に記載の方法。62. The method of claim 61, wherein the time domain data includes data from a frequency range that is narrower than a frequency range of the media data. 前記データセットが、位相情報を表すデータを含む、請求項59に記載の方法。60. The method of claim 59, wherein the data set includes data representing phase information. 前記メディアデータが、オーディオデータまたはビデオデータを含む、請求項59に記載の方法。60. The method of claim 59, wherein the media data comprises audio data or video data. 前記メディアデータが、音響エネルギ、電磁エネルギ、光エネルギ、磁気エネルギまたは電気エネルギとして受信される、請求項59に記載の方法。60. The method of claim 59, wherein the media data is received as acoustic energy, electromagnetic energy, light energy, magnetic energy or electrical energy. メディアデータを受信する前記ステップが、ユーザである人物が持ち運び可能な携帯式監視用デバイス中にメディアデータを受信するステップを含む、請求項59に記載の方法。60. The method of claim 59, wherein the step of receiving media data comprises receiving media data in a portable monitoring device that can be carried by a user person. ユーザのロケーションのところで受信されたメディアデータの使用を測定するシステムであり、前記メディアデータが包括的画像又は包括的音声として再生可能であり、前記システムが:A system for measuring the use of media data received at a user's location, wherein the media data can be played back as a comprehensive image or a comprehensive sound, the system comprising:
前記ユーザのロケーションから遠隔の地に置かれた処理システムのところでデータセットを受信する手段であり、前記データセットは、付随的コードが前記メディアデータ中に存在するとしたら、その付随的コードをデコーディングするに十分な、又は、前記メディアデータを識別するためのシグネチャを形成するに十分なデータを含む一方、前記包括的画像又は前記包括的音声を再生するために必要とされるデータを除外するものである、前記手段と;Means for receiving a data set at a processing system located at a location remote from the user location, wherein the data set decodes the ancillary code if ancillary code is present in the media data; Including sufficient data to form a signature to identify the media data, while excluding data required to play the comprehensive image or the comprehensive audio And said means;
前記遠隔地に置かれた処理システムのところに配置された処理手段であって、この処理手段は、前記付随的コードが前記データセット中に存在するとしたら、前記付随的コードを検出するために、前記データセットを処理し、付随的コードが前記データセット中に検出されない場合には、前記メディアデータを特徴付けるシグネチャを生成して、前記生成されたシグネチャを、前記メディアデータの識別データと関連する基準シグネチャとマッチングさせる、前記処理手段と;Processing means located at a processing system located at the remote location, wherein the processing means detects the ancillary code if the ancillary code is present in the data set; If the data set is processed and no accompanying code is detected in the data set, a signature characterizing the media data is generated, and the generated signature is used as a criterion associated with the identification data of the media data. Said processing means for matching with a signature;
を備える前記システム。The system comprising:
前記メディアデータを、前記ユーザのロケーションのところで受信する手段と;
前記メディアデータから前記データセットを前記ユーザのロケーションのところで形成する手段と;
記データセットを前記ユーザのロケーションから前記遠隔地に置かれた処理システムに通信する手段と;
を更に備える、請求項67に記載のシステム。
Means for receiving the media data at the user's location;
Means for forming the data set from the media data at the user's location;
It means for communicating a pre-Symbol dataset processing system placed in the remote from the location of said user;
68. The system of claim 67, further comprising:
前記データセットを形成する前記手段が、前記受信されたメディアデータの少なくともある部分を周波数ドメインデータに変換するように動作する、請求項68に記載のシステム。69. The system of claim 68, wherein the means for forming the data set is operative to convert at least some portion of the received media data into frequency domain data. 前記データセットを形成する前記手段が、時間ドメイン情報を表すデータを含むように動作する、請求項68に記載のシステム。69. The system of claim 68, wherein the means for forming the data set is operative to include data representing time domain information. 前記データセットを形成する前記手段が、前記時間ドメインデータを、前記メディアデータの周波数範囲より狭い周波数範囲から選択するように動作する、請求項70に記載のシステム。The system of claim 70, wherein the means for forming the data set is operative to select the time domain data from a frequency range that is narrower than a frequency range of the media data. 前記データセットを形成する前記手段が、位相情報を表すデータを含むように動作する、請求項68に記載のシステム。69. The system of claim 68, wherein the means for forming the data set is operative to include data representing phase information. 前記メディアデータを受信する前記手段が、前記メディアデータを音響エネルギ、電磁エネルギ、光エネルギ、磁気エネルギまたは電気エネルギとして受信するように動作する、請求項68に記載のシステム。69. The system of claim 68, wherein the means for receiving the media data is operative to receive the media data as acoustic energy, electromagnetic energy, light energy, magnetic energy, or electrical energy.
JP2003509778A 2001-06-29 2002-06-25 Measurement of media data usage by remote decoding / pattern matching Expired - Lifetime JP4392495B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/896,246 US8572640B2 (en) 2001-06-29 2001-06-29 Media data use measurement with remote decoding/pattern matching
PCT/US2002/020000 WO2003003741A1 (en) 2001-06-29 2002-06-25 Media data use measurement with remote decoding/pattern matching

Publications (3)

Publication Number Publication Date
JP2004531996A JP2004531996A (en) 2004-10-14
JP2004531996A5 JP2004531996A5 (en) 2006-08-10
JP4392495B2 true JP4392495B2 (en) 2010-01-06

Family

ID=25405876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003509778A Expired - Lifetime JP4392495B2 (en) 2001-06-29 2002-06-25 Measurement of media data usage by remote decoding / pattern matching

Country Status (17)

Country Link
US (1) US8572640B2 (en)
EP (1) EP1410635A1 (en)
JP (1) JP4392495B2 (en)
KR (1) KR20040011562A (en)
CN (1) CN100375523C (en)
AU (1) AU2002312579B2 (en)
BR (1) BR0210625A (en)
CA (1) CA2451819A1 (en)
DE (1) DE10297031T5 (en)
GB (1) GB2396467B (en)
HK (1) HK1071003A1 (en)
IL (2) IL159372A0 (en)
MX (1) MXPA03011967A (en)
NO (1) NO20035795L (en)
PL (1) PL367449A1 (en)
WO (1) WO2003003741A1 (en)
ZA (1) ZA200309919B (en)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6871180B1 (en) 1999-05-25 2005-03-22 Arbitron Inc. Decoding of information in audio signals
US20020049967A1 (en) * 2000-07-01 2002-04-25 Haseltine Eric C. Processes for exploiting electronic tokens to increase broadcasting revenue
US20050086697A1 (en) * 2001-07-02 2005-04-21 Haseltine Eric C. Processes for exploiting electronic tokens to increase broadcasting revenue
US20030066089A1 (en) * 2001-09-28 2003-04-03 David Andersen Trigger mechanism for sync-to-broadcast web content
US20030131350A1 (en) 2002-01-08 2003-07-10 Peiffer John C. Method and apparatus for identifying a digital audio signal
MXPA04010349A (en) * 2002-04-22 2005-06-08 Nielsen Media Res Inc Methods and apparatus to collect audience information associated with a media presentation.
US7933945B2 (en) * 2002-06-27 2011-04-26 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US8116889B2 (en) * 2002-06-27 2012-02-14 Openpeak Inc. Method, system, and computer program product for managing controlled residential or non-residential environments
US20130138231A1 (en) * 2011-11-30 2013-05-30 Arbitron, Inc. Apparatus, system and method for activating functions in processing devices using encoded audio
US8959016B2 (en) 2002-09-27 2015-02-17 The Nielsen Company (Us), Llc Activating functions in processing devices using start codes embedded in audio
US7222071B2 (en) * 2002-09-27 2007-05-22 Arbitron Inc. Audio data receipt/exposure measurement with code monitoring and signature extraction
US9711153B2 (en) 2002-09-27 2017-07-18 The Nielsen Company (Us), Llc Activating functions in processing devices using encoded audio and detecting audio signatures
US7987489B2 (en) 2003-01-07 2011-07-26 Openpeak Inc. Legacy device bridge for residential or non-residential networks
EP2456104A1 (en) 2003-02-10 2012-05-23 Nielsen Media Research, Inc. Methods and apparatus to adaptively gather audience measurement data
AU2003249319A1 (en) * 2003-06-20 2005-01-28 Nielsen Media Research, Inc Signature-based program identification apparatus and methods for use with digital broadcast systems
WO2005032144A1 (en) * 2003-08-29 2005-04-07 Nielsen Media Research, Inc. Methods and apparatus to measure media consumption
CA2540575C (en) * 2003-09-12 2013-12-17 Kevin Deng Digital video signature apparatus and methods for use with video program identification systems
TWI377806B (en) 2003-10-17 2012-11-21 Nielsen Media Res Inc Portable multi-purpose audience measurement system
WO2005041109A2 (en) * 2003-10-17 2005-05-06 Nielsen Media Research, Inc. Methods and apparatus for identifiying audio/video content using temporal signal characteristics
CA2556553A1 (en) * 2004-02-18 2005-09-01 Nielsen Media Research, Inc. Methods and apparatus to determine audience viewing of video-on-demand programs
US8229469B2 (en) 2004-03-15 2012-07-24 Arbitron Inc. Methods and systems for mapping locations of wireless transmitters for use in gathering market research data
US20050203798A1 (en) * 2004-03-15 2005-09-15 Jensen James M. Methods and systems for gathering market research data
US7463143B2 (en) * 2004-03-15 2008-12-09 Arbioran Methods and systems for gathering market research data within commercial establishments
US7420464B2 (en) * 2004-03-15 2008-09-02 Arbitron, Inc. Methods and systems for gathering market research data inside and outside commercial establishments
EP1776688B1 (en) * 2004-03-19 2013-05-08 Arbitron Inc. Gathering data concerning publication usage
US7483975B2 (en) * 2004-03-26 2009-01-27 Arbitron, Inc. Systems and methods for gathering data concerning usage of media data
US8738763B2 (en) 2004-03-26 2014-05-27 The Nielsen Company (Us), Llc Research data gathering with a portable monitor and a stationary device
US8135606B2 (en) 2004-04-15 2012-03-13 Arbitron, Inc. Gathering data concerning publication usage and exposure to products and/or presence in commercial establishment
CA2933668C (en) * 2004-04-23 2019-01-08 The Nielsen Company (Us), Llc Methods and apparatus to maintain audience privacy while determining viewing of video-on-demand programs
US20060015891A1 (en) * 2004-07-13 2006-01-19 Lazzaro Michael J Television audience reporting system and method
WO2006023770A2 (en) * 2004-08-18 2006-03-02 Nielsen Media Research, Inc. Methods and apparatus for generating signatures
US20060085812A1 (en) * 2004-10-15 2006-04-20 Shishegar Ahmad R Method for monitoring television usage
EP3591864B1 (en) * 2004-11-22 2022-04-27 Nielsen Media Research, Inc. Apparatus and method to identify a media time shift
CN103000210A (en) 2005-10-21 2013-03-27 尼尔逊媒介研究股份有限公司 Methods and apparatus for metering portable media players
US7688686B2 (en) * 2005-10-27 2010-03-30 Microsoft Corporation Enhanced table of contents (TOC) identifiers
US9015740B2 (en) 2005-12-12 2015-04-21 The Nielsen Company (Us), Llc Systems and methods to wirelessly meter audio/visual devices
US7740179B2 (en) * 2005-12-15 2010-06-22 Mediamark Research, Inc. System and method for RFID-based printed media reading activity data acquisition and analysis
US7959086B2 (en) * 2005-12-15 2011-06-14 Gfk Mediamark Research & Intelligence, Llc System and method for RFID-based printed media reading activity data acquisition and analysis
CA2634706A1 (en) * 2005-12-20 2007-06-28 Arbitron Inc. Methods and systems for conducting research operations
US8254308B1 (en) * 2006-01-05 2012-08-28 Sprint Spectrum L.P. Method and system for acoustically triggering electronic coupon retrieval
CA2841017C (en) 2006-03-27 2016-12-20 The Nielsen Company (Us), Llc Methods and systems to meter media content presented on a wireless communication device
MX2007015979A (en) 2006-03-31 2009-04-07 Nielsen Media Res Inc Methods, systems, and apparatus for multi-purpose metering.
WO2007143394A2 (en) * 2006-06-02 2007-12-13 Nielsen Media Research, Inc. Digital rights management systems and methods for audience measurement
CN103593562A (en) 2006-07-12 2014-02-19 奥比融公司 Methods and systems for compliance confirmation and incentives
WO2008103738A2 (en) * 2007-02-20 2008-08-28 Nielsen Media Research, Inc. Methods and apparatus for characterizing media
WO2008137385A2 (en) * 2007-05-02 2008-11-13 Nielsen Media Research, Inc. Methods and apparatus for generating signatures
AU2008321318B2 (en) 2007-11-12 2012-11-01 The Nielsen Company (Us), Llc Methods and apparatus to perform audio watermarking and watermark detection and extraction
US8930003B2 (en) 2007-12-31 2015-01-06 The Nielsen Company (Us), Llc Data capture bridge
AU2008347134A1 (en) 2007-12-31 2009-07-16 Arbitron, Inc. Survey data acquisition
US8457951B2 (en) * 2008-01-29 2013-06-04 The Nielsen Company (Us), Llc Methods and apparatus for performing variable black length watermarking of media
US8600531B2 (en) * 2008-03-05 2013-12-03 The Nielsen Company (Us), Llc Methods and apparatus for generating signatures
US8503991B2 (en) * 2008-04-03 2013-08-06 The Nielsen Company (Us), Llc Methods and apparatus to monitor mobile devices
US8843948B2 (en) * 2008-09-19 2014-09-23 The Nielsen Company (Us), Llc Methods and apparatus to detect carrying of a portable audience measurement device
US8040237B2 (en) * 2008-10-29 2011-10-18 The Nielsen Company (Us), Llc Methods and apparatus to detect carrying of a portable audience measurement device
US9124769B2 (en) 2008-10-31 2015-09-01 The Nielsen Company (Us), Llc Methods and apparatus to verify presentation of media content
CN102239364A (en) * 2008-11-25 2011-11-09 Utc消防及保安公司 Automated setup process for metered combustion control systems
US10008212B2 (en) * 2009-04-17 2018-06-26 The Nielsen Company (Us), Llc System and method for utilizing audio encoding for measuring media exposure with environmental masking
US20100268573A1 (en) * 2009-04-17 2010-10-21 Anand Jain System and method for utilizing supplemental audio beaconing in audience measurement
TR200905642A1 (en) * 2009-07-21 2011-02-21 Türkcell İleti̇şi̇m.Hi̇zmetleri̇ Anoni̇m Şi̇rketi̇ A tracking measurement system.
US20110137733A1 (en) * 2009-12-08 2011-06-09 Mpire Corporation Methods for capturing and reporting metrics regarding ad placement
US8713593B2 (en) * 2010-03-01 2014-04-29 Zazum, Inc. Detection system and method for mobile device application
US8826312B2 (en) * 2010-04-26 2014-09-02 Cox Communications, Inc. Broadcast remote control
US8307006B2 (en) 2010-06-30 2012-11-06 The Nielsen Company (Us), Llc Methods and apparatus to obtain anonymous audience measurement data from network server data for particular demographic and usage profiles
KR101044985B1 (en) * 2010-12-27 2011-06-29 박기주 Led fluorescent lamp
US8315620B1 (en) 2011-05-27 2012-11-20 The Nielsen Company (Us), Llc Methods and apparatus to associate a mobile device with a panelist profile
US8538333B2 (en) 2011-12-16 2013-09-17 Arbitron Inc. Media exposure linking utilizing bluetooth signal characteristics
US8977194B2 (en) * 2011-12-16 2015-03-10 The Nielsen Company (Us), Llc Media exposure and verification utilizing inductive coupling
US9210467B2 (en) * 2012-02-07 2015-12-08 Turner Broadcasting System, Inc. Method and system for a universal remote control
US9219559B2 (en) 2012-05-16 2015-12-22 The Nielsen Company (Us), Llc Methods and systems for audience measurement
US9282366B2 (en) 2012-08-13 2016-03-08 The Nielsen Company (Us), Llc Methods and apparatus to communicate audience measurement information
US8769557B1 (en) 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
US9325381B2 (en) 2013-03-15 2016-04-26 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to monitor mobile devices
US9426525B2 (en) 2013-12-31 2016-08-23 The Nielsen Company (Us), Llc. Methods and apparatus to count people in an audience
US9699499B2 (en) 2014-04-30 2017-07-04 The Nielsen Company (Us), Llc Methods and apparatus to measure exposure to streaming media
US9551588B2 (en) 2014-08-29 2017-01-24 The Nielsen Company, LLC Methods and systems to determine consumer locations based on navigational voice cues
US10891971B2 (en) 2018-06-04 2021-01-12 The Nielsen Company (Us), Llc Methods and apparatus to dynamically generate audio signatures adaptive to circumstances associated with media being monitored

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3919479A (en) 1972-09-21 1975-11-11 First National Bank Of Boston Broadcast signal identification system
US4025851A (en) 1975-11-28 1977-05-24 A.C. Nielsen Company Automatic monitor for programs broadcast
US4230990C1 (en) 1979-03-16 2002-04-09 John G Lert Jr Broadcast program identification method and system
US4697209A (en) 1984-04-26 1987-09-29 A. C. Nielsen Company Methods and apparatus for automatically identifying programs viewed or recorded
US4739398A (en) 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
DE3720882A1 (en) 1987-06-24 1989-01-05 Media Control Musik Medien METHOD AND CIRCUIT ARRANGEMENT FOR THE AUTOMATIC RECOGNITION OF SIGNAL SEQUENCES
US4843562A (en) 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
US4945412A (en) 1988-06-14 1990-07-31 Kramer Robert A Method of and system for identification and verification of broadcasting television and radio program segments
US4955070A (en) 1988-06-29 1990-09-04 Viewfacts, Inc. Apparatus and method for automatically monitoring broadcast band listening habits
US5023929A (en) 1988-09-15 1991-06-11 Npd Research, Inc. Audio frequency based market survey method
ATE138238T1 (en) 1991-01-08 1996-06-15 Dolby Lab Licensing Corp ENCODER/DECODER FOR MULTI-DIMENSIONAL SOUND FIELDS
FR2681997A1 (en) 1991-09-30 1993-04-02 Arbitron Cy METHOD AND DEVICE FOR AUTOMATICALLY IDENTIFYING A PROGRAM COMPRISING A SOUND SIGNAL
US5319735A (en) 1991-12-17 1994-06-07 Bolt Beranek And Newman Inc. Embedded signalling
US5436653A (en) 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
GB9221678D0 (en) 1992-10-15 1992-11-25 Taylor Nelson Group Limited Identifying a received programme stream
FR2711666B1 (en) 1993-10-26 1996-02-09 Lafarge Nouveaux Materiaux Adhesive compositions based on aqueous dispersions of synthetic resins and their use for bonding wall or floor coverings.
DK0688487T3 (en) 1992-11-16 2005-01-31 Arbitron Inc Method and apparatus for encoding / decoding broadcast or recorded segments and monitoring public exposure thereto
CA2106143C (en) 1992-11-25 2004-02-24 William L. Thomas Universal broadcast code and multi-level encoded signal monitoring system
US5483276A (en) 1993-08-02 1996-01-09 The Arbitron Company Compliance incentives for audience monitoring/recording devices
US5481294A (en) 1993-10-27 1996-01-02 A. C. Nielsen Company Audience measurement system utilizing ancillary codes and passive signatures
US6122403A (en) 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
HU0004768D0 (en) 1994-03-31 2001-02-28 Arbitron Co
US5450490A (en) 1994-03-31 1995-09-12 The Arbitron Company Apparatus and methods for including codes in audio signals and decoding
US5526427A (en) 1994-07-22 1996-06-11 A.C. Nielsen Company Universal broadcast code and multi-level encoded signal monitoring system
US5737025A (en) 1995-02-28 1998-04-07 Nielsen Media Research, Inc. Co-channel transmission of program signals and ancillary signals
US5737026A (en) 1995-02-28 1998-04-07 Nielsen Media Research, Inc. Video and data co-channel communication system
US5774452A (en) 1995-03-14 1998-06-30 Aris Technologies, Inc. Apparatus and method for encoding and decoding information in audio signals
US5822360A (en) 1995-09-06 1998-10-13 Solana Technology Development Corporation Method and apparatus for transporting auxiliary data in audio signals
US6154484A (en) 1995-09-06 2000-11-28 Solana Technology Development Corporation Method and apparatus for embedding auxiliary data in a primary data signal using frequency and time domain processing
US5937000A (en) 1995-09-06 1999-08-10 Solana Technology Development Corporation Method and apparatus for embedding auxiliary data in a primary data signal
US5850249A (en) 1995-10-12 1998-12-15 Nielsen Media Research, Inc. Receiver monitoring system with local encoding
US5872588A (en) 1995-12-06 1999-02-16 International Business Machines Corporation Method and apparatus for monitoring audio-visual materials presented to a subscriber
US6205249B1 (en) 1998-04-02 2001-03-20 Scott A. Moskowitz Multiple transform utilization and applications for secure digital watermarking
US5901178A (en) 1996-02-26 1999-05-04 Solana Technology Development Corporation Post-compression hidden data transport for video
US6035177A (en) 1996-02-26 2000-03-07 Donald W. Moses Simultaneous transmission of ancillary and audio signals by means of perceptual coding
US5828325A (en) 1996-04-03 1998-10-27 Aris Technologies, Inc. Apparatus and method for encoding and decoding information in analog signals
US6647548B1 (en) * 1996-09-06 2003-11-11 Nielsen Media Research, Inc. Coded/non-coded program audience measurement system
US7607147B1 (en) 1996-12-11 2009-10-20 The Nielsen Company (Us), Llc Interactive service device metering systems
US5940429A (en) 1997-02-25 1999-08-17 Solana Technology Development Corporation Cross-term compensation power adjustment of embedded auxiliary data in a primary data signal
US5940135A (en) 1997-05-19 1999-08-17 Aris Technologies, Inc. Apparatus and method for encoding and decoding information in analog signals
US5945932A (en) 1997-10-30 1999-08-31 Audiotrack Corporation Technique for embedding a code in an audio signal and for detecting the embedded code
US6208745B1 (en) 1997-12-30 2001-03-27 Sarnoff Corporation Method and apparatus for imbedding a watermark into a bitstream representation of a digital image sequence
US6198832B1 (en) 1998-01-09 2001-03-06 U.S. Philips Corporation Embedding and detecting a watermark in images
EP1043854B1 (en) 1998-05-12 2008-01-02 Nielsen Media Research, Inc. Audience measurement system for digital television
US6272176B1 (en) 1998-07-16 2001-08-07 Nielsen Media Research, Inc. Broadcast encoding system and method
EP1026526A1 (en) * 1999-02-02 2000-08-09 Corning Incorporated Athermalized polymer overclad integrated planar optical waveguide device and its manufacturing method
US6871180B1 (en) 1999-05-25 2005-03-22 Arbitron Inc. Decoding of information in audio signals
US7284255B1 (en) 1999-06-18 2007-10-16 Steven G. Apel Audience survey system, and system and methods for compressing and correlating audio signals

Also Published As

Publication number Publication date
ZA200309919B (en) 2004-09-27
IL159372A0 (en) 2004-06-01
GB2396467A (en) 2004-06-23
NO20035795L (en) 2004-02-25
CA2451819A1 (en) 2003-01-09
JP2004531996A (en) 2004-10-14
HK1071003A1 (en) 2005-06-30
US8572640B2 (en) 2013-10-29
IL159372A (en) 2009-07-20
WO2003003741A1 (en) 2003-01-09
AU2002312579B2 (en) 2006-12-14
GB0329324D0 (en) 2004-01-21
EP1410635A1 (en) 2004-04-21
US20030005430A1 (en) 2003-01-02
PL367449A1 (en) 2005-02-21
DE10297031T5 (en) 2004-11-11
CN100375523C (en) 2008-03-12
GB2396467A8 (en) 2006-04-13
GB2396467B (en) 2006-01-25
CN1543746A (en) 2004-11-03
KR20040011562A (en) 2004-02-05
MXPA03011967A (en) 2004-06-03
BR0210625A (en) 2004-08-10

Similar Documents

Publication Publication Date Title
JP4392495B2 (en) Measurement of media data usage by remote decoding / pattern matching
AU2002312579A1 (en) Media data use measurement with remote decoding/pattern matching
US10405050B2 (en) Methods and apparatus for monitoring video games
US8594340B2 (en) Transmitter
US7640141B2 (en) Systems and methods for gathering audience measurement data
US8959016B2 (en) Activating functions in processing devices using start codes embedded in audio
US9711153B2 (en) Activating functions in processing devices using encoded audio and detecting audio signatures
JP2010509685A (en) Survey data collection using portable monitors and installation equipment
WO2013102019A1 (en) Apparatus, system and method for activating functions in processing devices using encoded audio and audio signatures
US11670309B2 (en) Research data gathering

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060126

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060502

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20060502

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060502

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060801

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090917

R150 Certificate of patent or registration of utility model

Ref document number: 4392495

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121023

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131023

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term