JP5584506B2

JP5584506B2 - Information processing apparatus, information processing method, and program

Info

Publication number: JP5584506B2
Application number: JP2010082135A
Authority: JP
Inventors: 剛堂入鹿山; 文則杉野
Original assignee: NTT Docomo Inc; BEMAP Inc
Current assignee: NTT Docomo Inc; BEMAP Inc
Priority date: 2010-03-31
Filing date: 2010-03-31
Publication date: 2014-09-03
Anticipated expiration: 2030-03-31
Also published as: JP2011217051A

Description

本発明は、視聴者により視聴されている広告を特定する技術に関する。 The present invention relates to a technique for specifying an advertisement being viewed by a viewer.

視聴者により視聴されている広告に応じたコンテンツ（商品の割引に用いられるクーポン等）を提供する技術がある。特許文献１には、データ放送（ワンセグ等）のリンクのブックマークを登録すると、クーポン券を携帯端末に送ることが記載されている。 There is a technique for providing content (such as a coupon used for discounting a product) according to an advertisement being viewed by a viewer. Patent Document 1 describes that when a bookmark of a link of data broadcasting (such as one segment) is registered, a coupon is sent to the mobile terminal.

特開２００９−０７５９０７号公報JP 2009-075907 A

再生される放送から視聴者により視聴されている広告を特定する場合、放送の方式（例えばアナログ放送）、周囲の雑音、放送される広告の地域による違いなどの環境の影響で広告が特定できないことがある。例えば、特許文献１では、放送の方式がデジタル放送（ワンセグ放送）でなければ広告を特定できない。
そこで、本発明は、放送が再生される環境によらずに、視聴者により視聴されている広告を特定することを目的とする。 When specifying an advertisement being viewed by a viewer from a broadcast to be played, the advertisement cannot be specified due to the influence of the environment such as the broadcasting system (for example, analog broadcasting), ambient noise, and differences in the area of the advertisement being broadcast. There is. For example, in Patent Document 1, an advertisement cannot be specified unless the broadcasting system is digital broadcasting (one-segment broadcasting).
Accordingly, an object of the present invention is to specify an advertisement being viewed by a viewer regardless of an environment in which a broadcast is reproduced.

本発明に係る情報処理装置は、広告を含んで放送されている放送データであって、少なくとも音声を含む放送データをチャンネル毎に取得する放送取得手段と、前記放送データによる放送を視聴している視聴者により所定の操作が行われた通信端末であって、音声を音声信号に変換する収音手段を備える通信端末から、当該操作が行われた時刻と当該放送のチャンネルとが伝達されると、前記広告の音声の特徴点を表すデータである広告情報を複数の広告毎に記憶する記憶手段を用いて、前記放送取得手段により取得された放送データが表す音声のうち伝達された前記時刻及び前記チャンネルの音声が前記複数の広告のいずれに相当するか否かを特定する広告特定手段であって、前記放送取得手段により取得された放送データが表す音声の特徴点を解析する解析手段を有し、前記解析手段により解析された特徴点と前記広告情報の特徴点とを比較することにより前記広告を特定する広告特定手段と、前記広告特定手段による特定結果に応じたデータを出力する出力手段と、前記収音手段が音声を変換して得られる音声信号から取得される特徴点と前記放送データが表す音声の特徴点とを比較して、前記広告特定手段により特定された広告の確からしさを検証する検証手段とを備える構成を有する。 The information processing apparatus according to the present invention is broadcast data broadcast including advertisements, and broadcast acquisition means for acquiring broadcast data including at least sound for each channel, and viewing the broadcast by the broadcast data. When a time when the operation is performed and a channel of the broadcast are transmitted from a communication terminal that is operated by a viewer and has a sound collecting unit that converts sound into an audio signal. , Using the storage means for storing the advertisement information, which is data representing the feature points of the voice of the advertisement, for each of a plurality of advertisements, the time transmitted among the voice represented by the broadcast data acquired by the broadcast acquisition means, and a advertisement specifying means for audio of the channel to identify whether corresponding to any of said plurality of advertisements, especially of the sound broadcast data obtained by the broadcast acquisition means represents Having an analysis means for analyzing the point, and advertisement specifying means for specifying the advertisement by comparing the analyzed feature points and the feature point of the advertisement information by the analysis means, in particular result of the advertisement specifying means Output means for outputting corresponding data; and a feature point acquired from an audio signal obtained by converting the sound by the sound collection means with a feature point of the voice represented by the broadcast data, and the advertisement specifying means And a verification unit that verifies the likelihood of the advertisement specified by .

また、本発明に係る情報処理装置は、前記放送取得手段は、同一の前記チャンネルであって前記放送の内容が地域によって異なる複数の放送データを取得し、前記広告特定手段は、前記通信端末から、当該通信端末の位置を表す位置情報を前記時刻情報及び前記チャンネル情報とともに伝達されると、当該位置情報に基づいて前記地域を識別し、前記特定を行ってもよい。 Further, in the information processing apparatus according to the present invention, the broadcast acquisition unit acquires a plurality of broadcast data on the same channel and the content of the broadcast differs depending on a region, and the advertisement specifying unit receives the communication from the communication terminal. When the position information indicating the position of the communication terminal is transmitted together with the time information and the channel information, the local identified on the basis of the position information, it may perform the specific.

また、本発明に係る情報処理装置は、前記通信端末は音声を音声信号に変換する収音手段を備え、前記広告情報は、前記広告の音声の特徴点を表すデータであり、前記広告特定手段は、前記放送取得手段により取得された放送データが表す音声の特徴点を解析する解析手段を有し、前記解析手段により解析された特徴点と前記広告情報の特徴点とを比較することにより前記広告を特定し、前記収音手段が音声を変換して得られる音声信号から取得される特徴点と前記放送データが表す音声の特徴点とを比較して、前記広告特定手段により特定された広告の確からしさを検証する検証手段を備えていてもよい。 In the information processing apparatus according to the present invention, the communication terminal includes sound collection means for converting sound into an audio signal, and the advertisement information is data representing a feature point of sound of the advertisement, and the advertisement specifying means Comprises analysis means for analyzing the feature points of the sound represented by the broadcast data acquired by the broadcast acquisition means, and comparing the feature points analyzed by the analysis means with the feature points of the advertisement information The advertisement specified by the advertisement specifying means by comparing the feature points acquired from the audio signal obtained by converting the sound by the sound collection means and the feature points of the sound represented by the broadcast data. There may be provided verification means for verifying the certainty .

また、本発明に係る情報処理装置は、前記出力手段は、前記広告特定手段により広告が特定された場合に、当該広告に応じたコンテンツを前記通信端末に送信するためのデータを出力してもよい。 In the information processing apparatus according to the present invention, when the advertisement is specified by the advertisement specifying unit, the output unit may output data for transmitting content corresponding to the advertisement to the communication terminal. Good.

また、本発明に係る情報処理装置は、前記放送取得手段により取得された放送データに基づき前記広告情報を複数の広告毎に生成する生成手段を備えてもよい。 Moreover, the information processing apparatus according to the present invention may include a generation unit that generates the advertisement information for each of a plurality of advertisements based on the broadcast data acquired by the broadcast acquisition unit.

本発明に係る情報処理方法は、情報処理装置が、広告を含んで放送されている放送データであって、少なくとも音声を含む放送データをチャンネル毎に取得する放送取得ステップと、前記情報処理装置が、前記放送データによる放送を視聴している視聴者により所定の操作が行われた通信端末であって、音声を音声信号に変換する収音手段を備える通信端末から、当該操作が行われた時刻と当該放送のチャンネルとが伝達されると、前記広告の音声の特徴点を表すデータである広告情報を複数の広告毎に記憶する記憶手段を用いて、前記放送取得ステップにおいて取得された放送データが表す音声のうち伝達された前記時刻及び前記チャンネルの音声が前記複数の広告のいずれに相当するか否かを特定する広告特定ステップであって、前記放送取得ステップにおいて取得された放送データが表す音声の特徴点を解析する解析し、解析された特徴点と前記広告情報の特徴点とを比較することにより前記広告を特定する広告特定ステップと、前記情報処理装置が、前記広告特定ステップにおける特定結果に応じたデータを出力する出力ステップと、前記情報処理装置が、前記収音手段が音声を変換して得られる音声信号から取得される特徴点と前記放送データが表す音声の特徴点とを比較して、前記広告特定ステップにおいて特定された広告の確からしさを検証する検証ステップとを備えるものである。 An information processing method according to the present invention includes: a broadcast acquisition step in which an information processing device acquires broadcast data that is broadcast including advertisements and includes at least audio for each channel; and The time at which the operation is performed from the communication terminal in which a predetermined operation is performed by the viewer who is watching the broadcast by the broadcast data and includes sound collection means for converting sound into an audio signal. and when a channel of the broadcast is transmitted, by using a storage means for storing advertisement information is data indicating a feature point of the advertisement of the speech for each of a plurality of advertisements, broadcast data acquired in the broadcast acquisition step a advertisement specifying step of the time and the sound of the channel which is transmitted out of the speech to identify whether corresponding to any of said plurality of advertisements represented by the release Analyzing analyzes the feature points of the speech represented by the acquired broadcast data in obtaining step, and the advertisement specifying step of specifying the advertisement by comparing the feature point of the advertisement information and the feature point analyzed, the information An output step in which the processing device outputs data according to the identification result in the advertisement identification step; and the feature point acquired from the audio signal obtained by the sound collection means by converting the sound; A verification step of comparing the feature point of the voice represented by the broadcast data and verifying the probability of the advertisement specified in the advertisement specifying step .

本発明に係るプログラムは、コンピュータに、広告を含んで放送されている放送データであって、少なくとも音声を含む放送データをチャンネル毎に取得する放送取得ステップと、前記放送データによる放送を視聴している視聴者により所定の操作が行われた通信端末であって、音声を音声信号に変換する収音手段を備える通信端末から、当該操作が行われた時刻と当該放送のチャンネルとが伝達されると、前記広告の音声の特徴点を表すデータである広告情報を複数の広告毎に記憶する記憶手段を用いて、前記放送取得ステップにおいて取得された放送データが表す音声のうち伝達された前記時刻及び前記チャンネルの音声が前記複数の広告のいずれに相当するか否かを特定する広告特定ステップであって、前記放送取得ステップにおいて取得された放送データが表す音声の特徴点を解析し、解析された特徴点と前記広告情報の特徴点とを比較することにより前記広告を特定する広告特定ステップと、前記広告特定ステップにおける特定結果に応じたデータを出力する出力ステップと、前記収音手段が音声を変換して得られる音声信号から取得される特徴点と前記放送データが表す音声の特徴点とを比較して、前記広告特定ステップにおいて特定された広告の確からしさを検証する検証ステップとを実行させるためのものである。 The program according to the present invention is a broadcast data broadcast including advertisements to a computer, the broadcast acquisition step of acquiring broadcast data including at least sound for each channel, and viewing the broadcast by the broadcast data. A communication terminal in which a predetermined operation is performed by a viewer who is provided with sound collection means for converting sound into an audio signal transmits the time at which the operation was performed and the channel of the broadcast And the time transmitted from the sound represented by the broadcast data acquired in the broadcast acquisition step, using storage means for storing the advertisement information that is data representing the feature point of the sound of the advertisement for each of a plurality of advertisements and a advertisement specifying step of voice of the channel to identify whether corresponding to any of said plurality of advertisements in the broadcast acquisition step Obtained by analyzing the characteristic points of the sound broadcast data it represents, and the advertisement specifying step of specifying the advertisement by comparing the feature point of the advertisement information and feature point analysis, particular result in the advertisement specifying step An output step of outputting data corresponding to the sound, a feature point acquired from an audio signal obtained by converting the sound by the sound collection means and a feature point of the audio represented by the broadcast data, and comparing the advertisement And a verification step for verifying the likelihood of the advertisement specified in the step .

本発明によれば、放送が再生される環境によらずに、視聴者により視聴されている広告を特定することが可能である。 According to the present invention, it is possible to specify an advertisement being viewed by a viewer regardless of an environment in which a broadcast is reproduced.

実施形態に係る広告特定システムの構成を示すブロック図The block diagram which shows the structure of the advertisement specific system which concerns on embodiment 各放送局により送信される放送データを説明する模式図Schematic diagram explaining broadcast data transmitted by each broadcasting station 通信端末の構成を示すブロック図Block diagram showing configuration of communication terminal サーバ装置の構成を示すブロック図Block diagram showing the configuration of the server device サーバ装置の制御部の機能的構成を示すブロック図The block diagram which shows the functional structure of the control part of a server apparatus 広告特定システムが番組を特定する処理の一例を示すシーケンスチャートSequence chart showing an example of processing in which the advertisement identification system identifies a program 通信端末に表示される画面の一例Example of screen displayed on communication terminal 変形例３に係る広告特定システムの構成を示すブロック図The block diagram which shows the structure of the advertisement specific system which concerns on the modification 3.

［実施形態］
図１は、本発明の一実施形態である広告特定システム１０の構成を示すブロック図である。図１に示すように、本実施形態の広告特定システム１０は、サーバ装置１００と、通信端末２００と、広告情報データベース３００と、コンテンツデータベース４００と、ＮＴＰ（Network Time Protocol）サーバ５００と、受像機６００と、複数の放送局７００とを備える。 [Embodiment]
FIG. 1 is a block diagram showing a configuration of an advertisement specifying system 10 according to an embodiment of the present invention. As shown in FIG. 1, the advertisement specifying system 10 of this embodiment includes a server device 100, a communication terminal 200, an advertisement information database 300, a content database 400, an NTP (Network Time Protocol) server 500, and a receiver. 600 and a plurality of broadcasting stations 700.

本実施形態において、各放送局７００は、テレビジョン放送によって広告及び番組をそれぞれ放送する。ここにおいて、「広告」とは、広告を提供する者が商品やサービスなどを宣伝するための放送をいう。以下においては、広告を提供する者を「広告者」という。また、広告特定システム１０においては、番組以外の放送を広告というものとする。ただし、番組の中には商品やサービスの宣伝が含まれている場合があり、この場合はその宣伝の時間を広告とみなしてもよい。各放送局７００は、広告及び番組の音声や映像などを示す放送データをそれぞれ送信する。各放送局７００には、決められた番号がチャンネルとして割り当てられている。ここにおいて、「チャンネル」とは、放送に用いられる周波数帯域に付けられた番号など、各放送局７００のそれぞれを区別するための番号をいう。 In this embodiment, each broadcasting station 700 broadcasts advertisements and programs by television broadcasting. Here, “advertisement” refers to a broadcast for a person who provides an advertisement to advertise a product or service. In the following, a person who provides an advertisement is referred to as an “advertiser”. In the advertisement specifying system 10, broadcasts other than programs are referred to as advertisements. However, the program may include advertisements for products and services, and in this case, the advertisement time may be regarded as an advertisement. Each broadcast station 700 transmits broadcast data indicating advertisements, audio and video of programs, and the like. Each broadcasting station 700 is assigned a predetermined number as a channel. Here, “channel” refers to a number for distinguishing each broadcasting station 700, such as a number assigned to a frequency band used for broadcasting.

図２は、各放送局７００により送信される放送データを説明する模式図である。図２では、横方向に時間の流れを表し、ある放送局７００が地域Ｘ、Ｙ、Ｚでそれぞれ送信する放送データの一例を示している。この放送局７００には、チャンネルの番号として“５”が割り当てられている。各放送データは、広告を表す広告データ及び番組を表す番組データが放送される順番に並んで構成されている。図２の例では、この放送局７００は、番組データα、βを含んだ放送データを送信している。放送局７００は、地域により異なる広告者が提供する広告を放送し、又は同じ番組を異なる時刻に放送する場合がある。例えば、この放送局７００は、地域Ｘでは広告データＡ、Ｂ、Ｃを、地域Ｙでは広告データＤ、Ｅを、及び地域Ｚでは広告データＦ、Ｇを含む放送データを送信している。また、この放送局７００は、地域Ｚでは、地域Ｘ、Ｙとは異なる時刻に番組データαを送信している。このように、各放送局７００により放送される内容は、時刻及び地域によって決まるものである。このように、同じチャンネルの放送局７００により同じ時刻に放送される放送データであっても、放送される広告や番組が異なる場合がある。 FIG. 2 is a schematic diagram for explaining broadcast data transmitted by each broadcast station 700. In FIG. 2, the flow of time is shown in the horizontal direction, and an example of broadcast data transmitted by a certain broadcasting station 700 in each of the regions X, Y, and Z is shown. This broadcasting station 700 is assigned “5” as the channel number. Each piece of broadcast data is arranged in the order in which advertisement data representing an advertisement and program data representing a program are broadcast. In the example of FIG. 2, the broadcast station 700 transmits broadcast data including program data α and β. The broadcast station 700 may broadcast advertisements provided by different advertisers in different regions, or broadcast the same program at different times. For example, the broadcast station 700 transmits advertisement data A, B, and C in the region X, advertisement data D and E in the region Y, and broadcast data including the advertisement data F and G in the region Z. In addition, the broadcasting station 700 transmits the program data α in the region Z at a time different from the regions X and Y. Thus, the content broadcast by each broadcasting station 700 is determined by the time and the region. In this way, even broadcast data broadcast at the same time by the broadcast station 700 of the same channel may have different advertisements and programs to be broadcast.

広告特定システム１０においては、各放送局７００から送信される放送データが一致する地域を示す地域ＩＤがコンテンツ送信サービスの提供者によって決められている。また、コンテンツ送信サービスにより送信されるコンテンツに対応する広告には、広告ＩＤが決められている。ここにおいて、「広告ＩＤ」とは、広告とコンテンツとを対応付けるデータをいう。なお、同じ広告者であっても商品やサービスの種類によって複数の広告を提供する場合があり、その場合は広告者の意向によりそれぞれの広告に異なる広告ＩＤを用いてもよい。広告ＩＤは、コンテンツ送信サービスの提供者によって決められたものを用いてもよいし、他の広告ＩＤと重複しなければ広告者が決めたものを用いてもよい。上述した広告情報ＤＢ３００には、後述する第２特徴点に対して広告ＩＤと地域ＩＤとがそれぞれ対応付けて記憶されている。また、上述したコンテンツＤＢ４００には、コンテンツに対して広告ＩＤが対応付けられて記憶されている。 In the advertisement specifying system 10, a region ID indicating a region where broadcast data transmitted from each broadcasting station 700 matches is determined by the provider of the content transmission service. An advertisement ID is determined for the advertisement corresponding to the content transmitted by the content transmission service. Here, “advertisement ID” refers to data associating an advertisement with a content. Note that even the same advertiser may provide a plurality of advertisements depending on the type of product or service, and in that case, a different advertisement ID may be used for each advertisement depending on the intention of the advertiser. The advertisement ID determined by the provider of the content transmission service may be used, or the advertisement ID determined by the advertiser may be used if it does not overlap with other advertisement IDs. In the advertisement information DB 300 described above, an advertisement ID and an area ID are associated with each other and stored for a second feature point described later. In the content DB 400 described above, an advertisement ID is associated with the content and stored.

受像機６００は、複数の放送局７００からそれぞれ送信される放送データを受信して、複数の番組又は広告のいずれかを再生する。受像機６００は、チャンネルを切り替えることで、各チャンネルに対応する放送局７００により送信された放送データが示す音声及び映像を再生する。 The receiver 600 receives broadcast data transmitted from a plurality of broadcast stations 700 and reproduces either a plurality of programs or advertisements. The receiver 600 plays back audio and video indicated by broadcast data transmitted by the broadcast station 700 corresponding to each channel by switching channels.

ネットワークＮＷ１は、サーバ装置１００、通信端末２００、広告情報データベース３００、コンテンツデータベース４００及びＮＴＰサーバ５００の相互の通信を所定の通信プロトコルにより可能にする。ネットワークＮＷ１は、通信プロトコルが異なる複数のネットワーク（例えば、インターネットと移動体通信網）を組み合わせたネットワークであってもよい。ネットワークＮＷ１は、通信端末２００と無線通信を行う基地局を複数含む。 The network NW1 enables communication between the server device 100, the communication terminal 200, the advertisement information database 300, the content database 400, and the NTP server 500 using a predetermined communication protocol. The network NW1 may be a network in which a plurality of networks having different communication protocols (for example, the Internet and a mobile communication network) are combined. The network NW1 includes a plurality of base stations that perform wireless communication with the communication terminal 200.

ＮＴＰサーバ５００は、所定の基準時刻を示す時刻情報を所定の通信プロトコル（ＮＴＰ）に従って送信する。本実施形態においては、ＮＴＰサーバ５００は、サーバ装置１００及び通信端末２００に対してネットワークＮＷ１を介して時刻情報を送信する。サーバ装置１００及び通信端末２００は、この時刻情報を受信することにより時刻を同期させる。 The NTP server 500 transmits time information indicating a predetermined reference time according to a predetermined communication protocol (NTP). In the present embodiment, the NTP server 500 transmits time information to the server device 100 and the communication terminal 200 via the network NW1. The server apparatus 100 and the communication terminal 200 synchronize time by receiving this time information.

通信端末２００は、広告特定システム１０においては、受像機６００に対応して設けられ、受像機６００により再生される番組又は広告が視聴されている環境で使用される。以下においては、通信端末２００を使用する者を「視聴者」という。本実施形態において、通信端末２００は、所定の無線通信事業者により提供される無線通信サービスを用いて通信を行う無線通信端末であり、例えば、携帯電話機やスマートフォンである。通信端末２００は、受像機６００が再生しているチャンネルの情報等を視聴者の操作によりサーバ装置１００に送信する。 In the advertisement specifying system 10, the communication terminal 200 is provided corresponding to the receiver 600, and is used in an environment where a program or an advertisement reproduced by the receiver 600 is being viewed. Hereinafter, a person who uses the communication terminal 200 is referred to as a “viewer”. In the present embodiment, the communication terminal 200 is a wireless communication terminal that performs communication using a wireless communication service provided by a predetermined wireless communication provider, and is, for example, a mobile phone or a smartphone. The communication terminal 200 transmits information on the channel being reproduced by the receiver 600 to the server apparatus 100 by the operation of the viewer.

サーバ装置１００は、コンテンツ送信サービスの提供者によって使用される。ここにおいて、「コンテンツ送信サービス」とは、視聴者により視聴される広告に関連するコンテンツを視聴者の通信端末２００に対して送信するサービスをいう。サーバ装置１００は、各放送局７００によりそれぞれ送信される放送データを受信し、その放送データにより示される音声の音声情報から特徴点を解析する。ここにおいて、「特徴点」とは、番組又は広告の識別を可能にする音声の特徴を表す情報をいう。例えば、異なる音声同士は、各々の特徴点を比較することで区別可能である。広告特定システム１０においては、音声情報同士の特徴点を比較して、共通する特徴点の数又は割合が所定の値を超える場合にこれらの音声情報が示す音声が同一であると判断する。この割合は、例えば、ある音声情報とその比較対象の音声情報とに一致する特徴点の数を、比較する特徴点の総数で除した値である。この割合は、所定期間分の音声情報に含まれる特徴点を用いて算出される。所定の数又は割合は、番組特定サービスの提供者によりあらかじめ決められる。本実施形態においては、サーバ装置１００は、特徴点を解析する処理に隠れマルコフモデルやハッシュ法等を用いた公知の音声認識技術を適宜用いることができる。サーバ装置１００は、以下においては、サーバ装置１００が解析した特徴点を「第１特徴点」という。 The server apparatus 100 is used by a content transmission service provider. Here, the “content transmission service” refers to a service for transmitting content related to an advertisement viewed by the viewer to the communication terminal 200 of the viewer. The server apparatus 100 receives broadcast data transmitted from each broadcast station 700, and analyzes feature points from audio information of audio indicated by the broadcast data. Here, the “feature point” refers to information that represents audio features that enable identification of programs or advertisements. For example, different sounds can be distinguished by comparing their feature points. In the advertisement specifying system 10, the feature points of the voice information are compared, and when the number or ratio of the common feature points exceeds a predetermined value, it is determined that the voices indicated by the voice information are the same. This ratio is, for example, a value obtained by dividing the number of feature points that match a certain piece of speech information and the comparison target speech information by the total number of feature points to be compared. This ratio is calculated using feature points included in audio information for a predetermined period. The predetermined number or ratio is determined in advance by the program specific service provider. In the present embodiment, the server apparatus 100 can appropriately use a known speech recognition technique using a hidden Markov model, a hash method, or the like for the process of analyzing the feature points. In the following description, the feature point analyzed by the server device 100 is referred to as a “first feature point”.

広告情報データベース３００は、広告情報を複数の広告毎に記憶するデータベース（以下「ＤＢ」と表記する。）である。これらの広告は、コンテンツ送信サービスで送信されるコンテンツに対応している。本実施形態において、広告情報ＤＢ３００は、サーバ装置１００とは異なる外部装置に記憶されている。広告情報ＤＢ３００が記憶されているこの外部装置は、本発明に係る「記憶手段」として機能する。 The advertisement information database 300 is a database (hereinafter referred to as “DB”) that stores advertisement information for each of a plurality of advertisements. These advertisements correspond to content transmitted by the content transmission service. In the present embodiment, the advertisement information DB 300 is stored in an external device different from the server device 100. This external device in which the advertisement information DB 300 is stored functions as a “storage unit” according to the present invention.

「広告情報」とは、広告の音声を表す情報をいう。広告情報は、例えば、広告の音声そのものを表すデータやその音声を解析したデータである。本実施形態においては、広告情報は、広告の音声情報を解析して得られる特徴点である。この特徴点は、上述した第１特徴点と同様に、例えば、隠れマルコフモデルやハッシュ法等を用いた公知の音声認識技術を適宜用いて広告の音声情報を解析したものである。本実施形態においては、これらの特徴点は、広告者によって提供されて広告情報ＤＢ３００に記憶される。以下においては、広告情報が有する特徴点を「第２特徴点」という。 “Advertisement information” refers to information representing the sound of an advertisement. The advertisement information is, for example, data representing the sound of the advertisement itself or data obtained by analyzing the sound. In the present embodiment, the advertisement information is a feature point obtained by analyzing the sound information of the advertisement. Similar to the first feature point described above, this feature point is obtained by analyzing the voice information of the advertisement by appropriately using, for example, a known voice recognition technique using a hidden Markov model or a hash method. In the present embodiment, these feature points are provided by the advertiser and stored in the advertisement information DB 300. Below, the feature point which advertisement information has is called "the 2nd feature point."

コンテンツＤＢ４００は、複数のコンテンツを記憶するＤＢである。ここにおいて、「コンテンツ」とは、放送される広告に対応付けられた情報をいう。本発明に係るコンテンツは、典型的には、広告で宣伝されている商品又はサービス等を購入する者に対して特典を与えるクーポン（割引券など）である。また、コンテンツは、これらの商品やサービス等に関する様々な付加的な情報であってもよいし、ＵＲＬ（Uniform Resource Locator）等のハイパーリンクを含み、当該コンテンツと異なる他のコンテンツ（広告者のＷｅｂサイト等）を案内する情報であってもよい。 The content DB 400 is a DB that stores a plurality of contents. Here, “content” refers to information associated with a broadcasted advertisement. The content according to the present invention is typically a coupon (such as a discount voucher) that gives a privilege to a person who purchases a product or service advertised in an advertisement. In addition, the content may be various additional information regarding these products and services, and may include other content (advertiser's Web) that includes a hyperlink such as a URL (Uniform Resource Locator) and is different from the content. It may be information for guiding a site or the like.

図３は、通信端末２００の構成を示すブロック図である。通信端末２００は、図３に示すように、制御部２１０と、通信部２２０と、時計部２３０と、表示部２４０と、操作部２５０と、測位部２６０と、記憶部２７０とを備える。制御部２１０は、ＣＰＵ（Central Processing Unit）等の演算処理装置と主記憶装置に相当するメモリとを備え、プログラムを実行することによって通信端末２００の各部の動作を制御する。通信部２２０は、ネットワークＮＷ１と通信を行うためのインタフェースを備え、サーバ装置１００及びＮＴＰサーバ５００との間でデータの送信及び受信をする。時計部２３０は、通信部２２０を介してＮＴＰサーバ５００から現在の時刻を示す時刻情報を取得する。時計部２３０は、取得した時刻情報を制御部２１０に供給する。表示部２４０は、液晶ディスプレイ等の表示媒体やその駆動手段を備え、所定の画面に画像を表示する。操作部２５０は、キーパッド等の入力手段を備え、操作されるとその操作の内容を制御部２１０に通知する。表示部２４０は、液晶ディスプレイ等の表示媒体やその駆動手段を備え、所定の画面に画像を表示する。 FIG. 3 is a block diagram showing a configuration of communication terminal 200. As illustrated in FIG. 3, the communication terminal 200 includes a control unit 210, a communication unit 220, a clock unit 230, a display unit 240, an operation unit 250, a positioning unit 260, and a storage unit 270. The control unit 210 includes an arithmetic processing device such as a CPU (Central Processing Unit) and a memory corresponding to the main storage device, and controls the operation of each unit of the communication terminal 200 by executing a program. The communication unit 220 includes an interface for communicating with the network NW1, and transmits and receives data between the server apparatus 100 and the NTP server 500. The clock unit 230 acquires time information indicating the current time from the NTP server 500 via the communication unit 220. The clock unit 230 supplies the acquired time information to the control unit 210. The display unit 240 includes a display medium such as a liquid crystal display and driving means thereof, and displays an image on a predetermined screen. The operation unit 250 includes input means such as a keypad, and when operated, notifies the control unit 210 of the content of the operation. The display unit 240 includes a display medium such as a liquid crystal display and driving means thereof, and displays an image on a predetermined screen.

測位部２６０は、通信端末２００の位置情報を取得する手段である。ここにおいて、「位置情報」とは、通信端末２００の位置（又はこれと同一視し得る位置）を表す情報をいい、例えば、緯度及び経度や住居表示によって表される情報である。測位部２６０は、例えば、ＧＰＳ（Global Positioning System）を用いて位置情報を取得する。あるいは、測位部２６０は、通信を行った基地局（又はアクセスポイント）の位置に基づいて位置情報を求めることも可能である。測位部２６０は、位置情報を取得すると、これを制御部１１０に供給する。記憶部２７０は、フラッシュメモリ等の補助記憶装置に相当する記憶手段を備え、各種情報を記憶する。記憶部２７０は、制御部２１０が処理を実行するために用いられるデータを記憶している。 The positioning unit 260 is a means for acquiring position information of the communication terminal 200. Here, the “position information” refers to information representing the position of the communication terminal 200 (or a position that can be identified with the communication terminal 200), and is information represented by, for example, latitude and longitude or a residence display. The positioning unit 260 acquires position information using, for example, GPS (Global Positioning System). Or the positioning part 260 can also obtain | require position information based on the position of the base station (or access point) which performed communication. When the positioning unit 260 acquires the position information, the positioning unit 260 supplies the position information to the control unit 110. The storage unit 270 includes storage means corresponding to an auxiliary storage device such as a flash memory, and stores various types of information. The storage unit 270 stores data used for the control unit 210 to execute processing.

図４は、サーバ装置１００の構成を示すブロック図である。サーバ装置１００は、図４に示すように、制御部１１０と、通信部１２０と、時計部１３０と、チューナ部１４０と、記憶部１５０とを備える。通信部１２０は、ネットワークＮＷ１を介して通信端末２００と通信を行うためのインタフェースである。時計部１３０は、現在の時刻を示す時刻情報として、時計部２３０が取得する時刻情報と時刻が同期する時刻情報をＮＴＰサーバ５００から取得する。これにより、サーバ装置１００と通信端末２００とは、互いに同期する時刻に基づき各種処理をそれぞれ行う。時計部１３０は、取得した時刻情報を制御部１１０に供給する。 FIG. 4 is a block diagram illustrating a configuration of the server device 100. As illustrated in FIG. 4, the server device 100 includes a control unit 110, a communication unit 120, a clock unit 130, a tuner unit 140, and a storage unit 150. The communication unit 120 is an interface for communicating with the communication terminal 200 via the network NW1. The clock unit 130 acquires time information that is synchronized with time information acquired by the clock unit 230 from the NTP server 500 as time information indicating the current time. Thereby, the server apparatus 100 and the communication terminal 200 each perform various processes based on the time synchronized with each other. The clock unit 130 supplies the acquired time information to the control unit 110.

チューナ部１４０は、アンテナに接続する複数のチューナを有し、各放送局７００により送信された放送データを受信する。チューナ部１４０は、受信した放送データから各チャンネルで同時に放送されている番組の音声情報を抽出し、抽出した音声情報を制御部１１０に供給する。チューナ部１４０により受信できない地域の放送データは、その放送データを受信可能な地域に設置されている図示せぬ外部装置によって受信され、サーバ装置１００に送信される。この放送データは、通信部１２０を介して制御部１１０に供給される。すなわち、制御部１１０に供給される放送データには、同一のチャンネルであっても地域によって放送されている内容が異なる放送データが含まれる。 The tuner unit 140 includes a plurality of tuners connected to the antenna, and receives broadcast data transmitted from each broadcast station 700. The tuner unit 140 extracts audio information of a program that is simultaneously broadcast on each channel from the received broadcast data, and supplies the extracted audio information to the control unit 110. Broadcast data in a region that cannot be received by the tuner unit 140 is received by an external device (not shown) installed in the region where the broadcast data can be received, and transmitted to the server device 100. This broadcast data is supplied to the control unit 110 via the communication unit 120. In other words, the broadcast data supplied to the control unit 110 includes broadcast data having different contents that are broadcast in different regions even in the same channel.

制御部１１０は、ＣＰＵ等の演算処理装置と主記憶装置に相当するメモリとを備え、プログラムを実行することによってサーバ装置１００の各部の動作を制御する。また、制御部１１０は、時計部１３０から供給された時刻情報に基づいて各部を動作させる時刻、時間及び間隔を制御する。また、制御部１１０は、チューナ部１４０により各チャンネルの音声情報が供給された時刻に基づき、これらの音声情報に対応する広告又は番組が放送された時刻を特定する。制御部１１０は、この特定した時刻を示す時刻情報を、その時刻に放送された各広告又は番組の音声情報の第１特徴点とこの第１特徴点に対応するチャンネル情報とに対応付けて記憶部１５０に供給する。 The control unit 110 includes an arithmetic processing device such as a CPU and a memory corresponding to the main storage device, and controls the operation of each unit of the server device 100 by executing a program. The control unit 110 also controls the time, time, and interval at which each unit is operated based on the time information supplied from the clock unit 130. Further, the control unit 110 identifies the time when the advertisement or program corresponding to the audio information is broadcast based on the time when the audio information of each channel is supplied by the tuner unit 140. The control unit 110 stores the time information indicating the specified time in association with the first feature point of the audio information of each advertisement or program broadcast at that time and the channel information corresponding to the first feature point. To the unit 150.

記憶部１５０は、補助記憶装置に相当する記憶手段を備え、制御部１１０の処理に用いられるデータ等を記憶している。本実施形態においては、記憶部１５０は、制御部１１０から供給されるチャンネル情報、時刻情報及び第１特徴点を記憶している。また、記憶部１５０は、放送局７００により送信される放送データが同一となる地域を識別するための情報を記憶する。本実施形態においては、この情報は、これらの地域を識別する地域ＩＤと緯度や経度等で表される位置情報とを対応付けたテーブルである。 The storage unit 150 includes storage means corresponding to an auxiliary storage device, and stores data and the like used for processing of the control unit 110. In the present embodiment, the storage unit 150 stores channel information, time information, and first feature points supplied from the control unit 110. The storage unit 150 also stores information for identifying regions where the broadcast data transmitted by the broadcast station 700 is the same. In the present embodiment, this information is a table in which area IDs for identifying these areas are associated with position information represented by latitude, longitude, and the like.

図５は、サーバ装置１００の制御部１１０の機能的構成を示すブロック図である。制御部１１０は、プログラムを実行することによって、図５に示す放送取得部１１１と、受付部１１２と、視聴状況特定部１１３と、広告特定部１１４と、出力部１１５とに相当する機能を実現する。これにより、制御部１１０は、放送されている広告を特定する機能を実現する。制御部１１０がこれらの機能を実現することで、本発明に係る「情報処理装置」の一例に相当する機能が実現される。 FIG. 5 is a block diagram illustrating a functional configuration of the control unit 110 of the server device 100. The control unit 110 implements functions corresponding to the broadcast acquisition unit 111, the reception unit 112, the viewing status specifying unit 113, the advertisement specifying unit 114, and the output unit 115 illustrated in FIG. 5 by executing the program. To do. Thereby, the control part 110 implement | achieves the function which specifies the advertisement currently broadcast. When the control unit 110 realizes these functions, a function corresponding to an example of the “information processing apparatus” according to the present invention is realized.

放送取得部１１１は、チューナ部１４０を介して、複数の広告及び番組の音声を含む放送データをチャンネル毎に取得する。放送取得部１１１は、本発明に係る「放送取得手段」として機能する。また、放送取得部１１１は、チューナ部１４０により各チャンネルの放送データが供給された時刻に基づき、これらの放送データに対応する広告又は番組が放送された時刻を特定する。放送取得部１１１は、取得した放送データとこの放送データに対応する時刻の時刻情報とを広告特定部１１４に供給する。 The broadcast acquisition unit 111 acquires broadcast data including a plurality of advertisements and program sounds for each channel via the tuner unit 140. The broadcast acquisition unit 111 functions as a “broadcast acquisition unit” according to the present invention. Also, the broadcast acquisition unit 111 specifies the time when the advertisement or program corresponding to the broadcast data is broadcast based on the time when the broadcast data of each channel is supplied by the tuner unit 140. The broadcast acquisition unit 111 supplies the acquired broadcast data and time information of the time corresponding to the broadcast data to the advertisement specifying unit 114.

受付部１１２は、本発明に係る「受付手段」として機能するものである。受付部１１２は、通信部１２０を介して通信端末２００から送信されるチャンネル情報、時刻情報及び位置情報を受け付ける。受付部１１２は、受け付けたチャンネル情報及び時刻情報を視聴状況特定部１１３に供給する。また、受付部１１２は、受け付けた位置情報を広告特定部１１４に供給する。 The reception unit 112 functions as a “reception unit” according to the present invention. The receiving unit 112 receives channel information, time information, and position information transmitted from the communication terminal 200 via the communication unit 120. The receiving unit 112 supplies the received channel information and time information to the viewing status specifying unit 113. In addition, the reception unit 112 supplies the received position information to the advertisement identification unit 114.

視聴状況特定部１１３は、受付部１１２から供給された時刻情報及びチャンネル情報に基づいて、再生された広告又は番組を視聴者が視聴している時刻及びチャンネルを特定する。視聴状況特定部１１３は、特定した時刻及びチャンネルを示す情報を広告特定部１１４に供給する。視聴状況特定部１１３は、本発明に係る「視聴状況特定手段」として機能する。 The viewing status specifying unit 113 specifies the time and channel at which the viewer is viewing the reproduced advertisement or program based on the time information and the channel information supplied from the receiving unit 112. The viewing status specifying unit 113 supplies information indicating the specified time and channel to the advertisement specifying unit 114. The viewing situation specifying unit 113 functions as “viewing situation specifying means” according to the present invention.

広告特定部１１４は、視聴者がいずれの広告を視聴しているのか又は広告を視聴していないのかを特定する。視聴状況特定部１１３は、より詳細には、特徴点解析部１１４１と、地域識別部１１４２と、広告情報取得部１１４３とを含む。 The advertisement identifying unit 114 identifies which advertisement the viewer is viewing or is not viewing. More specifically, the viewing status specifying unit 113 includes a feature point analysis unit 1141, an area identification unit 1142, and an advertisement information acquisition unit 1143.

特徴点解析部１１４１は、放送取得部１１１から供給された複数の放送データを用いて、各放送データに対応する番組又は広告の音声情報の特徴点を解析する。特徴点解析部１１４１は、解析した結果得られた第１特徴点と放送取得部１１１から供給された時刻情報とを対応付ける。 The feature point analysis unit 1141 uses the plurality of broadcast data supplied from the broadcast acquisition unit 111 to analyze the feature points of the audio information of the program or advertisement corresponding to each broadcast data. The feature point analysis unit 1141 associates the first feature point obtained as a result of the analysis with the time information supplied from the broadcast acquisition unit 111.

地域識別部１１４２は、受付部１１２から供給された位置情報に基づいて、この位置情報に対応する地域を識別する。本実施形態においては、地域識別部１１４２は、記憶部１５０に記憶されている位置情報と地域ＩＤとを対応付けたテーブルを参照して、供給された位置情報に対応する地域ＩＤを特定することで通信端末２００が位置している地域を識別する。地域識別部１１４２は、識別した地域の地域ＩＤを広告情報取得部１１４３に供給する。 The area identification unit 1142 identifies an area corresponding to the position information based on the position information supplied from the reception unit 112. In the present embodiment, the area identifying unit 1142 refers to a table in which the position information stored in the storage unit 150 is associated with the area ID, and identifies the area ID corresponding to the supplied position information. To identify the region where the communication terminal 200 is located. The area identification unit 1142 supplies the area ID of the identified area to the advertisement information acquisition unit 1143.

広告特定部１１４は、視聴状況特定部１１３から供給される時刻情報及びチャンネル情報により示される放送に対応する第１特徴点を抽出する。また、広告情報取得部１１４３は、地域識別部１１４２から供給された地域ＩＤに応じた広告情報の送信を要求する要求情報を広告情報ＤＢ３００に送信する。広告情報取得部１１４３は、この要求情報を受信した広告情報ＤＢ３００から送信された複数の広告情報を通信部１２０を介して取得する。本実施形態においては、広告情報は第２特徴点で表されているため、音声情報をそのまま用いる場合と比べてデータ量を少なくすることができる。 The advertisement specifying unit 114 extracts a first feature point corresponding to the broadcast indicated by the time information and the channel information supplied from the viewing situation specifying unit 113. Further, the advertisement information acquisition unit 1143 transmits request information for requesting transmission of advertisement information corresponding to the region ID supplied from the region identification unit 1142 to the advertisement information DB 300. The advertisement information acquisition unit 1143 acquires a plurality of advertisement information transmitted from the advertisement information DB 300 that has received the request information via the communication unit 120. In the present embodiment, since the advertisement information is represented by the second feature point, the data amount can be reduced as compared with the case where the audio information is used as it is.

広告特定部１１４は、地域識別部１１４２により識別された地域の情報に基づき、上述のとおり抽出した第１特徴点のうちその地域で放送されている放送データに対応する第１特徴点を選択する。広告特定部１１４は、選択した第１特徴点と広告情報取得部１１４３により取得された複数の広告情報の各々に含まれる第２特徴点とを比較する。本実施形態においては、広告特定部１１４は、例えば、視聴状況特定部１１３から供給される時刻情報の前後３秒ずつで合計６秒間の音声情報から解析された第１特徴点と、１５秒又は３０秒の広告の音声情報から解析された第２特徴点とを比較する。広告特定部１１４は、第１特徴点を第２特徴点の先頭の６秒間から後尾の６秒間まで例えば１秒おきにずらしながら順次比較する。広告特定部１１４は、この比較により最も特徴点が一致する場合において、その一致した特徴点の数又は割合が閾値を超える広告情報があるときは、この第１特徴点に対応する広告としてこの広告情報を特定する。すなわち、第１特徴点に対応する広告は、広告情報取得部１１４３により取得された複数の広告情報が示す広告のいずれかに相当する。また、広告特定部１１４は、この比較の結果一致した特徴点の数又は割合が閾値を超える広告情報がない場合は、この第１特徴点に対応する広告と一致する広告情報がないことを特定する。この閾値は、広告特定サービスの提供者によりあらかじめ決められる。広告特定部１１４は、第１特徴点と第２特徴点とを比較する処理に、例えば、動的計画法によるマッチング等を用いた公知のマッチング技術を適宜用いることができる。広告特定部１１４は、特定した広告を示す情報又は一致する広告がないことを示す情報を出力部１１５に供給する。広告特定部１１４は、本発明に係る「広告特定手段」として機能する。 The advertisement specifying unit 114 selects the first feature point corresponding to the broadcast data broadcast in the region from the first feature points extracted as described above, based on the region information identified by the region identifying unit 1142. . The advertisement specifying unit 114 compares the selected first feature point with the second feature point included in each of the plurality of advertisement information acquired by the advertisement information acquisition unit 1143. In the present embodiment, the advertisement specifying unit 114, for example, the first feature point analyzed from the sound information of 6 seconds in total 3 seconds before and after the time information supplied from the viewing situation specifying unit 113, 15 seconds or The second feature point analyzed from the voice information of the advertisement for 30 seconds is compared. The advertisement specifying unit 114 sequentially compares the first feature point while shifting the first feature point from the first 6 seconds to the last 6 seconds, for example, every second. In the case where the feature points are most matched by this comparison and there is advertisement information in which the number or ratio of the matched feature points exceeds the threshold value, the advertisement specifying unit 114 displays this advertisement as an advertisement corresponding to the first feature point. Identify information. That is, the advertisement corresponding to the first feature point corresponds to one of the advertisements indicated by the plurality of advertisement information acquired by the advertisement information acquisition unit 1143. In addition, the advertisement specifying unit 114 specifies that there is no advertisement information that matches the advertisement corresponding to the first feature point when there is no advertisement information in which the number or ratio of feature points that match as a result of the comparison exceeds a threshold value. To do. This threshold is determined in advance by the provider of the advertisement specifying service. The advertisement specifying unit 114 can appropriately use, for example, a known matching technique using matching using dynamic programming or the like for the process of comparing the first feature point and the second feature point. The advertisement specifying unit 114 supplies information indicating the specified advertisement or information indicating that there is no matching advertisement to the output unit 115. The advertisement specifying unit 114 functions as “advertisement specifying means” according to the present invention.

出力部１１５は、広告特定部１１４により特定された広告に対応するコンテンツを通信端末２００に対して出力する。出力部１１５は、より詳細には、コンテンツ取得部１１５１と、コンテンツ送信部１１５２とを含む。広告特定部１１４により特定された広告を示す情報が供給されると、コンテンツ取得部１１５１は、この情報が示す広告に関連するコンテンツを要求する要求情報をコンテンツＤＢ４００に送信する。要求情報は、広告特定部１１４による特定結果に応じたデータの一例である。コンテンツ取得部１１５１は、本発明に係る「出力手段」として機能する。コンテンツ取得部１１５１は、この要求情報を受信したコンテンツＤＢ４００から送信されたコンテンツを通信部１２０を介して取得する。コンテンツ送信部１１５２は、コンテンツ取得部１１５１が取得したコンテンツを、通信端末２００に対して送信する。 The output unit 115 outputs content corresponding to the advertisement specified by the advertisement specifying unit 114 to the communication terminal 200. In more detail, the output unit 115 includes a content acquisition unit 1151 and a content transmission unit 1152. When information indicating the advertisement specified by the advertisement specifying unit 114 is supplied, the content acquisition unit 1151 transmits request information for requesting content related to the advertisement indicated by this information to the content DB 400. The request information is an example of data corresponding to the identification result by the advertisement identification unit 114. The content acquisition unit 1151 functions as an “output unit” according to the present invention. The content acquisition unit 1151 acquires the content transmitted from the content DB 400 that has received the request information via the communication unit 120. The content transmission unit 1152 transmits the content acquired by the content acquisition unit 1151 to the communication terminal 200.

図６は、広告特定システム１０が番組を特定する処理の一例を示すシーケンスチャートである。説明の便宜上、図６では複数の放送局７００のうち１つしか記載していないが、各放送局７００は、それぞれが図６に示す動作をする。また、図６の例では、視聴者は、通信端末２００に対応する受像機６００により再生されている番組又は広告を視聴しているものとする。 FIG. 6 is a sequence chart showing an example of processing in which the advertisement specifying system 10 specifies a program. For convenience of explanation, FIG. 6 shows only one of the plurality of broadcasting stations 700, but each broadcasting station 700 performs the operation shown in FIG. In the example of FIG. 6, it is assumed that the viewer is watching a program or advertisement being played by the receiver 600 corresponding to the communication terminal 200.

複数の放送局７００は、放送データをそれぞれ送信する（ステップＳ１１０）。サーバ装置１００は、チューナ部１４０がこれらの放送データを受信することで、制御部１１０が放送データを取得する（ステップＳ１２０）。サーバ装置１００は、ステップＳ１２０の処理を所定の時間及び所定の時間間隔で繰り返し実行する。所定の時間及び所定の時間間隔は、広告の音声が含まれる放送データを取得しやすいように、広告特定システム１０の提供者によってあらかじめ決められる。例えば、サーバ装置１００は、５秒間放送データを取得し、その取得する処理を１０秒間隔で実行する。次に、サーバ装置１００は、取得した放送データから各チャンネルの音声の特徴点を解析する（ステップＳ１３０）。そして、サーバ装置１００は、解析により得られた複数の第１特徴点に対して、各々に対応する番組又は広告が放送された時刻を示す時刻情報を対応付ける（ステップＳ１４０）。サーバ装置１００は、解析により得られたこれらの第１特徴点に対して、各々に対応する番組又は広告が放送された時刻を示す時刻情報を対応付けて記憶部１５０に記憶させて蓄積する（ステップＳ１５０）。 The plurality of broadcast stations 700 each transmit broadcast data (step S110). In the server device 100, when the tuner unit 140 receives these broadcast data, the control unit 110 acquires the broadcast data (step S120). The server apparatus 100 repeatedly executes the process of step S120 at a predetermined time and a predetermined time interval. The predetermined time and the predetermined time interval are determined in advance by the provider of the advertisement specifying system 10 so that broadcast data including the audio of the advertisement can be easily obtained. For example, the server device 100 acquires broadcast data for 5 seconds, and executes the acquisition process at 10-second intervals. Next, the server apparatus 100 analyzes the audio feature points of each channel from the acquired broadcast data (step S130). And the server apparatus 100 matches the time information which shows the time when the corresponding program or advertisement was broadcast with respect to the some 1st feature point obtained by analysis (step S140). The server apparatus 100 associates time information indicating the time when the corresponding program or advertisement is broadcast with each of the first feature points obtained by the analysis, and stores and accumulates the information in the storage unit 150 ( Step S150).

次に、視聴者が受像機６００により再生されている広告に対応するコンテンツを取得するよう通信端末２００に対して操作すると、通信端末２００は、そのコンテンツを取得するための動作を開始するよう各部に指示する（ステップＳ１６０）。そして、通信端末２００は、この指示に応じて視聴者の操作により入力されたチャンネルの番号を示すチャンネル情報と、この入力がされた時刻情報と、測位部２６０により取得されている位置情報とをサーバ装置１００に対して送信する（ステップＳ１７０）。 Next, when the viewer operates the communication terminal 200 so as to acquire content corresponding to the advertisement being played back by the receiver 600, the communication terminal 200 causes each unit to start an operation for acquiring the content. (Step S160). Then, the communication terminal 200 receives the channel information indicating the channel number input by the operation of the viewer in response to the instruction, the time information when the input is performed, and the position information acquired by the positioning unit 260. It transmits with respect to the server apparatus 100 (step S170).

続いて、サーバ装置１００は、通信端末２００から送信されたこれらの情報を通信部１２０で受信して、制御部１１０により受け付ける（ステップＳ１８０）。サーバ装置１００は、受け付けたチャンネル情報及び時刻情報に基づいて、視聴者の視聴状況を特定する（ステップＳ１９０）。また、サーバ装置１００は、受け付けた位置情報に基づいて、視聴者が視聴する受像機６００が設置されている地域を識別する（ステップＳ２００）。サーバ装置１００は、識別した地域に対応する広告情報の送信を要求する情報を広告ＤＢ情報３００に対して送信する（ステップＳ２１０）。広告情報ＤＢ３００は、サーバ装置１００から送信された要求情報を受信すると、要求された地域に対応する広告情報をサーバ装置１００に対して送信する（ステップＳ２２０）。 Subsequently, the server device 100 receives the information transmitted from the communication terminal 200 by the communication unit 120 and receives the information by the control unit 110 (step S180). The server device 100 identifies the viewing status of the viewer based on the received channel information and time information (step S190). Further, the server apparatus 100 identifies an area where the receiver 600 that the viewer views is installed based on the received position information (step S200). The server apparatus 100 transmits information for requesting transmission of the advertisement information corresponding to the identified area to the advertisement DB information 300 (step S210). When the advertisement information DB 300 receives the request information transmitted from the server apparatus 100, the advertisement information DB 300 transmits the advertisement information corresponding to the requested area to the server apparatus 100 (step S220).

次に、サーバ装置１００は、ステップＳ２２０において受信した広告情報に含まれる第２特徴点とステップＳ１９０において特定した視聴状況に対応する第１特徴点とを比較して、広告情報の広告のいずれかに相当する場合は、その相当する広告を視聴者が視聴している広告として特定する（ステップＳ２３０）。なお、サーバ装置１００は、この比較の結果、視聴状況に対応する第１特徴点に相当する広告がない場合は、広告が特定できないことを示す情報を通信端末２００に送信する。続いて、サーバ装置１００は、特定した広告に応じたコンテンツの送信を要求する情報をコンテンツＤＢ４００に送信する（ステップＳ２４０）。コンテンツＤＢ４００は、サーバ装置１００から送信された要求情報を受信すると、要求された広告に応じたコンテンツをサーバ装置１００に対して送信する（ステップＳ２５０）。そして、サーバ装置１００は、受信したコンテンツを通信端末２００に対して送信する（ステップＳ２６０）。通信端末２００は、受信したコンテンツを表示部２４０に表示する（ステップＳ２７０）。 Next, the server device 100 compares the second feature point included in the advertisement information received in step S220 with the first feature point corresponding to the viewing situation specified in step S190, and determines whether any of the advertisement information advertisements. If it corresponds to the above, the corresponding advertisement is specified as the advertisement that the viewer is viewing (step S230). If there is no advertisement corresponding to the first feature point corresponding to the viewing situation as a result of this comparison, the server apparatus 100 transmits information indicating that the advertisement cannot be specified to the communication terminal 200. Subsequently, the server device 100 transmits information requesting transmission of content corresponding to the identified advertisement to the content DB 400 (step S240). Upon receiving the request information transmitted from the server device 100, the content DB 400 transmits content corresponding to the requested advertisement to the server device 100 (step S250). Then, the server device 100 transmits the received content to the communication terminal 200 (step S260). The communication terminal 200 displays the received content on the display unit 240 (step S270).

図７は、通信端末２００に表示される画面の一例である。図７の例では、コンテンツを「テレビクーポン」と表現して、図６のステップＳ１６０及びＳ２７０の処理で通信端末２００が表示する画面を示すものとする。例えば、視聴者が視聴している広告の映像又は音声により、その広告に関連するテレビクーポンを提供していることが視聴者に伝えられたとする。テレビクーポンのことを知った視聴者は、通信端末２００を操作してテレビクーポンを取得するためのアプリケーション画面を表示させる。この結果、通信端末２００には、図７（ａ）に示すように、テレビクーポンを取得するための情報が表示される。図７（ａ）の例では、視聴者は、操作部２５０を操作して自分が視聴しているチャンネルの番号を選択することで、そのチャンネルで放送されている広告のコンテンツを取得する通信端末２００の動作を開始させることができる。また、視聴者のこの操作により、図６のステップＳ１６０の処理が通信端末２００により実行される。 FIG. 7 is an example of a screen displayed on the communication terminal 200. In the example of FIG. 7, the content is expressed as “TV coupon”, and the screen displayed by the communication terminal 200 in the processing of steps S160 and S270 of FIG. For example, it is assumed that the viewer is informed that the television coupon related to the advertisement is provided by the video or audio of the advertisement that the viewer is viewing. A viewer who knows about the TV coupon operates the communication terminal 200 to display an application screen for acquiring the TV coupon. As a result, as shown in FIG. 7A, information for acquiring a television coupon is displayed on the communication terminal 200. In the example of FIG. 7A, the viewer operates the operation unit 250 to select the channel number that the viewer is viewing, thereby acquiring the content of the advertisement broadcast on that channel. 200 operations can be started. Further, the communication terminal 200 executes the process of step S160 of FIG.

図７（ｂ）は、視聴者が図７（ａ）の画面で例えば１２ｃｈ（チャンネル）を選択する操作を行った結果、通信端末２００が表示する画面の一例である。図７（ｂ）の例では、この操作がされた時刻に１２ｃｈで放送されていた広告をサーバ装置１００が特定した結果、通信端末２００は、サーバ装置１００から送信されたその広告に関連するコンテンツを画面に表示している。このコンテンツには、図７（ｂ）に示すように、商品の割引を案内する情報と視聴者の位置情報の近くにある店舗を案内するＵＲＬとが含まれている。 FIG. 7B is an example of a screen displayed by the communication terminal 200 as a result of the viewer performing an operation of selecting, for example, 12ch (channel) on the screen of FIG. In the example of FIG. 7B, as a result of the server device 100 specifying an advertisement that was broadcast on 12ch at the time when this operation was performed, the communication terminal 200 is content related to the advertisement transmitted from the server device 100. Is displayed on the screen. As shown in FIG. 7B, this content includes information for guiding discounts for merchandise and URLs for guiding stores near the viewer's location information.

以上のとおり、本実施形態の広告特定システム１０は、通信端末２００に対するチャンネルを選択する視聴者の操作に基づき、視聴者がこの操作を行った時刻にこの選択されたチャンネルで放送されている広告を特定する。これにより、広告特定システム１０は、テレビジョン放送の方式（アナログ放送・デジタル放送）や通信端末２００周辺の雑音などの視聴環境によらずに視聴者により視聴されている広告を特定することができる。また、広告特定システム１０は、通信端末２００の位置情報から識別される地域で受信可能な広告の広告情報から広告を特定する。これにより、広告特定システム１０は、通信端末２００が使用される地域の違いに拘わらず、その地域で放送されている広告を特定することができる。 As described above, the advertisement specifying system 10 of the present embodiment is based on an operation of a viewer who selects a channel for the communication terminal 200, and an advertisement that is broadcast on the selected channel at the time when the viewer performs this operation. Is identified. Thereby, the advertisement specifying system 10 can specify an advertisement being viewed by a viewer regardless of a viewing environment such as a television broadcasting method (analog broadcasting / digital broadcasting) and noise around the communication terminal 200. . Further, the advertisement specifying system 10 specifies an advertisement from advertisement information of an advertisement that can be received in an area identified from the position information of the communication terminal 200. Thereby, the advertisement identification system 10 can identify an advertisement broadcast in the area regardless of the area where the communication terminal 200 is used.

［変形例］
上述した実施形態は、本発明の実施の一例にすぎない。本発明は、上述した実施形態に対して、以下の変形を適用することが可能である。なお、以下に示す変形例は、必要に応じて、各々を適当に組み合わせて実施されてもよいものである。 [Modification]
The above-described embodiment is merely an example of the implementation of the present invention. The present invention can apply the following modifications to the embodiments described above. In addition, the modification shown below may be implemented combining each suitably as needed.

（変形例１）
本発明において、コンテンツは、クーポンやＵＲＬの情報に限定されない。例えば、コンテンツは、広告に含まれる場所の地図、広告に含まれる音楽の紹介又は広告に登場する人物の映像等、広告に関連する情報であればよい。 (Modification 1)
In the present invention, the content is not limited to coupon or URL information. For example, the content may be information related to the advertisement, such as a map of a place included in the advertisement, an introduction of music included in the advertisement, or a video of a person appearing in the advertisement.

（変形例２）
広告情報は、上述した実施形態においては、外部装置に記憶されていたが、サーバ装置１００に記憶されていてもよい。これにより、サーバ装置１００は、ネットワークＮＷ１を介さずに広告情報を取得することができ、ネットワークＮＷ１を介する場合に比べて短い時間で広告情報を取得することができる。なお、コンテンツも同様に、サーバ装置１００に記憶されていてもよい。 (Modification 2)
In the embodiment described above, the advertisement information is stored in the external device, but may be stored in the server device 100. Thereby, the server device 100 can acquire the advertising information without going through the network NW1, and can acquire the advertising information in a shorter time compared to the case through the network NW1. Similarly, the content may be stored in the server device 100.

（変形例３）
本発明において、コンテンツを通信端末２００に送信するのはサーバ装置１００であったが、サーバ装置１００とは異なる外部装置が送信してもよい。この場合、サーバ装置１００は、この外部装置に対してコンテンツの送信を指示する指示情報を、そのコンテンツを特定するデータ及び送信先の通信端末２００を識別するデータとともに送信する。指示情報は、広告特定部１１４による特定結果に応じたデータの一例である。この外部装置は、この指示情報を受信すると、これらのデータに基づき、コンテンツをコンテンツＤＢ４００から取得して通信端末２００に送信する。これにより、例えば、コンテンツＤＢ４００を記憶している外部装置がこの処理を行えば、コンテンツをネットワークＮＷ１を介してコンテンツＤＢ４００からサーバ装置１００に送信することが不要になる。これにより、コンテンツが画像や映像等を含む場合は、通信の時間が短くなり、通信端末２００におけるコンテンツ取得の操作からコンテンツの受信までの時間を短くすることができる。 (Modification 3)
In the present invention, the server device 100 transmits content to the communication terminal 200, but an external device different from the server device 100 may transmit the content. In this case, the server device 100 transmits instruction information for instructing the external device to transmit the content together with data for specifying the content and data for identifying the communication terminal 200 of the transmission destination. The instruction information is an example of data corresponding to the identification result by the advertisement identification unit 114. When receiving the instruction information, the external device acquires content from the content DB 400 based on these data and transmits the content to the communication terminal 200. Thereby, for example, if an external device storing the content DB 400 performs this processing, it is not necessary to transmit the content from the content DB 400 to the server device 100 via the network NW1. Accordingly, when the content includes an image, a video, or the like, the communication time is shortened, and the time from the content acquisition operation to the content reception in the communication terminal 200 can be shortened.

図８は、変形例３に係る広告特定システム１０ａの構成を示すブロック図である。変形例３の広告特定システム１０ａは、上述した実施形態の広告特定システム１０と共通する構成を含むが、コンテンツＤＢ４００を記憶するコンテンツ配信装置４０１を備える点が異なる。広告特定システム１０ａは、コンテンツＤＢ４００を有するコンテンツ配信装置４０１を備える。コンテンツ配信装置４０１は、サーバ装置１００から送信された指示情報に基づいて、通信端末２００に対してコンテンツを送信する。 FIG. 8 is a block diagram illustrating a configuration of an advertisement identification system 10a according to the third modification. The advertisement specifying system 10a of Modification 3 includes a configuration common to the advertisement specifying system 10 of the above-described embodiment, but is different in that it includes a content distribution device 401 that stores the content DB 400. The advertisement specifying system 10a includes a content distribution device 401 having a content DB 400. The content distribution device 401 transmits content to the communication terminal 200 based on the instruction information transmitted from the server device 100.

（変形例４）
本発明において、通信端末が受像機６００のチャンネルを操作する操作信号の発信部を備えていれば、通信端末は、コンテンツを取得する際、視聴者が選択したチャンネルの代わりに直前に発信した操作信号が示すチャンネルをチャンネル情報としてもよい。これにより、視聴者は、コンテンツを取得するためのアプリケーションを起動するだけで通信端末がコンテンツを取得する動作を開始させることができる。 (Modification 4)
In the present invention, if the communication terminal includes an operation signal transmission unit for operating the channel of the receiver 600, the communication terminal transmits the operation immediately before the content selected by the viewer instead of the channel selected by the viewer. The channel indicated by the signal may be channel information. Thereby, the viewer can start the operation in which the communication terminal acquires the content only by starting an application for acquiring the content.

（変形例５）
本発明において、通信端末及びサーバ装置は、現在時刻の情報を取得する方法をＮＴＰサーバに限定されない。また、通信端末及びサーバ装置は、高精度の時計（電波時計、原子時計など）をそれぞれ設け、これらの時計から時刻情報を取得してもよい。この場合、これらの時計は、時刻が同じとなるようにあらかじめ設定されていることが望ましい。 (Modification 5)
In the present invention, the communication terminal and the server device are not limited to the NTP server as a method for acquiring current time information. The communication terminal and the server device may be provided with high-precision clocks (radio clocks, atomic clocks, etc.), respectively, and acquire time information from these clocks. In this case, it is desirable that these clocks are set in advance so that the times are the same.

（変形例６）
本発明において、各放送局は、ラジオ放送の仕組みによってそれぞれの広告及び番組を放送してもよい。すなわち、これらの広告及び番組は、映像を含まない音声のみの情報であってもよい。また、本発明において、各放送局は、有線通信のテレビジョン放送によって広告及び番組をそれぞれ放送してもよい。 (Modification 6)
In the present invention, each broadcasting station may broadcast each advertisement and program by a radio broadcasting mechanism. That is, these advertisements and programs may be audio-only information that does not include video. Further, in the present invention, each broadcasting station may broadcast advertisements and programs respectively by cable communication television broadcasting.

（変形例７）
本発明において、サーバ装置１００は、通信端末２００から取得することを要求されたコンテンツの情報を蓄積して視聴者のプロファイル情報（個人の興味等を表す情報）を生成してもよい。プロファイル情報は、広告特定部１１４による特定結果に応じたデータの一例である。例えば、サーバ装置１００は、通信端末２００にコンテンツを送信するとともに、そのコンテンツと通信端末２００を使用する視聴者とを対応付けてプロファイル情報として記憶部１５０に記憶させる。これにより、広告特定サービスの提供者は、視聴者がどのようなコンテンツに興味を有するかを知ることができる。 (Modification 7)
In the present invention, the server device 100 may accumulate information on content requested to be acquired from the communication terminal 200 to generate viewer profile information (information representing personal interests, etc.). The profile information is an example of data corresponding to the identification result by the advertisement identification unit 114. For example, the server apparatus 100 transmits content to the communication terminal 200 and associates the content with a viewer who uses the communication terminal 200 and stores the content in the storage unit 150 as profile information. Thereby, the provider of the advertisement specifying service can know what content the viewer is interested in.

（変形例８）
本発明において、通信端末が音声を音声信号に変換するマイクロフォン等の収音手段を備えていれば、変換した音声信号又はその音声信号を解析した情報に基づいて、特定した広告の確からしさを検証してもよい。例えば、通信端末が音声信号をサーバ装置に送信し、サーバ装置はその音声信号から取得した特徴点と蓄積している第１特徴点とを比較して一致した数又は割合によって特定した広告が正しいか否かを判断するといった具合である。これにより、視聴者が視聴していない広告が特定されて対応するコンテンツが送信されることを防ぐことができる。 (Modification 8)
In the present invention, if the communication terminal includes sound collecting means such as a microphone for converting sound into an audio signal, the probability of the specified advertisement is verified based on the converted audio signal or information obtained by analyzing the audio signal. May be. For example, the communication terminal transmits an audio signal to the server device, and the server device compares the feature point acquired from the audio signal with the accumulated first feature point, and the advertisement specified by the number or ratio that matches is correct. Or not. Thereby, it is possible to prevent an advertisement that the viewer has not viewed from being identified and the corresponding content from being transmitted.

（変形例９）
本発明において、第２特徴点は、広告者による提供以外の方法で広告情報ＤＢ３００に記憶されてもよい。例えば、この方法は、取得した放送データに基づき制御部１１０が生成した特徴点を第２特徴点として広告情報ＤＢ３００に記憶させる方法である。この場合、制御部１１０は、本発明に係る「生成手段」として機能する。例えば、広告が放送された（又はされる）チャンネル、時刻及び地域の情報を広告者がサーバ装置１００に入力する。そして、サーバ装置１００は、入力された情報に対応する第１特徴点を第２特徴点として広告情報ＤＢ３００に出力して記憶させるといった具合である。広告者は、これらの情報をコンテンツに含めて提供してもよい。この場合、サーバ装置１００は、コンテンツＤＢ４００にこれらの情報があるか否かを定期的に確認してもよい。また、これらの情報は、広告を放送する放送局７００によってサーバ装置１００に入力されてもよい。これにより、サーバ装置１００は、広告情報が提供されない場合に広告が特定できないときを減らすことができる。 (Modification 9)
In the present invention, the second feature point may be stored in the advertisement information DB 300 by a method other than the provision by the advertiser. For example, this method is a method of storing the feature point generated by the control unit 110 based on the acquired broadcast data in the advertisement information DB 300 as the second feature point. In this case, the control unit 110 functions as a “generating unit” according to the present invention. For example, the advertiser inputs information about the channel, time, and region where the advertisement is broadcast (or) to the server apparatus 100. Then, the server device 100 outputs and stores the first feature point corresponding to the input information as the second feature point in the advertisement information DB 300. The advertiser may provide such information in the content. In this case, the server apparatus 100 may periodically check whether or not there is such information in the content DB 400. These pieces of information may be input to the server apparatus 100 by the broadcasting station 700 that broadcasts advertisements. Thereby, the server apparatus 100 can reduce the case where an advertisement cannot be specified when advertisement information is not provided.

（変形例１０）
本発明は、サーバ装置やこれを含む広告特定システムのみならず、これらを実現するための方法や、コンピュータに図４に示した機能を実現させるためのプログラムとしても把握されるものである。かかるプログラムは、これを記憶させた光ディスク等の記録媒体の形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態でも提供されたりすることができるものである。 (Modification 10)
The present invention is grasped not only as a server device and an advertisement specifying system including the server device, but also as a method for realizing them and a program for causing a computer to realize the functions shown in FIG. Such a program may be provided in the form of a recording medium such as an optical disk storing the program, or may be provided in a form such that the program is downloaded to a computer via a network such as the Internet, and the program can be installed and used. Is something that can be done.

１０、１０ａ…広告特定システム、１００…サーバ装置、１１０…制御部、１１１…放送取得部、１１２…受付部、１１３…視聴状況特定部、１１４…広告特定部、１１４１…特徴点解析部、１１４２…地域識別部、１１４３…広告情報取得部、１１５…出力部、１１５１…コンテンツ取得部、１１５２…コンテンツ送信部、１２０…通信部、１３０…時計部、１４０…チューナ部、１５０…記憶部、２００…通信端末、２１０…制御部、２２０…通信部、２３０…時計部、２４０…表示部、２５０…操作部、２６０…測位部、２７０…記憶部、３００…広告情報データベース（広告情報ＤＢ）、４００…コンテンツデータベース（コンテンツＤＢ）、４０１…コンテンツ配信装置、５００…ＮＴＰサーバ、６００…受像機、７００…放送局 DESCRIPTION OF SYMBOLS 10, 10a ... Advertisement specification system, 100 ... Server apparatus, 110 ... Control part, 111 ... Broadcast acquisition part, 112 ... Reception part, 113 ... Viewing condition specification part, 114 ... Advertisement specification part, 1141 ... Feature point analysis part, 1422 ... Regional identification part 1143 ... Advertising information acquisition part 115 ... Output part 1151 ... Content acquisition part 1152 ... Content transmission part 120 ... Communication part 130 ... Clock part 140 ... Tuner part 150 ... Storage part 200 DESCRIPTION OF SYMBOLS ... Communication terminal 210 ... Control part 220 ... Communication part 230 ... Clock part 240 ... Display part 250 ... Operation part 260 ... Positioning part 270 ... Memory | storage part 300 ... Advertisement information database (advertisement information DB), 400 ... Content database (content DB), 401 ... Content distribution device, 500 ... NTP server, 600 ... Receiver, 700 ... Broadcasting station

Claims

Broadcast data broadcasted including advertisements, and broadcast acquisition means for acquiring at least broadcast data including audio for each channel;
A communication terminal in which a predetermined operation has been performed by a viewer who is watching a broadcast based on the broadcast data, and the time at which the operation is performed from a communication terminal including sound collection means for converting sound into an audio signal ; When the broadcast channel is transmitted, the broadcast data acquired by the broadcast acquisition unit is stored using a storage unit that stores advertisement information, which is data representing audio feature points of the advertisement, for each of a plurality of advertisements. Among the voices to be represented, advertisement specifying means for specifying whether the transmitted time and the voice of the channel correspond to any of the plurality of advertisements, the voice represented by the broadcast data acquired by the broadcast acquisition means Analysis means for analyzing the feature points of the advertisement, and an advertisement specifying means for specifying the advertisement by comparing the feature points analyzed by the analysis means with the feature points of the advertisement information ,
Output means for outputting data according to the identification result by the advertisement identification means ;
The feature point acquired from the sound signal obtained by converting the sound by the sound collecting unit and the feature point of the sound represented by the broadcast data are compared, and the probability of the advertisement specified by the advertisement specifying unit is verified. An information processing apparatus comprising: a verification unit that performs verification .

The broadcast acquisition means acquires a plurality of broadcast data in the same channel and the contents of the broadcast differ depending on regions,
When the position information indicating the position of the communication terminal is transmitted from the communication terminal together with the time information and the channel information, the advertisement specifying unit identifies the area based on the position information and performs the specification. The information processing apparatus according to claim 1 .

And the output means, if the ad is identified by the advertisement specifying means, according to the content in accordance with the advertisement to claim 1 or 2, characterized in that output data for transmission to the communication terminal Information processing device.

The information processing apparatus according to any one of 3 claims 1, characterized in that it comprises a generation unit that generates the advertisement information for each of the plurality of advertisements based on the obtained broadcast data by the broadcast acquisition means.

A broadcast acquisition step in which the information processing apparatus is broadcast data broadcast including advertisements, and acquires broadcast data including at least sound for each channel;
The information processing apparatus is a communication terminal in which a predetermined operation is performed by a viewer who is watching a broadcast by the broadcast data, and the operation is performed from a communication terminal including sound collection means for converting sound into an audio signal. In the broadcast acquisition step, storage means is used for storing advertisement information, which is data representing the audio feature point of the advertisement, for each of a plurality of advertisements. The advertisement specifying step for specifying which of the plurality of advertisements corresponds to the transmitted time and the sound of the channel among the sounds represented by the acquired broadcast data , acquired in the broadcast acquisition step Analyzing the audio feature points represented by the broadcast data, and specifying the advertisement by comparing the analyzed feature points with the feature points of the advertisement information And the step,
An output step in which the information processing apparatus outputs data according to the identification result in the advertisement identification step ;
The information processing device is identified in the advertisement identifying step by comparing a feature point acquired from an audio signal obtained by converting the sound by the sound collecting means with a feature point of the sound represented by the broadcast data. An information processing method comprising: a verification step for verifying a probability of an advertisement .

On the computer,
Broadcast data that is broadcast including advertisements, at least a broadcast acquisition step for acquiring broadcast data including audio for each channel;
A communication terminal in which a predetermined operation has been performed by a viewer who is watching a broadcast based on the broadcast data, and the time at which the operation is performed from a communication terminal including sound collection means for converting sound into an audio signal ; When the broadcast channel is transmitted, the broadcast data acquired in the broadcast acquisition step is stored using storage means for storing advertisement information, which is data representing the audio feature point of the advertisement, for each of a plurality of advertisements. The advertisement specifying step for specifying whether the transmitted time and the sound of the channel correspond to one of the plurality of advertisements among the expressed voice, and the voice represented by the broadcast data acquired in the broadcast acquisition step An advertisement identifying step of identifying the advertisement by comparing the analyzed feature point and the feature point of the advertisement information ;
An output step of outputting data according to the identification result in the advertisement identification step ;
The feature point acquired from the sound signal obtained by converting the sound by the sound collecting means is compared with the feature point of the sound represented by the broadcast data, and the probability of the advertisement specified in the advertisement specifying step is verified. A program for executing the verification step .