WO2014010470A1 - 送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システム - Google Patents

送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システム Download PDF

Info

Publication number
WO2014010470A1
WO2014010470A1 PCT/JP2013/068148 JP2013068148W WO2014010470A1 WO 2014010470 A1 WO2014010470 A1 WO 2014010470A1 JP 2013068148 W JP2013068148 W JP 2013068148W WO 2014010470 A1 WO2014010470 A1 WO 2014010470A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
application
data
timeline
response
Prior art date
Application number
PCT/JP2013/068148
Other languages
English (en)
French (fr)
Inventor
山岸　靖明
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BR112015000142A priority Critical patent/BR112015000142A2/pt
Priority to JP2014524754A priority patent/JPWO2014010470A1/ja
Priority to EP13816121.1A priority patent/EP2874399A4/en
Priority to CN201380035745.5A priority patent/CN104412605B/zh
Priority to RU2014152248A priority patent/RU2630261C2/ru
Priority to KR1020147036975A priority patent/KR102110623B1/ko
Publication of WO2014010470A1 publication Critical patent/WO2014010470A1/ja
Priority to IN2596MUN2014 priority patent/IN2014MN02596A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Definitions

  • a command for acquiring and starting a dedicated application program (hereinafter abbreviated as an application) may be transmitted to a TV receiver or the like in conjunction with the progress of the program.
  • an application a dedicated application program
  • this is realized by transmitting the command and application using a data broadcast band in a TV broadcast signal (see, for example, Patent Document 1).
  • CATV and IPTV In the United States, the number of households viewing a program via CATV or IPTV is larger than the number of households viewing a TV broadcast wave directly from a TV receiver. CATV and IPTV sometimes extract and distribute only the program video and audio signals from the TV broadcast signal, so even if a TV broadcast signal in the United States is provided with a data broadcast band, There is no guarantee that the included data broadcast signal is transmitted to the receiving device.
  • An application linkage system is an application linkage system including a content transmission device and a reception device, wherein the transmission device is configured to transmit the content generated from content that can be viewed on the reception device side.
  • a database part in which at least timeline data described as a database is stored in a database, and signature data included in a query transmitted from the receiving device by referring to the database part Identify the source content and generate a response including the content identifier representing the identified content and the timeline data describing the application identifier representing the application to be executed in conjunction with the progress of the identified content
  • One or a plurality of content identification units having a response generation unit that returns a response to the receiving device, and the timeline data are generated, and the timeline data common to the one or more content identification units is collectively obtained
  • an application can be executed in conjunction with the progress of any content being viewed.
  • This application linkage system 10 identifies (identifies) content that a user is viewing using a TV receiver screen or the like as a monitor using ACR, and executes the application in conjunction with the progress.
  • Signature data is extracted from the content input from the content renderer 31 at a predetermined sampling period.
  • the ACR client 32-i receives and holds an ACR response returned from the ACR server 26-i in response to the transmitted ACR query. Further, the ACR client 32-i analyzes the held ACR response and notifies the event handler 33 of the analysis result. Since the timeline data included in the ACR response is supplied in common to all ACR servers 26 from the timeline generation client 24, the ACR response and timeline data analysis processing in each ACR client 32 is performed. Can be shared.
  • the event handler 33 acquires an application corresponding to the content being viewed from the application server 22 via the bidirectional communication network 12 based on the analysis result of the ACR response and executes it. Further, the event handler 33 acquires metadata to be processed by the application being executed from the ACR client 32 or the application server 22.
  • the timeline data acquisition unit 41 registers timeline data supplied from the timeline generation client 24 and indicating the correspondence between the content progress timing and the event in the ACR database 43.
  • FIG. 4 shows a data structure of timeline data generated by the timeline generation client 24 of the transmission device 20.
  • the timeline data 60 is obtained by adding a content identifier 65 and timeline information 66 to an event identifier 61, an event handler identifier 62, an application identifier 63, and metadata 64 quoted from the event message 50.
  • the content identifier 65 is information representing content associated with an event.
  • the timeline information 66 is information representing the progress timing of the content associated with the event.
  • Timeline> // Timeline data ⁇ mediaId> MediaID1 ⁇ / mediaId> // Content identifier ⁇ event> // Description corresponding to event A1 ⁇ eventHandler> EventHanlderID1Url ⁇ / eventHandler> // Event handler identifier ⁇ appsUrl> Apps1Url ⁇ / appsUrl> // Application identifier ⁇ startTime> t1 ⁇ / startTime> // Timeline information ⁇ endTime> t2 ⁇ / endTime> // Timeline information ⁇ / event> ⁇ event> // Description corresponding to event A2 ⁇ eventHandler> EventHanlderID1Url ⁇ / eventHandler> // Event handler identifier ⁇ appsUrl> Apps1Url ⁇ / appsUrl> // Application identifier ⁇ metadataUrl> Metadata1Url ⁇ / metadataUrl> // Metadata identifier ⁇ startTime> T2 ⁇
  • the signature data 84 is extracted from the content by the ACR client 32.
  • the local time stamp 85 indicates the timing at which the signature data 84 is extracted from the content, and is represented by the time indicated by the local system clock of the receiving device 30.
  • FIG. 8 shows the data structure of an ACR response returned from the ACR server 26 to the ACR client 32.
  • the timeline data 97 is associated with the identified content, and includes items as shown in FIG.
  • the transmission source address 98 is an address on the bidirectional communication network 12 of the ACR server 26 that transmits the ACR response 90.
  • the signature 99 is used to prevent falsification of the ACR response 90. Note that the entire ACR response 90 may be encrypted and transmitted to prevent tampering.
  • FIG. 10 is a flowchart for explaining processing until the ACR database 43 of each ACR server 26 is generated (hereinafter referred to as ACR database registration processing).
  • step S14 the timeline generation client 24 generates timeline data in which the event message is associated with the progress timing of the content.
  • step S15 the timeline generation client 24 collectively notifies the generated timeline data to the ACR servers 26-1 to 26-N.
  • the interface (timeline data) to the ACR server 26 is shared, even if the number of ACR servers 26 is increased, an increase in load can be suppressed thereby.
  • the timeline data generation process is completed, and the process returns to step S2 in FIG.
  • step S21 the signature client 25 acquires content from the content management server 21.
  • step S22 the signature client 25 extracts signature data at a predetermined sampling period from the acquired content by an extraction method corresponding to each ACR server 26, and each ACR server 26 together with a content identifier representing the source content. To supply.
  • timeline data generation process in step S1 and the ACR reference data generation process in step S2 can be performed simultaneously in parallel.
  • step S41 the receiving device 30 starts reproducing the content.
  • the content does not have to be transmitted from the transmission device 20.
  • step S42 the content renderer 31 acquires, branches, and outputs the content being played back (that is, being viewed by the user) to the ACR client 32-i.
  • step S43 the ACR client 32-i extracts signature data at a predetermined sampling period from the content being viewed input from the content renderer 31. Further, each time the signature data is extracted, an ACR query 80 including the signature data and user profile data is generated and sent to the corresponding ACR server 26-i.
  • the number of ACR clients 32 that generate and send ACR queries is one or more.
  • the ACR response generation unit 44 refers to the ACR database 43 and stores the signature data 84 included in the received ACR query 80. Identify the corresponding content.
  • the acquired process is executed with the acquisition process omitted. If the application is already being executed, the application being executed acquires the metadata 64 of the timeline data 97 of the ACR response 90 from the ACR client 32-i and uses it. When a metadata identifier is described instead of the metadata 64, the executed application acquires and uses the metadata from the application server 22 via the bidirectional communication network 12 based on the metadata identifier. Like that.
  • FIG. 14 is a configuration example of the application linkage system 10 corresponding to the modified example. Compared to FIG. 1, an arrow for transmitting an event identifier from the event handler 33 to the event server 23 and an event server 23 to the event handler 33. An arrow for transmitting an application identifier is added.
  • the program can be installed in the storage unit 108 via the input / output interface 105 by attaching the removable medium 211 to the drive 210. Further, the program can be received by the communication unit 109 via a wired or wireless transmission medium and installed in the storage unit 108. In addition, the program can be installed in the ROM 102 or the storage unit 108 in advance.

Abstract

　本開示は、視聴中の任意のコンテンツの進行に連動してアプリケーションを実行させる場合において、コンテンツの識別に用いる複数のACRサーバに対するインタフェースを共通化することができるようにする送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システムに関する。 本開示の第１の側面である送信装置は、１または複数のコンテンツ同定部と、前記タイムラインデータを生成し、前記１または複数のコンテンツ同定部に対して一括して共通の前記タイムラインデータを供給するタイムラインデータ生成部とを備える。本開示は、放送局の放送装置などに適用できる。

Description

送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システム
　本開示は、送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システムに関し、特に、テレビジョン番組などのコンテンツの進行に連動してアプリケーションプログラムを実行させる場合に用いて好適な送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システムに関する。
　例えば、ＴＶ（テレビジョン）番組が視聴されているときに、そのＴＶ番組（以下、単に番組と称する）に関連する情報（出演者、あらすじ、次回の予告など）や、番組には直接関係しないが視聴者にとって有益な情報（ニュース、天気予報、交通情報など）などを画面上に表示することを考える。
　これを実現するためには、専用のアプリケーションプログラム（以下、アプリケーションと略記する）を取得、起動させるためのコマンドを番組の進行に連動してＴＶ受像機などに対して送信すればよい。実際、既に日本や欧州などにおいては、ＴＶ放送信号におけるデータ放送用の帯域を利用して当該コマンドやアプリケーションを送信することにより、これが実現されている（例えば、特許文献１参照）。
　一方、米国では、ＴＶ放送信号にデータ放送用の帯域が設けられておらず、それに代わる方法が確立していないので、番組の進行に連動してアプリケーションを実行させることが実現されていない。
　なお、米国では、ＴＶ受像機にてＴＶ放送波を直接受信して番組を視聴する世帯数よりも、CATVやIPTVなどを介して番組を視聴する世帯数のほうが多い。CATVやIPTVではＴＶ放送信号から番組の映像および音声の信号だけを抽出して配信することがあるので、仮に米国におけるＴＶ放送信号にデータ放送用の帯域が設けられたとしても、アプリケーションに関するデータを含めたデータ放送信号が受信装置まで伝送される保証はない。
　さらに昨今、放送中の番組のみならず、録画した番組、DVD，ＢＤなどのパッケージメディアから再生した映像、インターネット上からダウンロードした動画などの任意のコンテンツを視聴している場合においても、その進行に連動してアプリケーションを実行させたいという要求がある。
特開２００６－５０２３７号公報
　上述したように、視聴中の任意のコンテンツの進行に対応してアプリケーションを実行させるためには、視聴されているコンテンツを同定する必要がある。その一手法としては、ACR(Automatic Content Recognition)と称する技術の適用が想定されている。
　ACRは、視聴されているコンテンツから所定の抽出方式で抽出したシグニチャデータ（特徴量）と、予めデータベースに登録されているコンテンツのシグニチャデータとを比較することにより、視聴されているコンテンツを同定するものである。
　なお、ACRを用いてコンテンツの同定を行なうACRサーバのデータベースには、コンテンツのシグニチャデータの他、コンテンツを表す情報、コンテンツの進行に連動して実行するアプリケーションを表す情報なども記録される。これらの方法は、放送局などのコンテンツプロバイダやアプリケーションプロバイダから供給される。
　ところで、ACRサーバの管理、運営は、放送局などに限らず、様々な事業者の参入が考えられる。この結果、複数のACRサーバの出現が想定される。この場合においても、コンテンツプロバイダやアプリケーションプロバイダは、各ACRサーバに対して共通のインタフェースによりコンテンツやアプリケーションの情報を供給できるようにすることが望ましい。
　本開示はこのような状況に鑑みてなされたものであり、視聴中の任意のコンテンツの進行に連動してアプリケーションを実行させる場合において、コンテンツの同定に用いる複数のACRサーバに対するインタフェースを共通化できるようにするものである。
　本開示の第１の側面である送信装置は、受信装置側にて視聴され得るコンテンツから生成された前記コンテンツの特徴を表すシグニチャデータと生成元の前記コンテンツを表すコンテンツ識別子とが少なくとも記述されているリファレンスデータと、前記コンテンツに連動して実行させるアプリケーションを表すアプリケーション識別子と前記アプリケーションの実行タイミングを表すタイムライン情報とが少なくとも記述されているタイムラインデータとがデータベース化されているデータベース部と、前記データベース部を参照することにより、受信装置から送信されたクエリに含まれるシグニチャデータの抽出元のコンテンツを同定し、同定したコンテンツを表すコンテンツ識別子と、同定したコンテンツの進行に連動して実行させるアプリケーションを表す前記アプリケーション識別子が記述されている前記タイムラインデータを含むレスポンスを生成して前記受信装置に返信するレスポンス生成部とを有する１または複数のコンテンツ同定部と、前記タイムラインデータを生成し、前記１または複数のコンテンツ同定部に対して一括して共通の前記タイムラインデータを供給するタイムラインデータ生成部とを備える。
　本開示の第１の側面である送信装置は、前記タイムラインデータ生成部を制御するためのユーザインタフェース部をさらに備えることができる。
　本開示の第１の側面である送信装置は、前記１または複数の各同定サーバにそれぞれ対応する抽出方法により、受信装置側にて視聴され得る前記コンテンツから前記シグニチャデータを抽出するシグニチャデータ抽出部をさらに備えることができる。
　前記コンテンツ同定部は、前記シグニチャデータ抽出部により抽出された前記シグニチャデータを用いて前記リファレンスデータを生成するリファレンスデータ生成部をさらに有することができる。
　前記シグニチャデータ抽出部は、前記シグニチャデータとしてフィンガプリントを生成することができる。
　本開示の第１の側面である情報処理方法は、送信装置の情報処理方法において、前記送信装置による、受信装置側にて視聴され得るコンテンツから生成された前記コンテンツの特徴を表すシグニチャデータと生成元の前記コンテンツを表すコンテンツ識別子とが少なくとも記述されているリファレンスデータと、前記コンテンツに連動して実行させるアプリケーションを表すアプリケーション識別子と前記アプリケーションの実行タイミングを表すタイムライン情報とが少なくとも記述されているタイムラインデータとがデータベース化されているデータベース部と、前記データベース部を参照することにより、受信装置から送信されたクエリに含まれるシグニチャデータの抽出元のコンテンツを同定し、同定したコンテンツを表すコンテンツ識別子と、同定したコンテンツの進行に連動して実行させるアプリケーションを表す前記アプリケーション識別子が記述されている前記タイムラインデータを含むレスポンスを生成して前記受信装置に返信するレスポンス生成部とを有する１または複数のコンテンツ同定部に対して一括供給するための共通の前記タイムラインデータを生成する生成ステップと、前記共通のタイムラインデータを前記１または複数のコンテンツ同定部に対して一括供給する供給ステップとを含む。
　本開示の第１の側面であるプログラムは、コンピュータを、受信装置側にて視聴され得るコンテンツから生成された前記コンテンツの特徴を表すシグニチャデータと生成元の前記コンテンツを表すコンテンツ識別子とが少なくとも記述されているリファレンスデータと、前記コンテンツに連動して実行させるアプリケーションを表すアプリケーション識別子と前記アプリケーションの実行タイミングを表すタイムライン情報とが少なくとも記述されているタイムラインデータとがデータベース化されているデータベース部と、前記データベース部を参照することにより、受信装置から送信されたクエリに含まれるシグニチャデータの抽出元のコンテンツを同定し、同定したコンテンツを表すコンテンツ識別子と、同定したコンテンツの進行に連動して実行させるアプリケーションを表す前記アプリケーション識別子が記述されている前記タイムラインデータを含むレスポンスを生成して前記受信装置に返信するレスポンス生成部とを有する１または複数のコンテンツ同定部と、前記タイムラインデータを生成し、前記１または複数のコンテンツ同定部に対して一括して共通の前記タイムラインデータを供給するタイムラインデータ生成部として機能させる。
　本開示の第１の側面においては、受信装置側にて視聴され得るコンテンツから生成された前記コンテンツの特徴を表すシグニチャデータと生成元の前記コンテンツを表すコンテンツ識別子とが少なくとも記述されているリファレンスデータと、前記コンテンツに連動して実行させるアプリケーションを表すアプリケーション識別子と前記アプリケーションの実行タイミングを表すタイムライン情報とが少なくとも記述されているタイムラインデータとがデータベース化されているデータベース部と、前記データベース部を参照することにより、受信装置から送信されたクエリに含まれるシグニチャデータの抽出元のコンテンツを同定し、同定したコンテンツを表すコンテンツ識別子と、同定したコンテンツの進行に連動して実行させるアプリケーションを表す前記アプリケーション識別子が記述されている前記タイムラインデータを含むレスポンスを生成して前記受信装置に返信するレスポンス生成部とを有する１または複数のコンテンツ同定部に対して一括供給するための共通の前記タイムラインデータが生成され、前記共通のタイムラインデータが前記１または複数のコンテンツ同定部に対して一括供給される。
　本開示の第２の側面である受信装置は、再生されたコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、前記シグニチャデータを少なくとも含むクエリを生成して送信装置が備える１または複数のコンテンツ同定部に送信し、前記クエリに応じて前記コンテンツ同定部から返信されたレスポンスを受信するクエリ生成部と、受信された前記レスポンスに含まれる、前記１または複数のコンテンツ同定部に対して一括して共通に供給されているタイムラインデータに基づいて、前記コンテンツに対応するアプリケーションを取得し、取得した前記アプリケーションを前記コンテンツの進行に連動して実行するアプリケーション実行部とを備える。
　前記アプリケーション実行部は、受信された前記レスポンスに含まれる前記タイムラインデータに記述されているアプリケーション識別子に基づいて、前記コンテンツに対応する前記アプリケーションを取得することができる。
　前記アプリケーション実行部は、受信された前記レスポンスに含まれる前記タイムラインデータに記述されているイベント識別子に基づいて、前記コンテンツに対応する前記アプリケーションのアプリケーション識別子を取得し、取得したアプリケーション識別子に基づいて、前記コンテンツに対応する前記アプリケーションを取得することができる。
　本開示の第２の側面においては、再生されたコンテンツから前記コンテンツの特徴を表すシグニチャデータが抽出され、前記シグニチャデータを少なくとも含むクエリが生成されて送信装置が備える１または複数のコンテンツ同定部に送信され、前記クエリに応じて前記コンテンツ同定部から返信されたレスポンスが受信される。さらに、受信された前記レスポンスに含まれる、前記１または複数のコンテンツ同定部に対して一括して共通に供給されているタイムラインデータに基づいて、前記コンテンツに対応するアプリケーションが取得され、取得された前記アプリケーションが前記コンテンツの進行に連動して実行される。
　本開示の第３の側面であるアプリケーション連動システムは、コンテンツの送信装置と受信装置からなるアプリケーション連動システムにおいて、前記送信装置は、前記受信装置側にて視聴され得るコンテンツから生成された前記コンテンツの特徴を表すシグニチャデータと生成元の前記コンテンツを表すコンテンツ識別子とが少なくとも記述されているリファレンスデータと、前記コンテンツに連動して実行させるアプリケーションを表すアプリケーション識別子と前記アプリケーションの実行タイミングを表すタイムライン情報とが少なくとも記述されているタイムラインデータとがデータベース化されているデータベース部と、前記データベース部を参照することにより、受信装置から送信されたクエリに含まれるシグニチャデータの抽出元のコンテンツを同定し、同定したコンテンツを表すコンテンツ識別子と、同定したコンテンツの進行に連動して実行させるアプリケーションを表す前記アプリケーション識別子が記述されている前記タイムラインデータを含むレスポンスを生成して前記受信装置に返信するレスポンス生成部とを有する１または複数のコンテンツ同定部と、前記タイムラインデータを生成し、前記１または複数のコンテンツ同定部に対して一括して共通の前記タイムラインデータを供給するタイムラインデータ生成部とを備える。一方、前記受信装置は、再生されたコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、前記シグニチャデータを少なくとも含むクエリを生成して前記送信装置が備える１または複数のコンテンツ同定部に送信し、前記クエリに応じて前記コンテンツ同定部から返信されたレスポンスを受信するクエリ生成部と、受信された前記レスポンスに含まれる、前記１または複数のコンテンツ同定部に対して一括して共通に供給されているタイムラインデータに基づいて、前記コンテンツに対応するアプリケーションを取得し、取得した前記アプリケーションを前記コンテンツの進行に連動して実行するアプリケーション実行部とを備える。
　　本開示の第３の側面であるアプリケーション連動システムにおいては、送信装置により、受信装置側にて視聴され得るコンテンツから生成された前記コンテンツの特徴を表すシグニチャデータと生成元の前記コンテンツを表すコンテンツ識別子とが少なくとも記述されているリファレンスデータと、前記コンテンツに連動して実行させるアプリケーションを表すアプリケーション識別子と前記アプリケーションの実行タイミングを表すタイムライン情報とが少なくとも記述されているタイムラインデータとがデータベース化されているデータベース部と、前記データベース部を参照することにより、受信装置から送信されたクエリに含まれるシグニチャデータの抽出元のコンテンツを同定し、同定したコンテンツを表すコンテンツ識別子と、同定したコンテンツの進行に連動して実行させるアプリケーションを表す前記アプリケーション識別子が記述されている前記タイムラインデータを含むレスポンスを生成して前記受信装置に返信するレスポンス生成部とを有する１または複数のコンテンツ同定部に対して一括供給するための共通の前記タイムラインデータが生成され、前記共通のタイムラインデータが前記１または複数のコンテンツ同定部に対して一括供給される。また、受信装置により、再生されたコンテンツから前記コンテンツの特徴を表すシグニチャデータが抽出され、前記シグニチャデータを少なくとも含むクエリが生成されて送信装置が備える１または複数のコンテンツ同定部に送信され、前記クエリに応じて前記コンテンツ同定部から返信されたレスポンスが受信される。さらに、受信された前記レスポンスに含まれる、前記１または複数のコンテンツ同定部に対して一括して共通に供給されているタイムラインデータに基づいて、前記コンテンツに対応するアプリケーションが取得され、取得された前記アプリケーションが前記コンテンツの進行に連動して実行される。
　本開示の第１の側面によれば、コンテンツの同定に用いる複数のコンテンツ同定部に対するインタフェースを共通化することができる。
　本開示の第２の側面によれば、視聴中の任意のコンテンツの進行に連動してアプリケーションを実行することができる。
　本開示の第３の側面によれば、視聴中の任意のコンテンツの進行に連動してアプリケーションを実行させる場合において、コンテンツの識別に用いる複数のACRサーバに対するインタフェースを共通化することができる。
本開示の実施の形態であるアプリケーション連動システムの構成例を示すブロック図である。 ACRサーバの構成例を示すブロック図である。 イベントメッセージのデータ構造を示す図である。 タイムラインデータのデータ構造を示す図である。 コンテンツの進行タイミングとイベントの対応付けの例を示す図である。 ACRリファレンスデータのデータ構造を示す図である。 ACRクエリのデータ構造を示す図である。 ACRレスポンスのデータ構造を示す図である。 放送装置のオペレータ画面の表示例を示す図である。 ACRデータベース登録処理を説明するフローチャートである。 タイムラインデータ生成処理を説明するフローチャートである。 ACRリファレンスデータ生成処理を説明するフローチャートである。 アプリケーション連動システムによる一連の動作を説明するフローチャートである。 アプリケーション連動システムの変形例を示すブロック図である。 アプリケーション連動システムの変形例に対応したアプリケーション取得処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
［アプリケーション連動システムの構成例］
　図１は、本開示の実施の形態であるアプリケーション連動システムの構成例を示している。
　このアプリケーション連動システム１０は、ユーザがＴＶ受像機などの画面をモニタとして視聴しているコンテンツをACRを用いて同定（識別）し、その進行に連動してアプリケーションを実行するものである。
　ここで、コンテンツとは、ＴＶ受像機により受信される放送中の番組に限られない。例えば、ビデオレコーダにより録画再生された番組、マルチメディアプレーヤによりパッケージメディアから再生された映画等の映像、インターネットを介してダウンロードした動画などのあらゆるＡＶコンテンツが含まれる。また、番組と番組間や番組途中などに挿入されるコマーシャルメッセージ（以下、ＣＭと称する）もコンテンツに含まれる。
　アプリケーション連動システム１０は、送信装置２０と、放送網１１および双方向通信網１２を介して送信装置２０と接続される複数の受信装置３０から構成される。放送網１１は、ＴＶ放送網、CATV網、IPTV網などを指す。双方向通信網１２は、インターネットなどのIP通信網を指す。
　受信装置３０は、ＴＶ受像機などに内蔵された状態でユーザ宅などに配置されているものとする。
[送信装置２０の説明]
　送信装置２０は、コンテンツマネージメントサーバ２１、アプリケーションサーバ２２、イベントサーバ２３、タイムラインジェネレーションクライアント２４、シグニチャクライアント２５、複数のACRサーバ２６－１乃至２６－Ｎ、およびNTPサーバ２８から構成される。
　コンテンツマネージメントサーバ２１は、番組やＣＭなどのコンテンツを、放送網１１を介して放送する。
　また、コンテンツマネージメントサーバ２１は、受信側にて視聴され得るコンテンツをデコードした状態でタイムラインジェネレーションクライアント２４およびシグニチャクライアント２５に供給する。該コンテンツは、アーカイブされているものでもよいし、現在放送されているライブストリームであってもよい。
　アプリケーションサーバ２２は、コンテンツの進行に連動して実行させるアプリケーションを生成、管理しており、イベントサーバ２３から検索に応じてアプリケーションを特定するためのアプリケーション識別子(AppsUrl)を通知するとともに、該アプリケーションにて利用するメタデータをイベントサーバ２３に供給する。また、アプリケーションサーバ２２は、受信装置３０のイベントハンドラ３３からの要求に応じ、双方向通信網１２を介してアプリケーションや該アプリケーションにて利用するメタデータを供給する。
　イベントサーバ２３は、コンテンツの進行に連動してアプリケーションを実行させる処理（以下、イベントと称する）に関するイベントメッセージを生成してタイムラインジェネレーションクライアント２４に通知する。イベントメッセージの詳細については図３を参照して後述する。
　タイムラインジェネレーションクライアント２４は、コンテンツの進行タイミングにイベントメッセージを対応付けたタイムラインデータを生成し、ACRサーバ２６－１乃至２６－Ｎに対して一括し、共通のタイムラインデータを供給する。タイムラインデータの詳細については図５を参照して後述する。
　シグニチャクライアント２５は、コンテンツマネージメントサーバ２１から供給されるコンテンツから、各ACRサーバ２６にそれぞれ対応した抽出方式により、所定のサンプリング周期でシグニチャデータを抽出（生成）し、抽出（生成）元のコンテンツを表すコンテンツ識別子とともにACRサーバ２６－１乃至２６－Ｎに供給する。なお、シグニチャデータとしてフィンガプリントを生成するようにしてもよい。
　フィンガプリントは、コンテンツの解像度、アスペクト比、ビットレート、符号化フォーマットなどが変換されたとしても、変換前と変換後とで同一のものを得ることができる。したがって、シグニチャデータとしてフィンガプリントを用いれば、コンテンツの同定精度を上げることができる。
　ACRサーバ２６－ｉ（ｉ＝１，・・・Ｎ）は、受信装置３０のACRクライアント３２－１乃至３２－Ｎのうちの対応するACRクライアント３２－ｉから送信されるACRクエリに応じ、受信装置３０側で視聴されているコンテンツを同定（識別）する。さらに、そのコンテンツの進行に連動して実行させるアプリケーションの情報などを含むACRレスポンスを生成して、ACRクライアント３２－ｉに返信する。ACRクエリおよびACRレスポンスについては後述する。
　NTPサーバ２８は、送信装置３０を構成するコンテンツマネージメントサーバ２１、アプリケーションサーバ２２、イベントサーバ２３、タイムラインジェネレーションクライアント２４、シグニチャクライアント２５、およびACRサーバ２６－１乃至２６－Ｎに対して共通の時刻情報を供給する。
　なお、送信装置３０を構成するコンテンツマネージメントサーバ２１、アプリケーションサーバ２２、イベントサーバ２３、タイムラインジェネレーションクライアント２４、シグニチャクライアント２５、ACRサーバ２６－１乃至２６－Ｎ、およびNTPサーバ２８は、一箇所に集中して配置してもよいし、分散して配置してもよい。また、これらは、適宜組み合わせて構成するようにしてもよい。
[受信装置３０の説明]
　受信装置３０は、コンテンツレンダラ３１、複数のACRクライアント３２－１乃至３２－Ｋ、およびイベントハンドラ３３を有する。
　コンテンツレンダラ３１は、受信装置３０が内蔵されているＴＶ受像機などの画面に表示される全てのコンテンツを取得、分岐してACRクライアント３２に供給する。すなわち、コンテンツレンダラ３１は、コンテンツマネージメントサーバ２１から放送され、受信されたコンテンツのみならず、ＴＶ受像機の各種入力端子(HDMI（登録商標）端子など)を介して入力されるコンテンツも取得、分岐してACRクライアント３２－１乃至３２－Ｎに供給する。
　ACRクライアント３２－ｉ（ｉ＝１，・・・Ｋ（Ｋ≦Ｎ））は、送信装置２０のACRサーバ２６－ｉに対応するものであり、ACRサーバ２６－ｉに対応する抽出方式により、コンテンツレンダラ３１より入力されるコンテンツからシグニチャデータを所定のサンプリング周期で抽出する。
　また、ACRクライアント３２－ｉは、抽出したシグニチャデータとユーザプロファイルデータを格納したACRクエリを生成し、双方向通信網１２を介して送信装置２０のACRサーバ２６－１乃至２６－Ｎのうちの対応するACRサーバ２６－ｉに送信する。
　ACRクエリに格納されるユーザプロファイルデータには、ユーザのデモグラフィック属性（年齢、性別、職業、学歴、居住地域、メールアドレス、趣味、嗜好、使用言語、世帯規模、コンテンツの視聴傾向など）、受信装置３０のスペック（利用可能CODECの種類等）、双方向通信網１２の輻輳状況、自然環境情報（天気、温度、湿度等）等の項目を含むことができる。
　また、ACRクライアント３２－ｉは、送信したACRクエリに応じてACRサーバ２６－ｉから返信されるACRレスポンスを受信、保持する。さらに、ACRクライアント３２－ｉは、保持したACRレスポンスを解析し、解析結果をイベントハンドラ３３に通知する。なお、ACRレスポンスに含まれるタイムラインデータは、タイムラインジェネレーションクライアント２４から全てのACRサーバ２６に対して共通に供給されたものであるので、各ACRクライアント３２におけるACRレスポンスやタイムラインデータの解析処理を共通化することができる。
　イベントハンドラ３３は、ACRレスポンスの解析結果に基づき、視聴中のコンテンツに対応するアプリケーションを、双方向通信網１２を介してアプリケーションサーバ２２から取得して実行する。また、イベントハンドラ３３は、実行中のアプリケーションにて処理するメタデータをACRクライアント３２またはアプリケーションサーバ２２から取得する。
［ACRサーバ２６の詳細な構成例］
　図２は、ACRサーバ２６の詳細な構成例を示している。
　ACRサーバ２６は、タイムラインデータ取得部４１、ACRリファレンスデータ生成部４２、ACRデータベース４３、およびACRレスポンス生成部４４から構成される。
　タイムラインデータ取得部４１は、タイムラインジェネレーションクライアント２４から供給される、コンテンツの進行タイミングとイベントとの対応を表すタイムラインデータをACRデータベース４３に登録する。
　ACRリファレンスデータ生成部４２は、シグニチャクライアント２５から供給されたシグニチャデータに、その抽出（生成）元のコンテンツを表すコンテンツ識別子と抽出（生成）タイミングを表す再生時刻とを対応付けてACRリファレンスデータを生成し、ACRデータベース４３に登録する。ACRリファレンスデータのデータ構造については図６を参照して後述する。
　ACRデータベース４３は、タイムラインデータ取得部４１からのタイムラインデータと、ACRリファレンスデータ生成部４２からのACRリファレンスデータのインデックスを作成して記憶する。なお、ACRデータベース４３は、クラウド上に展開してもよい。
　ACRレスポンス生成部４４は、ACRデータベース４３を参照することにより、ACRクライアント３２から送信されるACRクエリに含まれるシグニチャデータの抽出元のコンテンツを同定するとともに、該コンテンツに対応付けられたタイムラインデータを特定する。さらに、ACRレスポンス生成部４４は、同定結果のコンテンツ識別子やそれに対応するタイムラインデータなどを含むACRレスポンスを生成する。なお、ACRレスポンスを生成するに際しては、ACRクエリに含まれるユーザプロファイルデータに基づいて、ACRレスポンスに含めるタイムラインデータの中のメタデータ等をマッチングしたり、フィルタリングしたりして、受信装置３０のユーザに適したデータを送るようにしてもよい。
[各種データの構造について]
　次に、上述した各種のデータの構造について説明する。
[イベントメッセージのデータ構造]
　図３は、送信装置２０のイベントサーバ２３にて生成されるイベントメッセージのデータ構造を示している。
　イベントメッセージ５０には、各イベント毎に生成されるものであり、イベント識別子５１、イベントハンドラ識別子５２、アプリケーション識別子５３、およびメタデータ５４が格納されている。
　イベント識別子５１は、各イベントの識別情報である。イベントハンドラ識別子５２は、該イベントを処理する受信装置３０のイベントハンドラ３３を表す情報である。アプリケーション識別子５３は、該イベントを実現するために実行されるアプリケーションを識別するための情報である。該アプリケーション識別子５３は、例えばURL(Uniform Resource Locator)により表記され、該アプリケーションの取得先（アプリケーションサーバ２２）も表している。メタデータ５４は、アプリケーション識別子５３が表すアプリケーションにより処理されるデータである。なお、メタデータ５４の代わりに、該メタデータを識別するとともに、その取得先を表す、URLにより表記されたメタデータ識別子を格納してもよい。
[タイムラインデータのデータ構造]
　図４は、送信装置２０のタイムラインジェネレーションクライアント２４にて生成されるタイムラインデータのデータ構造を示している。
　タイムラインデータ６０は、イベントメッセージ５０から引用したイベント識別子６１、イベントハンドラ識別子６２、アプリケーション識別子６３、およびメタデータ６４に、コンテンツ識別子６５およびタイムライン情報６６を追加したものである。コンテンツ識別子６５は、イベントを対応付けたコンテンツを表す情報である。タイムライン情報６６は、イベントに対応付けた該コンテンツの進行タイミングを表す情報である。
　例えば、図５に示されるように、コンテンツＡの進行タイミングｔ１からｔ２まではイベントＡ１が実行され、進行タイミングｔ２からｔ３まではイベントＡ２が実行されるように対応付けられた場合の具体的な記述例は以下のとおりである。
<timeLine>//タイムラインデータ
  <mediaId>MediaID1</mediaId>//コンテンツ識別子
  <event> //イベントＡ１に対応する記載
<eventHandler>EventHanlderID1Url</eventHandler>//イベントハンドラ識別子
<appsUrl>Apps1Url</appsUrl>//アプリケーション識別子
<startTime>t1</startTime>//タイムライン情報
<endTime>t2</endTime>//タイムライン情報
  </event>
  <event> //イベントＡ２に対応する記述
<eventHandler>EventHanlderID1Url</eventHandler>//イベントハンドラ識別子
<appsUrl>Apps1Url</appsUrl>//アプリケーション識別子
<metadataUrl>Metadata1Url</metadataUrl>//メタデータ識別子
<startTime>T2</startTime>//タイムライン情報
<endTime>T3</endTime>//タイムライン情報
  </event>
  ・・・
</timeLine>
[ACRリファレンスデータのデータ構造]
　次に、図６は、ACRサーバ２６のACRリファレンスデータ生成部４２により生成されるACRリファレンスデータのデータ構造を示している。
　ACRリファレンスデータ７０においては、シグニチャクライアント２５から供給されたシグニチャデータ７１に対して、コンテンツ識別子７２、および再生時刻７３が対応付けられている。
　シグニチャデータ７１は、シグニチャクライアント２５から供給されたものである。コンテンツ識別子７２は、当該シグニチャデータ７１の抽出元のコンテンツを識別するための情報である。再生時刻７３は、コンテンツ識別子７２が表すコンテンツから該シグニチャデータ７１が抽出されたときのコンテンツの進行タイミングを示すものであり、該コンテンツの先頭からの経過時間によって表される。
[ACRクエリのデータ構造]
　図７は、ACRクライアント３２からACRサーバ２６に送信されるACRクエリのデータ構造を示している。
　ACRクエリ８０には、ACRクエリ識別子８１、抽出方式識別子８２、サービス識別子８３、シグニチャデータ８４、ローカルタイムスタンプ８５、ユーザプロファイルデータ８６、発信元アドレス８７、および署名８８が含まれる。
　ACRクエリ識別子８１は、当該ACRクエリ８０を一意に特定するための情報である。抽出方式識別子８２は、シグニチャデータ８４を抽出する際に用いられた抽出方式を特定するための情報である。サービス識別子８３は、当該ACRクエリ８０を送信してACRレスポンスを得るACRサーバ２６を、複数存在するACRサーバ２６－１乃至２６－Ｎの中から選択するための情報である。
　シグニチャデータ８４は、ACRクライアント３２にてコンテンツから抽出されたものである。ローカルタイムスタンプ８５は、コンテンツからシグニチャデータ８４が抽出されたタイミングを示すものであり、受信装置３０のローカルシステムクロックが示す時刻により表される。
　ユーザプロファイルデータ８６は、ユーザのデモグラフィック属性などを含む情報である。発信元アドレス８７は、該ACRクエリ８０を発信するACRクライアント３２の双方向通信網１２におけるアドレスであり、該ACRクエリ８０に応じてACRサーバ２６にて生成されるACRレスポンスの返信先を表す情報として利用される。署名８８は、該ACRクエリ８０の改ざんを抑止するためのものである。なお、ACRクエリ８０の全体を暗号化して送信するようにしてもよい。
[ACRレスポンスのデータ構造]
　図８は、ACRサーバ２６からACRクライアント３２に返信されるACRレスポンスのデータ構造を示している。
　なお、同図Ａは、ACRクエリ８０に含まれるシグニチャデータ８４の抽出元のコンテンツが同定できた場合、すなわち、受信装置３０にて視聴中のコンテンツを同定できた場合のACRレスポンスのデータ構造である。同図Ｂはコンテンツが同定できなかった場合のACRレスポンスのデータ構造である。
　受信装置３０にて視聴中のコンテンツが同定できた場合のACRレスポンス９０（同図Ａ）には、ACRクエリ識別子９１、抽出方式識別子９２、サービス識別子９３、コンテンツ識別子９４、再生時刻９５、ローカルタイムスタンプ９６、タイムラインデータ９７、発信元アドレス９８、および署名９９が含まれる。
　一方、受信装置３０にて視聴中のコンテンツが同定できなかった場合のACRレスポンス９０（同図Ｂ）には、ACRクエリ識別子９１、サービス識別子９３、発信元アドレス９８、署名９９、および同定失敗フラグ１０１が含まれる。
　ACRクエリ識別子９１、抽出方式識別子９２、サービス識別子９３、ローカルタイムスタンプ９６は、該ACRレスポンス９０が生成されるトリガとなったACRクエリ８０を特定するためのものであり、対応するACRクエリ８０のACRクエリ識別子８１、抽出方式識別子８２、サービス識別子８３、およびローカルタイムスタンプ８５が引用されて記述される。
　コンテンツ識別子９４、および再生時刻９５は、同定結果を表すものであり、対応するACRリファレンスデータ７０のコンテンツ識別子７２、および再生時刻７３が引用されて記述される。
　タイムラインデータ９７は、同定されたコンテンツに対応付けられたものであり、図４に示されたように項目を含む。
　発信元アドレス９８は、該ACRレスポンス９０を送信するACRサーバ２６の双方向通信網１２上のアドレスである。署名９９は、該ACRレスポンス９０の改ざんを抑止するためのものである。なお、ACRレスポンス９０の全体を暗号化して送信することにより、その改ざんを防止するようにしてもよい。
　同定失敗フラグ１０１は、ACRサーバ２６にて、ACRクライアント３２からのACRクエリ８０に含まれるシグニチャデータ８４の抽出元のコンテンツ、すなわち、受信装置３０で視聴中のコンテンツを同定することができなかったことを表すフラグである。
［オペレータ画面の説明］
　図９は、放送装置２０のオペレータがイベントサーバ２３およびタイムラインジェネレーションクライアント２４を制御するためのオペレータ画面１１０の表示例を示している。なお、該オペレータ画面１１０が表示される段階においては、既にイベントを対応付けるコンテンツが選択されているものとする。
　該オペレータ画面１１０には、アプリケーション選択領域１１１、イベントオーサリング領域１１２、コンテンツ再生領域１１３、およびタイムライン設定領域１１４が設けられている。
　アプリケーション選択領域１１１では、各イベントにおいて実行させるアプリケーションを選択することができる。イベントオーサリング領域１１２では、各イベントで実行されたアプリケーションにより表示させる情報をオーサリングすることができる。コンテンツ再生領域１１３では、コンテンツとそれに連動するアプリケーションの表示を確認することができる。タイムライン設定領域１１４では、コンテンツの進行タイミングに対してイベントを対応付けることができる。また、タイムライン設定領域１１４では、イベントに対応付けられたアプリケーションを確認することができる。
［アプリケーション連動システム１０による動作］
　次に、アプリケーション連動システム１０の動作について説明する。
　図１０は、各ACRサーバ２６のACRデータベース４３が生成されるまでの処理（以下、ACRデータベース登録処理と称する）を説明するフローチャートである。
　ステップＳ１において、タイムラインデータを生成するタイムラインデータ生成処理が行われる。図１１は、タイムラインデータ生成処理を詳述するフローチャートである。
　ステップＳ１１において、タイムラインジェネレーションクライアント２４は、コンテンツマネージメントサーバ２１から、コンテンツを取得する。ステップＳ１２において、イベントサーバ２３は、コンテンツに連動させるためのアプリケーションをアプリケーションサーバ２２から検索して決定し、アプリケーションサーバ２２からアプリケーション識別子などを取得する。ステップＳ１３において、イベントサーバ２３は、アプリケーション識別子などを含むイベントメッセージを生成してタイムラインジェネレーションクライアント２４に出力する。
　ステップＳ１４において、タイムラインジェネレーションクライアント２４は、コンテンツの進行タイミングにイベントメッセージを対応付けたタイムラインデータを生成する。ステップＳ１５において、タイムラインジェネレーションクライアント２４は、生成したタイムラインデータをACRサーバ２６－１乃至２６－Ｎに一括して通知する。このように、ACRサーバ２６に対するインタフェース（タイムラインデータ）を共通化しているので、ACRサーバ２６の数が増加したとしても、それにより負荷増加を抑止できる。以上で、タイムラインデータ生成処理は終了されて、処理は図１０のステップＳ２にリターンされる。
　ステップＳ２において、ACRリファレンスデータを生成するACRリファレンスデータ生成処理が行われる。図１２は、ACRリファレンスデータ生成処理を詳述するフローチャートである。
　ステップＳ２１において、シグニチャクライアント２５は、コンテンツマネージメントサーバ２１からコンテンツを取得する。ステップＳ２２において、シグニチャクライアント２５は、取得したコンテンツから、各ACRサーバ２６にそれぞれ対応した抽出方式により、所定のサンプリング周期でシグニチャデータを抽出し、抽出元のコンテンツを表すコンテンツ識別子とともに各ACRサーバ２６に供給する。
　ステップＳ２３において、各ACRサーバ２６のACRリファレンスデータ生成部４２は、シグニチャクライアント２５から供給されたシグニチャデータに、その抽出（生成）元のコンテンツを表すコンテンツ識別子と抽出（生成）タイミングを表す再生時刻とを対応付けてACRリファレンスデータを生成する。以上で、ACRリファレンスデータ生成処理は終了されて、処理は図１０のステップＳ３にリターンされる。
　なお、上述したステップＳ１のタイムラインデータ生成処理と、ステップＳ２のACRリファレンスデータ生成処理とは並行して同時に行なうことができる。
　ステップＳ３において、ACRデータベース４３は、ステップＳ１で生成されたタイムラインデータと、ステップＳ２で生成されたACRリファレンスデータのインデックスを作成して記憶する。以上で、ACRデータベース登録処理は終了される。
　図１３は、アプリケーション連動システム１０の全体としての一連動作を説明するフローチャートである。
　なお、前提として、送信装置２０は既に、上述したACRデータベース登録処理を実行しており、各ACRサーバ２６のACRデータベース４３が生成されているものとする。
　この一連動作においては、送信装置２０は、以下に説明するステップＳ３１乃至Ｓ３３を繰り返す。一方、受信装置３０は、以下に説明するステップＳ４１乃至Ｓ４４を繰り返す。
　ステップＳ３１において、送信装置２０は、コンテンツマネジメントサーバ２１から放送網１１を介したコンテンツの送信を開始する。
　一方、受信装置３０は、ステップＳ４１において、コンテンツの再生を開始する。なお、該コンテンツは、送信装置２０から送信されたものでなくても構わない。
　ステップＳ４２において、コンテンツレンダラ３１は、再生中（すなわち、ユーザが視聴中）のコンテンツを取得、分岐してACRクライアント３２－ｉに出力する。ステップＳ４３において、ACRクライアント３２－ｉは、コンテンツレンダラ３１から入力される視聴中のコンテンツから、所定のサンプリング周期でシグニチャデータを抽出する。さらに、シグニチャデータを抽出する毎、該シグニチャデータとユーザプロファイルデータを含むACRクエリ８０を生成して、対応するACRサーバ２６－ｉに送出する。なお、ACRクエリを生成、送出するACRクライアント３２の数は１または複数とする。
　ACRクライアント３２－ｉからのACRクエリ８０を受信したACRサーバ２６－ｉでは、ステップＳ３２において、ACRレスポンス生成部４４が、ACRデータベース４３を参照し、受信したACRクエリ８０に含まれるシグニチャデータ８４に対応するコンテンツを同定する。
　ステップＳ３３において、ACRレスポンス生成部４４は、コンテンツの同定結果に応じ、ACRレスポンス９０を生成する。この際、ACRクエリ８０に含まれていたユーザプロファイルデータ８６に基づき、ACRレスポンス９０に含めるタイムラインデータ９７内のメタデータ６４をマッチングしたり、フィルタリングしたりしてもよい。さらに、ACRレスポンス生成部４４は、生成したACRレスポンス９０を対応するACRクライアント３２－ｉに返信する。
　ACRサーバ２６－ｉからのACRレスポンス９０を受信したACRクライアント３２－ｉは、ステップＳ４４において、ACRレスポンス９０に含まれるタイムラインデータ９７を解析し、そこに記述されているアプリケーション識別子６３を、イベントハンドラ識別子６２が示すイベントハンドラ３３に通知する。イベントハンドラ３３は、双方向通信網１２を介してアプリケーションサーバ２２にアクセスし、通知されたアプリケーション識別子６３に対応するアプリケーションを取得、実行する。
　なお、該アプリケーションを既に取得済みであった場合には、取得の処理を省略して取得済みのものを実行する。また、該アプリケーションが既に実行中であった場合には、実行中のアプリケーションは、ACRレスポンス９０のタイムラインデータ９７のメタデータ６４をACRクライアント３２－ｉから取得してそれを用いるようにする。また、メタデータ６４の代わりにメタデータ識別子が記述されている場合、実行されたアプリケーションは、該メタデータ識別子に基づき、双方向通信網１２を介してアプリケーションサーバ２２からメタデータを取得して用いるようにする。
　以上に説明したステップＳ３１乃至Ｓ３３の処理、およびステップＳ４１乃至４４の処理は、受信装置３０側でコンテンツが視聴されている間、繰り返し実行される。これにより、視聴中のコンテンツの進行タイミングに連動したアプリケーションの動作が可能となる。
［変形例］
　次に、アプリケーション連動システム１０の一連動作の変形例を、図１４および図１５を参照して説明する。
　図１４は、該変形例に対応したアプリケーション連動システム１０の構成例であり、図１に対して、イベントハンドラ３３からイベントサーバ２３にイベント識別子を送信する矢印と、イベントサーバ２３からイベントハンドラ３３にアプリケーション識別子を送信する矢印を追加したものである。
　一連動作の変形例では、受信装置３０のACRクライアント２６－ｉがACRレスポンス９０を受信した後、イベントハンドラ３３がアプリケーションを取得、実行するまでの処理（以下、アプリケーション取得処理と称する）が上述した説明と異なる。
　図１５は、該変形例におけるアプリケーション取得処理を説明するフローチャートである。
　送信装置２０のACRサーバ２６－ｉから返信されたACRレスポンス９０を受信した受信装置３０のACRクライアント３２－ｉは、ステップＳ５１において、ACRレスポンス９０に含まれるタイムラインデータ９７を解析し、そこに記述されているイベント識別子６１を、イベントハンドラ識別子６２が示すイベントハンドラ３３に通知する。イベントハンドラ３３は、双方向通信網１２を介してイベントサーバ２３にアクセスし、イベント識別子６１を通知することにより、対応するアプリケーション識別子６３を得る。
　ステップＳ５２において、イベントハンドラ３３は、双方向通信網１２を介してアプリケーションサーバ２２にアクセスし、通知されたアプリケーション識別子６３に対応するアプリケーションを取得、実行する。以上で、該変形例におけるアプリケーション取得処理の説明を終了する。
　ところで、上述した一連の処理を実行する送信装置２０および受信装置３０は、それぞれをハードウェアにより構成する他、コンピュータがソフトウェアを実行することにより実現することもできる。このコンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１６は、上述したコンピュータのハードウェアの構成例を示すブロック図である。
　このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ１００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１０　アプリケーション連動システム，　１１　放送網，　１２　双方向通信網，　２０　送信装置，　２１　コンテンツマネージメントサーバ，　２２　アプリケーションサーバ，　２３　イベントサーバ，　２４　タイムラインジェネレーションクライアント，　２５　シグニチャクライアント，　２６　ACRサーバ，　２８　NTPサーバ，　３０　受信装置，　３１　コンテンツレンダラ，　３２　ACRクライアント，　３３　イベントハンドラ，　４１　タイムラインデータ取得部，　４２　ACRリファレンスデータ生成部，　４３　ACRデータベース，　４４　ACRレスポンス生成部，　５０　イベントメッセージ，　６０　タイムラインデータ，　７０　ACRリファレンスデータ，　８０　ACRクエリ，　９０　ACRレスポンス，１１０　オペレータ画面，　２００　コンピュータ，　２０１　CPU

Claims (11)

  1. 　　受信装置側にて視聴され得るコンテンツから生成された前記コンテンツの特徴を表すシグニチャデータと生成元の前記コンテンツを表すコンテンツ識別子とが少なくとも記述されているリファレンスデータと、前記コンテンツに連動して実行させるアプリケーションを表すアプリケーション識別子と前記アプリケーションの実行タイミングを表すタイムライン情報とが少なくとも記述されているタイムラインデータとがデータベース化されているデータベース部と、
    　　前記データベース部を参照することにより、受信装置から送信されたクエリに含まれるシグニチャデータの抽出元のコンテンツを同定し、同定したコンテンツを表すコンテンツ識別子と、同定したコンテンツの進行に連動して実行させるアプリケーションを表す前記アプリケーション識別子が記述されている前記タイムラインデータを含むレスポンスを生成して前記受信装置に返信するレスポンス生成部と
    　を有する１または複数のコンテンツ同定部と、
    　前記タイムラインデータを生成し、前記１または複数のコンテンツ同定部に対して一括して共通の前記タイムラインデータを供給するタイムラインデータ生成部と
    　を備える送信装置。
  2. 　前記タイムラインデータ生成部を制御するためのユーザインタフェース部を
    　さらに備える請求項１に記載の送信装置。
  3. 　前記１または複数の各同定サーバにそれぞれ対応する抽出方法により、受信装置側にて視聴され得る前記コンテンツから前記シグニチャデータを抽出するシグニチャデータ抽出部を
    　さらに備える請求項２に記載の送信装置。
  4. 　前記コンテンツ同定部は、前記シグニチャデータ抽出部により抽出された前記シグニチャデータを用いて前記リファレンスデータを生成するリファレンスデータ生成部を
    　さらに有する請求項３に記載の送信装置。
  5. 　前記シグニチャデータ抽出部は、前記シグニチャデータとしてフィンガプリントを生成する
    　請求項３に記載の送信装置。
  6. 　送信装置の情報処理方法において、
    　前記送信装置による、
    　　　受信装置側にて視聴され得るコンテンツから生成された前記コンテンツの特徴を表すシグニチャデータと生成元の前記コンテンツを表すコンテンツ識別子とが少なくとも記述されているリファレンスデータと、前記コンテンツに連動して実行させるアプリケーションを表すアプリケーション識別子と前記アプリケーションの実行タイミングを表すタイムライン情報とが少なくとも記述されているタイムラインデータとがデータベース化されているデータベース部と、
    　　　前記データベース部を参照することにより、受信装置から送信されたクエリに含まれるシグニチャデータの抽出元のコンテンツを同定し、同定したコンテンツを表すコンテンツ識別子と、同定したコンテンツの進行に連動して実行させるアプリケーションを表す前記アプリケーション識別子が記述されている前記タイムラインデータを含むレスポンスを生成して前記受信装置に返信するレスポンス生成部と
    　　を有する１または複数のコンテンツ同定部に対して一括供給するための共通の前記タイムラインデータを生成する生成ステップと、
    　　前記共通のタイムラインデータを前記１または複数のコンテンツ同定部に対して一括供給する供給ステップと
    　を含む情報処理方法。
  7. 　コンピュータを、
    　　受信装置側にて視聴され得るコンテンツから生成された前記コンテンツの特徴を表すシグニチャデータと生成元の前記コンテンツを表すコンテンツ識別子とが少なくとも記述されているリファレンスデータと、前記コンテンツに連動して実行させるアプリケーションを表すアプリケーション識別子と前記アプリケーションの実行タイミングを表すタイムライン情報とが少なくとも記述されているタイムラインデータとがデータベース化されているデータベース部と、
    　　前記データベース部を参照することにより、受信装置から送信されたクエリに含まれるシグニチャデータの抽出元のコンテンツを同定し、同定したコンテンツを表すコンテンツ識別子と、同定したコンテンツの進行に連動して実行させるアプリケーションを表す前記アプリケーション識別子が記述されている前記タイムラインデータを含むレスポンスを生成して前記受信装置に返信するレスポンス生成部と
    　を有する１または複数のコンテンツ同定部と、
    　前記タイムラインデータを生成し、前記１または複数のコンテンツ同定部に対して一括して共通の前記タイムラインデータを供給するタイムラインデータ生成部と
    　して機能させるプログラム。
  8. 　再生されたコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、
    　前記シグニチャデータを少なくとも含むクエリを生成して送信装置が備える１または複数のコンテンツ同定部に送信し、前記クエリに応じて前記コンテンツ同定部から返信されたレスポンスを受信するクエリ生成部と、
    　受信された前記レスポンスに含まれる、前記１または複数のコンテンツ同定部に対して一括して共通に供給されているタイムラインデータに基づいて、前記コンテンツに対応するアプリケーションを取得し、取得した前記アプリケーションを前記コンテンツの進行に連動して実行するアプリケーション実行部と
    　を備える受信装置。
  9. 　前記アプリケーション実行部は、受信された前記レスポンスに含まれる前記タイムラインデータに記述されているアプリケーション識別子に基づいて、前記コンテンツに対応する前記アプリケーションを取得する
    　請求項８に記載の受信装置。
  10. 　前記アプリケーション実行部は、受信された前記レスポンスに含まれる前記タイムラインデータに記述されているイベント識別子に基づいて、前記コンテンツに対応する前記アプリケーションのアプリケーション識別子を取得し、取得したアプリケーション識別子に基づいて、前記コンテンツに対応する前記アプリケーションを取得する
    　請求項８に記載の受信装置。
  11. 　コンテンツの送信装置と受信装置からなるアプリケーション連動システムにおいて、
    　前記送信装置は、
    　　　前記受信装置側にて視聴され得るコンテンツから生成された前記コンテンツの特徴を表すシグニチャデータと生成元の前記コンテンツを表すコンテンツ識別子とが少なくとも記述されているリファレンスデータと、前記コンテンツに連動して実行させるアプリケーションを表すアプリケーション識別子と前記アプリケーションの実行タイミングを表すタイムライン情報とが少なくとも記述されているタイムラインデータとがデータベース化されているデータベース部と、
    　　　前記データベース部を参照することにより、受信装置から送信されたクエリに含まれるシグニチャデータの抽出元のコンテンツを同定し、同定したコンテンツを表すコンテンツ識別子と、同定したコンテンツの進行に連動して実行させるアプリケーションを表す前記アプリケーション識別子が記述されている前記タイムラインデータを含むレスポンスを生成して前記受信装置に返信するレスポンス生成部と
    　　を有する１または複数のコンテンツ同定部と、
    　　前記タイムラインデータを生成し、前記１または複数のコンテンツ同定部に対して一括して共通の前記タイムラインデータを供給するタイムラインデータ生成部と
    　を備え、
    　前記受信装置は、
    　　再生されたコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、
    　　前記シグニチャデータを少なくとも含むクエリを生成して前記送信装置が備える１または複数のコンテンツ同定部に送信し、前記クエリに応じて前記コンテンツ同定部から返信されたレスポンスを受信するクエリ生成部と、
    　　受信された前記レスポンスに含まれる、前記１または複数のコンテンツ同定部に対して一括して共通に供給されているタイムラインデータに基づいて、前記コンテンツに対応するアプリケーションを取得し、取得した前記アプリケーションを前記コンテンツの進行に連動して実行するアプリケーション実行部と
    　を備える
    　アプリケーション連動システム。
PCT/JP2013/068148 2012-07-12 2013-07-02 送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システム WO2014010470A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
BR112015000142A BR112015000142A2 (pt) 2012-07-12 2013-07-02 dispositivo de transmissão, método para processar informação, programa, dispositivo de recepção, e, sistema de cooperação de aplicativo
JP2014524754A JPWO2014010470A1 (ja) 2012-07-12 2013-07-02 送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システム
EP13816121.1A EP2874399A4 (en) 2012-07-12 2013-07-02 TRANSMITTING DEVICE, METHOD FOR DATA PROCESSING, PROGRAM, RECEIVING DEVICE, AND APPLICATION LINKAGE SYSTEM
CN201380035745.5A CN104412605B (zh) 2012-07-12 2013-07-02 发送装置、信息处理方法、程序、接收装置和应用链接系统
RU2014152248A RU2630261C2 (ru) 2012-07-12 2013-07-02 Передающее устройство, способ обработки информации, программа, приемное устройство и система взаимодействия приложения
KR1020147036975A KR102110623B1 (ko) 2012-07-12 2013-07-02 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템
IN2596MUN2014 IN2014MN02596A (ja) 2012-07-12 2014-12-23

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261670900P 2012-07-12 2012-07-12
US61/670900 2012-07-12

Publications (1)

Publication Number Publication Date
WO2014010470A1 true WO2014010470A1 (ja) 2014-01-16

Family

ID=49914901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/068148 WO2014010470A1 (ja) 2012-07-12 2013-07-02 送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システム

Country Status (9)

Country Link
US (1) US9489421B2 (ja)
EP (1) EP2874399A4 (ja)
JP (1) JPWO2014010470A1 (ja)
KR (1) KR102110623B1 (ja)
CN (1) CN104412605B (ja)
BR (1) BR112015000142A2 (ja)
IN (1) IN2014MN02596A (ja)
RU (1) RU2630261C2 (ja)
WO (1) WO2014010470A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6469996B2 (ja) * 2014-09-09 2019-02-13 オリンパス株式会社 撮像素子および内視鏡装置
CN104391708B (zh) * 2014-12-08 2017-09-15 畅捷通信息技术股份有限公司 时间确定方法与时间确定装置
US10089095B2 (en) 2015-05-06 2018-10-02 Mcafee, Llc Alerting the presence of bundled software during an installation
CN108605150A (zh) 2016-01-05 2018-09-28 格雷斯诺特公司 具有基于内容特性的触发特征的计算系统
CN105933780A (zh) * 2016-04-14 2016-09-07 乐视控股（北京）有限公司 一种焦点图的处理方法及装置
US10986421B2 (en) 2017-07-03 2021-04-20 Dolby Laboratories Licensing Corporation Identification and timing data for media content
US11263261B2 (en) * 2020-02-14 2022-03-01 Alibaba Group Holding Limited Method and system for characteristic-based video processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209204A (ja) * 2000-04-14 2002-07-26 Nippon Telegr & Teleph Corp <Ntt> 放送情報に関連した情報の取得方法及びシステム並びに装置
JP2006050237A (ja) 2004-08-04 2006-02-16 Sony Corp 端末装置およびデータ処理方法、プログラム並びに記録媒体
JP2007116211A (ja) * 2005-10-17 2007-05-10 Nippon Telegr & Teleph Corp <Ntt> コンテンツ関連情報提供方法及びシステム及びプログラム

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664227A (en) * 1994-10-14 1997-09-02 Carnegie Mellon University System and method for skimming digital audio/video data
US5661787A (en) * 1994-10-27 1997-08-26 Pocock; Michael H. System for on-demand remote access to a self-generating audio recording, storage, indexing and transaction system
US6184877B1 (en) * 1996-12-11 2001-02-06 International Business Machines Corporation System and method for interactively accessing program information on a television
US6400378B1 (en) * 1997-09-26 2002-06-04 Sony Corporation Home movie maker
US7194752B1 (en) * 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
US20020069100A1 (en) * 1999-12-01 2002-06-06 Joel Arberman System and method for content recognition over the internet
US20040220926A1 (en) * 2000-01-03 2004-11-04 Interactual Technologies, Inc., A California Cpr[P Personalization services for entities from multiple sources
US6834308B1 (en) * 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
AU4691001A (en) * 2000-04-14 2001-10-30 Nippon Telegraph & Telephone Method, system, and apparatus for acquiring information concerning broadcast information
CN100592788C (zh) 2000-04-14 2010-02-24 日本电信电话株式会社 与广播信息相关的信息取得方法、系统和装置
US9292516B2 (en) * 2005-02-16 2016-03-22 Sonic Solutions Llc Generation, organization and/or playing back of content based on incorporated parameter identifiers
US20020162118A1 (en) * 2001-01-30 2002-10-31 Levy Kenneth L. Efficient interactive TV
US7877438B2 (en) * 2001-07-20 2011-01-25 Audible Magic Corporation Method and apparatus for identifying new media content
US20030117428A1 (en) * 2001-12-20 2003-06-26 Koninklijke Philips Electronics N.V. Visual summary of audio-visual program features
US6946715B2 (en) * 2003-02-19 2005-09-20 Micron Technology, Inc. CMOS image sensor and method of fabrication
US20040240562A1 (en) * 2003-05-28 2004-12-02 Microsoft Corporation Process and system for identifying a position in video using content-based video timelines
US20060195860A1 (en) * 2005-02-25 2006-08-31 Eldering Charles A Acting on known video entities detected utilizing fingerprinting
US8645991B2 (en) * 2006-03-30 2014-02-04 Tout Industries, Inc. Method and apparatus for annotating media streams
US20080036917A1 (en) * 2006-04-07 2008-02-14 Mark Pascarella Methods and systems for generating and delivering navigatable composite videos
US8458595B1 (en) * 2006-05-31 2013-06-04 Adobe Systems Incorporated Video editing including simultaneously displaying timelines and storyboards
RU2446583C2 (ru) * 2006-06-13 2012-03-27 Конинклейке Филипс Электроникс Н.В. Распространение окружения и контента
US20080126191A1 (en) * 2006-11-08 2008-05-29 Richard Schiavi System and method for tagging, searching for, and presenting items contained within video media assets
US8418206B2 (en) * 2007-03-22 2013-04-09 United Video Properties, Inc. User defined rules for assigning destinations of content
US8312023B2 (en) * 2007-12-21 2012-11-13 Georgetown University Automated forensic document signatures
US8103966B2 (en) * 2008-02-05 2012-01-24 International Business Machines Corporation System and method for visualization of time-based events
US8171410B2 (en) * 2008-05-29 2012-05-01 Telcordia Technologies, Inc. Method and system for generating and presenting mobile content summarization
US8959108B2 (en) * 2008-06-18 2015-02-17 Zeitera, Llc Distributed and tiered architecture for content search and content monitoring
KR101753572B1 (ko) * 2008-10-14 2017-07-04 코닌클리케 필립스 엔.브이. 콘텐츠 아이템 식별자
EP2252055B1 (en) * 2009-05-13 2013-09-18 Sony Europe Limited A system for retrieval of executable applications for broadcast television
US9047516B2 (en) * 2010-06-18 2015-06-02 Verizon Patent And Licensing Inc. Content fingerprinting
EP2645731B8 (en) * 2010-11-24 2019-04-17 LG Electronics Inc. Video display device and method of controlling the same
US20120236201A1 (en) * 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
US20120254404A1 (en) * 2011-04-04 2012-10-04 Nbcuniversal Media Llc Multi-tiered automatic content recognition and processing
WO2012170353A1 (en) * 2011-06-10 2012-12-13 Shazam Entertainment Ltd. Methods and systems for identifying content in a data stream
US9060206B2 (en) * 2011-09-16 2015-06-16 Nbcuniversal Media, Llc Sampled digital content based syncronization of supplementary digital content
US9374620B2 (en) 2011-10-21 2016-06-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and interlocked application feed system
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
US8776105B2 (en) * 2012-02-07 2014-07-08 Tuner Broadcasting System, Inc. Method and system for automatic content recognition protocols

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209204A (ja) * 2000-04-14 2002-07-26 Nippon Telegr & Teleph Corp <Ntt> 放送情報に関連した情報の取得方法及びシステム並びに装置
JP2006050237A (ja) 2004-08-04 2006-02-16 Sony Corp 端末装置およびデータ処理方法、プログラム並びに記録媒体
JP2007116211A (ja) * 2005-10-17 2007-05-10 Nippon Telegr & Teleph Corp <Ntt> コンテンツ関連情報提供方法及びシステム及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2874399A4

Also Published As

Publication number Publication date
KR102110623B1 (ko) 2020-05-13
JPWO2014010470A1 (ja) 2016-06-23
US20140019474A1 (en) 2014-01-16
US9489421B2 (en) 2016-11-08
CN104412605B (zh) 2019-01-22
KR20150035808A (ko) 2015-04-07
EP2874399A1 (en) 2015-05-20
EP2874399A4 (en) 2016-03-02
BR112015000142A2 (pt) 2017-06-27
RU2630261C2 (ru) 2017-09-06
CN104412605A (zh) 2015-03-11
RU2014152248A (ru) 2016-07-20
IN2014MN02596A (ja) 2015-07-24

Similar Documents

Publication Publication Date Title
JP6219269B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
JP6219275B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
US9668031B2 (en) Apparatus, systems and methods for accessing and synchronizing presentation of media content and supplemental media rich content
KR102190278B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
WO2014010470A1 (ja) 送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システム
KR102233783B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
KR102019286B1 (ko) 단말 장치, 서버 장치, 정보 처리 방법, 프로그램 및 연동 어플리케이션 공급 시스템
US10313739B2 (en) Terminal device, relay device, information processing method, program, and content identification system
WO2014010469A1 (ja) 受信装置、情報処理方法、プログラム、送信装置、およびアプリケーション連動システム
CA2993917A1 (en) Receiving apparatus, transmitting apparatus, and data processing method
US20150281787A1 (en) Social Network Augmentation of Broadcast Media
JP6023518B2 (ja) 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13816121

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014524754

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013816121

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2014152248

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20147036975

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015000142

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112015000142

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20150105