WO2013141101A1 - 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム - Google Patents

端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム Download PDF

Info

Publication number
WO2013141101A1
WO2013141101A1 PCT/JP2013/056946 JP2013056946W WO2013141101A1 WO 2013141101 A1 WO2013141101 A1 WO 2013141101A1 JP 2013056946 W JP2013056946 W JP 2013056946W WO 2013141101 A1 WO2013141101 A1 WO 2013141101A1
Authority
WO
WIPO (PCT)
Prior art keywords
content
identification
acr
response
query
Prior art date
Application number
PCT/JP2013/056946
Other languages
English (en)
French (fr)
Inventor
山岸　靖明
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201380013759.7A priority Critical patent/CN104205817B/zh
Priority to US14/379,590 priority patent/US20150012937A1/en
Priority to EP13764853.1A priority patent/EP2830310A4/en
Publication of WO2013141101A1 publication Critical patent/WO2013141101A1/ja
Priority to US15/463,758 priority patent/US10313739B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G06F16/152—File search processing using file content signatures, e.g. hash values
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/04—Terminal devices adapted for relaying to or from another terminal or user
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording

Definitions

  • This system includes a terminal device 1 and a plurality of ACR servers 31A, 31B, 31C to which the terminal device 1 is connected via the Internet 12.
  • the present disclosure has been made in view of such a situation, and enables a plurality of ACR servers to be used without increasing the number of ACR clients installed in a terminal device.
  • the terminal device includes a detection unit that detects a relay device, a reproduction unit that reproduces content, a transmission unit that transmits the reproduced content to the detected relay device, The relay device extracts signature data representing the characteristics of the content from the content, generates a query including at least the extracted signature data, transmits the generated query to an identification server device, and requests identification of the content And an acquisition unit that acquires a response that is returned from the identification server device to the relay device in response to the query and that corresponds to the content identification result.
  • the terminal device may further include an application execution unit that acquires and executes an application corresponding to the reproduced content based on the acquired response.
  • the terminal device may further include a generation unit that generates a general-purpose request for requesting the relay device to use the identification server device.
  • the general-purpose request can also be transmitted to the relay device that has been made.
  • a program includes a computer, a detection unit that detects a relay device, a reproduction unit that reproduces content, and a transmission unit that transmits the reproduced content to the detected relay device.
  • the relay device extracts signature data representing the characteristics of the content from the content, generates a query including at least the extracted signature data, and transmits the generated query to an identification server device to identify the content.
  • the query In response to the query and function as an acquisition unit that acquires a response corresponding to the content identification result returned from the identification server device to the relay device.
  • a relay device is detected, content is reproduced, and the reproduced content is transmitted to the detected relay device. Then, the relay device extracts signature data representing the feature of the content from the content, generates a query including at least the extracted signature data, and transmits the generated query to an identification server device to identify the content And a response corresponding to the content identification result returned from the identification server device to the relay device in response to the query is acquired.
  • the relay device is a terminal device in which one or more identification clients respectively corresponding to usable identification server devices are mounted.
  • An extraction unit that extracts signature data representing a feature of the content, and a generation unit that generates a query including at least the extracted signature data for requesting the identification server device to identify the content.
  • a communication unit that transmits the query to the corresponding identification server device and receives a response corresponding to the content identification result returned from the identification server device in response to the query; and a response from the identification server device
  • a relay unit that relays the received response to the terminal device.
  • the number of identification clients corresponding to each of a plurality of usable identification server devices can be implemented.
  • the relay device may further include a notification unit that notifies the terminal device of information representing a plurality of usable identification server devices.
  • the relay unit can convert the response into a data format suitable for the terminal device, store the response in a predetermined server, and notify the terminal device of information representing the predetermined server.
  • An information processing method is an information processing method of a relay device in which one or more identification clients respectively corresponding to usable identification server devices are mounted, and is reproduced by a terminal device by the identification client.
  • the response sent back from the identification server device is the terminal device.
  • a relay step of relaying is the terminal device.
  • a program includes: an extraction unit that extracts signature data representing a feature of the content from content reproduced on a terminal device; and the identification server device that identifies the content.
  • a generation unit that generates a query including at least the extracted signature data for requesting, and transmits the generated query to the corresponding identification server device, and is returned from the identification server device according to the query.
  • the communication unit functions as a communication unit that receives a response corresponding to the identification result of the content and a relay unit that relays the response returned from the identification server device to the terminal device.
  • the recognition client extracts signature data representing the characteristics of the content from the content being played back on the terminal device, and requests the identification server device to identify the content.
  • a response corresponding to the content identification result returned from the identification server device in response to the query is generated and transmitted to the identification server device at least including the extracted signature data. Relayed to
  • a content identification system is a content identification system including a terminal device, a relay device, and an identification server device, wherein the terminal device detects a relay device and reproduces the content.
  • a reproducing unit that transmits the reproduced content to the detected relay device, and the relay device extracts signature data representing the characteristics of the content from the content, and the extracted signature data is
  • an acquisition unit for acquiring a response corresponding to.
  • the relay device is provided with one or more identification clients corresponding to usable identification server devices, and the identification client represents signature data representing characteristics of the content from the content being played back on the terminal device.
  • An extraction unit for extracting the content a generation unit for generating a query including at least the extracted signature data for requesting the identification server device to identify the content, and the identification corresponding to the generated query
  • a communication unit that receives the response corresponding to the identification result of the content that is transmitted to the server device and is returned from the identification server device in response to the query, and the response that is returned from the identification server device to the terminal
  • a relay unit relaying to the apparatus A relay unit relaying to the apparatus.
  • the server device refers to the database by indicating a correspondence relationship between the signature data representing the characteristics of the content extracted from the content and the content identifier representing the content as the extraction source, and the terminal.
  • a response generation unit that identifies content from which signature data included in the query transmitted from a device is extracted, generates the response corresponding to the identification result, and a transmission unit that transmits the generated response to the relay device With.
  • the terminal device detects the relay device, reproduces the content, and transmits the reproduced content to the detected relay device. Then, the signature data representing the feature of the content is extracted from the content being played back on the terminal device by the recognition client of the relay device, and the extracted data for requesting the identification server device to identify the content is extracted. A query including at least signature data is generated and transmitted to the identification server device, and a response corresponding to the content identification result returned from the identification server device in response to the query is relayed to the terminal device.
  • a plurality of identification server devices can be used via the relay device.
  • a plurality of identification server devices can be used instead of the terminal device.
  • the terminal device can use a plurality of identification server devices via the relay device.
  • the application When the application is executed in conjunction with the progress of the content, it is useful for the user although it is not directly related to the information related to the content being viewed by the user (performer, synopsis, next notice, etc.) or the content.
  • Information news, weather forecast, traffic information, etc.
  • quizzes, voting, etc. that viewers can participate in can be realized.
  • the content is not limited to a TV program broadcast via a TV broadcast network, a CATV network, an IPTV network, or the like.
  • the content recorded and reproduced by a recorder or a package medium by a player Any AV content such as those reproduced from the Internet, or distributed or downloaded via the Internet.
  • the content identification system 10 includes a terminal device 20, a supply device 30, and an ACR gateway 40.
  • the terminal device 20 can acquire and play content supplied from a broadcast network 11 including a TV broadcast network, a CATV network, an IPTV network, or an external device. Further, the terminal device 20 can access the application server 33 of the supply device 30 via the Internet 12. Further, the terminal device 20 can be connected to the ACR gateway 40.
  • the terminal device 20 includes a content renderer 21, a general-purpose ACR client 22, an application manager 23, and a user interface 24.
  • the general-purpose ACR client 22 detects and connects the ACR gateway 40 accessible by the terminal device 20, transmits the content input from the content renderer 21 to the ACR gateway 40, and uses the ACR server 31 to transmit the content.
  • a general-purpose request for instructing to perform identification is notified.
  • the general-purpose ACR client 22 accesses the URL (Uniform Resource Locator) notified from the ACR gateway 40, acquires the identification result of the instructed content, and analyzes the acquired identification result. Further, the general-purpose ACR client 22 causes the application manager 23 to acquire an application corresponding to the content being reproduced based on the analysis result, and execute it in conjunction with the progress of the content.
  • URL Uniform Resource Locator
  • the application manager 23 acquires an application corresponding to the content being reproduced from the application server 33 via the Internet 12 and executes it in accordance with the control from the general-purpose ACR client 22. In addition, the application manager 23 acquires related metadata used by the running application from the application server 33.
  • the supply device 30 includes a plurality of ACR servers 31, a content server 32, and an application server 33.
  • the plurality of ACR servers 31 are ACR servers 31A, 31B, and 31C.
  • any existing method can be applied as the signature data extraction method.
  • a watermark embedded in the content in advance may be extracted and used as signature data, or a fingerprint may be calculated and used as signature data.
  • the same signature data can be obtained before and after conversion even if the resolution, aspect ratio, bit rate, encoding format, etc. of the content are converted. Therefore, the recognition accuracy when the content is recognized based on the signature data can be improved.
  • the ACR server 31A identifies content in accordance with the ACR query transmitted from the ACR client 41A (FIG. 3) of the ACR gateway 40, generates an ACR response as the identification result, and transmits it via the Internet 12.
  • a reply is sent to the ACR client 41A.
  • the ACR servers 31B and 31C are the same as the ACR server 31A. However, the ACR servers 31A to 31C do not need to unify the signature data extraction method, and the extraction methods may be different. Different contents may be registered in each of the ACR servers 31A to 31C, or the same contents may be registered in the ACR servers 31A to 31C in duplicate. Hereinafter, when it is not necessary to distinguish the ACR servers 31A to 31C from each other, they are simply referred to as ACR servers 31.
  • the content server 32 distributes the content via the broadcast network 11 and supplies the distributed content to the ACR server 31.
  • the application server 33 supplies an application via the Internet 12 in response to a request from the application manager 23 of the terminal device 20.
  • the ACR server 31, the content server 32, and the application server 33 constituting the supply device 30 may be concentrated in one place, or may be distributed. Further, the ACR server 31, the content server 32, and the application server 33 may be configured in combination as appropriate.
  • FIG. 3 shows a configuration example of a part related to ACR in the configuration of the content identification system 10.
  • the ACR gateway 40 that is an embodiment of the relay device of the present disclosure includes ACR clients 41A, 41B, 41C, and a control unit 42.
  • the ACR clients 41A to 41C are provided from the ACR servers 31A to 31C and mounted on the ACR gateway 40, respectively.
  • the ACR gateway 40 can use the three ACR servers 31A to 31C.
  • the ACR client 41A has a built-in protocol for using a service unique to the ACR server 31A.
  • the ACR client 41A extracts signature data from the content transmitted from the general-purpose ACR client 22 by an extraction method suitable for the ACR server 31A. 12 to the ACR server 31A.
  • ACR clients 41B and 41C are the same as the ACR client 41A, description thereof is omitted.
  • ACR clients 41 when it is not necessary to distinguish the ACR clients 41A to 41C from each other, they are simply referred to as ACR clients 41.
  • the control unit 42 notifies the general-purpose ACR client 22 of the ACR capability representing the function of the ACR gateway 40.
  • the content may be transmitted to the ACR gateway 40 in a state where it is compression-encoded or encrypted according to the security state of the communication path between the terminal device 20 and the ACR gateway 40.
  • the general-purpose ACR client 22 includes a communication unit 51, an ACR gateway detection unit 52, a general-purpose request generation unit 53, and an analysis unit 54.
  • the communication unit 51 communicates various data between the general-purpose ACR client 22 and the ACR gateway 40. Specifically, the general-purpose request and the RAW data of the content are transmitted from the general-purpose ACR client 22 to the ACR gateway 40. In addition, the ACR capability from the ACR gateway 40 is received. Further, the ACR gateway 40 receives a URL where the content identification result acquired from the ACR server 31 can be referred to. Further, the communication unit 51 accesses a predetermined server that holds a content identification result under the control of the analysis unit 54.
  • the ACR gateway detection unit 52 detects the ACR gateway 40 via the communication unit 51 and acquires an ACR capability indicating the function.
  • SSDP Simple Service Discovery Protocol
  • UPnP Universal Plug Plug and Play
  • an ACR server identifier representing the ACR server 31 that can be used by the ACR gateway 40 and a general protocol representing a data format of content transmitted from the general ACR client 22 to the ACR gateway 40 are described.
  • the general-purpose protocol is normally one type, but it may be a plurality of types. However, it is desirable that the number is small. Details of the ACR capability will be described later with reference to FIG.
  • the general-purpose request generation unit 53 generates a general-purpose request including information specifying which of the ACD servers 31 that can be used by the ACR gateway 40 and outputs the general-purpose request to the communication unit 51. Further, the general-purpose request generation unit 53 transmits the RAW data of the content input from the content renderer 21 to the communication unit 51 in a state corresponding to the ACR capability.
  • the analysis unit 54 accesses the URL notified from the ACR gateway 40 via the communication unit 51, acquires the related metadata converted into the HTML document stored therein, and analyzes it. Then, based on the analysis result, the application manager 23 is made to acquire an application corresponding to the content being played back and executed in conjunction with the progress of the content.
  • FIG. 5 shows a detailed configuration example of each ACR client 41 implemented in the ACR gateway 40.
  • the ACR client 41 includes a communication unit 61, a signature extraction unit 62, an ACR query generation unit 63, and an ACR response conversion unit 64.
  • the communication unit 61 receives the content (RAW data) transmitted from the general-purpose ACR client 22 and outputs it to the signature extraction unit 62.
  • the communication unit 61 transmits the ACR query generated by the ACR query generation unit 63 to the corresponding ACR server 31 via the Internet 12, and converts the corresponding ACR response from the ACR server 31 to ACR response conversion. To the unit 64.
  • the signature extraction unit 62 extracts signature data representing the feature from the content transmitted from the general-purpose ACR client 22 by the same extraction method as the corresponding ACR server 31, and outputs the signature data to the ACR query generation unit 63.
  • the ACR query generation unit 63 generates an ACR query including the signature data every time the signature data is input from the signature extraction unit 62.
  • the data structure of the ACR query will be described later with reference to FIG.
  • the ACR response conversion unit 64 analyzes the ACR response from the ACR server 31A, converts the related metadata included therein into an HTML document (client side script such as JavaScript (registered trademark)), and stores it in a predetermined server. To do. Furthermore, the ACR response conversion unit 64 causes the communication unit 61 to notify the general-purpose ACR client 22 of a URL representing a predetermined server storing the HTML document.
  • the predetermined server may be a server on the LAN to which the terminal device 20 belongs, or may be a server on the Internet 12 as with the ACR gateway 40.
  • FIG. 6 shows a detailed configuration example of the ACR server 31 configuring the supply device 30. It is assumed that the ACR server 31A communicates with the ACR client 41A via the Internet 12. The same applies to the ACR servers 31B and 31C.
  • the ACR server 31 includes a content acquisition unit 71, a signature extraction unit 72, an ACR database 73, a communication unit 74, and an ACR response generation unit 75.
  • the content acquisition unit 71 acquires various content that can be viewed on the terminal device 20 side and its metadata from the content server 32 and the like, and supplies the acquired content to the signature extraction unit 72.
  • the signature extraction unit 72 extracts signature data representing the feature from the content from the content acquisition unit 71 at a predetermined sampling period and outputs the signature data to the ACR database 73 by a predetermined extraction method.
  • the ACR database 73 For each signature data input from the signature extraction unit 72, the ACR database 73 includes a content identifier representing the content of the extraction source, a content playback time indicating the extraction timing of the signature data, and related metadata related to the content.
  • ACR reference data is generated and held by associating (including an application identifier representing an application executed in conjunction). Note that ACR reference data generated in advance may be supplied to the ACR database 73 from the outside and held. The data structure of the ACR reference data will be described later with reference to FIG.
  • the communication unit 74 receives an ACR query transmitted from the corresponding one of the ACR clients 41 installed in the ACR gateway 40 via the Internet 12 and outputs the ACR query to the ACR response generation unit 75. In addition, the communication unit 74 transmits the ACR response generated by the ACR response generation unit 75 to a corresponding one of the ACR clients 41 installed in the ACR gateway 40 via the Internet 12.
  • the ACR response generation unit 75 refers to the ACR reference data in the ACR database 73, and extracts the signature data included in the ACR query transmitted from the corresponding one of the ACR clients 41 installed in the ACR gateway 40. Identify the content that was there. Further, the ACR response generation unit 75 generates an ACR response including the identification result and outputs it to the notification unit 74.
  • the data structure of the ACR response will be described later with reference to FIG.
  • FIG. 7 shows a data structure of ACR capability notified from the ACR gateway 40 to the general-purpose ACR client 22.
  • a compatible server identifier 91 indicating the ACR server 31 that can be used by the ACR gateway 40 is described.
  • the ACR capability 90 includes the compatible server identifiers 91A, 91B and 91C are described.
  • the ACR capability 90 describes a general protocol 92 representing the data format of the content transmitted from the general ACR client 22 to the ACR gateway 40.
  • the general-purpose protocol 92 includes, for example, the size of a data block (frame), an acquisition cycle (frame rate), area designation information in the frame, and accompanying information to be transmitted with the data block (local time stamp, block size, block extraction cycle, etc.) Is included.
  • FIG. 8 shows the data structure of an ACR query generated by the ACR query generation unit 63 of the ACR client 41.
  • the ACR query 100 includes an ACR query identifier 101, an extraction method identifier 102, a service identifier 103, signature data 104, an extracted local time stamp 105, a source address 106, and a signature 107.
  • the ACR query identifier 101 is information for specifying the ACR query 100.
  • the extraction method identifier 102 is information for specifying the extraction method used when extracting the signature data 104.
  • the service identifier 103 processes the ACR query 100 when there are a plurality of ACR servers 31 that identify content based on the signature data 104 or when one ACR server 31 provides a plurality of ACR services. This is information for selecting the ACR server 31 and the ACR service to be executed.
  • the signature data 104 is extracted from the content by the signature extraction unit 62.
  • the extracted local time stamp 105 represents the timing at which the signature data 104 is extracted from the content by the signature extracting unit 62.
  • the transmission source address 106 is an address on the Internet 12 of the ACR gateway 40 that transmits the ACR query 100, and is used as a reply destination of an ACR response generated by the ACR server 31 according to the ACR query 100.
  • the signature 107 is for preventing the ACR query 100 from being tampered with in a communication path such as the Internet 12. Note that the entire ACR query 100 may be transmitted after being encrypted to prevent tampering.
  • FIG. 9 shows the data structure of ACR reference data held in the ACR database 73 of the ACR server 31.
  • the ACR reference data 110 is configured by associating a signature identifier 111 with a content identifier 112, a reproduction time 113, and related metadata 114.
  • the signature data 111 is extracted from the content by the signature extraction unit 72.
  • the content identifier 112 represents the content from which the signature data 111 is extracted.
  • the reproduction time 113 indicates the progress timing of the content when the signature data 111 is extracted from the content represented by the content identifier 112, and is represented by, for example, the elapsed time from the beginning of the content represented by the content identifier 112.
  • the related metadata 114 is metadata related to the content represented by the content identifier 112, and represents an application identifier representing an application to be executed in conjunction with the progress timing indicated by the reproduction time 113 of the content (representing the acquisition destination of the application). Information included).
  • FIG. 10 shows the data structure of the ACR response generated by the ACR response generation unit 75 of the ACR server 31.
  • FIG. 5A shows the case where the signature data 104 of the ACR query 100 transmitted from the ACR client 41 of the ACR gateway 40 and the signature data 111 of the ACR reference data 110 registered in the ACR database 73 can be identified, that is, This is a data structure of an ACR response generated when content being viewed on the terminal device 20 can be identified.
  • FIG. 5B shows the data structure of the ACR response generated when the content cannot be identified.
  • an ACR response 120 generated when content can be identified includes an ACR query identifier 121, an extraction method identifier 122, a service identifier 123, a content identifier 124, a playback time 125, a local time stamp. 126, related metadata 127, source address 128, and signature 129.
  • the ACR response 120 generated when the content cannot be identified includes an ACR query identifier 121, a service identifier 123, a source address 128, a signature 129, and an identification failure flag 130. It is.
  • the ACR query identifier 121, the extraction method identifier 122, the service identifier 123, and the local time stamp 126 are the ACR query identifier 101, the extraction method identifier 102, and the service identifier 103 of the ACR query 100 that triggered the generation of the ACR response 120. , And the extracted local time stamp 105 is used.
  • the reproduction time 125 As the content identifier 124, the reproduction time 125, and the related metadata 127, the content identifier 112, the reproduction time 113, and the related metadata 114 of the ACR reference data 110 including the identified signature data 111 are used.
  • the transmission source address 128 is an address on the Internet 12 of the ACR servers 31A to 31C that transmits the ACR response 120.
  • the signature 129 is for preventing the ACR response 120 from being tampered with in the communication path. Note that the entire ACR response 120 may be encrypted and transmitted to prevent tampering.
  • the identification failure flag 130 indicates that the signature data 104 included in the ACR query 100 and the signature data 111 of the ACR reference data 110 registered in the ACR database 73 could not be identified in the ACR server 31, that is, the terminal device 20 indicates that the content being viewed cannot be identified.
  • FIG. 11 is a flowchart for explaining the operation of the content identification system 10.
  • step S ⁇ b> 1 the ACR gateway detection unit 52 configuring the general-purpose ACR client 22 of the terminal device 20 detects the ACR gateway 40 via the communication unit 51.
  • step S ⁇ b> 11 the detected control unit 42 of the ACR gateway 40 notifies the general-purpose ACR client 22 of the ACR capability 90 indicating the function of the ACR gateway 40.
  • the content renderer 21 of the terminal device 20 branches the content being viewed. And output to the general-purpose ACR client 22.
  • the general-purpose request generation unit 53 generates a general-purpose request. Further, the general-purpose request generation unit 53 extracts RAW data from the content being viewed according to the general-purpose protocol 92 of the ACR capability 90. Then, the communication unit 51 transmits the RAW data of the content being viewed and the general-purpose request to the ACR gateway 40.
  • the ACR gateway 40 In response to the general request, the ACR gateway 40 generates an ACR query and transmits it to the ACR server 31 in step S12. Specifically, the signature extraction unit 62 extracts the signature data 104 from the RAW data of the content notified from the general-purpose ACR client 22 by an extraction method according to the ACR server 31 to be used, and outputs the signature data 104 to the ACR query generation unit 63. To do. Then, the ACR query generation unit 63 generates an ACR query 100 including the extracted signature data 104, and transmits the ACR query 100 generated by the communication unit 43 to the ACR server 31 used via the Internet 12.
  • the ACR server 31 of the supply device 30 stands by until the communication unit 74 receives the ACR query 100 transmitted from the ACR client 41 of the ACR gateway 40 in step S21.
  • the process proceeds to step S22.
  • step S ⁇ b> 22 the ACR response generation unit 75 compares the signature data 111 of the ACR reference data 110 registered in the ACR database 73 with the signature data 104 included in the received ACR query 100, thereby obtaining the signature data. The content that is the extraction source of 104 is identified. Then, the ACR response generation unit 75 generates an ACR response 120 according to the content identification result. That is, if the content from which the signature data 104 included in the ACR query 100 is extracted can be identified, the ACR response 120 shown in FIG. 10A is shown. If the content cannot be identified, it is shown in FIG. 10B. ACR response 120 is generated. The generated ACR response 120 is output from the ACR response generation unit 75 to the communication unit 74. The communication unit 74 transmits the generated ACR response 120 to the ACR gateway 40 via the Internet 12.
  • the ACR response conversion unit 64 of the ACR gateway 40 analyzes the ACR response 120 and displays related metadata 127 and the like included therein. Then, it is converted into an HTML document accessible on the terminal device 20 side, and stored in a predetermined server. Furthermore, the ACR response conversion unit 64 causes the communication unit 61 to notify the general-purpose ACR client 22 of a URL representing a predetermined server storing the HTML document.
  • step S3 the general-purpose ACR client 22 that has received the notification of the URL has accessed the URL notified from the ACR gateway 40 via the communication unit 51 by the analysis unit 54, and has been converted into an HTML document stored therein.
  • the related metadata 127 is acquired and analyzed.
  • the application manager 23 is notified of the application identifier corresponding to the content being reproduced.
  • the application server 33 supplies an application in response to a request from the application manager 23 in step S23.
  • step S4 the application manager 23 executes the acquired application in conjunction with the progress of the content.
  • the terminal device 20 uses the plurality of ACR servers 31 only by having the general-purpose ACR client 22. be able to.
  • the terminal device 20, the supply device 30, and the ACR gateway 40 that execute the above-described series of processes are each configured by hardware, and can also be realized by a computer executing software.
  • This computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 12 is a block diagram showing a configuration example of the above-described computer hardware.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 into the RAM 203 via the input / output interface 205 and the bus 204 and executes the program, for example. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　本開示は、端末装置に実装するACRクライアントの数を増やすことなく、複数のACRサーバを利用することができる端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システムに関する。 本開示の第１の側面である端末装置は、中継装置を検出する検出部と、コンテンツを再生する再生部と、再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部とを備える。本開示の第１の側面である端末装置は、ＴＶ受像機などのコンテンツ再生装置に適用できる。

Description

端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム
　本開示は、端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システムに関し、例えば、ユーザが視聴している任意のコンテンツを識別し、その識別結果に応じてコンテンツの進行に連動してアプリケーションプログラムを実行できるようにした端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システムに関する。
　例えば、放送中のＴＶ番組（以下、単に番組と称する）に関連する情報（出演者、あらすじ、次回の予告など）や、番組には直接関係しないが視聴者にとって有益な情報（ニュース、天気予報、交通情報など）などを視聴者に提示することを考える。
　これを実現するためには、専用のアプリケーションプログラム（以下、アプリケーションと略記する）を取得、起動させるためのコマンドを番組の進行に連動してＴＶ受像機などに対して送信すればよい。実際、既に日本や欧州などにおいては、ＴＶ放送信号におけるデータ放送用の帯域を利用して当該コマンドやアプリケーションを送信することにより、これが実現されている（例えば、特許文献１参照）。
　一方、映像や楽曲などの任意のコンテンツを視聴している場合において、そのコンテンツが何であるのかを認識するACR(Automatic Content Recognition)と称される技術が存在する。
　そこで昨今、ACR技術を利用して、端末装置にて再生されている任意のコンテンツを認識し、認識されたコンテンツに対応するアプリケーションをコンテンツの進行に合わせて実行させることが検討されている。
特開２００６－５０２３７号公報
　ところで、ACR技術では、視聴している任意のコンテンツから抽出したシグニチャデータ（特徴量）と、ACRサーバに予め登録済みのコンテンツのシグニチャデータとを比較することによりコンテンツの識別が行なわれる。
　なお、今後はACRサーバを提供する業者が複数表れるともに、登録されるコンテンツの多様化による分類などにより、ACRサーバが複数出現することが予想される。これにより、例えば、ACRサーバＡは映画の認識が得意、ACRサーバＢはミュージックビデオの認識が得意、ACRサーバＣはアニメーションの認識が得意などと、各ACRサーバによって認識する得意分野が分かれることになり、端末装置側がACRサーバを選択して利用することが考えられる。
　図１は、端末装置にて再生されている任意のコンテンツを、複数のACRサーバを利用して認識させるためのシステム構成の一例を示している。
　このシステムは、端末装置１と、端末装置１がインターネット１２を介して接続する複数のACRサーバ３１Ａ，３１Ｂ，３１Ｃから構成される。
　端末装置１は、ACRクライアント２Ａ，２Ｂ，２Ｃを実装する。ACRクライアント２Ａ，２Ｂ，２Ｃは、それぞれACRサーバ３１Ａ，３１Ｂ，３１Ｃから提供されるものである。
　ACRクライアント２Ａは、ACRサーバ３１Ａの独自のサービスを利用するためのプロトコルが内蔵されており、端末装置１にて再生した任意のコンテンツからACRサーバ３１Ａに適した抽出方法によりシグニチャデータを抽出してACRサーバ３１Ａに送信する。ACRクライアント２Ｂおよび２Ｃについても、ACRクライアント２Ａと同様である。
　端末装置１は、３つのACRクライアント２Ａ乃至２Ｃを実装することにより、３つのACRサーバ３１Ａ乃至３１Ｃを利用することができる。当然、ACRサーバ３１が３つ以上存在し、端末装置１がそれらも利用するには、それらから提供されるACRクライアントも端末装置１に実装することになる。
　しかしながら、端末装置１に実装するACRクライアント２の数を、利用するACRサーバ３１を増加させるたびに増やしていては、その実装やメンテナンスにコストがかかってしまう。したがって、端末装置１に実装するACRクライアント２の数を増やすことなく、複数のACRサーバ３１を利用できるようにすることが望ましい。
　本開示はこのような状況に鑑みてなされたものであり、端末装置に実装するACRクライアントの数を増やすことなく、複数のACRサーバを利用できるようにするものである。
　本開示の第１の側面である端末装置は、中継装置を検出する検出部と、コンテンツを再生する再生部と、再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部とを備える。
　本開示の第１の側面である端末装置は、取得された前記レスポンスに基づき、再生された前記コンテンツに対応するアプリケーションを取得して実行するアプリケーション実行部をさらに備えることができる。
　本開示の第１の側面である端末装置は、前記中継装置に対して前記識別サーバ装置の利用を依頼するための汎用依頼を生成する生成部をさらに備えることができ、前記送信部は、検出された前記中継装置に前記汎用依頼も送信することができる。
　前記生成部は、前記中継装置が利用可能な複数の前記識別サーバ装置の中から利用するものを指定するための情報を含む前記汎用依頼を生成することができる。
　前記取得部は、前記識別サーバ装置から返信された前記レスポンスを前記中継装置が所定のデータ形式に変換して所定のサーバに格納したものを、前記中継装置から通知される前記所定のサーバを表す情報に基づいて取得することができる。
　本開示の第１の側面である情報処理方法は、端末装置の情報処理方法において、前記端末装置による、中継装置を検出する検出ステップと、コンテンツを再生する再生ステップと、再生された前記コンテンツを、検出された前記中継装置に送信する送信ステップと、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得ステップとを含む。
　本開示の第１の側面であるプログラムは、コンピュータを、中継装置を検出する検出部と、コンテンツを再生する再生部と、再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部として機能させる。
　本開示の第１の側面においては、中継装置が検出され、コンテンツが再生され、再生された前記コンテンツが、検出された前記中継装置に送信される。そして、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスが取得される。
　本開示の第２の側面である中継装置は、使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装した端末装置において、前記識別クライアントは、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信部と、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部とを備える。
　前記識別クライアントは、使用可能な複数の識別サーバ装置にそれぞれ対応する数だけ実装することができる。
　本開示の第２の側面である中継装置は、使用可能な複数の識別サーバ装置を表す情報を前記端末装置に通知する通知部をさらに備えることができる。
　前記中継部は、前記レスポンスを前記端末装置に適したデータ形式に変換して所定のサーバに格納し、前記所定のサーバを表す情報を前記端末装置に通知することができる。
　本開示の第２の側面である情報処理方法は、使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装した中継装置の情報処理方法において、前記識別クライアントによる、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出ステップと、前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成ステップと、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信ステップと、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継ステップとを含む。
　本開示の第２の側面であるプログラムは、コンピュータを、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信部と、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部として機能させる。
　本開示の第２の側面においては、認識クライアントにより、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータが抽出され、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリが生成されて前記識別サーバ装置に送信され、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスが前記端末装置に中継される。
　本開示の第３の側面であるコンテンツ識別システムは、端末装置と、中継装置と、識別サーバ装置からなるコンテンツ識別システムにおいて、前記端末装置が、前記中継装置を検出する検出部と、コンテンツを再生する再生部と、再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部とを備える。また、前記中継装置には、使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントが実装され、前記識別クライアントが、端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応する前記レスポンスを受信する通信部と、前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部とを備える。さらに、前記サーバ装置が、コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースと、前記データベースを参照することにより、前記端末装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成するレスポンス生成部と、生成された前記レスポンスを前記中継装置に送信する送信部とを備える。
　本開示の第３の側面においては、端末装置により、中継装置が検出され、コンテンツが再生され、再生された前記コンテンツが、検出された前記中継装置に送信される。そして、中継装置の認識クライアントにより、端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータが抽出され、識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリが生成されて前記識別サーバ装置に送信され、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスが前記端末装置に中継される。
　本開示の第１の側面によれば、中継装置を介することにより複数の識別サーバ装置を利用することができる。
　本開示の第２側面によれば、端末装置に代わって複数の識別サーバ装置を利用することができる。
　本開示の第３側面によれば、端末装置が中継装置を介することにより複数の識別サーバ装置を利用することができる。
複数のACRサーバを利用するために考えられるシステム構成の一例を示すブロック図である。 コンテンツ識別システムの構成例を示すブロック図である。 コンテンツ識別システムの主要部分を抽出したブロック図である。 汎用ACRクライアントの詳細な構成例を示すブロック図である。 ACRクライアントの詳細な構成例を示すブロック図である。 ACRサーバの構成例を示すブロック図である。 ACRケーパビリティのデータ構造を示す図である。 ACRクエリのデータ構造を示す図である。 ACRリファレンスデータのデータ構造を示す図である。 ACRレスポンスのデータ構造を示す図である。 コンテンツ識別システムの動作を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。
　以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
［コンテンツ識別システムの構成例］
　図２は、本開示のコンテンツ識別システムの実施の形態であるコンテンツ識別システム１０の構成例を示している。
　このコンテンツ識別システム１０は、端末装置２０により再生されている任意のコンテンツが何であるのかを認識し、認識されたコンテンツに対応するアプリケーションをコンテンツの進行に連動して端末装置２０にて実行させるものである。
　コンテンツの進行に連動して該アプリケーションが実行されることにより、ユーザが視聴中のコンテンツに関連する情報（出演者、あらすじ、次回の予告など）や、コンテンツには直接関係しないがユーザにとって有益な情報（ニュース、天気予報、交通情報など）などをコンテンツとともに画面上に表示させたり、視聴者が参加できるクイズ、投票などを実現したりすることができる。
　なお、本実施の形態においてコンテンツとは、ＴＶ放送網、CATV網、IPTV網などを介して放送されているＴＶ番組に限らず、例えば、レコーダにより録画されて再生されたもの、プレーヤによりパッケージメディアから再生されたもの、インターネットを介して配信またはダウンロードされたものなどのあらゆるＡＶコンテンツを指すものとする。
　コンテンツ識別システム１０は、端末装置２０、供給装置３０、およびACRゲートウェイ４０から構成される。
[端末装置２０の説明]
　本開示の端末装置の実施の形態である端末装置２０は、ＴＶ受像機、パーソナルコンピュータ、タブレット型コンピュータ、スマートフォンなどのコンテンツ再生装置に内蔵されているものとする。
　端末装置２０は、ＴＶ放送網、CATV網、IPTV網などを含むブロードキャストネットワーク１１や外部装置などから供給されるコンテンツを取得し、再生できる。また、端末装置２０は、インターネット１２を介して供給装置３０のアプリケーションサーバ３３にアクセスできる。さらに、端末装置２０は、ACRゲートウェイ４０に接続できる。
　端末装置２０は、コンテンツレンダラ２１、汎用ACRクライアント２２、アプリケーションマネージャ２３、およびユーザインターフェース２４を有する。
　コンテンツレンダラ２１は、コンテンツを取得、再生する機能を有する。また、コンテンツレンダラ２１は、端末装置２０が内蔵されているＴＶ受像機などのコンテンツ再生装置のディスプレイに表示される全てのコンテンツを分岐して汎用ACRクライアント２２に供給する。すなわち、端末装置２０が内蔵されているコンテンツ再生装置のチューナにて受信されるコンテンツ（番組）のみならず、コンテンツ再生装置の各種入力端子(HDMI端子など)に対して外部装置から入力されるコンテンツを分岐して汎用ACRクライアント２２に供給する。
　汎用ACRクライアント２２は、端末装置２０がアクセス可能なACRゲートウェイ４０を検出して接続し、ACRゲートウェイ４０に対してコンテンツレンダラ２１より入力されるコンテンツを送信するとともに、ACRサーバ３１を利用してコンテンツの識別を行なうように指示するための汎用依頼を通知する。
　また、汎用ACRクライアント２２は、ACRゲートウェイ４０から通知されるURL(Uniform Resource Locator)にアクセスすることにより、指示したコンテンツの識別結果を取得し、取得した識別結果を解析する。さらに、汎用ACRクライアント２２は、その解析結果に基づき、アプリケーションマネージャ２３に対して、再生中のコンテンツに対応するアプリケーションを取得させて、コンテンツの進行に連動して実行させる。
　アプリケーションマネージャ２３は、汎用ACRクライアント２２からの制御に従い、再生中のコンテンツに対応するアプリケーションを、インターネット１２を介してアプリケーションサーバ３３から取得して実行する。また、アプリケーションマネージャ２３は、実行中のアプリケーションが利用する関連メタデータをアプリケーションサーバ３３から取得する。
　ユーザインターフェース２４は、コンテンツの進行に連動して実行されたアプリケーションにより表示される各種の情報をＴＶ受像機などのディスプレイに表示させる。また、ユーザインターフェース２４は、実行中のアプリケーションに対するユーザの操作を受け付ける。
[供給装置３０の説明]
　供給装置３０は、複数のACRサーバ３１、コンテンツサーバ３２、およびアプリケーションサーバ３３から構成される。本実施の形態では、複数のACRサーバ３１をACRサーバ３１Ａ，３１Ｂ，，３１Ｃとする。
　ACRサーバ３１Ａは、端末装置２０側で視聴され得る様々なコンテンツを取得して登録する。具体的には、コンテンツの特徴量を表すシグニチャデータを抽出し、抽出したシグニチャデータに、コンテンツ識別子、アプリケーション識別子などを対応付けたACRリファレンスデータを予め生成してデータベース化する。
　なお、シグニチャデータの抽出方法は既存の任意の方法を適用することができる。例えば、コンテンツに予め埋め込まれているウォータマークを抽出してシグニチャデータとしたり、フィンガプリントを算出し、それをシグニチャデータとしてもよい。
　シグニチャデータとしてフィンガプリントを用いることにより、コンテンツの解像度、アスペクト比、ビットレート、符号化フォーマットなどが変換されたとしても、変換前と変換後とで同一のシグニチャデータを得ることができる。したがって、このシグニチャデータに基づいてコンテンツの認識を行った場合の認識精度を上げることができる。
　また、ACRサーバ３１Ａは、ACRゲートウェイ４０のACRクライアント４１Ａ（図３）から送信されるACRクエリに応じて、コンテンツの識別を行ない、その識別結果としてのACRレスポンスを生成し、インターネット１２を介してACRクライアント４１Ａに返信する。
　ACRサーバ３１Ｂおよび３１ＣについてもACRサーバ３１Ａと同様である。ただし、ACRサーバ３１Ａ乃至３１Ｃは、それぞれにおけるシグニチャデータの抽出方法を統一する必要はなく、それぞれの抽出方法は異なっていてかまわない。また、ACRサーバ３１Ａ乃至３１Ｃのそれぞれに異なるコンテンツを登録するようにしてもよいし、同じコンテンツがACRサーバ３１Ａ乃至３１Ｃに重複して登録されていてもよい。以下、ACRサーバ３１Ａ乃至３１Ｃを個々に区別する必要がない場合、単にACRサーバ３１と称する。
　コンテンツサーバ３２は、ブロードキャストネットワーク１１を介してコンテンツを配信するとともに、配信するコンテンツをACRサーバ３１に供給する。
　アプリケーションサーバ３３は、端末装置２０のアプリケーションマネージャ２３からの要求に応じ、インターネット１２を介してアプリケーションを供給する。
　なお、供給装置３０を構成するACRサーバ３１、コンテンツサーバ３２、およびアプリケーションサーバ３３は、一箇所に集中して配置してもよいし、分散して配置してもよい。また、ACRサーバ３１、コンテンツサーバ３２、およびアプリケーションサーバ３３は、適宜組み合わせて構成するようにしてもよい。
[ACRゲートウェイ４０の説明]
　図３は、コンテンツ識別システム１０の構成のうち、ACRに関わる部分の構成例を示している。
　本開示の中継装置の実施の形態であるACRゲートウェイ４０は、ACRクライアント４１Ａ，４１Ｂ，４１Ｃ、および制御部４２を有する。
　ACRクライアント４１Ａ乃至４１Ｃは、それぞれACRサーバ３１Ａ乃至３１Ｃから提供されてACRゲートウェイ４０に実装される。この場合、ACRゲートウェイ４０は、３つのACRサーバ３１Ａ乃至３１Ｃを利用することができることになる。
　ACRクライアント４１Ａは、ACRサーバ３１Ａ独自のサービスを利用するためのプロトコルが内蔵されており、汎用ACRクライアント２２から送信されるコンテンツから、ACRサーバ３１Ａに適した抽出方法によりシグニチャデータを抽出し、インターネット１２を介してACRサーバ３１Ａに送信する。
　ACRクライアント４１Ｂおよび４１Ｃについては、ACRクライアント４１Ａと同様であるので、その説明は省略する。以下、ACRクライアント４１Ａ乃至４１Ｃを個々に区別する必要がない場合、単にACRクライアント４１と称する。
　制御部４２は、ACRゲートウェイ４０の機能を表すACRケーパビリティを汎用ACRクライアント２２に通知する。
　なお、汎用ACRクライアント２２からACRゲートウェイ４０にコンテンツが送信されるに際しては、圧縮符号化や暗号化が解かれたRAWデータの状態とする。したがって、コンテンツのRAWデータが不正に流出してしまいことがないように、ACRゲートウェイ４０は、端末装置２０からのコンテンツをセキュアに送信可能な、端末装置２０が内蔵されたＴＶ受像機などが属するホームネットワークなどのLAN(Local Area Network)上のホームサーバなどに内蔵されているものとする。ただし、端末装置２０からのコンテンツのRAWデータをセキュアに送信可能な通信路を確保すれば、ACRゲートウェイ４０をインターネット１２上に設けてもよい。
　また、端末装置２０とACRゲートウェイ４０との通信路のセキュリティの状態に応じ、コンテンツを圧縮符号化されたまま、あるいは暗号化されたままの状態でACRゲートウェイ４０に送信するようにしてもよい。
[汎用ACRクライアント２２の説明]
　次に、図４は、端末装置２０の汎用ACRクライアント２２の詳細な構成例を示している。
　汎用ACRクライアント２２は、通信部５１、ACRゲートウェイ検出部５２、汎用依頼生成部５３、および解析部５４を有する。
　通信部５１は、汎用ACRクライアント２２とACRゲートウェイ４０との間で各種データの通信を実行する。具体的には、汎用ACRクライアント２２から汎用依頼とコンテンツのRAWデータをACRゲートウェイ４０に送信する。また、ACRゲートウェイ４０からのACRケーパビリティを受信する。さらに、ACRゲートウェイ４０がACRサーバ３１から取得したコンテンツの識別結果を参照できるURLを受信する。さらに通信部５１は、解析部５４の制御に従い、コンテンツの識別結果を保持する所定のサーバにアクセスする。
　ACRゲートウェイ検出部５２は、通信部５１を介してACRゲートウェイ４０を検出し、その機能を示すACRケーパビリティを取得する。ACRゲートウェイ検出部５２による、ACRゲートウェイ４０の検出とACRケーパビリティの取得には、例えばUPnP(Universal Plug and Play)のSSDP(Simple Service Discovery Protocol)を用いることができる。
　このACRケーパビリティには、ACRゲートウェイ４０が利用可能なACRサーバ３１を表すACRサーバ識別子や、汎用ACRクライアント２２からACRゲートウェイ４０に送信するコンテンツのデータ形式を表す汎用プロトコルが記述されている。なお、汎用プロトコルは通常１種類とするが、これを複数種類としてもよい。しかしながら、その数は少ないことが望ましい。ACRケーパビリティの詳細については、図７を参照して後述する。
　汎用依頼生成部５３は、ACRゲートウェイ４０が利用可能なACDサーバ３１のうちのどれを利用するかを指定する情報を含む汎用依頼を生成して通信部５１に出力する。また、汎用依頼生成部５３は、コンテンツレンダラ２１から入力されるコンテンツのRAWデータをACRケーパビリティに対応させた状態で通信部５１に送信する。
　解析部５４は、通信部５１を介してACRゲートウェイ４０から通知されたURLにアクセスし、そこに格納されているHTMLドキュメントに変換済みの関連メタデータを取得して解析する。そして、その解析結果に基づき、アプリケーションマネージャ２３に対して、再生中のコンテンツに対応するアプリケーションを取得させて、コンテンツの進行に連動して実行させる。
[ACRクライアント４１の詳細な構成例]
　次に、図５は、ACRゲートウェイ４０に実装された各ACRクライアント４１の詳細な構成例を示している。
　ACRクライアント４１は、通信部６１、シグニチャ抽出部６２、ACRクエリ生成部６３、およびACRレスポンス変換部６４から構成される。
　通信部６１は、汎用ACRクライアント２２から送信されたコンテンツ（のRAWデータ）を受信してシグニチャ抽出部６２に出力する。また、通信部６１は、ACRクエリ生成部６３にて生成されたACRクエリを、インターネット１２を介して対応するACRサーバ３１に送信し、それに応じた当該ACRサーバ３１からのACRレスポンスをACRレスポンス変換部６４に出力する。
　シグニチャ抽出部６２は、汎用ACRクライアント２２から送信されるコンテンツから、対応するACRサーバ３１と同じ抽出方法によりその特徴を表すシグニチャデータを抽出して、ACRクエリ生成部６３に出力する。
　ACRクエリ生成部６３は、シグニチャ抽出部６２からシグニチャデータが入力される毎、そのシグニチャデータを含むACRクエリを生成する。ACRクエリのデータ構造については図８を参照して後述する。
　ACRレスポンス変換部６４は、ACRサーバ３１ＡからのACRレスポンスを解析し、そこに含まれる関連メタデータなどをHTMLドキュメント（JavaScript（登録商標）などのクライアントサイドスクリプト）に変換して所定のサーバに格納する。さらに、ACRレスポンス変換部６４は、HTMLドキュメントを格納した所定のサーバを表すURLを通信部６１から汎用ACRクライアント２２に通知させる。なお、当該所定のサーバは、ACRゲートウェイ４０と同様、端末装置２０が属するLAN上のものを用いてもよいし、インターネット１２上のものを用いてもよい。
[ACRサーバ３１の構成例]
　図６は、供給装置３０を構成するACRサーバ３１の詳細な構成例を示している。なお、ACRサーバ３１Ａは、インターネット１２を介してACRクライアント４１Ａと通信するものとする。ACRサーバ３１Ｂ，３１Ｃについても同様である。
　ACRサーバ３１は、コンテンツ取得部７１、シグニチャ抽出部７２、ACRデータベース７３、通信部７４、およびACRレスポンス生成部７５から構成される。
　コンテンツ取得部７１は、端末装置２０側で視聴され得る様々なコンテンツとそのメタデータをコンテンツサーバ３２などから取得し、取得したコンテンツをシグニチャ抽出部７２に供給する。
　シグニチャ抽出部７２は、所定の抽出方法により、コンテンツ取得部７１からのコンテンツからその特徴を表すシグニチャデータを所定のサンプリング周期で抽出し、ACRデータベース７３に出力する。
　ACRデータベース７３は、シグニチャ抽出部７２から入力される各シグニチャデータに対し、その抽出元のコンテンツを表すコンテンツ識別子、シグニチャデータの抽出タイミングを示すコンテンツ再生時刻、および、当該コンテンツに関連する関連メタデータ（連動して実行されるアプリケーションを表すアプリケーション識別子を含む）を対応付けることによりACRリファレンスデータを生成して保持する。なお、予め生成されているACRリファレンスデータを外部からACRデータベース７３に供給して保持させるようにしてもよい。ACRリファレンスデータのデータ構造については図９を参照して後述する。
　通信部７４は、インターネット１２を介し、ACRゲートウェイ４０に実装されているACRクライアント４１のうちの対応するものから送信されるACRクエリを受信してACRレスポンス生成部７５に出力する。また、通信部７４は、ACRレスポンス生成部７５で生成されたACRレスポンスを、インターネット１２を介してACRゲートウェイ４０に実装されているACRクライアント４１のうちの対応するものに送信する。
　ACRレスポンス生成部７５は、ACRデータベース７３のACRリファレンスデータを参照し、ACRゲートウェイ４０に実装されているACRクライアント４１のうちの対応するものから送信されるACRクエリに含まれるシグニチャデータの抽出元であったコンテンツを識別する。さらに、ACRレスポンス生成部７５は、識別結果を含むACRレスポンスを生成して通知部７４に出力する。ACRレスポンスのデータ構造については図１０を参照して後述する。
[ACRケーパビリティのデータ構造]
　次に、図７は、ACRゲートウェイ４０から汎用ACRクライアント２２に通知されるACRケーパビリティのデータ構造を示している。
　ACRケーパビリティ９０には、ACRゲートウェイ４０が利用可能なACRサーバ３１を表す対応可能サーバ識別子９１が記述される。いまの場合、ACRゲートウェイ４０は、ACRクライアント４１Ａ乃至４１Ｃを実装し、ACRサーバ３１Ａ乃至３１Ｃを利用可能なので、ACRケーパビリティ９０には、３つのACRサーバ３１Ａ乃至３１Ｃを表す対応可能サーバ識別子９１Ａ，９１Ｂ，９１Ｃが記述される。
　さらに、ACRケーパビリティ９０には、汎用ACRクライアント２２からACRゲートウェイ４０に送信するコンテンツのデータ形式を表す汎用プロトコル９２が記述される。汎用プロトコル９２には、例えばデータブロック（フレーム）のサイズ、取得周期（フレームレート）、フレーム内の領域指定情報、データブロックと共に送信すべき付随情報（ローカルタイムスタンプ、ブロックサイズ、ブロック抽出周期など）が含まれる。
[ACRクエリのデータ構造]
　図８は、ACRクライアント４１のACRクエリ生成部６３にて生成されるACRクエリのデータ構造を示している。
　ACRクエリ１００には、ACRクエリ識別子１０１、抽出方法識別子１０２、サービス識別子１０３、シグニチャデータ１０４、抽出ローカルタイムスタンプ１０５、発信元アドレス１０６、および署名１０７が含まれる。
　ACRクエリ識別子１０１は、当該ACRクエリ１００を特定するための情報である。抽出方法識別子１０２は、シグニチャデータ１０４を抽出する際に用いられた抽出方法を特定するための情報である。サービス識別子１０３は、シグニチャデータ１０４に基づいてコンテンツを識別するACRサーバ３１が複数存在したり、１つのACRサーバ３１が複数のACRサービスを提供したりしている場合において、当該ACRクエリ１００を処理させるACRサーバ３１やACRサービスを選択するための情報である。
　シグニチャデータ１０４は、シグニチャ抽出部６２にてコンテンツから抽出されたものである。抽出ローカルタイムスタンプ１０５は、シグニチャ抽出部６２によってコンテンツからシグニチャデータ１０４が抽出されたタイミングを表すものである。
　発信元アドレス１０６は、当該ACRクエリ１００を発信するACRゲートウェイ４０のインターネット１２上におけるアドレスであり、当該ACRクエリ１００に応じてACRサーバ３１が生成するACRレスポンスの返信先として利用される。署名１０７は、当該ACRクエリ１００がインターネット１２などの通信経路において改ざんされてしまうことを防止するためのものである。なお、ACRクエリ１００の全体を暗号化して送信することにより、その改ざんを防止するようにしてもよい。
[ACRリファレンスデータのデータ構造]
　図９は、ACRサーバ３１のACRデータベース７３に保持されるACRリファレンスデータのデータ構造を示している。
　ACRリファレンスデータ１１０は、シグニチャデータ１１１に、コンテンツ識別子１１２、再生時刻１１３、および関連メタデータ１１４が対応付けて構成される。
　シグニチャデータ１１１は、シグニチャ抽出部７２にてコンテンツから抽出されたものである。コンテンツ識別子１１２は、当該シグニチャデータ１１１の抽出元のコンテンツを表すものである。再生時刻１１３は、コンテンツ識別子１１２が表すコンテンツから当該シグニチャデータ１１１が抽出されたときのコンテンツの進行タイミングを示すものであり、例えばコンテンツ識別子１１２が表すコンテンツの先頭からの経過時間によって表される。
　関連メタデータ１１４は、コンテンツ識別子１１２が表すコンテンツに関連するメタデータであり、当該コンテンツの再生時刻１１３が示す進行タイミングに連動して実行すべきアプリケーションを表すアプリケーション識別子（当該アプリケーションの取得先を表す情報を含む）を含むものである。
[ACRレスポンスのデータ構造]
　図１０は、ACRサーバ３１のACRレスポンス生成部７５にて生成されるACRレスポンスのデータ構造を示している。
　なお、同図Ａは、ACRゲートウェイ４０のACRクライアント４１から送信されたACRクエリ１００のシグニチャデータ１０４と、ACRデータベース７３に登録済みのACRリファレンスデータ１１０のシグニチャデータ１１１とが同定できた場合、すなわち、端末装置２０にて視聴中のコンテンツを識別できた場合に生成されるACRレスポンスのデータ構造である。同図Ｂはコンテンツが識別できなかった場合に生成されるACRレスポンスのデータ構造である。
　同図Ａに示されるように、コンテンツが識別できた場合に生成されるACRレスポンス１２０には、ACRクエリ識別子１２１、抽出方法識別子１２２、サービス識別子１２３、コンテンツ識別子１２４、再生時刻１２５、ローカルタイムスタンプ１２６、関連メタデータ１２７、発信元アドレス１２８、および署名１２９が含まれる。
　同図Ｂに示されるように、コンテンツが識別できなかった場合に生成されるACRレスポンス１２０には、ACRクエリ識別子１２１、サービス識別子１２３、発信元アドレス１２８、署名１２９、および同定失敗フラグ１３０が含まれる。
　ACRクエリ識別子１２１、抽出方法識別子１２２、サービス識別子１２３、およびローカルタイムスタンプ１２６は、当該ACRレスポンス１２０が生成されるトリガとなったACRクエリ１００のACRクエリ識別子１０１、抽出方法識別子１０２、サービス識別子１０３、および抽出ローカルタイムスタンプ１０５が流用される。
　コンテンツ識別子１２４、再生時刻１２５、および関連メタデータ１２７は、同定されたシグニチャデータ１１１を含むACRリファレンスデータ１１０のコンテンツ識別子１１２、再生時刻１１３、および関連メタデータ１１４が流用される。
　発信元アドレス１２８は、当該ACRレスポンス１２０を送信するACRサーバ３１Ａ乃至３１Ｃのインターネット１２上のアドレスである。署名１２９は、当該ACRレスポンス１２０が通信経路において改ざんされてしまうことを防止するためのものである。なお、ACRレスポンス１２０の全体を暗号化して送信することにより、その改ざんを防止するようにしてもよい。
　同定失敗フラグ１３０は、ACRサーバ３１にて、ACRクエリ１００に含まれるシグニチャデータ１０４と、ACRデータベース７３に登録済みのACRリファレンスデータ１１０のシグニチャデータ１１１とが同定できなかったこと、すなわち、端末装置２０で視聴中のコンテンツを識別できなかったことを表すものである。
［コンテンツ識別システム１０による動作］
　次に、コンテンツ識別システム１０の動作について説明する。図１１は、コンテンツ識別システム１０の動作を説明するフローチャートである。
　なお、前提として、供給装置３０を構成する各ACRサーバ３１には既に、端末装置２０にて視聴され得るコンテンツが登録されている、すなわち、ACRサーバ３１のACRデータベース７３には、既に生成済みのACRリファレンスデータ１１０が保持されているものとする。
　ステップＳ１において、端末装置２０の汎用ACRクライアント２２を構成するACRゲートウェイ検出部５２は、通信部５１を介してACRゲートウェイ４０を検出する。ステップＳ１１において、検出されたACRゲートウェイ４０の制御部４２は、ACRゲートウェイ４０の機能を示すACRケーパビリティ９０を汎用ACRクライアント２２に通知する。
　端末装置２０が内蔵されているＴＶ受像機によりコンテンツが再生される、すなわち、ユーザがＴＶ受像機によりコンテンツを視聴すると、ステップＳ２において、端末装置２０のコンテンツレンダラ２１は、視聴中のコンテンツを分岐して汎用ACRクライアント２２に出力する。汎用ACRクライアント２２においては、汎用依頼生成部５３が汎用依頼を生成する。また、汎用依頼生成部５３が、ACRケーパビリティ９０の汎用プロトコル９２に従い、視聴中のコンテンツからRAWデータを抽出する。そして、通信部５１が視聴中のコンテンツのRAWデータと汎用依頼をACRゲートウェイ４０に送信する。
　この汎用依頼に応じ、ステップＳ１２において、ACRゲートウェイ４０は、ACRクエリを生成してACRサーバ３１に送信する。具体的には、シグニチャ抽出部６２が、汎用ACRクライアント２２から通知されたコンテンツのRAWデータから、利用するACRサーバ３１に応じた抽出方式でシグニチャデータ１０４を抽出してACRクエリ生成部６３に出力する。そして、ACRクエリ生成部６３が、抽出されたシグニチャデータ１０４を含むACRクエリ１００を生成し、通信部４３が生成されたACRクエリ１００を、インターネット１２を介して利用するACRサーバ３１に送信する。
　一方、供給装置３０のACRサーバ３１は、ステップＳ２１において、ACRゲートウェイ４０のACRクライアント４１から送信されたACRクエリ１００が通信部７４によって受信されるまで待機している。通信部７４によってACRクエリ１００が受信されると、処理はステップＳ２２に進められる。
　ステップＳ２２において、ACRレスポンス生成部７５は、ACRデータベース７３に登録されているACRリファレンスデータ１１０のシグニチャデータ１１１と、受信されたACRクエリ１００に含まれるシグニチャデータ１０４とを比較することにより、シグニチャデータ１０４の抽出元であるコンテンツを識別する。そして、ACRレスポンス生成部７５は、コンテンツの識別結果に応じてACRレスポンス１２０を生成する。すなわち、ACRクエリ１００に含まれるシグニチャデータ１０４の抽出元のコンテンツを識別できた場合には図１０のＡに示されたACRレスポンス１２０を、識別できなかった場合には図１０のＢに示されたACRレスポンス１２０を生成する。生成されたACRレスポンス１２０は、ACRレスポンス生成部７５から通信部７４に出力される。通信部７４は、生成されたACRレスポンス１２０を、インターネット１２を介してACRゲートウェイ４０に送信する。
　このACRレスポンス１２０がACRゲートウェイ４０のACRクライアント４１により受信されると、ステップＳ１３において、ACRゲートウェイ４０のACRレスポンス変換部６４は、ACRレスポンス１２０を解析し、そこに含まれる関連メタデータ１２７などを、端末装置２０側でアクセス可能なHTMLドキュメントに変換して所定のサーバに格納する。さらに、ACRレスポンス変換部６４は、HTMLドキュメントを格納した所定のサーバを表すURLを通信部６１から汎用ACRクライアント２２に通知させる。
　このURLの通知を受信した汎用ACRクライアント２２は、ステップＳ３において、解析部５４が通信部５１を介してACRゲートウェイ４０から通知されたURLにアクセスし、そこに格納されているHTMLドキュメントに変換済みの関連メタデータ１２７を取得して解析する。そして、この解析結果に基づき、アプリケーションマネージャ２３に対して、再生中のコンテンツに対応するアプリケーション識別子を通知する。アプリケーションマネージャ２３が、このアプリケーション識別子に基づいてアプリケーションサーバ３３にアクセスすると、ステップＳ２３において、アプリケーションサーバ３３は、アプリケーションマネージャ２３からの要求に応じ、アプリケーションを供給する。ステップＳ４において、アプリケーションマネージャ２３は、取得したアプリケーションをコンテンツの進行に連動して実行する。
　なお、以上に説明した各ステップの処理は、端末装置２０にてコンテンツが視聴されている間、繰り返し実行される。これにより、視聴中のコンテンツの進行に連動したアプリケーションの動作が可能となる。
　そして、連動させるアプリケーションの種類により、例えば、コンテンツに関連する情報を表示したり、視聴者参加型のクイズ、投票を実現したり、他のコンテンツを推薦したり、ダウンロードさせたりすることが実現される。
　以上説明したように、複数のACRサーバ３１にそれぞれ対応した複数のACRクライアント４１をACRゲートウェイ４０に設けたことにより、端末装置２０は汎用ACRクライアント２２を有するのみで複数のACRサーバ３１を利用することができる。
　ところで、上述した一連の処理を実行する端末装置２０、供給装置３０、ACRゲートウェイ４０は、それぞれハードウェアにより構成する他、コンピュータがソフトウェアを実行することにより実現することもできる。このコンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１２は、上述したコンピュータのハードウェアの構成例を示すブロック図である。
　このコンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、およびドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５およびバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１０　コンテンツ識別システム，　２０　端末装置，　２１　コンテンツレンダラ，　２２　汎用ACRクライアント，　２３　アプリケーションマネージャ，　２４　ユーザインターフェース，　３０　供給装置，　３１　ACRサーバ，　３２　コンテンツサーバ，３３　アプリケーションサーバ，　４０　ACRゲートウェイ，　４１　ACRクライアント，　４２　制御部，　５１　通信部，　５２　ACRゲートウェイ検出部，　５３　汎用依頼生成部，　５４　解析部，　６１　通信部，　６２　シグニチャ抽出部，　６３　ACRクエリ生成部，　６４　ACRレスポンス解析部，　７１　コンテンツ取得部，　７２　シグニチャ抽出部，　７３　ACRデータベース，　７４　通信部，　７５　ACRレスポンス生成部，　９０　ACRケーパビリティ，　１００　ACRクエリ，　１１０　ACRリファレンスデータ，　１２０　ACRレスポンス，　２００　コンピュータ，　２０１　CPU

Claims (14)

  1. 　中継装置を検出する検出部と、
    　コンテンツを再生する再生部と、
    　再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、
    　前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部と
    　を備える端末装置。
  2. 　取得された前記レスポンスに基づき、再生された前記コンテンツに対応するアプリケーションを取得して実行するアプリケーション実行部を
    　さらに備える請求項１に記載の端末装置。
  3. 　前記中継装置に対して前記識別サーバ装置の利用を依頼するための汎用依頼を生成する生成部を
    　さらに備え、
    　前記送信部は、検出された前記中継装置に前記汎用依頼も送信する
    　請求項２に記載の端末装置。
  4. 　前記生成部は、前記中継装置が利用可能な複数の前記識別サーバ装置の中から利用するものを指定するための情報を含む前記汎用依頼を生成する
    　請求項３に記載の端末装置。
  5. 　前記取得部は、前記識別サーバ装置から返信された前記レスポンスを前記中継装置が所定のデータ形式に変換して所定のサーバに格納したものを、前記中継装置から通知される前記所定のサーバを表す情報に基づいて取得する
    　請求項２に記載の端末装置。
  6. 　端末装置の情報処理方法において、
    　前記端末装置による、
    　中継装置を検出する検出ステップと、
    　　コンテンツを再生する再生ステップと、
    　　再生された前記コンテンツを、検出された前記中継装置に送信する送信ステップと、
    　　前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得ステップと
    　を含む情報処理方法。
  7. 　コンピュータを、
    　中継装置を検出する検出部と、
    　コンテンツを再生する再生部と、
    　再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、
    　前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部と
    　して機能させるプログラム。
  8. 　使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装した中継装置において、
    　前記識別クライアントは、
    　　端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、
    　　前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、
    　　生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信部と、
    　　前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部と
    　を備える
    　中継装置。
  9. 　前記識別クライアントは、使用可能な複数の識別サーバ装置にそれぞれ対応する数だけ実装されている
    　請求項８に記載の中継装置。
  10. 　使用可能な複数の識別サーバ装置を表す情報を前記端末装置に通知する通知部を
    　さらに備える請求項９に記載の中継装置。
  11. 　前記中継部は、前記レスポンスを前記端末装置に適したデータ形式に変換して所定のサーバに格納し、前記所定のサーバを表す情報を前記端末装置に通知する
    　請求項９に記載の中継装置。
  12. 　使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントを実装した中継装置の情報処理方法において、
    　前記識別クライアントによる、
    　　端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出ステップと、
    　　前記識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成ステップと、
    　　生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信ステップと、
    　　前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継ステップと
    　を含む情報処理方法。
  13. 　コンピュータを、
    　端末装置で再生されているコンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、
    　識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、
    　生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応するレスポンスを受信する通信部と、
    　前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部と
    　して機能させるプログラム。
  14. 　端末装置と、中継装置と、識別サーバ装置からなるコンテンツ識別システムにおいて、
    　前記端末装置は、
    　　前記中継装置を検出する検出部と、
    　　コンテンツを再生する再生部と、
    　　再生された前記コンテンツを、検出された前記中継装置に送信する送信部と、
    　　前記中継装置が前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出し、抽出した前記シグニチャデータを少なくとも含むクエリを生成し、生成した前記クエリを識別サーバ装置に送信して前記コンテンツの識別を依頼し、前記クエリに応じて前記識別サーバ装置から前記中継装置に返信された、前記コンテンツの識別結果に対応するレスポンスを取得する取得部と
    　を備え、
    　前記中継装置は、使用可能な識別サーバ装置にそれぞれ対応する１以上の識別クライアントが実装され、
    　　前記識別クライアントは、
    　　　端末装置で再生されている前記コンテンツから前記コンテンツの特徴を表すシグニチャデータを抽出する抽出部と、
    　　　識別サーバ装置に対して前記コンテンツの識別を依頼するための、抽出された前記シグニチャデータを少なくとも含むクエリを生成する生成部と、
    　　　生成された前記クエリを対応する前記識別サーバ装置に送信し、前記クエリに応じて前記識別サーバ装置から返信された、前記コンテンツの識別結果に対応する前記レスポンスを受信する通信部と、
    　　　前記識別サーバ装置から返信された前記レスポンスを前記端末装置に中継する中継部と
    　　を備え、
    　前記サーバ装置は、
    　　コンテンツから抽出された前記コンテンツの特徴を表すシグニチャデータと、抽出元の前記コンテンツを表すコンテンツ識別子との対応関係を示すデータベースと、
    　　前記データベースを参照することにより、前記端末装置から送信された前記クエリに含まれるシグニチャデータの抽出元のコンテンツを識別し、識別結果に対応する前記レスポンスを生成するレスポンス生成部と、
    　　生成された前記レスポンスを前記中継装置に送信する送信部と
    　を備える
    　コンテンツ識別システム。
PCT/JP2013/056946 2012-03-21 2013-03-13 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム WO2013141101A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201380013759.7A CN104205817B (zh) 2012-03-21 2013-03-13 终端装置、中继装置、信息处理方法、程序和内容辨识系统
US14/379,590 US20150012937A1 (en) 2012-03-21 2013-03-13 Terminal device, relay device, information processing method, program, and content identification system
EP13764853.1A EP2830310A4 (en) 2012-03-21 2013-03-13 Terminal device, relay device, information processing method, program and content identification system
US15/463,758 US10313739B2 (en) 2012-03-21 2017-03-20 Terminal device, relay device, information processing method, program, and content identification system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012063374A JP5896222B2 (ja) 2012-03-21 2012-03-21 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム
JP2012-063374 2012-03-21

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/379,590 A-371-Of-International US20150012937A1 (en) 2012-03-21 2013-03-13 Terminal device, relay device, information processing method, program, and content identification system
US15/463,758 Continuation US10313739B2 (en) 2012-03-21 2017-03-20 Terminal device, relay device, information processing method, program, and content identification system

Publications (1)

Publication Number Publication Date
WO2013141101A1 true WO2013141101A1 (ja) 2013-09-26

Family

ID=49222561

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/056946 WO2013141101A1 (ja) 2012-03-21 2013-03-13 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム

Country Status (5)

Country Link
US (2) US20150012937A1 (ja)
EP (1) EP2830310A4 (ja)
JP (1) JP5896222B2 (ja)
CN (1) CN104205817B (ja)
WO (1) WO2013141101A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2854414A4 (en) * 2012-05-23 2016-02-24 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US9769503B2 (en) * 2012-11-14 2017-09-19 Saturn Licensing Llc Information processor, information processing method and program
CA2924036C (en) * 2014-08-01 2023-08-22 Sony Corporation Receiving device, receiving method, transmitting device, and transmitting method
US10574373B2 (en) * 2017-08-08 2020-02-25 Ibiquity Digital Corporation ACR-based radio metadata in the cloud
US11277461B2 (en) * 2019-12-18 2022-03-15 The Nielsen Company (Us), Llc Methods and apparatus to monitor streaming media

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050237A (ja) 2004-08-04 2006-02-16 Sony Corp 端末装置およびデータ処理方法、プログラム並びに記録媒体
JP2011135477A (ja) * 2009-12-25 2011-07-07 Nippon Telegr & Teleph Corp <Ntt> モニタリング方法およびモニタリング装置
JP2012015980A (ja) * 2010-07-05 2012-01-19 Fujitsu Toshiba Mobile Communications Ltd 情報処理端末および情報システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7222071B2 (en) * 2002-09-27 2007-05-22 Arbitron Inc. Audio data receipt/exposure measurement with code monitoring and signature extraction
US20050044561A1 (en) * 2003-08-20 2005-02-24 Gotuit Audio, Inc. Methods and apparatus for identifying program segments by detecting duplicate signal patterns
US9065683B2 (en) * 2005-11-23 2015-06-23 Mediaclaw, Inc. Content interactivity gateway
JP2007226286A (ja) * 2006-02-21 2007-09-06 Takuhiro Mizuno コンテンツ情報配信システム及びプログラム
CN101610152B (zh) * 2008-06-19 2012-02-01 华为技术有限公司 内容识别方法和系统以及内容管理客户端和服务器
JP2011045082A (ja) * 2009-08-24 2011-03-03 Samsung Electronics Co Ltd コンテンツ再生のためのデバイス及びそのコンテンツ再生方法
US10264029B2 (en) * 2009-10-30 2019-04-16 Time Warner Cable Enterprises Llc Methods and apparatus for packetized content delivery over a content delivery network
CA2798093C (en) * 2010-05-04 2016-09-13 Avery Li-Chun Wang Methods and systems for processing a sample of a media stream
US20120020647A1 (en) * 2010-07-21 2012-01-26 Rovi Technologies Corporation Filtering repeated content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050237A (ja) 2004-08-04 2006-02-16 Sony Corp 端末装置およびデータ処理方法、プログラム並びに記録媒体
JP2011135477A (ja) * 2009-12-25 2011-07-07 Nippon Telegr & Teleph Corp <Ntt> モニタリング方法およびモニタリング装置
JP2012015980A (ja) * 2010-07-05 2012-01-19 Fujitsu Toshiba Mobile Communications Ltd 情報処理端末および情報システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2830310A4 *

Also Published As

Publication number Publication date
JP5896222B2 (ja) 2016-03-30
EP2830310A1 (en) 2015-01-28
US20170286409A1 (en) 2017-10-05
CN104205817B (zh) 2019-05-14
JP2013197925A (ja) 2013-09-30
US10313739B2 (en) 2019-06-04
US20150012937A1 (en) 2015-01-08
CN104205817A (zh) 2014-12-10
EP2830310A4 (en) 2016-03-23

Similar Documents

Publication Publication Date Title
JP6219275B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
JP6219269B2 (ja) 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム
KR102233783B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
JP6383658B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10313739B2 (en) Terminal device, relay device, information processing method, program, and content identification system
KR102019286B1 (ko) 단말 장치, 서버 장치, 정보 처리 방법, 프로그램 및 연동 어플리케이션 공급 시스템
KR102110623B1 (ko) 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템
WO2014010469A1 (ja) 受信装置、情報処理方法、プログラム、送信装置、およびアプリケーション連動システム
JP6023518B2 (ja) 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13764853

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2013764853

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14379590

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: IDP00201405530

Country of ref document: ID

NENP Non-entry into the national phase

Ref country code: DE