KR102110623B1 - 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템 - Google Patents
송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템 Download PDFInfo
- Publication number
- KR102110623B1 KR102110623B1 KR1020147036975A KR20147036975A KR102110623B1 KR 102110623 B1 KR102110623 B1 KR 102110623B1 KR 1020147036975 A KR1020147036975 A KR 1020147036975A KR 20147036975 A KR20147036975 A KR 20147036975A KR 102110623 B1 KR102110623 B1 KR 102110623B1
- Authority
- KR
- South Korea
- Prior art keywords
- content
- application
- data
- timeline
- identifier
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8166—Monomedia components thereof involving executable data, e.g. software
- H04N21/8173—End-user applications, e.g. Web browser, game
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8358—Generation of protective data, e.g. certificates involving watermark
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
Abstract
본 발명은, 시청 중인 임의의 콘텐츠의 진행에 연동해서 애플리케이션을 실행시키는 경우에 있어서, 콘텐츠의 식별에 사용하는 복수의 ACR 서버에 대한 인터페이스를 공통화할 수 있도록 하는 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템에 관한 것이다. 본 발명의 제1 측면인 송신 장치는, 하나 또는 복수의 콘텐츠 동정부와, 상기 타임 라인 데이터를 생성하여, 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄하여 공통의 상기 타임 라인 데이터를 공급하는 타임 라인 데이터 생성부를 구비한다. 본 발명은, 방송국의 방송 장치 등에 적용할 수 있다.
Description
본 발명은, 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템에 관한 것으로, 특히 텔레비전 프로그램 등 콘텐츠의 진행에 연동해서 애플리케이션 프로그램을 실행시키는 경우에 사용하기에 적합한 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템에 관한 것이다.
예를 들어, TV(텔레비전) 프로그램이 시청되고 있을 때에, 그 TV 프로그램(이하, 간단히 프로그램이라고 칭함)에 관련된 정보(출연자, 개요, 다음회 예고 등)나, 프로그램에는 직접 관계되지 않지만 시청자에게 있어서 유익한 정보(뉴스, 일기 예보, 교통 정보 등) 등을 화면 상에 표시하는 것을 생각한다.
이를 실현하기 위해서는, 전용의 애플리케이션 프로그램(이하, 애플리케이션이라 약기함)을 취득, 기동시키기 위한 커맨드를 프로그램의 진행에 연동해서 TV 수상기 등에 대하여 송신하면 된다. 실제로, 이미 일본이나 유럽 등에 있어서는, TV 방송 신호에 있어서의 데이터 방송용 대역을 이용해서 상기 커맨드나 애플리케이션을 송신함으로써, 이것이 실현되고 있다(예를 들어, 특허문헌 1 참조).
한편, 미국에서는, TV 방송 신호에 데이터 방송용 대역이 설치되어 있지 않고, 그것을 대신하는 방법이 확립되어 있지 않으므로, 프로그램의 진행에 연동해서 애플리케이션을 실행시키는 것이 실현되고 있지 않다.
또한, 미국에서는, TV 수상기에서 TV 방송파를 직접 수신해서 프로그램을 시청하는 세대수보다도, CATV나 IPTV 등을 통해서 프로그램을 시청하는 세대수 쪽이 많다. CATV나 IPTV에서는 TV 방송 신호로부터 프로그램의 영상 및 음성의 신호만을 추출해서 배신하는 경우가 있으므로, 가령 미국에 있어서의 TV 방송 신호에 데이터 방송용 대역이 설치되었다 하더라도, 애플리케이션에 관한 데이터를 포함시킨 데이터 방송 신호가 수신 장치까지 전송된다는 보증은 없다.
또한 근래, 방송 중인 프로그램뿐만 아니라, 녹화한 프로그램, DVD, BD 등의 패키지 미디어로부터 재생한 영상, 인터넷 상에서 다운로드한 동화상 등 임의의 콘텐츠를 시청하고 있는 경우에 있어서도, 그 진행에 연동해서 애플리케이션을 실행시키고자 하는 요구가 있다.
상술한 바와 같이, 시청 중인 임의의 콘텐츠의 진행에 대응해서 애플리케이션을 실행시키기 위해서는, 시청되고 있는 콘텐츠를 동정할 필요가 있다. 그 한 방법으로서는, ACR(Automatic Content Recognition)이라고 칭하는 기술의 적용이 상정되고 있다.
ACR은, 시청되고 있는 콘텐츠로부터 소정의 추출 방식으로 추출한 시그니처 데이터(특징량)와, 미리 데이터베이스에 등록되어 있는 콘텐츠의 시그니처 데이터를 비교함으로써, 시청되고 있는 콘텐츠를 동정하는 것이다.
또한, ACR을 사용해서 콘텐츠의 동정을 행하는 ACR 서버의 데이터베이스에는, 콘텐츠의 시그니처 데이터 외에, 콘텐츠를 나타내는 정보, 콘텐츠의 진행에 연동해서 실행하는 애플리케이션을 나타내는 정보 등도 기록된다. 이들 방법은, 방송국 등의 콘텐츠 프로바이더나 애플리케이션 프로바이더로부터 공급된다.
그런데, ACR 서버의 관리, 운영은 방송국 등에 한하지 않고, 여러가지 사업자의 참여가 생각된다. 이 결과, 복수의 ACR 서버의 출현이 상정된다. 이 경우에 있어서도, 콘텐츠 프로바이더나 애플리케이션 프로바이더는, 각 ACR 서버에 대하여 공통의 인터페이스에 의해 콘텐츠나 애플리케이션의 정보를 공급할 수 있도록 하는 것이 바람직하다.
본 발명은 이러한 상황을 감안하여 이루어진 것이며, 시청 중인 임의의 콘텐츠의 진행에 연동해서 애플리케이션을 실행시키는 경우에 있어서, 콘텐츠의 동정에 사용하는 복수의 ACR 서버에 대한 인터페이스를 공통화할 수 있도록 하는 것이다.
본 발명의 제1 측면인 송신 장치는, 수신 장치측에서 시청될 수 있는 콘텐츠로부터 생성된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와 생성원의 상기 콘텐츠를 나타내는 콘텐츠 식별자가 적어도 기술되어 있는 레퍼런스 데이터와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자와 상기 애플리케이션의 실행 타이밍을 나타내는 타임 라인 정보가 적어도 기술되어 있는 타임 라인 데이터가 데이터베이스화되어 있는 데이터베이스부와, 상기 데이터베이스부를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠를 나타내는 콘텐츠 식별자와, 동정한 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자가 기술되어 있는 상기 타임 라인 데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부를 갖는 하나 또는 복수의 콘텐츠 동정부와, 상기 타임 라인 데이터를 생성하여, 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄하여 공통의 상기 타임 라인 데이터를 공급하는 타임 라인 데이터 생성부를 구비한다.
본 발명의 제1 측면인 송신 장치는, 상기 타임 라인 데이터 생성부를 제어하기 위한 유저 인터페이스부를 더 구비할 수 있다.
본 발명의 제1 측면인 송신 장치는, 상기 하나 또는 복수의 각 동정 서버에 각각 대응하는 추출 방법에 의해, 수신 장치측에서 시청될 수 있는 상기 콘텐츠로부터 상기 시그니처 데이터를 추출하는 시그니처 데이터 추출부를 더 구비할 수 있다.
상기 콘텐츠 동정부는, 상기 시그니처 데이터 추출부에 의해 추출된 상기 시그니처 데이터를 사용해서 상기 레퍼런스 데이터를 생성하는 레퍼런스 데이터 생성부를 더 가질 수 있다.
상기 시그니처 데이터 추출부는, 상기 시그니처 데이터로서 핑거 프린트를 생성할 수 있다.
본 발명의 제1 측면인 정보 처리 방법은, 송신 장치의 정보 처리 방법에 있어서, 상기 송신 장치에 의한, 수신 장치측에서 시청될 수 있는 콘텐츠로부터 생성된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와 생성원의 상기 콘텐츠를 나타내는 콘텐츠 식별자가 적어도 기술되어 있는 레퍼런스 데이터와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자와 상기 애플리케이션의 실행 타이밍을 나타내는 타임 라인 정보가 적어도 기술되어 있는 타임 라인 데이터가 데이터베이스화되어 있는 데이터베이스부와, 상기 데이터베이스부를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠를 나타내는 콘텐츠 식별자와, 동정한 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자가 기술되어 있는 상기 타임 라인 데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부를 갖는 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄 공급하기 위한 공통의 상기 타임 라인 데이터를 생성하는 생성 스텝과, 상기 공통의 타임 라인 데이터를 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄 공급하는 공급 스텝을 포함한다.
본 발명의 제1 측면인 프로그램은, 컴퓨터를, 수신 장치측에서 시청될 수 있는 콘텐츠로부터 생성된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와 생성원의 상기 콘텐츠를 나타내는 콘텐츠 식별자가 적어도 기술되어 있는 레퍼런스 데이터와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자와 상기 애플리케이션의 실행 타이밍을 나타내는 타임 라인 정보가 적어도 기술되어 있는 타임 라인 데이터가 데이터베이스화되어 있는 데이터베이스부와, 상기 데이터베이스부를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠를 나타내는 콘텐츠 식별자와, 동정한 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자가 기술되어 있는 상기 타임 라인 데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부를 갖는 하나 또는 복수의 콘텐츠 동정부와, 상기 타임 라인 데이터를 생성하여, 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄하여 공통의 상기 타임 라인 데이터를 공급하는 타임 라인 데이터 생성부로서 기능시킨다.
본 발명의 제1 측면에 있어서는, 수신 장치측에서 시청될 수 있는 콘텐츠로부터 생성된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와 생성원의 상기 콘텐츠를 나타내는 콘텐츠 식별자가 적어도 기술되어 있는 레퍼런스 데이터와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자와 상기 애플리케이션의 실행 타이밍을 나타내는 타임 라인 정보가 적어도 기술되어 있는 타임 라인 데이터가 데이터베이스화되어 있는 데이터베이스부와, 상기 데이터베이스부를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠를 나타내는 콘텐츠 식별자와, 동정한 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자가 기술되어 있는 상기 타임 라인 데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부를 갖는 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄 공급하기 위한 공통의 상기 타임 라인 데이터가 생성되어, 상기 공통의 타임 라인 데이터가 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄 공급된다.
본 발명의 제2 측면인 수신 장치는, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와, 상기 시그니처 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치가 구비하는 하나 또는 복수의 콘텐츠 동정부로 송신하고, 상기 쿼리에 따라서 상기 콘텐츠 동정부로부터 회신된 리스펀스를 수신하는 쿼리 생성부와, 수신된 상기 리스펀스에 포함되는, 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄하여 공통으로 공급되어 있는 타임 라인 데이터에 기초하여, 상기 콘텐츠에 대응하는 애플리케이션을 취득하고, 취득한 상기 애플리케이션을 상기 콘텐츠의 진행에 연동해서 실행하는 애플리케이션 실행부를 구비한다.
상기 애플리케이션 실행부는, 수신된 상기 리스펀스에 포함되는 상기 타임 라인 데이터에 기술되어 있는 애플리케이션 식별자에 기초하여, 상기 콘텐츠에 대응하는 상기 애플리케이션을 취득할 수 있다.
상기 애플리케이션 실행부는, 수신된 상기 리스펀스에 포함되는 상기 타임 라인 데이터에 기술되어 있는 이벤트 식별자에 기초하여, 상기 콘텐츠에 대응하는 상기 애플리케이션의 애플리케이션 식별자를 취득하고, 취득한 애플리케이션 식별자에 기초하여, 상기 콘텐츠에 대응하는 상기 애플리케이션을 취득할 수 있다.
본 발명의 제2 측면에 있어서는, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터가 추출되고, 상기 시그니처 데이터를 적어도 포함하는 쿼리가 생성되어 송신 장치가 구비하는 하나 또는 복수의 콘텐츠 동정부로 송신되고, 상기 쿼리에 따라서 상기 콘텐츠 동정부로부터 회신된 리스펀스가 수신된다. 또한, 수신된 상기 리스펀스에 포함되는, 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄하여 공통으로 공급되어 있는 타임 라인 데이터에 기초하여, 상기 콘텐츠에 대응하는 애플리케이션이 취득되고, 취득된 상기 애플리케이션이 상기 콘텐츠의 진행에 연동해서 실행된다.
본 발명의 제3 측면인 애플리케이션 연동 시스템은, 콘텐츠의 송신 장치와 수신 장치를 포함하는 애플리케이션 연동 시스템에 있어서, 상기 송신 장치는, 상기 수신 장치측에서 시청될 수 있는 콘텐츠로부터 생성된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와 생성원의 상기 콘텐츠를 나타내는 콘텐츠 식별자가 적어도 기술되어 있는 레퍼런스 데이터와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자와 상기 애플리케이션의 실행 타이밍을 나타내는 타임 라인 정보가 적어도 기술되어 있는 타임 라인 데이터가 데이터베이스화되어 있는 데이터베이스부와, 상기 데이터베이스부를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠를 나타내는 콘텐츠 식별자와, 동정한 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자가 기술되어 있는 상기 타임 라인 데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부를 갖는 하나 또는 복수의 콘텐츠 동정부와, 상기 타임 라인 데이터를 생성하여, 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄하여 공통의 상기 타임 라인 데이터를 공급하는 타임 라인 데이터 생성부를 구비한다. 한편, 상기 수신 장치는, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와, 상기 시그니처 데이터를 적어도 포함하는 쿼리를 생성해서 상기 송신 장치가 구비하는 하나 또는 복수의 콘텐츠 동정부로 송신하고, 상기 쿼리에 따라서 상기 콘텐츠 동정부로부터 회신된 리스펀스를 수신하는 쿼리 생성부와, 수신된 상기 리스펀스에 포함되는, 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄하여 공통으로 공급되어 있는 타임 라인 데이터에 기초하여, 상기 콘텐츠에 대응하는 애플리케이션을 취득하고, 취득한 상기 애플리케이션을 상기 콘텐츠의 진행에 연동해서 실행하는 애플리케이션 실행부를 구비한다.
본 발명의 제3 측면인 애플리케이션 연동 시스템에 있어서는, 송신 장치에 의해, 수신 장치측에서 시청될 수 있는 콘텐츠로부터 생성된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와 생성원의 상기 콘텐츠를 나타내는 콘텐츠 식별자가 적어도 기술되어 있는 레퍼런스 데이터와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자와 상기 애플리케이션의 실행 타이밍을 나타내는 타임 라인 정보가 적어도 기술되어 있는 타임 라인 데이터가 데이터베이스화되어 있는 데이터베이스부와, 상기 데이터베이스부를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠를 나타내는 콘텐츠 식별자와, 동정한 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자가 기술되어 있는 상기 타임 라인 데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부를 갖는 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄 공급하기 위한 공통의 상기 타임 라인 데이터가 생성되어, 상기 공통의 타임 라인 데이터가 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄 공급된다. 또한, 수신 장치에 의해, 재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터가 추출되고, 상기 시그니처 데이터를 적어도 포함하는 쿼리가 생성되어 송신 장치가 구비하는 하나 또는 복수의 콘텐츠 동정부로 송신되고, 상기 쿼리에 따라서 상기 콘텐츠 동정부로부터 회신된 리스펀스가 수신된다. 또한, 수신된 상기 리스펀스에 포함되는, 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄하여 공통으로 공급되어 있는 타임 라인 데이터에 기초하여, 상기 콘텐츠에 대응하는 애플리케이션이 취득되고, 취득된 상기 애플리케이션이 상기 콘텐츠의 진행에 연동해서 실행된다.
본 발명의 제1 측면에 따르면, 콘텐츠의 동정에 사용하는 복수의 콘텐츠 동정부에 대한 인터페이스를 공통화할 수 있다.
본 발명의 제2 측면에 따르면, 시청 중인 임의의 콘텐츠의 진행에 연동해서 애플리케이션을 실행할 수 있다.
본 발명의 제3 측면에 따르면, 시청 중인 임의의 콘텐츠의 진행에 연동해서 애플리케이션을 실행시키는 경우에 있어서, 콘텐츠의 식별에 사용하는 복수의 ACR 서버에 대한 인터페이스를 공통화할 수 있다.
도 1은 본 발명의 실시 형태인 애플리케이션 연동 시스템의 구성예를 도시하는 블록도.
도 2는 ACR 서버의 구성예를 도시하는 블록도.
도 3은 이벤트 메시지의 데이터 구조를 도시하는 도면.
도 4는 타임 라인 데이터의 데이터 구조를 도시하는 도면.
도 5는 콘텐츠의 진행 타이밍과 이벤트의 대응짓기의 예를 나타내는 도면.
도 6은 ACR 레퍼런스 데이터의 데이터 구조를 도시하는 도면.
도 7은 ACR 쿼리의 데이터 구조를 도시하는 도면.
도 8은 ACR 리스펀스의 데이터 구조를 도시하는 도면.
도 9는 방송 장치의 오퍼레이터 화면의 표시예를 도시하는 도면.
도 10은ACR 데이터베이스 등록 처리를 설명하는 흐름도.
도 11은 타임 라인 데이터 생성 처리를 설명하는 흐름도.
도 12는 ACR 레퍼런스 데이터 생성 처리를 설명하는 흐름도.
도 13은 애플리케이션 연동 시스템에 의한 일련의 동작을 설명하는 흐름도.
도 14는 애플리케이션 연동 시스템의 변형예를 도시하는 블록도.
도 15는 애플리케이션 연동 시스템의 변형예에 대응한 애플리케이션 취득 처리를 설명하는 흐름도.
도 16은 컴퓨터의 구성예를 도시하는 블록도.
도 2는 ACR 서버의 구성예를 도시하는 블록도.
도 3은 이벤트 메시지의 데이터 구조를 도시하는 도면.
도 4는 타임 라인 데이터의 데이터 구조를 도시하는 도면.
도 5는 콘텐츠의 진행 타이밍과 이벤트의 대응짓기의 예를 나타내는 도면.
도 6은 ACR 레퍼런스 데이터의 데이터 구조를 도시하는 도면.
도 7은 ACR 쿼리의 데이터 구조를 도시하는 도면.
도 8은 ACR 리스펀스의 데이터 구조를 도시하는 도면.
도 9는 방송 장치의 오퍼레이터 화면의 표시예를 도시하는 도면.
도 10은ACR 데이터베이스 등록 처리를 설명하는 흐름도.
도 11은 타임 라인 데이터 생성 처리를 설명하는 흐름도.
도 12는 ACR 레퍼런스 데이터 생성 처리를 설명하는 흐름도.
도 13은 애플리케이션 연동 시스템에 의한 일련의 동작을 설명하는 흐름도.
도 14는 애플리케이션 연동 시스템의 변형예를 도시하는 블록도.
도 15는 애플리케이션 연동 시스템의 변형예에 대응한 애플리케이션 취득 처리를 설명하는 흐름도.
도 16은 컴퓨터의 구성예를 도시하는 블록도.
이하, 본 발명을 실시하기 위한 구체적인 내용(이하, 실시 형태라고 칭함)에 대해서, 도면을 참조하면서 상세하게 설명한다.
[애플리케이션 연동 시스템의 구성예]
도 1은 본 발명의 실시 형태인 애플리케이션 연동 시스템의 구성예를 나타내고 있다.
이 애플리케이션 연동 시스템(10)은 유저가 TV 수상기 등의 화면을 모니터로서 시청하고 있는 콘텐츠를 ACR을 사용해서 동정(식별)하고, 그 진행에 연동해서 애플리케이션을 실행하는 것이다.
여기서, 콘텐츠란, TV 수상기에 의해 수신되는 방송 중인 프로그램에 한정되지 않는다. 예를 들어, 비디오 레코더에 의해 녹화 재생된 프로그램, 멀티미디어 플레이어에 의해 패키지 미디어로부터 재생된 영화 등의 영상, 인터넷을 통해서 다운로드한 동화상 등 모든 AV 콘텐츠가 포함된다. 또한, 프로그램과 프로그램 사이나 프로그램 도중 등에 삽입되는 커머셜 메세지(이하, CM이라고 칭함)도 콘텐츠에 포함된다.
애플리케이션 연동 시스템(10)은 송신 장치(20)와, 방송망(11) 및 쌍방향 통신망(12)을 통해서 송신 장치(20)와 접속되는 복수의 수신 장치(30)로 구성된다. 방송망(11)으로는 TV 방송망, CATV망, IPTV망 등을 가리킨다. 쌍방향 통신망(12)은 인터넷 등의 IP 통신망을 가리킨다.
수신 장치(30)는 TV 수상기 등에 내장된 상태에서 유저의 집 등에 배치되어 있는 것으로 한다.
[송신 장치(20)의 설명]
송신 장치(20)는 콘텐츠 매니지먼트 서버(21), 애플리케이션 서버(22), 이벤트 서버(23), 타임 라인 제너레이션 클라이언트(24), 시그니처 클라이언트(25), 복수의 ACR 서버(26-1 내지 26-N) 및 NTP 서버(28)로 구성된다.
콘텐츠 매니지먼트 서버(21)는 프로그램이나 CM 등의 콘텐츠를, 방송망(11)을 통해서 방송한다.
또한, 콘텐츠 매니지먼트 서버(21)는, 수신측에서 시청될 수 있는 콘텐츠를 디코딩한 상태에서 타임 라인 제너레이션 클라이언트(24) 및 시그니처 클라이언트(25)에 공급한다. 상기 콘텐츠는, 아카이브되어 있는 것이어도 되고, 현재 방송되고 있는 라이브 스트림이어도 된다.
애플리케이션 서버(22)는 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 생성, 관리하고 있고, 이벤트 서버(23)부터 검색에 따라서 애플리케이션을 특정하기 위한 애플리케이션 식별자(AppsUrl)를 통지함과 함께, 그 애플리케이션에서 이용하는 메타데이터를 이벤트 서버(23)에 공급한다. 또한, 애플리케이션 서버(22)는 수신 장치(30)의 이벤트 핸들러(33)로부터의 요구에 따라서, 쌍방향 통신망(12)을 통해서 애플리케이션이나 그 애플리케이션에서 이용하는 메타데이터를 공급한다.
이벤트 서버(23)는 콘텐츠의 진행에 연동해서 애플리케이션을 실행시키는 처리(이하, 이벤트라고 칭함)에 관한 이벤트 메시지를 생성해서 타임 라인 제너레이션 클라이언트(24)에 통지한다. 이벤트 메시지의 상세에 대해서는 도 3을 참조하여 후술한다.
타임 라인 제너레이션 클라이언트(24)는, 콘텐츠의 진행 타이밍에 이벤트 메시지를 대응지은 타임 라인 데이터를 생성하여, ACR 서버(26-1 내지 26-N)에 대하여 일괄하고, 공통의 타임 라인 데이터를 공급한다. 타임 라인 데이터의 상세에 대해서는 도 5를 참조하여 후술한다.
시그니처 클라이언트(25)는, 콘텐츠 매니지먼트 서버(21)로부터 공급되는 콘텐츠로부터, 각 ACR 서버(26)에 각각 대응한 추출 방식에 의해, 소정의 샘플링 주기로 시그니처 데이터를 추출(생성)하고, 추출(생성)원인 콘텐츠를 나타내는 콘텐츠 식별자와 함께 ACR 서버(26-1 내지 26-N)에 공급한다. 또한, 시그니처 데이터로서 핑거 프린트를 생성하도록 해도 된다.
핑거 프린트는, 콘텐츠의 해상도, 애스펙트비, 비트레이트, 부호화 포맷 등이 변환되었다 하더라도, 변환 전과 변환 후에 동일한 것을 얻을 수 있다. 따라서, 시그니처 데이터로서 핑거 프린트를 사용하면, 콘텐츠의 동정 정밀도를 높일 수 있다.
ACR 서버(26-i; i=1, …N)는 수신 장치(30)의 ACR 클라이언트(32-1 내지 32-N) 중 대응하는 ACR 클라이언트(32-i)로부터 송신되는 ACR 쿼리에 따라서, 수신 장치(30)측에서 시청되고 있는 콘텐츠를 동정(식별)한다. 또한, 그 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션의 정보 등을 포함하는 ACR 리스펀스를 생성하여, ACR 클라이언트(32-i)로 회신한다. ACR 쿼리 및 ACR 리스펀스에 대해서는 후술한다.
NTP 서버(28)는 송신 장치(30)를 구성하는 콘텐츠 매니지먼트 서버(21), 애플리케이션 서버(22), 이벤트 서버(23), 타임 라인 제너레이션 클라이언트(24), 시그니처 클라이언트(25) 및 ACR 서버(26-1 내지 26-N)에 대하여 공통의 시각 정보를 공급한다.
또한, 송신 장치(30)를 구성하는 콘텐츠 매니지먼트 서버(21), 애플리케이션 서버(22), 이벤트 서버(23), 타임 라인 제너레이션 클라이언트(24), 시그니처 클라이언트(25), ACR 서버(26-1 내지 26-N) 및 NTP 서버(28)는 1개소에 집중해서 배치해도 되고, 분산해서 배치해도 된다. 또한, 이들은, 적절히 조합하여 구성하도록 해도 된다.
[수신 장치(30)의 설명]
수신 장치(30)는 콘텐츠 렌더러(31), 복수의 ACR 클라이언트(32-1 내지 32-K) 및 이벤트 핸들러(33)를 갖는다.
콘텐츠 렌더러(31)는, 수신 장치(30)가 내장되어 있는 TV 수상기 등의 화면에 표시되는 모든 콘텐츠를 취득, 분기해서 ACR 클라이언트(32)에 공급한다. 즉, 콘텐츠 렌더러(31)는, 콘텐츠 매니지먼트 서버(21)로부터 방송되고, 수신된 콘텐츠뿐만 아니라, TV 수상기의 각종 입력 단자(HDMI(등록상표) 단자 등)를 통해서 입력되는 콘텐츠도 취득, 분기해서 ACR 클라이언트(32-1 내지 32-N)에 공급한다.
ACR 클라이언트(32-i; i=1, …K(K≤N))는 송신 장치(20)의 ACR 서버(26-i)에 대응하는 것이며, ACR 서버(26-i)에 대응하는 추출 방식에 의해, 콘텐츠 렌더러(31)로부터 입력되는 콘텐츠로부터 시그니처 데이터를 소정의 샘플링 주기로 추출한다.
또한, ACR 클라이언트(32-i)는, 추출한 시그니처 데이터와 유저 프로파일 데이터를 저장한 ACR 쿼리를 생성하여, 쌍방향 통신망(12)을 통해서 송신 장치(20)의 ACR 서버(26-1 내지 26-N) 중 대응하는 ACR 서버(26-i)로 송신한다.
ACR 쿼리에 저장되는 유저 프로파일 데이터에는, 유저의 데모그래픽 속성(연령, 성별, 직업, 학력, 거주지역, 메일 어드레스, 취미, 기호, 사용 언어, 세대 규모, 콘텐츠의 시청 경향 등), 수신 장치(30)의 스펙(이용 가능 CODEC의 종류 등), 쌍방향 통신망(12)의 폭주 상황, 자연 환경 정보(날씨, 온도, 습도 등) 등의 항목을 포함할 수 있다.
또한, ACR 클라이언트(32-i)는, 송신한 ACR 쿼리에 따라서 ACR 서버(26-i)로부터 회신되는 ACR 리스펀스를 수신, 유지한다. 또한, ACR 클라이언트(32-i)는, 유지한 ACR 리스펀스를 해석하고, 해석 결과를 이벤트 핸들러(33)에 통지한다. 또한, ACR 리스펀스에 포함되는 타임 라인 데이터는, 타임 라인 제너레이션 클라이언트(24)로부터 모든 ACR 서버(26)에 대하여 공통으로 공급된 것이므로, 각 ACR 클라이언트(32)에 있어서의 ACR 리스펀스나 타임 라인 데이터의 해석 처리를 공통화할 수 있다.
이벤트 핸들러(33)는, ACR 리스펀스의 해석 결과에 기초하여, 시청 중인 콘텐츠에 대응하는 애플리케이션을, 쌍방향 통신망(12)을 통해서 애플리케이션 서버(22)로부터 취득해서 실행한다. 또한, 이벤트 핸들러(33)는, 실행 중인 애플리케이션에서 처리하는 메타데이터를 ACR 클라이언트(32) 또는 애플리케이션 서버(22)로부터 취득한다.
[ACR 서버(26)의 상세한 구성예]
도 2는 ACR 서버(26)의 상세한 구성예를 나타내고 있다.
ACR 서버(26)는 타임 라인 데이터 취득부(41), ACR 레퍼런스 데이터 생성부(42), ACR 데이터베이스(43) 및 ACR 리스펀스 생성부(44)로 구성된다.
타임 라인 데이터 취득부(41)는 타임 라인 제너레이션 클라이언트(24)로부터 공급되는, 콘텐츠의 진행 타이밍과 이벤트와의 대응을 나타내는 타임 라인 데이터를 ACR 데이터베이스(43)에 등록한다.
ACR 레퍼런스 데이터 생성부(42)는 시그니처 클라이언트(25)로부터 공급된 시그니처 데이터에, 그 추출(생성)원의 콘텐츠를 나타내는 콘텐츠 식별자와 추출(생성) 타이밍을 나타내는 재생 시각을 대응지어서 ACR 레퍼런스 데이터를 생성하여, ACR 데이터베이스(43)에 등록한다. ACR 레퍼런스 데이터의 데이터 구조에 대해서는 도 6을 참조하여 후술한다.
ACR 데이터베이스(43)는 타임 라인 데이터 취득부(41)로부터의 타임 라인 데이터와, ACR 레퍼런스 데이터 생성부(42)로부터의 ACR 레퍼런스 데이터의 인덱스를 작성해서 기억한다. 또한, ACR 데이터베이스(43)는 클라우드 상에 전개해도 된다.
ACR 리스펀스 생성부(44)는 ACR 데이터베이스(43)를 참조함으로써, ACR 클라이언트(32)로부터 송신되는 ACR 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정함과 함께, 그 콘텐츠에 대응지어진 타임 라인 데이터를 특정한다. 또한, ACR 리스펀스 생성부(44)는 동정 결과의 콘텐츠 식별자나 그에 대응하는 타임 라인 데이터 등을 포함하는 ACR 리스펀스를 생성한다. 또한, ACR 리스펀스를 생성할 때는, ACR 쿼리에 포함되는 유저 프로파일 데이터에 기초하여, ACR 리스펀스에 포함하는 타임 라인 데이터 중 메타데이터 등을 매칭하거나, 필터링하거나 해서, 수신 장치(30)의 유저에게 적합한 데이터를 보내도록 해도 된다.
[각종 데이터의 구조에 대해서]
이어서, 상술한 각종 데이터의 구조에 대해서 설명한다.
[이벤트 메시지의 데이터 구조]
도 3은 송신 장치(20)의 이벤트 서버(23)에서 생성되는 이벤트 메시지의 데이터 구조를 나타내고 있다.
이벤트 메시지(50)에는, 각 이벤트마다 생성되는 것이며, 이벤트 식별자(51), 이벤트 핸들러 식별자(52), 애플리케이션 식별자(53) 및 메타데이터(54)가 저장되어 있다.
이벤트 식별자(51)는 각 이벤트의 식별 정보이다. 이벤트 핸들러 식별자(52)는 상기 이벤트를 처리하는 수신 장치(30)의 이벤트 핸들러(33)를 나타내는 정보이다. 애플리케이션 식별자(53)는 상기 이벤트를 실현하기 위해서 실행되는 애플리케이션을 식별하기 위한 정보이다. 상기 애플리케이션 식별자(53)는 예를 들어 URL(Uniform Resource Locator)에 의해 표기되고, 그 애플리케이션의 취득처(애플리케이션 서버(22))도 나타내고 있다. 메타데이터(54)는 애플리케이션 식별자(53)가 나타내는 애플리케이션에 의해 처리되는 데이터이다. 또한, 메타데이터(54) 대신에 그 메타데이터를 식별함과 함께, 그 취득처를 나타내는, URL에 의해 표기된 메타데이터 식별자를 저장해도 된다.
[타임 라인 데이터의 데이터 구조]
도 4는 송신 장치(20)의 타임 라인 제너레이션 클라이언트(24)에서 생성되는 타임 라인 데이터의 데이터 구조를 나타내고 있다.
타임 라인 데이터(60)는, 이벤트 메시지(50)로부터 인용한 이벤트 식별자(61), 이벤트 핸들러 식별자(62), 애플리케이션 식별자(63) 및 메타데이터(64)에, 콘텐츠 식별자(65) 및 타임 라인 정보(66)를 추가한 것이다. 콘텐츠 식별자(65)는 이벤트를 대응지은 콘텐츠를 나타내는 정보이다. 타임 라인 정보(66)는 이벤트에 대응지은 상기 콘텐츠의 진행 타이밍을 나타내는 정보이다.
예를 들어, 도 5에 도시된 바와 같이, 콘텐츠 A의 진행 타이밍 t1 내지 t2까지는 이벤트 A1이 실행되고, 진행 타이밍 t2 내지 t3까지는 이벤트 A2가 실행되도록 대응지어진 경우의 구체적인 기술예는 이하와 같다.
<timeLine>//타임 라인 데이터
<mediaId>MediaID1</mediaId>//콘텐츠 식별자
<event>//이벤트 A1에 대응하는 기재
<eventHandler>EventHanlderID1Url</eventHandler>//이벤트 핸들러 식별자
<appsUrl>Apps1Url </appsUrl>//애플리케이션 식별자
<startTime>t1</startTime>//타임 라인 정보
<endTime>t2</endTime>//타임 라인 정보
</event>
<event>//이벤트 A2에 대응하는 기술
<eventHandler>EventHanlderID1Url</eventHandler>//이벤트 핸들러 식별자
<appsUrl>Apps1Url</appsUrl>//애플리케이션 식별자
<metadataUrl>Metadata1Url</metadataUrl>//메타데이터 식별자
<startTime>T2 </startTime>//타임 라인 정보
<endTime>T3</endTime>//타임 라인 정보
</event>
…
</timeLine>
[ACR 레퍼런스 데이터의 데이터 구조]
이어서, 도 6은 ACR 서버(26)의 ACR 레퍼런스 데이터 생성부(42)에 의해 생성되는 ACR 레퍼런스 데이터의 데이터 구조를 나타내고 있다.
ACR 레퍼런스 데이터(70)에 있어서는, 시그니처 클라이언트(25)로부터 공급된 시그니처 데이터(71)에 대하여 콘텐츠 식별자(72) 및 재생 시각(73)이 대응지어져 있다.
시그니처 데이터(71)는, 시그니처 클라이언트(25)로부터 공급된 것이다. 콘텐츠 식별자(72)는 상기 시그니처 데이터(71)의 추출원의 콘텐츠를 식별하기 위한 정보이다. 재생 시각(73)은 콘텐츠 식별자(72)가 나타내는 콘텐츠로부터 상기 시그니처 데이터(71)가 추출되었을 때의 콘텐츠 진행 타이밍을 나타내는 것이며, 그 콘텐츠의 선두로부터의 경과 시간에 의해 표시된다.
[ACR 쿼리의 데이터 구조]
도 7은 ACR 클라이언트(32)로부터 ACR 서버(26)로 송신되는 ACR 쿼리의 데이터 구조를 나타내고 있다.
ACR 쿼리(80)에는, ACR 쿼리 식별자(81), 추출 방식 식별자(82), 서비스 식별자(83), 시그니처 데이터(84), 로컬 타임 스탬프(85), 유저 프로파일 데이터(86), 발신원 어드레스(87) 및 서명(88)이 포함된다.
ACR 쿼리 식별자(81)는 상기 ACR 쿼리(80)를 일의적으로 특정하기 위한 정보이다. 추출 방식 식별자(82)는 시그니처 데이터(84)를 추출할 때에 사용된 추출 방식을 특정하기 위한 정보이다. 서비스 식별자(83)는 상기 ACR 쿼리(80)를 송신해서 ACR 리스펀스를 얻는 ACR 서버(26)를, 복수 존재하는 ACR 서버(26-1 내지 26-N) 중에서 선택하기 위한 정보이다.
시그니처 데이터(84)는, ACR 클라이언트(32)에서 콘텐츠로부터 추출된 것이다. 로컬 타임 스탬프(85)는 콘텐츠로부터 시그니처 데이터(84)가 추출된 타이밍을 나타내는 것이며, 수신 장치(30)의 로컬 시스템 클럭이 나타내는 시각에 의해 표시된다.
유저 프로파일 데이터(86)는 유저의 데모그래픽 속성 등을 포함하는 정보이다. 발신원 어드레스(87)는 상기 ACR 쿼리(80)를 발신하는 ACR 클라이언트(32)의 쌍방향 통신망(12)에 있어서의 어드레스이며, 그 ACR 쿼리(80)에 따라서 ACR 서버(26)에서 생성되는 ACR 리스펀스의 회신처를 나타내는 정보로서 이용된다. 서명(88)은 상기 ACR 쿼리(80)의 개찬을 억제하기 위한 것이다. 또한, ACR 쿼리(80)의 전체를 암호화해서 송신하도록 해도 된다.
[ACR 리스펀스의 데이터 구조]
도 8은 ACR 서버(26)로부터 ACR 클라이언트(32)로 회신되는 ACR 리스펀스의 데이터 구조를 나타내고 있다.
또한, 도 8의 A는, ACR 쿼리(80)에 포함되는 시그니처 데이터(84)의 추출원의 콘텐츠를 동정할 수 있는 경우, 즉 수신 장치(30)에서 시청 중인 콘텐츠를 동정할 수 있는 경우의 ACR 리스펀스의 데이터 구조이다. 도 8의 B는 콘텐츠를 동정할 수 없는 경우의 ACR 리스펀스의 데이터 구조이다.
수신 장치(30)에서 시청 중인 콘텐츠가 동정된 경우의 ACR 리스펀스(90)(도 8의 A)에는, ACR 쿼리 식별자(91), 추출 방식 식별자(92), 서비스 식별자(93), 콘텐츠 식별자(94), 재생 시각(95), 로컬 타임 스탬프(96), 타임 라인 데이터(97), 발신원 어드레스(98) 및 서명(99)이 포함된다.
한편, 수신 장치(30)에서 시청 중인 콘텐츠가 동정되지 못한 경우의 ACR 리스펀스(90)(도 8의 B)에는, ACR 쿼리 식별자(91), 서비스 식별자(93), 발신원 어드레스(98), 서명(99) 및 동정 실패 플래그(101)가 포함된다.
ACR 쿼리 식별자(91), 추출 방식 식별자(92), 서비스 식별자(93), 로컬 타임 스탬프(96)는 상기 ACR 리스펀스(90)가 생성되는 트리거로 된 ACR 쿼리(80)를 특정하기 위한 것이고, 대응하는 ACR 쿼리(80)의 ACR 쿼리 식별자(81), 추출 방식 식별자(82), 서비스 식별자(83) 및 로컬 타임 스탬프(85)가 인용되어 기술된다.
콘텐츠 식별자(94) 및 재생 시각(95)은 동정 결과를 나타내는 것이며, 대응하는 ACR 레퍼런스 데이터(70)의 콘텐츠 식별자(72) 및 재생 시각(73)이 인용되어 기술된다.
타임 라인 데이터(97)는, 동정된 콘텐츠에 대응지어진 것이며, 도 4에 도시된 바와 같이 항목을 포함한다.
발신원 어드레스(98)는 상기 ACR 리스펀스(90)를 송신하는 ACR 서버(26)의 쌍방향 통신망(12) 상의 어드레스이다. 서명(99)은 그 ACR 리스펀스(90)의 개찬을 억제하기 위한 것이다. 또한, ACR 리스펀스(90)의 전체를 암호화해서 송신함으로써, 그 개찬을 방지하도록 해도 된다.
동정 실패 플래그(101)는 ACR 서버(26)에서, ACR 클라이언트(32)로부터의 ACR 쿼리(80)에 포함되는 시그니처 데이터(84)의 추출원의 콘텐츠, 즉 수신 장치(30)에서 시청 중인 콘텐츠를 동정하지 못하였음을 나타내는 플래그이다.
[오퍼레이터 화면의 설명]
도 9는 방송 장치(20)의 오퍼레이터가 이벤트 서버(23) 및 타임 라인 제너레이션 클라이언트(24)를 제어하기 위한 오퍼레이터 화면(110)의 표시예를 나타내고 있다. 또한, 상기 오퍼레이터 화면(110)이 표시되는 단계에 있어서는, 이미 이벤트를 대응짓는 콘텐츠가 선택되고 있는 것으로 한다.
상기 오퍼레이터 화면(110)에는, 애플리케이션 선택 영역(111), 이벤트 오서링 영역(112), 콘텐츠 재생 영역(113) 및 타임 라인 설정 영역(114)이 설치되어 있다.
애플리케이션 선택 영역(111)에서는, 각 이벤트에 있어서 실행시키는 애플리케이션을 선택할 수 있다. 이벤트 오서링 영역(112)에서는, 각 이벤트에서 실행된 애플리케이션에 의해 표시시키는 정보를 오서링할 수 있다. 콘텐츠 재생 영역(113)에서는, 콘텐츠와 그에 연동하는 애플리케이션의 표시를 확인할 수 있다. 타임 라인 설정 영역(114)에서는, 콘텐츠의 진행 타이밍에 대하여 이벤트를 대응지을 수 있다. 또한, 타임 라인 설정 영역(114)에서는, 이벤트에 대응지어진 애플리케이션을 확인할 수 있다.
[애플리케이션 연동 시스템(10)에 의한 동작]
이어서, 애플리케이션 연동 시스템(10)의 동작에 대해서 설명한다.
도 10은 각 ACR 서버(26)의 ACR 데이터베이스(43)가 생성될 때까지의 처리(이하, ACR 데이터베이스 등록 처리라고 칭함)를 설명하는 흐름도이다.
스텝 S1에 있어서, 타임 라인 데이터를 생성하는 타임 라인 데이터 생성 처리가 행해진다. 도 11은 타임 라인 데이터 생성 처리를 상세하게 설명하는 흐름도이다.
스텝 S11에 있어서, 타임 라인 제너레이션 클라이언트(24)는, 콘텐츠 매니지먼트 서버(21)로부터 콘텐츠를 취득한다. 스텝 S12에 있어서, 이벤트 서버(23)는 콘텐츠에 연동시키기 위한 애플리케이션을 애플리케이션 서버(22)로부터 검색해서 결정하고, 애플리케이션 서버(22)로부터 애플리케이션 식별자 등을 취득한다. 스텝 S13에 있어서, 이벤트 서버(23)는 애플리케이션 식별자 등을 포함하는 이벤트 메시지를 생성해서 타임 라인 제너레이션 클라이언트(24)에 출력한다.
스텝 S14에 있어서, 타임 라인 제너레이션 클라이언트(24)는, 콘텐츠의 진행 타이밍에 이벤트 메시지를 대응지은 타임 라인 데이터를 생성한다. 스텝 S15에 있어서, 타임 라인 제너레이션 클라이언트(24)는, 생성한 타임 라인 데이터를 ACR 서버(26-1 내지 26-N)에 일괄해서 통지한다. 이와 같이, ACR 서버(26)에 대한 인터페이스(타임 라인 데이터)를 공통화하고 있으므로, ACR 서버(26)의 수가 증가했다 하더라도, 그에 의해 부하 증가를 억제할 수 있다. 이상으로, 타임 라인 데이터 생성 처리는 종료되고, 처리는 도 10의 스텝 S2로 리턴된다.
스텝 S2에 있어서, ACR 레퍼런스 데이터를 생성하는 ACR 레퍼런스 데이터 생성 처리가 행해진다. 도 12는 ACR 레퍼런스 데이터 생성 처리를 상세하게 설명하는 흐름도이다.
스텝 S21에 있어서, 시그니처 클라이언트(25)는, 콘텐츠 매니지먼트 서버(21)로부터 콘텐츠를 취득한다. 스텝 S22에 있어서, 시그니처 클라이언트(25)는, 취득한 콘텐츠로부터, 각 ACR 서버(26)에 각각 대응한 추출 방식에 의해, 소정의 샘플링 주기로 시그니처 데이터를 추출하고, 추출원의 콘텐츠를 나타내는 콘텐츠 식별자와 함께 각 ACR 서버(26)에 공급한다.
스텝 S23에 있어서, 각 ACR 서버(26)의 ACR 레퍼런스 데이터 생성부(42)는 시그니처 클라이언트(25)로부터 공급된 시그니처 데이터에, 그 추출(생성)원의 콘텐츠를 나타내는 콘텐츠 식별자와 추출(생성) 타이밍을 나타내는 재생 시각을 대응지어서 ACR 레퍼런스 데이터를 생성한다. 이상으로, ACR 레퍼런스 데이터 생성 처리는 종료되고, 처리는 도 10의 스텝 S3으로 리턴된다.
또한, 상술한 스텝 S1의 타임 라인 데이터 생성 처리와, 스텝 S2의 ACR 레퍼런스 데이터 생성 처리와는 병행해서 동시에 행할 수 있다.
스텝 S3에 있어서, ACR 데이터베이스(43)는 스텝 S1에서 생성된 타임 라인 데이터와, 스텝 S2에서 생성된 ACR 레퍼런스 데이터의 인덱스를 작성해서 기억한다. 이상으로, ACR 데이터베이스 등록 처리는 종료된다.
도 13은 애플리케이션 연동 시스템(10)의 전체로서의 일련 동작을 설명하는 흐름도이다.
또한, 전제로서, 송신 장치(20)는 이미, 상술한 ACR 데이터베이스 등록 처리를 실행하고 있고, 각 ACR 서버(26)의 ACR 데이터베이스(43)가 생성되고 있는 것으로 한다.
이 일련 동작에 있어서는, 송신 장치(20)는 이하에 설명하는 스텝 S31 내지 S33을 반복한다. 한편, 수신 장치(30)는 이하에 설명하는 스텝 S41 내지 S44를 반복한다.
스텝 S31에 있어서, 송신 장치(20)는 콘텐츠 매니지먼트 서버(21)로부터 방송망(11)을 통한 콘텐츠의 송신을 개시한다.
한편, 수신 장치(30)는 스텝 S41에 있어서, 콘텐츠의 재생을 개시한다. 또한, 상기 콘텐츠는, 송신 장치(20)로부터 송신된 것이 아니어도 상관없다.
스텝 S42에 있어서, 콘텐츠 렌더러(31)는, 재생 중(즉, 유저가 시청 중)인 콘텐츠를 취득, 분기해서 ACR 클라이언트(32-i)에 출력한다. 스텝 S43에 있어서, ACR 클라이언트(32-i)는, 콘텐츠 렌더러(31)로부터 입력되는 시청 중인 콘텐츠로부터, 소정의 샘플링 주기로 시그니처 데이터를 추출한다. 또한, 시그니처 데이터를 추출할 때마다, 그 시그니처 데이터와 유저 프로파일 데이터를 포함하는 ACR 쿼리(80)를 생성하여, 대응하는 ACR 서버(26-i)로 송출한다. 또한, ACR 쿼리를 생성, 송출하는 ACR 클라이언트(32)의 수는 하나 또는 복수로 한다.
ACR 클라이언트(32-i)로부터의 ACR 쿼리(80)를 수신한 ACR 서버(26-i)에서는, 스텝 S32에 있어서, ACR 리스펀스 생성부(44)가 ACR 데이터베이스(43)를 참조하여, 수신한 ACR 쿼리(80)에 포함되는 시그니처 데이터(84)에 대응하는 콘텐츠를 동정한다.
스텝 S33에 있어서, ACR 리스펀스 생성부(44)는 콘텐츠의 동정 결과에 따라서, ACR 리스펀스(90)를 생성한다. 이때, ACR 쿼리(80)에 포함되어 있던 유저 프로파일 데이터(86)에 기초하여, ACR 리스펀스(90)에 포함시키는 타임 라인 데이터(97) 내의 메타데이터(64)를 매칭하거나, 필터링하거나 해도 된다. 또한, ACR 리스펀스 생성부(44)는 생성한 ACR 리스펀스(90)를 대응하는 ACR 클라이언트(32-i)로 회신한다.
ACR 서버(26-i)로부터의 ACR 리스펀스(90)를 수신한 ACR 클라이언트(32-i)는, 스텝 S44에 있어서, ACR 리스펀스(90)에 포함되는 타임 라인 데이터(97)를 해석하고, 거기에 기술되어 있는 애플리케이션 식별자(63)를 이벤트 핸들러 식별자(62)가 나타내는 이벤트 핸들러(33)에 통지한다. 이벤트 핸들러(33)는, 쌍방향 통신망(12)을 통해서 애플리케이션 서버(22)에 액세스하고, 통지된 애플리케이션 식별자(63)에 대응하는 애플리케이션을 취득, 실행한다.
또한, 상기 애플리케이션을 이미 취득 완료된 경우에는, 취득 처리를 생략하고 취득 완료된 것을 실행한다. 또한, 상기 애플리케이션이 이미 실행 중인 경우에는, 실행 중인 애플리케이션은, ACR 리스펀스(90)의 타임 라인 데이터(97)의 메타데이터(64)를 ACR 클라이언트(32-i)로부터 취득해서 그것을 사용하도록 한다. 또한, 메타데이터(64) 대신에 메타데이터 식별자가 기술되어 있는 경우, 실행된 애플리케이션은, 그 메타데이터 식별자에 기초하여, 쌍방향 통신망(12)을 통해서 애플리케이션 서버(22)로부터 메타데이터를 취득해서 사용하도록 한다.
이상으로 설명한 스텝 S31 내지 S33의 처리 및 스텝 S41 내지 S44의 처리는, 수신 장치(30)측에서 콘텐츠가 시청되고 있는 동안, 반복 실행된다. 이에 의해, 시청 중인 콘텐츠의 진행 타이밍에 연동한 애플리케이션의 동작이 가능해진다.
[변형예]
이어서, 애플리케이션 연동 시스템(10)의 일련 동작의 변형예를, 도 14 및 도 15를 참조하여 설명한다.
도 14는 상기 변형예에 대응한 애플리케이션 연동 시스템(10)의 구성예이며, 도 1에 대하여 이벤트 핸들러(33)로부터 이벤트 서버(23)로 이벤트 식별자를 송신하는 화살표와, 이벤트 서버(23)로부터 이벤트 핸들러(33)로 애플리케이션 식별자를 송신하는 화살표를 추가한 것이다.
일련 동작의 변형예에서는, 수신 장치(30)의 ACR 클라이언트(26-i)가 ACR 리스펀스(90)를 수신한 후, 이벤트 핸들러(33)가 애플리케이션을 취득, 실행할 때까지의 처리(이하, 애플리케이션 취득 처리라고 칭함)가 상술한 설명과 다르다.
도 15는 상기 변형예에 있어서의 애플리케이션 취득 처리를 설명하는 흐름도이다.
송신 장치(20)의 ACR 서버(26-i)로부터 회신된 ACR 리스펀스(90)를 수신한 수신 장치(30)의 ACR 클라이언트(32-i)는, 스텝 S51에 있어서, ACR 리스펀스(90)에 포함되는 타임 라인 데이터(97)를 해석하고, 거기에 기술되어 있는 이벤트 식별자(61)를 이벤트 핸들러 식별자(62)가 나타내는 이벤트 핸들러(33)에 통지한다. 이벤트 핸들러(33)는, 쌍방향 통신망(12)을 통해서 이벤트 서버(23)에 액세스하고, 이벤트 식별자(61)를 통지함으로써, 대응하는 애플리케이션 식별자(63)를 얻는다.
스텝 S52에 있어서, 이벤트 핸들러(33)는, 쌍방향 통신망(12)을 통해서 애플리케이션 서버(22)에 액세스하고, 통지된 애플리케이션 식별자(63)에 대응하는 애플리케이션을 취득, 실행한다. 이상으로, 상기 변형예에 있어서의 애플리케이션 취득 처리의 설명을 종료한다.
그런데, 상술한 일련의 처리를 실행하는 송신 장치(20) 및 수신 장치(30)는 각각을 하드웨어에 의해 구성하는 것 외에, 컴퓨터가 소프트웨어를 실행함으로써 실현할 수도 있다. 이 컴퓨터에는, 전용 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 16은 상술한 컴퓨터의 하드웨어 구성예를 도시하는 블록도이다.
이 컴퓨터(200)에 있어서, CPU(Central Processing Unit)(201), ROM(Read Only Memory)(202), RAM(Random Access Memory)(203)은 버스(204)에 의해 서로 접속되어 있다.
버스(204)에는 또한 입출력 인터페이스(205)가 접속되어 있다. 입출력 인터페이스(205)에는, 입력부(206), 출력부(207), 기억부(208), 통신부(209) 및 드라이브(210)가 접속되어 있다.
입력부(206)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(207)는 디스플레이, 스피커 등을 포함한다. 기억부(208)는 하드 디스크나 불휘발성 메모리 등을 포함한다. 통신부(209)는 네트워크 인터페이스 등을 포함한다. 드라이브(210)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등 리무버블 미디어(211)를 구동한다.
이상과 같이 구성되는 컴퓨터(200)에서는, CPU(201)가, 예를 들어 기억부(208)에 기억되어 있는 프로그램을, 입출력 인터페이스(205) 및 버스(204)를 통해서, RAM(203)에 로드해서 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(200)(CPU(201))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(211)에 기록해서 제공할 수 있다. 또한, 프로그램은, 로컬에리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해서 제공할 수 있다.
컴퓨터(100)에서는, 프로그램은, 리무버블 미디어(211)를 드라이브(210)에 장착함으로써, 입출력 인터페이스(105)를 통해서, 기억부(108)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해서, 통신부(109)에서 수신하고, 기억부(108)에 인스톨할 수 있다. 그 외, 프로그램은, ROM(102)이나 기억부(108)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터(100)가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로 또는 호출이 행해졌을 때 등 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 발명의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
10 : 애플리케이션 연동 시스템
11 : 방송망
12 : 쌍방향 통신망
20 : 송신 장치
21 : 콘텐츠 매니지먼트 서버
22 : 애플리케이션 서버
23 : 이벤트 서버
24 : 타임 라인 제너레이션 클라이언트
25 : 시그니처 클라이언트
26 : ACR 서버
28 : NTP 서버
30 : 수신 장치
31 : 콘텐츠 렌더러
32 : ACR 클라이언트
33 : 이벤트 핸들러
41 : 타임 라인 데이터 취득부
42 : ACR 레퍼런스 데이터 생성부
43 : ACR 데이터베이스
44 : ACR 리스펀스 생성부
50 : 이벤트 메시지
60 : 타임 라인 데이터
70 : ACR 레퍼런스 데이터
80 : ACR 쿼리
90 : ACR 리스펀스
110 : 오퍼레이터 화면
200 : 컴퓨터
201 : CPU
11 : 방송망
12 : 쌍방향 통신망
20 : 송신 장치
21 : 콘텐츠 매니지먼트 서버
22 : 애플리케이션 서버
23 : 이벤트 서버
24 : 타임 라인 제너레이션 클라이언트
25 : 시그니처 클라이언트
26 : ACR 서버
28 : NTP 서버
30 : 수신 장치
31 : 콘텐츠 렌더러
32 : ACR 클라이언트
33 : 이벤트 핸들러
41 : 타임 라인 데이터 취득부
42 : ACR 레퍼런스 데이터 생성부
43 : ACR 데이터베이스
44 : ACR 리스펀스 생성부
50 : 이벤트 메시지
60 : 타임 라인 데이터
70 : ACR 레퍼런스 데이터
80 : ACR 쿼리
90 : ACR 리스펀스
110 : 오퍼레이터 화면
200 : 컴퓨터
201 : CPU
Claims (11)
- 송신 장치로서,
하나 또는 복수의 콘텐츠 동정부를 포함하고,
각각의 콘텐츠 동정부는,
수신 장치측에서 시청될 수 있는 콘텐츠로부터 생성된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와 생성원의 상기 콘텐츠를 나타내는 콘텐츠 식별자가 적어도 기술되어 있는 레퍼런스 데이터와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자와 상기 애플리케이션의 실행 타이밍을 나타내는 타임 라인 정보가 적어도 기술되어 있는 타임 라인 데이터가 데이터베이스화되어 있는 데이터베이스부와,
상기 데이터베이스부를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠를 나타내는 콘텐츠 식별자와, 동정한 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자가 기술되어 있는 상기 타임 라인 데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부와,
상기 타임 라인 데이터를 타임 라인 데이터 생성부로부터 수신하는 타임 라인 데이터 수신부 - 상기 타임 라인 데이터 생성부는 상기 타임 라인 데이터를 생성하여, 복수의 콘텐츠 동정부에 대하여 일괄하여 공통의 상기 타임 라인 데이터를 공급함 -
를 구비하는, 송신 장치. - 제1항에 있어서,
상기 타임 라인 데이터 생성부를 제어하기 위한 유저 인터페이스부를 더 구비하는, 송신 장치. - 제2항에 있어서,
하나 또는 복수의 각 동정 서버에 각각 대응하는 추출 방법에 의해, 수신 장치측에서 시청될 수 있는 상기 콘텐츠로부터 상기 시그니처 데이터를 추출하는 시그니처 데이터 추출부를 더 구비하는, 송신 장치. - 제3항에 있어서,
상기 콘텐츠 동정부는, 상기 시그니처 데이터 추출부에 의해 추출된 상기 시그니처 데이터를 사용해서 상기 레퍼런스 데이터를 생성하는 레퍼런스 데이터 생성부를 더 갖는, 송신 장치. - 제3항에 있어서,
상기 시그니처 데이터 추출부는 상기 시그니처 데이터로서 핑거 프린트를 생성하는, 송신 장치. - 송신 장치의 정보 처리 방법으로서,
상기 송신 장치에 의한,
복수의 콘텐츠 동정부에 대하여 일괄 공급하기 위한 공통의 타임 라인 데이터를 생성하는 생성 스텝과 - 각각의 콘텐츠 동정부는,
수신 장치측에서 시청될 수 있는 콘텐츠로부터 생성된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와 생성원의 상기 콘텐츠를 나타내는 콘텐츠 식별자가 적어도 기술되어 있는 레퍼런스 데이터와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자와 상기 애플리케이션의 실행 타이밍을 나타내는 타임 라인 정보가 적어도 기술되어 있는 타임 라인 데이터가 데이터베이스화되어 있는 데이터베이스부와,
상기 데이터베이스부를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠를 나타내는 콘텐츠 식별자와, 동정한 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자가 기술되어 있는 상기 타임 라인 데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부를 구비함 - ,
상기 공통의 타임 라인 데이터를 상기 복수의 콘텐츠 동정부에 대하여 일괄 공급하는 공급 스텝
을 포함하는, 정보 처리 방법. - 컴퓨터 판독가능 저장 매체로서,
컴퓨터를,
하나 또는 복수의 콘텐츠 동정부로서 기능시키는 프로그램을 저장하고,
각각의 콘텐츠 동정부는,
수신 장치측에서 시청될 수 있는 콘텐츠로부터 생성된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와 생성원의 상기 콘텐츠를 나타내는 콘텐츠 식별자가 적어도 기술되어 있는 레퍼런스 데이터와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자와 상기 애플리케이션의 실행 타이밍을 나타내는 타임 라인 정보가 적어도 기술되어 있는 타임 라인 데이터가 데이터베이스화되어 있는 데이터베이스부와,
상기 데이터베이스부를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠를 나타내는 콘텐츠 식별자와, 동정한 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자가 기술되어 있는 상기 타임 라인 데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부와,
상기 타임 라인 데이터를 타임 라인 데이터 생성부로부터 수신하는 타임 라인 데이터 수신부 - 상기 타임 라인 데이터 생성부는 상기 타임 라인 데이터를 생성하여, 복수의 콘텐츠 동정부에 대하여 일괄하여 공통의 상기 타임 라인 데이터를 공급함 -
를 포함하는, 컴퓨터 판독가능 저장 매체. - 수신 장치로서,
복수의 ACR(automatic content recognition) 클라이언트를 포함하고,
각각의 ACR 클라이언트는,
재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와,
상기 시그니처 데이터를 적어도 포함하는 쿼리를 생성해서 송신 장치가 구비하는 하나 또는 복수의 콘텐츠 동정부로 송신하고, 상기 쿼리에 따라서 상기 콘텐츠 동정부로부터 회신된 리스펀스를 수신하는 쿼리 생성부와,
수신된 상기 리스펀스에 포함되는 타임 라인 데이터에 기초하여, 상기 콘텐츠에 대응하는 애플리케이션을 취득하고, 취득한 상기 애플리케이션을 상기 콘텐츠의 진행에 연동해서 실행하는 애플리케이션 실행부
를 구비하는, 수신 장치. - 제8항에 있어서,
상기 애플리케이션 실행부는, 수신된 상기 리스펀스에 포함되는 상기 타임 라인 데이터에 기술되어 있는 애플리케이션 식별자에 기초하여, 상기 콘텐츠에 대응하는 상기 애플리케이션을 취득하는, 수신 장치. - 제8항에 있어서,
상기 애플리케이션 실행부는, 수신된 상기 리스펀스에 포함되는 상기 타임 라인 데이터에 기술되어 있는 이벤트 식별자에 기초하여, 상기 콘텐츠에 대응하는 상기 애플리케이션의 애플리케이션 식별자를 취득하고, 취득한 애플리케이션 식별자에 기초하여, 상기 콘텐츠에 대응하는 상기 애플리케이션을 취득하는, 수신 장치. - 콘텐츠의 송신 장치와 수신 장치를 포함하는 애플리케이션 연동 시스템으로서,
상기 송신 장치는 하나 또는 복수의 콘텐츠 동정부를 포함하고,
각각의 콘텐츠 동정부는,
상기 수신 장치측에서 시청될 수 있는 콘텐츠로부터 생성된 상기 콘텐츠의 특징을 나타내는 시그니처 데이터와 생성원의 상기 콘텐츠를 나타내는 콘텐츠 식별자가 적어도 기술되어 있는 레퍼런스 데이터와, 상기 콘텐츠에 연동해서 실행시키는 애플리케이션을 나타내는 애플리케이션 식별자와 상기 애플리케이션의 실행 타이밍을 나타내는 타임 라인 정보가 적어도 기술되어 있는 타임 라인 데이터가 데이터베이스화되어 있는 데이터베이스부와,
상기 데이터베이스부를 참조함으로써, 수신 장치로부터 송신된 쿼리에 포함되는 시그니처 데이터의 추출원의 콘텐츠를 동정하고, 동정한 콘텐츠를 나타내는 콘텐츠 식별자와, 동정한 콘텐츠의 진행에 연동해서 실행시키는 애플리케이션을 나타내는 상기 애플리케이션 식별자가 기술되어 있는 상기 타임 라인 데이터를 포함하는 리스펀스를 생성해서 상기 수신 장치로 회신하는 리스펀스 생성부와,
상기 타임 라인 데이터를 타임 라인 데이터 생성부로부터 수신하는 타임 라인 데이터 수신부 - 상기 타임 라인 데이터 생성부는 상기 타임 라인 데이터를 생성하여, 복수의 콘텐츠 동정부에 대하여 일괄하여 공통의 상기 타임 라인 데이터를 공급함 -
를 구비하고,
상기 수신 장치는 복수의 ACR 클라이언트를 포함하고,
각각의 ACR 클라이언트는,
재생된 콘텐츠로부터 상기 콘텐츠의 특징을 나타내는 시그니처 데이터를 추출하는 추출부와,
상기 시그니처 데이터를 적어도 포함하는 쿼리를 생성해서 상기 송신 장치가 구비하는 하나 또는 복수의 콘텐츠 동정부로 송신하고, 상기 쿼리에 따라서 상기 콘텐츠 동정부로부터 회신된 리스펀스를 수신하는 쿼리 생성부와,
수신된 상기 리스펀스에 포함되는, 상기 하나 또는 복수의 콘텐츠 동정부에 대하여 일괄하여 공통으로 공급되어 있는 타임 라인 데이터에 기초하여, 상기 콘텐츠에 대응하는 애플리케이션을 취득하고, 취득한 상기 애플리케이션을 상기 콘텐츠의 진행에 연동해서 실행하는 애플리케이션 실행부
를 구비하는, 애플리케이션 연동 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201261670900P | 2012-07-12 | 2012-07-12 | |
| US61/670,900 | 2012-07-12 | ||
| PCT/JP2013/068148 WO2014010470A1 (ja) | 2012-07-12 | 2013-07-02 | 送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150035808A KR20150035808A (ko) | 2015-04-07 |
| KR102110623B1 true KR102110623B1 (ko) | 2020-05-13 |
Family
ID=49914901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020147036975A KR102110623B1 (ko) | 2012-07-12 | 2013-07-02 | 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US9489421B2 (ko) |
| EP (1) | EP2874399A4 (ko) |
| JP (1) | JPWO2014010470A1 (ko) |
| KR (1) | KR102110623B1 (ko) |
| CN (1) | CN104412605B (ko) |
| BR (1) | BR112015000142A2 (ko) |
| IN (1) | IN2014MN02596A (ko) |
| RU (1) | RU2630261C2 (ko) |
| WO (1) | WO2014010470A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6469996B2 (ja) * | 2014-09-09 | 2019-02-13 | オリンパス株式会社 | 撮像素子および内視鏡装置 |
| CN104391708B (zh) * | 2014-12-08 | 2017-09-15 | 畅捷通信息技术股份有限公司 | 时间确定方法与时间确定装置 |
| US10089095B2 (en) | 2015-05-06 | 2018-10-02 | Mcafee, Llc | Alerting the presence of bundled software during an installation |
| KR102084510B1 (ko) | 2016-01-05 | 2020-03-05 | 그레이스노트, 인코포레이티드 | 컨텐츠 특성 기반 트리거 피처를 갖는 컴퓨팅 시스템 |
| CN105933780A (zh) * | 2016-04-14 | 2016-09-07 | 乐视控股（北京）有限公司 | 一种焦点图的处理方法及装置 |
| US10986421B2 (en) | 2017-07-03 | 2021-04-20 | Dolby Laboratories Licensing Corporation | Identification and timing data for media content |
| US11263261B2 (en) * | 2020-02-14 | 2022-03-01 | Alibaba Group Holding Limited | Method and system for characteristic-based video processing |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009532956A (ja) * | 2006-03-30 | 2009-09-10 | エスアールアイ インターナショナル | メディア・ストリームに注釈を付ける方法および装置 |
| JP2010268462A (ja) * | 2009-05-13 | 2010-11-25 | Sony Europe Ltd | 実行可能アプリケーション検索システム |
Family Cites Families (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5664227A (en) * | 1994-10-14 | 1997-09-02 | Carnegie Mellon University | System and method for skimming digital audio/video data |
| US5661787A (en) * | 1994-10-27 | 1997-08-26 | Pocock; Michael H. | System for on-demand remote access to a self-generating audio recording, storage, indexing and transaction system |
| US6184877B1 (en) * | 1996-12-11 | 2001-02-06 | International Business Machines Corporation | System and method for interactively accessing program information on a television |
| US6400378B1 (en) * | 1997-09-26 | 2002-06-04 | Sony Corporation | Home movie maker |
| US7194752B1 (en) * | 1999-10-19 | 2007-03-20 | Iceberg Industries, Llc | Method and apparatus for automatically recognizing input audio and/or video streams |
| AU2426901A (en) * | 1999-12-01 | 2001-06-12 | Connectivcorp | A system and method for content recognition over the internet |
| US20040220926A1 (en) * | 2000-01-03 | 2004-11-04 | Interactual Technologies, Inc., A California Cpr[P | Personalization services for entities from multiple sources |
| US6834308B1 (en) * | 2000-02-17 | 2004-12-21 | Audible Magic Corporation | Method and apparatus for identifying media content presented on a media playing device |
| JP3994682B2 (ja) * | 2000-04-14 | 2007-10-24 | 日本電信電話株式会社 | 放送情報送受信システム |
| KR100566794B1 (ko) * | 2000-04-14 | 2006-04-03 | 니뽄 덴신 덴와 가부시키가이샤 | 방송 정보에 관련된 정보의 취득 방법, 시스템 및 장치 |
| CN100592788C (zh) | 2000-04-14 | 2010-02-24 | 日本电信电话株式会社 | 与广播信息相关的信息取得方法、系统和装置 |
| US9292516B2 (en) * | 2005-02-16 | 2016-03-22 | Sonic Solutions Llc | Generation, organization and/or playing back of content based on incorporated parameter identifiers |
| WO2002062009A1 (en) * | 2001-01-30 | 2002-08-08 | Digimarc Corporation | Efficient interactive tv |
| US7877438B2 (en) * | 2001-07-20 | 2011-01-25 | Audible Magic Corporation | Method and apparatus for identifying new media content |
| US20030117428A1 (en) * | 2001-12-20 | 2003-06-26 | Koninklijke Philips Electronics N.V. | Visual summary of audio-visual program features |
| US6946715B2 (en) * | 2003-02-19 | 2005-09-20 | Micron Technology, Inc. | CMOS image sensor and method of fabrication |
| US20040240562A1 (en) * | 2003-05-28 | 2004-12-02 | Microsoft Corporation | Process and system for identifying a position in video using content-based video timelines |
| JP4655534B2 (ja) * | 2004-08-04 | 2011-03-23 | ソニー株式会社 | 端末装置およびデータ処理方法、プログラム並びに記録媒体 |
| US20060195860A1 (en) * | 2005-02-25 | 2006-08-31 | Eldering Charles A | Acting on known video entities detected utilizing fingerprinting |
| JP2007116211A (ja) * | 2005-10-17 | 2007-05-10 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ関連情報提供方法及びシステム及びプログラム |
| US20080036917A1 (en) * | 2006-04-07 | 2008-02-14 | Mark Pascarella | Methods and systems for generating and delivering navigatable composite videos |
| US8458595B1 (en) * | 2006-05-31 | 2013-06-04 | Adobe Systems Incorporated | Video editing including simultaneously displaying timelines and storyboards |
| RU2446583C2 (ru) * | 2006-06-13 | 2012-03-27 | Конинклейке Филипс Электроникс Н.В. | Распространение окружения и контента |
| US20080126191A1 (en) * | 2006-11-08 | 2008-05-29 | Richard Schiavi | System and method for tagging, searching for, and presenting items contained within video media assets |
| US8418206B2 (en) * | 2007-03-22 | 2013-04-09 | United Video Properties, Inc. | User defined rules for assigning destinations of content |
| US8312023B2 (en) * | 2007-12-21 | 2012-11-13 | Georgetown University | Automated forensic document signatures |
| US8103966B2 (en) * | 2008-02-05 | 2012-01-24 | International Business Machines Corporation | System and method for visualization of time-based events |
| WO2009155089A1 (en) * | 2008-05-29 | 2009-12-23 | Telcordia Technologies, Inc. | Method and system for generating and presenting mobile content summarization |
| US8959108B2 (en) * | 2008-06-18 | 2015-02-17 | Zeitera, Llc | Distributed and tiered architecture for content search and content monitoring |
| WO2010044014A1 (en) * | 2008-10-14 | 2010-04-22 | Koninklijke Philips Electronics N.V. | Content item identifier |
| US9047516B2 (en) * | 2010-06-18 | 2015-06-02 | Verizon Patent And Licensing Inc. | Content fingerprinting |
| US9398328B2 (en) * | 2010-11-24 | 2016-07-19 | Lg Electronics Inc. | Video display device and method for controlling same |
| US20120236201A1 (en) * | 2011-01-27 | 2012-09-20 | In The Telling, Inc. | Digital asset management, authoring, and presentation techniques |
| US20120254404A1 (en) * | 2011-04-04 | 2012-10-04 | Nbcuniversal Media Llc | Multi-tiered automatic content recognition and processing |
| CA2837725C (en) * | 2011-06-10 | 2017-07-11 | Shazam Entertainment Ltd. | Methods and systems for identifying content in a data stream |
| US9060206B2 (en) * | 2011-09-16 | 2015-06-16 | Nbcuniversal Media, Llc | Sampled digital content based syncronization of supplementary digital content |
| US9374620B2 (en) | 2011-10-21 | 2016-06-21 | Sony Corporation | Terminal apparatus, server apparatus, information processing method, program, and interlocked application feed system |
| US9015785B2 (en) | 2011-11-29 | 2015-04-21 | Sony Corporation | Terminal apparatus, server apparatus, information processing method, program, and linking application supply system |
| US9043821B2 (en) * | 2012-02-07 | 2015-05-26 | Turner Broadcasting System, Inc. | Method and system for linking content on a connected television screen with a browser |
-
2013
- 2013-07-02 RU RU2014152248A patent/RU2630261C2/ru not_active IP Right Cessation
- 2013-07-02 CN CN201380035745.5A patent/CN104412605B/zh not_active Expired - Fee Related
- 2013-07-02 BR BR112015000142A patent/BR112015000142A2/pt not_active Application Discontinuation
- 2013-07-02 WO PCT/JP2013/068148 patent/WO2014010470A1/ja active Application Filing
- 2013-07-02 JP JP2014524754A patent/JPWO2014010470A1/ja active Pending
- 2013-07-02 KR KR1020147036975A patent/KR102110623B1/ko active IP Right Grant
- 2013-07-02 EP EP13816121.1A patent/EP2874399A4/en not_active Withdrawn
- 2013-07-09 US US13/937,684 patent/US9489421B2/en active Active
-
2014
- 2014-12-23 IN IN2596MUN2014 patent/IN2014MN02596A/en unknown
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009532956A (ja) * | 2006-03-30 | 2009-09-10 | エスアールアイ インターナショナル | メディア・ストリームに注釈を付ける方法および装置 |
| JP2010268462A (ja) * | 2009-05-13 | 2010-11-25 | Sony Europe Ltd | 実行可能アプリケーション検索システム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2014010470A1 (ja) | 2014-01-16 |
| US20140019474A1 (en) | 2014-01-16 |
| JPWO2014010470A1 (ja) | 2016-06-23 |
| IN2014MN02596A (ko) | 2015-07-24 |
| KR20150035808A (ko) | 2015-04-07 |
| RU2630261C2 (ru) | 2017-09-06 |
| BR112015000142A2 (pt) | 2017-06-27 |
| EP2874399A1 (en) | 2015-05-20 |
| CN104412605A (zh) | 2015-03-11 |
| CN104412605B (zh) | 2019-01-22 |
| EP2874399A4 (en) | 2016-03-02 |
| RU2014152248A (ru) | 2016-07-20 |
| US9489421B2 (en) | 2016-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6219269B2 (ja) | 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム | |
| JP6219275B2 (ja) | 端末装置、情報処理方法、プログラム、および連動アプリケーション供給システム | |
| KR102110623B1 (ko) | 송신 장치, 정보 처리 방법, 프로그램, 수신 장치 및 애플리케이션 연동 시스템 | |
| KR102233783B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
| KR102019286B1 (ko) | 단말 장치, 서버 장치, 정보 처리 방법, 프로그램 및 연동 어플리케이션 공급 시스템 | |
| JP5896222B2 (ja) | 端末装置、中継装置、情報処理方法、プログラム、およびコンテンツ識別システム | |
| WO2014010469A1 (ja) | 受信装置、情報処理方法、プログラム、送信装置、およびアプリケーション連動システム | |
| JP6023518B2 (ja) | 情報処理装置、情報処理方法、プログラム、およびコンテンツ共有システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |