RU2630261C2 - Передающее устройство, способ обработки информации, программа, приемное устройство и система взаимодействия приложения - Google Patents

Передающее устройство, способ обработки информации, программа, приемное устройство и система взаимодействия приложения Download PDF

Info

Publication number
RU2630261C2
RU2630261C2 RU2014152248A RU2014152248A RU2630261C2 RU 2630261 C2 RU2630261 C2 RU 2630261C2 RU 2014152248 A RU2014152248 A RU 2014152248A RU 2014152248 A RU2014152248 A RU 2014152248A RU 2630261 C2 RU2630261 C2 RU 2630261C2
Authority
RU
Russia
Prior art keywords
content
data
application
acr
identifier
Prior art date
Application number
RU2014152248A
Other languages
English (en)
Other versions
RU2014152248A (ru
Inventor
Ясуаки ЯМАГИСИ
Original Assignee
Сони Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Сони Корпорейшн filed Critical Сони Корпорейшн
Publication of RU2014152248A publication Critical patent/RU2014152248A/ru
Application granted granted Critical
Publication of RU2630261C2 publication Critical patent/RU2630261C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

Изобретение относится к системам взаимодействия приложений, которые используются, когда прикладная программа выполняется совместно с процессом обработки контента, например, телевизионной программы. Техническим результатом является обеспечение интерфейса по отношению к множеству серверов автоматического распознавания контента (ACR), используемых для идентификации контента, чтобы стать общим, когда приложение выполняется совместно с процессом обработки произвольного просматриваемого в данный момент контента. Предложено передающее устройство, включающее один или множество блоков идентификации контента и блок генерирования временных данных, который генерирует временные данные и совместно подает общие временные данные в указанный один или множество блоков идентификации контента. 5 н. и 5 з.п. ф-лы, 16 ил.

Description

Область техники
Настоящее изобретение относится к передающему устройству, способу обработки информации, программе, приемному устройству и системе взаимодействия приложений, в частности, относится к передающему устройству, способу обработки информации, программе, приемному устройству и системе взаимодействия приложений, которые используются, когда прикладная программа выполняется совместно с процессом обработки контента, например, телевизионной программы.
Уровень техники
Рассмотрим, например, отображение на экранах информации (исполнителей, сюжетной линии, объявления и т.п.), относящейся к телевизионной (TV) программе (далее именуется просто как программа), или информации (новости, прогноз погоды, информация о дорожном движении и т.п.) полезной для зрителей, хотя и непосредственно не имеющая отношения к программе, при просмотре программы.
Для реализации вышеописанного способа отображения, команда на получение и запуск выделенного приложения программы (далее обозначается для упрощения, как приложение) может быть просто передана в телевизионные приемники совместно с передачей программы. Фактически, в Японии и Европе, команда или приложение передается с использованием полосы частот для вещания данных в сигнале телевизионного вещания, в результате чего реализуется вышеописанный процесс отображения (например, смотри патентный документ 1).
Между тем, в Соединенных Штатах Америки, полоса частот для вещания данных не предусмотрена в сигнал телевизионного вещания и не определяется способ их установки. Таким образом, выполнение приложения совместно с передачей программы не было реализовано.
Следует отметить, что в США есть большее количество домохозяйств, которым доставляются программы по CATV или IPTV, по сравнению с домохозяйствами, где непосредственно осуществляется прием программ телевещания посредством телевизионных приемников и обеспечивается просмотр программ. В CATV или IPTV, только видео и аудио сигнал программы иногда могут быть извлечены из сигнала телевизионного вещания и доставлены, таким образом, если обеспечивается полоса частот для вещания данных в сигнале телевизионного вещания в Соединенных Штатах, то нет никакой гарантии, что передается сигнал вещания данных, включающий в себя данные, относящиеся к приложению, на приемные устройства.
Дополнительно, в последние годы, даже тогда, когда передается не только программа, но и записанная программа, то просматривается видео, воспроизводимое из медиа-пакета, например, DVD или BD, или произвольный контент, такой как, движущееся изображение, загруженное из Интернета, существует потребность в выполнении приложения совместно с передачей программы, видео или произвольного контента.
Список ссылок
Патентный документ
Патентный документ 1: Выложенная заявка на патент Японии No. 2006-50237
Раскрытие изобретения
Задачи, решаемые с помощью изобретения
Как описано выше, чтобы выполнить приложение, соответствующее просматриваемому произвольному контенту, необходимо идентифицировать просматриваемый контент. В качестве способа реализации данной технологии, предполагается способ автоматического распознавания контента (ACR).
ACR идентифицирует просматриваемый контент посредством сравнения данных сигнатуры (характеристическая величина), извлеченных из просматриваемого контента, с помощью заданного способа извлечения, и данных контента, зарегистрированных в базе данных заранее.
Следует отметить, что в базе данных ACR сервера, который выполняет идентификацию контента с помощью ACR, записана информация, указывающая контент, информация, указывающая на выполняемое приложение совместно с процессом обработки контента и т.п., в дополнение к данным сигнатуры контента. Информация этих способов поставляется от провайдера контента, такого как радиовещательная станция или провайдер приложения.
Кстати, способ управления и эксплуатации ACR сервером не ограничивается радиовещательной станцией и может рассматриваться возможность функционирования множества бизнес операторов. В результате, предполагается, что будет использоваться множество серверов ACR. Даже в этом случае, для провайдера контента или провайдера приложения, желательно, чтобы информация о контенте и приложении поставлялась через общий интерфейс для ACR серверов.
Настоящее изобретение было сделано в свете вышеизложенного, и обеспечивает интерфейс по отношению к множеству серверов ACR, используемых для идентификации контента, чтобы стать общим, когда приложение выполняется совместно с процессом обработки произвольного просматриваемого в данный момент контента.
Решение задач
Передающее устройство согласно первому аспекту настоящего изобретения включает в себя: один или множество блоков идентификации контента, включающий в себя блок базы данных, в которой справочные данные, в которых данные сигнатуры, указывающие характеристику контента, который возможно просматривается на стороне приемного устройства, данные сигнатуры генерируются из контента, и идентификатор контента, указывающий источник генерации контента, по меньшей мере, описаны, и данные временной линейки, в которых идентификатор приложения, указывающий приложение, которое должно быть выполнено совместно с контентом, и информация временной линейки, указывающая график выполнения приложения, по меньшей мере, описаны, отвечают требованиям, и блок генерации ответа, выполненный с возможностью идентифицировать, со ссылкой на блок базы данных, контент источника извлечения данных сигнатуры, включенных в состав запроса, передаваемого от приемного устройства, и генерировать ответ, включенный в состав данных временной линейки, в которых идентификатор контента указывает идентифицированный контент, и идентификатор приложения, указывающий на приложение, которое должно быть выполнено совместно с обработкой идентифицированного контента, описаны, и возвращает ответ в приемное устройство; и блок генерирования данных временной линейки, выполненного с возможностью генерировать данные временной линейки, и совместно поставлять общие данные временной линейки в один или нескольких блоков идентификации контента.
Передающее устройство согласно первому аспекту настоящего изобретения дополнительно включает в себя блок пользовательского интерфейса для управления блоком генерирования данных временной линейки.
Передающее устройство согласно первому аспекту настоящего изобретения дополнительно включает в себя блок извлечения данных сигнатуры, выполненный с возможностью извлекать данные сигнатуры из возможно просматриваемого контента на стороне приемного устройства посредством способа извлечения, который соответствует каждому одному или множеству идентификационных серверов.
Блок идентификации контента дополнительно включает в себя блок генерирования справочных данных, выполненный с возможностью генерировать справочные данные, используя данные сигнатуры, извлеченные блоком извлечения данных сигнатуры.
Блок извлечения данных сигнатуры генерирует информацию отпечатка пальцев, как данные сигнатуры.
Способ обработки информации в передающем устройстве в соответствии с первым аспектом настоящего изобретения включает в себя этапы, на которых: посредством передающего устройства, генерирование общих данных временной линейки для совместной поставки в один или множество блоков идентификации контента, блок идентификации контента включает в себя блок базы данных, в которой справочные данные, в которых данные сигнатуры, указывающие характеристику контента, который возможно просматривается на стороне приемного устройства, данные сигнатуры, сгенерированные из контента, и идентификатор контента, указывающий на источник генерирования контента, по меньшей мере, описаны, и данные временной линейки, в которых идентификатор приложения, указывающий приложение, которое должно быть выполнено совместно с контентом, и информацию временной линейки, указывающую время выполнения приложения, по меньшей мере, описаны, отвечают требованиям, и блок генерирования ответа, выполненный с возможностью идентифицировать, со ссылкой на блок базы данных, контент источника извлечения данных сигнатуры, включенные в состав запроса, передаваемого от приемного устройства, и генерировать ответ, включенный в состав данных временной линейки, в котором идентификатор контента указывает идентифицированный контент, и идентификатор приложения, указывающий приложение, которое будет выполняться совместно с процессом обработки идентифицированного контента, описаны, и возвращает ответ в приемное устройство; и совместную поставку общих данных временной линейки в один или несколько блоков идентификации контента.
Программа в соответствии с первым аспектом настоящего изобретения вызывает компьютер выполнить: один или множество блоков идентификации контента, включающий в себя блок базы данных, в котором справочные данные, в которых данные сигнатуры указывают характеристику контента, который возможно просматривается на стороне приемного устройства, данные сигнатуры генерируется из контента и идентификатор контента указывает источник генерации контента, по меньшей мере, описаны, и данные временной линейки, в которых идентификатор приложения, указывающий приложение для выполнения совместно с контентом, и информация временной линейки, указывающая время выполнения приложения, по меньшей мере, описаны, удовлетворяют требованиям, и блок генерирования ответа, выполненный с возможностью идентифицировать, со ссылкой на блок базы данных, контент источника извлечения данных сигнатуры, включенные в состав запроса, передаваемого от приемного устройства, и генерировать ответ, включенный в состав данных временной линейки, в которых идентификатор контента указывает идентифицированный контент, и идентификатор приложения, указывающий на приложение, которое должно быть выполнено совместно с процессом обработки идентифицированного контента, описаны, и возвращает ответ в приемное устройство; и блок генерирования данных временной линейки, выполненный с возможностью генерировать данные временной линейки и совместно поставлять общие данные временной линейки в один или нескольких блоков идентификации контента.
В соответствии с первым аспектом настоящего изобретения, генерируются общие данные временной линейки для совместной подачи в один или множество блоков идентификации контента, и общие данные временной линейки совместно поставляются в один или множество блоков идентификации контента, один или множество блоков идентификации контента включает в себя блок базы данных, в которой справочные данные, в которых данные сигнатуры, указывающие характеристику контента, который, возможно, просматривается на стороне приемного устройства, данные сигнатуры генерируется из контента, и идентификатор контента указывает контент источника генерации, по меньшей мере, описаны, и данные временной линейки, в которых идентификатор приложения указывает приложение, которое будут выполнено совместно с контентом, и информацию временной линейки, указывающую время выполнения приложения, по меньшей мере, описаны, составлены, и блок генерации ответа, выполнен с возможностью идентифицировать, со ссылкой на блок базы данных, контент источника извлечения данных сигнатуры, включенные в состав запроса, передаваемого от приемного устройства для генерирования ответа, включенного в состав данных временной линейки, в которой идентификатор информации, указывающий идентифицированный контент, и идентификатор приложения, указывающий приложение, которое будет выполняться совместно с процессом обработки идентифицированного контента, описаны, и возвращает ответ в приемное устройство.
Приемное устройство в соответствии со вторым аспектом настоящего изобретения включает в себя: блок извлечения, выполненный с возможностью извлекать из воспроизводимого контента данные сигнатуры, указывающие характеристику контента; блок генерации запроса, выполненный с возможностью генерировать запрос, включенный в состав, по меньшей мере, данных сигнатуры, и передавать запрос в один или множество блоков идентификации контента, включенных в состав передающего устройства, и принимать ответ, возвращаемый из блока идентификации контента, в ответ на запрос; и блок выполнения приложения, выполненный с возможностью получать приложение, соответствующее контенту, и выполнять полученное приложение совместно с процессом обработки контента, на основании данных временной линейки, включенных в состав принятого ответа, данные временной линейки совместно подаются на один или множество блоков идентификации контента.
Блок выполнения приложения получает приложение, соответствующее контенту, на основании идентификатора приложения, описанного в данных временной линейки, включенных в состав принятого ответа.
Блок выполнения приложения получает идентификатор приложения, соответствующего контенту, на основании идентификатора события, описанного в данных временной линейки, включенных в состав принятого ответа, и получает приложение, соответствующее контенту, на основании полученного идентификатора приложения.
В соответствии со вторым аспектом настоящего изобретения, данные сигнатуры, указывающие характеристику контента, извлекаются из воспроизводимого контента, запрос, включенный в состав, по меньшей мере, данных сигнатуры, генерируется и передается в один или множество блоков идентификации контента, включенных в состав передающего устройства, и принимается ответ, возвращаемый из блока идентификации контента, в ответ на запрос. Кроме того, приложение, соответствующее контенту, получается на основании данных временной линейки, включенных в состав принятого ответа, и совместно поставляется в один или множество блоков идентификации контента, и полученное приложение выполняется совместно с процессом обработки контента.
В системе взаимодействия приложений, состоящая из передающего устройства и приемного устройства контента в соответствии с третьим аспектом настоящего изобретения, передающее устройство включает в себя один или множество блоков идентификации контента, включающий в себя блок базы данных, в которых справочные данные, в которых данные сигнатуры указывают характеристику контента, который, возможно просматривается на стороне приемного устройства, данные сигнатуры, генерированные из контента, и идентификатор контента, указывающий контента источника генерации, по меньшей мере, описаны, и данные временной линейки, в которых, идентификатор приложения, указывающий приложение, которое выполняется совместно с содержанием, и информация временной линейки, указывающая время выполнения приложения, по меньшей мере, описаны, составляются, и блок генерирования ответа, выполненный с возможностью идентифицировать, со ссылкой на блок базы данных, контент источника извлечения данных сигнатур, которые включены в состав запроса, передаваемого от приемного устройства, и генерирование ответа, включающий в себя данные временной линейки, в которых идентификатор контента указывает идентифицируемый контент и идентификатор приложения, указывающий на приложение, которое выполняется совместно с процессом обработки идентифицированного контента, описаны, и возвращает ответ в приемное устройство, и блок генерирования данных временной линейки, выполненный с возможностью генерировать данные временной линейки и совместно поставлять общие данные временной линейки в один или несколько блоков идентификации контента, и приемное устройство, включающее в себя блок извлечения, выполненный с возможностью извлекать из воспроизводимого контента данные сигнатуры, указывающие характеристику контента, блок генерирования запроса, выполненный с возможностью генерировать запрос, включающий в себя, по меньшей мере, данные сигнатуры, и передавать запрос в один или множество блоков идентификации контента, включенные в состав передающего устройства, и принимать ответ, возвращаемый из блока идентификации контента в ответ на запрос, и блок выполнения приложений, выполненный с возможностью получать приложение, соответствующее контенту, и выполнять полученное приложение совместно с процессом обработки контента, на основании данных временной линейки, включенных в состав принятого ответа, данные временной линейки совместно поставляются в один или множество блоков идентификации контента.
В системе взаимодействия приложений в качестве третьего аспекта настоящего изобретения, посредством передающего устройства, генерируются общие данные временной линейки, которые совместно поставляются в один или множество блоков идентификации контента, и общие данные временной линейки совместно поставляются в один или множество блоков идентификации контента, один или множество блоков идентификации контента включает в себя блок базы данных, в которых справочные данные, в которых данные сигнатуры, указывающие характеристику контента, который возможно просматривается на стороне приемного устройства, данные сигнатуры генерируются из контента, и идентификатор контента, указывающий контент источника генерации контента, по меньшей мере, описаны, и данные временной линейки, в которых идентификатор приложения, указывающий приложение, которое должно быть выполнено совместно с контентом, и информация, указывающая время выполнения приложения, по меньшей мере, описаны, составляются, и блок генерирования ответа, выполненный с возможностью идентифицировать, со ссылкой на блок базы данных, контент источника извлечения данных сигнатуры, включенные в состав запроса, передаваемого от приемного устройства, и генерирование ответа, включающий в себя данные временной линейки, в которых, идентификатор контента указывает идентифицированный контент, и идентификатор приложения, указывающий приложение, которое будет выполнено совместно с процессом обработки идентифицированного контента, описаны, и возвращает ответ в приемное устройство. Дополнительно, с помощью приемного устройства данные сигнатуры, указывающие характеристику контента, извлекаются из воспроизводимого контента, запрос, включающий в себя, по меньшей мере, данные сигнатуры, генерируется и передается в один или множество блоков идентификации контента, включенные в состав передающего устройства, и ответ, возвращаемый из блок идентификации контента, в ответ на запрос, принимается. Дополнительно, приложение, соответствующее контенту, получают на основании данных временной линейки, включенных в состав принятого ответа, и совместно поставляются в один или множество блоков идентификации контента, и полученное приложение выполняется совместно с процессом обработки контента.
Полезные результаты изобретения
В соответствии с первым аспектом настоящего изобретения, используется общий интерфейс для множества блоков идентификации контента для идентификации контента.
В соответствии со вторым аспектом настоящего изобретения, приложение может быть выполнено совместно с процессом обработки произвольного контента, который в данный момент просматривается.
В соответствии с третьим аспектом настоящего изобретения, интерфейс для множества ACR серверов, используемых для распознавания контента, может быть общим, когда приложение выполняется совместно с процессом обработки произвольного контента, который в данный момент просматривается.
Краткое описание чертежей
Фиг. 1 представляет собой блок-схему, иллюстрирующую пример конфигурации системы взаимодействия приложений, которая является вариантом осуществления настоящего изобретения.
Фиг. 2 представляет собой блок-схему, иллюстрирующую пример конфигурации ACR сервера.
Фиг. 3 представляет собой схему, иллюстрирующую структуру данных сообщения о событии.
Фиг. 4 показывает схему, иллюстрирующую структуру данных временной линейки.
Фиг. 5 показывает схему, иллюстрирующую пример ассоциации между процессом таймирования контента и событием.
Фиг. 6 показывает схему, иллюстрирующую структуру данных ACR справочных данных.
Фиг. 7 показывает схему, иллюстрирующую структуру данных ACR запроса.
Фиг. 8A и 8B показывают схемы, иллюстрирующие структуры данных ACR ответа.
Фиг. 9 показывает схему, иллюстрирующую пример отображения на экране оператора вещательного устройства.
Фиг. 10 является блок-схемой алгоритма для описания процесса регистрации ACR базы данных.
Фиг. 11 является блок-схемой алгоритма для описания процесса генерирования данных временной линейки.
Фиг. 12 является блок-схемой алгоритма для описания процесса генерирования ACR справочных данных.
Фиг. 13 является блок-схемой алгоритма для описания процесса, выполняемого системой взаимодействия приложений.
Фиг. 14 показывает блок-схему, иллюстрирующую процесс получения приложения, соответствующего модификации системы взаимодействия приложений.
Фиг. 15 является блок-схемой алгоритма для описания процесса получения приложения, соответствующего модификации системы взаимодействия приложений.
Фиг. 16 показывает блок-схему, иллюстрирующую пример конфигурации компьютера.
Осуществление изобретения
Здесь и далее будут подробно описаны предпочтительные варианты осуществления (в дальнейшем называемые варианты осуществления) для осуществления данного изобретения со ссылкой на чертежи.
Пример конфигурации системы взаимодействия приложений
Фиг. 1 иллюстрирует пример конфигурации системы взаимодействия приложений в качестве варианта осуществления настоящего изобретения.
Данная система 10 взаимодействия приложений идентифицирует (распознает), используя ACR, просматриваемый пользователем контент, который использует экран телевизора в качестве монитора, и выполняет приложение совместно с процессом обработки контента.
Здесь контент не ограничивается программой, которая в данный момент времени транслируется и принимается телевизором. Например, контент включает в себя все типы AV контента, такие как записанная программа и воспроизводимая на видеомагнитофоне, видео, такое как воспроизводимый мультимедийным плеером фильм из медиа-пакета, и движущееся изображение, загружаемое через Интернет. Кроме того, коммерческие сообщения (далее называемые как СМ), вставленные между программами или в середине программы, также включены в состав контента.
Система 10 взаимодействия приложений выполнена из передающего устройства 20 и множества приемных устройств 30, соединенных с передающим устройством 20 по широковещательной сети 11 и двунаправленной коммуникационной сети 12. Широковещательная сеть 11 может быть TV вещательной сетью, CATV сетью, IPTV сетью и тому подобное. Двунаправленная коммуникационная сеть 12 может быть IP коммуникационной сетью, представленной в Интернете.
Приемное устройство 30 расположено в доме пользователя, будучи встроенное в TV приемник или тому подобное.
Описание передающего устройства 20
Передающее устройство 20 выполнено из сервера 21 управления контентом, сервера 22 приложений, сервера 23 событий, устройства-клиент 24 генерирования данных временной линейки, устройства-клиент 25 сигнатуры, множество ACR серверов с 26-1 по 26-N и NTP сервера 28.
Сервер 21 управления контентом обеспечивает вещание контента, такого как программа или СМ через широковещательную сеть 11.
Дополнительно, сервер 21 управления контентом поставляет контент в декодированном состоянии, обеспечивая возможность просмотра контента на приемной стороне, в устройство-клиент 24 генерирования данных временной линейки и устройство-клиент 25 сигнатуры. Контент может быть архивирован или может представлять собой транслируемый в настоящий момент времени поток.
Сервер 22 приложений генерирует и управляет приложением, которое будет выполняться совместно с процессом обработки контента, и уведомляет идентификатор приложения (AppsUrl) для определения приложения в ответ на поиск из сервера 23 событий, и поставляет метаданные, используемые в приложении, в сервер 23 событий. Дополнительно, сервер 22 приложений поставляет приложение и метаданные, используемые в приложении через двунаправленную коммуникационную сеть 12 в ответ на запрос из обработчика 33 события приемного устройства 30.
Сервер 23 событий генерирует сообщение о событии, относящееся к процессу (далее упоминается как событие) выполнения приложения совместно с процессом обработки контента, и уведомляет устройство-клиент 24 генерирования данных временной линейки о сообщении о событии. Подробное описание сообщения о событии будет приведено ниже со ссылкой на фиг. 3.
Устройство-клиент 24 генерирования данных временной линейки генерирует данные временной линейки, в которых сообщение о событии ассоциировано с процессом таймирования контента, и совместно поставляет общие данные временной линейки в ACR серверы с 26-1 по 26-N. Подробное описание данных временной линейки будет приведено ниже со ссылкой на фиг. 5.
Устройство-клиент 25 сигнатуры извлекает (генерирует) данные сигнатуры из контента, поставленного из сервера 21 управления контентом, с помощью способа извлечения, соответствующего каждому из ACR серверов 26 в заданный период выборки, и передает эти данные сигнатуры в ACR серверы с 26-1 по 26-N вместе с идентификатором контента, который указывает на контент источника (генерация) извлечения. Следует отметить, что устройство-клиент 25 сигнатуры может генерировать данные отпечатков пальцев в качестве данных сигнатур.
Что качается данных отпечатков пальцев, даже если разрешение, соотношение, скорость битовой передачи и формат кодирования контента преобразуются, то одни и те же данные сигнатур могут быть получены до и после преобразования. Таким образом, точность идентификации контента может быть увеличена, если используются данные отпечатков пальцев в качестве данных сигнатур.
ACR сервер 26-i (i=1, …, N) идентифицирует (распознает) просматриваемый контент на приемном устройстве 30 в ответ на ACR запрос, переданный из соответствующего ACR устройства-клиент 32-i ACR устройств-клиент с 32-1 по 32-N приемного устройства 30. Далее, ACR сервер 26-i генерирует ACR ответ с указанием информации о приложении, которое должно быть выполнено совместно с процессом обработки контента и т.п., и возвращает ACR ответ в ACR устройство-клиент 32-i. ACR запрос и ACR ответ будут описаны ниже.
NTP сервер 28 поставляет общую информацию таймирования в сервер 21 управления контентом, сервер 22 приложений, сервер 23 событий, устройство-клиент 24 генерирования данных временной линейки, устройство-клиент 25 сигнатуры и ACR серверы с 26-1 по 26-N, которые образовывают передающее устройство 30.
Обратите внимание, что сервер 21 управления контентом, сервер 22 приложений, сервер 23 событий, устройство-клиент 24 генерирования данных временной линейки, устройство-клиент 25 сигнатуры и ACR серверы с 26-1 по 26-N и NTP сервер 28, которые образовывают передающее устройство 30, могут быть расположены в одном месте или могут быть установлены в различных местах. Кроме того, эти серверы и устройства-клиент могут быть соответствующим образом объединены.
Описание приемного устройства 30
Приемное устройство 30 включает в себя средство 31 визуализации контента, множество ACR устройств-клиент с 32-1 по 32-К и обработчик 33 событий.
Средство 31 визуализации контента получает и распределяет части контента, которые отображаются на экране ТВ приемника, в который встроено приемное устройство 30, и поставляет контент в ACR устройство-клиент 32. То есть, средство 31 визуализации контента получает и распределяет не только принятый контент, переданный с сервера 21 управления контентом, но также контент, поступивший на вход через различные входные терминалы (HDMI (зарегистрированный товарный знак) терминал и т.п.) ТВ-приемника, и поставляет контент в ACR устройства-клиент с 32-1 по 32-N.
ACR устройство-клиент 32-i (i=1, …, К (К≤N)) соответствует ACR серверу 26-i передающего устройства 20, и извлекает данные сигнатуры из поступившего контента из средства 31 визуализации контента, посредством способа извлечения, который соответствует ACR серверу 26-i в течение заданного периода выборки.
Дополнительно, ACR устройство-клиент 32-i генерирует ACR запрос, в котором содержатся извлеченные данные сигнатуры и данные профиля пользователя, и передает ACR запрос на соответствующий ACR сервер 26-i из ACR серверов с 26-1 по 26-N передающего устройства 20 через двунаправленную коммуникационную сеть 12.
Данные профиля пользователя, хранящиеся в ACR запросе, могут включать в себя элементы, такие как демографические атрибуты пользователя (возраст, пол, род занятий, образование, район проживания, адрес электронной почты, хобби, предпочтения, язык, состав семьи и предпочтения просмотра контента), спецификацию приемного устройства 30 (тип доступных кодеков и т.п.), состояние загрузки двунаправленной коммуникационной сети 12, информацию об окружающей среды (погода, температура, влажность и т.п.).
Кроме того, ACR устройство-клиент 32-i принимает и удерживает ACR ответ, возвращенный с ACR сервера 26-i в ответ на переданный ACR запрос. Дополнительно, ACR устройство-клиент 32-i анализирует удержанный ACR ответ, и уведомляет обработчик 33 событий о результате анализа. Следует отметить, что данные временной линейки, включенные в состав ACR ответа, совместно поставляется из устройства-клиент 24 генерирования данных временной линейки ко всем ACR серверам 26 и, таким образом, может быть осуществлена совместная обработка данных анализа ACR ответа и данных временной линейки в соответствующих ACR устройствах-клиент 32.
Обработчик 33 события получает приложение, соответствующее просматриваемому в данный момент времени контенту, из сервера 22 приложений через двунаправленную коммуникационную сеть 12 на основании результата анализа ACR ответа и выполняет приложение. Кроме того, обработчик 33 события получает метаданные для обработки в выполняемом в данный момент приложении из ACR устройства-клиент 32 или сервера 22 приложений.
Подробное описание примера конфигурации ACR сервера 26
Фиг. 2 иллюстрирует подробную конфигурацию ACR сервера 26.
ACR сервер 26 сконфигурирован из блока 41 получения данных временной линейки, блока 42 генерирования ACR справочных данных, ACR базы данных 43 и блока 44 генерирования ACR ответа.
Блок 41 получения данных временной линейки регистрирует данные временной линейки, которые указывают на соответствие между процессом таймирования контента и событием, и которые поставляются из блока 24 генерирования данных временной линейки, в ACR базе данных 43.
Блок 42 генерирования ACR справочных данных генерирует ACR справочные данные посредством ассоциирования данных сигнатуры, поставленные из устройства-клиент 25 сигнатуры, с идентификатором контента, который указывает контент источника извлечения (генерирования) данных сигнатур и время воспроизведения, который указывает на таймирование извлечения (генерирования), и регистрирует справочные данные ACR в ACR базе данных 43. Структура данных ACR справочных данных будет описана ниже со ссылкой на фиг. 6.
ACR база данных 43 создает и сохраняет индексы данных временной линейки из блока 41 получения данных временной линейки и ACR справочные данные из блока 42 генерирования ACR справочных данных. Обратите внимание, что ACR база данных 43 может быть разработана на облаке.
Блок 44 генерирования ACR ответа идентифицирует контент источника извлечения данных сигнатур, включенных в состав ACR запроса, передаваемого из ACR устройства-клиент 32, и определяет данные временной линейки, ассоциированные с контентом, со ссылкой на ACR базу данных 43. Кроме того, блок 44 генерирования ACR ответа генерирует ACR ответ, включающий в себя идентификатор контента результата идентификации, данные временной линейки, соответствующее идентификатору контента и тому подобное. Отметим, что при генерации ACR ответа, метаданные и тому подобное в данных временной линейки, которые должны быть включены в состав ACR ответа, могут быть согласованы и отфильтрованы на основании данных профилей пользователей, включенные в состав ACR запроса, и могут быть переданы данные, необходимые для пользователя приемного устройства 30.
Структуры различных типов данных
Далее будут описаны структуры вышеупомянутых различных типов данных.
Структура данных сообщения о событиях
Фиг. 3 иллюстрирует структуру данных сообщения о событии, генерируемого в сервере 23 событий передающего устройства 20.
Сообщение 50 о событии генерируется для каждого события, и в котором, хранятся идентификатор 51 события, идентификатор 52 обработчика события, идентификатор 53 приложения и метаданные 54.
Идентификатор 51 события является информацией опознавания каждого события. Идентификатор 52 обработчика события является информацией, которая указывает на обработчик 33 события приемного устройства 30, который обрабатывает событие. Идентификатор 53 приложения является информацией для распознавания приложения, выполняемого для реализации события. Идентификатор 53 приложения написан посредством унифицированного указателя ресурса (URL), например, и также указывает адресат получателя (сервера 22 приложений) приложения. Метаданные 54 представляют собой данные, обрабатываемые приложением, указанным идентификатором 53 приложения. Следует отметить, что идентификатор метаданных написан посредством URL, и который различает метаданные и указывает адресат получения метаданных, могут быть сохранены вместо метаданных 54.
Структура данных временной линейки
Фиг. 4 иллюстрирует структуру данных временной линейки, генерируемые устройством-клиент 24 генерирования данных временной линейки передающего устройства 20.
Данные 60 временной линейки являются данными, полученные таким образом, что идентификатор 65 контента и информация 66 временной линейки добавляются к идентификатору 61 события, идентификатору 62 обработчика событий, идентификатору 63 приложения и метаданным 64, взятых из сообщения 50 о событии. Идентификатор 65 контента является информацией, которая указывает контент, ассоциированный с событием. Информация 66 временной линейки является информацией, которая указывает процесс таймирования контента, ассоциированного с событием.
Например, ниже приведено конкретное описание случая, как показано на фиг. 5, когда событие A1 выполняется в процессе таймирования с t1 по t2 контента A, и когда событие A2 выполняется в процессе таймирования с t2 по t3.
Figure 00000001
Figure 00000002
Структура данных ACR справочных данных
Далее, фиг. 6 иллюстрирует структуру данных ACR справочных данных, генерируемых блоком 42 генерирования ACR справочных данных ACR сервера 26.
В ACR справочных данных 70 идентификатор 72 контента и время 73 воспроизведения ассоциированы с данными 71 сигнатуры, поставляемые из устройства-клиент 25 сигнатуры.
Данные 71 сигнатуры поставляются из устройства-клиент 25 сигнатуры. Идентификатор 72 контента является информацией для определения контента источника извлечения данных 71 сигнатур. Время 73 воспроизведения показывает время обработки контента, когда данные 71 сигнатуры извлекаются из контента, указанного идентификатором 72 контента, и выражается истекшим временем от заголовка контента.
Структура данных ACR запроса
Фиг. 7 иллюстрирует структуру данных запроса, передаваемого из ACR устройства-клиент 32 в ACR сервер 26.
ACR запрос 80 включает в себя идентификатор 81 ACR запроса, идентификатор 82 способа извлечения, идентификатор 83 службы, данные 84 сигнатур, отметка 85 локального времени, данные 86 профиля пользователя, адрес 87 источника передачи и сигнатура 88.
Идентификатор 81 ACR запроса является информацией для однозначного определения ACR запроса 80. Идентификатор 82 способа извлечения является информацией для определения способа извлечения, используемого при извлечении данные 84 сигнатур. Идентификатор 83 службы представляет собой информацию для выбора ACR сервера 26, на который передается ACR запрос 80 и из которого получают ACR ответ из множества ACR серверов с 26-1 по 26-N.
Данные 84 сигнатур извлекаются из контента в ACR устройстве-клиент 32. Отметка 85 локального времени показывает таймирование, когда извлекаются данные 84 сигнатур из контента, и выражается моментом времени, указанным с помощью местного системного тактового генератора приемного устройства 30.
Данные 86 профиля пользователя являются информацией, которая включает в себя демографические атрибуты пользователя. Адрес 87 источника передачи является адресом ACR устройства-клиент 32, который передает ACR запрос 80 посредством двунаправленной коммуникационной сети 12, и используется как информация, которая указывает адресат получения возвращенного ACR ответа, генерируемого в ACR сервере 26, в ответ на ACR запрос 80. Сигнатура 88 подавляет фальсифицированный ACR запрос 80. Обратите внимание, что весь ACR запрос 80 может быть зашифрован и передан.
Структура данных ACR ответа
Фиг. 8A и 8B иллюстрирует структуры данных ACR ответа, возвращенного из ACR сервера 26 в ACR устройство-клиент 32.
Необходимо отметить, что фиг. 8A представляет собой структуру данных ACR ответа, когда контент источника извлечения данных сигнатур 84, включенных в состав ACR запроса 80, удалось идентифицировать, то есть, когда контент, просматриваемый в данный момент времени, удалось идентифицировать в приемном устройстве 30. Фиг. 8B представляет собой структуру данных ACR ответа, когда контент не удалось идентифицировать.
ACR ответ 90 (фиг. 8A), когда просматриваемый в данный момент времени контент был определен в приемном устройстве 30, включает в себя идентификатор 91 ACR запроса и идентификатор 92 способа извлечения, идентификатор 93 службы, идентификатор 94 контента, время 95 воспроизведения, отметку 96 местного времени, данные 97 временной линейки, адрес 98 источника передачи и сигнатуру 99.
Между тем, ACR ответ 90 (фиг. 8B), когда просматриваемый в данный момент времени не определен в приемном устройстве 30, включает в себя идентификатор 91 ACR запроса, идентификатор 93 службы, адрес 98 источника передачи, сигнатуру 99 и флаг 101 ошибки идентификации.
Идентификатор 91 ACR запроса, идентификатор 92 способа извлечения, идентификатор 93 службы, отметка 96 местного времени используются для указания ACR запроса 80, который является триггером генерирования ACR ответа 90, и описаны со ссылкой на идентификатор 81 ACR запроса, идентификатор 82 способа извлечения, идентификатор 83 службы, отметки 85 местного времени, соответствующего ACR запроса 80.
Идентификатор 94 контента и время 95 воспроизведения указывают на результаты идентификации и описаны со ссыпкой на идентификатор 72 контента и время 73 воспроизведения соответствующих ACR справочных данных 70.
Данные 97 временной линейки ассоциированы с идентифицированным контентом и включают в себя элементы, как показано на фиг. 4.
Адрес 98 источника передачи является адресом ACR сервера 26, который передает ACR ответ 90 по двунаправленной коммуникационной сети 12. Сигнатура 99 подавляет фальсифицированный ACR ответ 90. Обратите внимание, что фальсификация может быть предотвращена путем шифрования и передачи всего ACR ответа 90.
Флаг 101 ошибки идентификации указывает на контент источника извлечения данных сигнатуры 84, включенных в состав ACR запроса 80, из ACR устройства-клиент 32, который не был определен на ACR сервере 26, то есть просматриваемый в данный момент времени контент не был определен в приемном устройстве 30.
Описание экрана оператора
Фиг. 9 иллюстрирует пример отображения на экране 110 оператора, используемый оператором устройства 20 широкополосного вещания, для управления сервером 23 событий и устройством-клиент 24 генерирования данных временной линейки. Предположим, что в эпизоде, который отображается на экране 110 оператора, контент, ассоциированный с событием, уже выбран.
На экране 110 оператора предусматриваются область 111 выбора приложения, область 112 создания события, область 113 воспроизведения контента и область 114 установки временной линейки.
В области 111 выбора приложения, можно выбрать приложение, которое будет выполняться в каждом событии. В области 112 создания события, может быть создана информация, отображаемая посредством выполнения приложения в каждом событии. В области 113 воспроизведения контента может быть подтвержден контент и отображение приложения совместно с контентом. В области 114 установки временной линейки событие может быть ассоциировано с процессом таймирования контента. Кроме того, в области 114 установки временной линейки приложение может быть подтверждено приложение, ассоциированное с событием.
Функционирование системы 10 взаимодействия приложений
Далее будет приведено описание процесса функционирования системы 10 взаимодействия приложений.
Фиг. 10 является блок-схемой алгоритма для описания процесса обработки до момента генерации ACR базы данных 43 каждого ACR сервера 26 (далее упоминается как процесс регистрации ACR базы данных).
На этапе S1 выполняется процесс генерирования данных временной линейки. Фиг. 11 является блок-схемой алгоритма для подробного описания процесса генерирования данных временной линейки.
На этапе S11 устройство-клиент 24 генерирования данных временной линейки получает контент из сервера 21 управления контентом. На этапе S12 сервер 23 событий осуществляет поиск сервера 22 приложений для приложения, которое используется совместно с контентом, и определяет приложение, и получает идентификатор приложения и т.п. из сервера 22 приложений. На этапе S13 сервер 23 событий генерирует сообщение о событии, включающее в себя идентификатор приложения и тому подобное, и выводит сообщение о событии в устройство-клиент 24 генерирования данных временной линейки.
На этапе S14 устройство-клиент 24 генерирования данных временной линейки генерирует данные временной линейки, в котором сообщение о событии ассоциировано с процессом таймирования контента. На этапе S15 устройство-клиент 24 генерирования данных временной линейки уведомляет все ACR серверы с 26-1 по 26-N о сгенерированных данных временной линейки. Как описано выше, интерфейс (данные временной линейки), по отношению к ACR серверу 26, выполнен общим. Таким образом, даже при увеличении количества ACR серверов 26, увеличение нагрузки может быть подавлено. Таким образом, на этом процесс генерирования данных временной линейки завершается, и процесс обработки возвращается к этапу S2 на фиг. 10.
На этапе S2 выполняется процесс генерирования ACR справочных данных. Фиг. 12 является блок-схемой алгоритма для подробного описания процесса генерирования ACR справочных данных.
На этапе S21 устройство-клиент 25 сигнатур получает контент из сервера 21 управления контентом. На этапе S22 устройство-клиент 25 сигнатур извлекает данные сигнатур из загружаемого контента с помощью способа извлечения, соответствующего каждому ACR серверу 26, в течение определенного периода выборки, и поставляет эти данные сигнатур каждому ACR 26 серверу вместе с идентификатором контента, который указывает контент источника извлечения.
На этапе S23 блок 42 генерирования ACR справочных данных каждого ACR сервера 26 ассоциирует данные сигнатур, поставленные из устройства-клиент 25 сигнатур с идентификатором контента, который указывает на контент (генерирование) источника извлечения данных сигнатур, и время воспроизведения, которое указывает на таймирование извлечения (генерирование) для генерирования ACR справочных данных. Процесс генерирования ACR справочных данных при этом завершается, и процесс обработки возвращается к этапу S3 на фиг. 10.
Следует отметить, что процесс генерирования данных временной линейки на этапе S1 и процесс генерирования ACR справочных данных на этапе S2, как описано выше, могут быть выполнены параллельно.
На этапе S3 ACR база данных 43 создает и сохраняет индексы данных временной линейки, генерируемые на этапе S1, и ACR справочные данные, генерируемые на этапе S2. Процесс регистрации ACR базы данных на этом завершается.
Фиг. 13 является блок-схемой алгоритма для описания процесса функционирования системы 10 взаимодействия приложений в целом.
Предположим, что передающее устройство 20 уже выполнено вышеописанный процесс регистрации ACR базы данных, и ACR база данных 43 каждого ACR сервера 26 была сформирована.
В данном алгоритме передающее устройство 20 повторяет действия на этапах с S31 по S33, как описано ниже. Между тем, приемное устройство 30 повторяет действия на этапах с S41 по S44, как описано ниже.
На этапе S31 передающее устройство 20 начинает передачу контента из сервера 21 управления контентом по широковещательной сети 11.
Между тем, на этапе S41 приемное устройство 30 начинает воспроизведение контента. Следует отметить, что контент не может быть передан из передающего устройства 20.
На этапе S42 устройство 31 визуализации контента получает и распределяет воспроизводимый в данный момент времени контент (то есть, пользователь просматривает контент) и выводит контент в ACR устройство-клиент 32-i. На этапе S43 ACR устройство-клиент 32-i извлекает в течение заданного периода выборки данные сигнатур из просматриваемого в данный момент времени контента, поступившего из устройства 31 визуализации контента. Кроме того, ACR устройство-клиент 32-i генерирует ACR запрос 80, включающий в себя данные сигнатур и данные профиля пользователя, и передает ACR запрос 80 на соответствующий ACR сервер 26-i, каждый раз при извлечении данных сигнатур. Следует отметить, что одно или множество ACR устройств-клиент 32 генерирует и передает ACR запрос.
В ACR сервере 26-i, который принял ACR запрос 80 из ACR устройство-клиент 32-i на этапе S32, блок 44 генерирования ACR ответа ссылается к ACR базе данных 43 и идентифицирует контент, соответствующий данным 84 сигнатур, включенные в состав принятого ACR запроса 80.
На этапе S33 блок 44 генерирования ACR ответа генерирует ACR ответ 90 в соответствии с результатом идентификации контента. В это время, блок 44 генерирования ACR ответа может выполнять согласование и фильтрацию метаданных 64 в данных 97 временной линейки для включения в состав ACR ответа 90 на основании данных 86 профиля пользователя, включенных в состав ACR запроса 80. Дополнительно, блок 44 генерирования ACR ответа возвращает сгенерированный ACR ответ 90 в соответствующее ACR устройство-клиент 32-i.
На этапе S44 ACR устройство-клиент 32-i, которое приняло ACR ответ 90 с ACR сервера 26-i информацию о результате анализа данных 97 временной линейки, включенные в состав ACR ответа 90, и уведомляет обработчик 33 события, указанного идентификатором 62 обработчика событий идентификатора 63 приложения, описанного в данных 97 временной линейки. Обработчик 33 события обращается к серверу 22 приложений по двунаправленной коммуникационной сети 12 и получает и выполняет приложение, соответствующее уведомленному идентификатору 63 приложения.
Следует отметить, что при получении приложения обработчик 33 событий опускает этап процесса получения и выполняет уже полученное приложение. Дополнительно, если приложение уже выполняется, приложение, которое теперь выполняется, получает метаданные 64 данных 97 временной линейки ACR ответа 90 из ACR устройство-клиент 32-i и использует метаданные 64. Дополнительно, когда идентификатор метаданных описан вместо метаданных 64, выполненное приложение получает метаданные из сервера 22 приложений по двунаправленной коммуникационной сети 12 на основании идентификатора метаданных, и использует метаданные.
Обработка на этапах с S31 по S33 и обработка на этапах с S41 по S44, описанные выше, выполняется многократно, пока контент просматривается в данный момент времени на стороне приемного устройства 30. Соответственно, становится возможным выполнить приложение совместно с процессом таймирования просматриваемого в данный момент времени контента.
Модификация
Далее буде приведено описание модификации алгоритма работы системы 10 взаимодействия приложений со ссылкой на фиг. 14 и фиг. 15.
Фиг. 14 иллюстрирует пример конфигурации системы 10 взаимодействия приложений, в соответствии с модификацией, и является схемой, показывающей изменения по отношению к фиг. 1, таким образом, что стрелка указывает, что идентификатор события передается из обработчика 33 события на сервер 33 событий и стрелка, указывающая, что идентификатор приложения передается из сервера 23 событий в обработчик 33 событий, добавлены в схему по отношению к фиг. 1.
В модификации алгоритма выполнения процесса обработки показано, что до этапа получения обработчиком 33 событий и выполнения приложения (далее упоминается как процесс получения приложения) и после того, как ACR устройство-клиент 32-i приемного устройства 30 принимает ACR ответ 90, отличие от приведенного выше описания.
Фиг. 15 является блок-схема алгоритма, предназначенная для описания процесса получения приложений в модифицированном варианте.
На этапе S51 ACR устройство-клиент 32-i приемного устройства 30, которое приняло ACR ответ 90, возвращенный из ACR сервера 26-i передающего устройства 20, анализирует данные 97 временной линейки, включенные в состав ACR ответа 90, и уведомляет обработчик 33 события, обозначенного идентификатором 62 обработчика событий идентификатора 61 события, описанного в данных 97 временной линейки. Обработчик 33 события обращается к серверу 23 событий через двунаправленную коммуникационную сеть 12, и уведомляет сервер 23 событий идентификатора 61 события, так, чтобы получить соответствующий идентификатор 63 приложения.
На этапе S52 обработчик 33 события обращается к серверу 22 приложений по двунаправленной коммуникационной сети 12 и получает и выполняет приложение, соответствующее уведомленному идентификатору 63 приложения. Описание процесса получения приложения в модифицированном варианте на этом завершатся.
Кроме того, передающее устройство 20 и приемное устройство 30 для выполнения вышеописанного алгоритма выполнения процесса обработки могут быть реализованы с помощью программного обеспечения, который выполнен с помощью компьютера, в отличие от устройств, выполненный из аппаратных средств. Компьютер включает в себя компьютер, встроенный в специализированные аппаратные средства, персональный компьютер общего назначения, способный выполнять различные функции, имеющий различные программы и тому подобное.
Фиг. 16 является блок-схемой, иллюстрирующей пример конфигурации аппаратного обеспечения вышеописанного компьютера.
В компьютере 200, центральный процессор (CPU) 201, постоянное запоминающее устройство (ROM) 202 и оперативное запоминающее устройство (RAM) 203 взаимно соединены посредством шины 204.
Интерфейс 205 ввода/вывода соединен с шиной 204. Входной блок 206, выходной блок 207, запоминающее устройство 208, блок 209 связи и привод 210 соединены с интерфейсом 205 ввода/вывода.
Входной блок 206 выполнен из клавиатуры, мыши, микрофона и тому подобное. Выходной блок 207 выполнен из дисплея, громкоговорителя и тому подобное. Запоминающее устройство 208 состоит из жесткого диска, энергонезависимой памяти и тому подобное. Блок 209 связи выполнен из сетевого интерфейса и тому подобное. Привод 210 приводит в действие съемный носитель 211, такой как магнитный диск, оптический диск, магнитооптический диск или полупроводниковое запоминающее устройство.
В компьютере 200, сконфигурированном как описано выше, CPU 201 загружает программу, сохраненную в запоминающем устройстве 208 через интерфейс 205 ввода/вывода и шину 204, в RAM 203, и исполняет эту программу, так, чтобы выполнить вышеописанный алгоритм процесса обработки.
Программа, выполняемая компьютером 200 (CPU 201), может быть записана на съемном носителе 211 как медиа-пакет и может быть обеспечена. Кроме того, программа может быть обеспечена с помощью проводной или беспроводной среды передачи, например, по локальной сети, Интернет или посредством цифрового спутникового вещания.
В компьютере 100 программа может быть установлена в запоминающем устройстве 108 через интерфейс 105 ввода/вывода с помощью установки съемного носителя 211 в привод 210. Кроме того, программа может быть получена с помощью блока 109 связи и установлена на запоминающем устройстве 108 через проводную или беспроводную среду передачи. В качестве альтернативы, программа может быть установлена в ROM 102 или на запоминающем устройстве 108 заранее.
Необходимо отметить, что программа, выполняемая компьютером 100, может быть программой, которая обрабатывается последовательно, а также в порядке, описанном в настоящем описании, или может быть программой, которая обрабатывается параллельно или, при необходимости, например, при вызове.
Следует отметить, что вариант осуществления настоящего изобретения не ограничивается вышеописанными вариантами осуществления, и различные изменения могут быть сделаны без отхода от сущности настоящего изобретения.
Перечень ссылочных позиций
10 система взаимодействия приложений
11 широковещательная сеть
12 двунаправленная коммуникационная сеть
20 передающее устройство
21 сервер управления контентом
22 сервер приложений
23 сервер события
24 устройство-клиент генерирования данных временной линейки
25 устройство-клиент сигнатуры
26 ACR сервер
28 NTP сервер
30 приемное устройство
31 средство визуализации контента
32 ACR устройство-клиент
33 обработчик событий
41 блок получения данных временной линейки
42 блок генерирования ACR справочных данных
43 ACR база данных
44 блок генерирования ACR ответа
50 сообщение о событии
60 данные временной линейки
70 ACR справочные данные
80 ACR запрос
90 ACR ответ
110 экран оператора
200 Компьютер
201 CPU.

Claims (24)

1. Передающее устройство, содержащее:
один или множество блоков идентификации контента, включающие в себя
блок базы данных, в котором собраны справочные данные, в которых по меньшей мере описаны данные сигнатур, указывающие характеристику контента, который может просматриваться на стороне приемного устройства, причем данные сигнатур сгенерированы из контента, и идентификатор контента, указывающий контент источника генерации, и временные данные, в которых по меньшей мере описаны идентификатор приложения, указывающий приложение, подлежащее выполнению совместно с контентом, и временная информация, указывающая время выполнения приложения, и
блок генерирования ответа, выполненный с возможностью идентифицировать со ссылкой на блок базы данных контент источника извлечения данных сигнатур, включенных в запрос, передаваемый из приемного устройства, генерировать ответ, включающий в себя идентификатор контента, указывающий идентифицированный контент, и временные данные, в которых описан идентификатор приложения, указывающий приложение, подлежащее выполнению совместно с продвижением идентифицированного контента, и возвращать ответ в приемное устройство; и
блок генерирования временных данных, выполненный с возможностью генерировать временные данные и совместно подавать общие временные данные в указанный один или множество блоков идентификации контента.
2. Передающее устройство по п. 1, дополнительно содержащее
блок пользовательского интерфейса для управления блоком генерирования временных данных.
3. Передающее устройство по п. 2, дополнительно содержащее
блок извлечения данных сигнатур, выполненный с возможностью извлекать данные сигнатур из контента, который может просматриваться на стороне приемного устройства, посредством способа извлечения, соответствующего каждому из одного или множества серверов идентификации.
4. Передающее устройство по п. 3, в котором блок идентификации контента дополнительно включает в себя блок генерирования справочных данных, выполненный с возможностью генерирования справочных данных с использованием данных сигнатур, извлекаемых блоком извлечения данных сигнатур.
5. Передающее устройство по п. 3, в котором блок извлечения данных сигнатур выполнен с возможностью генерировать данные отпечатка пальца в качестве данных сигнатур.
6. Способ обработки информации передающего устройства, содержащий этапы, на которых:
посредством передающего устройства
генерируют общие временные данные для совместной подачи в один или множество блоков идентификации контента, причем блок идентификации контента включает в себя
блок базы данных, в которой собраны справочные данные, в которых по меньшей мере описаны данные сигнатур, указывающие характеристику контента, который может просматриваться на стороне приемного устройства, причем данные сигнатур генерируют из контента, и идентификатор контента, указывающий контент источника генерации, и временные данные, в которых по меньшей мере описаны идентификатор приложения, указывающий приложение, подлежащее выполнению совместно с контентом, и временная информация, указывающая время выполнения приложения, и
блок генерирования ответа, выполненный с возможностью идентифицировать со ссылкой на блок базы данных контент источника извлечения данных сигнатур, включенных в состав запроса, передаваемого из приемного устройства, генерировать ответ, включающий в себя идентификатор контента, указывающий идентифицированный контент, и временные данные, в которых описан идентификатор приложения, указывающий приложение, подлежащее выполнению совместно с продвижением идентифицированного контента, и возвращать ответ в приемное устройство; и
совместно подают общие временные данные в указанный один или множество блоков идентификации контента.
7. Носитель записи, на котором записана программа, вызывающая выполнение компьютером этапов способа по п. 6.
8. Приемное устройство, содержащее:
блок извлечения, выполненный с возможностью извлекать из воспроизводимого контента данные сигнатур, указывающие характеристику контента;
блок генерирования запроса, выполненный с возможностью генерировать запрос, включающий в себя, по меньшей мере, данные сигнатур, и передавать запрос в один или множество блоков идентификации контента, входящих в состав передающего устройства; и принимать ответ, возвращаемый из блока идентификации контента в ответ на запрос; и
блок выполнения приложения, выполненный с возможностью получать приложение, соответствующее контенту, и выполнять полученное приложение совместно с продвижением контента на основании идентификатора приложения, описанного во временных данных, включенных в принятый ответ, причем временные данные коллективно и сообща подаются в указанный один или множество блоков идентификации контента.
9. Приемное устройство по п. 8, в котором блок выполнения приложения выполнен с возможностью получать идентификатор приложения, соответствующего контенту, на основании идентификатора события, описанного во временных данных, включенных в принятый ответ, и получать приложение, соответствующее контенту, на основании полученного идентификатора приложения.
10. Система взаимодействия приложений, состоящая из передающего устройства по п. 1 и приемного устройства контента по п. 8.
RU2014152248A 2012-07-12 2013-07-02 Передающее устройство, способ обработки информации, программа, приемное устройство и система взаимодействия приложения RU2630261C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261670900P 2012-07-12 2012-07-12
US61/670900 2012-07-12
PCT/JP2013/068148 WO2014010470A1 (ja) 2012-07-12 2013-07-02 送信装置、情報処理方法、プログラム、受信装置、およびアプリケーション連動システム

Publications (2)

Publication Number Publication Date
RU2014152248A RU2014152248A (ru) 2016-07-20
RU2630261C2 true RU2630261C2 (ru) 2017-09-06

Family

ID=49914901

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014152248A RU2630261C2 (ru) 2012-07-12 2013-07-02 Передающее устройство, способ обработки информации, программа, приемное устройство и система взаимодействия приложения

Country Status (9)

Country Link
US (1) US9489421B2 (ru)
EP (1) EP2874399A4 (ru)
JP (1) JPWO2014010470A1 (ru)
KR (1) KR102110623B1 (ru)
CN (1) CN104412605B (ru)
BR (1) BR112015000142A2 (ru)
IN (1) IN2014MN02596A (ru)
RU (1) RU2630261C2 (ru)
WO (1) WO2014010470A1 (ru)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6469996B2 (ja) * 2014-09-09 2019-02-13 オリンパス株式会社 撮像素子および内視鏡装置
CN104391708B (zh) * 2014-12-08 2017-09-15 畅捷通信息技术股份有限公司 时间确定方法与时间确定装置
US10089095B2 (en) * 2015-05-06 2018-10-02 Mcafee, Llc Alerting the presence of bundled software during an installation
US10939185B2 (en) * 2016-01-05 2021-03-02 Gracenote, Inc. Computing system with channel-change-based trigger feature
CN105933780A (zh) * 2016-04-14 2016-09-07 乐视控股（北京）有限公司 一种焦点图的处理方法及装置
US10986421B2 (en) 2017-07-03 2021-04-20 Dolby Laboratories Licensing Corporation Identification and timing data for media content
US11263261B2 (en) * 2020-02-14 2022-03-01 Alibaba Group Holding Limited Method and system for characteristic-based video processing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020162118A1 (en) * 2001-01-30 2002-10-31 Levy Kenneth L. Efficient interactive TV
JP2006050237A (ja) * 2004-08-04 2006-02-16 Sony Corp 端末装置およびデータ処理方法、プログラム並びに記録媒体
JP2007116211A (ja) * 2005-10-17 2007-05-10 Nippon Telegr & Teleph Corp <Ntt> コンテンツ関連情報提供方法及びシステム及びプログラム
US20080235731A1 (en) * 2007-03-22 2008-09-25 United Video Properties, Inc. User defined rules for assigning destinations of content
RU2446583C2 (ru) * 2006-06-13 2012-03-27 Конинклейке Филипс Электроникс Н.В. Распространение окружения и контента
CA2814197A1 (en) * 2010-11-24 2012-05-31 Lg Electronics Inc. Video display device and method of controlling the same

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5664227A (en) * 1994-10-14 1997-09-02 Carnegie Mellon University System and method for skimming digital audio/video data
US5661787A (en) * 1994-10-27 1997-08-26 Pocock; Michael H. System for on-demand remote access to a self-generating audio recording, storage, indexing and transaction system
US6184877B1 (en) * 1996-12-11 2001-02-06 International Business Machines Corporation System and method for interactively accessing program information on a television
US6400378B1 (en) * 1997-09-26 2002-06-04 Sony Corporation Home movie maker
US7194752B1 (en) * 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
US20020069100A1 (en) * 1999-12-01 2002-06-06 Joel Arberman System and method for content recognition over the internet
US20040220926A1 (en) * 2000-01-03 2004-11-04 Interactual Technologies, Inc., A California Cpr[P Personalization services for entities from multiple sources
US6834308B1 (en) * 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US7712123B2 (en) 2000-04-14 2010-05-04 Nippon Telegraph And Telephone Corporation Method, system, and apparatus for acquiring information concerning broadcast information
JP3994682B2 (ja) * 2000-04-14 2007-10-24 日本電信電話株式会社 放送情報送受信システム
EP1286541B1 (en) * 2000-04-14 2012-05-02 Nippon Telegraph And Telephone Corporation Method, system, and apparatus for acquiring information concerning broadcast information
US9292516B2 (en) * 2005-02-16 2016-03-22 Sonic Solutions Llc Generation, organization and/or playing back of content based on incorporated parameter identifiers
US7877438B2 (en) * 2001-07-20 2011-01-25 Audible Magic Corporation Method and apparatus for identifying new media content
US20030117428A1 (en) * 2001-12-20 2003-06-26 Koninklijke Philips Electronics N.V. Visual summary of audio-visual program features
US6946715B2 (en) * 2003-02-19 2005-09-20 Micron Technology, Inc. CMOS image sensor and method of fabrication
US20040240562A1 (en) * 2003-05-28 2004-12-02 Microsoft Corporation Process and system for identifying a position in video using content-based video timelines
US20060195860A1 (en) * 2005-02-25 2006-08-31 Eldering Charles A Acting on known video entities detected utilizing fingerprinting
WO2007115224A2 (en) * 2006-03-30 2007-10-11 Sri International Method and apparatus for annotating media streams
US20080036917A1 (en) * 2006-04-07 2008-02-14 Mark Pascarella Methods and systems for generating and delivering navigatable composite videos
US8458595B1 (en) * 2006-05-31 2013-06-04 Adobe Systems Incorporated Video editing including simultaneously displaying timelines and storyboards
US20080126191A1 (en) * 2006-11-08 2008-05-29 Richard Schiavi System and method for tagging, searching for, and presenting items contained within video media assets
US8312023B2 (en) * 2007-12-21 2012-11-13 Georgetown University Automated forensic document signatures
US8103966B2 (en) * 2008-02-05 2012-01-24 International Business Machines Corporation System and method for visualization of time-based events
US8171410B2 (en) * 2008-05-29 2012-05-01 Telcordia Technologies, Inc. Method and system for generating and presenting mobile content summarization
US8959108B2 (en) * 2008-06-18 2015-02-17 Zeitera, Llc Distributed and tiered architecture for content search and content monitoring
EP2335218A1 (en) * 2008-10-14 2011-06-22 Koninklijke Philips Electronics N.V. Content item identifier
EP2252055B1 (en) * 2009-05-13 2013-09-18 Sony Europe Limited A system for retrieval of executable applications for broadcast television
US9047516B2 (en) * 2010-06-18 2015-06-02 Verizon Patent And Licensing Inc. Content fingerprinting
US20120236201A1 (en) * 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
US20120254404A1 (en) * 2011-04-04 2012-10-04 Nbcuniversal Media Llc Multi-tiered automatic content recognition and processing
CA2837725C (en) * 2011-06-10 2017-07-11 Shazam Entertainment Ltd. Methods and systems for identifying content in a data stream
US9060206B2 (en) * 2011-09-16 2015-06-16 Nbcuniversal Media, Llc Sampled digital content based syncronization of supplementary digital content
US9374620B2 (en) 2011-10-21 2016-06-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and interlocked application feed system
US9015785B2 (en) 2011-11-29 2015-04-21 Sony Corporation Terminal apparatus, server apparatus, information processing method, program, and linking application supply system
US8832723B2 (en) * 2012-02-07 2014-09-09 Turner Broadcasting System, Inc. Method and system for a synchronous event manager for automatic content recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020162118A1 (en) * 2001-01-30 2002-10-31 Levy Kenneth L. Efficient interactive TV
JP2006050237A (ja) * 2004-08-04 2006-02-16 Sony Corp 端末装置およびデータ処理方法、プログラム並びに記録媒体
JP2007116211A (ja) * 2005-10-17 2007-05-10 Nippon Telegr & Teleph Corp <Ntt> コンテンツ関連情報提供方法及びシステム及びプログラム
RU2446583C2 (ru) * 2006-06-13 2012-03-27 Конинклейке Филипс Электроникс Н.В. Распространение окружения и контента
US20080235731A1 (en) * 2007-03-22 2008-09-25 United Video Properties, Inc. User defined rules for assigning destinations of content
CA2814197A1 (en) * 2010-11-24 2012-05-31 Lg Electronics Inc. Video display device and method of controlling the same

Also Published As

Publication number Publication date
CN104412605A (zh) 2015-03-11
KR20150035808A (ko) 2015-04-07
CN104412605B (zh) 2019-01-22
JPWO2014010470A1 (ja) 2016-06-23
BR112015000142A2 (pt) 2017-06-27
EP2874399A1 (en) 2015-05-20
KR102110623B1 (ko) 2020-05-13
US20140019474A1 (en) 2014-01-16
EP2874399A4 (en) 2016-03-02
WO2014010470A1 (ja) 2014-01-16
RU2014152248A (ru) 2016-07-20
IN2014MN02596A (ru) 2015-07-24
US9489421B2 (en) 2016-11-08

Similar Documents

Publication Publication Date Title
RU2630261C2 (ru) Передающее устройство, способ обработки информации, программа, приемное устройство и система взаимодействия приложения
RU2632403C2 (ru) Оконечное устройство, устройство сервера, способ обработки информации, программа и система поставки связанного приложения
RU2601446C2 (ru) Оконечное устройство, серверное устройство, способ обработки информации, программа и система подачи сцепленного приложения
US10735792B2 (en) Using OCR to detect currently playing television programs
CN104081759A (zh) 接收设备，接收方法和程序
JP2007528144A (ja) マルチメディア信号おいてトリガーマーカとして機能するフィンガープリントを生成及び検出する方法及び装置
RU2603629C2 (ru) Оконечное устройство, серверное устройство, способ обработки информации, программа и система предоставления связанных приложений
CN103650482A (zh) 发送和接收广播服务的方法及其接收装置
JP2018530273A (ja) 共通メディアセグメントの検出
US11395050B2 (en) Receiving apparatus, transmitting apparatus, and data processing method
US9832413B2 (en) Automated channel detection with one-way control of a channel source
US11438650B2 (en) Information processing apparatus, information processing method, transmission apparatus, and transmission method
RU2630432C2 (ru) Приемное устройство, способ обработки информации, программа, передающее устройство и система взаимодействия передающих программ
US20130177289A1 (en) Information processing apparatus and information processing method
CN110140357B (zh) 用于播放代用广告的电子装置及其控制方法
US20170347154A1 (en) Video display apparatus and operating method thereof
RU2628773C2 (ru) Устройство обработки информации, способ обработки информации, программа и система совместного использования контента
JP2022183550A (ja) 受信装置、クライアント端末装置、およびプログラム
CN112219402A (zh) 接收装置和接收方法、发送装置及发送方法、发送接收系统及方法

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20200703