RU2662731C2 - Устройство серверного узла и способ - Google Patents

Устройство серверного узла и способ Download PDF

Info

Publication number
RU2662731C2
RU2662731C2 RU2015143011A RU2015143011A RU2662731C2 RU 2662731 C2 RU2662731 C2 RU 2662731C2 RU 2015143011 A RU2015143011 A RU 2015143011A RU 2015143011 A RU2015143011 A RU 2015143011A RU 2662731 C2 RU2662731 C2 RU 2662731C2
Authority
RU
Russia
Prior art keywords
server node
data
output devices
data content
sources
Prior art date
Application number
RU2015143011A
Other languages
English (en)
Other versions
RU2015143011A (ru
Inventor
Туомас Микаел КЯРККЯИНЕН
Осси Микаель КАЛЕВО
Валттери ХАККАРАЙНЕН
Original Assignee
Гурулоджик Микросистемс Ой
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Гурулоджик Микросистемс Ой filed Critical Гурулоджик Микросистемс Ой
Publication of RU2015143011A publication Critical patent/RU2015143011A/ru
Application granted granted Critical
Publication of RU2662731C2 publication Critical patent/RU2662731C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6047—Power optimization with respect to the encoder, decoder, storage or transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

Изобретение относится к устройству серверного узла для приема входных данных от множества устройств ввода, например видеокамер. Технический результат заключается в снижении требований к вычислительной мощности устройств воспроизведения контента данных, принятого ими от устройства серверного узла. Предложено устройство (10) серверного узла, которое связано по сети связи с множеством источников (30) входных данных и с одним или более устройствами (20) вывода и выполнено с возможностью: приема контента данных от множества источников (30) входных данных и обработки контента данных для его предоставления по меньшей мере в подмножество устройств (20) вывода; обеспечения процедур (110) преобразования контента данных в форму, совместимую с собственным форматом воспроизведения данных подмножества из одного или более устройств (20) вывода, при этом по меньшей мере подмножество из одного или более устройств вывода выполнено с возможностью одновременного воспроизведения контента данных. Опционально, устройство (10) серверного узла выполнено для исполнения одной или более процедур (110) в качестве систем (5) видеонаблюдения и/или видеоконференцсвязи. Предпочтительно, устройство (10) серверного узла реализовано в среде облачных вычислений и/или по меньшей мере в одном клиентском устройстве. 3 н. и 24 з.п. ф-лы, 1 табл., 4 ил.

Description

Область техники
Настоящее изобретение относится к устройству серверного узла, например, к устройству серверного узла, выполненному с возможностью приема входных данных от множества устройства ввода, с возможностью обработки входных данных и с возможностью вывода соответствующих выходных данных, при этом выходные данные могут включать различные типы данных, например, графические данные, аудиоданные или другой контент, в любом объеме. Также, настоящее изобретение относится к способам управления упомянутым выше устройством серверного узла, например, к способам управления устройством серверного узла с целью приема входных данных от множества устройства ввода, обработки входных данных и вывода соответствующих выходных данных, при этом выходные данные могут включать различные типы данных, например, графические данные, аудиоданные или другой контент, в любом объеме. Кроме того, настоящее изобретение относится к программным продуктам, записанным на машиночитаемый носитель для хранения данных, при этом такие программные продукты могут выполняться на вычислительной аппаратуре с целью реализации упомянутых выше способов.
Предпосылки создания изобретения
В настоящее время могут возникать ситуации, в которых необходимо комбинировать входной контент, поступающий от множества источников входных, без искажения поступающего контента, например, без внесения в поступающий контент дополнительной временной задержки или изменения его размера в пикселях. При этом во многих случаях не требуется хранение выходных данных, однако в некоторых ситуациях комбинированные выходные данные необходимо сохранять с целью их повторного воспроизведения. Подобное сохранение, предпочтительно, осуществляют с сохранением исходной полноты данных, например, разрешения, для обеспечения высококачественного повторного воспроизведения.
В состав современных систем зачастую входит огромное количество устройств ввода и устройств сбора данных, например, аналоговых и/или цифровых камер, подключенных к системам видеонаблюдения, например, системам видеозаписи; при этом системы видеозаписи, опционально, содержат цифровые видеорегистраторы (digital video recorders, DVR), сетевые видеорегистраторы (network video recorders (NVR), персональные видеорегистраторы (personal video recorders, PVR). Современные системы, предназначенные для целей высококачественного видеонаблюдения, являются дорогостоящими, и их установка занимает длительное время, поскольку каждый из источников входных данных присоединяют, обычно, к отдельному монитору, или данные от нескольких источников входных данных объединяют, в высоком разрешении, и используют для их отображения один совместно используемый монитор, на котором создают мозаичное изображение, включающее изображения от всех источников входных данных. Обратимся к фиг. 1, на которой показана иллюстрация мозаичного изображения, формируемого системой видеонаблюдения автопарка, при этом в мозаичном изображении объединены выходные сигналы тридцати трех источников входных данных. Альтернативно, возникают ситуации, в которых необходим сбор аудиоданных от множества аудиоисточников, формирующих высококачественные аудиоданные; зачастую в таких ситуациях желательно иметь возможность выбора, контроль каких из источников будет осуществляться, или желательна возможность комбинирования аудиоконтента, поступающего от этих аудиоисточников, например, конденсаторных микрофонов, пространственно распределенных в пространстве, чтобы получить общий высококачественный составной сигнал, который может быть прослушан множеством слушателей, например, при цифровой радиотрансляции выступления оркестра.
По состоянию на сегодняшний день, не существует современных, экономически эффективных систем, выполненных с возможностью обработки высококачественных данных от множества соответствующих источников входных данных, которые не требовали бы наличия множества устройств для согласования и передачи этих высококачественных данных. Современные системы и приложения видеоконференцсвязи, как правило, поддерживают различные типы устройств и источников входных данных, и при этом, обычно, различные системы конференцсвязи объединяют для совместной работы. Такие системы видеоконференцсвязи потенциально могут быть сконфигурированы в огромном множестве комбинаций, что делает проблематичной реализацию в них эффективной связи. Традиционно, на практике применяют множество протоколов связи, являющихся общими для этих систем, хотя при этом некоторые из источников входных данных требуют перекодирования в общий согласованный формат, что может приводить к ухудшению качества некоторых из изображений, передаваемых упомянутыми системами.
Устройства мобильной беспроводной связи, такие как смартфоны, планшетные компьютеры, телефоны-планшеты, портативные компьютеры, беспроводные носимые на запястье компьютеры, обладают способностью формировать контент в форме изображений, видеоинформации, фотографической информации других типов, а также аудиоданных. Обработка графического контента в таких мобильных устройствах потребляет значительное количество энергии, что увеличивает нагрузку на аккумуляторы, применяемые для электропитания подобных мобильных устройств, например, в случае декодирования и масштабирования контента до требуемого размера с целью его отображения на графических дисплеях мобильных устройств. Затраты энергии, описанные выше, являются проблемой в случае применения подобных мобильных устройств, например, в конфигурациях для предоставления услуг типа видеоконференцсвязи группе абонентов.
Сущность изобретения
Целью настоящего изобретения является предложение улучшенного устройства серверного узла, которое позволит снизить требования к вычислительной мощности устройств воспроизведения, выполненных с возможностью воспроизведения контента данных, принятого ими от устройства серверного узла.
Еще одной целью настоящего изобретения является предложение улучшенной системы видеонаблюдения и/или системы видеоконференцсвязи.
Целью настоящего изобретения также является предложение улучшенного способа управления устройством серверного узла, который позволит снизить требования к вычислительной мощности устройств воспроизведения, выполненных с возможностью воспроизведения контента данных, принятого ими от устройства серверного узла.
В соответствии с первым аспектом настоящего изобретения предложено устройство серверного узла, которое связано по сети связи с множеством источников входных данных и с одним или более устройствами вывода и отличается тем, что устройство серверного узла выполнено с возможностью приема контента данных от множества источников входных данных и с возможностью обработки контента данных для его предоставления по меньшей мере в подмножество из одного или более устройств вывода, при этом устройство серверного узла выполнено с возможностью размещения одной или более процедур, способных преобразовывать контент данных в форму, которая совместима с собственным форматом воспроизведения данных подмножества из одного или более устройств вывода, при этом по меньшей мере подмножество из одного или более устройств вывода выполнено с возможностью одновременного воспроизведения контента данных.
Опционально, устройство серверного узла выполнено с возможностью преобразования потоков данных от множества источников в реальном времени и с возможностью предоставления контента данных, соответствующего этим потокам данных, в собственных форматах подмножества из одного или более устройств вывода, также в реальном времени.
Опционально, подмножество из одного или более устройств вывода выполнено с возможностью воспроизведения контента данных в реальном времени.
Опционально, устройство серверного узла выполнено с возможностью комбинирования контента данных, принятого от множества источников, для формирования комбинированного сигнала для подачи по меньшей мере в подмножество из одного или более устройств вывода.
Опционально, в устройстве серверного узла, множество источников включает одну или более камер, при этом по меньшей мере подмножество из одного или более устройств вывода выполнено с возможностью одновременного воспроизведения одного или более изображений, собранных от одной или более камер.
Опционально, в устройстве серверного узла одно или более изображений собирают от одной камеры, благодаря чему показывают изменения заданной сцены во времени.
Опционально, в устройстве серверного узла множество источников включает один или более аудиоисточников, при этом по меньшей мере подмножество из одного или более устройств вывода выполнено с возможностью одновременного воспроизведения одного или более аудиосигналов, собранных от одного или более аудиоисточников.
Настоящее изобретение обладает тем преимуществом, что обработка контента данных в устройстве серверного узла, с преобразованием их в формат, который исходно совместим с одним или более устройствами, являющимися потребителями данных, позволяет сократить объем выполняемых вычислений.
На практике собственным форматом воспроизведения данных часто является формат RGB или YUV2, однако, как правило, изображение передают в сжатом формате с использованием подходящего разрешения. Это соответствует, например, случаю, в котором требуется совместимость с собственным форматом воспроизведения данных. Благодаря настоящему изобретению формат может быть без труда преобразован из формата, в котором поступают данные, в собственный формат воспроизведения данных с минимальным объемом обработки, выполняемой в одном или более устройствах вывода, например, могут выполняться «распаковка» и преобразование цветового формата. Благодаря настоящему изобретению контент данных может быть передан в устройство воспроизведения в требуемом формате, который является его собственным форматом, сжатым форматом или аналогичным форматом, наиболее подходящим для устройства воспроизведения.
Опционально, устройство серверного узла выполнено с возможностью реализации одной или более процедур в качестве системы видеонаблюдения.
Опционально, устройство серверного узла выполнено с возможностью реализации одной или более процедур в качестве системы видеоконференцсвязи.
Опционально, устройство серверного узла реализовано таким образом, что устройство серверного узла включает один или более серверов, при этом один или более серверов реализован, по меньшей мере частично, в одном или более из устройств вывода и/или в одном или более из множества источников.
Опционально, устройство серверного узла используют, также, например, при широковещательной и/или многоадресной передаче телевизионного сигнала или видеосигнала, а именно, в приложениях, которые включают синхронизированные камеры-источники и/или синхронизированные источники видеоинформации. Устройство серверного узла также подходит для обеспечения просмотра изображений через сеть Интернет посредством простых устройств, которые получают изображение из множества изображений, создаваемого соответствующим образом под требования дисплея. В некоторых решениях разрешение и формат для отображения фиксированы или имеют лишь несколько вариантов выбора, например, имеют стандартную настройку, и в этом случае контент может формироваться специально под такое решение; в некоторых решениях от заданного устройства требуется предоставление информации о разрешении и формате дисплея (или окна) в устройство серверного узла, чтобы могла быть выполнена соответствующая регулировка. В некоторых случаях часть пользователей, или все пользователи, могут иметь доступ к регулировке визуального отображения на их дисплеях каждого из источников по отдельности, тогда эта информация также должна быть предоставлена в устройство серверного узла.
Опционально, в устройстве серверного узла, одно или более устройств вывода выполнены с возможностью задания, в сообщении, передаваемом в устройство серверного узла, одного или более параметров, которые определяют один или более собственных форматов, в которых одно или более устройств вывода требуют предоставления контента данных от устройства серверного узла.
Опционально, устройство серверного узла выполнено с возможностью предоставления обработанного контента данных по меньшей мере в подмножество из одного или более устройств вывода, таким образом, чтобы обеспечить совместимость с областью интереса (region-of-interest, ROI) подмножества из упомянутого по меньшей мере подмножества из одного или более устройств вывода.
Опционально, устройство серверного узла реализовано, по меньшей мере частично, в среде облачных вычислений.
Опционально, устройство серверного узла выполнено с возможностью хранения контента данных от одного или более источников входных данных в его исходном разрешении, и с возможностью предоставления контента данных по меньшей мере в подмножество из одного или более устройств вывода в формате, который совместим с собственным форматом одного или более устройств вывода.
Опционально, в устройстве серверного узла контент данных включает по меньшей мере одно из следующего: изображения, видеоданные, аудиоданные, данные сигнала датчика, текстовые данные.
Опционально, устройство серверного узла выполнено с возможностью обработки контента данных, при прохождении его через упомянутое устройство серверного узла, с обеспечением динамически изменяемого перемасштабирования изображения по меньшей мере в подмножестве из одного или более устройств вывода в ответ на пользовательский ввод.
В соответствии со вторым аспектом настоящего изобретения предложен способ обработки данных в устройстве серверного узла, которое связано по сети связи с множеством источников входных данных и с одним или более устройствами вывода, при этом устройство серверного узла выполнено с возможностью приема контента данных от множества источников входных данных и с возможностью обработки контента данных для его предоставления по меньшей мере в подмножество из одного или более устройств вывода, отличающийся тем, что способ включает:
размещение одной или более процедур, способных преобразовывать контент данных в форму, которая совместима с собственным форматом воспроизведения данных подмножества из одного или более устройств
вывода, и одновременное воспроизведение контента данных по меньшей мере в подмножестве из одного или более устройств вывода.
Опционально, способ включает управление устройством серверного узла с целью преобразования потоков данных от множества источников в реальном времени и с целью предоставления контента данных, соответствующего этим потокам данных, в собственных форматах подмножества из одного или более устройств вывода, также в реальном времени.
Опционально, способ включает управление подмножеством из одного или более устройств вывода с целью воспроизведения контента данных в реальном времени.
Опционально, способ включает управление устройством серверного узла с целью комбинирования контента данных, принятого от множества источников, для формирования комбинированного сигнала для подачи по меньшей мере в подмножество из одного или более устройств вывода.
Опционально, способ включает одновременное воспроизведение одного или более изображений по меньшей мере в подмножестве из одного или более устройств вывода, при этом одно или более изображений собирают от одной или более камер, включенных в упомянутое множество источников.
Опционально, способ включает сбор одного или более изображений от одной камеры и показ изменений заданной сцены во времени.
Опционально, способ включает одновременное воспроизведение одного или более аудиосигналов по меньшей мере в подмножестве из одного или более устройств вывода, при этом один или более аудиосигналов собирают от одного или более аудиоисточников, включенных в упомянутое множество источников.
Опционально, способ включает управление устройством серверного узла с целью реализации одной или более процедур в качестве системы видеонаблюдения.
Опционально, способ включает управление устройством серверного узла с целью реализации одной или более процедур в качестве системы видеоконференцсвязи.
Опционально, устройство серверного узла используют, также, например, при широковещательной и/или многоадресной передачи телевизионного или видеосигнала, а именно, в приложениях, которые включают синхронизированные камеры-источники и/или синхронизированные источники видеоинформации. Устройство серверного узла также подходит для обеспечения просмотра изображений через сеть Интернет посредством простых устройств, которые получают изображение из множества изображений, создаваемых соответствующим образом под требования дисплея. В некоторых решениях разрешение и формат отображения фиксированы или имеют лишь несколько вариантов выбора, например, имеют стандартную настройку, и в этом случае контент может формироваться специально под такое решение; в некоторых решениях от заданного устройства требуется предоставление информации о разрешении и формате дисплея (или окна) в устройство серверного узла, чтобы могла быть выполнена соответствующая регулировка. В некоторых случаях часть пользователей, или все пользователи, могут иметь доступ к регулировке визуального отображения на их дисплеях каждого из источников по отдельности, тогда эта информация также должна быть предоставлена в устройство серверного узла.
Опционально, способ включает реализацию устройства серверного узла таким образом, что устройство серверного узла включает один или более серверов, при этом один или более серверов реализуют, по меньшей мере частично, в одном или более из устройств вывода и/или в одном или более из множества источников.
Опционально, способ включает управление одним или более устройствами вывода с целью задания ими, в сообщении, передаваемом в устройство серверного узла, одного или более параметров, которые определяют один или более собственных форматов, в которых одно или более устройств вывода требуют предоставления контента данных от устройства серверного узла.
Опционально, способ включает управление устройством серверного узла с целью предоставления обработанного контента данных по меньшей мере в подмножество из одного или более устройств вывода, таким образом, чтобы обеспечить совместимость с областью интереса (ROI) подмножества из упомянутого по меньшей мере подмножества из одного или более устройств вывода.
Опционально, при реализации способа устройство серверного узла реализуют, по меньшей мере частично, в среде облачных вычислений.
Опционально, способ включает управление устройством серверного узла с целью хранения контента данных от одного или более источников входных данных в его исходном разрешении, и с целью предоставления контента данных по меньшей мере в подмножество из одного или более устройств вывода в формате, который совместим с собственным форматом одного или более устройств вывода.
Опционально, при реализации способа контент данных включает по меньшей мере одно из следующего: изображения, видеоданные, аудиоданные, данные сигнала датчика, текстовые данные.
Опционально, способ включает управление устройством серверного узла с целью обработки контента данных, при прохождении его через упомянутое устройство серверного узла, с обеспечением динамически изменяемого перемасштабирования изображения по меньшей мере в подмножестве из одного или более устройств вывода в ответ на пользовательский ввод.
В соответствии с третьим аспектом настоящего изобретения предложен программный продукт, записанный на машиночитаемом носителе для хранения данных и выполняемый на вычислительном оборудовании с целью реализации способа по второму аспекту настоящего изобретения.
Нужно понимать, что отличительные признаки настоящего изобретения могут комбинироваться произвольным образом в пределах объема настоящего изобретения, заданного приложенной формулой изобретения.
Краткое описание чертежей
Далее, исключительно в качестве примера и со ссылками на приложенные чертежи, будут описаны примеры осуществления настоящего изобретения.
Фиг. 1 представляет собой иллюстрацию мозаичного отображения изображений.
Фиг. 2A и фиг. 2В представляют собой иллюстрации системы, включающей устройство серверного узла, предназначенное для обеспечения обработки проходящих через него данных.
Фиг. 3 представляет собой иллюстрацию обмена данными, выполняемого в системе, проиллюстрированной на фиг. 2А и фиг. 2В.
На приложенных чертежах число, выделенное подчеркиванием, используется для обозначения элемента, над которым находится подчеркнутое число, или рядом с которым оно расположено. Неподчеркнутое число относятся к элементу, указанному линией, которая соединяет неподчеркнутое число и элемент. Если число не выделено подчеркиванием и сопровождается связанной с ним стрелкой, это неподчеркнутое число используется для обозначения общего элемента, на который указывает стрелка.
Подробное описание изобретения
При описании вариантов осуществления настоящего изобретения будут применяться аббревиатуры, определенные в таблице 1.
Figure 00000001
Figure 00000002
Figure 00000003
Рассмотрим, в общем виде, на примере фиг. 2, систему, которая в целом обозначена цифрой 5. Система 5 включает устройство 10 серверного узла, и выполненное с возможностью обеспечения простого и эффективного способа предоставления графического контента различного рода, аудиоконтента и/или контента других типов, в любом объеме, в одно или более из устройств 20 вывода, при этом контент для одного или более из устройств 20 вывода получают от множества источников 30 входных данных, по требованию, например, с целью контроля в режиме реального времени и/или с целью отложенного воспроизведения; способ, предпочтительно, использует методы параллельной обработки данных, управление которыми осуществляется из устройства 10 серверного узла, например, из управляющего серверного узла 40 в его составе, и при этом упомянутые методы выполняют в заданном устройстве 20 вывода, то есть «клиенте», в сервере из состава устройства 10 серверного узла или в их комбинации. Опционально, устройство 10 серверного узла включает один или более серверов данных. Опционально, подмножество этих одного или более серверов данных реализовано как один или более серверов облачных вычислений. Опционально, устройство 10 серверного узла реализовано, по меньшей мере частично, в источнике входных данных, то есть, по меньшей мере в одном клиентском устройстве. Опционально, один из серверных узлов, из состава устройства 10 серверного узла, расположен, одновременно, в передающем клиентском устройстве и в приемном устройстве, несмотря на то, что это, возможно, не является оптимальным решением. При этом устройство 10 серверного узла, предпочтительно, включает один или более серверов, один или более из которых, опционально, расположены в среде облачных вычислений. Также, при этом, одно или более клиентских устройств могут быть клиентским устройством, являющимся источником данных, или целевым клиентским устройством или их комбинацией.
Опционально, множество источников 30 включает по меньшей мере одну камеру, и при этом от этой по меньшей мере одной камеры собирают множество изображений, которые воспроизводят в различные моменты времени при функционировании системы 5: например, множество изображений от одной камеры может отображаться системой 5 с целью просмотра изменений заданной сцены во времени, например, такие изменения могут соответствовать исчезновению некоторого предмета из зоны, отображаемой камерой, то есть, например, соответствовать акту кражи.
На фиг. 2 устройство 10 серверного узла включает, предпочтительно, множество серверных узлов, например, с целью распределения вычислительной нагрузки. Одно из устройств вывода, опционально, функционирует в качестве клиента многоадресной передачи, принимающего контент данных от одного из серверных узлов, при этом устройство 20 вывода может впоследствии предоставлять этот контент данных в множество целевых устройств 20 вывода, или в множество целевых устройств 20 вывода, объединенных в одну локальную сеть, например, в одну вычислительную локальную сеть (LAN).
Опционально, заданный источник 30 входных данных выполнен с возможностью предоставления контента данных от множества источников 30 входных данных в устройство 10 серверного узла. При этом, опционально, заданное устройство, связанное с устройством 10 серверного узла, может функционировать в качестве входного и выходного прокси-сервера. Также, при этом, источниками 30 входных данных могут быть любые устройства или любое программное обеспечение, выполняемое на вычислительном оборудовании, которые выполнены с возможностью вывода аналоговых или цифровых сигналов, включающих информацию изображения, видеоинформацию или другую графическую информацию.
Предпочтительно, в системе 5, в соответствии с иллюстрацией на фиг. 2, включающей источники 30 входных данных и устройства 20 вывода, вместе с устройством 10 серверного узла, при ее работе возможно сбережение значительной части полосы пропускания канала связи, имеющегося в системе, поскольку выходной контент для каждого целевого клиента создается и кодируется индивидуально, учитывая возможности по обработке данных отдельных устройств воспроизведения и/или программного обеспечения, используемого для реализации системы. Опционально, один из серверных узлов из состава устройства 10 серверного узла, расположен в передающем клиентском устройстве, и/или также в приемном устройстве, несмотря на то, что последнее, возможно, не является оптимальным решением.
Система 5, в соответствии с иллюстрацией на фиг. 2, способна обрабатывать данные, поступающие от широкого диапазона различных устройств-источников, например, входные данные от камеры, контент от настольных компьютеров, входные данные от 3-D камеры или входные данные с микрофонов. При этом устройства вывода на фиг. 2 включают, например, внутренние (встроенные в устройство) дисплеи, 3-D дисплеи, 3-D принтеры, громкоговорители или аналогичные устройства. Например, для эффективной 3-D печати возможно формирование трехмерного объекта на основе широкого диапазона источников, таких как камеры или файлы.
Система 5 на фиг. 2 сконфигурирована таким образом, что от клиентских устройств воспроизведения, например, устройств 20 вывода, требуется меньшая производительность декодирования, поскольку контент им предоставляется через устройство 10 серверного узла в требуемом формате кодирования, размере и качестве для заданной области интереса (ROI), например, контент от одной или более камер видеонаблюдения, в котором представлены изображения определенной пространственной области, применяемый в целях безопасности против краж. При этом аудиоданные в устройства 20 вывода, или в целевые клиентские устройства, также предоставляются в требуемом формате и качестве. При функционировании системы исключены проблемы, возникающие из-за отсутствия поддержки формата кодирования контента в декодерах устройств, например, в одном или более из устройств 20 вывода, или в результате несовместимости контента по другим, неизвестным причинам. Аналогично, при декодировании и обработке других типов данных ресурсы системы не потребляются больше, чем это необходимо, и, как правило, для них не требуется перекодирования. При этом при передаче данных в системе, для связи требуется меньшая полоса пропускания, поскольку предоставляется контент, который относится к требуемой области интереса (ROI), или имеет требуемое качество, по сравнению с ситуацией, в которой все изображения или данные передаются с полной точностью от всех источников входных данных во все устройства вывода, то есть, клиентские устройства воспроизведения. Таким образом, в системе, проиллюстрированной на фиг. 2, клиентские устройства воспроизведения могут запрашивать изображения, видеоданные и другие графические и/или аудиоданные по требованию из устройства 10 серверного узла, которое адаптирует предоставленный контент специально под требования конкретного клиентского устройства воспроизведения.
В системе 5, показанной на фиг. 2, в качестве источников входных данных, то есть, источников 30, могут применяться связанные с системой 5 устройства ввода аналоговых или цифровых изображений, видеоданных, графических данных, а также аудиоданных. Например, первые тридцать камер, предоставляющие первые тридцать изображений, показанных на фиг. 1, могут быть аналоговыми, и каждая из них может быть подключена к устройству 10 серверного узла посредством системы соединений на коаксиальных кабелях с комплексом электронных плат (или карт) цифрового видеозахвата из состава системы видеонаблюдения, размещенной в системе 5. Комплекс плат цифрового видеозахвата выполнен с возможностью преобразования аналоговых сигналов изображения в цифровой формат YCbCr, также называемый форматом YUV2. При этом по меньшей мере три из камер, предоставляющих изображения, которые отображают мозаичным образом в соответствии с иллюстрацией на фиг. 1, являются цифровыми камерами, расположенными в локальной вычислительной сети (LAN) системы 5, две из которых могут быть подключены посредством сетевого кабеля CAT 5, и одна цифровая камера при этом может быть подключена по беспроводной линии связи, например, с использованием протокола WLAN.
Цифровые камеры, например, если они реализованы в системе 5 в виде «IP-камер», отличаются от аналоговых камер тем, что не требуют использования в комбинации с ними упомянутых выше комплексов карт цифрового видеозахвата, поскольку цифровые камеры имеют в своем составе встроенные схемы цифровой обработки и, следовательно, их выходные данные уже являются закодированными в цифровом формате, например, YCbCr, RGB, MJPG или H.264. В системе 5, как упоминалось ранее, могут присутствовать источники входных данных и других типов, например, источники входных аудиоданных или графических данных, при этом данные с их выхода, предпочтительно, обрабатывают аналогично упомянутым выше камерам видеонаблюдения, но в их собственных форматах; другими словами, система 5 выполнена с возможностью интерпретации данных, вводимых в устройство 10 серверного узла, таким образом, чтобы они могли быть эффективно декодированы с целью формирования соответствующих выходных сигналов, подаваемых в устройства 20 вывода.
Если один или более входных сигналов от источников 30 передаются, через устройство 10 серверного узла, более чем в одно устройство воспроизведения, например, более чем в одно устройство 20 вывода, то в системе 5 декодирование входных сигналов может выполняться только один раз, когда входные сигналы поступают, в кодированном виде, в устройство 10 серверного узла, при этом соответствующая декодированная информация может храниться в кэш-памяти до тех пор, пока старый сигнал не будет сменен новым. Даже при смене ранее декодированного входного сигнала новым декодированным сигналом при работе системы 5 бывают случаи, в которых эти сигналы не обязательно нужно декодировать, например, в ситуации, когда отсутствуют устройства 20 вывода, которым необходим входной сигнал в декодированном формате или в отличающемся разрешении. То есть, один или более сигналов, принимаемых от одного или более источников 30 декодируют в устройстве 10 серверного узла только тогда, когда в одном или более из устройств 20 вывода необходимо, чтобы контент в них передавался в подобном не кодированном формате. Декодирование в устройстве 10 серверного узла может вовсе не являться необходимым, что подразумевает выполнение декодирования в одном или более устройств 20 вывода, если все устройства воспроизведения, например, все устройства 20 вывода запрашивают входные данные, формируемые одним или более из источников 30, из устройства 10 серверного узла с одинаковым разрешением и в том же формате, в котором они передаются из одного или более источников 30 в устройство 10 серверного узла.
В случае, когда в состав устройства 10 серверного узла входит вычислительное оборудование, выполненное с возможностью выполнения одного или более из программных продуктов с целью обеспечения его функциональности, связанной с обработкой данных, устройство 10 серверного узла может быть сконфигурировано для обработки данных, принятых от одного или более источников 30, с преобразованием их в различные форматы, которые требуются для одного или более устройств 20 вывода, то есть, устройств воспроизведения. Одной из подобных функций, обеспечиваемой в устройстве 10 серверного узла, может быть функциональность "Mixin" (микшерный вход), при этом система 5 может быть выполнена с возможностью формирования комбинации декодированных входных сигналов, переданных от одного или более источников 30, с целью формирования сборного сигнала, называемого «микшерным сигналом» (сигналом Mixin). При этом, если присутствует функциональность микшерного входа (Mixin), то устройство 10 серверного узла может кодировать и/или декодировать микшерный сигнал в формат, оптимальный для заданного устройства 20 вывода, то есть, устройства воспроизведения. Устройство воспроизведения определяет, например, в сообщении с запросом, передаваемым от устройства воспроизведения в устройство 10 серверного узла, местоположение одного или более сигналов (область интереса, ROI), а также требуемое качество аудиоконтента, при этом система 5 выполнена с возможностью сбора соответствующих входных сигналов от источников 30 путем декодирования и преобразования данных, когда это необходимо, из их собственного формата в оптимальный формат, определяемый способом кодирования, который применяется в устройстве воспроизведения.
Одной из важнейших функций системы 5, как упоминалось выше, является комбинирование сигналов от источников 30 входных данных, например, с применением таких методов обработки данных, как изменение размеров изображений, передискретизация изображений и/или аудиосигналов, с целью формирования комбинированного сигнала, например, микшированного сигнала (Mixin) для заданной области интереса (ROI) и предоставления его в одно или более устройств 20 вывода. Например, в системе 5 входные сигналы изображения могут комбинироваться, в устройстве 10 серверного узла, с выходным сборным сигналом, посредством функции изменения размера, обеспеченной в устройстве 10 серверного узла, например, с применением алгоритма вычислений с передискретизацией, с кубической или линейной аппроксимацией; соответственно, обеспечивается возможность сохранения качества сигнала на максимальном практически достижимом уровне, до момента комбинирования входных сигналов изображения, и возможность вывода выходного сборного сигнала, являющегося окончательным выходным сигналом, передаваемым в устройства 20 вывода.
Предпочтительно, система 5 выполнена с возможностью применения кодирования, с использованием метода кодирования, наилучшим образом подходящего для каждого из устройств воспроизведения, например, устройства 20 вывода, к примеру, индивидуально выбираемого метода для каждого из устройств 20 вывода в устройстве 10 серверного узла в ответ на информирование, каждым из устройств 20 вывода, устройства 10 серверного узла о собственных требованиях к кодированию путем передачи сообщения с запросом кодирования. Таким образом, устройство 10 серверного узла способно формировать выходные сигналы под индивидуальные требования, которые адаптируют для каждого из устройств 20 вывода, или для групп устройств 20 вывода, предъявляющих сходные друг с другом требования к кодированию.
При эксплуатации системы 5 могут возникать случаи, в которых необходимо комбинирование аудиоданных и других типов данных. Многие типы данных, с целью формирования комбинированных данных, позволяют выполнять простое их объединение, например, как в случае конкатенации файлов аудиоданных. В других ситуациях необходимо выполнять слияние файлов данных в развертке по времени, например, множество аудиофайлов, для формирования комбинированных данных могут комбинироваться во времени параллельно, например, как в случае микширования сигналов отдельных микрофонов при записи выступления оркестра, в результате которого получают общую запись концерта. Подобное микширование, или комбинирование, сигналов есть функция, обеспечиваемая системой 5. При взаимном комбинировании множества аудиосигналов, предпочтительно, применяют методы, позволяющие сохранить исходный уровень громкости звука без внесения добавочных или излишних шумов. В одном из примеров, в котором множество аудиосигналов соответствуют множеству лиц, ведущих разговор при конференцсвязи, предпочтительно, чтобы система 5 могла регулировать относительный уровень громкости голосов участников общения, чтобы они были взаимно сопоставимы, например, в случае телефонной конференцсвязи или видеоконференцсвязи. В другом примере в качестве аудиоисточника для передачи данных в устройства 20 вывода может выбираться источник-камера, регистрирующая наибольшую активность, и/или аудиоисточник с наивысшим уровнем громкости звука, например, если система 5 должна функционировать в качестве системы видеонаблюдения, применяемой против вторжений.
Если систему 5 применяют для задач видеоконференцсвязи, источники 30 и устройства 20 вывода, предпочтительно, являются заранее заданными. Устройство связи заданного абонента, принимающего участие в видеоконференции, может, опционально, выступать, одновременно, в роли устройства 20 вывода и источника 30 входных сигналов для системы 5; с соответствующими поправками, это же остается верным для телефонной конференцсвязи. В применениях видеонаблюдения устройства 20 вывода и источники 30 могут находиться в множестве не совпадающих друг с другом местоположений. В некоторых случаях устройства 20 вывода могут иметь отличающиеся друг от друга области интереса (ROI), и соответственно, в каждом из них могут требоваться сигналы от различных комбинаций источников 30. Система 5 может обеспечивать такую гибкость. То есть, предпочтительно, процедура, выполняемая в системе 5, для каждого требуемого выходного сигнала может запрашивать разрешение, необходимое для области интереса (ROI), у устройства воспроизведения. Область интереса (ROI) также может представлять собой некоторую область дисплея заданного устройства 20 вывода, для которой данные изображения, обрабатываемые устройством 10 серверного узла, должны быть адаптированы с целью воспроизведения на устройстве 20 вывода. Например, собственное разрешение заданного устройства 20 вывода может составлять 800×480 пикселей, при этом в одну или более процедур, выполняемых в устройстве 10 серверного узла может быть передана информация о том, что эта область является областью интереса (ROI). В определенных ситуациях некоторая область дисплея, то есть, «окно», заданного приложения для вывода данных, может быть меньшей, чем собственное разрешение экрана, и требовать масштабирования контента изображений для воспроизведения, с использованием кубической или линейной аппроксимации; как упоминалось выше, такое масштабирование, предпочтительно, выполняют в устройстве 10 серверного узла, или с использованием комбинации обработки в устройстве 10 серверного узла и заданном устройстве 20 вывода, имеющем упомянутое выше собственное разрешение экрана. Опционально, изменение размера контента, принятого в устройстве 20 вывода, выполняют путем обработки в вычислительном оборудовании, входящем в состав устройства 20 вывода. Масштабирование с уменьшением размера необходимо, когда собственное разрешение «окна» воспроизведения и/или «окна» области интереса (ROI) меньше, чем разрешение источника (или источников) входных данных. Изменение размера, также, предпочтительно, выполняется в устройстве 10 серверного узла, однако, опционально, оно также может выполняться путем обработки данных в вычислительном оборудовании, входящем в состав устройства 20 вывода.
Как упоминалось выше, система 5 при функционировании может обеспечивать формирование мозаичного отображения, проиллюстрированного на фиг. 1. При этом система 5 выполнена с возможностью формирования мозаичного отображения, в которое входит контент от любого количества источников 30 входных данных, например, цифровых видеокамер и/или аналоговых видеокамер. При этом мозаичное отображение может быть, предпочтительно, при необходимости реконфигурируемым, гибко, с программным управлением, например, чтобы снизить напряжение оператора при контроле изображений, к примеру, в центре управления видеонаблюдением. Мозаичное изображение формируют в режиме реального времени, при этом на иллюстрации оно имеет формат 6×6 изображений, однако является реконфигурируемым, и может при необходимости иметь другие форматы, например, 1×1, 1×2, 2×3, 9×6 изображений и т.п. Размер изображений в мозаичном отображении при этом может меняться; например, тридцать три изображения, показанных на фиг. 1, также могут отображаться в виде одного большого изображения, для которого используется область четырех малых изображений сразу, и тридцати двух малых изображений. В мозаичном отображении могут присутствовать множество различных размеров изображений, и при этом аспектные соотношения изображений тоже могут быть различными. Порядок размещения изображений, опционально, также может динамически меняться в соответствии с требованиями пользователя, при этом информация об изменениях может передаваться в устройство серверного узла, для обеспечения оптимального микширования и оптимальной передачи данных.
Описанные выше варианты осуществления настоящего изобретения позволяют сэкономить значительный объем вычислительной мощности в устройствах воспроизведения из состава системы 5, а именно, в одном или более из устройств 20 вывода. Сбережение вычислительной мощности достигается за счет того, что устройство 10 серверного узла формирует и возвращает в устройство воспроизведения контент в точности в требуемом виде и в формате, совместимом с устройством воспроизведения. Сбережение вычислительной мощности, потенциально, позволяет повысить надежность функционирования системы 5, поскольку требуемые большие объемы обработки данных выполняются централизовано в одном или более серверных узлов в устройстве 10 серверного узла. При этом централизованная обработка данных позволяет снизить требования к вычислительной мощности устройств воспроизведения, то есть, устройств 20 вывода. При этом, также, система 5 позволяет экономить значительное количество энергии, связанной с обработкой данных, по следующим причинам:
(i) заданное устройство воспроизведения из состава системы 5 декодирует контент, принятый в нем, в собственный формат, не требующий обработки, благодаря чему в устройстве воспроизведения не тратится энергия на операции преобразования; и
(ii) заданное устройство воспроизведения может использовать принятый в нем контент напрямую, без необходимости его масштабирования, благодаря чему устраняется необходимость постобработки данных в заданном устройстве воспроизведения. Если устройство воспроизведения представляет собой маломощное портативное устройство, подобное снижение энергопотребления, связанного с обработкой данных, потенциально, может обеспечить более длительную работу устройства воспроизведения от аккумулятора, до момента возникновения необходимости замены или перезарядки аккумулятора. При этом система 5 позволяет снизить объем данных, передаваемых от устройства 10 серверного узла в одно или более устройств 20 вывода, то есть, устройств воспроизведения, поскольку область интереса (ROI) в заданном устройстве воспроизведения зачастую гораздо меньше общего комбинированного контента. Например, если тридцать экземпляров изображений, преобразованных из аналоговой в цифровую форму с разрешением 750×576 пикселей, и три цифровых изображения с разрешением 1024×768 пикселей передают из тридцати трех камер видеонаблюдения, в соответствии с иллюстрацией на фиг. 1, в заданное устройство воспроизведения, собственное разрешение которого составляет 800×600 пикселей, то устройство 10 серверного узла путем выполняемых в нем процедур сокращает область изображения, и соответственно, уменьшает объем передаваемых данных, в 38,4 раза. Также, как упоминалось ранее, устройству воспроизведения не требуется изменять масштаб изображений для их помещения на экран дисплея устройства воспроизведения, имеющего меньший размер. Варианты осуществления настоящего изобретения, описанные выше, особенно удобны при реализации систем видеонаблюдения, в которых данные видеозахвата хранят в устройстве 10 серверного узла, и в которых выходные видеоданные, предоставляемые от устройства 10 серверного узла в одно или более устройств воспроизведения, могут одновременно просматриваться в режиме реального времени или в режиме отложенного воспроизведения. Видеоданные могут, например, храниться в полном разрешении в устройстве 10 серверного узла и предоставляться в одно или более устройств воспроизведения в формате, наиболее подходящем для них и являющемся наиболее эффективным. Аналогичные соображения также имеют силу, когда систему 5 применяют для записанной видеоконференцсвязи.
Система 5 позволяет обеспечить автоматическую синхронизацию видеоизображений, если заданное устройство воспроизведения в каждый момент времени принимает одно изображение, по сети связи, связывающей устройство 10 серверного узла с заданным устройством воспроизведения, например, по сети Интернет. Тем не менее, дополнительно или альтернативно, могут применяться сети связи других типов, например, специально созданные по заказу сети связи, к примеру, высокобезопасные выделенные сети. В таком случае устройство 10 серверного узла может формировать кодируемые изображения, получаемые от каждого из источников 30, в реальном времени.
Система 5 обеспечивает возможность передачи контента реального времени «в прямом эфире» в несколько устройств воспроизведения, даже когда несколько из этих устройств воспроизведения обладают меньшей скоростью обработки данных, по сравнению с другими устройствами воспроизведения, поскольку устройство 10 серверного узла формирует кодированные изображения индивидуально для каждого из устройств воспроизведения, по запросу от устройств воспроизведения; то есть, например, устройства воспроизведения с меньшей производительностью не будут влиять на скорость, с которой изображения предоставляются в более быстрые устройства воспроизведения. Благодаря тому, что система 5 функционирует подобным образом, она может поддерживать устройства воспроизведения, которые выполнены с возможностью, аналогично источниками 30, передачи собственных входных сигналов в устройство 10 серверного узла и затем принимать последнее переданное изображение, в точности соответствующее области интереса (ROI), необходимой для отображения его на графическом дисплее.
Система 5, таким образом, может применяться для обеспечения двусторонней связи в реальном времени между множеством участвующих сторон, например, как в случае видеоконференцсвязи. Обработка изображений, выполняемая в устройстве 10 серверного узла, например, масштабирование, позволяет иметь одновременно очень большое количество сторон, участвующих в соединении видеосвязи. Если несколько из устройств воспроизведения имеют общую область интереса (ROI) на их графических дисплеях, устройство 10 серверного узла может подавать одинаковые изображения в несколько сходных друг с другом устройств воспроизведения, например, в случае сходных друг с другом моделей смартфонов. При этом, в ходе видеонаблюдения или видеоконференцсвязи, заданная сторона, участвующая в связи, может выбрать изображение одной из камер в мозаичном отображении, чтобы более подробно рассмотреть область интереса или рассмотреть черты лица другого участника видеоконференцсвязи; такая гибкость обеспечивается за счет того, что устройство воспроизведения заданной стороны связи передает запрос в устройство 10 серверного узла на обработку содержимого для устройства воспроизведения этой заданной стороны связи отличающимся образом, например, с другим масштабированием и/или разрешением. Такой отличающийся способ обработки контента в устройстве 10 серверного узла обеспечивается, например, тем, что заданный абонент, участвующий в связи, применяет жест скольжения пальцем по сенсорному экрану устройства воспроизведения заданной стороны связи, или путем щелчка мышью, или аналогичной операции. Подобный отличающийся способ обработки контента также может включать использование измененного аспектного соотношения изображений, для анизотропного масштабирования контента определенных изображений и т.п., и/или выполнение оптимизации цвета в некоторых частях изображения или последовательности видеоизображений, например, выделение определенных участков изображения.
На фиг. 3 устройство воспроизведения, а именно, устройство 20 вывода, передает в устройство 10 серверного узла запрос 100 на предоставление контента данных, заданным образом, в устройство 20 вывода, который относится к специальной процедуре 110А размещенной в устройстве 10 серверного узла; например, специальная процедура 110А может представлять собой осуществление видеоконференцсвязи, службу видеонаблюдения автопарка или службу трансляции спортивных событий в реальном времени. Устройство 10 серверного узла может поддерживать множество процедур 110A, 110В, 110С одновременно, при этом некоторые из устройств воспроизведения могут, опционально, являться абонентами одновременно множества процедур, то есть, их пользователи могут быстро переключаться между этими процедурами. Такое переключение является предпочтительным, например, когда систему 5 применяют для контроля и управления нефтехимическими сооружениями или больничными объектами, в которых одновременно происходят множество видов деятельности, примером чему является служба выездной скорой помощи, работа которой должна быть скоординирована с отделением неотложной помощи и травматологическим отделением.

Claims (33)

1. Устройство (10) серверного узла, которое связано по сети связи с множеством источников (30) входных данных и с одним или более устройствами (20) вывода, при этом устройство (10) серверного узла выполнено с возможностью приема контента данных от множества источников (30) входных данных и с возможностью обработки контента данных для его предоставления в одно или более устройств (20) вывода,
отличающееся тем, что устройство (10) серверного узла выполнено с возможностью комбинирования контента данных, принятого от множества источников (30), и осуществления одного или более процессов (110), способных преобразовывать комбинированный контент данных в форму, которая совместима с собственным форматом воспроизведения данных одного или более устройств (20) вывода для одновременного воспроизведения контента данных от множества источников (30) входных данных,
при этом устройство (10) серверного узла выполнено с возможностью комбинирования контента данных, принятого от множества источников (30), для формирования комбинированного сигнала для передачи в одно или более устройств (20) вывода для одновременного воспроизведения контента данных от множества источников (30) входных данных.
2. Устройство (10) серверного узла по п. 1, отличающееся тем, что оно выполнено с возможностью преобразования потоков данных от множества источников (30) в реальном времени и с возможностью предоставления контента данных, соответствующего этим потокам данных, в собственных форматах одного или более устройств (20) вывода, также в реальном времени.
3. Устройство (10) серверного узла по п. 1 или 2, отличающееся тем, что одно или более устройств (20) вывода выполнено с возможностью воспроизведения контента данных в реальном времени.
4. Устройство (10) серверного узла по п. 1, отличающееся тем, что множество источников (30) включает одну или более камер, и одно или более устройств (20) вывода выполнено с возможностью одновременного воспроизведения одного или более изображений, собранных от одной или более камер.
5. Устройство (10) серверного узла по п. 4, отличающееся тем, что одно или более изображений собирают от одной камеры, благодаря чему показывают изменения заданной сцены во времени.
6. Устройство (10) серверного узла по п. 1, отличающееся тем, что множество источников (30) включает один или более аудиоисточников, и одно или более устройств (20) вывода выполнено с возможностью одновременного воспроизведения одного или более аудиосигналов, собранных от одного или более аудиоисточников.
7. Устройство (10) серверного узла по п. 1, отличающееся тем, что оно выполнено с возможностью осуществления упомянутого одного или более процессов (110) в качестве одного из следующего: системы (5) видеонаблюдения, системы (5) видеоконференцсвязи, для широковещательной и/или многоадресной передачи телевизионного или видеосигнала, для просмотра изображений через сеть Интернет.
8. Устройство (10) серверного узла по п. 1, включающее один или более серверов, при этом один или более серверов реализован, по меньшей мере частично, в одном или более из устройств вывода и/или в одном или более из множества источников (30).
9. Устройство (10) серверного узла по п. 1, отличающееся тем, что одно или более устройств (20) вывода выполнены с возможностью задания, в сообщении (100), передаваемом в устройство (10) серверного узла, одного или более параметров, которые определяют один или более собственных форматов, в которых одно или более устройств (20) вывода требуют предоставления контента данных от устройства (10) серверного узла.
10. Устройство (10) серверного узла по п. 1, отличающееся тем, что оно выполнено с возможностью предоставления обработанного контента данных в одно или более устройств (20) вывода, таким образом, чтобы обеспечить совместимость с областью интереса (ROI) одного или более устройств (20) вывода.
11. Устройство (10) серверного узла по п. 1, отличающееся тем, что оно реализовано по меньшей мере частично в среде облачных вычислений.
12. Устройство (10) серверного узла по п. 1, отличающееся тем, что оно выполнено с возможностью хранения контента данных от одного или более источников (30) входных данных в его исходном разрешении, и с возможностью предоставления контента данных в одно или более устройств (20) вывода в формате, который совместим с собственным форматом одного или более устройств (20) вывода.
13. Устройство (10) серверного узла по п. 1, отличающееся тем, что оно выполнено с возможностью обработки контента данных, при прохождении его через упомянутое устройство (10) серверного узла, с обеспечением динамически изменяемого перемасштабирования изображения в одном или более устройств (20) вывода в ответ на пользовательский ввод.
14. Способ обработки данных в устройстве (10) серверного узла, которое связано по сети связи с множеством источников (30) входных данных и с одним или более устройствами (20) вывода, при этом устройство (10) серверного узла выполнено с возможностью приема контента данных от множества источников (30) входных данных и с возможностью обработки контента данных для его предоставления в одно или более устройств (20) вывода, отличающийся тем, что способ включает:
управление устройством (10) серверного узла для комбинирования контента данных, принятого от множества источников (30),
осуществление, в устройстве (10) серверного узла, одного или более процессов (110), способных преобразовывать комбинированный контент данных в форму, которая совместима с собственным форматом воспроизведения данных одного или более устройств (20) вывода, для одновременного воспроизведения контента данных от множества источников (30) входных данных.
15. Способ по п. 14, включающий управление устройством (10) серверного узла для преобразования потоков данных от множества источников (30) в реальном времени и для предоставления контента данных, соответствующего этим потокам данных, в собственных форматах устройств (20) вывода, также в реальном времени.
16. Способ по п. 14 или 15, включающий управление одним или более устройств (20) вывода для воспроизведения контента данных в реальном времени.
17. Способ по п. 14, включающий одновременное воспроизведение одного или более изображений в одном или более устройств (20) вывода, при этом одно или более изображений собирают от одной или более камер, включенных в множество источников (30).
18. Способ по п. 17, включающий:
сбор одного или более изображений от одной камеры; и
показ изменений заданной сцены во времени.
19. Способ по п. 14, включающий одновременное воспроизведение одного или более аудиосигналов в одном или более устройств (20) вывода, при этом один или более аудиосигналов собирают от одного или более аудиоисточников, включенных в множество источников (30).
20. Способ по п. 14, включающий управление устройством (10) серверного узла для осуществления упомянутого одного или более процессов (110) в качестве одного из следующего: системы (5) видеонаблюдения, системы (5) видеоконференцсвязи, для широковещательной и/или многоадресной передачи телевизионного или видеосигнала, для просмотра изображений через сеть Интернет.
21. Способ по п. 14, включающий реализацию устройства (10) серверного узла так, что оно включает один или более серверов, при этом один или более серверов реализуют, по меньшей мере частично, в одном или более из устройств вывода и/или в одном или более из множества источников (30).
22. Способ по п. 14, включающий управление одним или более устройствами (20) вывода для задания ими, в сообщении (100), передаваемом в устройство (10) серверного узла, одного или более параметров, которые определяют один или более собственных форматов, в которых одно или более устройств (20) вывода требуют предоставления контента данных от устройства (10) серверного узла.
23. Способ по п. 14, включающий управление устройством (10) серверного узла для предоставления обработанного контента данных в одно или более устройств (20) вывода, таким образом, чтобы обеспечить совместимость с областью интереса (ROI) одного или более устройств (20) вывода.
24. Способ по п. 14, отличающийся тем, что устройство (10) серверного узла реализуют, по меньшей мере частично, в среде облачных вычислений.
25. Способ по п. 14, включающий управление устройством (10) серверного узла для хранения контента данных от одного или более источников (30) входных данных в его исходном разрешении, и для предоставления контента данных в одно или более устройств (20) вывода в формате, который совместим с собственным форматом одного или более устройств вывода (20).
26. Способ по п. 14, включающий управление устройством (10) серверного узла для обработки контента данных, при прохождении его через упомянутое устройство (10) серверного узла, с обеспечением динамически изменяемого перемасштабирования изображения по меньшей мере в одном или более устройств (20) вывода в ответ на пользовательский ввод.
27. Машиночитаемый носитель для хранения данных, включающий программное обеспечение, при этом программное обеспечение выполняют на вычислительном оборудовании (10, 20, 30) для реализации способа по любому из пп. 14-26.
RU2015143011A 2013-04-23 2014-04-21 Устройство серверного узла и способ RU2662731C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1307342.4A GB2514543B (en) 2013-04-23 2013-04-23 Server node arrangement and method
GB1307342.4 2013-04-23
PCT/EP2014/001051 WO2014173520A1 (en) 2013-04-23 2014-04-21 Server node arrangement and method

Publications (2)

Publication Number Publication Date
RU2015143011A RU2015143011A (ru) 2017-05-26
RU2662731C2 true RU2662731C2 (ru) 2018-07-30

Family

ID=48537695

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015143011A RU2662731C2 (ru) 2013-04-23 2014-04-21 Устройство серверного узла и способ

Country Status (6)

Country Link
US (1) US10250683B2 (ru)
EP (1) EP2989789A1 (ru)
CN (1) CN105379261A (ru)
GB (1) GB2514543B (ru)
RU (1) RU2662731C2 (ru)
WO (1) WO2014173520A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10250683B2 (en) 2013-04-23 2019-04-02 Gurulogic Microsystems Oy Server node arrangement and method

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396354B1 (en) 2014-05-28 2016-07-19 Snapchat, Inc. Apparatus and method for automated privacy protection in distributed images
US9113301B1 (en) 2014-06-13 2015-08-18 Snapchat, Inc. Geo-location based event gallery
US10824654B2 (en) 2014-09-18 2020-11-03 Snap Inc. Geolocation-based pictographs
US9385983B1 (en) 2014-12-19 2016-07-05 Snapchat, Inc. Gallery of messages from individuals with a shared interest
US10311916B2 (en) 2014-12-19 2019-06-04 Snap Inc. Gallery of videos set to an audio time line
CN105991961B (zh) * 2015-02-02 2019-07-23 南宁富桂精密工业有限公司 视频会议录制系统及其方法
EP3272078B1 (en) 2015-03-18 2022-01-19 Snap Inc. Geo-fence authorization provisioning
US10135949B1 (en) 2015-05-05 2018-11-20 Snap Inc. Systems and methods for story and sub-story navigation
US10354425B2 (en) 2015-12-18 2019-07-16 Snap Inc. Method and system for providing context relevant media augmentation
CN105872594A (zh) * 2016-03-30 2016-08-17 乐视控股（北京）有限公司 实时码率调节方法、装置及服务端设备
WO2018123972A1 (ja) * 2016-12-27 2018-07-05 株式会社村田製作所 高周波モジュール及び通信装置
US10581782B2 (en) * 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
US10582277B2 (en) * 2017-03-27 2020-03-03 Snap Inc. Generating a stitched data stream
CN112950754A (zh) * 2020-10-17 2021-06-11 蔡娟 基于云计算的游戏兼容处理方法、系统及云端计算中心
US20230305798A1 (en) * 2022-02-25 2023-09-28 Jacktrip Labs, Inc. Digital Signal Processing for Cloud-Based Live Performance
CN116866621B (zh) * 2023-09-05 2023-11-03 湖南马栏山视频先进技术研究院有限公司 一种面向视频实时渲染的云端同步方法及系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010047517A1 (en) * 2000-02-10 2001-11-29 Charilaos Christopoulos Method and apparatus for intelligent transcoding of multimedia data
US20050265395A1 (en) * 2004-05-29 2005-12-01 Korea Electronics Technology Institute Multimedia service system for portable devices using hardware transcoder
US20070078948A1 (en) * 2004-07-09 2007-04-05 Luc Julia Media delivery system and method for transporting media to desired target devices
US20070097268A1 (en) * 2005-10-31 2007-05-03 Broadcom Corporation Video background subtractor system
US20070121651A1 (en) * 2005-11-30 2007-05-31 Qwest Communications International Inc. Network-based format conversion
US20080141303A1 (en) * 2005-12-29 2008-06-12 United Video Properties, Inc. Interactive media guidance system having multiple devices
US20100232518A1 (en) * 2009-03-12 2010-09-16 MIST Innovations, Inc. System and method for streaming video to a mobile device
RU2405267C2 (ru) * 2007-04-28 2010-11-27 Хуавэй Текнолоджиз Ко., Лтд. Способ, устройство и система выбора услуг и клиентский сервер приложений
US20110078532A1 (en) * 2009-09-29 2011-03-31 Musigy Usa, Inc. Method and system for low-latency transfer protocol
US20120050457A1 (en) * 2009-05-12 2012-03-01 Tencent Technology (Shenzhen) Company Limited Multi-channel video communication system and method for processing multi-channel video communication

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023375A2 (en) * 2000-09-13 2002-03-21 Smartserv Online, Inc. Method and apparatus for providing device-specific formatted data to a plurality of browser-enabled devices
US20050144165A1 (en) * 2001-07-03 2005-06-30 Mohammad Hafizullah Method and system for providing access to content associated with an event
US7679649B2 (en) * 2002-04-19 2010-03-16 Ralston John D Methods for deploying video monitoring applications and services across heterogenous networks
US7702015B2 (en) * 2003-03-20 2010-04-20 Ge Security, Inc. Systems and methods for multi-resolution image processing
EP1463332B1 (en) * 2003-03-25 2015-06-24 Broadcom Corporation Media processing system supporting different media formats via server-based transcoding
DE102004015806A1 (de) * 2004-03-29 2005-10-27 Smiths Heimann Biometrics Gmbh Verfahren und Anordnung zur Aufnahme interessierender Bereiche von beweglichen Objekten
JP4207019B2 (ja) * 2005-05-16 2009-01-14 船井電機株式会社 クライアント・サーバシステム
US20090019492A1 (en) * 2007-07-11 2009-01-15 United Video Properties, Inc. Systems and methods for mirroring and transcoding media content
GB2463006B (en) * 2008-08-26 2011-03-16 Cvon Innovations Ltd Conversion management system, method and computer program
WO2010062761A1 (en) * 2008-11-03 2010-06-03 Novarra, Inc. Method and system for transforming and delivering video file content for mobile devices
US9282337B2 (en) * 2009-02-27 2016-03-08 Vixs Systems, Inc. Media source device with digital format conversion and methods for use therewith
WO2011009205A1 (en) * 2009-07-22 2011-01-27 Jigsee Inc. Method of streaming media to heterogeneous client devices
JP2011062941A (ja) * 2009-09-18 2011-03-31 Toshiba Tec Corp サーマルプリンタ装置およびサーマルプリンタ制御方法
US20110083145A1 (en) * 2009-10-06 2011-04-07 Chris Cholas Methods and apparatus for combining local video content in a digital video stream
US8387088B2 (en) * 2009-11-13 2013-02-26 At&T Intellectual Property I, Lp Method and apparatus for presenting media programs
US9183560B2 (en) * 2010-05-28 2015-11-10 Daniel H. Abelow Reality alternate
JP2012099890A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、および画像処理システム
US20140019590A1 (en) * 2011-03-21 2014-01-16 Unwired Planet, Llc Method and system for providing media optimization
US9088804B2 (en) * 2011-08-25 2015-07-21 Ustream, Inc. On-demand selection of transcoding formats for multimedia broadcast streams
GB2514543B (en) 2013-04-23 2017-11-08 Gurulogic Microsystems Oy Server node arrangement and method

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010047517A1 (en) * 2000-02-10 2001-11-29 Charilaos Christopoulos Method and apparatus for intelligent transcoding of multimedia data
US20050265395A1 (en) * 2004-05-29 2005-12-01 Korea Electronics Technology Institute Multimedia service system for portable devices using hardware transcoder
US20070078948A1 (en) * 2004-07-09 2007-04-05 Luc Julia Media delivery system and method for transporting media to desired target devices
US20070097268A1 (en) * 2005-10-31 2007-05-03 Broadcom Corporation Video background subtractor system
US20070121651A1 (en) * 2005-11-30 2007-05-31 Qwest Communications International Inc. Network-based format conversion
US20080141303A1 (en) * 2005-12-29 2008-06-12 United Video Properties, Inc. Interactive media guidance system having multiple devices
RU2405267C2 (ru) * 2007-04-28 2010-11-27 Хуавэй Текнолоджиз Ко., Лтд. Способ, устройство и система выбора услуг и клиентский сервер приложений
US20100232518A1 (en) * 2009-03-12 2010-09-16 MIST Innovations, Inc. System and method for streaming video to a mobile device
US20120050457A1 (en) * 2009-05-12 2012-03-01 Tencent Technology (Shenzhen) Company Limited Multi-channel video communication system and method for processing multi-channel video communication
US20110078532A1 (en) * 2009-09-29 2011-03-31 Musigy Usa, Inc. Method and system for low-latency transfer protocol

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10250683B2 (en) 2013-04-23 2019-04-02 Gurulogic Microsystems Oy Server node arrangement and method

Also Published As

Publication number Publication date
RU2015143011A (ru) 2017-05-26
EP2989789A1 (en) 2016-03-02
GB201307342D0 (en) 2013-05-29
GB2514543B (en) 2017-11-08
WO2014173520A1 (en) 2014-10-30
CN105379261A (zh) 2016-03-02
US10250683B2 (en) 2019-04-02
GB2514543A (en) 2014-12-03
US20160036915A1 (en) 2016-02-04

Similar Documents

Publication Publication Date Title
RU2662731C2 (ru) Устройство серверного узла и способ
US10321093B2 (en) Automated layouts optimized for multi-screen and multi-camera videoconferencing calls
EP2569939B1 (en) Systems and methods for scalable composition of media streams for real-time multimedia communication
US8803991B2 (en) Snapshot capture in video stream
WO2018006573A1 (zh) 一种视频会议的屏幕共享实现装置
WO2012047849A1 (en) Systems and methods for error resilient scheme for low latency h.264 video coding
US9961303B2 (en) Video conference virtual endpoints
US11503085B2 (en) Multimedia composition in meeting spaces
US20100066806A1 (en) Internet video image producing method
US20200329083A1 (en) Video conference transmission method and apparatus, and mcu
CN110636244B (zh) 一种视频会议服务器、系统、控制方法及存储介质
CN112584084B (zh) 一种视频播放方法、装置、计算机设备和存储介质
Raja et al. Evaluation of a scalable and distributed mobile device video recording approach for accessible presentations
CN117750076A (zh) 视频码流调度方法、系统、设备及存储介质
CN117714764A (zh) 一种视频播放方法、装置、设备及存储介质
CN114567746A (zh) 一种电子会议系统用画面显示系统
WO2013066290A1 (en) Videoconferencing using personal devices
Qadri et al. IPTV using DM642 Multimedia Processor and Bluetooth