RU2583755C2 - Method of capturing and displaying entertaining activities and user interface for realising said method - Google Patents

Method of capturing and displaying entertaining activities and user interface for realising said method Download PDF

Info

Publication number
RU2583755C2
RU2583755C2 RU2014116929/08A RU2014116929A RU2583755C2 RU 2583755 C2 RU2583755 C2 RU 2583755C2 RU 2014116929/08 A RU2014116929/08 A RU 2014116929/08A RU 2014116929 A RU2014116929 A RU 2014116929A RU 2583755 C2 RU2583755 C2 RU 2583755C2
Authority
RU
Russia
Prior art keywords
user
screen
audiovisual
video
playback device
Prior art date
Application number
RU2014116929/08A
Other languages
Russian (ru)
Other versions
RU2014116929A (en
Inventor
Святослав Иванович Буняев
Original Assignee
Общество с ограниченной ответственностью "Сетевизор"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Сетевизор" filed Critical Общество с ограниченной ответственностью "Сетевизор"
Priority to RU2014116929/08A priority Critical patent/RU2583755C2/en
Publication of RU2014116929A publication Critical patent/RU2014116929A/en
Application granted granted Critical
Publication of RU2583755C2 publication Critical patent/RU2583755C2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4208—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being a system bus, e.g. VME bus, Futurebus, Multibus
    • G06F13/4217—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being a system bus, e.g. VME bus, Futurebus, Multibus with synchronous protocol
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous

Abstract

FIELD: information technology.
SUBSTANCE: invention relates to user devices for processing of video images. Method of capturing and display entertainment event with participation of characters in amount required for its implementation, and user interface for implementing method comprise displaying each of characters or a group of related characters on a separate section of screen of user playback device. Audio-visual data are received by at least one user device for reproducing audio and visual data with division of audio-visual information into components corresponding to source, which provides said obtaining of video and sound and formation of at least two fields of audio-visual series on screen of said user playback device, each of which displays audio-visual information received from a corresponding source, with possibility of user correction of parameters of audio-visual series. User a playback device can be a mobile communication terminal type of iPhone or iPad type.
EFFECT: technical result consists in high-quality transmission of video data received from several sources via unstable channels due to synchronisation of said video images.
11 cl, 1 dwg

Description

Предлагаемое изобретение относится к мобильным терминалам связи, а также к иным домашним пользовательским устройствам, обеспечивающим отображение транслируемого аудиовизуального ряда.The present invention relates to mobile communication terminals, as well as to other home user devices that display a broadcast audio-visual series.

В настоящее время известны и достаточно широко используются пользовательские устройства воспроизведения, обеспечивающие отображение на экране нескольких визуальных полей, каждое из которых обеспечивает отображение какой-либо самостоятельной информации или же информации из одного и того же источника в различных ракурсах. Таким образом, пользователь может видеть на экране трансляции событий из различных мест, трансляцию событий с текстовыми или визуальными комментариями и т.п. Пример подобного решения приведен в заявке в патентное ведомство Японии JP 2004228699, опубликованной 12.08.2004 и выбранной в качестве ближайшего аналога предлагаемого способа и реализующего способ пользовательского устройства воспроизведения. В заявке JP 2004228699 на стороне сервера осуществляется объединение нескольких потоков видеоинформации и соответственно объединение одной или нескольких аудиодорожек, что обеспечивает пользователя описанной выше трансляцией, отображенной на нескольких полях экрана пользователя. Однако при осуществлении описанной в JP 2004228699 трансляции не предусмотрена синхронизация изображений в канале передачи друг относительно друга, задача синхронизации изображений перекладывается на пользовательское устройство, то есть очевидна вероятность сбоев при трансляции разнородных потоков информации в особенности при нестабильных параметрах канала передачи или изменения параметров трансляции со стороны пользователя. В итоге, описанные выше недостатки не позволяют использовать известную из JP 2004228699 технологию, при трансляциях зрелищных мероприятий с установленным сценарием, то есть спектаклей и т.п. Дополнительно следует отметить, в случае же использования решения по заявке JP 2004228699 для получения изображений на дисплеях мобильных терминалов связи из-за небольшого размера дисплея невозможно осуществить эффективное переключение с одного ракурса на другой. В свою очередь предлагаемые способ и пользовательский интерфейс позволят устранить упомянутые недостатки.Currently, user-defined playback devices are known and widely used, which provide displaying several visual fields on the screen, each of which provides the display of some independent information or information from the same source from different angles. Thus, the user can see the broadcast of events from various places on the screen, the broadcast of events with text or visual comments, etc. An example of such a solution is given in the application to the Japan Patent Office JP 2004228699, published on 08/12/2004 and selected as the closest analogue of the proposed method and implementing the method of a user playback device. In the application JP 2004228699 on the server side, several streams of video information are combined and, accordingly, one or more audio tracks are combined, which provides the user with the broadcast described above displayed on several fields of the user screen. However, when performing the translation described in JP 2004228699, synchronization of the images in the transmission channel with respect to each other is not provided, the task of synchronizing the images is transferred to the user device, that is, the probability of failures when broadcasting heterogeneous information streams is obvious, especially with unstable transmission channel parameters or changing broadcast parameters from the side user. As a result, the disadvantages described above do not allow the use of technology known from JP 2004228699 when broadcasting entertainment events with an established script, that is, performances, etc. In addition, it should be noted that in the case of using the solution according to the application JP 2004228699 for obtaining images on the displays of mobile communication terminals, due to the small size of the display, it is impossible to carry out effective switching from one perspective to another. In turn, the proposed method and user interface will eliminate the aforementioned disadvantages.

Технический результат заявленного изобретения заключается в обеспечении качественной передачи информации по нестабильным каналам за счет синхронизации нескольких видеоизображений, относящихся к зрелищному мероприятию с заданным сценарием, при этом полоса пропускания для нескольких видеоизображений и звука будет меньше, чем для информации передаваемой раздельно. Ожидаемый технический результат будет достигнут при использовании предложенного способа съемки и отображения зрелищного мероприятия, а также при использовании пользовательского интерфейса для осуществления способа.The technical result of the claimed invention is to ensure high-quality transmission of information over unstable channels due to the synchronization of several video images related to the entertainment event with a given scenario, while the bandwidth for several video images and sound will be less than for information transmitted separately. The expected technical result will be achieved using the proposed method of shooting and displaying a spectacular event, as well as using the user interface for implementing the method.

Предложен способ съемки и отображения зрелищного мероприятия. То есть предложен способ съемки и отображения мероприятия: спектакля либо иного сценического произведения, массового театрального действа, кинопостановки и т.п., осуществляемого по заданному сценарию с участием персонажей (групп персонажей), согласно данному сценарию (то есть с персонажами в количестве необходимом для его осуществления зрелищного мероприятия). При осуществлении способа одновременно получают аудиовизуальную информацию от, по меньшей мере, двух источников (видеокамер), обеспечивающих получение видеоизображения и звука, относящихся к, по меньшей мере, одному зрелищному мероприятию. Полученную аудиовизуальную информацию передают от указанных источников на пользовательское устройство воспроизведения в едином потоке с обеспечением ее синхронизации и объединением кадров исходных изображений зрелищного мероприятия. Организуют прием аудиовизуальной информации, по меньшей мере, одним пользовательским устройством воспроизведения с разделением аудиовизуальной информации на составляющие, соответствующие источнику, обеспечившему упомянутое получение видеоизображения и звука. Формируют, по меньшей мере, два поля аудиовизуального ряда на экране указанного пользовательского устройства воспроизведения, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника, с одновременной возможностью пользовательской корректировки параметров аудиовизуального ряда. При этом отображают каждого из персонажей, по меньшей мере, одного зрелищного мероприятия на отдельном участке экрана пользовательского устройства воспроизведения, то есть каждому из персонажей зрелищного мероприятия выделяется «свой», «персональный» экран. Помимо самостоятельных одиночных персонажей на отдельном экране может быть отображена группа взаимосвязанных друг с другом персонажей.A method for shooting and displaying a spectacular event is proposed. That is, a method for shooting and displaying an event: a performance or other stage work, mass theater, film production, etc., carried out according to a given scenario with the participation of characters (groups of characters), according to this scenario (that is, with characters in the amount necessary for its implementation of a spectacular event). When implementing the method at the same time receive audiovisual information from at least two sources (cameras) that provide video and sound related to at least one entertainment event. The resulting audiovisual information is transmitted from these sources to a user playback device in a single stream, ensuring its synchronization and combining the frames of the original images of the entertainment event. Organize the reception of audiovisual information by at least one user playback device with the separation of audiovisual information into components corresponding to the source that provided the above-mentioned receipt of video and sound. At least two fields of the audiovisual series are formed on the screen of the specified user playback device, each of which displays the audiovisual information received from the corresponding source, while the user can adjust the parameters of the audiovisual series. At the same time, each of the characters of at least one entertainment event is displayed on a separate section of the screen of the user’s playback device, that is, each of the characters of the entertainment event is allocated a “personal”, “personal” screen. In addition to independent single characters, a group of characters interconnected with each other can be displayed on a separate screen.

Зритель может просматривать все участки экрана одновременно. Также зритель может просматривать выбранный участок экрана, открытый во весь растр, при отображении в поле зрения зрителя прочих участков экрана в уменьшенных размерах. Предпочтительно, что количество участков экрана пользовательского устройства воспроизведения меньше или равно девяти. Предложенный способ может быть реализован при прямой трансляции, например при телевизионной трансляции на домашнее пользовательское устройство. В другом случае предложенный способ реализуется при записи на материальный носитель с последующей трансляцией с данного материального носителя. Также предложенный способ может быть реализован при трансляции на мобильный терминал связи. При трансляции на мобильный терминал на его экране может быть сформировано поле аудиовизуального ряда, отображающего для пользователя аудиовизуальную информацию, полученную от, по меньшей мере, одного из источников такой информации. Одновременно формируют, по меньшей мере, одно поле аудиовизуального ряда, закрытое от взгляда пользователя маской графических примитивов. Пользователь (зритель) выполняет необходимую смену аудиовизуального ряда, доступного взгляду, при воздействии пользователя на интерфейс мобильного терминала связи.The viewer can view all parts of the screen at the same time. Also, the viewer can view the selected portion of the screen, open in full raster, when displayed in the field of view of the viewer other sections of the screen in reduced sizes. Preferably, the number of screen portions of the user playback device is less than or equal to nine. The proposed method can be implemented with a live broadcast, for example, with a television broadcast to a home user device. In another case, the proposed method is implemented when recording on a tangible medium, followed by translation from this tangible medium. Also, the proposed method can be implemented when broadcasting to a mobile communication terminal. When broadcasting to a mobile terminal, a field of an audiovisual series may be generated on its screen, displaying for the user audiovisual information received from at least one of the sources of such information. At the same time, at least one field of the audiovisual series is formed, which is closed from the view of the user by a mask of graphic primitives. The user (viewer) performs the necessary change of the audiovisual series, accessible to the eye, when the user acts on the interface of the mobile communication terminal.

Пользовательский интерфейс обеспечивает трансляцию зрителю зрелищного мероприятия, согласно описанному выше способу и, предпочтительно, будет представлять собой интерфейс мобильного терминала связи, например, типа iPhоnе или iPad.The user interface allows the viewer to broadcast a spectacular event according to the method described above and, preferably, will be an interface of a mobile communication terminal, for example, an iPhone or iPad.

Таким образом, предложен комплекс технических средств, обеспечивающих проведение полиэкранного видеоспектакля (видеопостановки, видеофильма) либо аналогичного зрелищного мероприятия, осуществляемого в соответствии с заданным сценарием (правилами), при котором каждый персонаж или группа персонажей представлены на отдельном участке экрана («персональном» экране). Всего таких экранов одновременно может быть представлено до девяти (в оптимальном варианте). Как и пояснено выше, зритель может смотреть все персональные экраны персонажей одновременно или выбирать любой из них, и тогда выбранный экран открывается во весь растр, а остальные экраны присутствуют в поле зрения смотрящего в уменьшенных размерах. Предложенный способ может быть использован как при прямой трансляции, так и при тиражировании на материальных носителях, интерфейс которых позволяет производить выбор определенного экрана для просмотра.Thus, a complex of technical means has been proposed to ensure a multi-screen video performance (video production, video film) or a similar spectacular event, carried out in accordance with a given scenario (rules), in which each character or group of characters is presented on a separate section of the screen (“personal” screen) . In total, up to nine of these screens can be presented at the same time (in the best case). As explained above, the viewer can watch all the personal screens of the characters at the same time or select any of them, and then the selected screen opens in the entire raster, and the remaining screens are present in the viewer's field of view in reduced sizes. The proposed method can be used both for live broadcasting and for replication on tangible media, the interface of which allows you to select a specific screen for viewing.

Описанное выше техническое решение может быть осуществлено следующим образом (с использованием следующего неисключительного {открытого} перечня вариантов технических средств).The technical solution described above can be implemented as follows (using the following non-exclusive {open} list of options for technical means).

Вариант 1 (домашнее пользовательское устройство воспроизведения)Option 1 (Home User Playback Device)

Пользовательское устройство воспроизведения 1: настольный или переносной персональный компьютер, программируемый терминал мобильной связи, подключаемый к проводной или же беспроводной сети, а также различные бытовые или специализированные мультимедийные устройства (телевизоры, мультимедийные приставки и т.п.) обеспечивают прием аудиовизуальной информации от нескольких источников 21…2n. Такими источниками в подавляющем большинстве случаев будут видеокамеры, отображающие персонажей зрелищного мероприятия, а также дополнительные устройства, обеспечивающие получение фотографических изображений, текстовой информации, независимой звуковой информации и т.п. Источники 21…2n аудиовизуальной информации и пользовательское устройство воспроизведения 1 связаны друг с другом через канал двусторонней связи 3. В канале связи 3 выделяется отдельный модуль по объединению видеоизображений. Полученная итоговая последовательность сформированных кадров представляет собой видеоизображение, которое в дальнейшем сжимается с помощью стандартных видеокодеков и передается по каналу двусторонней связи. За счет объединения кадров исходных видеоизображений и использования особенностей кодирования видеоизображений стандартными алгоритмами достигается экономия требуемой полосы пропускания, а также самосинхронизация изображений друг относительно друга на этапе формирования видеоизображения, до попадания в передающий тракт. Для приема аудиовизуальной информации в пользовательском устройстве 1 выделен соответствующий компонент 1 ч, в качестве которого может быть использован модем, декодер и т.п. Компонент 12 пользовательского устройства 1 обеспечивает разделение аудиовизуальной информации на составляющие, соответствующие своему источнику 21…2n. В качестве этого компонента 13 может быть использован участок памяти, выделенный под соответствующее программное обеспечение, встроенный энергонезависимый блок. Компонент 13 пользовательского устройства 1 обеспечивает формирование на дисплее 4 пользовательского устройства 1 нескольких полей 41…4n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника 21…2n. Интерфейс 1 обеспечивает пользовательскую корректировку параметров полей аудиовизуального ряда 41…4n.User playback device 1: a desktop or laptop personal computer, a programmable mobile communication terminal connected to a wired or wireless network, as well as various home or specialized multimedia devices (televisions, multimedia set-top boxes, etc.) receive audio-visual information from several sources 2 1 ... 2 n . Such sources in the vast majority of cases will be video cameras displaying the characters of a spectacular event, as well as additional devices that provide photographic images, text information, independent audio information, etc. Sources 2 1 ... 2 n of audiovisual information and the user playback device 1 are connected to each other via the two-way communication channel 3. In communication channel 3, a separate module for combining video images is allocated. The resulting final sequence of generated frames is a video image, which is further compressed using standard video codecs and transmitted via a two-way communication channel. By combining the frames of the original video images and using the encoding features of standard images with standard algorithms, the required bandwidth is saved, as well as self-synchronization of the images relative to each other at the stage of video image formation, before it enters the transmitting path. To receive audiovisual information in the user device 1, the corresponding component is allocated for 1 h, which can be used as a modem, decoder, etc. Component 12 of the user device 1 provides for the separation of audiovisual information into components corresponding to its source 2 1 ... 2 n . As this component 1 3 can be used the memory allocated for the corresponding software, built-in non-volatile unit. Component 1 3 of user device 1 provides the formation on the display 4 of user device 1 of several fields 4 1 ... 4 n of the audiovisual series, each of which displays audiovisual information received from the corresponding source 2 1 ... 2 n . Interface 1 provides custom adjustment of the parameters of the fields of the audiovisual series 4 1 ... 4 n .

Решение может быть использовано при съемке зрелищного мероприятия, несколькими видеокамерами 21…2n, от источников - видеокамер 21…2n получают свой ракурс снимаемого события (с выделением и отслеживанием {например при движении камеры} персонажей для отображения на «персональном» экране), который, как может представлять интерес для зрителя, так может оказаться непривлекательным из-за неудачных условий съемки и т.п. Полученная аудиовизуальная информация от источников 21…2n через двусторонний канал связи 3 передается на пользовательское устройство воспроизведение 1 или же на нужное число пользовательских устройств воспроизведения с обеспечением объединения изображений в соответствующем модуле и синхронизации информации, что обеспечивает качественную передачу информации по нестабильным каналам без занятия излишней полосы пропускания.The solution can be used when shooting entertainment events, several cameras 2 1 ... 2 n, from the source - camera 2 1 ... 2 n receive their angle shoot the events (with allocation and tracking {e.g. when the camera motion} characters for display on the "personal" display ), which, as may be of interest to the viewer, it may turn out to be unattractive due to poor shooting conditions, etc. Received audiovisual information from sources 2 1 ... 2 n through a two-way communication channel 3 is transmitted to a user device 1 or to the desired number of user devices with the combination of images in the corresponding module and synchronization of information, which ensures high-quality information transfer through unstable channels without occupation excessive bandwidth.

Формирование объединенного изображения осуществляется выделением каждого кадра из исходных видеоизображений и объединения их в один кадр путем пристыковки кадров исходных изображений друг к другу в определенном порядке. При этом выполняется выравнивание частоты смены кадров в исходных изображениях путем повтора кадров для источников с низкой кадровой частотой. В качестве исходного материала для формирования кадров нового видеоизображения могут быть статические или периодически обновляемые изображения (рисунки, графики). Также следует отметить, что в предложенном решении синхронизация изображений друг относительно друга выполняется до попадания в вещательный тракт, в отличие от известных средств, в которых синхронизация звука и видео осуществляется по меткам аудио/видео пакетов на стороне воспроизводящего устройства. Синхронизация со звуком осуществляется стандартным способом (по меткам). Если задержка в передающем тракте все-таки возникает, она одинаково распространяется сразу на все изображения, что не приводит к их рассинхронизации и не требует специальных мер по ее восстановлению - обратной синхронизации. Дополнительно следует отметить, что известные в настоящее время технологии обеспечивают самостоятельное кодирование нескольких видеоизображений, с дальнейшим их объединением в мультиплекс в виде отдельных потоков; существующие способы, обеспечивающие снижение требуемой полосы пропускания за счет взаимного учета параметров кодирования нескольких видеоизображений через обратную связь видеокодеров, эффективны только при кодировании несвязанных между собой и не требующих синхронизации друг относительно друга изображений, и не могут обеспечить требуемое качество передачи нескольких видеоизображений одного события.The formation of the combined image is carried out by selecting each frame from the source video images and combining them into one frame by docking frames of the source images to each other in a specific order. In this case, the frame rate is equalized in the source images by repeating frames for sources with a low frame rate. As the source material for the formation of frames of a new video image, there can be static or periodically updated images (drawings, graphs). It should also be noted that in the proposed solution, the synchronization of images relative to each other is performed before they enter the broadcast path, in contrast to the known means in which the synchronization of sound and video is carried out according to the labels of the audio / video packets on the side of the reproducing device. Synchronization with sound is carried out in a standard way (by tags). If the delay in the transmitting path does occur, it equally applies immediately to all images, which does not lead to their desynchronization and does not require special measures to restore it - reverse synchronization. In addition, it should be noted that currently known technologies provide independent coding of several video images, with their further combination into a multiplex in the form of separate streams; existing methods that reduce the required bandwidth due to the mutual consideration of the encoding parameters of several video images through the feedback of video encoders are effective only when encoding images that are unrelated and do not require synchronization with respect to each other, and cannot provide the required transmission quality of several video images of one event.

Компонент 11 пользовательского устройства воспроизведения 1 обеспечивает прием аудиовизуальной информации. Компонент 12 обеспечивает разделение аудиовизуальной информации на составляющие, соответствующие источнику их получения. Таким образом, полученное из тракта видеоизображение преобразуется к формату, удобному для восприятия его пользователем, каждый кадр полученного видеоизображения разделяется на части в соответствии со способом объединения исходных кадров с источников. Порядок следования и количество объединяемых кадров может меняться от канала к каналу (от события к событию), но всегда одинаково на стороне формирования и стороне приема, что определяется форматом канала (события). Компонент 13 пользовательского устройства 1 обеспечивает формирование на его экране 4 нескольких полей 41…4n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника. Таким образом, полученные части кадра объединяются в отдельные видеоизображения, каждая часть в свой поток, которые в дальнейшем воспроизводятся (41…4n). Типовыми средствами пользовательского интерфейса 14 обеспечивается пользовательская корректировка параметров аудиовизуального ряда, пользователь может выбирать интересный для себя видеоряд, скрывая остальные, масштабировать видеоряды в соответствии со своими предпочтениями, ну и, конечно, осуществлять подстройку громкости звука.Component 1 1 of the user playback device 1 provides reception of audiovisual information. Component 1 2 provides the separation of audiovisual information into components corresponding to the source of their receipt. Thus, the video image obtained from the path is converted to a format convenient for the user to perceive it, each frame of the received video image is divided into parts in accordance with the method of combining the source frames from the sources. The sequence and the number of combined frames can vary from channel to channel (from event to event), but always the same on the formation side and the receiving side, which is determined by the format of the channel (event). Component 1 3 of the user device 1 provides the formation on its screen 4 of several fields 4 1 ... 4 n of the audiovisual series, each of which displays the audiovisual information received from the corresponding source. Thus, the obtained parts of the frame are combined into separate video images, each part in its own stream, which is then reproduced (4 1 ... 4 n ). Typical user interface means April 1 provides user adjustment parameters of the audio-visual series, the user can choose for themselves an interesting video, hiding the rest, zoom video sequences according to their preferences, and, of course, to carry out adjustment of the volume.

Вариант 2 (мобильный терминал связи)Option 2 (mobile communication terminal)

Под пользовательским устройством воспроизведения - мобильным терминалом связи 1 подразумевается программируемый терминал мобильной связи типа iPhone или iPad, подключаемый к сети связи и обеспечивающий прием аудиовизуальной информации от нескольких источников 21…2n. Такими источниками в подавляющем большинстве случаев будут видеокамеры, отображающие зрелищное мероприятие в различных ракурсах (с выделением и отслеживанием {например при движении камеры} персонажей для отображения на «персональном» экране), а также дополнительные устройства, обеспечивающие получение фотографических изображений, текстовой информации, независимой звуковой информации и т.п. Источники 21…2n аудиовизуальной информации и мобильный терминал связи 1 связаны друг с другом через канал двусторонней связи 3. В канале связи 3 выделяется отдельный модуль по объединению видеоизображений. Полученная итоговая последовательность сформированных кадров представляет собой видеоизображение, которое в дальнейшем сжимается с помощью стандартных видеокодеков и передается по каналу двусторонней связи. За счет объединения кадров исходных видеоизображений и использования особенностей кодирования видеоизображений стандартными алгоритмами достигается экономия требуемой полосы пропускания, а также самосинхронизация изображений друг относительно друга на этапе формирования видеоизображения, до попадания в передающий тракт. Для приема аудиовизуальной информации в пользовательском устройстве 1 выделен соответствующий компонент 11, в качестве которого может быть использован модем, декодер и т.п. Компонент 12 пользовательского устройства 1 обеспечивает формирование на его экране 4, по меньшей мере одного поля 41…4n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника 21…2n. В свою очередь не интересующие пользователя аудиовизуальные ряды закрываются маской графических примитивов, то есть маской, расположенной поверх потоков аудиовизуальной информации. Интерфейс 13 обеспечивает пользовательскую корректировку параметров полей аудиовизуального ряда 41…4n, то есть переключение с одного интересующего пользователя поля на другое.By a user playback device — a mobile communication terminal 1 — is meant a programmable mobile communication terminal, such as an iPhone or iPad, connected to a communication network and capable of receiving audio-visual information from several sources 2 1 ... 2 n . Such sources in the vast majority of cases will be video cameras displaying a spectacular event from various angles (with the selection and tracking {for example, when the camera is moving} of characters to be displayed on a "personal" screen), as well as additional devices that provide photographic images, text information, independent sound information, etc. Sources 2 1 ... 2 n of audiovisual information and the mobile communication terminal 1 are connected to each other via the two-way communication channel 3. In the communication channel 3, a separate module for combining video images is allocated. The resulting final sequence of generated frames is a video image, which is further compressed using standard video codecs and transmitted via a two-way communication channel. By combining the frames of the original video images and using the encoding features of standard images with standard algorithms, the required bandwidth is saved, as well as self-synchronization of the images relative to each other at the stage of video image formation, before it enters the transmitting path. For receiving audiovisual information in the user device 1 is selected corresponding component 1 1, for which the modem can be used, a decoder, etc. Component 1 2 of user device 1 provides the formation on its screen 4 of at least one field 4 1 ... 4 n of the audiovisual series, each of which displays audiovisual information received from the corresponding source 2 1 ... 2 n . In turn, the audiovisual series that are not of interest to the user are closed by a mask of graphic primitives, that is, a mask located on top of the streams of audiovisual information. The interface 1 3 provides user adjustment of the field parameters of the audiovisual series 4 1 ... 4 n , that is, switching from one field of interest to another user.

При съемке какого-либо зрелищного действия или мероприятия от каждого источника - видеокамеры 21…2n получают свой ракурс снимаемого события, который, как может представлять интерес для зрителя, так может оказаться непривлекательным из-за неудачных условий съемки и т.п. Полученная аудиовизуальная информация от источников 21…2n через двусторонний канал связи 3 передается на пользовательское устройство воспроизведение - мобильный терминал связи 1 или же на нужное число терминалов 1 с обеспечением объединения изображений в соответствующем модуле и синхронизации информации. Таким образом, обеспечивается качественная передача информации по нестабильным каналам без занятия излишней полосы пропускания.When shooting any spectacular action or event from each source, the video cameras 2 1 ... 2 n get their perspective on the event, which, as it may be of interest to the viewer, may turn out to be unattractive due to unsuccessful shooting conditions, etc. Received audiovisual information from sources 2 1 ... 2 n through a two-way communication channel 3 is transmitted to the user device playback - a mobile communication terminal 1 or to the desired number of terminals 1 with the combination of images in the corresponding module and synchronization of information. Thus, high-quality transmission of information through unstable channels is ensured without occupying excessive bandwidth.

Как и пояснено выше, формирование объединенного изображения осуществляется выделением каждого кадра из исходных видеоизображений и объединения их в один кадр путем пристыковки кадров исходных изображений друг к другу в определенном порядке. При этом выполняется выравнивание частоты смены кадров в исходных изображениях путем повтора кадров для источников с низкой кадровой частотой. В качестве исходного материала для формирования кадров нового видеоизображения могут быть статические или периодически обновляемые изображения (рисунки, графики). Также следует отметить, что в предложенном решении синхронизация изображений друг относительно друга выполняется до попадания в вещательный тракт, в отличие от известных средств, в которых синхронизация звука и видео осуществляется по меткам аудио/видео пакетов на стороне воспроизводящего устройства. Синхронизация со звуком осуществляется стандартным способом (по меткам). Если задержка в передающем тракте все-таки возникает, она одинаково распространяется сразу на все изображения, что не приводит к их рассинхронизации и не требует специальных мер по ее восстановлению - обратной синхронизации. Известные в настоящее время технологии обеспечивают самостоятельное кодирование нескольких видеоизображений, с дальнейшим их объединением в мультиплекс в виде отдельных потоков; существующие способы, обеспечивающие снижение требуемой полосы пропускания за счет взаимного учета параметров кодирования нескольких видеоизображений через обратную связь видеокодеров, эффективны только при кодировании несвязанных между собой и не требующих синхронизации друг относительно друга изображений, и не могут обеспечить требуемое качество передачи нескольких видеоизображений одного события.As explained above, the formation of the combined image is carried out by extracting each frame from the source video images and combining them into one frame by docking frames of the source images to each other in a certain order. In this case, the frame rate is equalized in the source images by repeating frames for sources with a low frame rate. As the source material for the formation of frames of a new video image, there can be static or periodically updated images (drawings, graphs). It should also be noted that in the proposed solution, the synchronization of images relative to each other is performed before they enter the broadcast path, in contrast to the known means in which the synchronization of sound and video is carried out according to the labels of the audio / video packets on the side of the reproducing device. Synchronization with sound is carried out in a standard way (by tags). If the delay in the transmitting path does occur, it equally applies immediately to all images, which does not lead to their desynchronization and does not require special measures to restore it - reverse synchronization. Currently known technologies provide independent coding of several video images, with their further combination into a multiplex in the form of separate streams; existing methods that reduce the required bandwidth due to the mutual consideration of the encoding parameters of several video images through the feedback of video encoders are effective only when encoding images that are unrelated and do not require synchronization with respect to each other, and cannot provide the required transmission quality of several video images of one event.

Компонент 11 пользовательского устройства воспроизведения 1 обеспечивает прием аудиовизуальной информации. Порядок следования и количество объединяемых кадров может меняться от канала к каналу (от события к событию), но всегда одинаково на стороне формирования и стороне приема, что определяется форматом канала (события). Компонент 12 пользовательского устройства 1 обеспечивает формирование на его экране 4, по меньшей мере одного поля 41…4n аудиовизуального ряда, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника. При этом, по меньшей мере один, доступный взгляду пользователя аудиовизуальный ряд, интересующий пользователя, отображается на соответствующем ему поле, например поле, занимающем большую часть дисплея. В свою очередь, не интересующие пользователя аудиовизуальные ряды закрываются маской графических примитивов, то есть маской расположенной поверх потоков аудиовизуальной информации. Типовыми средствами пользовательского интерфейса 1i обеспечивается пользовательская корректировка параметров аудиовизуального ряда, пользователь может выбирать интересный для себя видеоряд, скрывая остальные, масштабировать видеоряды в соответствии со своими предпочтениями, ну и, конечно, осуществлять подстройку громкости звука. Также производится смена положения и/или размера полей 41…4n. Таким образом, обеспечивается переключение с одного ракурса на другой.Component 1 1 of the user playback device 1 provides reception of audiovisual information. The sequence and the number of combined frames can vary from channel to channel (from event to event), but always the same on the formation side and the receiving side, which is determined by the format of the channel (event). Component 1 2 of the user device 1 provides the formation on its screen 4 of at least one field 4 1 ... 4 n of the audiovisual series, each of which displays audiovisual information received from the corresponding source. At the same time, at least one audiovisual series of interest to the user, which is of interest to the user, is displayed on the corresponding field, for example, the field occupying most of the display. In turn, the audiovisual series that are not of interest to the user are closed by a mask of graphic primitives, that is, a mask located on top of the streams of audiovisual information. Using the typical means of the user interface 1 i , user adjustment of the parameters of the audio-visual series is provided, the user can choose a video sequence that is interesting for himself, hiding the rest, scale the video sequences in accordance with his preferences, and, of course, adjust the sound volume. Also, the position and / or size of the fields 4 1 ... 4 n is changed. This ensures switching from one perspective to another.

Claims (10)

1. Способ съемки и отображения зрелищного мероприятия с участием персонажей в количестве, необходимом для его осуществления, предусматривающий:
одновременное получение аудиовизуальной информации от, по меньшей мере, двух источников, представляющих собой видеокамеры, обеспечивающих получение видеоизображения и звука, относящихся к, по меньшей мере, одному зрелищному мероприятию, при этом видеокамеры отражают мероприятие в различных ракурсах при движении камеры с выделением и отслеживанием персонажей,
передачу полученной аудиовизуальной информации от указанных источников на пользовательское устройство воспроизведения в едином потоке с обеспечением ее синхронизации и объединением кадров исходных изображений зрелищного мероприятия,
прием аудиовизуальной информации, по меньшей мере, одним пользовательским устройством воспроизведения с разделением аудиовизуальной информации на составляющие, соответствующие источнику, обеспечившему упомянутое получение видеоизображения и звука,
формирование, по меньшей мере, двух полей аудиовизуального ряда на экране указанного пользовательского устройства воспроизведения, каждое из которых отображает аудиовизуальную информацию, полученную от соответствующего источника, с одновременной возможностью пользовательской корректировки параметров аудиовизуального ряда,
с отображением каждого из персонажей, по меньшей мере, одного зрелищного мероприятия на отдельном участке экрана пользовательского устройства воспроизведения.1. The method of shooting and displaying a spectacular event with the participation of characters in the quantity necessary for its implementation, comprising:
the simultaneous receipt of audiovisual information from at least two sources, which are video cameras that provide video and sound related to at least one spectacular event, while the video cameras reflect the event from different angles when moving the camera with the selection and tracking of characters ,
transmitting the received audiovisual information from these sources to a user playback device in a single stream, ensuring its synchronization and combining the frames of the original images of the entertainment event,
receiving audiovisual information by at least one user playback device with dividing the audiovisual information into components corresponding to a source providing said video and sound acquisition,
the formation of at least two fields of the audiovisual series on the screen of the specified user playback device, each of which displays audiovisual information received from the corresponding source, with the simultaneous ability to customize the parameters of the audiovisual series,
with the display of each of the characters of at least one spectacular event on a separate section of the screen of the user’s playback device. 2. Способ по п. 1, отличающийся тем, что на отдельном экране отображают группу взаимосвязанных друг с другом персонажей.2. The method according to p. 1, characterized in that on a separate screen display a group of interconnected characters. 3. Способ по п. 1, отличающийся тем, что зритель просматривает все участки экрана одновременно.
4 Способ по п. 1, отличающийся тем, что зритель просматривает выбранный участок экрана, открытый во весь растр, при отображении в поле зрения зрителя прочих участков экрана в уменьшенных размерах.3. The method according to p. 1, characterized in that the viewer views all parts of the screen at the same time.
4 The method according to p. 1, characterized in that the viewer views the selected portion of the screen, open in full raster, when displayed in the field of view of the viewer other sections of the screen in reduced sizes. 5. Способ по п. 1, отличающийся тем, что количество участков экрана пользовательского устройства воспроизведения меньше или равно девяти.5. The method according to p. 1, characterized in that the number of screen sections of the user playback device is less than or equal to nine. 6. Способ по п. 1, отличающийся тем, что реализуется при прямой трансляции, например при телевизионной трансляции на домашнее пользовательское устройство.6. The method according to p. 1, characterized in that it is realized during a live broadcast, for example, during a television broadcast to a home user device. 7. Способ по п. 1, отличающийся тем, что реализуется при трансляции на мобильный терминал связи.7. The method according to p. 1, characterized in that it is implemented when broadcasting to a mobile communication terminal. 8. Способ по п. 7, отличающийся тем, что на экране мобильного терминала связи формируют поле аудиовизуального ряда, отображающего для пользователя аудиовизуальную информацию, полученную от, по меньшей мере, одного из источников такой информации,
при одновременном формировании, по меньшей мере, одного поля аудиовизуального ряда, закрытого от взгляда пользователя маской графических примитивов,
с необходимой сменой аудиовизуального ряда, доступного взгляду, при воздействии пользователя на интерфейс мобильного терминала связи.8. The method according to p. 7, characterized in that on the screen of the mobile communication terminal form a field of audiovisual series that displays for the user audiovisual information received from at least one of the sources of such information,
while forming at least one field of the audiovisual series, closed from the view of the user by a mask of graphic primitives,
with the necessary change in the audiovisual range, accessible to the eye, when the user acts on the interface of the mobile communication terminal. 9. Способ по п. 1, отличающийся тем, что реализуется при записи на материальный носитель с последующей трансляцией с данного материального носителя.9. The method according to p. 1, characterized in that it is implemented when recording on a material medium with subsequent broadcasting from this material medium. 10. Пользовательский интерфейс, отличающийся тем, что обеспечивает трансляцию зрителю зрелищного мероприятия по любому из пп. 1÷10.10. A user interface, characterized in that it provides the viewer with a broadcast of a spectacular event according to any one of paragraphs. 1 ÷ 10. 11. Пользовательский интерфейс по п. 10, отличающийся тем, что представляет собой интерфейс мобильного терминала связи, например, типа iPhone или iPad. 11. The user interface according to claim 10, characterized in that it is an interface of a mobile communication terminal, for example, such as an iPhone or iPad.
RU2014116929/08A 2014-04-16 2014-04-16 Method of capturing and displaying entertaining activities and user interface for realising said method RU2583755C2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2014116929/08A RU2583755C2 (en) 2014-04-16 2014-04-16 Method of capturing and displaying entertaining activities and user interface for realising said method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2014116929/08A RU2583755C2 (en) 2014-04-16 2014-04-16 Method of capturing and displaying entertaining activities and user interface for realising said method

Publications (2)

Publication Number Publication Date
RU2014116929A RU2014116929A (en) 2015-10-27
RU2583755C2 true RU2583755C2 (en) 2016-05-10

Family

ID=54362735

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014116929/08A RU2583755C2 (en) 2014-04-16 2014-04-16 Method of capturing and displaying entertaining activities and user interface for realising said method

Country Status (1)

Country Link
RU (1) RU2583755C2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105828201B (en) * 2016-04-22 2019-05-21 北京小米移动软件有限公司 Method for processing video frequency and device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU136663U1 (en) * 2012-09-14 2014-01-10 Николай Владимирович Тимошенко REMOTE VIEWING SYSTEM OR SIMILAR VIEW
RU2513722C1 (en) * 2012-11-27 2014-04-20 Общество с ограниченной ответственностью "Сетевизор" Method for displaying audiovisual series on screen of mobile communication terminal, primarily relating to one event, formed by capturing with multiple cameras and user reproducing device - mobile communication terminal for realising said method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU136663U1 (en) * 2012-09-14 2014-01-10 Николай Владимирович Тимошенко REMOTE VIEWING SYSTEM OR SIMILAR VIEW
RU2513722C1 (en) * 2012-11-27 2014-04-20 Общество с ограниченной ответственностью "Сетевизор" Method for displaying audiovisual series on screen of mobile communication terminal, primarily relating to one event, formed by capturing with multiple cameras and user reproducing device - mobile communication terminal for realising said method

Also Published As

Publication number Publication date
RU2014116929A (en) 2015-10-27

Similar Documents

Publication Publication Date Title
Niamut et al. MPEG DASH SRD: spatial relationship description
US11711588B2 (en) Video delivery
EP2563026A2 (en) Transmission of video content
US20170339469A1 (en) Efficient distribution of real-time and live streaming 360 spherical video
KR20150008739A (en) Server and method for providing personalize display based on video, and device
KR20150009122A (en) Server and method for composing local advertisment, and server for composing video stream
CN105430451A (en) Multi-cam HLS description method and multi-cam video direct broadcasting system based on HLS
JP5941000B2 (en) Video distribution apparatus and video distribution method
US20200213631A1 (en) Transmission system for multi-channel image, control method therefor, and multi-channel image playback method and apparatus
Niamut et al. Live event experiences-interactive UHDTV on mobile devices
RU2583755C2 (en) Method of capturing and displaying entertaining activities and user interface for realising said method
US9667885B2 (en) Systems and methods to achieve interactive special effects
US10764655B2 (en) Main and immersive video coordination system and method
CN104185033B (en) A kind of processing method of multiple frames of television, apparatus and system
US10637904B2 (en) Multimedia streaming service presentation method, related apparatus, and related system
KR20170130883A (en) Method and apparatus for virtual reality broadcasting service based on hybrid network
US20180227504A1 (en) Switchable multiple video track platform
RU2513722C1 (en) Method for displaying audiovisual series on screen of mobile communication terminal, primarily relating to one event, formed by capturing with multiple cameras and user reproducing device - mobile communication terminal for realising said method
Stamos Katsigiannis et al. 5G: Disruption in media and entertainment
JP2019033362A (en) Distribution apparatus, reception apparatus, and program
RU135870U1 (en) A USER PLAYBACK DEVICE FOR DISPLAYING AN AUDIO-VISUAL SERIES PERFORMANTLY RELATING TO ONE EVENT FORMED BY SHOOTING WITH MULTIPLE CAMERAS
US10264241B2 (en) Complimentary video content
WO2019144076A1 (en) Panoramic picture in picture video
JP6324829B2 (en) Video providing system and program
Niamut et al. Immersive live event experiences-interactive UHDTV on mobile devices

Legal Events

Date Code Title Description
HE9A Changing address for correspondence with an applicant
PD4A Correction of name of patent owner
PC41 Official registration of the transfer of exclusive right

Effective date: 20200227