RU2666137C2 - Способ и система для производства видеопродукции - Google Patents

Способ и система для производства видеопродукции Download PDF

Info

Publication number
RU2666137C2
RU2666137C2 RU2016110470A RU2016110470A RU2666137C2 RU 2666137 C2 RU2666137 C2 RU 2666137C2 RU 2016110470 A RU2016110470 A RU 2016110470A RU 2016110470 A RU2016110470 A RU 2016110470A RU 2666137 C2 RU2666137 C2 RU 2666137C2
Authority
RU
Russia
Prior art keywords
image
frame
frames
component
event
Prior art date
Application number
RU2016110470A
Other languages
English (en)
Other versions
RU2016110470A (ru
Inventor
Серхи САГАС
Жоан БЕННАССАР
Антуан ВАЛЬВЕРДЕ
Херард ТОРРЕНТ
Original Assignee
Медияпродуксьйон, С.Л.У.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Медияпродуксьйон, С.Л.У. filed Critical Медияпродуксьйон, С.Л.У.
Publication of RU2016110470A publication Critical patent/RU2016110470A/ru
Application granted granted Critical
Publication of RU2666137C2 publication Critical patent/RU2666137C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Изобретение относится к способу и системе для генерации видеопродукции. Технический результат заключается в обеспечении автоматического производства видеопродукции с минимальным вмешательством оператора или без него в режиме реального времени для записи видеоизображений широкого круга событий. Предложен способ и система для генерации видеопродукции события, при этом способ включает: получение множества видеосигналов события, причем каждый видеосигнал содержит множество кадров изображения, при этом каждый кадр изображения соответствует изображению события; получение по меньшей мере одного предопределенного условия, связанного с событием; выбор фрагмента по меньшей мере из одного множества кадров изображения на основании по меньшей мере одного предопределенного условия для генерации по меньшей мере одного выходного кадра изображения; и генерацию видеопродукции по меньшей мере из одного выходного кадра изображения. 2 н. и 12 з.п. ф-лы, 8 ил.

Description

Настоящее изобретение относится к способу и системе для генерации видеопродукции.
В различных вариантах осуществления настоящее изобретение относится, в частности, к способу и системе для генерации панорамного видео и для применения в производстве видеопродукции события публичного интереса с минимальным вмешательством оператора или без него и/или в режиме реального времени в момент происхождения события.
Показ по телевидению многих событий публичного интереса, включая спортивные события такие, как футбольные матчи, обычно требует много видеокамер и много операторов камер. На примере футбольного матча, каждый оператор, работая камерой, должен следить за ходом действия на игровом поле и за его пределами, в равной степени используя панорамирование или масштабирование видеокамерой, чтобы отслеживать мяч, игроков или зрителей по мере того, как они перемещаются в пределах игрового поля и за его пределами. Видеосигналы записанных изображений затем будут переданы в контрольный центр, где режиссер может просмотреть изображения каждого видеосигнала. Режиссер также может взаимодействовать с оператором, обеспечивая его инструкциями, как конкретная камера должна работать, и может выбрать или объединить видеосигналы для выполнения презентации для трансляции. Такая телевизионная работа неизбежно требует большого количества рабочей силы, оборудования и технической поддержки; все это прибавляется к финансовым расходам производства трансляции. В частности, такое оборудование, как широкоугольные объективы с широким полем обзора, применяемые для съемки некоторого события, могут быть чрезмерно дорогими.
Для крупномасштабных событий с достаточной финансовой поддержкой, большое количество необходимых ресурсов для производства видео трансляции не является большой проблемой. Однако, для мелкомасштабных событий или событий с ограниченной финансовой поддержкой, чрезмерно высокая стоимость телевизионной продукции обычно означает, что событие не обеспечено финансовым покрытием и таким образом не будет транслироваться.
Организаторам мелкомасштабных событий или событий, которые не пользуются широкой популярностью, собирающимся транслировать событие, желательно в большинстве случаев увеличить объем рекламы события или организаторов. В свою очередь, увеличенный объем рекламы привлекает публичный интерес, который может служить для подъема рейтинга события и, следовательно, может быть использован для привлечения спонсоров и инвесторов.
C учетом вышесказанного есть необходимость в усовершенствованном способе и системе для уменьшения стоимости и ресурсов, необходимых для создания видеопродукции события, которая будет соответствовать требованиям телевизионной трансляции.
В соответствии с другим аспектом настоящего изобретения предоставляется способ генерации видеопродукции события, включающий: получение множества компонентных видеосигналов события, причем каждый компонентный видеосигнал содержит множество кадров компонентного изображения, при этом каждый кадр компонентного изображения соответствует фрагменту панорамного изображения события; совмещение соответствующих по времени кадров компонентного изображения каждого видеосигнала вместе для генерации множества кадров панорамного изображения; выбор фрагмента кадра каждого панорамного изображения, основываясь по меньшей мере на одном предопределенном условии, связанном с событием, для генерации множества выходных кадров изображения; генерацию видеопродукции из множества выходных кадров изображения.
C учетом вышесказанного, настоящее изобретение предоставляет способ, который генерирует широкоугольные кадры изображения без необходимости в дорогих широкоугольных объективах. Этот способ также делает возможным производство видеопродукции с минимальным вмешательством оператора или без него и может выполняться автоматически в режиме реального времени для записи видеоизображений широкого круга событий.
В различных вариантах осуществления, одним из предопределенных условий является выбор фрагмента каждого кадра панорамного изображения, содержащего зону интереса связанную с событием.
В качестве альтернативы или дополнения этап выбора дополнительно включает идентификацию по меньшей мере одного объекта изображения по меньшей мере в одном кадре изображения, и при этом одним из предопределенных условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, содержащего по меньшей мере один объект изображения. В частности, для более чем одного идентифицированного объекта изображения по меньшей мере в одном кадре панорамного изображения этап выбора дополнительно включает: определение местоположения объектов изображения по меньшей мере в одном кадре панорамного изображения; идентифицирование распределения местоположений по меньшей мере более чем в одном кадре панорамного изображения; и определение отклонения идентифицированного распределения от ожидаемого распределения, связанного с событием; при этом одним из предопределенных условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, имеющего минимальное отклонение. Способ в описанных выше вариантах осуществления позволяет имитировать эффект панорамирования видеокамерой в процессе выбора фрагмента, который содержит объект изображения. В качестве альтернативы или дополнения способ дополнительно включает выделение данных заднего плана по меньшей мере из одного кадра панорамного изображения, при этом этап идентификации основывается по меньшей мере на выделенных данных заднего плана. Способ может также дополнительно включать определение карты распределения плотности по меньшей мере одного из кадров панорамного изображения для указания зоны кадра панорамного изображения, где большое число объектов изображения находятся в непосредственной близости друг к другу, при этом этап идентификации основан по меньшей мере на карте распределения плотности. Обеспечение процесса выделения данных заднего плана и распределения плотности облегчает этап идентификации объектов изображения на фоне элементов заднего плана.
Предпочтительно чтобы размер выбранного фрагмента отличался от одного кадра панорамного изображения к другому. В качестве альтернативы или дополнения, местоположение выбранного фрагмента, относящегося к соответствующему кадру панорамного изображения, меняется от одного кадра панорамного изображения к другому. Изменение размера и местоположения выбранного фрагмента дополнительно облегчает имитацию эффекта масштабирования и панорамирования видеокамерой.
В других вариантах осуществления этап совмещения дополнительно включает в себя коррекцию цветовой информации кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала. Этап совмещения может дополнительно включать калибровку уровней яркости кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала. Эти меры позволяют объединять кадры изображения вместе без заметных для глаза переходов.
В некоторых других вариантах осуществления способ дополнительно включает: генерацию метаданных, связанных с событием; создание визуального элемента, соответствующего метаданным; и встраивание визуального элемента в видеопродукцию. В качестве альтернативы или дополнения способ дополнительно включает: получение по меньшей мере одного аудиосигнала; объединение по меньшей мере одного аудиосигнала с видеопродукцией; и генерацию аудиовидеопродукции. Эти меры повышают качество видеопродукции, предоставляя зрителю дополнительную информацию, связанную с событием.
В соответствии с другим аспектом настоящего изобретения предложена система для генерации видеопродукции события, содержащая: модуль захвата, предназначенный для получения множества компонентных видеосигналов события, причем каждый компонентный видеосигнал содержит множество кадров компонентного изображения, при этом каждый кадр компонентного изображения соответствует фрагменту панорамного изображения события; модуль совмещения, предназначенный для совмещения соответствующих по времени кадров компонентного изображения каждого видеосигнала вместе для генерации множества кадров панорамного изображения; модуль выбора, предназначенный для выбора фрагмента каждого кадра панорамного изображения, основываясь по меньшей мере на одном предопределенном условии, связанном с событием для генерации множества выходных кадров изображения; производственный модуль, предназначенный для генерации видеопродукции из множества выходных кадров изображения.
В различных вариантах осуществления, одним из предопределенных условий является выбор фрагмента каждого кадра панорамного изображения, содержащего зону интереса, связанную с событием.
В качестве альтернативы или дополнения модуль выбора может использоваться для идентификации по меньшей мере одного объекта изображения по меньшей мере в одном кадре панорамного изображения, и при этом одним предопределенным условием является выбор целого кадра или фрагмента изображения, содержащего по меньшей мере один объект изображения. В частности, для более чем одного идентифицированного объекта изображения по меньшей мере в одном кадре панорамного изображения, модуль выбора может использоваться: для определения местоположений объектов изображения по меньшей мере в одном кадре панорамного изображения; для идентификации распределения местоположений по меньшей мере в одном кадре панорамного изображения; и для определения отклонения идентифицированного распределения от ожидаемого распределения; при этом одним из предопределенных условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, имеющего минимальное отклонение. В качестве альтернативы или дополнения система дополнительно содержит модуль извлечения, предназначенный для извлечения данных заднего плана по меньшей мере из одного кадра панорамного изображения, при этом модуль выбора может использоваться для анализа данных заднего плана для идентификации по меньшей мере одного объекта изображения. Система может также дополнительно содержать модуль распределения плотности, предназначенный для определения карты распределения плотности по меньшей мере одного из кадров панорамного изображения для указания зоны кадра панорамного изображения, где большое число объектов изображения находятся в непосредственной близости друг к другу, при этом модуль выбора может использоваться для анализа карты распределения плотности для идентификации по меньшей мере одного объекта изображения.
Предпочтительно чтобы размер выбранного фрагмента отличался от одного кадра панорамного изображения к другому. В качестве альтернативы или дополнения местоположение выбранного фрагмента по отношению к соответствующему кадру панорамного изображения меняется от одного панорамного кадра изображения к другому.
В других вариантах осуществления модуль совмещения может использоваться для коррекции цветовой информации кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала. Модуль совмещения может также использоваться для калибровки уровней яркости кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по меньшей мере по отношению к одному другому компонентному видеосигналу.
В некоторых других вариантах осуществления модуль захвата может использоваться для генерации метаданных, связанных с событием; и производственный модуль может использоваться для создания визуального элемента, основываясь на метаданных, и встраивания визуального элемента в видеопродукцию. В качестве альтернативы или дополнения производственный модуль может использоваться для: получения по меньшей мере одного аудиосигнала; объединения по меньшей мере одного аудиосигнала с выпуском телепрограммы; и генерации аудиовидеопродукции.
В соответствии с другим аспектом настоящего изобретения предложен способ генерации видеопродукции события, включающий: получение множества видеосигналов события, причем каждый видеосигнал содержит множество кадров изображения, при этом каждый кадр изображения соответствует изображению события; автоматическую идентификацию по меньшей мере одного объекта изображения по меньшей мере в одном кадре изображения; автоматический выбор по меньшей мере одного кадра изображения, содержащего по меньшей мере один объект изображения для генерации множества выходных кадров изображения; и автоматическую генерацию видеопродукции из множества выходных кадров изображения.
В соответствии с другим аспектом настоящего изобретения предложена система для генерации видеопродукции события, содержащая: модуль захвата, предназначенный для получения множества видеосигналов события, причем каждый видеосигнал содержит множество кадров изображения, при этом каждый кадр изображения соответствует изображению события; модуль выбора, предназначенный для автоматической идентификации по меньшей мере одного объекта изображения по меньшей мере в одном кадре изображения и автоматического выбора по меньшей мере одного кадра изображения, содержащего по меньшей мере один объект изображения для генерации множества выходных кадров изображения; производственный модуль, предназначенный для автоматической генерации видеопродукции из множества выходных кадров изображения.
Варианты осуществления настоящего изобретения в дальнейшем будут описываться на примерах с ссылками на сопровождающие графические материалы, в которых:
на фиг. 1 изображены две альтернативные установки с видеокамерами;
на фиг. 2 изображена схематичная диаграмма системы для генерации видеопродукции;
на фиг. 3 изображена схематичная иллюстрация кадров изображения одного видеосигнала, которые совмещаются с кадрами изображения другого видеосигнала;
на фиг. 4 изображена схематичная иллюстрация выбора фрагмента кадров панорамного изображения;
на фиг. 5 изображена схематичная иллюстрация выходного видеосигнала; и
на фиг. 6А–6С изображены схематичные иллюстрации видеопродукции.
Система для генерации видеопродукции события в соответствии с вариантом осуществления настоящего изобретения изображена на фиг. 2. Как правило, в вариантах осуществления система настоящего изобретения содержит ряд модулей, которые обмениваются данными друг с другом и могут быть воплощены в компьютерном оборудовании или программном обеспечении. Модули также могут быть реализованы как индивидуальные модули или как субмодули большего модуля. Система настраивается для получения потоков видеосигналов, записанных рядом видеокамер, размещенных в географической местности там, где происходит событие такое, как футбольный матч.
Видеокамеры могут управляться дистанционно или непосредственно с минимальным вмешательством человека так, чтобы обеспечить системе условия для создания необходимой видеопродукции автоматически в режиме реального времени. В действительности, как только система будет настроена, она сможет работать, как будет описано ниже, без дополнительного вмешательства оператора. В некоторых вариантах осуществления потоки видеосигналов могут быть предварительно записаны и получены системой по окончании происходящего события. В частности, как изображено на фиг. 1, две видеокамеры могут быть размещены в непосредственной близости друг к другу, или бок о бок, как камеры C1 и C2, или в тандеме, как камеры C3 и C4, так, чтобы поле обзора одной камеры C1 (C3) перекрывалась частично полем обзора другой камеры C2 (C4). Индивидуальные видео потоки затем могут быть объединены для генерации одного видеопотока с широкоугольным изображением. В более общем смысле ряд камер может быть установлен в рабочее положение одинаковым способом так, чтобы сгенерированный широкоугольный видеопоток покрывал все поле интереса такое, как игровое поле футбольного матча.
В результате широкоугольным видеопотоком можно будет манипулировать. Например, для определенной части видеопотока, видеопотоком можно манипулировать, выбирая фрагмент поля обзора, и дополнительно манипулировать для переноса выбранного фрагмента из одного кадра изображения в другой для имитирования эффекта панорамирования видеокамерой с таким же полем обзора этой части. В качестве альтернативы или для другой части для имитирования эффекта масштабирования видеопотоком можно манипулировать, выбирая фрагмент, размер которого отличается от кадра изображения к кадру изображения. Выбранные фрагменты затем могут быть обрезаны и соединены вместе для генерации видеопродукции для сохранения и/или трансляции.
Очевидно, что широкоугольный видеопоток может обеспечить большую гибкость и способствует разнообразию видеопродукции, которая может быть произведена из этого видеопотока. Генерация видеопродукции происходит автоматически сразу, как только система настроена, таким образом значительная стоимость и сложность обычных систем, описанных выше, могут быть устранены.
Как показано на фиг. 2, система 10 согласно варианту осуществления настоящего изобретения включает в себя модуль захвата 100, модуль совмещения 200, модуль выбора 300 и производственный модуль 400. Как показано на этой фигуре, каждый модуль изображен как индивидуальный элемент. Однако, следует учитывать, что некоторые модули могут быть субмодулями больших модулей. Например, в некоторых вариантах осуществления модуль совмещения 200 и модуль выбора 300 могут быть субмодулями модуля 202 виртуальной камеры. Следует также учитывать, что модули и субмодули могут быть воплощены в оборудовании или в программном обеспечении.
Когда происходит такое событие, как футбольный матч, для съемки этого события способом, описанным выше, в рабочее положение может быть приведен ряд видеокамер. В варианте осуществления, показанном на фиг. 2, модуль захвата 100 сконфигурирован для получения одного или более видеосигналов 120, записанных видеокамерами или в режиме реального времени прямо с видеокамер, связанных с возможностью обмена данных с модулем захвата 100, или с помощью предварительной записи и хранения отснятых видеосигналов. Модуль захвата 100 в некоторых вариантах осуществления также сконфигурирован для преобразования полученных видеосигналов 120 в соответствующий формат, подходящий для использования системой 10.
Специалисту в данной области техники должно быть понятно то, что видеосигнал может быть аналоговым или цифровым и содержит последовательность кадров изображения. Также специалисту в данной области техники должно быть понятно то, что каждый кадр изображения видеосигнала имеет угол/поле обзора изображения, которое зависит от характеристик оптических компонентов видеокамеры таких, как фокусное расстояние объектива или размер светочувствительной матрицы.
Как правило, каждый видеосигнал 120, полученный модулем захвата 100, содержит ряд кадров изображения, при этом каждое изображение соответствует изображению события, которое записывается. Некоторые видеосигналы 120, полученные модулем захвата 100, такие как компонентные видеосигналы 122-1... 122-n, показанные на фиг. 2, могут быть связаны с панорамным полем обзора. Таким образом, кадры изображения видеосигнала, полученного модулем захвата 100, могут быть объединены или совмещены с соответствующими по времени кадрами изображения другого видеосигнала для генерации панорамного видеосигнала, где кадры изображения панорамного видеосигнала имеют поле обзора шире, чем поле обзора кадров изображения каждого индивидуального видеосигнала. Компонентные видеосигналы 122-1... 122-n могут быть получены от ряда видеокамер, размещенных бок о бок рядом друг с другом или в тандеме одна над другой и выставлены так, что край поля обзора одной камеры соответствует краю поля обзора соседней камеры или так, что поле обзора одной камеры частично перекрывает поле обзора соседней камеры.
Как показано на фиг. 2, модуль захвата 100 настроен так, чтобы в рабочем состоянии получать один или более компонентных видеосигналов 122-1... 122-n, каждый из которых связан с панорамным полем обзора. Сразу после получения компонентные видеосигналы 122-1... 122-n могут в некоторых вариантах осуществления подвергнуться одному или более этапам предварительной обработки таким, как цветовая коррекция и калибровка для корректирования цветового тона и уровней яркости каждого видеосигнала. В дальнейшем, компонентные видеосигналы 122-1... 122-n передаются в модуль совмещения 200, который настроен так, чтобы в рабочем состоянии совмещать соответствующие кадры изображения компонентных видеосигналов 122-1... 122-n для генерации панорамного видеосигнала. Для примера, в некоторых вариантах осуществления модуль совмещения 200 получает компонентные видеосигналы 122-1... 122-n и может использоваться для совмещения вместе кадров изображения одного компонентного видеосигнала с соответствующими по времени кадрами изображения другого компонентного видеосигнала любым подходящим способом, таким как использование гомографии изображения или техники нулевого параллакса для генерации кадров панорамного изображения для панорамного видеосигнала 220. На фиг. 3 схематически изображено соединение вместе двух кадров изображения, соответствующих по времени.
На фиг. 3 изображен пример двух компонентных видеосигналов, показанных схематично, при этом компонентный видеосигнал 122-1 состоит из кадров 122-11... 122-1n компонентного изображения и компонентный видеосигнал 122-2 состоит из кадров 122-21... 122-2n компонентного изображения. На этих примерах кадры 122-1a... 122-1n компонентного изображения покрывают определенное поле обзора и кадры 122-21... 122-n компонентного изображения покрывают поле обзора, которое перекрывается с полем обзора кадров 122-11... 122-1n изображения в небольшой части. В процессе совмещения кадры компонентного изображения компонентного видеосигнала 122-1 объединяются с соответствующими по времени кадрами компонентного видеосигнала 122-2 в зоне перекрытия для генерации кадров 220-1... 220-n панорамного изображения для панорамного видеосигнала 220. На фиг. 3 изображен кадр 122-11 компонентного изображения, запечатлевший сцену в определенное время, и кадр 122-21 компонентного изображения, запечатлевший другую сцену в тот же момент времени, что и кадр 122-21 компонентного изображения, перекрывающиеся в зоне 122’. В процессе совмещения кадр 122-11 компонентного изображения и кадр 122-21 компонентного изображения соединяются вместе в зоне перекрытия 122’ для генерации кадра 220-1 панорамного изображения панорамного видеосигнала 220. Затем подобным образом генерируются другие кадры 220-2...220-n панорамного изображения панорамного видеосигнала 220.
В некоторых вариантах осуществления компонентный видеосигнал 122-1 и компонентный видеосигнал 122-2 могут подвергаться одному или более этапам предварительной обработки данных. Для примера, настройки экспонирования камеры, используемой для записи компонентного видеосигнала 122-1, могут незначительно отличаться от настроек видеокамеры, используемой для записи компонентного видеосигнала 122-2. В таком случае, было бы желательно скорректировать изображения, запечатленные в соответствующих видеосигналах относительно друг друга так, чтобы объединенные вместе кадры изображения были без заметных для глаза переходов. Соответственно, в этих вариантах осуществления модуль совмещения 200 настроен так, чтобы в рабочем состоянии корректировать цветовую информацию кадров компонентного изображения компонентных видеосигналов, которые подлежат совмещению вместе. В качестве альтернативы или дополнения модуль совмещения 200 также настроен так, чтобы в рабочем состоянии калибровать уровни яркости кадров компонентного изображения видеосигналов так, чтобы их совместить вместе. Коррекция цветовой информации и калибровка уровней яркости до совмещения кадров изображения вместе кроме того гарантирует, что цвета и уровни яркости на одной стороне панорамного кадра изображения будут эквивалентны цветам и уровням на другой стороне кадра панорамного изображения так, чтобы линия, в которой кадры изображения соединяются, была настолько незаметна насколько возможно.
Следует отметить, что несмотря на то, что на фиг. 3 изображены только два компонентных видеосигнала 122-1 и 122-2, любое количество соответствующих подготовленных компонентных видеосигналов 122-1... 122-n могут быть совмещены вместе для генерации панорамного видеосигнала 220. Следует отметить также, что более чем один панорамный видеосигнал может быть сгенерирован таким же способом.
Снова обратимся к фиг. 2, как только будет сгенерирован панорамный видеосигнал 220, он поступит в модуль выбора 300. Модуль выбора 300 предназначен для манипулирования видеосигналами, полученными им в соответствии с предопределенными правилами и условиями, которые связанны с событием. Для примера, кадры 220-1... 220-n панорамного изображения могут содержать сцены футбольного матча, и предопределенные правила и условия могут быть необходимы для имитирования эффекта отслеживания перемещения футбольного мяча, изображенного в кадрах 220-1... 220-n панорамного изображения для определенного периода времени.
На фиг. 4 изображены кадры 220-1... 220n панорамного изображения, отображающие сцену, на которой присутствует футбольный мяч, который меняет свое местоположение от кадра к кадру. Модуль выбора 300 может использоваться для анализа кадров 220-1... 220-n панорамного изображения с использованием любых подходящих способов отслеживания и анализа изображения для идентификации футбольного мяча как объекта движения и определяет его местоположение в пределах каждого кадра изображения. Основываясь на этом местоположении, модуль выбора 300 таким образом способен определить траекторию футбольного мяча. Таким образом, устанавливая одно из предопределенных условий в отношении того, как выбирать фрагмент кадра изображения, содержащего футбольный мяч, модуль выбора 300 способен имитировать эффект отслеживания футбольного мяча посредством выбора фрагмента, который содержит футбольный мяч, расположенный в определенной относительной позиции в каждом фрагменте. В общем, основываясь по меньшей мере на одном предопределенном условии, связанном с событием, видеосъемка которого ведется, модуль выбора 300 может использоваться для выбора целого кадра или его фрагмента из любого количества кадров изображения любого количества видеосигналов, которые он получает для генерации соответствующего количества выходных кадров изображения. Как показано на фиг. 4, модуль выбора 300 в некоторых вариантах осуществления предназначен для идентификации футбольного мяча в кадре 220-1 панорамного изображения, выбора фрагмента 222-1 для вставки футбольного мяча и для извлечения фрагмента 222-1 для генерации отдельного выходного кадра 320-1 изображения. Аналогично, такой же алгоритм может быть применен к другим кадрам панорамного изображения для генерации выходных кадров 320-2... 320-n изображения для формирования выходного видеосигнала 320.
Несмотря на то, что на фиг. 4 показан только один объект изображения, следует иметь в виду, что предопределенные правила и условия не ограничены отслеживанием одного движущегося объекта изображения, и модуль выбора 300 может использоваться для отслеживания более одного объекта изображения. Следует также иметь в виду, что модуль выбора 300 может использоваться для отслеживания любого количества объектов изображения или зон интереса. В дополнении, модуль выбора 300 в некоторых вариантах осуществления может также использоваться для определения местоположений объектов изображения в кадрах панорамного изображения и для идентификации того, как эти объекты изображения распределены по кадру панорамного изображения. Таким образом, для событий, где объекты изображения имеют ожидаемое распределение, модуль выбора может использоваться для определения отклонения распределения местоположений объектов изображения от ожидаемого распределения. Кроме того, одним из предопределенных условий может быть установлен выбор фрагмента, где отклонение находится в минимуме. Для примера, модуль выбора 300 может быть предназначен для идентификации движения зрителей на футбольном стадионе как движущихся объектов и идентификации такого распределения движения зрителей, которое соответствует "мексиканской волне", проходящей вокруг стадиона. На таком примере модуль выбора 300 может использоваться для выбора фрагментов кадров панорамного изображения для отслеживания движения "мексиканской волны".
Следует иметь в виду, что в результате выбора фрагмента 221-1... 222-n кадров 220-1... 220-n панорамного изображения для включения в него движущегося объекта, эффект, который будет наблюдаться в выходных кадрах 320-1... 320-n изображения будет эквивалентным видеоизображениям, записанным видеокамерой с использованием панорамирования, которая имеет такое же поле обзора, как выходные кадры 320-1... 320-n изображения. В некоторых вариантах осуществления модуль выбора 300 может быть дополнительно настроен для изменения размера выбранного фрагмента так, чтобы имитировать эффект масштабирования. Для примера, модуль выбора 300 может быть настроен для выбора прогрессивно уменьшающегося фрагмента для создания эффекта приближения камеры или прогрессивно увеличивающихся фрагментов для создания эффекта отдаления камеры.
Возвращаясь к фиг. 2, для облегчения задачи идентификации объектов или зоны интереса в кадрах 220-1... 220-n панорамного изображения, полученных модулем выбора 300, система 10 в некоторых вариантах осуществления дополнительно содержит модуль извлечения 500 и модуль распределения плотности 600.
Модуль извлечения 500 настроен так, чтобы в рабочем состоянии идентифицировать характерные особенности в кадрах изображения сигнала 220 панорамного изображения или в компонентных видеосигналах 122-1... 122-n, которые связанны с задним планом и для извлечения данных 520 изображения, которые отображают эти характерные особенности. Данные 520 изображения заднего плана затем передаются модулю выбора 300 для анализа так, чтобы облегчить модулю выбора 300 распознавание между объектами изображения на переднем плане и характерными особенностями заднего плана.
Модуль 600 распределения плотности настроен так, чтобы в рабочем состоянии или анализировать кадры сигнала 220 панорамного изображения или в компонентных видеосигналах 122-1... 122-n идентифицировать один или более объектов изображения, которые представляют интерес. После того, как объекты изображения идентифицированы, модуль 600 распределения плотности определяет местоположения объектов изображения, генерирует карту распределения плотности 620, и устанавливает индикатор на карте распределения плотности 620 такой, как выделение цветом для указания зоны кадра изображения, где большое количество объектов изображения находятся в непосредственной близости друг к другу. Аналогично, модуль 600 распределения плотности может также устанавливать индикатор на карте распределения плотности 620 для указания зоны кадра изображения, где есть несколько или нет объектов изображения. Выполненная карта распределения плотности 620 затем передается модулю выбора 300 для анализа так, чтобы облегчить модулю выбора 300 распознавание между объектами изображения на переднем плане и элементами заднего плана и облегчить модулю выбора 300 задачу определения того, как объекты изображения распределены по кадрам изображения.
Следует иметь в виду, что модуль извлечения 500 может быть воплощен в объединении с модулем распределения плотности 600. Следует также иметь в виду, что модуль извлечения 500 может быть воплощен, как альтернатива модуля распределения плотности и наоборот.
Как показано на фиг. 2, после того, как выходной видеосигнал 320 сгенерирован, он поступает в производственный модуль 400 для монтажа. Для примера, нежелательно включать всю длину выходного видеосигнала 320 для трансляции. В этом случае, желательно включать только фрагмент или некоторые фрагменты выходного видеосигнала 320. Соответственно, производственный модуль 400 настроен так, чтобы в рабочем состоянии выбирать некоторые или все выходные кадры 320-1... 320-n изображения для генерации видеопродукции 420. В вариантах осуществления, как изображено на фиг. 5, производственный модуль 400 может использоваться для выбора выходных кадров изображения из различных сегментов выходного видеосигнала 320 и объединения сегментов для создания видеопродукции 420. Как показано на фиг. 5, выходной видеосигнал 320 содержит желательные сегменты 322, 324, 326, 328, разделенные нежелательными сегментами. Производственный модуль 400 может использоваться для извлечения выходных кадров изображения этих сегментов и объединения их для создания видеопродукции 420, как показано на фиг. 6А.
В некоторых вариантах осуществления может потребоваться иметь один или более сегментов, повторяющихся моментально или позже. Также может потребоваться повторить сегмент в замедленном действии. Соответственно, в некоторых вариантах осуществления, изображенных на фиг. 6В и на фиг. 6С, производственный модуль может использоваться для генерации видеопродукции с одним или более сегментами 322, повторяемыми как сегмент замедленного действия 322-SloMo, или сегментом 322, повторяемым после одного или более различных сегментов.
В общем, производственный модуль 400 может использоваться для генерации видеопродукции из выходных кадров изображения, которые он получает.
Возвращаясь к фиг. 2, как только видеопродукция 420 сгенерирована, она может быть послана прямо в эфир или может быть отослана для сохранения или дополнительной обработки перед трансляцией.
В некоторых случаях событие, которое должно быть освещено, может иметь вторичные данные, связанные с записанными видеосигналами, при этом для повышения качества визуального восприятия их желательно встроить в видеопродукцию 420. Для примера, может потребоваться встроить отсчет времени и линию подсчета очков футбольного матча в видеопродукцию так, чтобы зритель мог наблюдать сцену со знанием результата матча. Соответственно, как изображено на фиг. 2, модуль захвата 100 в некоторых вариантах осуществления дополнительно настроен так, чтобы в рабочем состоянии получать вторичную информацию 140, связанную с событием. Вторичная информация 140 может, для примера, быть собранной с внешних сенсоров, таймеров, устройств хранения счета или каких-либо других подходящих средств. Модуль захвата 140 затем генерирует метаданные 142, связанные с вторичной информацией 140, и передает метаданные 142 производственному модулю 400. Производственный модуль 400 может использоваться для создания визуального элемента, такого как элемент, который отображает счет и отсчет времени футбольного матча в углу кадра изображения, и для встраивания визуального элемента в видеопродукцию.
В других случаях, также может потребоваться встроить аудиоинформацию в видеопродукцию 420. Соответственно, в некоторых вариантах осуществления системы 10, описанной выше, производственный модуль 400 настроен так, чтобы в рабочем состоянии получать один или более аудиосигналов 160, и может использоваться для встраивания аудиосигналов 160 в видеопродукцию 420.
В некоторых альтернативных вариантах осуществления модуль захвата 100 также предназначен для получения видеосигналов от индивидуальных видеокамер, которые не связанны с панорамным полем обзора, таких как видеосигналы 124, 126, изображенные на фиг. 2. В этих вариантах осуществления эти видеосигналы 124, 126 передаются в модуль выбора 200, минуя модуль совмещения 300. Понятно, что после того, как эти видеосигналы 124, 126 будут получены модулем выбора 300, с ними поступят таким же образом, как описано выше для панорамного видеосигнала 220.
При помощи кадров панорамного видеоизображения, сгенерированных как описано выше, и имитирования эффектов панорамирования и масштабирования в вариантах осуществления настоящее изобретение способно генерировать видеопрезентацию от стационарных камер, которым практически не требуется вмешательство оператора. Использование кадров панорамного видеоизображения описанным здесь способом также обеспечивает видеозаписи с широким полем обзора без необходимости использования дорогих широкоугольных объективов. Способ и система могут быть предварительно сконфигурированы для автоматической работы и в режиме реального времени так, чтобы минимизировать необходимость в ресурсах.
В других различных в вариантах осуществления системы 10 модуль выбора 300 дополнительно предназначен для получения и хранения предопределенных правил и условий, которые используются для генерации видеопродукции. В частности, модуль выбора 300 получает и сохраняет предопределенные условия, которые связанны с событием, которое должно быть записано. Предопределенные условия могут быть реализованы на аппаратном или программном уровне и могут быть загружены в систему 10 в процессе или после ее сборки. После того как видеосигналы получены от модуля совмещения 200 или от модуля захвата 100, модуль выбора 300 выбирает целый кадр изображения или фрагмент из любого подходящего количества кадров изображения полученных видеосигналов основываясь на предопределенных условий. Когда производится выбор, модуль выбора 300 опционно может использоваться для отслеживания движения, цвета, яркости и контрастности любого количества объектов, запечатленных на кадре изображения. Выбранные кадры изображения и/или фрагмент кадров изображения передаются в производственный модуль 400 как выходные кадры изображения выходного видеосигнала 320. Производственный модуль 400 затем использует выходной видеосигнал 320 для генерации видеопродукции 420.
Опционно, видеосигналы от модуля совмещения 200 или модуля захвата 100 передаются в модуль извлечения 500 и в модуль распределения плотности 600, а также в модуль выбора 300.
Модуль извлечения 500 может использоваться для анализа кадров изображения полученных видеосигналов и для идентификации элементов в кадрах изображения, которые связаны с задним планом события, на котором ведется видеосъемка. Данные 520 изображения, представляющие эти элементы заднего плана, извлекаются из полученных видеосигналов и передаются в модуль выбора 300. Модуль выбора 300 анализирует данные 520 изображения наряду с видеосигналами, которые он получает, когда производится выбор. Данные 520 изображения обеспечивают модулю выбора 300 возможность более легко идентифицировать любой объект, который движется относительно заднего плана, таким образом облегчая генерацию видеопродукции 420 в режиме реального времени.
Модуль 600 распределения плотности может использоваться для анализа кадров изображения полученных сигналов и для идентификации одного или более объектов изображения, которые представляют интерес. После того, как объекты изображения идентифицированы, модуль 600 распределения плотности определяет местоположения объектов изображения, генерирует карту распределения плотности 620 и устанавливает индикатор на карте распределения плотности 620 такой, как выделение цветом для указания зоны кадра изображения, где большое количество объектов изображения находятся в непосредственной близости друг к другу. Аналогично, модуль 600 распределения плотности может также устанавливать индикатор на карте распределения плотности 620 для указания зоны кадра изображения, где есть несколько или нет объектов изображения. Выполненная карта распределения плотности 620 затем передается модулю выбора 300 для анализа так, чтобы облегчить модулю выбора 300 распознавание между объектами изображения на переднем плане и элементами заднего плана и облегчить модулю выбора 300 задачу определения того, как объекты изображения распределены по кадрам изображения.
В этих различных вариантах осуществления предопределенные правила и условия в общем относиться к физическим атрибутам и аспектам события, видеосъемка которого ведется. Для примера, когда событием видеосъемки является футбольный матч, закономерно, что такое событие включает в себя две команды по одиннадцать игроков каждая, рефери и мяч. На этом примере модуль выбора 300 может использоваться для идентификации игроков, рефери и футбольного мяча, основываясь на их формах и цветах. Кроме этого, действия футбольного матча обычно происходят в пределах определенного расстояния от футбольного мяча. Соответственно, примером предопределенного условия является выбор фрагмента кадра изображения, который включает в себя футбольный мяч и зону в пределах предопределенного расстояния вокруг футбольного мяча. Действие может также происходить, когда есть определенное количество игроков одной из команд (т.е. объектов, все из которых имеют определенный цвет) в пределах определенного расстояния от футбольного мяча, например, во время контратаки. Соответственно, другим примером предопределенного условия является выбор фрагмента кадра изображения, который содержит определенное количество игроков одной команды в пределах предопределенного расстояния от футбольного мяча, по сравнению с количеством игроков другой команды. Другие примеры предопределенного условия включают, но не ограничиваются, выбор фрагмента кадра изображения, который содержит одного или более конкретных игроков, выбора фрагмента кадра изображения, в пределах которого футбольный мяч находится в том же месте, и выбора фрагмента кадра изображения, который содержит рефери. Более в общем смысле и как будет понятно специалисту в данной области, эти примеры предопределенных условий могут быть адаптированы для других спортивных событий, кроме прочего таких как регби, гольф, теннис, баскетбол, хоккей, крикет, волейбол, американский футбол и бейсбол.
Так же некоторым событиям присуще то, что действие происходит на поле или в зоне с известными размерами и разметкой. Для примера, когда событием видеосъемки, которая ведется, являются гонки, закономерно, что объекты изображения, т.е. участники соревнований, такие как спортсмены, скаковые лошади, гоночные автомобили, гоночные мотоциклы, гоночные велосипеды или любые другие гоночные средства, двигаются и следуют по предопределенной траектории, такой как трасса гоночного трека или круговая траектория. Соответственно, другим примером предопределенного условия является выбор фрагмента кадра изображения, который включает в себя по меньшей мере один объект изображения, в то же время двигающийся по предопределенной траектории. Также может быть так, что наиболее интересная сцена гонок характеризуется нахождением большой части участников соревнований на небольшом участке трассы гоночного трека. Соответственно, другим примером предопределенного условия является выбор фрагмента кадра изображения, который имеет наибольшую плотность объектов изображения. Опционно, модуль выбора 300 может использоваться для распознавания различных объектов изображения, таких как движущиеся транспортные средства, основываясь на их цветах и контрастности; и другим примером предопределенного условия является выбор фрагмента кадра изображения, который включает в себя любой один объект или группу объектов изображения из множества объектов изображения.
В других примерах этих различных вариантов осуществления событие, видеосъемка которого ведется, отличается различными вариантами яркости по всей зоне кадра изображения. На примере таких событий, как спектакль, опера, или любое другое представление сцена в основном отличается областями относительно высокой яркости, такими, как кинопрожектора, направленные в зону театральной сцены. Соответственно, другим примером предопределенного условия является выбор фрагмента кадра изображения, который включает в себя яркие области, соответствующие прожекторному освещению. В этих примерах объектами изображения на кадрах изображения могут быть анатомические особенности актеров/певцов на театральной сцене, и сцена характеризуется движениями лица актеров/певцов, такими как движения губ. Соответственно, модуль выбора 300 может использоваться для идентификации этих движений лица посредством анализа цвета и/или контрастности полученных кадров изображения; и другим примером предопределенного условия является выбор фрагмента кадра изображения, который содержит по меньшей мере одно из идентифицируемых движений лица.
В этих различных вариантах осуществления может быть то, что в данном кадре изображения удовлетворяется более чем одно предопределенное условие. Соответственно, предопределенные условия этих вариантов осуществления опционно располагают в определенном порядке. Если кадры изображения, полученные модулем выбора 300, удовлетворяют более чем одному предопределенному условию, модуль выбора 300 генерирует видеопродукцию 420, основываясь на предопределенном условии с наивысшим приоритетом. Следует также иметь в виду, что вышеописанные предопределенные условия могут быть реализованы в отдельности или вместе в любой подходящей комбинации. Так же следует иметь в виду, что некоторые вышеописанные предопределенные условия являются более подходящими, чем другие условия, зависящие от предполагаемого конечного пользователя видеопродукции 420. Соответственно, эти более подходящие предопределенные условия реализованы для конкретного предполагаемого конечного пользователя. Для примера, когда предполагаемым конечным пользователем видеопродукции 420 является тренер футбольной команды, очень желательно включать кадры изображения, которые содержат всю зону футбольного поля, в видеопродукцию 420, чтобы предоставить тренеру возможность анализировать все аспекты футбольного матча. В этом примере предпочтительным предопределенным условием является выбор фрагмента кадров изображения, которые содержат целую зону футбольного поля. В другом примере, когда предполагаемым конечным пользователем является футбольный агент, заинтересованный в одном конкретном игроке, более желательно включать в видеопродукцию 420 кадры изображения, которые содержат этого конкретного игрока. В этом примере предпочтительным предопределенным условием является выбор фрагмента кадров изображения, которые содержат конкретный объект изображения.
В этих различных вариантах осуществления система 10 настоящего изобретения способна производить видеопродукцию событий, которая содержит эффекты панорамирования и масштабирования, полученные автоматически с минимальным вмешательством человека. В процессе генерации видеопродукции 420, основываясь на вышеописанных предопределенных условиях, система 10 способна определить фрагмент кадра изображения полученного видеосигнала, который должен быть вставлен в видеопродукцию 420 без дополнительного вмешательства человека.
В вышеизложенных вариантах осуществления настоящего изобретения способ и система для генерации видеопродукции были описаны как отвечающие требованиям для событий публичного интереса, таких как футбольные матчи. Специалисту в данной области должно быть понятно, что настоящее изобретение не ограничивается событиями публичного интереса и также подходит для других событий. Следует учитывать, что предназначение видеопродукции не ограничивается трансляцией, она так же может быть предназначена для других целей, включая интернет вещание и закрытый показ.
В вариантах осуществления настоящее изобретение было описано с конкретной ссылкой на иллюстрированные примеры. Однако очевидно, что различные варианты и модификации могут быть сделаны в отношении описанных примеров в пределах объема прилагаемых пунктов формулы изобретения.

Claims (51)

1. Способ генерации видеопродукции события, включающий:
получение множества компонентных видеосигналов события, причем каждый компонентный видеосигнал содержит множество кадров компонентного изображения, при этом каждый кадр компонентного изображения соответствует фрагменту панорамного изображения события;
совмещение соответствующих по времени кадров компонентного изображения каждого компонентного видеосигнала вместе для генерации множества кадров панорамного изображения;
выбор фрагмента каждого кадра панорамного изображения на основании предопределенных правил и условий, связанных с событием, включая по меньшей мере одно из правил и условий, относящихся к физическим атрибутам и аспектам, присущим событию, для генерации множества выходных кадров изображения; и
генерацию видеопродукции из множества выходных кадров изображения.
2. Способ по п. 1, отличающийся тем, что одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, содержащего зону интереса, связанную с событием.
3. Способ по п. 1, отличающийся тем, что этап выбора дополнительно включает идентификацию по меньшей мере одного объекта изображения по меньшей мере в одном кадре панорамного изображения, и при этом одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, содержащего по меньшей мере один объект изображения.
4. Способ по п. 3, отличающийся тем, что для более чем одного идентифицированного объекта изображения по меньшей мере в одном кадре панорамного изображения этап выбора дополнительно включает:
определение местоположений объектов изображения по меньшей мере в одном кадре панорамного изображения;
идентификацию распределения местоположений по меньшей мере по одному кадру панорамного изображения; и
определение отклонения идентифицированного распределения от ожидаемого распределения, связанного с событием;
при этом одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, имеющего минимальное отклонение.
5. Способ по п. 3, отличающийся тем, что дополнительно включает извлечение данных заднего плана по меньшей мере из одного из кадров панорамного изображения, при этом этап идентификации основан по меньшей мере на извлеченных данных заднего плана.
6. Способ по п. 3, отличающийся тем, что дополнительно включает определение карты распределения плотности по меньшей мере одного из кадров панорамного изображения для указания зоны кадра панорамного изображения, где большое число объектов изображения находятся в непосредственной близости друг к другу, при этом этап идентификации основан по меньшей мере на карте распределения плотности.
7. Способ по п. 1, отличающийся тем, что размер выбранного фрагмента изменяется от одного кадра изображения к другому.
8. Способ по п. 1, отличающийся тем, что местоположение выбранного фрагмента по отношению к соответствующему кадру панорамного изображения изменяется от одного кадра панорамного изображения к другому.
9. Способ по п. 1, отличающийся тем, что этап совмещения дополнительно включает коррекцию цветовой информации кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала.
10. Способ по п. 1, отличающийся тем, что этап совмещения дополнительно включает калибровку уровней яркости кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала.
11. Способ по п. 1, отличающийся тем, что дополнительно включает:
генерацию метаданных, связанных с событием;
создание визуального элемента, соответствующего метаданным; и
встраивание визуального элемента в видеопродукцию.
12. Способ по п. 1, отличающийся тем, что дополнительно включает:
получение по меньшей мере одного аудиосигнала;
объединение по меньшей мере одного аудиосигнала с видеопродукцией; и
генерацию аудиовидеопродукции.
13. Система для генерации видеопродукции события, содержащая:
модуль захвата, предназначенный для получения множества компонентных видеосигналов события, причем каждый компонентный видеосигнал содержит множество кадров компонентного изображения, при этом каждый кадр компонентного изображения соответствует фрагменту панорамного изображения события;
модуль совмещения, предназначенный для совмещения соответствующих по времени кадров компонентного изображения каждого компонентного видеосигнала вместе для генерации множества кадров панорамного изображения;
модуль выбора, предназначенный для выбора фрагмента каждого кадра панорамного изображения на основании предопределенных правил и условий, связанных с событием, включая по меньшей мере одно из правил и условий, относящихся к физическим атрибутам и аспектам, присущим событию, для генерации множества выходных кадров изображения;
производственный модуль, предназначенный для генерации видеопродукции из множества выходных кадров изображения.
14. Система по п. 13, отличающаяся тем, что одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, содержащего зону интереса, связанную с событием.
15. Система по п. 13, отличающаяся тем, что модуль выбора предназначен для идентификации по меньшей мере одного объекта изображения по меньшей мере в одном кадре панорамного изображения и при этом одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, содержащего по меньшей мере один объект изображения.
16. Система по п. 15, отличающаяся тем, что для более чем одного идентифицированного объекта изображения по меньшей мере в одном кадре панорамного изображения модуль выбора предназначен для:
определения местоположений объектов изображения по меньшей мере в одном кадре панорамного изображения;
идентификации распределения местоположений в пределах по меньшей мере одного кадра панорамного изображения; и
определения отклонения идентифицированного распределения от ожидаемого распределения;
при этом одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, имеющего минимальное отклонение.
17. Система по п. 15, отличающаяся тем, что дополнительно содержит модуль извлечения, предназначенный для извлечения данных заднего плана по меньшей мере из одного из кадров панорамного изображения, при этом модуль выбора предназначен для анализа данных заднего плана для идентификации по меньшей мере одного объекта изображения.
18. Система по п. 15, отличающаяся тем, что дополнительно содержит модуль распределения плотности, предназначенный для определения карты распределения плотности по меньшей мере одного из кадров панорамного изображения для указания зоны кадра панорамного изображения, где большое число объектов изображения находятся в непосредственной близости друг к другу, при этом модуль выбора предназначен для анализа карты распределения плотности для идентификации по меньшей мере одного объекта.
19. Система по п. 13, отличающаяся тем, что размер выбранного фрагмента изменяется от одного кадра панорамного изображения к другому.
20. Система по п. 13, отличающаяся тем, что местоположение выбранного фрагмента по отношению к соответствующему кадру панорамного изображения изменяется от одного кадра панорамного изображения к другому.
21. Система по п. 13, отличающаяся тем, что модуль совмещения предназначен для коррекции цветовой информации кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала.
22. Система по п. 13, отличающаяся тем, что модуль совмещения предназначен для калибровки уровней яркости кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала.
23. Система по п. 13, отличающаяся тем, что:
модуль захвата предназначен для генерации метаданных, связанных с событием; и
производственный модуль предназначен для создания визуального элемента на основании метаданных и для встраивания визуального элемента в видеопродукцию.
24. Система по п. 13, отличающаяся тем, что производственный модуль предназначен для:
получения по меньшей мере одного аудиосигнала;
объединения по меньшей мере одного аудиосигнала с видеопродукцией; и
генерации аудиовидеопродукции.
RU2016110470A 2013-08-29 2014-07-22 Способ и система для производства видеопродукции RU2666137C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1315416.6 2013-08-29
GB1315416.6A GB2517730A (en) 2013-08-29 2013-08-29 A method and system for producing a video production
PCT/EP2014/065715 WO2015028203A1 (en) 2013-08-29 2014-07-22 A method and system for producing a video production

Publications (2)

Publication Number Publication Date
RU2016110470A RU2016110470A (ru) 2017-10-02
RU2666137C2 true RU2666137C2 (ru) 2018-09-06

Family

ID=49397019

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016110470A RU2666137C2 (ru) 2013-08-29 2014-07-22 Способ и система для производства видеопродукции

Country Status (19)

Country Link
US (1) US10666861B2 (ru)
EP (1) EP3039854B1 (ru)
JP (1) JP6580045B2 (ru)
KR (1) KR102189139B1 (ru)
CN (1) CN105765959B (ru)
AU (1) AU2014314567B2 (ru)
BR (1) BR112016003927B1 (ru)
CA (1) CA2921264C (ru)
DK (1) DK3039854T3 (ru)
ES (1) ES2805800T3 (ru)
GB (1) GB2517730A (ru)
HR (1) HRP20201098T1 (ru)
HU (1) HUE050838T2 (ru)
MX (1) MX366918B (ru)
PL (1) PL3039854T3 (ru)
PT (1) PT3039854T (ru)
RU (1) RU2666137C2 (ru)
SI (1) SI3039854T1 (ru)
WO (1) WO2015028203A1 (ru)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6904954B2 (ja) * 2015-12-04 2021-07-21 スリング メディア, エルエルシー.Sling Media, Llc. ネットワークベースのイベント記録
KR102609477B1 (ko) 2017-02-06 2023-12-04 삼성전자주식회사 파노라마 이미지 또는 동영상을 생성하는 전자 장치 및 그 방법
JP6965975B2 (ja) * 2017-03-10 2021-11-10 株式会社Ｊｖｃケンウッド 映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラム
JP6766707B2 (ja) * 2017-03-10 2020-10-14 株式会社Ｊｖｃケンウッド 映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラム
CN107835434B (zh) * 2017-06-09 2021-09-14 越野一族（北京）传媒科技有限公司 赛事宽视角直播设备和相关联的直播系统和方法
CN107333031B (zh) * 2017-07-27 2020-09-01 李静雯 一种适用于校园足球比赛的多路视频自动编辑方法
US20190191110A1 (en) * 2017-12-18 2019-06-20 Facebook, Inc. Apparatuses, systems, and methods for an enhanced field-of-view imaging system
US10523976B2 (en) 2018-01-09 2019-12-31 Facebook, Inc. Wearable cameras
CN110033502B (zh) * 2018-01-10 2020-11-13 Oppo广东移动通信有限公司 视频制作方法、装置、存储介质及电子设备
EP3741101A1 (en) 2018-01-19 2020-11-25 Veo Technologies Aps A computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest
CN110300288A (zh) * 2019-07-29 2019-10-01 富咖科技(大连)有限公司 一种用于摸摸动物园游玩的视频自动采集与合成方法
CN114641983A (zh) * 2019-12-09 2022-06-17 核心光电有限公司 用于获得智能全景图像的系统及方法
EP4430829A1 (en) * 2021-11-08 2024-09-18 Orb Reality LLC Systems and methods for providing rapid content switching in media assets featuring multiple content streams that are delivered over computer networks
CN114339067A (zh) * 2021-11-15 2022-04-12 华能国际电力股份有限公司上海石洞口第二电厂 基于5g环境下的多通道图像及视频流同步与分布式处理方法及系统
KR20230131601A (ko) * 2022-03-07 2023-09-14 한화비전 주식회사 파노라마 감시 영상의 생성

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020090217A1 (en) * 2000-06-30 2002-07-11 Daniel Limor Sporting events broadcasting system
EP1289282A1 (fr) * 2001-08-29 2003-03-05 Dartfish SA Procédé et système de production automatique de séquences vidéo
EP1480450A2 (en) * 2003-05-20 2004-11-24 British Broadcasting Corporation Automated video production
US20080143842A1 (en) * 2006-12-06 2008-06-19 Sony United Kingdom Limited Camera arrangement and method
US20080282287A1 (en) * 2007-05-08 2008-11-13 Ming-Jun Chen Method for processing a sports video and apparatus thereof
US20110317982A1 (en) * 2009-02-27 2011-12-29 Li-Qun Xu Video segmentation
US20120057852A1 (en) * 2009-05-07 2012-03-08 Christophe Devleeschouwer Systems and methods for the autonomous production of videos from multi-sensored data
RU2454024C2 (ru) * 2008-02-14 2012-06-20 Сони Корпорейшн Система широковещания, устройство передачи и способ передачи, устройство приема и способ приема и программа
US20130070047A1 (en) * 2011-09-16 2013-03-21 Jay J. DiGIOVANNI Low Scale Production System and Method

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6526161B1 (en) * 1999-08-30 2003-02-25 Koninklijke Philips Electronics N.V. System and method for biometrics-based facial feature extraction
CA2388095A1 (en) 1999-10-22 2001-05-03 Activesky, Inc. An object oriented video system
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
EP1757087A4 (en) * 2004-04-16 2009-08-19 James A Aman AUTOMATIC VIDEO RECORDING OF EVENTS, PURSUIT AND CONTENT PRODUCTION SYSTEM
JP2005333552A (ja) * 2004-05-21 2005-12-02 Viewplus Inc パノラマ映像配信システム
JP4649640B2 (ja) * 2004-11-18 2011-03-16 学校法人慶應義塾 画像処理方法、画像処理装置、及びコンテンツ作成システム
WO2006110584A2 (en) * 2005-04-07 2006-10-19 Axis Engineering Technologies, Inc. Stereoscopic wide field of view imaging system
JP4464902B2 (ja) * 2005-11-09 2010-05-19 日本放送協会 カメラ制御装置およびカメラ制御プログラム
US20090257680A1 (en) * 2006-06-30 2009-10-15 Nxp B.V. Method and Device for Video Stitching
EP2123038A2 (en) * 2006-12-04 2009-11-25 Lynx System Developers, Inc. Autonomous systems and methods for still and moving picture production
GB2444533B (en) * 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
JP2008244922A (ja) * 2007-03-28 2008-10-09 Mitsubishi Electric Corp 映像生成方法及び映像生成装置
GB2452510A (en) * 2007-09-05 2009-03-11 Sony Corp System For Communicating A Three Dimensional Representation Of A Sporting Event
GB2452512B (en) * 2007-09-05 2012-02-29 Sony Corp Apparatus and method of object tracking
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
JP2009071478A (ja) * 2007-09-12 2009-04-02 Sharp Corp 情報通信端末および情報通信システム
US8791984B2 (en) * 2007-11-16 2014-07-29 Scallop Imaging, Llc Digital security camera
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
JP4715909B2 (ja) * 2008-12-04 2011-07-06 ソニー株式会社 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
JP2010232814A (ja) * 2009-03-26 2010-10-14 Nikon Corp 映像編集プログラムおよび映像編集装置
US9215358B2 (en) * 2009-06-29 2015-12-15 Robert Bosch Gmbh Omni-directional intelligent autotour and situational aware dome surveillance camera system and method
WO2011069021A2 (en) * 2009-12-02 2011-06-09 Qualcomm Incorporated Improving performance of image recognition algorithms by pruning features, image scaling, and spatially constrained feature matching
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和系统
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
US8548269B2 (en) * 2010-12-17 2013-10-01 Microsoft Corporation Seamless left/right views for 360-degree stereoscopic video

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020090217A1 (en) * 2000-06-30 2002-07-11 Daniel Limor Sporting events broadcasting system
EP1289282A1 (fr) * 2001-08-29 2003-03-05 Dartfish SA Procédé et système de production automatique de séquences vidéo
EP1480450A2 (en) * 2003-05-20 2004-11-24 British Broadcasting Corporation Automated video production
US20080143842A1 (en) * 2006-12-06 2008-06-19 Sony United Kingdom Limited Camera arrangement and method
US20080282287A1 (en) * 2007-05-08 2008-11-13 Ming-Jun Chen Method for processing a sports video and apparatus thereof
RU2454024C2 (ru) * 2008-02-14 2012-06-20 Сони Корпорейшн Система широковещания, устройство передачи и способ передачи, устройство приема и способ приема и программа
US20110317982A1 (en) * 2009-02-27 2011-12-29 Li-Qun Xu Video segmentation
US20120057852A1 (en) * 2009-05-07 2012-03-08 Christophe Devleeschouwer Systems and methods for the autonomous production of videos from multi-sensored data
US20130070047A1 (en) * 2011-09-16 2013-03-21 Jay J. DiGIOVANNI Low Scale Production System and Method

Also Published As

Publication number Publication date
HUE050838T2 (hu) 2021-01-28
BR112016003927B1 (pt) 2023-04-11
PT3039854T (pt) 2020-07-20
CA2921264C (en) 2023-10-03
EP3039854A1 (en) 2016-07-06
HRP20201098T1 (hr) 2021-02-05
MX2016002606A (es) 2016-09-08
KR102189139B1 (ko) 2020-12-10
EP3039854B1 (en) 2020-04-15
AU2014314567B2 (en) 2017-07-27
JP6580045B2 (ja) 2019-09-25
JP2016536897A (ja) 2016-11-24
DK3039854T3 (da) 2020-07-27
CA2921264A1 (en) 2015-03-05
SI3039854T1 (sl) 2020-11-30
US20160212337A1 (en) 2016-07-21
GB201315416D0 (en) 2013-10-16
WO2015028203A1 (en) 2015-03-05
AU2014314567A1 (en) 2016-03-17
BR112016003927A2 (ru) 2017-08-22
GB2517730A (en) 2015-03-04
ES2805800T3 (es) 2021-02-15
CN105765959A (zh) 2016-07-13
PL3039854T3 (pl) 2020-11-30
KR20160048178A (ko) 2016-05-03
CN105765959B (zh) 2020-06-30
RU2016110470A (ru) 2017-10-02
US10666861B2 (en) 2020-05-26
MX366918B (es) 2019-07-30

Similar Documents

Publication Publication Date Title
RU2666137C2 (ru) Способ и система для производства видеопродукции
US9298986B2 (en) Systems and methods for video processing
Thomas et al. Computer vision for sports: Current applications and research topics
US11283983B2 (en) System and method for providing virtual pan-tilt-zoom, PTZ, video functionality to a plurality of users over a data network
US10771760B2 (en) Information processing device, control method of information processing device, and storage medium
ES2845933T3 (es) Método y sistema de producción automática de televisión
JP5667943B2 (ja) コンピュータ実行画像処理方法および仮想再生ユニット
US20150297949A1 (en) Automatic sports broadcasting system
US20070279494A1 (en) Automatic Event Videoing, Tracking And Content Generation
JP2018504814A (ja) 放送において目標を追跡及びタグ付けするためのシステム及び方法
JP2004500756A (ja) ビデオシーケンスと時空正規化との調整および合成
US20070296815A1 (en) Image-Based Movement Tracking
US9154710B2 (en) Automatic camera identification from a multi-camera video stream
Pidaparthy et al. Keep your eye on the puck: Automatic hockey videography
US20060007300A1 (en) Method of obtaining a succession of images in the form of a circling effect
Benítez et al. Video Technology for Refereeing in Other Sports: Tennis and Rugby
WO2019115445A1 (en) Apparatus and method for interpreting image sequences
JP2017111619A (ja) 画像処理装置、画像処理方法及び画像処理プログラム