RU2265285C2 - Method for modifying image of object taken by television camera - Google Patents

Method for modifying image of object taken by television camera Download PDF

Info

Publication number
RU2265285C2
RU2265285C2 RU2002118318/09A RU2002118318A RU2265285C2 RU 2265285 C2 RU2265285 C2 RU 2265285C2 RU 2002118318/09 A RU2002118318/09 A RU 2002118318/09A RU 2002118318 A RU2002118318 A RU 2002118318A RU 2265285 C2 RU2265285 C2 RU 2265285C2
Authority
RU
Russia
Prior art keywords
image
television
radiation
television camera
coordinates
Prior art date
Application number
RU2002118318/09A
Other languages
Russian (ru)
Other versions
RU2002118318A (en
Inventor
Эркки РАНТАЛАЙНЕН (FI)
Эркки РАНТАЛАЙНЕН
Original Assignee
Ой Вирчуал Эдветайзинг Системз Ви-Эй-Эс Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from FI20000192A external-priority patent/FI20000192A0/en
Priority claimed from FI20000857A external-priority patent/FI20000857A0/en
Priority claimed from FI20001848A external-priority patent/FI20001848A0/en
Priority claimed from FI20001887A external-priority patent/FI20001887A0/en
Application filed by Ой Вирчуал Эдветайзинг Системз Ви-Эй-Эс Лтд. filed Critical Ой Вирчуал Эдветайзинг Системз Ви-Эй-Эс Лтд.
Publication of RU2002118318A publication Critical patent/RU2002118318A/en
Application granted granted Critical
Publication of RU2265285C2 publication Critical patent/RU2265285C2/en

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

FIELD: elucidating various sports contests or advertisements by means of television camera.
SUBSTANCE: proposed method for modifying image of object taken by television camera is characterized in that object is marked by means of one or more marking surfaces, marking surfaces seen on image are identified using at least one identification detector, position, shape, and size of object areas seen on television image are determined, and video signal of television image is modified by predetermined method for areas corresponding to indicated visible areas of object.
EFFECT: facilitates procedure.
22 cl, 3 dwg

Description

Настоящее изобретение относится к способу модификации изображения объекта, снимаемого с помощью телевизионной камеры.The present invention relates to a method for modifying an image of an object captured using a television camera.

Способ согласно изобретению предназначен для использования, в частности, на различных спортивных соревнованиях и аналогичных общественных мероприятиях, освещение которых по телевидению с включением соответствующей рекламы составляет значительную часть дохода от всего мероприятия.The method according to the invention is intended for use, in particular, at various sports competitions and similar social events, the coverage of which on television with the inclusion of appropriate advertising forms a significant part of the income from the entire event.

В настоящее время реклама все больше подпадает под национальные или региональные ограничения. Во многих странах запрещена реклама алкогольных напитков или табачных изделий. Отношение к рекламе людей в разных странах неодинаково. Какая-либо реклама может быть очень успешной и эффективной в одних странах и в то же время в другой культурной среде она может вызвать неудовольствие или даже попасть под запрет.Currently, advertising is increasingly subject to national or regional restrictions. Many countries prohibit the promotion of alcoholic beverages or tobacco products. The attitude to advertising people in different countries is not the same. Any advertising can be very successful and effective in some countries and at the same time in another cultural environment, it can cause displeasure or even be banned.

Поэтому реклама становится относительно нейтральной или даже банальной, а телетрансляция некоторых общественных мероприятий на определенные страны вообще оказывается невозможной лишь потому, что по телевидению пришлось бы показать запрещенную рекламу.Therefore, advertising becomes relatively neutral or even banal, and the broadcasting of some public events to certain countries is generally impossible only because it would have been necessary to show prohibited advertising on television.

Еще одной проблемой, особенно при больших международных трансляциях, является то, что реклама становится эффективной и стоит затрат рекламодателей, только если рекламируемые продукты имеют глобальное распространение. Поэтому размещать рекламу продуктов, распространяемых в более узкой рыночной сфере, при таких трансляциях невыгодно.Another problem, especially with large international broadcasts, is that advertising becomes effective and costs advertisers only if the advertised products are globally distributed. Therefore, it is not profitable to advertise products distributed in a narrower market area with such broadcasts.

Другим источником проблем при телевизионных трансляциях является быстрый темп спортивных соревнований, в результате которого, особенно в играх с мячом и т.п., трудно различить на экране игровой предмет, например хоккейную шайбу. Это затрудняет слежение за спортивным событием, что сокращает число телезрителей, а это также имеет определенное экономическое значение для организаторов мероприятия.Another source of problems with television broadcasts is the fast pace of sporting events, as a result of which, especially in ball games and the like, it is difficult to distinguish between a game object, such as a hockey puck. This makes it difficult to follow a sporting event, which reduces the number of viewers, and this also has a certain economic value for the organizers of the event.

Целью настоящего изобретения является преодоление вышеупомянутых проблем. Конкретной целью изобретения является создание способа, посредством которого можно модифицировать телевизионное изображение желаемым образом как в отношении рекламы, так и в отношении показа быстро перемещающихся объектов, например в спортивных играх.The aim of the present invention is to overcome the above problems. A specific objective of the invention is to provide a method by which it is possible to modify a television image in a desired manner, both in terms of advertising and in terms of showing fast moving objects, for example in sports games.

Признаки изобретения изложены в формуле изобретения.The features of the invention are set forth in the claims.

В способе согласно изобретению объект, снимаемый с помощью телевизионной камеры, маркируют с помощью одной (или более) маркировочной поверхности, расположенной в области объекта или в непосредственной близости от него, причем эти поверхности могут быть идентифицированы на основе излучения, отличающегося от другого излучения в снимаемой области. По меньшей мере одна из этих маркировочных поверхностей отличается по излучению от окружающей среды на основе какого-либо иного признака, чем видимый цвет. В предлагаемом способе маркировочную поверхность идентифицируют с использованием по меньшей мере одного идентифицирующего детектора, отдельного от детекторов телевизионной камеры, посредством которого объект снимают по существу в направлении его съемки телевизионной камерой. Определяя зависимость между координатами изображения, получаемого от телевизионной камеры, и координатами изображения, получаемого от идентифицирующего детектора, можно с помощью обнаруженных маркировочных поверхностей определить области, которые будут видны в телевизионном изображении объекта. После этого видеосигнал телевизионного изображения для областей, соответствующих этому объекту, модифицируют заранее заданным образом и передают модифицированный видеосигнал.In the method according to the invention, an object captured using a television camera is marked with one (or more) marking surfaces located in the area of the object or in close proximity to it, and these surfaces can be identified on the basis of radiation different from other radiation in the film area. At least one of these marking surfaces differs in radiation from the environment based on some other characteristic than the visible color. In the proposed method, the marking surface is identified using at least one identifying detector, separate from the detectors of the television camera, by which the object is removed essentially in the direction of its shooting by the television camera. By determining the relationship between the coordinates of the image received from the television camera and the coordinates of the image received from the identifying detector, it is possible to use the detected marking surfaces to determine the areas that will be visible in the television image of the object. After that, the video signal of the television image for the areas corresponding to this object is modified in a predetermined manner and the modified video signal is transmitted.

Таким образом, в способе согласно настоящему изобретению изображение объекта, снятое телевизионной камерой, может быть модифицировано путем обработки изображения так, что желаемая область в телевизионном изображении, например реклама, видимая на изображении, может быть заменена на другую рекламу. Аналогично, если объект, который должен быть модифицирован на телевизионном изображении, является относительно небольшим и движущимся, его различимость на телевизионном изображении можно улучшить, усиливая или изменяя оттенки цвета объекта в телевизионном изображении.Thus, in the method according to the present invention, an image of an object captured by a television camera can be modified by processing the image so that the desired area in the television image, for example, an advertisement visible in the image, can be replaced with another advertisement. Similarly, if the object to be modified in the television image is relatively small and moving, its visibility in the television image can be improved by enhancing or changing the color tones of the object in the television image.

В способе согласно изобретению области, видимые на телевизионном изображении, предпочтительно определяют с помощью мест расположения и форм обнаруженных маркировочных поверхностей, с помощью положений маркировочных поверхностей относительно объекта и с помощью зависимости между координатами телевизионной камеры и координатами идентифицирующего детектора.In the method according to the invention, the areas visible on the television image are preferably determined using the locations and shapes of the detected marking surfaces, using the positions of the marking surfaces relative to the object and using the relationship between the coordinates of the television camera and the coordinates of the identifying detector.

Маркировочная поверхность, используемая в способе согласно изобретению, отражает, пропускает или испускает излучение иначе, чем окружающая среда. Так, маркировочная поверхность на объекте или поблизости от него может состоять из одной или более пленки, поверхности или источника излучения, отражающих, пропускающих или испускающих излучение, которое отличается от фонового по своим свойствам, например по спектру или поляризации, и поэтому может быть легко обнаружено. Излучение маркировочной поверхности отличается от излучения окружающей среды; например, она поглощает излучение заданной длины волны или заданных длин волн в инфракрасной области спектра.The marking surface used in the method according to the invention reflects, transmits or emits radiation differently than the environment. Thus, a marking surface at or near an object can consist of one or more films, surfaces or radiation sources that reflect, transmit or emit radiation that differs from the background in its properties, for example, in spectrum or polarization, and therefore can be easily detected . The radiation of the marking surface is different from the radiation of the environment; for example, it absorbs radiation of a given wavelength or given wavelengths in the infrared region of the spectrum.

Если изображение сфокусировано на идентифицирующем детекторе тем же объективом, который используется в телевизионной камере, то зависимость между координатами изображений, получаемых от идентифицирующего детектора и телевизионной камеры, останется постоянной при повороте камеры, изменении съемочного расстояния или изменении масштаба изображения. Таким образом, существует жесткая зависимость между системой координат изображения, формируемого идентифицирующим детектором, и системой координат телевизионного изображения, так что координаты изображения, формируемого идентифицирующим детектором, преобразуются в координаты телевизионного изображения посредством простой функции преобразования. С другой стороны, если идентифицирующий детектор имеет иной объектив, чем объектив телевизионной камеры, то связь между системами координат детекторов зависит от свойств этих объективов, их расположения друг относительно друга, их наведения и масштаба изображения.If the image is focused on the identifying detector with the same lens used in the television camera, the relationship between the coordinates of the images received from the identifying detector and the television camera will remain constant when the camera is rotated, the shooting distance is changed or the image scale is changed. Thus, there is a strict relationship between the coordinate system of the image generated by the identifying detector and the coordinate system of the television image, so that the coordinates of the image formed by the identifying detector are converted to the coordinates of the television image by a simple conversion function. On the other hand, if the identifying detector has a different lens than the lens of a television camera, then the relationship between the coordinate systems of the detectors depends on the properties of these lenses, their location relative to each other, their guidance and image scale.

Если линзы объективов почти одинаковы и расположены рядом друг с другом, если они перемещаются совместно и меняют масштаб изображения одинаковым образом, то зависимость между системами координат детекторов будет меняться незначительно и приблизительное значение координат телевизионного изображения может быть получено с использованием координат детектора. Приближенное значение можно определить и в том случае, если объективы различны или если они не перемещаются или не меняют увеличения одинаковым образом, при условии, что положение и увеличение объективов и воздействие этих параметров на координатные системы известно.If the lenses of the lenses are almost identical and are located next to each other, if they move together and change the image scale in the same way, then the dependence between the coordinate systems of the detectors will change slightly and the approximate coordinates of the television image can be obtained using the coordinates of the detector. An approximate value can also be determined if the lenses are different or if they do not move or change their magnification in the same way, provided that the position and magnification of the lenses and the effect of these parameters on the coordinate systems are known.

Как только положения маркировочных поверхностей и объекта в телевизионном изображении приближенно определены, их можно уточнить следующим образом.Once the positions of the marking surfaces and the object in the television image are approximately determined, they can be clarified as follows.

Если на снимаемом объекте или поблизости от него находится один или большее количество реперных объектов, расположенных в известных положениях относительно снимаемого объекта и маркировочных поверхностей и поддающихся идентификации на телевизионном изображении на основе яркости, контраста, цвета или формы, то его (их) положение в телевизионном изображении можно определить с помощью программной функции локализации (функции определения местоположения). Перед определением местоположения реперного объекта его изображение может быть модифицировано для обеспечения приблизительного соответствия координатам телевизионного изображения. Функция локализации осуществляется только вблизи приближенно определенного положения.If one or more reference objects located in known positions relative to the recorded object and marking surfaces and amenable to identification on a television image based on brightness, contrast, color or shape are located on or near a shooting object, then its (their) position in the television image can be determined using the localization software function (location function). Before determining the location of the reference object, its image can be modified to provide approximate correspondence to the coordinates of the television image. The localization function is carried out only near an approximately certain position.

Если изображение и окружение объекта меняются так, что невозможно использовать заранее заданный реперный объект, то образцовое изображение может быть взято из изображения, полученного от идентифицирующего детектора или детектора, связанного с ним, с использованием того же самого объектива, из области объекта или прилегающей к нему области или маркировочной поверхности. Образцовое изображение модифицируют так, чтобы оно приблизительно соответствовало координатам телевизионного изображения, а функцию локализации применяют к телевизионному изображению только около приближенно определенного положения.If the image and the environment of the object change so that it is impossible to use a predetermined reference object, then the sample image can be taken from the image obtained from the identifying detector or the detector associated with it, using the same lens, from the area of the object or adjacent to it area or marking surface. The sample image is modified so that it approximately corresponds to the coordinates of the television image, and the localization function is applied to the television image only about an approximately certain position.

Как только положения маркировочных поверхностей в телевизионном изображении установлены, местоположение и другие параметры объекта можно определить на основе взаимного положения маркировочных поверхностей и объекта.Once the positions of the marking surfaces in the television image are set, the location and other parameters of the object can be determined based on the relative position of the marking surfaces and the object.

В способе согласно изобретению в зависимости от идентифицируемых объектов и их природы, то есть испускаемого ими излучения, можно использовать один или большее количество расщепителей луча, посредством которых желаемое излучение направляют в один или большее количество идентифицирующих детекторов. Таким образом, компоненты лучей с различными параметрами могут быть направлены расщепителями луча в различные детекторы. В дополнение к расщепителям луча, или частично вместо них, можно также использовать соответствующие фильтры.In the method according to the invention, depending on the identifiable objects and their nature, that is, the radiation emitted by them, one or more beam splitters can be used, through which the desired radiation is sent to one or more identification detectors. Thus, ray components with different parameters can be directed by beam splitters to various detectors. In addition to, or partially in place of, beam splitters, appropriate filters can also be used.

В способе согласно изобретению границы объекта и его видимые области в телевизионном изображении можно определить, как описано выше, с использованием, когда это необходимо, следующей информации:In the method according to the invention, the boundaries of the object and its visible areas in the television image can be determined, as described above, using, when necessary, the following information:

- форма объекта,- the shape of the object,

- зависимость между координатами маркеров и координатами объекта,- the relationship between the coordinates of the markers and the coordinates of the object,

- свойства излучения, испускаемого объектом и/или маркерами,- the properties of the radiation emitted by the object and / or markers,

- свойства и относительное положение реперных объектов относительно объекта, который может быть идентифицирован в телевизионном изображении,- properties and relative position of reference objects relative to an object that can be identified in a television image,

- зрительные преграды, идентифицированные на основе излучения, испускаемого объектом,- visual obstruction, identified on the basis of radiation emitted by the object,

- координаты излучения, испускаемого объектом или маркерами, на изображении, сформированном идентифицирующим детектором,- coordinates of the radiation emitted by the object or markers on the image formed by the identifying detector,

- положение и увеличение объектива телевизионной камеры и объектива идентифицирующего детектора,- the position and magnification of the lens of the television camera and the lens of the identifying detector,

- зависимость между координатами телевизионного изображения и координатами изображения, формируемого идентифицирующим детектором,- the relationship between the coordinates of the television image and the coordinates of the image generated by the identifying detector,

- точное или приближенное положение объекта или маркеров в телевизионном изображении и- the exact or approximate position of the object or markers in the television image and

- положение реперных объектов в телевизионном изображении.- the position of the reference objects in the television image.

В способе согласно изобретению можно снабдить рекламу кодом, указывающим, что представляет собой эта реклама или рекламное место. Код может быть любым видимым кодом или он может состоять из поверхности или поверхностей, отличающихся от окружающей среды по параметрам излучения; эту поверхность или поверхности обнаруживают и интерпретируют с помощью системы опознавания. Например, код может задавать изображение, которое нужно использовать для замены рекламы, которая снабжена этим кодом.In the method according to the invention, it is possible to provide an advertisement with a code indicating what this advertisement or ad slot is. The code can be any visible code or it can consist of a surface or surfaces that differ from the environment in terms of radiation parameters; this surface or surfaces are detected and interpreted using an identification system. For example, a code may specify an image to be used to replace an advertisement that is provided with this code.

Всю область рекламы или ее часть можно, кроме того, обработать так, что излучение, испускаемое ею, будет отличаться от другого излучения, так что это может быть обнаружено устройством обнаружения. На основе этого система способна определить, какая часть объекта является видимой, а какая его часть закрыта зрительной преградой. Тогда усиление или изменение изображения выполняют только для той части объекта, которая видна. Таким образом, если видна только часть рекламы, то система вставит в это место соответствующую часть замещающего изображения.The entire advertising area or part thereof can also be processed so that the radiation emitted by it differs from other radiation, so that it can be detected by the detection device. Based on this, the system is able to determine which part of the object is visible and which part is covered by a visual barrier. Then the amplification or change of the image is performed only for that part of the object that is visible. Thus, if only a part of the advertisement is visible, the system will insert the corresponding part of the replacement image into this place.

Способ согласно изобретению имеет значительные преимущества по сравнению с известными способами. Если место для объекта, например рекламы, заполняется в телевизионном изображении другим изображением, то одно и то же рекламное пространство может быть поделено по времени или по целевым регионам между различными рекламами или рекламодателями. Замещающее изображение может быть неподвижным или подвижным изображением и оно может быть получено из запоминающего устройства, имеющегося в системе или от другой камеры.The method according to the invention has significant advantages compared with known methods. If a place for an object, such as an advertisement, is filled in a television image with another image, then the same advertising space can be divided by time or by target region between different advertisements or advertisers. The replacement image may be a still or a moving image and it may be obtained from a storage device in the system or from another camera.

Изображение можно изменять в зависимости от событий в телевизионной программе или согласно заданному расписанию. Например, в гонках "Формулы-1", пока гоночные машины круг за кругом движутся по одной и той же трассе, реклама табачных или алкогольных изделий, расположенная вдоль трассы, при трансляции на некоторые страны может заменяться в телевизионном изображении на другие рекламные объявления. Аналогично, в том же самом рекламном пространстве на различных кругах можно показывать различные рекламные объявления.The image can be changed depending on the events in the television program or according to the specified schedule. For example, in Formula 1 racing, as long as race cars move round and round on the same track, tobacco or alcohol products located along the track may be replaced by other advertisements in a television image when broadcast to some countries. Similarly, in the same advertising space, different advertisements can be displayed on different circles.

Аналогично, например, в хоккее с шайбой, в особенности, когда время экспозиции, используемое в идентифицирующем детекторе, значительно короче, чем время экспозиции, используемое в телевизионной камере, размытое изображение быстро перемещающейся шайбы, которое обычно создается телевизионной камерой, может быть заменено на лучше сфокусированное и более четкое изображение шайбы, которое, кроме того, можно показать с усиленным цветом или интенсивностью цвета или как мигающий объект, чтобы за ним было легче следить.Similarly, for example, in ice hockey, especially when the exposure time used in the identifying detector is much shorter than the exposure time used in the television camera, the blurry image of the rapidly moving puck that is usually created by the television camera can be replaced with a better focused and sharper image of the puck, which, in addition, can be displayed with enhanced color or color intensity or as a blinking object, so that it is easier to follow.

Ниже изобретение будет описано подробно со ссылками на сопровождающие чертежи, где:Below the invention will be described in detail with reference to the accompanying drawings, where:

на фиг.1 представлена схема, иллюстрирующая способ согласно настоящему изобретению,1 is a diagram illustrating a method according to the present invention,

на фиг.2 показана схема, иллюстрирующая другой вариант реализации способа, иfigure 2 shows a diagram illustrating another embodiment of the method, and

на фиг.3 показаны некоторые варианты конструкции объекта, снимаемого согласно предложенному способу.figure 3 shows some options for the construction of an object that is removed according to the proposed method.

На фиг.1 снимаемый объект 1 представляет собой неподвижную рекламу прямоугольной формы с лампой 2 инфракрасного света, помещенной позади рекламы так, чтобы излучение проходило через нее по всей площади рекламы. Окружающее освещение не содержит никакой значительной компоненты инфракрасного света. По углам рекламы расположены синие лампы 3, испускающие свет в направлении телевизионной камеры 4.In Fig. 1, the removable object 1 is a stationary advertisement of a rectangular shape with an infrared light lamp 2 placed behind the advertisement so that radiation passes through it over the entire advertising area. Ambient lighting does not contain any significant infrared light component. At the corners of the advertisement are located blue lamps 3 that emit light in the direction of the television camera 4.

Вспомогательная камера 5 снабжена идентифицирующим детектором 6, который идентифицирует инфракрасный свет на коротком расстоянии. Вспомогательная камера фиксировано нацелена на рекламу 1. Кроме того, вспомогательная камера 5 и телевизионная камера 4 используют одновременную экспозицию при съемке своих изображений.The auxiliary camera 5 is equipped with an identifying detector 6, which identifies infrared light at a short distance. The sub camera is fixedly aimed at advertisement 1. In addition, the sub camera 5 and the television camera 4 use simultaneous exposure when shooting their images.

Сигнал 7, полученный из телевизионной камеры 4, делится так, что он поступает в элемент 8 задержки и в компьютер 9. В компьютер 9 также поступает сигнал 10, идущий из вспомогательной камеры 5.The signal 7 received from the television camera 4 is divided so that it enters the delay element 8 and into the computer 9. The signal 10 coming from the auxiliary camera 5 also enters the computer 9.

Компьютерная система 9 сравнивает значения излучения, получаемые от пикселов вспомогательной камеры 5, с некоторым заданным уровнем, например с заранее заданным эталонным пределом, и генерирует масочное изображение, указывающее, какая часть области, занятой рекламой 1, не видна камере. Другими словами, масочное изображение определяет область, где имеется зрительная преграда между рекламой 1 и камерой, например идущий или стоящий человек 11.The computer system 9 compares the radiation values obtained from the pixels of the auxiliary camera 5 with a predetermined level, for example, with a predetermined reference limit, and generates a mask image indicating which part of the area occupied by advertisement 1 is not visible to the camera. In other words, the masked image defines the area where there is a visual barrier between the advertisement 1 and the camera, for example, a walking or standing person 11.

Компьютерная система идентифицирует положение и масштаб изображения (увеличение) телевизионной камеры и на основе этой информации способна установить приблизительное положение рекламы 1 в телевизионном изображении. Точное положение угловых точек рекламы устанавливают, определяя положение синих ламп 3 на основе значений яркости различных цветовых компонент пикселов. Как только положение угловых точек рекламы 1 установлено, область рекламы в телевизионном изображении становится известной. Кроме того, на основе масочного изображения, сформированного вспомогательной камерой 5, становятся известны области изображения, которые скрыты зрительной преградой 11.The computer system identifies the position and scale of the image (magnification) of the television camera and, based on this information, is able to establish the approximate position of advertisement 1 in the television image. The exact position of the corner points of the advertisement is determined by determining the position of the blue lamps 3 based on the brightness values of the different color components of the pixels. Once the position of the corner points of the advertisement 1 is established, the advertising region in the television image becomes known. In addition, based on the mask image formed by the auxiliary camera 5, image areas that are hidden by the visual barrier 11 become known.

В памяти компьютера 9 может содержаться изображение, которое нужно использовать для замещения некоторой области в рекламе. Замещающее изображение модифицируют так, чтобы оно вписалось в область изображения рекламы. В то же самое время учитывается положение зрительных преград. Другая возможность состоит в том, что замещающее изображение поступает в компьютер из внешнего источника, например из телевизионной камеры, расположенной в соответствующем месте и снимающей замещающую рекламу.The memory of computer 9 may contain an image that must be used to replace some area in advertising. The replacement image is modified so that it fits into the image area of the advertisement. At the same time, the position of the visual obstruction is taken into account. Another possibility is that the replacement image enters the computer from an external source, for example, from a television camera located in an appropriate place and removes the replacement advertisement.

В течение времени, затрачиваемого компьютерной системой на обработку изображения, поступающего из вспомогательной камеры 5 и телевизионной камеры 4, копия изображения, снятого телевизионной камерой, хранится в элементе 8 задержки. Модифицированное замещающее изображение и телевизионное изображение от камеры, хранимое в элементе задержки, вводят в блок 12 объединения, где замещающее изображение добавляется к исходному изображению, заменяя видимые области рекламы. После этого модифицированное телевизионное изображение пропускается для трансляции 13.During the time taken by the computer system to process the image coming from the auxiliary camera 5 and the television camera 4, a copy of the image captured by the television camera is stored in the delay element 8. The modified replacement image and the television image from the camera stored in the delay element are input to the combining unit 12, where the replacement image is added to the original image, replacing the visible advertising areas. After that, the modified television image is skipped for broadcast 13.

На фиг.2 показан другой вариант выполнения настоящего изобретения, в котором изображение фокусируется одним объективом 14 как на детекторе 15 телевизионной камеры, так и на идентифицирующем детекторе 16. В этом случае излучение 17, прошедшее через объектив 14, разделяется в расщепителе 18 луча для подачи его в детектор 15 телевизионной камеры и в идентифицирующий детектор 15. Перед идентифицирующим детектором можно дополнительно установить фильтр 19, пропускающий в идентифицирующий детектор только излучение заданного типа. В этом случае зависимость между координатами изображения, формируемого идентифицирующим детектором, и координатами изображения, получаемого от телевизионной камеры, постоянна, что позволяет преобразовывать координаты идентифицирующего детектора в координаты телевизионного изображения с помощью простой функции преобразования.Figure 2 shows another embodiment of the present invention, in which the image is focused by one lens 14 both on the detector 15 of the television camera and on the identification detector 16. In this case, the radiation 17 transmitted through the lens 14 is separated in the beam splitter 18 for supply it to the detector 15 of the television camera and to the identifying detector 15. In front of the identifying detector, you can optionally install a filter 19, passing only the radiation of a given type into the identifying detector. In this case, the relationship between the coordinates of the image generated by the identifying detector and the coordinates of the image received from the television camera is constant, which allows you to convert the coordinates of the identifying detector to the coordinates of the television image using a simple conversion function.

На фиг.3 поясняются различные способы, с помощью которых можно маркировать область рекламы, которая должна быть снята камерой и модифицирована. Показана прямоугольная реклама, у которой все углы отмечены реперными объектами 20, например кругами заданного цвета, посредством которых положение объекта в телевизионном изображении может быть определено с высокой точностью.Figure 3 explains various methods by which you can mark the area of advertising, which must be filmed by the camera and modified. A rectangular advertisement is shown in which all angles are marked with reference objects 20, for example circles of a given color, by which the position of an object in a television image can be determined with high accuracy.

Вся поверхность рекламы может быть окружена рамкой 21, то есть маркировочной поверхностью, отличающейся по излучению от окружающей ее среды на основе иного признака, нежели видимый цвет. Аналогично, рамка может содержать отдельный код 22, который можно использовать для опознавания данного рекламного щита. Кроме того, рамка или другие части поверхности рекламы могут иметь локализационные коды 23, которые обеспечивают более точное указание определенной позиции в данном объекте. Дополнительная возможность состоит в том, чтобы покрыть всю поверхность 24 рекламы пленкой, которая прозрачна для видимого света, но излучение от поверхности которой отличается от излучения окружающей среды своими поляризационными характеристиками. Как понятно из вышеописанных примеров, поверхность с изображением, которое нужно обработать и модифицировать, может быть маркирована или выполнена различными способами. Существенным является лишь то, что маркировочная поверхность отражает, пропускает или испускает излучение, которое отличается от излучения окружающей среды в такой степени, что эта поверхность может быть надежно обнаружена и локализована с использованием подходящих средств.The entire advertising surface may be surrounded by a frame 21, that is, a marking surface that differs in radiation from its environment on the basis of a different sign than the visible color. Similarly, the frame may contain a separate code 22, which can be used to identify this billboard. In addition, the frame or other parts of the advertising surface may have localization codes 23, which provide a more accurate indication of a specific position in a given object. An additional possibility is to cover the entire surface 24 of the advertisement with a film that is transparent to visible light, but whose radiation from the surface differs from environmental radiation by its polarization characteristics. As is clear from the above examples, a surface with an image that needs to be processed and modified can be marked or made in various ways. The only important thing is that the marking surface reflects, transmits or emits radiation that differs from environmental radiation to such an extent that this surface can be reliably detected and localized using suitable means.

Выше изобретение было описано на примерах его осуществления со ссылками на сопровождающие чертежи, однако возможны различные варианты осуществления изобретения в рамках изобретательской концепции, которые определены формулой изобретения.The invention has been described above with reference to the accompanying drawings, but various embodiments of the invention are possible within the framework of the inventive concept, which are defined by the claims.

Claims (22)

1. Способ модификации изображения объекта, снимаемого телевизионной камерой, отличающийся тем, что объект маркируют посредством одной или более маркировочной поверхности, расположенной в области объекта или рядом с ним, причем указанные маркировочные поверхности являются такими, что их можно идентифицировать на основе излучения, отличающегося от другого излучения в снимаемой области, и по меньшей мере одна из указанных маркировочных поверхностей отличается по излучению от окружающей среды каким-либо иным признаком, чем видимый цвет, идентифицируют маркировочные поверхности, которые видны на изображении, с использованием по меньшей мере одного идентифицирующего детектора, который является отдельным от детекторов телевизионной камеры и с помощью которого объект снимают, по существу, с того же самого направления, что и телевизионной камерой, определяют положение, форму и размер областей объекта, которые видны на телевизионном изображении, с помощью известной зависимости между координатами изображения, получаемого от телевизионной камеры, и координатами изображения, получаемого от идентифицирующего детектора или детекторов, модифицируют заранее заданным способом видеосигнал телевизионного изображения для областей, соответствующих указанным видимым областям объекта.1. A method of modifying an image of an object captured by a television camera, characterized in that the object is marked with one or more marking surfaces located in or near the area of the object, said marking surfaces being such that they can be identified based on radiation different from other radiation in the area to be removed, and at least one of these marking surfaces differs in radiation from the environment by any other sign than the visible color, and Marking surfaces that are visible on the image are identified using at least one identifying detector, which is separate from the detectors of the television camera and with which the object is removed from essentially the same direction as the television camera, position, shape and the size of the areas of the object that are visible on the television image, using the known relationship between the coordinates of the image received from the television camera, and the coordinates of the image, oluchaemogo by identifying detector or detectors, are modified in a predetermined manner television picture video signal for the areas corresponding to the respective visible areas of the object. 2. Способ по п.1, отличающийся тем, что посредством указанного идентифицирующего детектора объект снимают через ту же линзу, которая используется в телевизионной камере.2. The method according to claim 1, characterized in that through the specified identifying detector, the object is removed through the same lens that is used in a television camera. 3. Способ по п.1, отличающийся тем, что области объекта, которые видны на телевизионном изображении, определяют на основе положений и формы обнаруженных маркировочных поверхностей, взаимного расположения маркировочных поверхностей и объекта, а также зависимости между координатами телевизионной камеры и координатами идентифицирующего детектора.3. The method according to claim 1, characterized in that the areas of the object that are visible on the television image are determined based on the positions and shapes of the detected marking surfaces, the relative position of the marking surfaces and the object, as well as the relationship between the coordinates of the television camera and the coordinates of the identifying detector. 4. Способ по п.1, отличающийся тем, что снимаемый объект, который должен быть модифицирован, является рекламой, которую заменяют на другую рекламу.4. The method according to claim 1, characterized in that the object to be modified, which is to be modified, is an advertisement that is replaced with another advertisement. 5. Способ по п.1, отличающийся тем, что маркировочная поверхность отражает, пропускает или испускает излучение, отличающееся от излучения окружающей среды.5. The method according to claim 1, characterized in that the marking surface reflects, transmits or emits radiation other than environmental radiation. 6. Способ по п.1, отличающийся тем, что изображение фокусируют на идентифицирующем детекторе посредством того же объектива, который используется в телевизионной камере, так что зависимость между координатами изображения, получаемого от идентифицирующего детектора, и координатами изображения, получаемого от телевизионной камеры, остается неизменной при повороте камеры, изменении съемочного расстояния или изменении масштаба изображения.6. The method according to claim 1, characterized in that the image is focused on an identifying detector through the same lens that is used in the television camera, so that the relationship between the coordinates of the image received from the identifying detector and the coordinates of the image received from the television camera remains unchanged when you rotate the camera, change the shooting distance or zoom. 7. Способ по п.1, отличающийся тем, что изображение фокусируют на идентифицирующем детекторе посредством объектива, отдельного от объектива, используемого в телевизионной камере, при этом зависимость между координатами телевизионного изображения и координатами изображения, формируемого идентифицирующим детектором, получают в виде приближенных значений на основе данных, определяющих положение, фокусировку и увеличение камер, а положение объекта в телевизионном изображении определяют путем обнаружения в телевизионном изображении по меньшей мере одного реперного объекта на снимаемом объекте или рядом с ним на основе контраста, яркости, цвета или формы.7. The method according to claim 1, characterized in that the image is focused on an identifying detector by means of a lens separate from the lens used in a television camera, and the relationship between the coordinates of the television image and the coordinates of the image formed by the identifying detector is obtained in the form of approximate values on based on the data determining the position, focus and magnification of the cameras, and the position of the object in the television image is determined by detection in the television image by m nshey least one reference object on an object or beside it on the basis of contrast, brightness, color or shape. 8. Способ по п.7, отличающийся тем, что внешний вид реперного объекта, который должен быть обнаружен в телевизионном изображении, известен заранее.8. The method according to claim 7, characterized in that the appearance of the reference object that must be detected in the television image is known in advance. 9. Способ по п.7, отличающийся тем, что реперный объект, который должен быть обнаружен в телевизионном изображении, берут из изображения, получаемого от идентифицирующего детектора, или из изображения, получаемого от детектора, на котором изображение фокусируется тем же объектом, что и на идентифицирующем детекторе.9. The method according to claim 7, characterized in that the reference object to be detected in the television image is taken from an image obtained from an identifying detector, or from an image obtained from a detector on which the image is focused by the same object as on an identifying detector. 10. Способ по п.6, отличающийся тем, что изображение направляют на один или более идентифицирующий детектор с использованием по меньшей мере одного расщепителя луча, установленного между объективом телевизионной камеры и детектором изображения.10. The method according to claim 6, characterized in that the image is sent to one or more identifying detectors using at least one beam splitter installed between the lens of the television camera and the image detector. 11. Способ по любому из пп.6-10, отличающийся тем, что компоненты излучения, имеющие различные свойства, направляют на различные детекторы посредством расщепителей луча.11. The method according to any one of claims 6 to 10, characterized in that the radiation components having different properties are sent to different detectors by means of beam splitters. 12. Способ по любому из пп.6-11, отличающийся тем, что излучения с различными параметрами фильтруют с помощью фильтров, установленных перед идентифицирующими детекторами.12. The method according to any one of claims 6 to 11, characterized in that the radiation with various parameters is filtered using filters installed in front of the identifying detectors. 13. Способ по п.1, отличающийся тем, что передачу видеосигнала изображения, снимаемого телевизионной камерой, задерживают так, чтобы позволить модифицировать видеосигнал в области, соответствующей объекту, до передачи видеосигнала.13. The method according to claim 1, characterized in that the transmission of the video signal of the image captured by the television camera is delayed so as to allow the video signal to be modified in the area corresponding to the object, before the video signal is transmitted. 14. Способ по п.1, отличающийся тем, что данные о положении объекта запоминают.14. The method according to claim 1, characterized in that the data on the position of the object is stored. 15. Способ по п.1, отличающийся тем, что излучение маркировочной поверхности отличается от излучения окружающей среды характеристиками поляризации.15. The method according to claim 1, characterized in that the radiation of the marking surface differs from the radiation of the environment by the polarization characteristics. 16. Способ по п.1, отличающийся тем, что излучение маркировочной поверхности отличается от излучения окружающей среды тем, что она поглощает излучение заданной длины волны или заданных длин волн в инфракрасной области спектра.16. The method according to claim 1, characterized in that the radiation of the marking surface differs from the radiation of the environment in that it absorbs radiation of a given wavelength or given wavelengths in the infrared region of the spectrum. 17. Способ по п.1, отличающийся тем, что объект маркируют идентифицирующим его кодом.17. The method according to claim 1, characterized in that the object is marked with a code identifying it. 18. Способ по п.1, отличающийся тем, что область объекта или ее границы содержат коды (23), указывающие положение кода относительно объекта.18. The method according to claim 1, characterized in that the area of the object or its boundaries contain codes (23) indicating the position of the code relative to the object. 19. Способ по любому из пп.1-12, отличающийся тем, что положение маркировочной поверхности или поверхностей в изображении в идентифицирующем детекторе определяют путем сравнения яркости пикселов с яркостью соседних пикселов путем сравнения яркости пикселов с хранимым эталонным изображением и/или путем сравнения яркости пикселов различных идентифицирующих детекторов друг с другом.19. The method according to any one of claims 1 to 12, characterized in that the position of the marking surface or surfaces in the image in the identification detector is determined by comparing the brightness of the pixels with the brightness of neighboring pixels by comparing the brightness of the pixels with the stored reference image and / or by comparing the brightness of the pixels different identifying detectors with each other. 20. Способ по любому из пп.7-9, отличающийся тем, что изображение реперного объекта модифицируют перед его поиском так, чтобы оно соответствовало координатам телевизионного изображения.20. The method according to any one of claims 7 to 9, characterized in that the image of the reference object is modified before its search so that it matches the coordinates of the television image. 21. Способ по п.1, отличающийся тем, что время экспозиции для идентифицирующего детектора существенно меньше, чем время экспозиции для телевизионной камеры.21. The method according to claim 1, characterized in that the exposure time for an identifying detector is significantly less than the exposure time for a television camera. 22. Способ модификации изображения объекта, снимаемого телевизионной камерой, при котором объект маркируют посредством маркировочной поверхности, расположенной в области объекта, причем указанная маркировочная поверхность является такой, что ее можно идентифицировать на основе излучения, отличающегося от другого излучения в снимаемой области, и указанная маркировочная поверхность отличается по излучению от окружающей среды каким-либо иным признаком, чем видимый цвет, идентифицируют маркировочную поверхность с использованием по меньшей мере одного идентифицирующего детектора, который является отдельным от детекторов телевизионной камеры и с помощью которого объект снимают, по существу, с того же самого направления, что и телевизионной камерой, определяют зависимость между координатами изображения, получаемого от телевизионной камеры, и координатами изображения, получаемого от идентифицирующего детектора, определяют с помощью обнаруженной маркировочной поверхности области объекта, которые видны на телевизионном изображении, и модифицируют заранее заданным способом видеосигнал телевизионного изображения для областей, соответствующих объекту, отличающийся тем, что изображение фиксируют на идентифицирующем детекторе посредством того же объектива, который используется в телевизионной камере, так что зависимость между координатами изображения, получаемого от идентифицирующего детектора, и координатами изображения, получаемого от телевизионной камеры, остается неизменной, когда камера поворачивается или когда съемочное расстояние или масштаб изображения изменяются, и снимаемый объект, изображение которого должно быть модифицировано, является относительно малым и перемещающимся объектом, различимость которого в телевизионном изображении улучшают путем усилия или изменения оттенков цвета этого объекта в телевизионном изображении.22. A method for modifying an image of an object captured by a television camera, in which the object is marked with a marking surface located in the region of the object, said marking surface being such that it can be identified based on radiation different from other radiation in the region being shot, and said marking the surface differs in radiation from the environment in any other way than the visible color, identify the marking surface using at least at least one identifying detector, which is separate from the detectors of the television camera and with which the object is removed from essentially the same direction as the television camera, determine the relationship between the coordinates of the image received from the television camera and the coordinates of the image obtained from the identifying detector, determine using the detected marking surface the areas of the object that are visible on the television image, and modify a predetermined method A video signal of a television image for regions corresponding to an object, characterized in that the image is fixed on an identifying detector by the same lens used in the television camera, so that the relationship between the coordinates of the image received from the identifying detector and the coordinates of the image received from the television camera , remains unchanged when the camera rotates or when the shooting distance or image scale changes, and the subject is Agen which is to be modified, is relatively small and the moving object, which distinguishability in a television image is improved by stress or change of the object in shades of television image.
RU2002118318/09A 2000-01-31 2001-01-30 Method for modifying image of object taken by television camera RU2265285C2 (en)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
FI20000192A FI20000192A0 (en) 2000-01-31 2000-01-31 television advertising
FI20000192 2000-01-31
FI20000857A FI20000857A0 (en) 2000-04-11 2000-04-11 Streamlining of television advertising
FI20000857 2000-04-11
FI20001455 2000-06-20
FI20001848A FI20001848A0 (en) 2000-08-22 2000-08-22 Improve your TV commercials
FI20001848 2000-08-22
FI20001887 2000-08-28
FI20001887A FI20001887A0 (en) 2000-08-28 2000-08-28 Streamlining of television advertising

Publications (2)

Publication Number Publication Date
RU2002118318A RU2002118318A (en) 2004-01-20
RU2265285C2 true RU2265285C2 (en) 2005-11-27

Family

ID=36572114

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2002118318/09A RU2265285C2 (en) 2000-01-31 2001-01-30 Method for modifying image of object taken by television camera

Country Status (1)

Country Link
RU (1) RU2265285C2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2564640C2 (en) * 2009-10-21 2015-10-10 Мк Виртуаль Эдвертисинг, С.Л. Method, system and computer programme for obtaining image transformation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2564640C2 (en) * 2009-10-21 2015-10-10 Мк Виртуаль Эдвертисинг, С.Л. Method, system and computer programme for obtaining image transformation

Also Published As

Publication number Publication date
RU2002118318A (en) 2004-01-20

Similar Documents

Publication Publication Date Title
US7009635B2 (en) Method for modifying a visible object shot with a television camera
EP0935886B1 (en) Method and apparatus for enhancing signal portions of a television broadcast of a live event
ES2743243T3 (en) Apparatus and method for replacing image content
US10554923B2 (en) Method and apparatus for image content detection and image content replacement system
US20070085908A1 (en) A method and apparatus for enhancing the broadcast of a live event
US20030202124A1 (en) Ingrained field video advertising process
KR101622699B1 (en) Method, system and computer program for obtaining the transformation of an image
JP6665277B2 (en) System and method for digitally overlaying an image with another image
WO1997003517A1 (en) Methods and apparatus for producing composite video images
JP6045570B2 (en) Surface identification system
KR20100133356A (en) A method for modifying the content of a television image
RU2265285C2 (en) Method for modifying image of object taken by television camera
CN109525876B (en) Display screen, virtual video insertion method, system and computer storage medium
ES2343508T3 (en) PROCEDURE TO MODIFY A VISIBLE OBJECT RECEIVED WITH A TELEVISION CAMERA.
WO2017137672A1 (en) Method for identifying a show in a video filmed by a camera of a spectator

Legal Events

Date Code Title Description
TK4A Correction to the publication in the bulletin (patent)

Free format text: AMENDMENT TO CHAPTER -FG4A- IN JOURNAL: 33-2005 FOR TAG: (57)

PD4A Correction of name of patent owner
MM4A The patent is invalid due to non-payment of fees

Effective date: 20190131