RU99110735A - Вставка изображения в видеопотоки с применением комбинации физических датчиков и распознавания образов - Google Patents

Вставка изображения в видеопотоки с применением комбинации физических датчиков и распознавания образов

Info

Publication number
RU99110735A
RU99110735A RU99110735/09A RU99110735A RU99110735A RU 99110735 A RU99110735 A RU 99110735A RU 99110735/09 A RU99110735/09 A RU 99110735/09A RU 99110735 A RU99110735 A RU 99110735A RU 99110735 A RU99110735 A RU 99110735A
Authority
RU
Russia
Prior art keywords
camera
image
sensor information
video
camera sensor
Prior art date
Application number
RU99110735/09A
Other languages
English (en)
Inventor
Рой Дж. РОССЕР (US)
Рой Дж. РОССЕР
Йи ТАН (US)
Йи ТАН
Скип КЕННЕДИ (US)
Скип КЕННЕДИ
Джим ДЖЕФФЕРС (US)
Джим ДЖЕФФЕРС
Даррелл ДИЧИККО (US)
Даррелл ДИЧИККО
Ксимин ГОНГ (US)
Ксимин ГОНГ
Original Assignee
Принстон Видео Имидж
Принстон Видео Имидж, Инк.
Инк. (US)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Принстон Видео Имидж, Принстон Видео Имидж, Инк., Инк. (US) filed Critical Принстон Видео Имидж
Publication of RU99110735A publication Critical patent/RU99110735A/ru

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Claims (29)

1. Способ слежения движения от поля к полю в последовательности связанных видеоизображений, которые сканируются по меньшей мере одной камерой, имеющей один или несколько аппаратных датчиков, предусматривающий стадии, на которых:
а) устанавливают массив идеализированных координат x и y, представляющий эталонный массив, имеющий множество ориентиров, где каждый ориентир имеет уникальные координаты x и y;
b) отображают координаты х и у в текущем изображении в вышеупомянутые координаты x и y в упомянутом эталонном массиве;
c) получают информации датчика камеры из упомянутого аппаратного датчика, причем эта информация датчика камеры представляет позицию и ориентацию этой камеры,
d) предсказывают будущее местоположение упомянутых координат ориентира, x' и y', с использованием упомянутой информации датчика камеры;
и в котором ошибки предсказания, вызываемые изменениями между двумя последовательными полями, минимизируются путем добавления (i) разности от поля к полю в позиции ориентира, рассчитанной из упомянутой информации датчика камеры, к (ii) позиции ориентира x, y, определенной ранее.
2. Способ по п.1, в котором упомянутое отображение достигается в соответствии со следующими соотношениями:
x' = a + bx + cy
y' = d + ex + fy
где x является горизонтальной координатой в эталонном массиве,
y является вертикальной координатой в эталонном массиве;
x' является горизонтальной координатой в текущей сцене;
y' является вертикальной координатой в текущей сцене;
a является параметром искривления изображения для горизонтального преобразования объекта в направлении х,
b является параметром искривления изображения для увеличения между эталонным массивом и текущим изображением в направлении х;
c является параметром искривления изображения для комбинирования вращения и сдвига в направлении х, d является параметром искривления .изображения для вертикального преобразования объекта в направлении y;
e является параметром искривления изображения для комбинирования вращения и сдвига в направлении y;
f является параметром искривления изображения для увеличения между эталонным массивом и текущим изображением в направлении y.
3. Способ по п.2, в котором упомянутые видеоизображения вертикально перемежаются, причем изображения от поля к полю перемежаются между одинаковыми и неодинаковыми полями.
4. Способ по п.3, в котором упомянутое предсказание будущего местоположения упомянутых координат ориентира, x' и y', для чересстрочных видеоизображений основано на детектируемом изменении позиции упомянутого ориентира относительно предыдущего одинакового поля.
5. Способ по п.4, дополнительно предусматривающий стадии, на которых
e) осуществляют поиск одного из упомянутых ориентиров в упомянутом текущем изображении посредством корреляции с применением эталона, причем этот поиск проводят на существенной области, охватывающей предсказанное местоположение этого ориентира;
f) умножают результаты этого корреляционного поиска в стадии (е) на взвешивающую (весовую) функцию, дающую больший вес корреляциям, находящимся на более близком расстоянии от предсказанного местоположения этого ориентира, для получения взвешенной корреляционной поверхности;
g) осуществляют поиск этой взвешенной корреляционной поверхности для нахождения ее максимальной величины.
6. Способ по п.5, дополнительно предусматривающий стадию, на которой
h) определяют новые параметры искривления изображения а, b, c, d, е и f для текущего изображения, основанного на текущей позиции упомянутого ориентира в текущем изображении, взвешенном упомянутой взвешивающей функцией для этого ориентира,
при этом особое значение придается ориентирам, которые находятся ближе к их предсказанной позиции.
7. Способ по п. 6, в котором упомянутая взвешивающая функция включает в себя следующее соотношение:
Figure 00000001

где g, h, i, j, k и l являются цифровыми константами;
xp является предсказанной позицией координаты х упомянутого ориентира;
xm является измеренной позицией координаты х упомянутого ориентира;
yp является предсказанной позицией координаты у упомянутого ориентира;
ym является измеренной позицией координаты у упомянутого ориентира.
8. Способ по п.7, дополнительно предусматривающий стадию, на которой
i) обновляют упомянутые позиции ориентиров в упомянутом эталонном массиве в соответствии с позицией этих ориентиров в текущем изображении,
и в котором упомянутое обновление выполняется на основе хорошо идентифицированных ориентиров и в соответствии с упомянутой взвешивающей функцией упомянутых ориентиров.
9. Способ по п.8, дополнительно предусматривающий стадию, на которой
j) устанавливают три типа эталонных массивов перед телепередачей, в том числе:
i) кодового эталонного массива, имеющего координаты ориентиров, равные упомянутым эталонным координатам ориентиров;
ii) игрового эталонного массива, имеющего координаты ориентиров, исходно установленные равными упомянутым координатам кодового эталонного массива;
iii) эталонного массива слежения, имеющего координаты ориентиров, исходно установленные равными упомянутым координатам кодового эталонного массива.
10. Способ по п.9, дополнительно предусматривающий стадии, на которых
k) изменяют упомянутый эталонный массив координат слежения во время телепередачи;
l) переустанавливают эталонный массив координат слежения на игровой эталонный массив координат после переключения сцены.
11. Способ по п.10, в котором упомянутая видеосистема управляется оператором и упомянутый способ дополнительно предусматривает стадию, на которой
m) предусматривают селективный выбор установки упомянутого эталонного массива координат слежения равным игровому эталонному массиву координат или установки игрового эталонного массива координат обратно на кодовый эталонный массив координат,
и в котором упомянутый оператор может обновить или блокировать игровой эталонный массив координат или эталонный массив координат слежения.
12. Способ по п.11, дополнительно предусматривающий стадии, на которых
n) устанавливают набор точек датчиков в изображении вокруг местоположения каждого упомянутого ориентира, причем эти точки датчиков способны детектировать изменения в цвете и освещении;
о) определяют, если упомянутые точки датчиков отличаются по цвету или освещению от ожидаемого цвета или освещения;
p) исключают упомянутый ориентир из дальнейших расчетов, если упомянутые цвет или освещение существенно отличаются от того, что ожидалось,
причем считается, что ориентир является закрытым, если цвет или освещение в упомянутых точках датчиков существенно отличается от ожидаемого цвета или освещения.
13. Способ по п.12, в котором корреляционный эталон представляет собой окно 15х15 пикселов.
14. Способ по п.1, в котором упомянутое отображение достигается в соответствии со следующими соотношениями:
x' = a + bx
y' = d + by
где х является горизонтальной координатой в эталонном массиве;
y является вертикальной координатой в эталонном массиве;
x' является горизонтальной координатой в текущей сцене;
y' является вертикальной координатой в текущей сцене;
b является параметром искривления изображения для увеличения между эталонным массивом и текущим изображением;
а является параметром искривления изображения для горизонтального преобразования объекта в направлении х, и
d является параметром искривления изображения для вертикального преобразования объекта в направлении у.
15. Способ по п. 4, дополнительно предусматривающий стадии, на которых
q) осуществляют поиск для одного из упомянутых ориентиров в упомянутом текущем изображении посредством корреляции с применением эталона, причем стартовая точка этого поиска по существу центрируется в предсказанном местоположении этого ориентира;
r) проводят упомянутый поиск, начиная от упомянутого предсказанного местоположения и продолжая наружу, с поиском совпадения;
s) прерывают упомянутый поиск для упомянутого ориентира, когда совпадение превышает пороговую величину.
16. Способ по п.6, в котором упомянутая взвешивающая функция включает в себя следующее соотношение:
Figure 00000002

гдe xp является предсказанной позицией координаты x упомянутого ориентира;
xm является измеренной позицией координаты х упомянутого ориентира;
yp является предсказанной позицией координаты у упомянутого ориентира;
ym является измеренной позицией координаты у упомянутого ориентира.
17. Способ слияния первичного видеопотока во вторичный видеопоток таким образом, что объединенный видеопоток, повидимому, имеет общее начало координат от видеополя к видеополю, даже когда первичный видеопоток модулируется изменениями в ориентации камеры и установках, причем видимое общее начало координат, достигнутое путем применения анализа распознавания образов первичного видеопотока для стабилизации и усовершенствования информации датчиков камеры, представляет ориентацию и установки камеры-источника первичного видеопотока, предусматривающий стадии, на которых
t) получают информацию датчиков камеры от по меньшей мере одной камеры, оборудованной аппаратными датчиками, которые измеряют ориентацию и установки этой камеры;
u) преобразуют информацию датчиков камеры в формат, пригодный для передачи;
v) передают преобразованную информацию датчиков камеры к системе видеовставки в живую телепередачу;
w) преобразуют информацию датчиков камеры в аффинную форму;
x) предсказывают, где ориентиры в предыдущем поле видео будут находиться в текущем поле видео, на основании упомянутой информации датчиков камеры;
y) проводят корреляции для детектирования позиций ориентиров, сконцентрированных около позиций ориентиров, предсказанных информацией датчиков камеры;
z) создают модель, связывающую эталонное поле видео с текущим полем видео, с использованием взвешенной подгонки методом наименьших средних квадратов для всех обнаруженных ориентиров.
18. Способ по п.17, в котором ориентация и установки вышеупомянутой по меньшей мере одной камеры включают в себя фокус, масштабирование, панорамирование и наклон.
19. Способ по п. 17, в котором формат, пригодный для передачи, представляет собой цифровой ряд, полученный преобразованием полученной информации датчиков камеры из аналоговой основы в цифровую основу.
20. Способ слияния первичного видеопотока во вторичный видеопоток таким образом, что объединенный видеопоток, повидимому, имеет общее начало координат от видеополя к видеополю, даже когда первичный видеопоток модулируется изменениями в ориентации камеры и установках, причем видимое общее начало координат, достигнутое путем применения анализа распознавания образов первичного видеопотока для стабилизации и усовершенствования информации датчиков камеры, представляет ориентацию и установки камеры-источника первичного видеопотока, предусматривающий стадии, на которых
aa) получают информацию датчиков камеры от по меньшей мере одной камеры, оборудованной аппаратными датчиками, которые измеряют ориентацию и установки этой камеры,
bb) преобразуют информацию датчиков камеры в формат, пригодный для передачи;
cc) передают преобразованную информацию датчиков камеры к системе видеовставки в живую телепередачу;
dd) преобразуют информацию датчиков камеры в аффинную форму;
ee) проводят корреляции для детектирования позиций ориентиров, сконцентрированных около позиций ориентиров, предсказанных информацией датчиков камеры;
ff) создают виртуальные ориентиры с использованием упомянутой информации датчиков камеры, причем эти виртуальные ориентиры подходящим образом взвешены в отношении ошибки информации датчиков камеры;
gg) создают модель, связывающую эталонное поле видео с текущим полем видео, с использованием взвешенной подгонки методом наименьших средних квадратов для всех обнаруженных и виртуальных ориентиров.
21. Способ по п. 20, в котором ориентация и установки вышеупомянутой по меньшей мере одной камеры включают в себя фокус, масштабирование, панорамирование и наклон.
22. Способ по п. 20, в котором формат, пригодный для передачи, представляет собой цифровой ряд, полученный преобразованием полученной информации датчиков камеры из аналоговой основы в цифровую основу.
23. Способ слежения движения от поля к полю в последовательности связанных видеоизображений, которые сканируются по меньшей мере одной камерой, имеющей один или несколько аппаратных датчиков, предусматривающий стадии, на которых
hh) получают набор эталонов изображений из текущего видеоизображения, которые удовлетворяют определенным критериям сбора информации эталонов, и сохраняют эти эталоны изображений в памяти;
ii) получают информацию датчика камеры от упомянутых аппаратных датчиков, причем эта информация датчиков камеры представляет позицию и ориентацию этой камеры;
jj) используют информацию датчиков камеры в определении позиции каждого сохраненного в памяти эталона относительно текущего изображения;
kk) рассчитывают модель преобразования с использованием определенной позиции эталона относительно текущего изображения, причем эта модель преобразования должна использоваться для соответствия информации эталонных позиций информациям позиций текущего изображения;
ll) удаляют из памяти эталоны изображений, которые не соответствуют определенным критериям сохранения эталонов;
mm) получают новые эталоны изображения из упомянутого текущего изображения для замены эталонов изображения, которые были удалены.
24. Способ слежения движения от поля к полю в последовательности связанных видеоизображений, которые сканируются по меньшей мере одной камерой, имеющей аппаратные датчики, причем эти аппаратные датчики включают в себя акселерометр, предусматривающий стадии, на которых
nn) устанавливают массив идеализированных координат х и у, представляющих эталонный массив, имеющий множество ориентиров, где каждый ориентир имеет уникальные координаты x и y;
oo) отображают координаты х и y в текущем изображении в упомянутые координаты х и y в упомянутом эталонном массиве;
pp) получают информацию датчиков камеры от аппаратных датчиков камеры, причем эта информация датчиков камеры представляет позицию, ориентацию и вибрацию этой камеры;
qq) предсказывают будущее положение упомянутых координат ориентиров, х' и y', с использованием информации датчиков камеры,
и в котором ошибки предсказания, обусловленные изменениями между двумя последовательными полями, минимизируются прибавлением (i) разности от поля к полю в позиции ориентира, рассчитанной из информации датчиков камер, к (ii) х, y позиции ориентира, обнаруженного ранее.
25. Способ слияния первичного видеопотока во вторичный видеопоток таким образом, что объединенный видеопоток, повидимому, имеет общее начало координат от видеополя к видеополю, даже когда первичный видеопоток модулируется изменениями в ориентации камеры и установках, причем видимое общее начало координат, достигнутое путем применения анализа распознавания образов первичного видеопотока для стабилизации и усовершенствования информации датчиков камеры, представляет ориентацию и установки камеры-источника первичного видеопотока, предусматривающий стадии, на которых
rr) получают набор эталонов изображений из текущего видеоизображения, которые удовлетворяют определенным критериям сбора информации эталонов, и сохраняют упомянутые эталоны изображений в памяти;
ss) получают информацию датчиков камеры от по меньшей мере одной камеры, оборудованной аппаратными датчиками, которые измеряют ориентацию и установки этой камеры;
tt) преобразуют информацию датчиков камеры в формат, пригодный для передачи;
uu) передают преобразованную информацию датчиков камеры к системе видеовставки в живую телепередачу;
vv) преобразуют информацию датчиков камеры в аффинную форму;
ww) предсказывают, где эталоны изображений в предыдущем поле видео будут находиться в текущем поле видео, на основании упомянутой информации датчиков камеры;
xx) проводят корреляции для детектирования позиций эталонов изображений, сконцентрированных около позиций эталонов ориентиров, предсказанных информацией датчиков камеры;
yy) создают модель, связывающую эталонное поле видео с текущим полем видео, с использованием взвешенной подгонки методом наименьших средних квадратов для всех эталонов изображений;
zz) удаляют из памяти эталоны изображений, которые не соответствуют определенным критериям сохранения эталонов;
aaa) получают новые эталоны изображений из упомянутого текущего изображения для замены эталонов изображений, которые были удалены.
26. Способ слияния первичного видеопотока во вторичный видеопоток таким образом, что объединенный видеопоток, повидимому, имеет общее начало координат от видеополя к видеополю, даже когда первичный видеопоток модулируется вибрацией камеры и изменениями в ориентации камеры и установках, причем видимое общее начало координат, достигнутое путем применения анализа распознавания образов первичного видеопотока для стабилизации и усовершенствования информации датчиков камеры, представляет передвижение, ориентацию и установки камеры-источника первичного видеопотока, предусматривающий стадии, на которых
bbb) получают информацию датчиков камеры по меньшей мере от одной камеры, оборудованной аппаратными датчиками, которые измеряют ускорение, ориентацию и установки этой камеры,
ccc) преобразуют информацию датчиков камеры в формат, пригодный для передачи,
ddd) передают преобразованную информацию датчиков камеры к системе видеовставки в живую телепередачу,
eee) преобразуют информацию датчиков камеры в аффинную форму,
fff) предсказывают, где ориентиры в предыдущем поле видео будут находиться в текущем поле видео, на основании упомянутой информации датчиков камеры,
ggg) проводят корреляции для детектирования позиций ориентиров, сконцентрированных около позиций ориентиров, предсказанных информацией датчиков камеры,
hhh) создают модель, связывающую эталонное поле видео с текущим полем видео, с использованием взвешенной подгонки методом наименьших средних квадратов для всех обнаруженных ориентиров.
27. Способ слияния первичного видеопотока во вторичный видеопоток таким образом, что объединенный видеопоток, повидимому, имеет общее начало координат от видеополя к видеополю, даже когда первичный видеопоток модулируется изменениями в ориентации камеры и установках, причем видимое общее начало координат, достигнутое путем применения анализа распознавания образов первичного видеопотока для стабилизации и усовершенствования информации датчиков камеры, представляет ориентацию и установки камеры-источника первичного видеопотока, предусматривающий стадии, на которых
iii) получают набор эталонов изображений из текущего видеоизображения, которые удовлетворяют определенным критериям сбора информации эталонов, и сохраняют упомянутые эталоны изображений в памяти;
jjj) получают информацию датчиков камеры по меньшей мере от одной камеры, оборудованной аппаратными датчиками, которые измеряют ориентацию и установки этой камеры,
kkk) преобразуют информацию датчиков камеры в формат, пригодный для передачи,
lll) передают преобразованную информацию датчиков камеры к системе видеовставки в живую телепередачу,
mmm) преобразуют информацию датчиков камеры в аффинную форму,
nnn) проводят корреляции для детектирования позиций эталонов изображений, сконцентрированных около позиций эталонов ориентиров, предсказанных информацией датчиков камеры,
ooo) создают эталоны виртуальных изображений с использованием информации датчиков камеры, причем упомянутые эталоны виртуальных изображений подходящим образом взвешены в отношении ошибки информации датчиков камеры,
ppp) создают модель, связывающую эталонное поле видео с текущим полем видео, с использованием взвешенной подгонки методом наименьших средних квадратов для всех эталонов обнаруженных и виртуальных изображений,
qqq) удаляют из памяти эталоны изображений, которые не соответствуют определенным критериям сохранения эталонов;
rrr) получают новые эталоны изображений из упомянутого текущего изображения для замены эталонов изображений, которые были удалены.
28. Способ слияния первичного видеопотока во вторичный видеопоток таким образом, что объединенный видеопоток, повидимому, имеет общее начало координат от видеополя к видеополю, даже когда первичный видеопоток модулируется вибрацией камеры и изменениями в ориентации камеры и установках, причем видимое общее начало координат, достигнутое путем применения анализа распознавания образов первичного видеопотока для стабилизации и усовершенствования информации датчиков камеры, представляет ускорение, ориентацию и установки камеры-источника первичного видеопотока, предусматривающий стадии, на которых
sss) получают информацию датчиков камеры от по меньшей мере одной камеры, оборудованной аппаратными датчиками, которые измеряют ускорение, ориентацию и установки этой камеры,
ttt) преобразуют информацию датчиков камеры в формат, пригодный для передачи,
uuu) передают преобразованную информацию датчиков камеры к системе видеовставки в живую телепередачу,
vvv) преобразуют информацию датчиков камеры в аффинную форму,
www) проводят корреляции для детектирования позиций ориентиров, сконцентрированных около позиций ориентиров, предсказанных информацией датчиков камеры,
ххх) создают виртуальные ориентиры с использованием упомянутой информации датчиков камеры, причем эти виртуальные ориентиры подходящим образом взвешены в отношении ошибки информации датчиков камеры,
yyy) создают модель, связывающую эталонное поле видео с текущим полем видео, с использованием взвешенной подгонки методом наименьших средних квадратов для всех обнаруженных и виртуальных ориентиров.
29. Способ слияния первичного видеопотока во вторичный видеопоток таким образом, что объединенный видеопоток, повидимому, имеет общее начало координат от видеополя к видеополю, даже когда первичный видеопоток модулируется изменениями в ориентации камеры и установках, причем видимое общее начало координат, достигнутое путем применения анализа распознавания образов первичного видеопотока для стабилизации и усовершенствования информации датчиков камеры, представляет ориентацию и установки камеры-источника первичного видеопотока, предусматривающий стадии, на которых
(zzz) получают информацию датчиков камеры от по меньшей мере одной камеры, оборудованной аппаратными датчиками, которые измеряют ориентацию и установки этой камеры,
aaaa) преобразуют информацию датчиков камеры в формат, пригодный для передачи,
bbbb) передают преобразованную информацию датчиков камеры к системе видеовставки в живую телепередачу,
cccc) преобразуют информацию датчиков камеры в форму и координату системы используемой системой видеовставки в живую телепередачу,
dddd) предсказывают, где ориентиры будут находиться в текущем поле видео, на основании упомянутой информации датчиков камеры,
eeee) создают модель, связывающую эталонное поле видео с текущим полем видео, с использованием взвешенной подгонки методом наименьших средних квадратов для всех обнаруженных ориентиров,
ffff) получают набор эталонов изображений из текущего видеоизображения, которые удовлетворяют определенным критериям сбора информации эталонов, и сохраняют упомянутые эталоны изображений в памяти;
gggg) в последующих полях видео используют предсказанные позиции упомянутых эталонов изображений в качестве стартовой точки для определения текущей позиции каждого сохраненного в памяти эталона изображения,
hhhh) в последующих полях видео расчета модели преобразований используют определенные позиции эталонов для соответствия информации эталонных позиций с информациями позиций изображений в этих последующих полях;
iiii) удаляют из памяти эталоны изображений, которые не удовлетворяют определенным критериям сохранения эталонов,
jjjj) получают новые эталоны изображений из текущего изображения для замены эталонов изображений, которые были удалены.
RU99110735/09A 1996-11-27 1997-11-25 Вставка изображения в видеопотоки с применением комбинации физических датчиков и распознавания образов RU99110735A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US3814396P 1996-11-27 1996-11-27
US60/038,143 1996-11-27
PCT/US1997/021607 WO1998024242A1 (en) 1996-11-27 1997-11-25 Image insertion in video streams using a combination of physical sensors and pattern recognition

Publications (1)

Publication Number Publication Date
RU99110735A true RU99110735A (ru) 2001-03-10

Family

ID=21898302

Family Applications (1)

Application Number Title Priority Date Filing Date
RU99110735/09A RU99110735A (ru) 1996-11-27 1997-11-25 Вставка изображения в видеопотоки с применением комбинации физических датчиков и распознавания образов

Country Status (12)

Country Link
EP (1) EP0943211B1 (ru)
JP (1) JP4641566B2 (ru)
CN (1) CN1238888A (ru)
AT (1) ATE405102T1 (ru)
AU (1) AU5457598A (ru)
BR (1) BR9714970A (ru)
DE (1) DE69738908D1 (ru)
DK (1) DK0943211T3 (ru)
ES (1) ES2313738T3 (ru)
PT (1) PT943211E (ru)
RU (1) RU99110735A (ru)
WO (1) WO1998024242A1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2443070C1 (ru) * 2007-12-13 2012-02-20 Суппонор Ой Способ изменения содержания телевизионного изображения

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2344714A (en) * 1998-09-22 2000-06-14 Orad Hi Tec Systems Ltd Method and apparatus for creating real digital video effects
US6525780B1 (en) 1998-12-18 2003-02-25 Symah Vision, Sa “Midlink” virtual insertion system
US7075556B1 (en) 1999-10-21 2006-07-11 Sportvision, Inc. Telestrator system
US6993245B1 (en) 1999-11-18 2006-01-31 Vulcan Patents Llc Iterative, maximally probable, batch-mode commercial detection for audiovisual content
US6909438B1 (en) 2000-02-04 2005-06-21 Sportvision, Inc. Video compositor
US6968565B1 (en) 2000-02-25 2005-11-22 Vulcan Patents Llc Detection of content display observers with prevention of unauthorized access to identification signal
US8910199B2 (en) 2000-02-25 2014-12-09 Interval Licensing Llc Targeted television content display
US20020062481A1 (en) 2000-02-25 2002-05-23 Malcolm Slaney Method and system for selecting advertisements
US8409024B2 (en) 2001-09-12 2013-04-02 Pillar Vision, Inc. Trajectory detection and feedback system for golf
US10360685B2 (en) 2007-05-24 2019-07-23 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
US8617008B2 (en) 2001-09-12 2013-12-31 Pillar Vision, Inc. Training devices for trajectory-based sports
AU2002324969A1 (en) 2001-09-12 2003-03-24 Pillar Vision Corporation Trajectory detection and feedback system
GB2408164A (en) * 2003-11-12 2005-05-18 Alastair Breward Controlling a dynamic display apparatus
US7590310B2 (en) 2004-05-05 2009-09-15 Facet Technology Corp. Methods and apparatus for automated true object-based image analysis and retrieval
JP2006005659A (ja) * 2004-06-17 2006-01-05 Canon Inc 画像符号化装置及びその方法
CN1312924C (zh) * 2004-12-16 2007-04-25 上海交通大学 基于纹理信息的视频图象运动检测方法
US7451041B2 (en) 2005-05-06 2008-11-11 Facet Technology Corporation Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route
WO2007008930A2 (en) 2005-07-13 2007-01-18 Ultimate Balance, Inc. Orientation and motion sensing in athletic training systems, physical rehabilitation and evaluation systems, and hand-held devices
US8408982B2 (en) 2007-05-24 2013-04-02 Pillar Vision, Inc. Method and apparatus for video game simulations using motion capture
JP5471224B2 (ja) * 2009-09-15 2014-04-16 ソニー株式会社 撮像システム、撮像装置、情報処理装置及び撮像方法
US20120180084A1 (en) * 2011-01-12 2012-07-12 Futurewei Technologies, Inc. Method and Apparatus for Video Insertion
JP6050258B2 (ja) 2011-02-21 2016-12-21 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. カメラを持つリモコンからの制御フィーチャの推定
KR20140008377A (ko) * 2011-03-25 2014-01-21 톰슨 라이센싱 비디오 스트림 내의 데이터를 감추고 복구하는 방법
US8948457B2 (en) 2013-04-03 2015-02-03 Pillar Vision, Inc. True space tracking of axisymmetric object flight using diameter measurement
KR102081087B1 (ko) 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
CN117369197B (zh) * 2023-12-06 2024-05-07 深圳市安思疆科技有限公司 3d结构光模组、成像系统及获得目标物体深度图的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0595808B1 (en) * 1991-07-19 1999-06-23 Princeton Video Image, Inc. Television displays having selected inserted indicia
GB9119964D0 (en) * 1991-09-18 1991-10-30 Sarnoff David Res Center Pattern-key video insertion
IL108957A (en) * 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
US5488675A (en) * 1994-03-31 1996-01-30 David Sarnoff Research Center, Inc. Stabilizing estimate of location of target region inferred from tracked multiple landmark regions of a video image
US5436672A (en) * 1994-05-27 1995-07-25 Symah Vision Video processing system for modifying a zone in successive images
US5564698A (en) * 1995-06-30 1996-10-15 Fox Sports Productions, Inc. Electromagnetic transmitting hockey puck

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2443070C1 (ru) * 2007-12-13 2012-02-20 Суппонор Ой Способ изменения содержания телевизионного изображения

Also Published As

Publication number Publication date
AU5457598A (en) 1998-06-22
DK0943211T3 (da) 2008-12-15
ES2313738T3 (es) 2009-03-01
JP2001506819A (ja) 2001-05-22
BR9714970A (pt) 2001-11-06
JP4641566B2 (ja) 2011-03-02
DE69738908D1 (de) 2008-09-25
ATE405102T1 (de) 2008-08-15
PT943211E (pt) 2008-11-19
EP0943211B1 (en) 2008-08-13
WO1998024242A1 (en) 1998-06-04
CN1238888A (zh) 1999-12-15
EP0943211A4 (en) 2002-02-06
EP0943211A1 (en) 1999-09-22

Similar Documents

Publication Publication Date Title
RU99110735A (ru) Вставка изображения в видеопотоки с применением комбинации физических датчиков и распознавания образов
US6100925A (en) Image insertion in video streams using a combination of physical sensors and pattern recognition
US5808695A (en) Method of tracking scene motion for live video insertion systems
JP3644688B2 (ja) ビデオ画像におけるビルボードの自動電子式置換方法および装置
CN102457665B (zh) 摄像设备、摄像系统和摄像设备的控制方法
US6067114A (en) Detecting compositional change in image
US6370194B2 (en) Motion vector estimation circuit and method
JPH11504772A (ja) 複数の被追跡画像指標領域からの画像目標領域の場所推定方法
US5668605A (en) Object keying in video images based on distance from camera
WO1994005118A1 (en) Derivation of studio camera position and motion from the camera image
EP1395059B1 (en) Intruding-object detection apparatus
US6148108A (en) System for estimating motion vector with instant estimation of motion vector
US6122319A (en) Motion compensating apparatus using gradient pattern matching and method thereof
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
EP0628234A1 (en) Motion compensated video image processing
CN100584009C (zh) 确定图像序列中背景的运动的方法和设备
US6160917A (en) Method of calculating motion vectors
US6738497B2 (en) Method, system and apparatus for image block matching
KR20040088539A (ko) 필드 레이트 업변환을 위한 방법 및 장치
CN101340517A (zh) 用于照相机单元的控制装置和方法
JP2002027449A (ja) 移動物体識別方法および移動物体識別装置
JPH10200911A (ja) カラーテレビジョンカメラにおけるレジストレーション誤差を自動的に補正するシステムおよび方法
JPS6110372A (ja) カメラにおける自動追尾装置
JPH0863602A (ja) 物体追跡装置
JPH1075453A (ja) 動きベクトル検出装置及び動きベクトル検出方法

Legal Events

Date Code Title Description
FA93 Acknowledgement of application withdrawn (no request for examination)

Effective date: 20001126