RU2572377C1 - Устройство редактирования видеопоследовательностей - Google Patents

Устройство редактирования видеопоследовательностей Download PDF

Info

Publication number
RU2572377C1
RU2572377C1 RU2014154392/08A RU2014154392A RU2572377C1 RU 2572377 C1 RU2572377 C1 RU 2572377C1 RU 2014154392/08 A RU2014154392/08 A RU 2014154392/08A RU 2014154392 A RU2014154392 A RU 2014154392A RU 2572377 C1 RU2572377 C1 RU 2572377C1
Authority
RU
Russia
Prior art keywords
unit
input
output
storage unit
image
Prior art date
Application number
RU2014154392/08A
Other languages
English (en)
Inventor
Владимир Иванович Марчук
Вячеслав Владимирович Воронин
Самир Рауфевич Ибадов
Рагим Рауфевич Ибадов
Николай Валерьевич Гапон
Роман Алексеевич Сизякин
Евгений Александрович Семенищев
Original Assignee
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ")
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") filed Critical Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ")
Priority to RU2014154392/08A priority Critical patent/RU2572377C1/ru
Application granted granted Critical
Publication of RU2572377C1 publication Critical patent/RU2572377C1/ru

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

Изобретение относится к области вычислительной техники, а именно к анализу и обработке изображений. Технический результат - обеспечение реконструкции значений пикселей динамических двумерных сигналов в условиях неполной априорной информации. Устройство редактирования видеопоследовательностей содержит: блок хранения данных, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок заполнения изображения, блок управления, блок хранения маски, блок выбора меток случайным образом, блок поиска меток, блок задержки, блок хранения кадров, блок установки меток пользователя, блок выделения объектов с помощью альфа-канала, генератор тактовых импульсов. 4 ил.

Description

Предлагаемое изобретение относится к области вычислительной техники и может быть использовано в системах анализа и обработки изображений, цифровом телевидении.
Упрощенная математическая модель изображения представляет собой двумерный дискретный сигнал Si, j,
Figure 00000001
,
Figure 00000002
, (фиг. 1), где Si, j - доступные пиксели неискаженного изображения, ηi, j - область изображения с отсутствующими пикселями, δS - граница области S.
Основная решаемая задача - восстановления значений пикселей кадров видеопоследовательностей.
Реконструкция и ретушь изображений предполагает удаление царапин, пятен, пыли, ненужных надписей, предметов и прочих дефектов с поверхности фотографий и восстановление недостающих фрагментов с использованием доступных участков изображения. При обработке архивных изображений, например изображений музейных документов или фотоизображений, возникает задача удаления различных дефектов (пятен, линий сгиба, других поврежденных областей) и восстановления поврежденных участков, не нарушая структуру изображения. В видеоданных встречаются статические изображения, которые мешают просмотру, закрывая часть полезной информации от зрителя. К таким изображениям относятся различные логотипы каналов, дата, время или субтитры, которые были наложены на фильм с дальнейшим кодированием. Также отдельным классом областей, мешающим просмотру видео, являются искаженные блоки при работе видеокодека, появление которых объясняется ненадежностью среды передачи данных от кодера к декодеру.
Упрощенно способы реконструкции значений пикселей двумерных сигналов можно разделить на следующие группы:
1) Способы на основе решения дифференциальных уравнений в частных производных.
2) Способы на основе ортогональных преобразований.
3) Способы на основе синтеза текстур.
Анализ существующих способов обработки показывает, что область их использования в условиях ограниченного объема информации о составляющих обрабатываемого процесса крайне ограничена. Использование способов реконструкции значений пикселей изображений на основе решения дифференциальных уравнений в частных производных приводит к размытию резких перепадов яркостей и контуров и требует априорную информацию для выбора параметров способов и минимизации функционала. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных способов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Для использования способов на основе ортогональных преобразований требуется априорная информация для выбора порогового значения, ортогонального базиса и размера блоков спектрального представления. Также следует отметить, что данные способы приводят к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а большое количество итераций приводит к значительным вычислительным затратам. Применение способов на основе синтеза текстур требует априорной информации о размере и форме области восстановления и геометрических свойствах изображения для выбора параметров способов.
Известен способ восстановления текстуры и структуры изображений [Bertalmio М., Vese L., Sapiro G., Osher S. Simultaneous texture and structure image inpainting // Proceedings of the International Conference on Computer Vision and Pattern Recognition, 2003. - P. 707-712], который позволяет экстраполировать значения пикселей изображений, как в структуре, так и текстуре изображений, при этом каждая составляющая представляется разряженно значимыми коэффициентами спектрального преобразования. Данный способ основан на декомпозиции изображения, называемого также морфологическим компонентным анализом, разделяющего изображение на линейную комбинацию текстуры и структуры изображения. Для восстановления текстуры используется курвет-преобразование, а для структуры - дискретное косинусное преобразование.
Изображение представляется в виде суммы:
S=GsDs+GtDt,
где G - матрица ортогонального преобразования изображения, D - матрица значимых коэффициентов, s - структура изображения, t - текстура изображения.
При этом выражение целевой функции для определения значимых коэффициентов запишется в виде:
Figure 00000003
Figure 00000004
где М - маска области с потерянными пикселями, γ, λ - параметры способа, TV - total variation (корректировка с помощью модели общего отклонения), R - остаток, который на первой итерации равен случайному числу.
Признаки способа - аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание цифрового сигнала, восстановление потерянных значений пикселей.
Недостатками известного способа и устройства его реализующего являются:
- априорная информация о структуре изображения и размера области восстановления для выбора параметров способа;
- восстановление больших областей с помощью известного способа приводит к размытию структуры изображения, а большое количество итераций значительно осложняет вычислительные затраты.
Известен способ восстановления изображений на основе заполнения похожими областями и устройство его реализующее (Image region filling by exemplar-based inpainting) [Patent USA №11/095, 138, №10/453, 404].
На первом шаге вычисляется приоритет Р(р) для каждого пикселя границы, который состоит из двух множителей:
Figure 00000005
Figure 00000006
где р - текущий пиксель на границе доступных пикселей;
С(р) - данные доверия;
D(p) - данные градиента;
|Ψp| - количество пикселей квадратного блока с центром в пикселе р;
Figure 00000007
- вектор, ортогональный градиенту в точке р;
np - вектор, ортогональный границе δS в точке р;
α - нормированный множитель для черно-белых изображений равен 255.
Вначале предполагается, что значение данных доверия С для пикселей из области S равно 1, а для области
Figure 00000008
равно 0.
Вычисление приоритета с помощью выражения (1) позволяет придать больший вес пикселям, находящимся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет данных доверия С(р) позволяет присваивать меньший вес восстановленным пикселям при увеличении дистанции от доступных пикселей из области S.
На втором шаге находится блок ψq в области доступных пикселей S, для которого евклидова норма минимальна:
Figure 00000009
Значения пикселей из найденного блока копируются в области
Figure 00000008
. Данные доверия С для восстановленных пикселей присваиваются равным текущему значению С(р). Процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: запоминание цифрового сигнала, вычисление коэффициента приоритета, поиск похожих блоков, восстановление потерянных значений пикселей.
Недостатками известного устройства являются:
- видимость границ на восстановленном изображении между найденными похожими блоками;
- неправильное восстановление при отсутствии похожего блока;
- зависимость эффективности восстановления от выбора размера блока.
Известен способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине [Патент №2426172, МПК G06K 9/34]. Изобретение относится к области распознавания и сегментации изображений, и в частности к способу и системе для выделения целевого объекта из фонового изображения и изображения объекта путем создания маски, используемой для выделения целевого объекта. Техническим результатом является создание усовершенствованного способа выделения данных об изображении объекта, используя данные о глубине изображения. Указанный технический результат достигается тем, что создается скалярное изображение разности изображения объекта и фона на основе разности освещенности, а в областях, где разность освещенности ниже заранее установленного порогового значения, на основе разности цвета; инициализируется маска по результатам, полученным из предыдущего видеокадра, где скалярное изображение разности меньше заранее установленного порога, если эти результаты доступны, при этом маску объекта заполняют нулями и единицами, где единица означает, что соответствующий пиксель принадлежит объекту, и нуль в ином случае; кластеризуется скалярное изображение разности и данные по глубине на основе нескольких кластеров; создается маска для каждого положения пикселя видеокадра, используя центры тяжести кластеров скалярной разности и данные по глубине для текущего положения пикселя; компенсируется изменение фона сцены во времени путем обновления изображения фона на основе использования созданной маски и изображения разности.
Признаки способа и системы-аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение целевого объекта из фонового изображения.
Недостатками известного способа и системы являются:
использование двух видеокамер приводит к большим вычислительным затратам при получении альфа-канала выделяемого объекта.
Известен способ выделения объекта на изображении на основе решения уравнений Пуассона (Poisson matting for images) [Patent USA №7636128]. Способ основан на решении системы уравнений Пуассона с граничными условиями для изображения, сегментированного на три области: передний план, фон, неизвестная область, разделяющая передний план и фон. Для нахождения альфа-канала решают уравнение Пуассона вида:
Figure 00000010
с граничным условием Дирихле
Figure 00000011
Figure 00000012
Найденное решение системы уравнений Пуассона является альфа-каналом изображения, для уточнения которого применяют локальные фильтры, позволяющие вручную исправить окончательный результат с помощью решения локальных уравнений Пуассона.
Признаки способа-аналога, совпадающие с признаками заявляемого технического решения, следующие: выделение объекта из фонового изображения.
Недостатками известного способа являются: применение локальных фильтров, исправляющие вручную окончательный результат с помощью решения локальных уравнений Пуассона, что не позволяет получить эффективной автоматизированной системы обработки.
Наиболее близким к изобретению является устройство обработки двумерных сигналов при реконструкции изображений [Пат. №2440614, Российская Федерация, C1, МПК G06F 17/17. 2010132434/08; заявл. 02.08.2010; опубл. 20.01.2012, бюл. №2]. Рассматриваемое устройство-прототип предполагает:
1) записываются значения входного изображения Si, j,
Figure 00000001
,
Figure 00000002
;
2) определяется значение коэффициента доверия С, Ci, j=1, если Ci, j∈Si, j, Ci, j=0, если Ci, j∈ηi, j;
3) вычисляется значение приоритета P(δSi, j) для каждого значения пикселя границы P(δSi, j)=C(δSi, j)·D(δSi, j), где
Figure 00000013
4) определяется пиксель p∈(i, j) с максимальным значением приоритета max(Р(δSi, j)) на границе δS;
5) определяется квадратная форма области для поиска подобия с центральным пикселем р∈(i, j);
6) вычисляется евклидова метрика для всех доступных значений пикселей изображения
Figure 00000014
, q∈i, j,
Figure 00000001
,
Figure 00000002
;
7) восстанавливаются значения пикселей в области η путем копирования из области, для которой евклидова метрика минимальна;
8) пересчитывается коэффициент доверия С для восстановленных пикселей;
9) процедуры 4-10 повторяются, пока не будут восстановлены все значения пикселей из области η, то есть проверяется условие Т=0, где Т - количество пикселей границы δS.
Устройство, реализующее способ восстановления изображений на основе заполнения похожими областями, содержит: блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок поиска подобия, блок заполнения изображения.
Недостатками известного устройства-прототипа являются:
- видимость границ на восстановленном изображении между найденными похожими блоками;
- неправильное восстановление при отсутствии похожего блока;
- зависимость эффективности восстановления от выбора размера блока.
Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:
- отсутствие похожего блока приводит к неправильному восстановлению, так как замена пикселей происходит на пиксели блока, для которого евклидова метрика минимальна, даже в том случае, если она имеет большое значение по абсолютной величине;
- на изображении при поиске похожих блоков не учитывается их ориентация.
Предлагаемое устройство редактирования видеопоследовательностей позволяет уменьшить погрешность восстановления двумерных сигналов. Устройство реализует следующие этапы обработки. На первом этапе загружается видеопоследовательность, на которой необходимо удалить некоторый объект. После чего происходит разбиение видеопоследовательности на кадры. В случае динамического изображения рассматривается модель, которая представляет собой двумерную дискретную последовательность
Figure 00000015
,
Figure 00000001
,
Figure 00000002
,
Figure 00000016
, на которой пользователь должен выделить объект для удаления. Для последующих кадров метки формируются в автоматическом режиме. Происходит это следующим образом: после того как пользователь отметил участки объекта и фона, происходит поиск этих меток на последующем кадре
Figure 00000017
. Метка считается найденной, если евклидова метрика для каждой из найденных меток не превышает порогового значения Т.
При невыполнении данного условия пользователю предлагается расставить метки повторно. Метки, установленные пользователем и найденные в автоматическом режиме необходимы для создания бинарной маски
Figure 00000018
, на которой единичными значениями помечены пиксели, относящиеся к объекту, а нулевыми - к фону. Создание бинарной маски
Figure 00000019
осуществляется с помощью способа, предложенного в патенте [Устройство выделения контуров объектов на текстурированном фоне при обработке цифровых изображений, №2522044]. Суть данного метода заключается в следующем. На первом шаге исходное изображение
Figure 00000017
, на котором представлен некоторый объект на произвольном фоне, двумерный массив Hi, j, содержащий маркеры фона и выделяемого объекта, двумерный массив Vi, j, содержащий маркеры только выделяемого объекта, децимируются на 2. На втором шаге для изображения mIi, j с уменьшенным разрешением и двумерного массива mMi, j с уменьшенной размерностью строится разреженная матрица Лапласа L размерностью М×М:
Figure 00000020
где Σf - ковариационная матрица 3×3, µf - вектор 3×1 средних цветов в окне wf и I3 - идентичная матрица 3×3.
На третьем шаге для двумерного массива Hi/2, j/2 с уменьшенной размерностью строится диагональная матрица Di/2, j/2, диагональные элементы которой равны единице для маркированных пикселей и равны 0 для всех остальных. На четвертом шаге из двумерного массива mVi/2, j/2 формируется вектор-столбец b размерностью 1,
Figure 00000021
, с поэлементным возведением в квадрат. Полученный вектор-столбец b и диагональная матрица Di/2, j/2 умножаются на константу λ. На пятом шаге формируется разреженная матрица Ki/2, j/2:
Ki/2, j/2=(L+λD)
Для полученной разреженной матрицы Ki/2, j/2 находят обратную матрицу
Figure 00000022
. На шестом шаге формируется альфа-канал для изображения с уменьшенным размером:
α*=K-1·λb.
Далее с помощью исходного изображения Ii, j, уменьшенного изображения mIi/2, j/2 альфа-канал α* интерполируется в 2 раза на основе линейных коэффициентов по формуле
Figure 00000023
где с - канал цвета,
Figure 00000024
,
Figure 00000025
.
После чего альфа-канал α бинаризуется, образуя маску
Figure 00000018
. Далее по полученной маске
Figure 00000018
, на кадре
Figure 00000015
, алгоритмом восстановления изображений происходит удаление отмеченного объекта. Данный алгоритм реализован в устройстве [«Устройство для восстановления изображений», Пат. №2450342, Российская Федерация, С1, МПК G06F 17/17, 2011132449/08; заявл. 01.08.2011; опубл. 10.05.2012, бюл. №13]. Суть данного алгоритма заключается в следующем. На первом этапе загружается изображение с потерянными пикселями, а также изображение с маской. После чего создаются двумерные матрицы. Данные матрицы используются для заполнения участков изображения с потерянными пикселями. Заполнение происходит для пикселей, смежных к пикселю, для которого приоритет оказывается максимальным. Вычисление значения приоритета Р(δSi, j) для каждого значения пикселя границы состоит из двух множителей (фиг. 2):
Figure 00000026
Figure 00000027
где: δSi, j - текущий пиксель на границе доступных пикселей; C(δSi, j) - коэффициент доверия; D(δSi, j) - коэффициент градиента;
Figure 00000028
- квадратный блок пикселей с центром в пикселе δSi, j;
Figure 00000029
- количество пикселей квадратного блока,
Figure 00000030
- вектор, ортогональный градиенту в точке δSi, j;
Figure 00000031
- вектор, ортогональный границе δS в точке δSi, j; α - нормированный множитель, который для восьмибитных изображений равен 255.
Вначале предполагается, что значение коэффициента доверия С для пикселей из области Ii, j равно 1, а для области η равно 0. Вычисление приоритета позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия C(δSi, j) позволяет присваивать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области Ii, j,
Figure 00000001
,
Figure 00000002
. Далее происходит поиск блока ψp с максимальным приоритетом
Figure 00000032
.
На следующем шаге находится блок Ψq в области доступных пикселей Ii, j, для которого евклидова норма минимальна (фиг. 3):
Figure 00000033
Значения пикселей из найденного блока копируются в области
Figure 00000034
. Данные доверия С для восстановленных пикселей присваиваются равным текущему значению С(р) с ограничением Ψp, что ∀p∈ψp∩S. Процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется. После того как объект был удален, текущий кадр
Figure 00000015
и все последующие кадры
Figure 00000035
формируются в видеопоследовательность.
Устройство редактирования видеопоследовательностей (фиг. 4) содержит блок хранения кадров 1, вход которого является информационным входом устройства, первый выход которого подключен к входу блока задержки 8, выход которого подключен к первому входу блока поиска меток 7; второй выход блока хранения кадров 1 подключен к входу блока установки меток пользователем 2, выход которого подключен к первому входу блока управления 3, выход которого подключен к входу блока выделения объекта по найденным меткам с помощью альфа-канала 4, выход которого подключен к входу блока хранения маски 5, первый выход которого подключен к первому входу блока хранения данных 9; второй выход блока хранения маски 5 подключен к входу блока выбора меток случайным образом 6, выход которого подключен к второму входу блока поиска меток 7, выход которого подключен ко второму входу блока управления 3; третий выход блока хранения кадров 1 подключен к второму входу блока хранения данных 9, первый выход которого подключен к входу блока хранения пикселей 10, выход которого подключен к входу блока создания словаря 11, выход которого подключен к входу блока хранения словаря 12, выход которого подключен к первому входу блока поиска подобия 15; второй выход блока хранения данных 9 подключен к входу блока обработки 13, выход которого подключен к входу блока вычисления приоритета 14, выход которого подключен к второму входу блока поиска подобия 15, выход которого подключен к входу блока заполнения изображения 16, выход которого подключен к третьему входу блока хранения данных 9, выход которого является информационным выходом устройства; синхронность работы устройства обеспечивается генератором тактовых импульсов 17.
Устройство редактирования видеопоследовательностей реализуется следующим образом. На вход блока хранения кадров поступают кадры видеопоследовательности, на которых необходимо удалить объект. Далее пользователь наносит метки на первом кадре на объекте и фоне. Для последующих кадров метки формируются в автоматическом режиме. После того как пользователь отметил участки объекта и фона, происходит поиск этих меток на последующем кадре с помощью минимума евклидовой метрики. При невыполнении данного условия пользователю предлагается расставить метки повторно. Далее происходит выделение объекта с помощью алгоритма альфа-канала. После чего маска поступает в блок хранения маски и далее в блок хранения данных. На вход блока хранения данных поступает маска с помеченными пикселями. При этом доступные пиксели сохраняются в блоке хранения пикселей. В блоке создания словаря создаются двумерные матрицы, учитывая поворот изображения перед созданием словаря. Данные матрицы используются для заполнения участков изображения с потерянными пикселями. Заполнение происходит для пикселей, смежных к пикселю, для которого приоритет оказывается максимальным. Обработка происходит итеративно, до тех пор, пока все пиксели в блоке хранения данных не будут восстановлены, после чего полученные значения поступают на информационный выход устройства.
Устройство редактирования видеопоследовательностей работает следующим образом. На вход блока хранения кадров 1 поступает видеопоследовательность, где она разбивается на кадры. После чего кадры через блок задержки 8 поступают на вход блока поиска меток 7. Далее пользователь помечает на кадре объект и фон в блоке установки меток пользователем 2. В блоке 4 выделения объекта по найденным меткам с помощью алгоритма альфа-канала происходит выделение объекта по меткам пользователя. Найденная маска сохраняется в блоке хранения маски 5 и далее поступает на вход блока выбора меток случайным образом 6 и на вход блока хранения данных 9. В блоке выбора меток случайным образом 6 на найденной маске расставляются метки случайным образом и подаются в блок поиска меток 7. В блоке поиска меток 7 происходит поиск похожих меток на следующем кадре. После чего кадр подается в блок управления 3, в котором проверяется условие поиска меток. Метка считается найденной, если евклидова метрика для каждой из найденных меток не превышает пороговое значение. При невыполнении данного условия пользователю предлагается расставить метки повторно. На вход блока хранения данных 9 поступает маска с потерянными пикселями. Доступные пиксели сохраняются в блоке хранения пикселей 10, с помощью которых в блоке создания словаря 11 создаются двумерные матрицы, которые используются далее для восстановления изображения. Матрицы создаются путем формирования квадратных блоков размером 15 на 15 пикселей из исходного изображения путем смещения блока по всем доступным пикселям изображения. Данные матрицы хранятся в блоке хранения словаря 12. В блоке обработки 13 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения данных 9. Далее информация о граничных пикселях поступает на вход блока вычисления приоритета 14, в котором вычисляется приоритет для всех граничных пикселей, который состоит из двух множителей: коэффициент доверия и коэффициент градиента. В данном блоке также осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. Область поступает на вход блока поиска подобия 15, в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам, которые хранятся в блоке хранения словаря 13. В блоке поиска подобия 15 также определяется количество похожих блоков, для которых евклидова метрика не превосходит порогового значения. Далее эти блоки поступают в блок заполнения изображения 16, в котором копируются значения пикселей, смежных к пикселю с максимальным приоритетом в блок хранения данных 9 на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор, пока не будут восстановлены все значения в блоке хранения данных 9. Синхронность работы устройства обеспечивается генератором тактовых импульсов 17.
Технический результат - реконструкция значений пикселей динамических двумерных сигналов в условиях неполной априорной информации.

Claims (1)

  1. Устройство редактирования видеопоследовательностей, содержащее блок хранения данных, первый выход которого подключен к входу блока хранения пикселей, выход которого подключен к входу блока создания словаря, выход которого подключен к входу блока хранения словаря, выход которого подключен к первому входу блока поиска подобия; второй выход блока хранения данных подключен к входу блока обработки, выход которого подключен к входу блока вычисления приоритета; выход блока заполнения изображения подключен к третьему входу блока хранения данных, выход которого является информационным выходом устройства; генератор тактовых импульсов, отличающееся тем, что вход блока хранения кадров является информационным входом устройства, первый выход которого подключен к входу блока задержки, выход которого подключен к первому входу блока поиска меток; второй выход блока хранения кадров подключен к входу блока установки меток пользователем, выход которого подключен к первому входу блока управления, выход которого подключен к входу блока выделения объекта по найденным меткам с помощью альфа-канала, выход которого подключен к входу блока хранения маски, первый выход которого подключен к первому входу блока хранения данных; второй выход блока хранения маски подключен к входу блока выбора меток случайным образом, выход которого подключен ко второму входу блока поиска меток, выход которого подключен ко второму входу блока управления; третий выход блока хранения кадров подключен к второму входу блока хранения данных; выход блока вычисления приоритета подключен ко второму входу блока поиска подобия, выход которого подключен к входу блока заполнения изображения.
RU2014154392/08A 2014-12-30 2014-12-30 Устройство редактирования видеопоследовательностей RU2572377C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2014154392/08A RU2572377C1 (ru) 2014-12-30 2014-12-30 Устройство редактирования видеопоследовательностей

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2014154392/08A RU2572377C1 (ru) 2014-12-30 2014-12-30 Устройство редактирования видеопоследовательностей

Publications (1)

Publication Number Publication Date
RU2572377C1 true RU2572377C1 (ru) 2016-01-10

Family

ID=55072124

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014154392/08A RU2572377C1 (ru) 2014-12-30 2014-12-30 Устройство редактирования видеопоследовательностей

Country Status (1)

Country Link
RU (1) RU2572377C1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2669470C1 (ru) * 2017-12-25 2018-10-12 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство для удаления логотипов и субтитров с видеопоследовательностей

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US7551181B2 (en) * 2003-02-24 2009-06-23 Microsoft Corporation Image region filling by exemplar-based inpainting
US7636128B2 (en) * 2005-07-15 2009-12-22 Microsoft Corporation Poisson matting for images
RU2426172C1 (ru) * 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
RU2440614C1 (ru) * 2010-08-02 2012-01-20 Государственное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ГОУ ВПО "ЮРГУЭС") Устройство обработки двумерных сигналов при реконструкции изображений
RU2450342C1 (ru) * 2011-08-01 2012-05-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Устройство для восстановления изображений

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6188777B1 (en) * 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
US7551181B2 (en) * 2003-02-24 2009-06-23 Microsoft Corporation Image region filling by exemplar-based inpainting
US7636128B2 (en) * 2005-07-15 2009-12-22 Microsoft Corporation Poisson matting for images
RU2426172C1 (ru) * 2010-01-21 2011-08-10 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
RU2440614C1 (ru) * 2010-08-02 2012-01-20 Государственное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ГОУ ВПО "ЮРГУЭС") Устройство обработки двумерных сигналов при реконструкции изображений
RU2450342C1 (ru) * 2011-08-01 2012-05-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Устройство для восстановления изображений

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2669470C1 (ru) * 2017-12-25 2018-10-12 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство для удаления логотипов и субтитров с видеопоследовательностей

Similar Documents

Publication Publication Date Title
Zhang et al. A coarse-to-fine framework for cloud removal in remote sensing image sequence
US10366504B2 (en) Image processing apparatus and image processing method for performing three-dimensional reconstruction of plurality of images
US8498498B2 (en) Apparatus and method of obtaining high resolution image
WO2018053952A1 (zh) 一种基于场景样本库的影视图像深度提取方法
RU2450342C1 (ru) Устройство для восстановления изображений
US11651581B2 (en) System and method for correspondence map determination
RU2440614C1 (ru) Устройство обработки двумерных сигналов при реконструкции изображений
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
Ilan et al. A Survey on Data‐Driven Video Completion
Alsadik et al. Efficient use of video for 3D modelling of cultural heritage objects
CN111127376A (zh) 一种数字视频文件修复方法及装置
RU2669470C1 (ru) Устройство для удаления логотипов и субтитров с видеопоследовательностей
CN111260794B (zh) 基于跨源图像匹配的户外增强现实应用方法
US10346949B1 (en) Image registration
Desai et al. Survey on gap filling in satellite images and inpainting algorithm
RU2572377C1 (ru) Устройство редактирования видеопоследовательностей
Voronin et al. Inpainting for videos with dynamic objects using texture and structure reconstruction
Ibadov et al. Image reconstruction using the modified texture synthesis algorithm
CN117036235A (zh) 一种继电保护柜端子排线序检测方法
Padalkar et al. Auto-inpainting heritage scenes: a complete framework for detecting and infilling cracks in images and videos with quantitative assessment
RU2754965C1 (ru) Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети
Ghanbari et al. Video inpainting using a contour-based method in presence of more than one moving objects
RU2661534C1 (ru) Устройство для реконструкции изображений на основе хэш-функций
Grossauer Inpainting of movies using optical flow
RU2580456C1 (ru) Устройство восстановления искаженных значений пикселей изображений

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20161231