RU2311684C1 - Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений - Google Patents

Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений

Info

Publication number
RU2311684C1
RU2311684C1 RU2006107912/09A RU2006107912A RU2311684C1 RU 2311684 C1 RU2311684 C1 RU 2311684C1 RU 2006107912/09 A RU2006107912/09 A RU 2006107912/09A RU 2006107912 A RU2006107912 A RU 2006107912A RU 2311684 C1 RU2311684 C1 RU 2311684C1
Authority
RU
Russia
Prior art keywords
image
current frame
shift
signal
parameters
Prior art date
Application number
RU2006107912/09A
Other languages
English (en)
Inventor
Борис Алексеевич Алпатов (RU)
Борис Алексеевич Алпатов
н Павел Вартанович Баба (RU)
Павел Вартанович Бабаян
Алексей Николаевич Блохин (RU)
Алексей Николаевич Блохин
Андрей Анатольевич Катаев (RU)
Андрей Анатольевич Катаев
шкин Леонид Николаевич Кост (RU)
Леонид Николаевич Костяшкин
Юрий Николаевич Романов (RU)
Юрий Николаевич Романов
Original Assignee
Федеральное Государственное Унитарное Предприятие "Государственный Рязанский Приборный Завод"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное Государственное Унитарное Предприятие "Государственный Рязанский Приборный Завод" filed Critical Федеральное Государственное Унитарное Предприятие "Государственный Рязанский Приборный Завод"
Priority to RU2006107912/09A priority Critical patent/RU2311684C1/ru
Application granted granted Critical
Publication of RU2311684C1 publication Critical patent/RU2311684C1/ru

Links

Landscapes

  • Image Processing (AREA)

Abstract

Изобретение относится, в общем, к области техники цифровой обработки изображений, а конкретно к обработке сигналов для выделения движущихся объектов в последовательности телевизионных изображений. Технический результат изобретения заключается в повышении точности выделения объектов за счет устойчивости к пространственным искажениям. Технический результат достигается за счет определения угла поворота изображения текущего кадра относительно эталонного изображения, повышения точности вычисления параметров сдвига до долей пикселя, смены эталонного изображения в зависимости от вычисленных величин сдвига и поворота, сдвига фонового изображения на целое число пикселей, поворота изображения текущего кадра вокруг центра изображения и последующего сдвига повернутого изображения на дробное число пикселей, вычисления значения пороговой величины с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, межкадровой фильтрации результатов пороговой обработки. 3 з.п. ф-лы.

Description

Изобретение относится к цифровой обработке изображений и может быть использовано в охранных системах, системах технического зрения, системах космического мониторинга Земли и др.
Известен способ обработки сигналов для выделения объектов, наблюдаемых в последовательности телевизионных изображений [пат. РФ № 2193825, МПК Н04N 7/18, 2002 г.], состоящий в том, что из сигналов изображения после их аналого-цифрового преобразования выделяется 2N ориентиров местности (N=3, 4, 5,...), используемых для оценки параметров сдвига и поворота текущего изображения относительно предыдущего, и после этого осуществляется выделение объектов путем пороговой обработки разностного изображения, полученного вычитанием из сигнала текущего изображения сигнала изображения эталонного фона, причем величина порога зависит от локального параметра рассеяния разностного изображения.
Недостатками указанного способа является невысокая точность оценки параметров сдвига и поворота текущего изображения и отсутствие компенсации влияния погрешности оценки параметров сдвига и поворота на точность выделения объектов.
Наиболее близким к заявляемому способу является выбранный в качестве прототипа способ автоматического выделения сигналов движущихся объектов в последовательности изображений при наличии геометрических искажений изображения [Алпатов Б.А., Бабаян П.В. Выделение движущихся объектов в условиях геометрических искажений изображения // Цифровая обработка сигналов. - 2004. - № 4. - с.9-14], заключающийся в аналого-цифровом преобразовании сигнала изображения каждого кадра, запоминании первого кадра обрабатываемой последовательности в качестве эталонного изображения, запоминании первого кадра обрабатываемой последовательности в качестве фонового изображения, определении параметров сдвига изображения текущего кадра относительно эталонного изображения с точностью до элемента пространственного разрешения (пикселя), сдвиге фонового изображения в соответствии с вычисленными значениями параметров сдвига, предварительной фильтрации фонового изображения в течение первых Nпр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го (значение пороговой величины определяется дисперсией аддитивного шума на изображении текущего кадра), рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки.
Недостатком способа является неработоспособность при сдвигах текущего кадра относительно первого, сравнимых по величине с размером изображения, и в условиях, когда движение датчика изображений в пространстве порождает более сложные искажения сигнала изображения текущего кадра, чем простой сдвиг относительно эталонного фонового изображения (например, совокупность сдвига и поворота).
Технической задачей изобретения является повышение точности выделения объектов за счет устойчивости к пространственным искажениям, имеющим вид сдвига и поворота изображения текущего кадра относительно ранее наблюдавшихся кадров.
Технический результат, достигаемый при осуществлении заявляемого изобретения, заключается в аналого-цифровом преобразовании сигнала изображения каждого кадра, запоминании первого кадра обрабатываемой последовательности в качестве эталонного изображения, запоминании первого кадра обрабатываемой последовательности в качестве фонового изображения, определении параметров сдвига изображения текущего кадра относительно эталонного изображения, сдвиге фонового изображения в соответствии с полученными оценками параметров сдвига, предварительной фильтрации фонового изображения в течение первых Nпр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го, рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки, при этом угол поворота изображения текущего кадра относительно эталонного изображения определяют до определения параметров сдвига изображения текущего кадра относительно эталонного изображения, вычисление параметров сдвига изображения текущего кадра относительно эталонного изображения осуществляется с субпиксельной точностью, при превышении вычисленными значениями сдвига и угла поворота изображения текущего кадра относительно эталонного изображения максимально допустимого значения осуществляется смена эталонного изображения, после проверки условия смены эталонного изображения вычисляют параметры сдвига изображения текущего кадра относительно фонового изображения и угла поворота изображения текущего кадра относительно изображения первого кадра по найденным значениям параметров сдвига и поворота текущего кадра относительно эталонного изображения, сдвиг фонового изображения осуществляют на целое число пикселей, после сдвига фонового изображения на целое число пикселей осуществляют поворот и субпиксельный сдвиг изображения текущего кадра, при пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения значение пороговой величины вычисляют с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, после пороговой обработки абсолютной величины сигнала разности изображения текущего кадра и фонового изображения дополнительно осуществляют межкадровую фильтрацию результатов пороговой обработки.
Угол поворота изображения текущего кадра относительно эталонного изображения φТЭ можно определять по правилу
Figure 00000001
где F-1 - оператор обратного дискретного преобразования Фурье;
Figure 00000002
- комплексно-сопряженный спектр сигнала
Figure 00000003
;
Figure 00000003
- результат логарифмирования абсолютной величины спектра сигнала
Figure 00000004
, представленный в полярной системе координат;
Figure 00000005
- результат перемножения изображения Δln(i, j) и оконной функции w(i, j),
Figure 00000006
, спадающей до нуля от середины к краям изображения;
Figure 00000007
- центрированный сигнал изображения текущего кадра ln(i, j);
Figure 00000008
- среднее значение сигнала яркости изображения текущего кадра ln(i, j);
SSe(ωρ, ωφ) - спектр сигнала
Figure 00000009
Figure 00000010
- результат логарифмирования абсолютной величины спектра сигнала ew(i, j), представленный в полярной системе координат;
(ρ, φ) - полярные координаты;
ew(i, j) - результат перемножения центрированного сигнала эталонного изображения Δe(i, j) и оконной функции w(i, j),
Figure 00000006
, спадающей до нуля от середины к краям изображения;
Figure 00000011
- центрированный сигнал эталонного изображения e(i, j);
Figure 00000012
- среднее значение сигнала яркости эталонного изображения e(i, j);
ωρ, ωφ - пространственные частоты для полярной системы координат.
Параметры сдвига фонового изображения (αR, βR) можно вычислять как αR=round(αТФ) и βR=round(βТФ), где round(...) - функция округления до ближайшего целого значения, αТФ - сдвиг изображения текущего кадра относительно фонового изображения по вертикальной оси, βТФ - сдвиг изображения текущего кадра относительно фонового изображения по горизонтальной оси, а параметры сдвига и поворота изображения текущего кадра можно определять как - φТ1 и (Δα, Δβ), где φТ1 - угол поворота изображения текущего кадра относительно изображения первого кадра,
Figure 00000013
Figure 00000014
Межкадровую фильтрацию результатов пороговой обработки можно осуществлять по правилу
Figure 00000015
где qn(i, j) - результат межкадровой фильтрации в виде бинарного изображения
Figure 00000016
К - количество анализируемых кадров, предшествовавших текущему;
Figure 00000017
Figure 00000018
W - размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,...);
D - минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту;
n=2, 3, 4,... - номер кадра.
Таким образом, отличия заявляемого способа от прототипа состоят в следующем:
1) наличии ранее отсутствовавшего этапа определения угла поворота изображения текущего кадра относительно эталонного изображения φТЭ;
2) повышении точности вычисления параметров сдвига αТЭ и βТЭ до долей пикселя;
3) наличии этапа смены эталонного изображения в зависимости от вычисленных величин сдвига αТЭ, βТЭ и поворота φТЭ;
4) наличии ранее отсутствовавшего этапа вычисления параметров сдвига αТФ, βТФ и поворота φТ1 изображения текущего кадра относительно фонового изображения по найденным значениям αТЭ, βТЭ и φТЭ;
5) сдвиге фонового изображения на целое число пикселей (αR, βR);
6) наличии ранее отсутствовавшего этапа поворота изображения текущего кадра ln(i, j) на угол - φT1 вокруг центра изображения и последующего сдвига повернутого изображения на дробное число пикселей (Δα, Δβ);
7) использовании нового правила определения пороговой величины Т, учитывающего, кроме дисперсии аддитивного шума, турбулентность атмосферы, вибрацию датчика изображений и неточность определения параметров сдвига и поворота;
8) наличии этапа межкадровой фильтрации результатов пороговой обработки (бинарного изображения).
Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений осуществляется следующим образом:
1) аналого-цифровое преобразование сигнала изображения каждого кадра наблюдаемой последовательности;
2) запоминание изображения первого кадра обрабатываемой последовательности в качестве эталонного изображения;
3) запоминание изображения первого кадра обрабатываемой последовательности в качестве фонового изображения;
4) определение угла поворота изображения текущего кадра относительно эталонного изображения φТЭ;
5) определение параметров сдвига изображения текущего кадра относительно эталонного изображения αТЭ и βТЭ с субпиксельной точностью, где αТЭ - сдвиг изображения текущего кадра относительно эталонного изображения по вертикальной оси, βТЭ - сдвиг изображения текущего кадра относительно эталонного изображения по горизонтальной оси;
6) смена эталонного изображения при выполнении хотя бы одного из условий (|αТЭ|>Tαβ), (|βТЭ|>Тαβ) и (|φТЭ|>Tφ), где Tαβ и Tφ - соответственно максимально допустимые значения параметров сдвига и поворота;
7) вычисление параметров сдвига αТФ, βТФ и поворота φт1 по найденным значениям αТЭ, βТЭ и φТЭ, где αТФ - сдвиг изображения текущего кадра относительно фонового изображения по вертикальной оси, βТФ - сдвиг изображения текущего кадра относительно фонового изображения по горизонтальной оси, φТ1 - угол поворота изображения текущего кадра относительно изображения первого кадра;
8) сдвиг фонового изображения на (αR, βR) пикселей, где αR и βR - результат округления αТФ и βТФ до целого значения;
9) поворот изображения текущего кадра ln(i, j) на угол - φT1 вокруг центра изображения и последующий сдвиг повернутого изображения на дробное число пикселей (Δα, Δβ), где Δα=αТФ-αR и Δβ=βТФ-βR;
10) предварительная фильтрация преобразованного фонового изображения в течение первых Nпр кадров;
11) пороговая обработка абсолютной величины сигнала разности преобразованного изображения текущего кадра и преобразованного фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го;
12) межкадровая фильтрация результатов пороговой обработки;
13) рекурсивное уточнение оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки.
Результат аналого-цифрового преобразования изображения каждого кадра имеет вид матрицы чисел ln (i, j),
Figure 00000006
, где I и J - размеры оцифрованного изображения в элементах разрешения (пикселях), n=1, 2, 3,... - номер кадра. Каждый элемент матрицы ln(i, j) является результатом квантования яркости соответствующей точки наблюдаемой сцены.
В соответствии с разработанным способом эталонное изображение используется для компенсации наблюдаемых пространственных искажений изображения, а фоновое изображение - для выделения сигналов движущихся объектов.
Обработка каждого кадра наблюдаемой последовательности изображений, начиная со второго, начинается с вычисления угла поворота φТЭ изображения текущего кадра ln(i, j) относительно эталонного изображения e(i, j). Вычисление осуществляют по следующему правилу, использующему свойство инвариантности абсолютной величины спектра изображения от сдвига изображения и связь между углом поворота изображения в декартовой системе координат и величиной сдвига изображения в полярной системе координат:
Figure 00000019
где F-1 - оператор обратного дискретного преобразования Фурье;
Figure 00000002
- комплексно-сопряженный спектр сигнала
Figure 00000003
;
Figure 00000003
- результат логарифмирования абсолютной величины спектра сигнала
Figure 00000004
представленный в полярной системе координат;
Figure 00000005
- результат перемножения изображения Δln(i, j) и оконной функции w(i, j),
Figure 00000006
, спадающей до нуля от середины к краям изображения;
Figure 00000007
- центрированный сигнал изображения текущего кадра ln(i, j);
Figure 00000020
- среднее значение сигнала яркости изображения текущего кадра ln(i, j);
SSe(ωρ,ωφ) - спектр сигнала
Figure 00000021
Figure 00000022
- результат логарифмирования абсолютной величины спектра сигнала ew(i, j), представленный в полярной системе координат;
(ρ, φ) - полярные координаты;
ew(i, j) - результат перемножения центрированного сигнала эталонного изображения Δe(i, j) и оконной функции w(i, j),
Figure 00000006
, спадающей до нуля от середины к краям изображения;
Figure 00000011
- центрированный сигнал эталонного изображения e(i, j);
Figure 00000023
- среднее значение сигнала яркости эталонного изображения e(i, j);
ωρ, ωφ - пространственные частоты для полярной системы координат.
Вычисление спектров сигналов осуществляют с помощью алгоритма быстрого преобразования Фурье. Умножение сигнала изображения на оконную функцию w(i, j), спадающую до нуля от середины к краям изображения, выполняется с целью компенсации явления Гиббса. При обработке первого кадра значение φТЭ принимается равным нулю.
Определение угла поворота в соответствии с приведенным выше правилом позволяет значительно повысить точность оценки параметров сдвига и поворота по сравнению со способом, предложенным в [1]. Проведенные экспериментальные исследования показали, что при отношении сигнал/шум (отношении контраста объекта к среднеквадратическому отклонению аддитивного шума) около 8, максимальном угле поворота 10° и суммарной площади движущихся объектов, не превышающей 10% от общей площади изображения, ошибка оценивания угла поворота не превышает 10-3 градусов.
Определение параметров сдвига (αТЭ, βТЭ) изображения текущего кадра относительно эталонного осуществляют по правилу
Figure 00000024
где
Figure 00000025
- комплексно-сопряженный спектр сигнала
Figure 00000026
;
Figure 00000027
- результат перемножения изображения
Figure 00000028
и оконной функции w(i, j);
Figure 00000029
- центрированный сигнал изображения
Figure 00000026
;
Figure 00000030
- результат поворота сигнала изображения текущего кадра ln(i, j) вокруг центра изображения на угол - φТЭ;
Figure 00000031
- среднее значение сигнала яркости изображения
Figure 00000032
Se(ωi, ωj) - спектр центрированного сигнала эталонного изображения Δе(i, j);
ωi, ωj - пространственные частоты для декартовой системы координат.
Субпиксельная точность определения параметров сдвига αТЭ и βТЭ достигается использованием параболической интерполяции значений массива
Figure 00000033
в окрестности точки максимума.
Для сохранения приемлемой точности определения параметров αТЭ, βТЭ и φТЭ происходит смена эталонного изображения каждый раз, как вычисленное в текущем кадре значение какого-либо из параметров превысит соответствующее максимально допустимое значение.
Проведенные экспериментальные исследования показали, что при отношении сигнал/шум около 8, максимальном сдвиге, не превышающем 15% от линейных размеров изображения и суммарной площади движущихся объектов, не превышающей 10% от общей площади изображения, ошибка оценивания сдвига не превышает 0,5 элемента разрешения (пикселя).
На основе вычисленных значений параметров αТЭ, βТЭ и φТЭ определяют значения параметров αТ1, βТ1 и φТ1, связывающих между собой изображение текущего кадра ln(i, j) и изображение первого кадра в соответствии с выражениями
αT1=αЭ1·cos(φТЭ)-βЭ1·sin(φТЭ)+αТЭ,
βT1=βЭ1·cos(φТЭ)+αЭ1·sin(φТЭ)+βТЭ,
φТ1=φТЭ+φэ1
где αТ1 - сдвиг изображения текущего кадра ln(i, j) относительно изображения первого кадра по вертикальной оси;
βT1 - сдвиг изображения текущего кадра ln(i, j) относительно изображения первого кадра по горизонтальной оси;
φT1 - угол поворота изображения текущего кадра относительно изображения первого кадра;
αЭ1 - сдвиг эталонного изображения e(i, j) относительно изображения первого кадра по вертикальной оси;
βЭ1, - сдвиг эталонного изображения e(i, j) относительно изображения первого кадра по горизонтальной оси;
φЭ1 - угол поворота эталонного изображения e(i, j) относительно изображения первого кадра.
Каждый раз при смене эталонного изображения параметры αЭ1, βЭ1 и φЭ1 обновляют:
αЭ1=αТ1, βЭ1=βТ1 и φЭ1=φТ1.
До первой смены эталонного изображения
αЭ1=0, βЭ1=0 и φЭ1=0.
Геометрическое преобразование изображения текущего (n-го) кадра ln(i, j) и фонового изображения ƒn-1(i, j), полученного в результате обработки (n-1) предыдущих кадров, осуществляют с целью компенсации наблюдаемых пространственных искажений изображения текущего кадра. В результате точки обоих изображений с одинаковыми координатами (индексами) соответствуют одной и той же точке наблюдаемой сцены.
Для выполнения геометрических преобразований изображений ln(i, j) и ƒn-1(i, j) предварительно вычисляют параметры сдвига αТФ и βТФ, связывающие изображение текущего кадра ln(i, j) и фоновое изображение ƒn-1(i, j), по правилам
αТФ=αТ1-αФ1 и βТФ=βТ1-βФ1,
где αТФ - сдвиг изображения текущего кадра ln(i, j) относительно фонового изображения ƒn-1(i, j) по вертикальной оси;
βТФ - сдвиг изображения текущего кадра ln(i, j) относительно фонового изображения ƒn-1(i, j) по горизонтальной оси;
Figure 00000034
- сдвиг фонового изображения ƒn-1(i, j) относительно изображения первого кадра по вертикальной оси;
Figure 00000035
- сдвиг фонового изображения ƒn-1(i, j) относительно изображения первого кадра по горизонтальной оси;
Figure 00000036
- значение αФ1, вычисленное при обработке предыдущего кадра (при обработке второго кадра
Figure 00000037
=0);
Figure 00000038
- значение βФ1, вычисленное при обработке предыдущего кадра (при обработке второго кадра
Figure 00000039
=0);
Figure 00000040
- результат округления значения
Figure 00000041
до целого числа пикселей;
Figure 00000042
- результат округления значения
Figure 00000043
до целого числа пикселей;
Figure 00000044
- значение αТФ, вычисленное при обработке предыдущего кадра (при обработке второго кадра
Figure 00000044
=0);
Figure 00000045
- значение βТФ, вычисленное при обработке предыдущего кадра (при обработке второго кадра
Figure 00000046
=0);
round(...) - функция округления до ближайшего целого значения.
После вычисления параметров αТФ и βТФ вычисляют значения αR и βR для текущего кадра в соответствии с выражениями
αR=round(αТФ) и βR=round(βТФ).
Компенсация пространственных искажений достигается выполнением следующих операций над сигналами изображений:
а) сдвиг фонового изображения ƒn-1(i, j) на (αR, βR) пикселей;
б) поворот изображения текущего кадра ln(i, j) на угол
Figure 00000047
вокруг центра изображения;
в) сдвиг изображения
Figure 00000048
на (Δα, Δβ) пикселей, где
Figure 00000048
- изображение, получаемое в результате поворота ln(i, j) на угол
Figure 00000049
Δα=αТФ-αR и Δβ=βТФ-βR.
В результате поворота и субпиксельного сдвига точка изображения с некоторыми координатами (i, j) переходит в точку результирующего изображения, координаты которой задаются нецелым числом, т.е. не совпадают с узлами дискретной сетки
Figure 00000006
, на которой заданы изображения. Поэтому яркости точек изображения
Figure 00000050
, получаемого в результате поворота изображения текущего кадра ln(i, j) вокруг центра на угол -φT1 и последующего сдвига повернутого изображения
Figure 00000048
на дробное число пикселей (Δα, Δβ), вычисляются методом пространственной интерполяции яркостей точек изображения ln(i, j), оказавшихся в результате сдвига и поворота в окрестности рассматриваемой точки изображения
Figure 00000051
с координатами (i, j),
Figure 00000006
.
Известно, что пространственная интерполяция приводит к ослаблению высокочастотной составляющей сигнала изображения (размытию контуров, снижению разборчивости мелких деталей изображения). Экспериментально установлено, что ослабление высокочастотной составляющей фонового изображения, возникающее вследствие пространственной интерполяции, приводит к заметному снижению точности выделения сигналов движущихся объектов. Поэтому в соответствии с разработанной процедурой компенсации пространственных искажений фоновое изображение не подвергается операциям, требующим пространственной интерполяции изображения - повороту и субпиксельному сдвигу. Сдвиг фонового изображения на целое число пикселей (αR, βR) позволяет на последующих этапах обработки наблюдаемой последовательности изображений учитывать в фоновом изображении постепенный уход из поля зрения датчика изображений некоторых ранее наблюдавшихся и появление новых участков наблюдаемой сцены, вызванное движением датчика изображений. Результат сдвига фонового изображения на (αR, βR) пикселей имеет вид
Figure 00000052
(яркость точек, соответствующих ранее не наблюдавшимся точкам изображения текущего кадра, принимается равной яркости точек наблюдаемого изображения).
На этапе предварительной фильтрации осуществляют оценивание яркости ƒn(i, j) и второго начального момента μn(i, j) точек фонового изображения в течение Nпр кадров в соответствии с выражениями
Figure 00000053
и
Figure 00000054
где
Figure 00000055
- результат сдвига μn(i, j) на (αR, βR) пикселей.
Одновременно оценивают ƒn(i, j) и μn(i, j) для каждой точки наблюдаемого изображения подсчитывается количество кадров kn(i, j), в течение которых эта точка присутствовала в поле зрения датчика изображений. При обработке первого кадра каждой точке фонового изображения ставится в соответствие значение kn(i, j), равное 1. При обработке последующих кадров значение kn(i, j) увеличивается на единицу для всех наблюдаемых точек фонового изображения с учетом сдвига фонового изображения на (αR, βR) пикселей:
Figure 00000056
Если для какой-либо точки (i0, j0) счетчик количества кадров kn(i0, j0) достиг значения Nпр, то считается, что получены достаточно точные оценки яркости и второго начального момента фонового изображения в рассматриваемой точке.
Оценка дисперсии аддитивного шума dn(i, j), используемая на этапе пороговой обработки для выделения сигналов движущихся объектов, вычисляется однократно только для тех точек фонового изображения, для которых накоплены достаточно точные оценки яркости и второго начального момента, по правилу
dn(i, j)=μn(i, j)-[ƒn(i, j)]2 при kn(i, j)=Nпр.
При обработке всех последующих кадров вычисленная оценка dn(i, j) в точках, для которых kn(i, j)>Nпр, подвергается рекурсивному уточнению и сдвигу в соответствии с вычисленными параметрами (αR, βR).
На этапе пороговой обработки осуществляется выделение движущихся объектов путем сравнения яркостей точек изображения текущего кадра с яркостями соответствующих им точек фонового изображения. Если абсолютная величина разности двух изображений в рассматриваемой точке (i, j) превысила пороговую величину Т, то принимается гипотеза о принадлежности рассматриваемой точки изображению движущегося объекта. При определении пороговой величины Т учитывается дисперсия аддитивного шума, турбулентность атмосферы, вибрация датчика изображений и неточность определения параметров сдвига и поворота. Результат пороговой обработки имеет вид бинарного изображения bn(i, j), вычисляемого по правилу
Figure 00000057
где
Figure 00000058
λ - полуширина (1-p_)·100% доверительного интервала для нормированной гауссовой случайной величины;
p_ - допустимая вероятность ошибочного отнесения точки фона к объекту;
Figure 00000059
- оценка суммарной дисперсии помех, вызванных аддитивным шумом, турбулентностью атмосферы, вибрацией датчика изображений и неточным определением параметров сдвига и поворота;
Figure 00000060
- оценка дисперсии помех, вызванных атмосферными явлениями и неточностью оценки параметров геометрических искажений;
Figure 00000061
- оценка градиента преобразованного фонового изображения;
Figure 00000062
- оценка дисперсии ошибок, вызванных неточным определением угла поворота;
Figure 00000063
- оценка дисперсии ошибок, вызванных неточной оценкой сдвига;
Figure 00000064
- оценка дисперсии ошибок, вызванных турбулентностью атмосферы, вибрацией датчика изображений, задаваемыми как случайный гауссовский сдвиг точек изображения.
Экспериментальные исследования показали, что при отношениях сигнал/шум от 2 до 6 использование разработанного способа позволяет повысить частоту правильного выделения на 5-10% или снизить частоту ложного выделения примерно в 1,5-2 раза по сравнению с прототипом.
Межкадровая фильтрация результатов пороговой обработки позволяет значительно снизить количество точек, ошибочно отнесенных к объекту или к фону. Результат межкадровой фильтрации, так же как и результат пороговой обработки, имеет вид бинарного изображения qn(i, j), вычисляемого по правилу
Figure 00000065
,
где
Figure 00000066
;
К - количество анализируемых кадров, предшествовавших текущему;
Figure 00000067
;
Figure 00000068
;
W - размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,...);
D - минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту.
Применение межкадровой фильтрации результатов пороговой обработки при отношениях сигнал/шум от 2 до 5 позволяет повысить частоту правильного выделения в среднем на 30-50% при сохранении прежнего значения частоты ложного выделения.
Процедура рекурсивного уточнения оценок яркости точек фонового изображения ƒn(i, j) и дисперсии аддитивного шума dn(i, j), полученных в результате предварительной фильтрации фонового изображения, позволяет учитывать изменения указанных параметров от кадра к кадру. Уточнение оценок ƒn(i, j) и dn(i, j) осуществляется в соответствии с выражениями
Figure 00000069
Figure 00000070
Точки фонового изображения, для которых qn(i, j)=1, являются ненаблюдаемыми в текущем кадре (т.е. закрыты движущимися объектами), поэтому уточнение оценок в этих точках не осуществляется.
В точках фонового изображения, для которых значение kn(i, j) не достигло значения Nпр, продолжается оценивание яркости ƒn(i, j) и второго начального момента μn(i, j) в соответствии с выражениями, аналогичными приведенным выше (для этапа предварительной фильтрации).
Счетчик количества кадров kn(i, j), в течение которых наблюдалась та или иная точка фонового изображения, продолжает обновляться и после этапа предварительного накопления оценок с учетом результатов обработки изображения текущего кадра по правилам
Figure 00000056
Если при обработке изображения текущего кадра значение счетчика количества кадров в рассматриваемой точке достигло Nпр, то, начиная со следующего кадра, для этой точки будет выполняться пороговая обработка абсолютной величины разности изображений
Figure 00000071
и
Figure 00000072
с целью принятия решения о наличии в этой точке изображения движущегося объекта.
Предлагаемый способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений может быть реализован на базе персональной электронной вычислительной машины (ПЭВМ) общего назначения, осуществляющей обработку последовательности изображений, поступающей от цифровой видеокамеры или от аналоговой видеокамеры через плату оцифровки изображения (фреймграббер). При использовании ПЭВМ типа Pentium IV 3 ГГц (ОЗУ - 512 Мбайт, FSB - 4×187 МГц, операционная система - Windows 2000 Professional или Windows XP) и фреймграббера Matrox Meteor II частота обработки составляет 15 кадров в секунду.
Предусмотрен также вариант реализации предлагаемого способа базе двух ПЭВМ общего назначения, удовлетворяющий более строгим требованиям к частоте обработки последовательности телевизионных изображений и отличающийся от описанного выше варианта тем, что одна из ПЭВМ используется только для решения задачи компенсации пространственных искажений, другая - для выделения объектов. При аналогичной конфигурации обеих ПЭВМ (Pentium IV 3 ГГц, ОЗУ - 512 Мбайт, FSB - 4×187 МГц, операционная система - Windows 2000 Professional или Windows XP) частота обработки составляет 25 кадров в секунду.
В случаях, когда использование ПЭВМ общего назначения невозможно (например, при разработке бортовых видеоинформационных систем для летательных аппаратов) либо необходима более высокая частота обработки, предлагаемый способ обработки сигналов может быть реализован на базе программируемых логических интегральных схем (ПЛИС) либо совместного использования ПЛИС и специализированных цифровых процессоров обработки сигналов, осуществляющих общее управление процессом вычислений.
Таким образом, использование предлагаемого способа в охранных системах, системах технического зрения, системах космического мониторинга Земли и др. позволит значительно повысить устойчивость таких систем к пространственным искажениям изображения, вызванным движением датчика изображений, его вибрацией и турбулентностью атмосферы по сравнению с ранее используемыми способами.

Claims (4)

1. Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений, заключающийся в аналого-цифровом преобразовании сигнала изображения каждого кадра, запоминании первого кадра обрабатываемой последовательности в качестве эталонного изображения, запоминании первого кадра обрабатываемой последовательности в качестве фонового изображения, определении параметров сдвига изображения текущего кадра относительно эталонного изображения, сдвиге фонового изображения в соответствии с полученными оценками параметров сдвига, предварительной фильтрации фонового изображения в течение первых Nпр кадров, пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения для всех последующих кадров, начиная с (Nпр+1)-го, рекурсивном уточнении оценок яркости точек фонового изображения и дисперсии аддитивного шума с учетом результатов пороговой обработки, отличающийся тем, что угол поворота изображения текущего кадра относительно эталонного изображения определяют до определения параметров сдвига изображения текущего кадра относительно эталонного изображения, вычисление параметров сдвига изображения текущего кадра относительно эталонного изображения осуществляют с субпиксельной точностью, при превышении вычисленными значениями сдвига и угла поворота изображения текущего кадра относительно эталонного изображения максимально допустимого значения осуществляют смену эталонного изображения, после проверки условия смены эталонного изображения вычисляют параметры сдвига изображения текущего кадра относительно фонового изображения и угла поворота изображения текущего кадра относительно изображения первого кадра по найденным значениям параметров сдвига и поворота текущего кадра относительно эталонного изображения, сдвиг фонового изображения осуществляют на целое число пикселей, после сдвига фонового изображения на целое число пикселей осуществляют поворот и субпиксельный сдвиг изображения текущего кадра, при пороговой обработке абсолютной величины сигнала разности изображения текущего кадра и фонового изображения значение пороговой величины вычисляют с учетом турбулентности атмосферы, вибрации датчика изображений и неточности определения параметров сдвига и поворота, после пороговой обработки абсолютной величины сигнала разности изображения текущего кадра и фонового изображения дополнительно осуществляют межкадровую фильтрацию результатов пороговой обработки.
2. Способ по п.1, отличающийся тем, что угол поворота изображения текущего кадра относительно эталонного изображения φТЭ определяют по правилу:
Figure 00000073
F-1 - оператор обратного дискретного преобразования Фурье;
Figure 00000074
- комплексно-сопряженный спектр сигнала
Figure 00000075
;
Figure 00000076
- результат логарифмирования абсолютной величины спектра сигнала
Figure 00000077
, представленный в полярной системе координат;
Figure 00000078
- результат перемножения изображения ΔLn(i, j) и оконной функции w(i, j),
Figure 00000079
, спадающей до нуля от середины к краям изображения;
Figure 00000080
- центрированный сигнал изображения текущего кадра In(i, j);
Figure 00000081
- среднее значение сигнала яркости изображения текущего кадра Ln(i, j);
SSe(ωρ,ωφ) - спектр сигнала
Figure 00000082
;
Figure 00000083
- результат логарифмирования абсолютной величины спектра сигнала ew(i, j), представленный в полярной системе координат;
(ρ, φ) - полярные координаты;
ew(i, j) - результат перемножения центрированного сигнала эталонного изображения Δe(i, j) и оконной функции w(i, j),
Figure 00000079
, спадающей до нуля от середины к краям изображения;
Figure 00000084
- центрированный сигнал эталонного изображения e(i,j);
Figure 00000085
- среднее значение сигнала яркости эталонного изображения e(i, j);
ωρ, ωφ - пространственные частоты для полярной системы координат.
3. Способ по п.1, отличающийся тем, что параметры сдвига фонового изображения (αR, βR) вычисляют как αR=round(αТФ) и βR=round(βТФ), где round(...) - функция округления до ближайшего целого значения, αТФ - сдвиг изображения текущего кадра относительно фонового изображения по вертикальной оси, βТФ - сдвиг изображения текущего кадра относительно фонового изображения по горизонтальной оси, а параметры сдвига и поворота изображения текущего кадра определяют как - φТ1 и (Δα, Δβ), где φТ1 - угол поворота изображения текущего кадра относительно изображения первого кадра, Δα=αТФ-αR, Δβ=βТФ-βR.
4. Способ по п.1, отличающийся тем, что межкадровую фильтрацию результатов пороговой обработки осуществляют по правилу
Figure 00000086
где gn(i, j) - результат межкадровой фильтрации в виде бинарного изображения;
Figure 00000087
;
К - количество анализируемых кадров, предшествовавших текущему;
Figure 00000088
;
Figure 00000089
;
W - размер скользящего окна, помещаемого последовательно в каждую точку текущего кадра (N=3, 5, 7,...);
D - минимально необходимое количество кадров для принятия решения о принадлежности рассматриваемой точки текущего кадра объекту;
n=2, 3, 4,... - номер кадра.
RU2006107912/09A 2006-03-15 2006-03-15 Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений RU2311684C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2006107912/09A RU2311684C1 (ru) 2006-03-15 2006-03-15 Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2006107912/09A RU2311684C1 (ru) 2006-03-15 2006-03-15 Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений

Publications (1)

Publication Number Publication Date
RU2311684C1 true RU2311684C1 (ru) 2007-11-27

Family

ID=38960393

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2006107912/09A RU2311684C1 (ru) 2006-03-15 2006-03-15 Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений

Country Status (1)

Country Link
RU (1) RU2311684C1 (ru)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2365994C1 (ru) * 2008-02-05 2009-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ выявления искажений, вызванных эффектом гиббса, при jpeg-кодировании
RU2367111C1 (ru) * 2008-03-17 2009-09-10 ГОУ ВПО "Рязанский государственный радиотехнический университет" Способ обработки сигналов для определения параметров геометрических искажений фона в последовательности телевизионных изображений
RU2468437C2 (ru) * 2009-07-14 2012-11-27 Тагир Данилович Гильфанов Способ увеличения разрешения видеопоследовательности
RU2522924C2 (ru) * 2012-04-20 2014-07-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рязанский государственный радиотехнический университет" Способ обработки сигналов для обнаружения прямолинейных границ объектов, наблюдаемых на изображении
RU2686445C1 (ru) * 2016-01-14 2019-04-25 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Способ получения и обработки изображений, искажённых турбулентной атмосферой

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4739401A (en) * 1985-01-25 1988-04-19 Hughes Aircraft Company Target acquisition system and method
EP0122543B1 (en) * 1983-04-14 1990-06-13 General Electric Company Method of image processing
RU2216780C2 (ru) * 1996-07-26 2003-11-20 Холдинг Б.И.В. С.А., Способ и устройство для идентификации и локализации в реальном масштабе времени зоны с относительным перемещением в сцене и для определения скорости и направления перемещения
RU2250478C2 (ru) * 2003-04-11 2005-04-20 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" Способ обнаружения объектов

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0122543B1 (en) * 1983-04-14 1990-06-13 General Electric Company Method of image processing
US4739401A (en) * 1985-01-25 1988-04-19 Hughes Aircraft Company Target acquisition system and method
RU2216780C2 (ru) * 1996-07-26 2003-11-20 Холдинг Б.И.В. С.А., Способ и устройство для идентификации и локализации в реальном масштабе времени зоны с относительным перемещением в сцене и для определения скорости и направления перемещения
RU2250478C2 (ru) * 2003-04-11 2005-04-20 Федеральное государственное унитарное предприятие "Государственный научно-исследовательский институт авиационных систем" Способ обнаружения объектов

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2365994C1 (ru) * 2008-02-05 2009-08-27 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ выявления искажений, вызванных эффектом гиббса, при jpeg-кодировании
RU2367111C1 (ru) * 2008-03-17 2009-09-10 ГОУ ВПО "Рязанский государственный радиотехнический университет" Способ обработки сигналов для определения параметров геометрических искажений фона в последовательности телевизионных изображений
RU2468437C2 (ru) * 2009-07-14 2012-11-27 Тагир Данилович Гильфанов Способ увеличения разрешения видеопоследовательности
RU2522924C2 (ru) * 2012-04-20 2014-07-20 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рязанский государственный радиотехнический университет" Способ обработки сигналов для обнаружения прямолинейных границ объектов, наблюдаемых на изображении
RU2686445C1 (ru) * 2016-01-14 2019-04-25 Акционерное общество "Российская корпорация ракетно-космического приборостроения и информационных систем" (АО "Российские космические системы") Способ получения и обработки изображений, искажённых турбулентной атмосферой

Similar Documents

Publication Publication Date Title
Qiu et al. Guided filter-based multi-focus image fusion through focus region detection
CN106874949A (zh) 一种基于红外图像的动平台运动目标检测方法及系统
Wang et al. An efficient switching median filter based on local outlier factor
CN110400294B (zh) 一种红外目标探测系统及探测方法
CN110954921B (zh) 一种基于块匹配3d协同滤波的激光雷达回波信号信噪比提升方法
CN113514054A (zh) 一种星敏感器星点像斑检测方法及系统
Yang et al. Variance WIE based infrared images processing
RU2311684C1 (ru) Способ обработки сигналов для выделения движущихся объектов в последовательности телевизионных изображений
Ai et al. A refined bilateral filtering algorithm based on adaptively-trimmed-statistics for speckle reduction in SAR imagery
Meng et al. A novel technique for noise reduction in InSAR images
Rubel et al. Prediction of Despeckling Efficiency of DCT-based filters Applied to SAR Images
van Zyl Marais et al. Robust defocus blur identification in the context of blind image quality assessment
KR20100097858A (ko) 예제 기반 신경회로망을 이용한 고해상도 영상 확대
CN120235920B (zh) 一种广域视频监控双光谱船只小目标配准方法
Choppala et al. Isolated vector median filtering for noise reduction in digital color images
CN107464255B (zh) 一种基于信息量与多尺度异常检测的船舶目标检测方法
Vernon Decoupling Fourier components of dynamic image sequences: a theory of signal separation, image segmentation, and optical flow estimation
CN111353959B (zh) 一种高效的适用于大规模光学遥感影像雾霾去除的方法
CN118537296A (zh) 基于无穷滤波融合的卫星影像震颤误差检测与校正方法
Temel et al. BLeSS: Bio-inspired low-level spatiochromatic similarity assisted image quality assessment
Hou et al. Image denoising using robust regression
Zhang et al. An interference suppression method for spaceborne SAR image via space-channel attention network
CN113822835B (zh) 一种易于硬件实现的图像清晰度评价方法
Liu et al. Block matching algorithm based on RANSAC algorithm
Liao et al. Multispectral image fusion based on joint sparse subspace recovery

Legal Events

Date Code Title Description
PC43 Official registration of the transfer of the exclusive right without contract for inventions

Effective date: 20120628