RU2262661C2

RU2262661C2 - Способ обнаружения движущихся транспортных средств

Info

Publication number: RU2262661C2
Application number: RU2000116958/28A
Authority: RU
Inventors: С.Н. Еремин (RU); С.Н. Еремин; Л.Л. Малыгин (RU); Л.Л. Малыгин; В.А. Царев (RU); В.А. Царев
Original assignee: Череповецкий научный координационный центр Российской Академии Наук (ЧНКЦ РАН)
Priority date: 2000-06-26
Filing date: 2000-06-26
Publication date: 2005-10-20

Abstract

Способ обнаружения движущихся транспортных средств включает получение кадров, вычисление разности между кадрами, бинаризацию по порогу, морфологические операции, вычисление оператора Собеля для определения границ объекта. В качестве фона фиксируют первый кадр, при каждом последующем кадре корректируют фон по формуле, определяют разность между текущим кадром и фоном, получают гистограмму яркостей по всему изображению. В первой половине гистограммы яркостей после сглаживания находят максимум и принимают в качестве порога бинаризации яркость, соответствующую среднему нескольких последовательных неубывающих, не равных нулю значений, в направлении уменьшения яркости, проверяют разность на предмет наличия объектов, разъединяют сливающиеся объекты, формируют прямоугольники, описывающие положение транспортных средств, координаты полученных прямоугольников принимают за координаты находящихся в кадре транспортных средств. Технический результат - повышение точности обнаружения транспортных средств при изменениях в области рабочей сцены. 2 ил.

Description

Изобретение относится к области оптико-электронных систем обработки информации и предназначено для сбора информации о параметрах автотранспортных потоков.

Известны способы обнаружения движущихся транспортных средств, использующие вычисление межкадровой разности или разности фона и текущего кадра [1, 2].

Недостатками является то, что при больших скоростях движущихся объектов возможно перекрытие областей разных объектов на двух последовательных кадрах, а при малых скоростях объект может вычитаться сам из себя. Нахождение фона затруднено движением объектов в зоне контроля и изменением внешних условий. В случае плотного потока автотранспортных средств и при быстро меняющихся внешних условиях (дождь, снег) данные способы не работают или работают недостаточно эффективно.

Известен способ обнаружения движущихся транспортных средств [3], включающий получение кадров, вычисление разности между кадрами, бинаризацию по порогу, морфологические операции, вычисление оператора Собеля для определения границ объекта (прототип).

Недостатками данного способа являются низкая помехоустойчивость, а следовательно, низкая точность обнаружения вследствие заметного влияния изменений в области рабочей сцены, обусловленных временем суток, погодными условиями, появлением новых стационарных объектов в зоне контроля.

Задача изобретения - повысить точность обнаружения транспортных средств при существенных изменениях в области рабочей сцены, обусловленных временем суток, погодными условиями, появлением новых стационарных объектов в зоне контроля, повысить точность определения границ движущихся объектов.

Поставленная задача достигается тем, что в способе обнаружения движущихся транспортных средств, включающем получение кадров, вычисление разности между кадрами, бинаризацию по порогу, морфологические операции, вычисление оператора Собеля для определения границ объекта, согласно изобретению в качестве фона фиксируют первый кадр, при каждом последующем кадре корректируют фон по формуле

где G_F(i, j) - яркость точки фона с координатами i, j после корректировки;

G_F-1(i, j) - яркость точки фона с координатами i, j до корректировки;

δ_а - коэффициент коррекции фона;

G_Т(i, j) - яркость точки текущего кадра с координатами i, j,

определяют разность между текущим кадром и фоном, получают гистограмму яркостей по всему изображению, в первой половине гистограммы яркостей после сглаживания находят максимум и принимают в качестве порога бинаризации яркость, соответствующую среднему нескольких, например 3-5, последовательных неубывающих не равных нулю значений в направлении уменьшения яркости, проверяют разность на предмет наличия объектов, разъединяют сливающиеся объекты, формируют прямоугольники, описывающие положение транспортных средств, координаты полученных прямоугольников принимают за координаты находящихся в кадре транспортных средств.

Осуществление способа обнаружения и отслеживания транспортных средств с использованием предлагаемой последовательности операций и формул обнаружения и коррекции фона позволяет повысить точность обнаружения транспортных средств при существенных изменениях в области рабочей сцены, обусловленных временем суток, погодными условиями, появлением новых стационарных объектов в зоне контроля, повысить точность определения границ движущихся объектов.

Фиг.1 - морфологическая маска M(k, r) размером 7×7.

Фиг.2 - схема определения границ объекта.

Для работы предлагаемого способа используется последовательность кадров, получаемых стационарной монохромной телекамерой. В памяти ЭВМ для каждого кадра формируется двумерный массив целочисленных элементов G_Т(i, j) размерностью N_x×N_y. Для каждой точки изображения в массиве хранится значение яркости от 0 до k_max (0 - белый, k_max - черный). N_x, N_y зависят от разрешения телекамеры и платы видеоввода, a k_max- определяется разрядностью аналого-цифрового преобразователя. Для рассматриваемого способа k_max=255.

При включении система в первую очередь находит фон, относительно которого перемещаются объекты. Изначально в качестве фона G_F(i, j) фиксируется первый кадр. Обработке подвергается последовательность кадров за небольшой промежуток времени (20-50 кадров). При каждом следующем кадре фон изменяется на величину коэффициента коррекции фона по формуле (1).

Процесс первоначальной настройки фона может быть остановлен после обработки определенного количества кадров. Достаточно k_max/δ_a кадров. Второй способ прекращения первоначальной настройки заключается в анализе изменений фона при корректировке. Если в процессе настройки, в течение некоторого периода времени, яркость 80% точек меняется не более чем на 3δ₂, то можно считать, что фон найден.

Следующая последовательность действий выполняется для каждого кадра:

a) Коррекция фона по формуле (1).

Таким образом, в процессе работы системы будет осуществляться постоянная корректировка фона для того, чтобы плавное изменение освещенности рабочей сцены, возникающее достаточно часто вследствие смены погодных условий и времени суток, не оказывало влияния на качество обнаружения.

b) Вычисление разности текущего кадра и фона:

где D_TF(i, j) - яркость точки разности с координатами i, j;

G_F(i, j) - яркость точки фона с координатами i, j;

G_T(i, j) - яркость точки текущего кадра с координатами i, j,

c) Бинаризация разности.

где D_bin(i, j) - яркость точки с координатами i, j после бинаризации;

D_TF(i, j) - яркость точки разности с координатами i,j;

β - порог бинаризации.

Бинаризация разности текущего кадра и фона осуществляется по порогу бинаризации β. Предлагается адаптивное изменение порога, основанное на анализе гистограммы яркостей, построенной по всему изображению.

Полученная гистограмма яркостей сглаживается, в первой (светлой) ее половине находится максимум и далее в направлении уменьшения яркости осуществляется поиск нескольких последовательных (3-5) неубывающих значений не равных нулю. Яркость, соответствующая среднему этих значений, и принимается в качестве порога бинаризации.

d) Проверка полученной разности на предмет наличия объектов.

Если количество темных точек бинарной разности превосходит площадь минимального объекта, то кадр подвергается дальнейшей обработке, иначе кадр отбрасывается и принимается решение об отсутствии движущихся объектов в кадре. Размеры минимального фиксируемого объекта определяются в зависимости от характеристик камеры и ее расположения.

e) Разъединение сливающихся объектов с использованием математической морфологии.

Для разъединения сливающихся объектов применяется операция, включающая две стадии:

Эрозия:

где D_ers(i, j) - яркость точки с координатами i, j после выполнения операции;

M(k, r) - морфологическая маска,

D_bin(i, j) - яркость точки с координатами i, j после бинаризации.

Расширение:

где D_dil(i, j) - яркость точки с координатами i, j после выполнения операции;

M(k, r) - морфологическая маска,

D_bin (i, j) - яркость точки с координатами i, j после бинаризации.

Формулы (4) и (5) приведены для маски M(k, r) размерностью 7×7, то есть k, r меняются от 1 до 7 (фиг.1).

f) Представление темных областей в виде прямоугольников на бинарном изображении и математическое описание положения движущихся объектов.

После бинаризации на изображении получаются криволинейные области, определяющие положение движущихся объектов. Предлагается описывать эти области прямоугольниками, которые формируются следующим способом:

Бинарное изображение обрабатывается рекурсивным методом по формуле

где D_loc(i, j) - яркость точки с координатами i, j после обработки;

D_dil(i, j) - яркость точки с координатами i, j после выполнения операции расширения.

Обработка производится в четырех направлениях:

- от нижнего левого угла до верхнего правого (i меняется от 1 до N_x, j меняется от 1 до N_y);

- от нижнего правого угла до верхнего левого (i меняется от N_x до 1, j меняется от 1 до N_y);

- от верхнего левого угла до нижнего правого (i меняется от 1 до N_x, j меняется от N_y до 1);

- от верхнего правого угла до нижнего левого (i меняется от N_x до 1, j меняется от N_y до 1).

После этой операции все криволинейные объекты будут расширены до описывающих их прямоугольников, местоположение и размеры которых принимаются как положение и размеры транспортных средств.

g) Коррекция границ объектов.

Выделенные области рассматриваются на предмет соблюдения пропорций и размеров. Если пропорции или размеры не соответствуют установленным, проводится дополнительная обработка выделенной области. Суммируется яркость по столбцам, результаты сглаживаются, определяются минимумы между ними, по полученным минимумам область разделяется на несколько частей.

Коррекция границ основана на анализе градиентов (суммарный градиент на границе и внутри автотранспортного средства значительно выше, чем суммарный градиент, полученный по изображению автодороги).

Например, для левой границы (фиг.2):

Определяют градиенты по области объекта на изображении при помощи оператора Собеля. Перемещают три окна а, b, с шириной 3 пиксела и высотой h от - w/6 до w/3, где w и h - ширина и высота области, занимаемой транспортным средством, суммируют значения перепадов яркости в каждом окне S_a, S_b, S_c. Определяют S_b+S_c-S_a для каждого перемещения и максимальное из них. Середина окна b при максимальном S_b+S_c-S_a и будет новой левой границей объекта. Подобный метод применяют для правой, нижней и верхней границы.

В результате выполнения описанных выше операций повышается точность обнаружения транспортных средств до 95,1-96,1% летом и 82,2-89,8% зимой при различных погодных условиях.

Таким образом, цель изобретения достигнута полностью.

Источники информации

1. Semmiler F., Semmiler R. "Calibration device for a contactless optical device for measuring speed and/or distance travelled". Пат. 4344295 ФРГ.

2. "Image processing on the road to IVHS", Laser and Option, 1994, №7, с.36.

3. Dailey D.J., Li L., "Video image processing to create a speed sensor". University of Washington, 1999.

Claims

Способ обнаружения движущихся транспортных средств, включающий получение кадров, вычисление разности между кадрами, бинаризацию по порогу, морфологические операции, вычисление оператора Собеля для определения границ объекта, отличающийся тем, что в качестве фона фиксируют первый кадр, при каждом последующем кадре корректируют фон по формуле

где G_F(i, j) - яркость точки фона с координатами i,j после корректировки;

G_F-1(i, j) - яркость точки фона с координатами i, j до корректировки;

δ_а - коэффициент коррекции фона;

G_T(i, j) - яркость точки текущего кадра с координатами i, j,

определяют разность между текущим кадром и фоном, получают гистограмму яркостей по всему изображению, в первой половине гистограммы яркостей после сглаживания находят максимум и принимают в качестве порога бинаризации яркость, соответствующую среднему нескольких, например 3-5 последовательных неубывающих, не равных нулю значений, в направлении уменьшения яркости, проверяют разность на предмет наличия объектов, разъединяют сливающиеся объекты, формируют прямоугольники, описывающие положение транспортных средств, координаты полученных прямоугольников принимают за координаты находящихся в кадре транспортных средств.