RU2465649C1 - Method of detecting appearance of objects on images - Google Patents

Method of detecting appearance of objects on images Download PDF

Info

Publication number
RU2465649C1
RU2465649C1 RU2011120665/08A RU2011120665A RU2465649C1 RU 2465649 C1 RU2465649 C1 RU 2465649C1 RU 2011120665/08 A RU2011120665/08 A RU 2011120665/08A RU 2011120665 A RU2011120665 A RU 2011120665A RU 2465649 C1 RU2465649 C1 RU 2465649C1
Authority
RU
Russia
Prior art keywords
frames
current
matrix
previous
appearance
Prior art date
Application number
RU2011120665/08A
Other languages
Russian (ru)
Inventor
Андрей Витальевич Богословский (RU)
Андрей Витальевич Богословский
Ирина Викторовна Жигулина (RU)
Ирина Викторовна Жигулина
Андрей Николаевич Четвертаков (RU)
Андрей Николаевич Четвертаков
Original Assignee
Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" (ГОУ ВПО ТГТУ)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" (ГОУ ВПО ТГТУ) filed Critical Государственное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" (ГОУ ВПО ТГТУ)
Priority to RU2011120665/08A priority Critical patent/RU2465649C1/en
Application granted granted Critical
Publication of RU2465649C1 publication Critical patent/RU2465649C1/en

Links

Abstract

FIELD: information technology.
SUBSTANCE: in the method, neighbouring frames are initialised from a video sequence. A constant component is subtracted from the obtained frames. The energy spectrum of said frames is measured and presented in form of a matrix of previous frames and a matrix of current frames. Characteristics of the previous and current frames are determined. The difference in the ratio of two neighbouring frames is determined and the obtained difference is compared with a threshold, thereby determining appearance of an object on the current frame of the image.
EFFECT: high accuracy of detecting objects on images.
1 dwg

Description

Изобретение относится к области телевизионно-вычислительной техники и может быть использовано для решения задачи автоматического обнаружения появления объектов на изображениях по видеопоследовательности в интеллектуальных системах технического зрения, видеонаблюдения и видеоконтроля, а также может использоваться в качестве подсистемы для систем более высокого уровня интерпретации, с помощью которых обнаруживаются движущиеся объекты и определяются их параметры.The invention relates to the field of television and computer technology and can be used to solve the problem of automatically detecting the appearance of objects in images by video sequence in intelligent systems of technical vision, video surveillance and video monitoring, and can also be used as a subsystem for systems of a higher level of interpretation, with which moving objects are detected and their parameters are determined.

Известен способ обнаружения движущихся транспортных средств, включающий получение кадров, вычисление разности между кадрами, бинаризацию по порогу, морфологические операции, вычисление оператора Собеля для определения границ объекта. В качестве фона фиксируют первый кадр, при каждом последующем кадре корректируют фон по формуле, определяют разность между текущим кадром и фоном, получают гистограмму яркостей по всему изображению (см. патент RU 2262661 С2, 19.05.2008 «Способ обнаружения движущихся транспортных средств»).A known method of detecting moving vehicles, including obtaining frames, calculating the difference between frames, threshold binarization, morphological operations, calculating the Sobel operator to determine the boundaries of the object. The first frame is fixed as a background, with each subsequent frame, the background is adjusted according to the formula, the difference between the current frame and the background is determined, a histogram of luminances over the entire image is obtained (see patent RU 2262661 C2, 05.19.2008 “A method for detecting moving vehicles”).

Недостатком данного способа является его вычислительная сложность, а также невозможность обнаружения появления новых стационарных объектов в зоне контроля видеокамеры.The disadvantage of this method is its computational complexity, as well as the inability to detect the appearance of new stationary objects in the control zone of the camera.

Наиболее близкими по технической сущности к заявляемому способу является способ обнаружения объектов на изображении, который содержит этапы получения кадров, инициализации фонового кадра, инициализации порогового кадра. Далее для каждого из полученных кадров выполняют вычисление разности между текущим кадром и фоновым кадром, бинаризацию с пороговым кадром, пространственную фильтрацию, обеспечивающую обнаружение объектов, при этом корректировку фонового кадра осуществляют с помощью постоянной обновления фонового кадра, которую в свою очередь выбирают в каждом пикселе в зависимости от обнаружения в нем объекта по определенному правилу (см. патент RU 2395787 С2, 19.05.2008 «Способ обнаружения объектов»). Недостатком данного способа является наличие процедур пространственной фильтрации, корректировки фонового кадра и формирования зон предварительного обнаружения, т.е. его вычислительная сложность.The closest in technical essence to the claimed method is a method for detecting objects in an image, which contains the steps of obtaining frames, initializing the background frame, initializing the threshold frame. Next, for each of the received frames, the difference between the current frame and the background frame is calculated, binarization with a threshold frame, spatial filtering, which ensures the detection of objects, while the background frame is adjusted by constantly updating the background frame, which in turn is selected in each pixel in depending on the detection of an object in it according to a certain rule (see patent RU 2395787 C2, 05.19.2008 “Method for detecting objects”). The disadvantage of this method is the presence of spatial filtering procedures, adjusting the background frame and the formation of zones of preliminary detection, i.e. its computational complexity.

Техническим результатом предлагаемого способа являются повышение вероятности правильного обнаружения и уменьшение вычислительных затрат при обнаружении появления объектов на изображениях.The technical result of the proposed method is to increase the probability of correct detection and reduce computing costs when detecting the appearance of objects in the images.

Указанный технический результат достигается тем, что в предлагаемом способе обнаружения появления объектов на изображениях из получаемой видеокамерой видеопоследовательности инициализируют соседние кадры - предыдущий и текущий в моменты времени tk и tk+1 соответственно, из полученных кадров вычитают постоянную составляющую (среднее значение яркости кадров), измеряют энергетический спектр данных кадров и представляют в виде Sпр-матрицы предыдущего и Sтек-матрицы текущего кадров, каждая размерностью q×q, где

Figure 00000001
, Q - количество коэффициентов разложения энергетического спектра изображения в двумерный ряд Фурье по косинусам, определяют характеристики δ2 и δ3 как отношение главных миноров Sпр-матрицы предыдущего и Sтек-матрицы текущего кадров, определяют разности отношений соответствующих главных миноров для двух соседних кадров и сравнивают полученную разность с порогом, принимая решение об обнаружении появления объекта в текущем кадре изображения.The indicated technical result is achieved by the fact that in the proposed method for detecting the appearance of objects in images from the video sequence obtained by the video camera, adjacent frames are initialized - the previous and current frames at the times t k and t k + 1, respectively, the constant component is deducted from the received frames (average value of the frame brightness) , measure the energy spectrum of the given frames and represent in the form S pr matrices of the previous and S tech matrices of the current frame, each dimension q × q, where
Figure 00000001
, Q is the number of coefficients of the expansion of the energy spectrum of the image in a two-dimensional Fourier series in cosines, determine the characteristics δ 2 and δ 3 as the ratio of the main minors S pr- matrix of the previous and S tech- matrix of the current frame, determine the difference in the ratios of the corresponding main minors for two neighboring frames and comparing the resulting difference with a threshold, making a decision to detect the appearance of an object in the current image frame.

Сущность предлагаемого способа заключается в следующем:The essence of the proposed method is as follows:

- в формирователи S-матриц вводятся соседние кадры - предыдущего и текущего изображений в моменты времени tk и tk+1, где измеряют их энергетический спектр, например, по одному из способов, описанных в патентах RU 2373544 С1, 05.11.2008 «Способ измерения параметров энергетического спектра изображения» или RU 2370780 С1, 25.07.2008 «Способ измерения параметров энергетического спектра двумерного сигнала» и формируют Sпр-матрицу предыдущего и Sтек-матрицу текущего кадров, элементами которой являются коэффициенты разложения энергетического спектра изображения в двумерный ряд Фурье по косинусам (см. Богословский А.В., Жигулина И.В. Эффективность многомерной дискретной фильтрации // Радиотехника, 2008, №4.);- adjacent frames of the previous and current images at time t k and t k + 1 are introduced into the S-matrix generators, where their energy spectrum is measured, for example, according to one of the methods described in patents RU 2373544 C1, 11/05/2008 “Method measuring the energy spectrum of the picture parameter "or RU 2370780 C1, 25.07.2008" two-dimensional power spectrum of the signal parameter measurement method "and so forth form the S-matrix of the previous and the current S-matrix tech frames whose elements are the coefficients of expansion of the energy spectrum of the image a two-dimensional Fourier series of cosine (. Theological cm AV Zhigulina IV Efficacy discrete multidimensional filtering // Radiotekhnika 2008, №4.);

- определяются характеристики δ2 и δ3 для предыдущего и текущего кадров соответственно по формулам (1) и (2):- the characteristics δ 2 and δ 3 are determined for the previous and current frames, respectively, according to formulas (1) and (2):

Figure 00000002
Figure 00000002

Figure 00000003
Figure 00000003

где S0,-1, S-1,0, S-1,-1 - элементы S-матриц предыдущего и текущего кадров соответственно;where S 0, -1 , S -1,0 , S -1, -1 are the S-matrix elements of the previous and current frames, respectively;

- определяют значение величины порога по фоновым кадрам (в моменты времени t1 и t2), например, по правилу- determine the value of the threshold value on the background frames (at time t 1 and t 2 ), for example, according to the rule

Figure 00000004
Figure 00000004

где

Figure 00000005
и
Figure 00000006
- разница характеристик δ2 и δ3 для текущего и предыдущего кадров соответственно; порог может быть односторонний или двухсторонний;Where
Figure 00000005
and
Figure 00000006
- the difference in the characteristics of δ 2 and δ 3 for the current and previous frames, respectively; the threshold may be one-sided or two-sided;

- сигнализируют о появлении объекта в текущем кадре, если значения H2 или H3 превышают по абсолютной величине |H0|.- signal the appearance of an object in the current frame if the values of H 2 or H 3 exceed the absolute value | H 0 |.

Способ может быть реализован, например, с помощью устройства, структурная схема которого, представлена на фигуре 1, где обозначены:The method can be implemented, for example, using a device whose structural diagram is presented in figure 1, where are indicated:

1 - видеокамера, предназначена для формирования изображения;1 - video camera, designed to form an image;

2-1 и 2-2 - формирователи S-матриц, предназначенные для измерения энергетического спектра изображений и формирования Sпр-матрицы предыдущего и Sтек-матрицы текущего кадров в моменты времени tk и tk+1 соответственно;2-1 and 2-2 are S-matrix shapers designed to measure the energy spectrum of images and generate S pr matrices of the previous and S tech matrices of the current frame at times t k and t k + 1, respectively;

3-1 и 3-2 - блоки определения характеристик δ2 и δ3 в моменты времени tk и tk+1 соответственно;3-1 and 3-2 - blocks for determining the characteristics of δ 2 and δ 3 at time t k and t k + 1, respectively;

4 - схема вычитания δ2 и δ3, предназначена для получения значений величин H2 и H3 для текущего и предыдущего кадров соответственно;4 - scheme for subtracting δ 2 and δ 3 , is intended to obtain values of H 2 and H 3 for the current and previous frames, respectively;

5 - блок пороговой обработки (схема сравнения H2 и H3 последующих кадров с |H0|);5 - threshold processing unit (comparison scheme of H 2 and H 3 subsequent frames with | H 0 |);

6 - обнаружитель появления объектов, предназначен для сигнализации появления объектов на текущем кадре изображения, если значение H2 или H3 превышает по абсолютной величине |H0|.6 - detector of the appearance of objects, designed to signal the appearance of objects in the current image frame, if the value of H 2 or H 3 exceeds the absolute value | H 0 |.

Структурная схема обнаружения объектов на изображениях (фиг.1) функционирует следующим образом:The block diagram of the detection of objects in the images (figure 1) operates as follows:

1) изображение реальной сцены поступает на блок 1 (видеокамеру), где формируется видеопоследовательность, кадры которой преобразуются в распределения яркости (происходит покадровая дискретизация сигнала);1) the image of the real scene goes to block 1 (video camera), where a video sequence is formed, the frames of which are converted into brightness distributions (frame-by-frame sampling of the signal occurs);

2) первый кадр (предыдущий) видеопоследовательности в виде значений яркостей поступает с выхода 1 блока 1 на вход блока 2-1, где измеряется его энергетический спектр и формируется Sпр-матрица;2) the first frame (previous) of the video sequence in the form of brightness values comes from the output 1 of block 1 to the input of block 2-1, where its energy spectrum is measured and an S pr matrix is formed;

3) второй кадр (текущий) видеопоследовательности в виде значений яркостей поступает с выхода 2 блока 1 на вход блока 2-2, где измеряется его энергетический спектр и формируется Sтек-матрица;3) the second frame (current) of the video sequence in the form of brightness values comes from the output 2 of block 1 to the input of block 2-2, where its energy spectrum is measured and an S tech matrix is formed;

4) далее измеренные значения Sпр-матрицы и Sтек-матрицы с выходов блоков 2-1 и 2-2 соответственно поступают на вход блоков 3-1 и 3-2, где происходит вычисление характеристик δ2 и δ3 для предыдущего и текущего кадров по формулам (1) и (2);4) then the measured values of S pr matrix and S tech matrix from the outputs of blocks 2-1 and 2-2, respectively, are input to blocks 3-1 and 3-2, where the characteristics of δ 2 and δ 3 are calculated for the previous and current frames according to formulas (1) and (2);

5) значения характеристик предыдущего и текущего кадров δ2 и δ3 с выходов блоков 3-1 и 3-2 поступают соответственно на 1 и 2 входы блока 4, где происходит их вычитание (определяются разницы характеристик

Figure 00000005
и
Figure 00000006
) и находится значение величины порога Н0 по правилу (3);5) the values of the characteristics of the previous and current frames δ 2 and δ 3 from the outputs of blocks 3-1 and 3-2 are received respectively at 1 and 2 inputs of block 4, where they are subtracted (differences in characteristics are determined
Figure 00000005
and
Figure 00000006
) and the value of the threshold value H 0 is found according to rule (3);

6) далее значение величины порога H0 с выхода блока 4 поступает на блок 5, где происходит его запоминание и осуществляется его сравнение со значениями H2 и H3 последующих кадров видеопоследовательности;6) then the value of the threshold value H 0 from the output of block 4 goes to block 5, where it is stored and compared with the values of H 2 and H 3 of the subsequent frames of the video sequence;

7) если значения H2 или H3 последующих кадров превышают по абсолютной величине |H0|, то с выхода блока 5 на вход блока 6 подается управляющее воздействие и с выхода блока 6, являющегося выходом устройства, сигнализируется появление объекта в текущем кадре.7) if the values of H 2 or H 3 of subsequent frames exceed the absolute value | H 0 |, then from the output of block 5, the control action is supplied to the input of block 6 and the appearance of the object in the current frame is signaled from the output of block 6, which is the output of the device.

Применение данного способа обнаружения появления объектов на изображениях позволит повысить вероятность правильного обнаружения и уменьшить вычислительные затраты при решении задачи обнаружения объектов на изображениях.The use of this method for detecting the appearance of objects in images will increase the likelihood of correct detection and reduce computational costs when solving the problem of detecting objects in images.

Проведенный заявителями анализ уровня техники, включающий поиск по патентным и научно-техническим источникам информации и выявление источников, содержащих сведения об аналогах изобретения, позволил установить, что заявители не обнаружили аналогов, характеризующихся признаками, тождественными всем существенным признакам изобретения.The analysis of the prior art by the applicants, including a search by patent and scientific and technical sources of information and identification of sources containing information about analogues of the invention, made it possible to establish that the applicants did not find analogues that are characterized by features identical to all the essential features of the invention.

Следовательно, заявленное изобретение «Способ поиска и распознавания объектов на цифровых изображениях» соответствует критерию «новизна».Therefore, the claimed invention "Method of searching and recognition of objects in digital images" meets the criterion of "novelty."

Claims (1)

Способ обнаружения появления объектов на изображениях, основанный на измерении характеристик разности двух соседних кадров видеопоследовательности, сравнении с порогом и принятии решения о появлении объекта на изображении, отличающийся тем, что из получаемой видеокамерой видеопоследовательности, инициализируют соседние кадры - предыдущий и текущий в моменты времени tk и tk+1 соответственно, из полученных кадров вычитают постоянную составляющую (среднее значение яркости кадров), измеряют энергетический спектр данных кадров и представляют в виде Sпр-матрицы предыдущего и Sтек-матрицы текущего кадров, каждая размерностью q×q, где
Figure 00000007
, Q - количество коэффициентов разложения энергетического спектра изображения в двумерный ряд Фурье по косинусам, определяют характеристики δ2 и δ3 как отношение главных миноров Sпр-матрицы предыдущего и Sтек-матрицы текущего кадров, определяют разности отношений соответствующих главных миноров для двух соседних кадров и сравнивают полученную разность с порогом, принимая решение об обнаружении появления объекта в текущем кадре изображения. A method for detecting the appearance of objects in images, based on measuring the characteristics of the difference of two adjacent frames of a video sequence, comparing with a threshold and deciding on the appearance of an object in the image, characterized in that the neighboring frames are initialized from the video sequence received by the camera, the previous and current frames at time t k and t k + 1, respectively, are subtracted from the received frames DC component (average value of luminance frames), measured energy spectrum of the data frame and representations yayut a straight S S matrix of previous and current frames tech matrix, each dimension q × q, where
Figure 00000007
, Q is the number of coefficients of the expansion of the energy spectrum of the image in a two-dimensional Fourier series in cosines, determine the characteristics δ 2 and δ 3 as the ratio of the main minors S pr- matrix of the previous and S tech- matrix of the current frame, determine the difference in the ratios of the corresponding main minors for two neighboring frames and comparing the resulting difference with a threshold, making a decision to detect the appearance of an object in the current image frame.
RU2011120665/08A 2011-05-20 2011-05-20 Method of detecting appearance of objects on images RU2465649C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2011120665/08A RU2465649C1 (en) 2011-05-20 2011-05-20 Method of detecting appearance of objects on images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2011120665/08A RU2465649C1 (en) 2011-05-20 2011-05-20 Method of detecting appearance of objects on images

Publications (1)

Publication Number Publication Date
RU2465649C1 true RU2465649C1 (en) 2012-10-27

Family

ID=47147605

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2011120665/08A RU2465649C1 (en) 2011-05-20 2011-05-20 Method of detecting appearance of objects on images

Country Status (1)

Country Link
RU (1) RU2465649C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2623891C2 (en) * 2015-10-12 2017-06-29 Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Method of detecting objects, determining geometric shape and orientation thereof on images

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2081437C1 (en) * 1986-03-07 1997-06-10 Товарищество с ограниченной ответственностью "Астрам" Device discriminating object against background of stars
US7181050B1 (en) * 1998-01-09 2007-02-20 Sharp Laboratories Of America, Inc. Method for adapting quantization in video coding using face detection and visual eccentricity weighting
RU2381737C2 (en) * 2005-05-12 2010-02-20 Олимпус Медикал Системз Корп. Biological object control device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2081437C1 (en) * 1986-03-07 1997-06-10 Товарищество с ограниченной ответственностью "Астрам" Device discriminating object against background of stars
US7181050B1 (en) * 1998-01-09 2007-02-20 Sharp Laboratories Of America, Inc. Method for adapting quantization in video coding using face detection and visual eccentricity weighting
RU2381737C2 (en) * 2005-05-12 2010-02-20 Олимпус Медикал Системз Корп. Biological object control device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2623891C2 (en) * 2015-10-12 2017-06-29 Федеральное государственное казенное военное образовательное учреждение высшего профессионального образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Method of detecting objects, determining geometric shape and orientation thereof on images

Similar Documents

Publication Publication Date Title
CN106856002B (en) Unmanned aerial vehicle shooting image quality evaluation method
US8588515B2 (en) Method and apparatus for improving quality of depth image
US9224211B2 (en) Method and system for motion detection in an image
US7982774B2 (en) Image processing apparatus and image processing method
CN108257165B (en) Image stereo matching method and binocular vision equipment
CN102542552B (en) Frontlighting and backlighting judgment method of video images and detection method of shooting time
Priya et al. Edge strength extraction using orthogonal vectors for shot boundary detection
JP2011210179A (en) Moving object detection apparatus, method, and program
TWI394097B (en) Detecting method and system for moving object
CN115272917A (en) Wire galloping early warning method, device, equipment and medium based on power transmission line
CN106612385A (en) Video detection method and video detection device
CN111862511B (en) Target intrusion detection device and method based on binocular stereo vision
CN111160099B (en) Intelligent segmentation method for video image target
RU2465649C1 (en) Method of detecting appearance of objects on images
Miura et al. The examination of the image correction of the moving-object detection for low illumination video image
CN105844671B (en) A kind of fast background relief method under the conditions of change illumination
CN111145234A (en) Fire smoke detection method based on binocular vision
CN103473753A (en) Target detection method based on multi-scale wavelet threshold denoising
RU2446471C1 (en) Method for detecting moving objects and determining parameters thereof
CN114841941A (en) Moving target detection algorithm based on depth and color image fusion
Zhao et al. An improved VIBE algorithm for fast suppression of ghosts and static objects
KR20100118811A (en) Shot change detection method, shot change detection reliability calculation method, and software for management of surveillance camera system
RU2461067C1 (en) Method of detecting moving objects
Iwata et al. Specular reflection removal with high-speed camera for video imaging
Puthran et al. Smart traffic signal

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20130521