RU2734655C1 - Method of selecting image of object on non-homogeneous background - Google Patents

Method of selecting image of object on non-homogeneous background Download PDF

Info

Publication number
RU2734655C1
RU2734655C1 RU2020111168A RU2020111168A RU2734655C1 RU 2734655 C1 RU2734655 C1 RU 2734655C1 RU 2020111168 A RU2020111168 A RU 2020111168A RU 2020111168 A RU2020111168 A RU 2020111168A RU 2734655 C1 RU2734655 C1 RU 2734655C1
Authority
RU
Russia
Prior art keywords
signal
image
size
aperture
current
Prior art date
Application number
RU2020111168A
Other languages
Russian (ru)
Inventor
Николай Петрович Корнышев
Дмитрий Александрович Серебряков
Original Assignee
федеральное государственное бюджетное образовательное учреждение высшего образования "Новгородский государственный университет имени Ярослава Мудрого"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by федеральное государственное бюджетное образовательное учреждение высшего образования "Новгородский государственный университет имени Ярослава Мудрого" filed Critical федеральное государственное бюджетное образовательное учреждение высшего образования "Новгородский государственный университет имени Ярослава Мудрого"
Priority to RU2020111168A priority Critical patent/RU2734655C1/en
Application granted granted Critical
Publication of RU2734655C1 publication Critical patent/RU2734655C1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

FIELD: physics.
SUBSTANCE: invention relates to the field of applied television, which uses algorithms for selecting an image of an object on a non-homogeneous background, in particular, for the purpose of subsequent determination of its coordinates and autosupporting. Result is achieved by forming compensation signal by smoothing current digital signal in aperture with size m > Mo, but m << Mf, where Mo and Mf are object and background image sizes, respectively, generating a difference signal by subtracting the compensating signal from the current and generating the object binary output by comparing the differential signal with a fixed threshold, wherein in each ith frame of the video sequence, estimating the size of the binary image of the object Moi, at 1 < Moi ≤ m preliminary smoothing of current signal with aperture mi = Moi is performed, and when condition mi= m is achieved, aperture size is fixed.
EFFECT: technical result consists in improvement of accuracy of selection of image of object by increasing signal-to-noise ratio with corresponding increase in dimensions of image of object.
1 cl, 1 dwg

Description

Изобретение относится к области прикладного телевидения, использующего алгоритмы селекции изображения объекта на неоднородном фоне, в частности, с целью последующего определения его координат и автосопровождения.The invention relates to the field of applied television, using algorithms for selecting an image of an object against a non-uniform background, in particular, for the purpose of subsequent determination of its coordinates and auto-tracking.

Известен способ селекции изображения объекта, описанный в литературе У. Прэтт, Цифровая обработка изображений. Пер. с англ. М. Мир, Кн. 2. 1982 г. С. 555-560. Способ заключается в определении значения средней яркости изображения и установления глобального порога, соответствующего этому значению, при сравнении с которым формируется бинарный сигнал объекта. Способ имеет недостаточную точность при наличии неравномерности фона.There is a known method for selecting an image of an object, described in the literature by W. Pratt, Digital image processing. Per. from English. M. Mir, Book. 2.1982 S. 555-560. The method consists in determining the value of the average brightness of the image and establishing a global threshold corresponding to this value, when compared with which a binary signal of the object is formed. The method has insufficient accuracy in the presence of background unevenness.

Известен другой способ, описанный там же, который заключается в определении гистограммы яркости изображения, нахождении минимального ее значения и установления глобального порога, соответствующего этому значению, при сравнении с которым формируется бинарный сигнал объекта. Способ имеет также недостаточную точность при наличии неравномерности фона.There is another method, described in the same place, which consists in determining the histogram of the image brightness, finding its minimum value and setting a global threshold corresponding to this value, when compared with which a binary signal of the object is formed. The method also has insufficient accuracy in the presence of background unevenness.

Известен также способ, описанный там же, который заключается в разбиении изображения на фрагменты и установлении локальных порогов для каждого фрагмента по средней яркости фрагмента либо по минимуму гистограммы яркости. Данный способ также имеет недостаточную точность, поскольку не исключает селекцию неоднородностей фона при селекции изображения объекта.There is also known a method described in the same place, which consists in dividing the image into fragments and setting local thresholds for each fragment according to the average brightness of the fragment or according to the minimum of the brightness histogram. This method also has insufficient accuracy, since it does not exclude the selection of background inhomogeneities when selecting an object image.

Известен способ, описанный в статье Морозов А.В. Адаптивная бинаризация изображений звездного неба. Вопросы радиоэлектроники серия Техника телевидения, вып.1, 2017 г. С. 25-27. Способ заключается в определении среднего значения яркости В изображения, дифференцировании сигнала изображения и определения по нему среднеквадратического отклонения σ и формировании порога Р, равного взвешенной сумме: Р=αВ+βσ, где α и β константы, при сравнении с которым формируется бинарный сигнал объекта. Данный способ позволяет повысить вероятность правильного обнаружения сигнала малоразмерного объекта, однако, данный не обладает достаточной точностью при наличии неоднородного фона.The known method is described in the article by A. V. Morozov. Adaptive binarization of starry sky images. Questions of radio electronics series Television technology, issue 1, 2017, pp. 25-27. The method consists in determining the average value of the brightness B of the image, differentiating the image signal and determining the standard deviation σ from it and forming the threshold Р equal to the weighted sum: Р = αВ + βσ, where α and β are constants, in comparison with which the binary signal of the object is formed. This method makes it possible to increase the probability of correct detection of the signal of a small-sized object, however, this method does not have sufficient accuracy in the presence of an inhomogeneous background.

Наиболее близким техническим решением к предлагаемому изобретению, является принятый за прототип способ, описанный в статье А.Л. Андреев, В.В. Коротаев, A.M. Пашковский, «Селекция изображений малоразмерных объектов на неоднородном фоне в условиях помех», Изв. Вузов. Приборостроение. 2013 г., т. 56, №10, с. 88-93.The closest technical solution to the proposed invention is the method adopted as a prototype described in the article by A.L. Andreev, V.V. Korotaev, A.M. Pashkovsky, “Selection of images of small-sized objects against a non-uniform background in conditions of interference”, Izv. Universities. Instrumentation. 2013, vol. 56, no. 10, p. 88-93.

Данный способ основан на дифференциации размеров объекта и неоднородностей фона и заключается в следующем.This method is based on differentiating the size of the object and background inhomogeneities and is as follows.

Текущий сигнал изображения с выхода телевизионного датчика преобразуется в цифровую форму. Далее этот сигнал сглаживают в пределах апертуры сглаживающего фильтра, размер m которой должен быть больше размеров Мo изображения объекта, но много меньше размеров изображений неоднородностей фона Мф, т.е.:The current image signal from the output of the television sensor is converted to digital form. Further, this signal is smoothed within the aperture of the smoothing filter, the size m of which should be greater than the dimensions M o of the object image, but much less than the dimensions of the images of background inhomogeneities M f , i.e.:

Figure 00000001
Figure 00000001

В результате сглаживания сигнал от объекта подавляется, а сигнал от неоднородностей фона сохраняется и используется для компенсации фоновой составляющей. Компенсация производится путем вычитания сглаженного сигнала из исходного текущего сигнала. Полученный разностный сигнал сравнивают с порогом, например, на уровне 0,5 от максимального значения разностного сигнала, формируя тем самым выходной бинарный сигнал объекта.As a result of smoothing, the signal from the object is suppressed, and the signal from background inhomogeneities is preserved and used to compensate for the background component. Compensation is made by subtracting the smoothed signal from the original current signal. The resulting difference signal is compared with a threshold, for example, at a level of 0.5 of the maximum value of the difference signal, thereby forming an output binary signal of the object.

Недостатком данного способа является низкая точность селекции изображения объекта при его сближении с точкой видеонаблюдения. В результате такого сближения размер изображения объекта начинает постепенно увеличиваться. Это приводит к несоблюдению выражений (1), и, соответственно, к прекращению подавления сигнала объекта при сглаживании. В результате сигнал объекта и компенсируется вместе с фоном при последующем вычитании. На практике размер сглаживающей апертуры m обычно не превышает 8-10 элементов. Отметим также, что при несоблюдении условий (1) вычитание сглаженного сигнала из текущего приводит к формированию контуров объекта (так называемое, «нерезкое маскирование»). Несмотря на то, наличие контуров объекта является достаточным для определения, в частности, координат его центра, амплитуда контуров объекта, формируемых при «нерезком маскировании», оказывается меньше амплитуды сигнала объекта, формируемого при соблюдении условия (1). Таким образом, снижение отношения сигнал-шум также приводит к уменьшению точности селекции изображения объекта.The disadvantage of this method is the low accuracy of the selection of the image of the object when it approaches the point of video surveillance. As a result of this approach, the size of the object image begins to increase gradually. This leads to non-observance of expressions (1), and, accordingly, to the termination of suppression of the object signal during smoothing. As a result, the signal of the object is compensated together with the background during the subsequent subtraction. In practice, the size of the smoothing aperture m usually does not exceed 8-10 elements. Note also that if conditions (1) are not met, the subtraction of the smoothed signal from the current one leads to the formation of the contours of the object (the so-called “unsharp masking”). Despite the fact that the presence of object contours is sufficient to determine, in particular, the coordinates of its center, the amplitude of the object contours formed during “unsharp masking” turns out to be less than the amplitude of the object signal formed under condition (1). Thus, a decrease in the signal-to-noise ratio also leads to a decrease in the selection accuracy of the object image.

Задачей предлагаемого технического решения является повышение точности селекции изображения объекта на неоднородном фоне в условиях сближения объекта с точкой видеонаблюдения.The task of the proposed technical solution is to improve the accuracy of the selection of the image of an object against a non-uniform background in conditions of approaching the object with the point of video observation.

Технический результат заявляемого технического решения выражен в повышении точности селекции изображения объекта за счет повышения отношения сигнал-шум при соответствующем увеличении размеров изображения объекта.The technical result of the proposed technical solution is expressed in increasing the accuracy of the selection of the object image by increasing the signal-to-noise ratio with a corresponding increase in the size of the object image.

Технический результат достигается тем, что в отличие от известного способа селекции изображения объекта на неоднородном фоне, заключающемся в формировании компенсирующего сигнала путем сглаживания текущего цифрового сигнала в апертуре с размером m>Мo, но m<<Мф, где Мo и Мф - размеры изображения объекта и фона, соответственно, формировании разностного сигнала путем вычитания компенсирующего сигнала из текущего и формировании выходного бинарного сигнала объекта путем сравнения разностного сигнала с фиксированным порогом, согласно изобретению в каждом i-том кадре видеопоследовательности производят оценку размера бинарного изображения объекта Moi и при изменении этого размера в пределах l<Moi≤m осуществляют предварительное сглаживание текущего сигнала с апертурой mi=Мoi, соответствующей полученной оценке, а при достижении условия mi=m размер апертуры фиксируют.The technical result is achieved by the fact that, in contrast to the known method of selecting an object image against a non-uniform background, which consists in the formation of a compensating signal by smoothing the current digital signal in an aperture with a size of m> M o , but m << M f , where M o and M f - the dimensions of the object image and the background, respectively, the formation of the difference signal by subtracting the compensating signal from the current one and the formation of the output binary signal of the object by comparing the difference signal with a fixed threshold, according to the invention, in each i-th frame of the video sequence, the size of the binary image of the object M oi is estimated and when this size changes within l <M oi ≤m, the current signal is preliminary smoothed with an aperture m i = M oi corresponding to the obtained estimate, and when the condition m i = m is reached, the aperture size is fixed.

Для достижения указанного выше технического результата предложен способ селекции изображения объекта на неоднородном фоне, включающий формирование компенсирующего сигнала путем сглаживания текущего цифрового сигнала в апертуре с размером m>Мo, но m<<Мф, где Мo и Мф - размеры изображения объекта и фона, соответственно, формирование разностного сигнала путем вычитания компенсирующего сигнала из текущего и формирование выходного бинарного сигнала объекта путем сравнения разностного сигнала с фиксированным порогом, причем, в каждом i-том кадре видеопоследовательности производят оценку размера бинарного изображения объекта Мoi, при 1<Мoi≤m осуществляют предварительное сглаживание текущего сигнала с апертурой mi=Moi, а при достижении условия mi=m размер апертуры фиксируют.To achieve the above technical result, a method is proposed for selecting an image of an object against a non-uniform background, including the formation of a compensating signal by smoothing the current digital signal in an aperture with a size of m> M o , but m << M f , where M o and M f are the dimensions of the object image and background, respectively, the formation of the difference signal by subtracting the compensating signal from the current one and the formation of the output binary signal of the object by comparing the difference signal with a fixed threshold, moreover, in each i-th frame of the video sequence, the size of the binary image of the object M oi is estimated, for 1 <M oi ≤m carry out preliminary smoothing of the current signal with the aperture m i = M oi , and when the condition m i = m is reached, the size of the aperture is fixed.

В качестве примера на фиг. 1 показана спектрозональная телевизионная система, реализующая предлагаемый способ, где:By way of example, in FIG. 1 shows a multispectral television system that implements the proposed method, where:

1 - телевизионная камера;1 - television camera;

2 - устройство видеозаписи;2 - video recording device;

3 - компьютер.3 - computer.

Телевизионная камера 1, устройство 2 видеозаписи и компьютер 3 соединены последовательно.The television camera 1, the video recorder 2 and the computer 3 are connected in series.

Способ осуществляется следующим образом. Телевизионная камера 1 преобразует в электрический сигнал изображение малоразмерного объекта, находящегося на неоднородном фоне. Электрический сигнал преобразуется в цифровую форму стандартным устройством 2 видеозаписи и вводится в компьютер 3 в виде последовательности кадров. Введенные в компьютер кадры изображений последовательно обрабатываются программным путем.The method is carried out as follows. The television camera 1 converts the image of a small-sized object against a non-uniform background into an electrical signal. The electrical signal is digitized by a standard video recorder 2 and input to the computer 3 as a sequence of frames. The frames of images entered into the computer are sequentially processed by software.

При этом текущий цифровой сигнал сглаживается в апертуре с размером m>Мo, но m<<Мф, где Мo и Мф - размеры изображения объекта и фона, соответственно. Затем производится формирование разностного сигнала путем вычитания компенсирующего сигнала из текущего и формирование выходного бинарного сигнала объекта путем сравнения разностного сигнала с фиксированным порогом. Дополнительно в каждом i-том кадре видеопоследовательности производят оценку размера бинарного изображения объекта Moi, причем, при 1<Moi≤m осуществляют предварительное сглаживание текущего сигнала с апертурой mi=Moi, а при достижении условия mi=m размер данной апертуры фиксируют.In this case, the current digital signal is smoothed in the aperture with the size m> M o , but m << M f , where M o and M f are the dimensions of the object and background image, respectively. Then the formation of the difference signal is carried out by subtracting the compensating signal from the current one and the formation of the output binary signal of the object by comparing the difference signal with a fixed threshold. Further, in each i-frame video sequence that are assessing the size of the binary object image M oi, wherein, with 1 <M oi ≤m performed preliminary smoothing the current signal with an aperture of m i = M oi, and when the condition m i = m aperture size of the fix.

Следует отметить, что в процессе предварительного сглаживания при увеличении размера изображения объекта и, соответственно, при увеличении апертуры mi=Moi в пределах 1<mi≤m происходит увеличение отношения сигнал-шум до в

Figure 00000002
раз, что положительно сказывается на результате селекции объекта. Так, например, при размере апертуры m=9 дальнейшее формирование сигнала объекта после достижения размера апертуры mi=m будет производиться при отношении сигнал-шум в три раза выше исходного.It should be noted that in the process of preliminary smoothing with an increase in the object image size and, accordingly, with an increase in the aperture m i = M oi within 1 <m i ≤m, the signal-to-noise ratio increases up to
Figure 00000002
times, which has a positive effect on the result of object selection. So, for example, with the aperture size m = 9, the further shaping of the object signal after reaching the aperture size m i = m will be performed with the signal-to-noise ratio three times higher than the initial one.

Происходящее при этом уменьшение разрешающей способности не оказывает влияния на результат селекции изображения объекта в силу соответствующего увеличения его размера при сближении объекта с точкой видеонаблюдения. Происходящее при этом сглаживание фронтов сигнала объекта также не оказывает влияния на результат его селекции и определения координат, поскольку центр объекта будет соответствовать максимуму сигнала его изображения.The resulting decrease in resolution does not affect the result of the selection of the object image due to the corresponding increase in its size when the object approaches the video observation point. The smoothing of the object signal fronts that occurs in this case also does not affect the result of its selection and determination of coordinates, since the center of the object will correspond to the maximum of its image signal.

Сигнал изображения объекта может быть получен путем последовательной съемки стандартной телевизионной камерой с фиксацией в компьютере через стандартное устройство видеозаписи типа AverEZCapture фирмы AverMedia, подключаемое PCI- шине компьютера. Выходное изображение селектируемого объекта может быть получено путем программирования в среде стандартного пакета MATLAB или путем создания специализированной программы в среде С++.The object image signal can be obtained by sequential shooting with a standard television camera with fixation in a computer through a standard AverEZCapture video recorder from AverMedia, which is connected to the PCI bus of the computer. The output image of the selected object can be obtained by programming in the environment of the standard MATLAB package or by creating a specialized program in the C ++ environment.

Claims (1)

Способ селекции изображения объекта на неоднородном фоне, включающий формирование компенсирующего сигнала путем сглаживания текущего цифрового сигнала в апертуре с размером m>Мo, но m<<Мф, где Мo и Мф - размеры изображения объекта и фона, соответственно, формирование разностного сигнала путем вычитания компенсирующего сигнала из текущего и формирование выходного бинарного сигнала объекта путем сравнения разностного сигнала с фиксированным порогом, отличающийся тем, что в каждом i-том кадре видеопоследовательности производят оценку размера бинарного изображения объекта Moi, при 1<Moi≤m осуществляют предварительное сглаживание текущего сигнала с апертурой mi=Moi, а при достижении условия wi=m размер апертуры фиксируют.A method for selecting an object image against a non-uniform background, including the formation of a compensating signal by smoothing the current digital signal in an aperture with a size m> M o , but m << M f , where M o and M f are the dimensions of the object image and the background, respectively, the formation of a difference signal by subtracting the offset from the current signal and forming a binary output by comparing the object signal of the difference signal with a fixed threshold, characterized in that in each i-frame video sequence that produces a binary estimate the image size of the object M oi, with 1 <M oi ≤m carried out prior smoothing the current signal with the aperture m i = M oi , and when the condition w i = m is reached, the size of the aperture is fixed.
RU2020111168A 2020-03-17 2020-03-17 Method of selecting image of object on non-homogeneous background RU2734655C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2020111168A RU2734655C1 (en) 2020-03-17 2020-03-17 Method of selecting image of object on non-homogeneous background

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2020111168A RU2734655C1 (en) 2020-03-17 2020-03-17 Method of selecting image of object on non-homogeneous background

Publications (1)

Publication Number Publication Date
RU2734655C1 true RU2734655C1 (en) 2020-10-21

Family

ID=72948958

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020111168A RU2734655C1 (en) 2020-03-17 2020-03-17 Method of selecting image of object on non-homogeneous background

Country Status (1)

Country Link
RU (1) RU2734655C1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4603430A (en) * 1984-09-21 1986-07-29 Hughes Aircraft Company Target discrimination utilizing median filters
EP0346985A2 (en) * 1988-06-17 1989-12-20 Philips Electronics Uk Limited Target detection systems
RU2081436C1 (en) * 1984-11-19 1997-06-10 Товарищество с ограниченной ответственностью "Астрам" Method of selection of object
US6118886A (en) * 1993-03-30 2000-09-12 The United States Of America As Represented By The United States Department Of Energy Automatic target recognition apparatus and method
EP0774730B1 (en) * 1995-11-01 2005-08-24 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
US7006128B2 (en) * 2002-05-30 2006-02-28 Siemens Corporate Research, Inc. Object detection for sudden illumination changes using order consistency
US7317829B2 (en) * 2003-12-12 2008-01-08 Microsoft Corporation Background color estimation for scanned images

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4603430A (en) * 1984-09-21 1986-07-29 Hughes Aircraft Company Target discrimination utilizing median filters
RU2081436C1 (en) * 1984-11-19 1997-06-10 Товарищество с ограниченной ответственностью "Астрам" Method of selection of object
EP0346985A2 (en) * 1988-06-17 1989-12-20 Philips Electronics Uk Limited Target detection systems
US6118886A (en) * 1993-03-30 2000-09-12 The United States Of America As Represented By The United States Department Of Energy Automatic target recognition apparatus and method
EP0774730B1 (en) * 1995-11-01 2005-08-24 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
US7006128B2 (en) * 2002-05-30 2006-02-28 Siemens Corporate Research, Inc. Object detection for sudden illumination changes using order consistency
US7317829B2 (en) * 2003-12-12 2008-01-08 Microsoft Corporation Background color estimation for scanned images

Similar Documents

Publication Publication Date Title
US8279345B2 (en) System and method for random noise estimation in a sequence of images
US9247153B2 (en) Image processing apparatus, method and imaging apparatus
JPH1051661A (en) Image quality improvement using low pass band filtering and histogram equalization and its circuit
WO2018228310A1 (en) Image processing method and apparatus, and terminal
JP5890547B2 (en) Image processing device
CN109377464B (en) Double-platform histogram equalization method for infrared image and application system thereof
Chen et al. A combinational approach to the fusion, de-noising and enhancement of dual-energy x-ray luggage images
CN110245600B (en) Unmanned aerial vehicle road detection method for self-adaptive initial quick stroke width
CN112465708A (en) Improved image defogging method based on dark channel
CN111598886A (en) Pixel-level transmittance estimation method based on single image
CN109035228B (en) X-ray image processing method of non-uniform-thickness component
Canh et al. Edge-preserving nonlocal weighting scheme for total variation based compressive sensing recovery
RU2734655C1 (en) Method of selecting image of object on non-homogeneous background
WO2022046016A1 (en) Variable clipping level calculation method for clahe algorithm
CN113888438A (en) Image processing method, device and storage medium
KR101516632B1 (en) Bipartite histogram equalization apparatus maintain the rate of mean brightness of video using visual threshold
CN112750089A (en) Optical remote sensing image defogging method based on local block maximum and minimum pixel prior
CN111435457B (en) Method for classifying acquisitions acquired by sensors
CN112825189A (en) Image defogging method and related equipment
CN116452447A (en) Low-illumination high-definition image processing method
CN108537807A (en) One kind enhancing detection method based on the improved edge of No. four satellite images of high score
CN113888420A (en) Underwater image restoration method and device based on correction model and storage medium
Qi et al. Fast detection of small infrared objects in maritime scenes using local minimum patterns
CN113538290A (en) Agricultural aerial image processing method and system based on artificial intelligence
Lupu Development of optimal filters obtained through convolution methods, used for fingerprint image enhancement and restoration