RU2611696C1 - Method for determining precipitation intensity in real time in aircraft systems of improved vision - Google Patents

Method for determining precipitation intensity in real time in aircraft systems of improved vision Download PDF

Info

Publication number
RU2611696C1
RU2611696C1 RU2015147463A RU2015147463A RU2611696C1 RU 2611696 C1 RU2611696 C1 RU 2611696C1 RU 2015147463 A RU2015147463 A RU 2015147463A RU 2015147463 A RU2015147463 A RU 2015147463A RU 2611696 C1 RU2611696 C1 RU 2611696C1
Authority
RU
Russia
Prior art keywords
image
image function
intensity
precipitation
video
Prior art date
Application number
RU2015147463A
Other languages
Russian (ru)
Inventor
Юрий Витальевич Петров
Виталий Николаевич Гармаш
Дмитрий Михайлович Коробочкин
Сергей Юрьевич Страхов
Алина Николаевна Тураева
Original Assignee
Российская Федерация в лице Министерства промышленности и торговли Российской Федерации (Минпромторг России)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Российская Федерация в лице Министерства промышленности и торговли Российской Федерации (Минпромторг России) filed Critical Российская Федерация в лице Министерства промышленности и торговли Российской Федерации (Минпромторг России)
Priority to RU2015147463A priority Critical patent/RU2611696C1/en
Application granted granted Critical
Publication of RU2611696C1 publication Critical patent/RU2611696C1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/14—Rainfall or precipitation gauges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Environmental & Geological Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Hydrology & Water Resources (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

FIELD: physics.
SUBSTANCE: video is obtained by the television camera of the visible spectral range. Digital video processing is carried out. Analyzing the data resulted after video processing, the presence of precipitation is detected. And at the stage of digital processing, one video frame is processed with the help of the on-board digital computer, while carrying out the following operations: searching vectors of the image function gradient at each point of the image; constructing an oriented histogram of the two-dimensional image function gradient; defining priority vector directions of the image function gradient; searching boundaries corresponding to the priority vector directions of the image function gradient; folding the image with the two-dimensional Haar wavelet for detecting lines; determining the precipitation intensity.
EFFECT: increasing the operating speed and decreasing the required amount of RAM for processing and analyzing the video stream, reducing weight and size characteristics of the on-board equipment.
7 cl, 8 dwg

Description

Область техники, к которой относится изобретениеFIELD OF THE INVENTION

Изобретение относится к способам измерения текущей гидрометеорологической информации и может быть использовано в составе бортовых авиационных систем улучшенного и синтезированного видения.The invention relates to methods for measuring current hydrometeorological information and can be used as part of on-board aviation systems with improved and synthesized vision.

Уровень техникиState of the art

Наиболее традиционными способами определения интенсивности осадков являются методы прямого измерения объема осадков, собираемых в специальные осадкосборные устройства [1, 2] либо пролетающих через них [3]. Данные способы могут обеспечить высокую точность измерений, однако их применимость существенно ограничена, поскольку их реализация требует специальных условий организации процесса сбора осадков (минимизация воздействия ветра на прибор, а также влияния самой станции на воздушный поток и т.д.). Известны способы определения интенсивности осадков, основанные на зондировании исследуемой области атмосферы с помощью поочередно посылаемых оптических лазерных [4], радиолокационных [5] или акустических импульсов [6]. В процессе зондирования осуществляется прием обратного рассеянного излучения с последующей обработкой принятых сигналов и прогнозом метеорологических параметров. Данные способы и устройства измерения содержат специализированное и дорогостоящее оборудование: лидары, метеолокаторы и т.д. Указанное оборудование требует специальной настройки, монтажа и обслуживания, обладает высоким энергопотреблением.The most traditional methods for determining the precipitation intensity are methods for directly measuring the amount of precipitation collected in special precipitation devices [1, 2] or flying through them [3]. These methods can provide high accuracy of measurements, however, their applicability is significantly limited, since their implementation requires special conditions for organizing the precipitation collection process (minimizing the effect of wind on the device, as well as the effect of the station on air flow, etc.). Known methods for determining the intensity of precipitation, based on the sounding of the studied region of the atmosphere using alternately sent optical laser [4], radar [5] or acoustic pulses [6]. In the process of sounding, the backscattered radiation is received, followed by processing the received signals and forecasting meteorological parameters. These measurement methods and devices contain specialized and expensive equipment: lidars, weather radars, etc. The specified equipment requires special configuration, installation and maintenance, has high energy consumption.

В случае летательных аппаратов, оснащенных системой улучшенного видения, наиболее простым и низкозатратным способом определения наличия и уровня интенсивности осадков является использование в качестве исходной информации об осадках видеоизображений, получаемых телевизионной камерой, входящей в состав системы улучшенного видения.In the case of aircraft equipped with an improved vision system, the most simple and low-cost way to determine the presence and level of precipitation intensity is to use video images received by a television camera as part of the improved vision system as initial information on precipitation.

Известен ряд способов, позволяющих получать информацию о наличии осадков и уровне их интенсивности на основе видеоданных [7-13]. Все эти способы ориентированы на обработку видеоизображений, получаемых с помощью стационарных камер, поскольку используют стохастическую модель неподвижного заднего плана и дают существенно худшие результаты на фоне движущихся объектов. Кроме того, их вычислительная сложность не позволяет обеспечить реализацию в реальном масштабе времени при помощи специализированных бортовых вычислительных машин, быстродействие которых существенно уступает настольным вычислительным системам.A number of methods are known that allow obtaining information on the presence of precipitation and the level of their intensity based on video data [7-13]. All these methods are focused on processing video images obtained using stationary cameras, since they use a stochastic model of a fixed background and give significantly worse results against the background of moving objects. In addition, their computational complexity does not allow real-time implementation using specialized on-board computers, whose performance is significantly inferior to desktop computing systems.

Ближайшим из известных является способ обнаружения дождя на видеоизображениях с использованием превалирующего направления фильтров Габора [13]. В соответствии с этим способом, к видеопоследовательности применяется вычитание фона для выделения движущихся фрагментов и свертка с фильтрами Габора, имеющими различную направленность (угловую ориентацию). В качестве превалирующей выбирается направленность такого фильтра Габора, свертка с которым обеспечивает максимальную энергию отфильтрованного изображения. Эта энергия и характеризует интенсивность осадков, а направленность соответствующего фильтра Габора - направление их выпадения. Главным недостатком данного способа является использование метода вычитания фона, исключающее возможность его применения для обработки видеоизображений, получаемых с маневренных авиационных носителей. Кроме того, свертка изображения с набором фильтров Габора различной направленности требует дополнительных вычислительных ресурсов и объемов памяти для хранения промежуточных результатов.The closest known method is rain detection in video images using the prevailing direction of Gabor filters [13]. In accordance with this method, background subtraction is applied to the video sequence to highlight moving fragments and convolution with Gabor filters having different orientations (angular orientation). The directionality of such a Gabor filter is chosen as the prevailing one, the convolution with which ensures the maximum energy of the filtered image. This energy characterizes the intensity of precipitation, and the direction of the corresponding Gabor filter is the direction of their precipitation. The main disadvantage of this method is the use of the background subtraction method, which excludes the possibility of its use for processing video images obtained from maneuverable aircraft carriers. In addition, convolution of the image with a set of Gabor filters of various directions requires additional computing resources and memory to store intermediate results.

Раскрытие изобретенияDisclosure of invention

Задачей предлагаемого технического решения является обеспечение возможности автоматического определения наличия осадков и их интенсивности в режиме реального времени с помощью аппаратуры, входящей в состав бортовой авиационной системы, установленной на маневренном авиационном носителе, а также повышение быстродействия при уменьшении вычислительных ресурсов.The objective of the proposed technical solution is to provide the ability to automatically determine the presence of precipitation and their intensity in real time using equipment that is part of the aircraft system installed on a maneuverable aircraft carrier, as well as improving performance while reducing computing resources.

Поставленная задача решается в предложенном способе определения наличия осадков и уровня их интенсивности, включающем этапы, на которых:The problem is solved in the proposed method for determining the presence of precipitation and the level of their intensity, including the stages in which:

- получают видеоизображение посредством телевизионной камеры видимого диапазона спектра,- receive a video image through a television camera in the visible range of the spectrum,

- производят цифровую обработку видеоизображения,- digitally process the video image,

- производят анализ полученных в результате обработки видеоизображения данных, на основе которого определяют наличие осадков.- analyze the data obtained as a result of processing the video image, on the basis of which the presence of precipitation is determined.

В отличие от прототипа на этапе цифровой обработки обрабатывают один кадр видеоизображения с помощью бортовой цифровой вычислительной машины, при этом выполняют следующие операции:In contrast to the prototype, at the stage of digital processing, one frame of a video image is processed using an on-board digital computer, and the following operations are performed:

- поиск векторов градиента функции изображения в каждой точке изображения;- search of gradient vectors of the image function at each image point;

- построение ориентированной гистограммы двумерного поля градиентов функции изображения;- building an oriented histogram of a two-dimensional field of gradients of the image function;

- определение преимущественного направления вектора градиента функции изображения;- determination of the preferred direction of the gradient vector of the image function;

- поиск границ, соответствующих преимущественному направлению вектора градиента функции изображения;- search for boundaries corresponding to the preferred direction of the gradient vector of the image function;

- свертку изображения с двумерным вейвлетом Хаара для детектирования линий;- convolution of the image with a two-dimensional Haar wavelet for line detection;

- определение интенсивности осадков.- determination of precipitation intensity.

В предпочтительном варианте поиск вектора градиента функции изображения в каждой точке изображения, построение ориентированной гистограммы изображения и определение преимущественного направления вектора градиента функции изображения производят по формулам:In a preferred embodiment, the search for the gradient vector of the image function at each image point, the construction of an oriented histogram of the image, and the determination of the preferred direction of the gradient vector of the image function are performed using the formulas:

Figure 00000001
Figure 00000001

Figure 00000002
Figure 00000002

Figure 00000003
Figure 00000003

где:Where:

|∇1(x,y)| - модуль вектора градиента функции изображения, вклад, который вносит точка (х,у) в компоненту гистограммы, ближайшую к аргументу вектора градиента функции изображения,| ∇ 1 (x, y) | - the module of the gradient vector of the image function, the contribution that the point (x, y) makes to the histogram component closest to the argument of the gradient vector of the image function,

arg(∇1(x,y)) - аргумент вектора градиента функции изображения,arg (∇ 1 (x, y)) is the argument of the gradient vector of the image function,

I(x,y) - функция изображения,I (x, y) - image function,

* - оператор свертки,* - convolution operator,

Figure 00000004
и
Figure 00000005
- результаты свертки функции изображения с матрицами
Figure 00000004
and
Figure 00000005
- results of convolution of the image function with matrices

Figure 00000006
соответственно.
Figure 00000006
respectively.

В предпочтительном варианте поиск границ, соответствующих преимущественному вектору градиента функции изображения, производят по формуле:In a preferred embodiment, the search for boundaries corresponding to the preferred gradient vector of the image function is performed by the formula:

R(x,y)=I(x,y)*Sθ,R (x, y) = I (x, y) * S θ ,

где:Where:

Sθ - матрица, размерностью 3 на 3, соответствующая преимущественному направлению вектора градиента функции изображения:S θ is a 3 by 3 matrix corresponding to the preferred direction of the gradient vector of the image function:

Figure 00000007
Figure 00000007

R(x,y) - результат свертки функции изображения с оператором Sθ (препарат).R (x, y) is the result of the convolution of the image function with the operator S θ (drug).

В предпочтительном варианте свертку изображений с двумерным вейвлетом Хаара для детектирования линий производят по формуле:In a preferred embodiment, the convolution of images with a two-dimensional Haar wavelet for detecting lines is performed according to the formula:

G(x,y)=R(x,y)*Hθ,G (x, y) = R (x, y) * H θ ,

где:Where:

Нθ - разновидности вейвлетов Хаара для детектирования тонких линий с различными углами наклона θ;H θ - varieties of Haar wavelets for detecting thin lines with different angles of inclination θ;

G(x,y) - результат свертки препарата R(x,y) с двумерным вейвлетом Хаара Нθ.G (x, y) is the result of convolution of the preparation R (x, y) with a two-dimensional Haar wavelet Н θ .

В предпочтительном варианте определение интенсивности J осадков производят по формуле:In a preferred embodiment, the determination of the intensity J of precipitation is carried out according to the formula:

Figure 00000008
Figure 00000008

где:Where:

М и N - размеры изображения по вертикали и горизонтали соответственно;M and N are the image sizes vertically and horizontally, respectively;

J - интенсивность регулярных протяженных импульсных помех.J is the intensity of the regular extended pulsed interference.

В предпочтительном варианте определяют пороговый промежуток, которому принадлежит полученная интенсивность, и принимают решение об уровне интенсивности осадков:In a preferred embodiment, determine the threshold interval to which the obtained intensity belongs, and decide on the level of precipitation intensity:

- от J0=7.3 до J1=8.6 для слабого уровня интенсивности;- from J 0 = 7.3 to J 1 = 8.6 for a low level of intensity;

- от J1=8.6 до J2=10.0 для умеренного;- from J 1 = 8.6 to J 2 = 10.0 for moderate;

- от J2=10-0 до J3=12.4 для сильного;- from J 2 = 10-0 to J 3 = 12.4 for the strong;

- больше J3=12.4 для очень сильного уровня интенсивности.- more J 3 = 12.4 for a very strong level of intensity.

В предпочтительном варианте видеоизображение получают посредством телевизионной камеры, установленной на борту летательного аппарата.In a preferred embodiment, the video image is obtained by means of a television camera mounted on board the aircraft.

Сущность изобретения заключается в том, что производят периодический анализ видеоизображения окружающей обстановки на предмет наличия помех, характерных для съемки в условиях осадков, и применении к видеопотоку, получаемому с помощью телевизионной камеры, установленной на борту летательного аппарата, методов цифровой обработки изображений с целью определения наличия осадков и уровня их интенсивности. Видеоизображение, получаемое телевизионной камерой видимого диапазона спектра, оцифровывается при помощи платы видеозахвата и обрабатывается бортовой цифровой вычислительной машиной, где к нему для достижения технического результата последовательно применяются следующие методы цифровой обработки изображений: поиск векторов градиента функции изображения в каждой точке изображения; построение ориентированной гистограммы двумерного поля градиентов функции изображения; определение преимущественного направления вектора градиента функции изображения; поиск границ, соответствующих преимущественному направлению вектора градиента функции изображения; свертка изображения с двумерным вейвлетом Хаара для детектирования линий; определение интенсивностиосадков.The essence of the invention lies in the fact that they produce a periodic analysis of the video image of the environment for the presence of interference characteristic of shooting under rainfall conditions and the application of digital image processing methods to determine the presence of a video stream received using a television camera mounted on board an aircraft precipitation and their level of intensity. The video image obtained by a visible-range television camera is digitized using a video capture card and processed by an on-board digital computer, where the following digital image processing methods are applied to it sequentially to achieve a technical result: search for gradient vectors of the image function at each image point; building an oriented histogram of a two-dimensional field of gradients of the image function; determining the preferred direction of the gradient vector of the image function; the search for boundaries corresponding to the preferred direction of the gradient vector of the image function; convolution of the image with a two-dimensional Haar wavelet for line detection; determination of precipitation intensity.

В предлагаемом способе преимущественное направление выпадения осадков определяется по гистограмме ориентированных градиентов функции изображения, что обусловило применимость способа к обработке видеопоследовательностей, получаемых с маневренных носителей, поскольку в данном случае не требуется неподвижности заднего плана. Для определения уровня интенсивности осадков в предлагаемом способе производится свертка изображения только с одним вейвлетом Хаара, имеющим заранее определенную угловую ориентацию, что позволило повысить быстродействие и уменьшить требуемый объем оперативной памяти по сравнению с прототипом. Кроме того, использование вейвлетов Хаара вместо фильтров Габора способствовало дополнительному повышению быстродействия, поскольку свертка изображения с вейвлетами Хаара, в отличие от фильтров Габора, не требует операций умножения.In the proposed method, the predominant direction of precipitation is determined by a histogram of oriented gradients of the image function, which determined the applicability of the method to the processing of video sequences obtained from maneuverable carriers, since in this case the background motion is not required. To determine the level of precipitation intensity in the proposed method, the image is convolved with only one Haar wavelet having a predetermined angular orientation, which allowed to increase the speed and reduce the required amount of RAM in comparison with the prototype. In addition, the use of Haar wavelets instead of Gabor filters contributed to an additional increase in performance, since the convolution of the image with Haar wavelets, unlike Gabor filters, does not require multiplication operations.

Основным техническим результатом, достигаемым при использовании предлагаемого изобретения, является повышение быстродействия и уменьшение требуемого объема оперативной памяти для осуществления обработки и анализа видеопотока.The main technical result achieved using the present invention is to increase the speed and reduce the required amount of RAM for processing and analysis of the video stream.

Кроме того, предложенный способ исключает необходимость использования специализированного метеорологического оборудования, поскольку используемый способ обработки изображения не требует неподвижности заднего плана и поэтому для получения изображения может быть применена телевизионная камера, входящая в состав бортовой аппаратуры. За счет этого снижаются массогабаритные характеристики оборудования, установленного на летательном аппарате.In addition, the proposed method eliminates the need for specialized meteorological equipment, since the image processing method does not require a background motion, and therefore, a television camera, which is part of the on-board equipment, can be used to obtain the image. Due to this, the overall dimensions of the equipment installed on the aircraft are reduced.

Кроме того, заявленный способ позволяет определить не только факт наличия осадков, но также вычислить уровень его интенсивности.In addition, the claimed method allows to determine not only the fact of the presence of precipitation, but also to calculate the level of its intensity.

Краткое описание чертежейBrief Description of the Drawings

На Фиг. 1 показано изображение камеры видимого диапазона при отсутствии осадков.In FIG. 1 shows an image of a visible range camera in the absence of precipitation.

На Фиг. 2 показано изображение камеры видимого диапазона наличии осадков.In FIG. 2 shows a camera image of the visible range of rainfall.

На Фиг. 3 показана свертка изображений видимого диапазона при отсутствии осадков с оператором.In FIG. Figure 3 shows the convolution of visible range images in the absence of precipitation with the operator.

На Фиг. 4 показана свертка изображений видимого диапазона наличии осадков с оператором.In FIG. 4 shows a convolution of the visible range of rainfall images with the operator.

На Фиг. 5 показаны разновидности вейвлетов Хаара для детектирования тонких линий с различными углами наклона.In FIG. 5 shows varieties of Haar wavelets for detecting thin lines with different angles of inclination.

На Фиг. 6 показаны результаты свертки препаратов с соответствующим вейвлетом Хаара при отсутствии осадков.In FIG. Figure 6 shows the results of convolution of the preparations with the corresponding Haar wavelet in the absence of precipitation.

На Фиг. 7 показаны результаты свертки препаратов с соответствующим вейвлетом Хаара наличии осадков.In FIG. 7 shows the results of convolution of the preparations with the corresponding Haar wavelet in the presence of precipitation.

На Фиг. 8 показан график зависимости, используемый для принятия решения о наличии осадков и уровне их интенсивности.In FIG. Figure 8 shows a plot of dependence used to decide on the presence of precipitation and its level of intensity.

Осуществление изобретенияThe implementation of the invention

Сущность способа определения наличия осадков и уровня их интенсивности поясняется на чертежах. Видеоизображение получают посредством телевизионной камеры видимого диапазона спектра, установленной на маневренном авиационном носителе и входящей в состав бортовой авиационной системы улучшенного или синтезированного видения. Полученное видеоизображение оцифровывают при помощи платы видеозахвата и обрабатывают бортовой цифровой вычислительной машиной.The essence of the method for determining the presence of precipitation and the level of their intensity is illustrated in the drawings. The video image is obtained by means of a television camera of the visible range of the spectrum mounted on a maneuverable aircraft carrier and which is part of the on-board aviation system of improved or synthesized vision. The resulting video image is digitized using a video capture card and processed by an on-board digital computer.

На фиг. 1 и 2 представлены примеры кадров видеоизображения, на которых отсутствуют (Фиг. 1) и присутствуют (Фиг. 2) осадки. Присутствие осадков на видеоизображении, помимо общего снижения контрастности, приводит к проявлению особого вида импульсных помех. Данные помехи представляют собой сонаправленные протяженные низкоуровневые детали, в поперечном направлении аналогичные шуму «соль и перец». Интенсивность помех зависит от объема осадков, выпадающих за единицу времени.In FIG. 1 and 2 are examples of frames of a video image on which precipitation is absent (Fig. 1) and present (Fig. 2). The presence of precipitation in the video image, in addition to a general decrease in contrast, leads to the manifestation of a special type of impulse noise. These interferences are codirectional extended low-level parts in the transverse direction similar to “salt and pepper” noise. The intensity of the interference depends on the amount of precipitation falling out per unit time.

Для обнаружения факта наличия осадков и определения их интенсивности производится цифровая обработка изображения, включающая в себя четыре основных этапа:To detect the fact of precipitation and determine their intensity, digital image processing is performed, which includes four main stages:

1. поиск градиента функции изображения в каждой точке и построение ориентированной гистограммы изображения для определения преимущественного направления вектора градиента функции изображения;1. search for the gradient of the image function at each point and the construction of an oriented histogram of the image to determine the preferred direction of the gradient vector of the image function;

2. поиск границ, соответствующих преимущественному направлению вектора градиента функции изображения;2. search for boundaries corresponding to the preferred direction of the gradient vector of the image function;

3. свертка изображения с двумерным вейвлетом Хаара для детектирования линий;3. convolution of the image with a two-dimensional Haar wavelet for line detection;

4. определение интенсивности осадков.4. determination of precipitation intensity.

Поиск модуля и направления градиента ∇1(х,у) функции изображения I(х,у) в каждой точке осуществляется по формулам, используемым в методике, описанной в литературе [14]:The search for the modulus and direction of the gradient ∇ 1 (x, y) of the image function I (x, y) at each point is carried out according to the formulas used in the technique described in the literature [14]:

Figure 00000009
Figure 00000009

Figure 00000010
Figure 00000010

Figure 00000011
Figure 00000011

где * - оператор свертки,

Figure 00000012
и
Figure 00000013
- частные производные функции изображения по х и у соответственно,where * is the convolution operator,
Figure 00000012
and
Figure 00000013
- partial derivatives of the image function with respect to x and y, respectively,

Figure 00000014
Figure 00000014

Ориентированная гистограмма состоит из следующих компонент: 0°(180°), 30°(210°), 45°(225°), 60°(240°), ±90°, 120°(-60°), 135°(-45°), 150°(-30°). Формируется гистограмма следующим образом: каждая точка (х,у) вносит вклад, равный величине, определяемой по формуле (1), в ту компоненту гистограммы, которая ближе всего соответствует направлению градиента функции изображения, вычисленному по формуле (2). Преимущественное направление вектора градиента в функции изображения лежит в промежутке, покрываемом максимальной компонентой гистограммы.The oriented histogram consists of the following components: 0 ° (180 °), 30 ° (210 °), 45 ° (225 °), 60 ° (240 °), ± 90 °, 120 ° (-60 °), 135 ° ( -45 °), 150 ° (-30 °). A histogram is formed as follows: each point (x, y) makes a contribution equal to the value determined by formula (1) to that component of the histogram that most closely corresponds to the direction of the gradient of the image function calculated by formula (2). The predominant direction of the gradient vector in the image function lies in the gap covered by the maximum component of the histogram.

С целью выделения границ, соответствующих преимущественному направлению вектора градиента θ функции изображения, производится свертка исходного изображения 1(х,у) с одним из операторов Sθ:In order to highlight the boundaries corresponding to the predominant direction of the gradient vector θ of the image function, the original image 1 (x, y) is convolved with one of the operators S θ :

Figure 00000015
Figure 00000015

гдеWhere

Figure 00000016
Figure 00000016

Результаты свертки изображений с фиг. 1 и 2 с оператором Sθ, соответствующим преимущественному направлению вектора градиента функции изображения, представлены на фиг. 3 и 4. Как видно из рисунков, препарат R(x,у), полученный при наличии осадков, отличается высокой интенсивностью регулярных сонаправленных протяженных импульсных помех. Оба препарата R(x,y) содержат контуры объектов, имеющие вид ярких утолщенных линий, а также двумерные импульсные помехи случайной формы.The convolution results of the images of FIG. 1 and 2 with the operator S θ corresponding to the preferred direction of the gradient vector of the image function are shown in FIG. 3 and 4. As can be seen from the figures, the preparation R (x, y), obtained in the presence of precipitation, is characterized by a high intensity of regular codirectional extended impulse noise. Both preparations R (x, y) contain the contours of objects that have the form of bright thickened lines, as well as two-dimensional impulse noise of a random shape.

Для подавления контуров объектов и случайных шумовых составляющих производится свертка препарата R(x,y) с двумерным вейвлетом Хаара, представляющим собой разность между суммами интенсивностей пикселей в смежных областях:To suppress the contours of objects and random noise components, the drug R (x, y) is convolved with a two-dimensional Haar wavelet, which is the difference between the sums of pixel intensities in adjacent areas:

Figure 00000017
Figure 00000017

Разновидности вейвлетов Хаара Нθ для детектирования тонких линий с различными углами наклона θ изображены на фиг. 5. Результаты свертки препаратов R(x,y) с вейвлетом Хаара, соответствующим преимущественному направлению вектора градиента функции изображения, представлены на фиг. 6-7.Varieties of Haar wavelets H θ for detecting thin lines with different angles of inclination θ are shown in FIG. 5. The results of the convolution of the preparations R (x, y) with the Haar wavelet corresponding to the predominant direction of the image function gradient vector are presented in FIG. 6-7.

Заключительным этапом алгоритма является определение интенсивности J регулярных протяженных импульсных помех:The final stage of the algorithm is to determine the intensity J of regular extended pulsed noise:

Figure 00000018
Figure 00000018

где М и N - размеры изображения по вертикали и горизонтали. Решение о наличии осадков и их интенсивности принимается в зависимости от соотношения J и следующих пороговых значений Ji (фиг. 8):where M and N are the image sizes vertically and horizontally. The decision on the presence of precipitation and their intensity is made depending on the ratio of J and the following threshold values of J i (Fig. 8):

- от J0=7.3 до J1=8.6 для слабого уровня интенсивности;- from J 0 = 7.3 to J 1 = 8.6 for a low level of intensity;

- от J1=8.6 до J2=10.0 для умеренного;- from J 1 = 8.6 to J 2 = 10.0 for moderate;

- от J2=10.0 до J3=124 для сильного;- from J 2 = 10.0 to J 3 = 124 for the strong;

- больше J3=124 для очень сильного уровня интенсивности.- more J 3 = 124 for a very strong level of intensity.

Пороговые значения Ji были определены экспериментальным способом путем анализа видеоизображений, полученных при отсутствии осадков, а также в условиях осадков различной степени интенсивности.The threshold values of J i were determined experimentally by analyzing the video images obtained in the absence of precipitation, as well as in conditions of precipitation of varying degrees of intensity.

Для изображений, представленных на фиг. 1 и 2, значения J составили соответственно 5.8 и 9.6, что соответствует отсутствию дождя (Фиг. 1) и умеренному дождю (Фиг. 2).For the images shown in FIG. 1 and 2, the J values were 5.8 and 9.6, respectively, which corresponds to the absence of rain (Fig. 1) and moderate rain (Fig. 2).

Таким образом, предложенный способ позволяет получать информацию о наличии и уровне интенсивности атмосферных осадков автоматически в реальном масштабе времени с использованием телевизионной камеры, входящей в состав бортового оборудования, установленного на летательном аппарате. При этом достигается технический результат - повышение быстродействия и уменьшение требуемого объема оперативной памяти для осуществления обработки и анализа видеопотока, а также снижение массогабаритных характеристик бортовой аппаратуры.Thus, the proposed method allows to obtain information about the presence and intensity level of precipitation automatically in real time using a television camera, which is part of the on-board equipment installed on the aircraft. At the same time, a technical result is achieved - increasing speed and reducing the required amount of RAM for processing and analyzing the video stream, as well as reducing the overall dimensions of the on-board equipment.

ЛитератураLiterature

1. Авторское свидетельство СССР №1728830.1. USSR copyright certificate No. 1728830.

2. Патент РФ №2054730.2. RF patent No. 2054730.

3. Патент РФ №2097797.3. RF patent No. 2097797.

4. Авторское свидетельство СССР №1187595.4. Copyright certificate of the USSR No. 1187595.

5. Патент РФ №2097798.5. RF patent No. 2097798.

6. Авторское свидетельство СССР №932435.6. Copyright certificate of the USSR No. 932435.

7. К. Garg, S.K. Nayar, "Detection and removal of rain from videos", in Computer Vision and Pattern Recognition, Proceedings of the 2004 IEEE Computer Society Conference on, IEEE, 2004, Vol. 521, pp. I-528-I-535.7.K. Garg, S.K. Nayar, "Detection and removal of rain from videos", in Computer Vision and Pattern Recognition, Proceedings of the 2004 IEEE Computer Society Conference on, IEEE, 2004, Vol. 521, pp. I-528-I-535.

8. X. Zhang, H. Li, Y. Qi, W.K. Leow, Т.К. Ng, "Rain removal in video by combining temporal and chromatic properties", Multimedia and Expo, IEEE International Conference on, IEEE, 2006, pp. 461-464.8. X. Zhang, H. Li, Y. Qi, W.K. Leow, T.K. Ng, "Rain removal in video by combining temporal and chromatic properties", Multimedia and Expo, IEEE International Conference on, IEEE, 2006, pp. 461-464.

9. M. Shen, P. Xue, "A fast algorithm for rain detection and removal from videos, in Multimedia and Expo (ICME), IEEE International Conference on, IEEE, 2011, pp. 1-6.9. M. Shen, P. Xue, "A fast algorithm for rain detection and removal from videos, in Multimedia and Expo (ICME), IEEE International Conference on, IEEE, 2011, pp. 1-6.

10. P.C. Barnum, S. Narasimhan, T. Kanade, "Analysis of rain and snow in frequency space", International Journal of Computer Vision, Vol. 86, No. 2-3, Jan. 2010, pp. 256-274.10. P.C. Barnum, S. Narasimhan, T. Kanade, "Analysis of rain and snow in frequency space", International Journal of Computer Vision, Vol. 86, No. 2-3, Jan. 2010, pp. 256-274.

11. W.-J. Park, K.-H. Lee, "Rain removal using Kalman filter in video, Smart Manufacturing Application", in ICSMA 2008, International Conference on, IEEE, 2008, pp. 494-497.11. W.-J. Park, K.-H. Lee, "Rain removal using Kalman filter in video, Smart Manufacturing Application", in ICSMA 2008, International Conference on, IEEE, 2008, pp. 494-497.

12. X. Zhao, P. Liu, J. Liu, T. Xianglong, "The application of histogram on rain detection in video", Proceedings of the 11th Joint Conference on Information Science, 2008.12. X. Zhao, P. Liu, J. Liu, T. Xianglong, "The application of histogram on rain detection in video", Proceedings of the 11th Joint Conference on Information Science, 2008.

13. G. Malekshahi, H. Ebrahimnezhad, "Detection and Removal of Rain from Video Using Predominant Direction of Gabor Filters", Journal of Information Systems and Telecommunication, Vol. 3, No. 1, Jan. 2015, pp. 41-49.13. G. Malekshahi, H. Ebrahimnezhad, "Detection and Removal of Rain from Video Using Predominant Direction of Gabor Filters", Journal of Information Systems and Telecommunication, Vol. 3, No. 1, Jan. 2015, pp. 41-49.

14. Цифровая обработка изображений в информационных системах: Учеб. пособие / И.С. Грузман, B.C. Киричук и др. - Новосибирск: Изд-во НГТУ, 2002. - 352 с. 14. Digital image processing in information systems: Textbook. allowance / I.S. Gruzman, B.C. Kirichuk et al. - Novosibirsk: Publishing House of NSTU, 2002. - 352 p.

Claims (41)

1. Способ определения наличия осадков и уровня их интенсивности, содержащий этапы, на которых:1. A method for determining the presence of precipitation and their intensity level, comprising stages in which: - получают видеоизображение посредством телевизионной камеры видимого диапазона спектра,- receive a video image through a television camera in the visible range of the spectrum, - производят цифровую обработку видеоизображения,- digitally process the video image, - производят анализ полученных в результате обработки видеоизображения данных, на основе которого определяют наличие осадков,- analyze the data obtained as a result of processing the video image, on the basis of which the presence of precipitation is determined, отличающийся тем, что на этапе цифровой обработки обрабатывают один кадр видеоизображения с помощью бортовой цифровой вычислительной машины, при этом выполняют:characterized in that at the stage of digital processing process one frame of a video image using an on-board digital computer, while performing: - поиск векторов градиента функции изображения в каждой точке изображения;- search of gradient vectors of the image function at each image point; - построение ориентированной гистограммы двумерного поля градиентов функции изображения;- building an oriented histogram of a two-dimensional field of gradients of the image function; - определение преимущественного направления вектора градиента функции изображения;- determination of the preferred direction of the gradient vector of the image function; - поиск границ, соответствующих преимущественному направлению вектора градиента функции изображения;- search for boundaries corresponding to the preferred direction of the gradient vector of the image function; - свертку изображения с двумерным вейвлетом Хаара для детектирования линий;- convolution of the image with a two-dimensional Haar wavelet for line detection; - определение интенсивности осадков.- determination of precipitation intensity. 2. Способ по п.1, отличающийся тем, что поиск градиента функции изображения в каждой точке изображения, построение ориентированной гистограммы изображения и определение преимущественного направления вектора градиента функции изображения производят по формулам:2. The method according to claim 1, characterized in that the search for the gradient of the image function at each image point, the construction of an oriented histogram of the image and the determination of the preferred direction of the vector of the gradient of the image function is performed according to the formulas:
Figure 00000019
Figure 00000019
Figure 00000020
Figure 00000020
Figure 00000021
где:
Figure 00000021
Where: |∇1(x,y)| - модуль вектора градиента функции изображения - вклад, который вносит каждая точка изображения (х,у) в компоненту гистограммы, ближайшую к аргументу вектора градиента функции изображения,| ∇ 1 (x, y) | - the module of the gradient vector of the image function is the contribution that each point of the image (x, y) makes to the histogram component closest to the argument of the gradient vector of the image function, arg(∇1(x,y)) - аргумент вектора градиента функции изображения,arg (∇ 1 (x, y)) is the argument of the gradient vector of the image function, I(х, у) - функция изображения,I (x, y) - image function, * - оператор свертки,* - convolution operator,
Figure 00000022
и
Figure 00000023
- результаты свертки функции изображения с матрицами
Figure 00000022
and
Figure 00000023
- results of convolution of the image function with matrices
Figure 00000024
соответственно.
Figure 00000024
respectively. 3. Способ по п.1, отличающийся тем, что поиск границ, соответствующих преимущественному вектору градиента функции изображения, производят по формуле:3. The method according to claim 1, characterized in that the search for boundaries corresponding to the predominant gradient vector of the image function is performed by the formula: R(x,y)=I(x,y)*Sθ, где:R (x, y) = I (x, y) * S θ , where: R(x,y) - результат свертки функции изображения с оператором Sθ (препарат),R (x, y) is the result of the convolution of the image function with the operator S θ (drug), θ - направление вектора градиента функции изображения,θ is the direction of the gradient vector of the image function, Sθ - матрица размерностью 3 на 3, соответствующая преимущественному направлению вектора градиента функции изображения:S θ is a 3 by 3 matrix corresponding to the preferred direction of the gradient vector of the image function:
Figure 00000025
Figure 00000025
 4. Способ по п.1, отличающийся тем, что свертку изображений с двумерным вейвлетом Хаара для детектирования линий производят по формуле:4. The method according to claim 1, characterized in that the convolution of images with a two-dimensional Haar wavelet for detecting lines is performed according to the formula: G(x,y)=R(x,y)*Hθ, где:G (x, y) = R (x, y) * H θ , where: G(x,y) - результат свертки препарата R(x,y) с двумерным вейвлетом Хаара Нθ,G (x, y) is the result of convolution of the preparation R (x, y) with a two-dimensional Haar wavelet Н θ , Нθ - разновидности вейвлетов Хаара для детектирования тонких линий с различными углами наклона θ.H θ - varieties of Haar wavelets for detecting thin lines with different angles of inclination θ. 5. Способ по п.1, отличающийся тем, что определение интенсивности осадков производят по формуле:5. The method according to claim 1, characterized in that the determination of precipitation intensity is carried out according to the formula:
Figure 00000026
где:
Figure 00000026
Where: J - интенсивность регулярных протяженных импульсных помех,J is the intensity of the regular extended pulsed interference, М и N - размеры изображения по вертикали и горизонтали соответственно.M and N are the image sizes vertically and horizontally, respectively. 6. Способ по п.5, отличающийся тем, что определяют пороговый промежуток, которому принадлежит полученная интенсивность, и принимают решение об уровне интенсивности осадков:6. The method according to claim 5, characterized in that they determine the threshold interval to which the obtained intensity belongs, and decide on the level of precipitation intensity: - от J0=7.3 до J1=8.6 для слабого уровня интенсивности;- from J 0 = 7.3 to J 1 = 8.6 for a low level of intensity; - от J1=8.6 до J2=10.0 для умеренного;- from J 1 = 8.6 to J 2 = 10.0 for moderate; - от J2=10.0 до J3=12.4 для сильного;- from J 2 = 10.0 to J 3 = 12.4 for the strong; - больше J3=12.4 для очень сильного уровня интенсивности.- more J 3 = 12.4 for a very strong level of intensity. 7. Способ по любому из пп.1-6, отличающийся тем, что видеоизображение получают посредством телевизионной камеры, установленной на борту летательного аппарата.7. The method according to any one of claims 1 to 6, characterized in that the video image is obtained by means of a television camera mounted on board the aircraft.
RU2015147463A 2015-11-03 2015-11-03 Method for determining precipitation intensity in real time in aircraft systems of improved vision RU2611696C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2015147463A RU2611696C1 (en) 2015-11-03 2015-11-03 Method for determining precipitation intensity in real time in aircraft systems of improved vision

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2015147463A RU2611696C1 (en) 2015-11-03 2015-11-03 Method for determining precipitation intensity in real time in aircraft systems of improved vision

Publications (1)

Publication Number Publication Date
RU2611696C1 true RU2611696C1 (en) 2017-02-28

Family

ID=58459495

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015147463A RU2611696C1 (en) 2015-11-03 2015-11-03 Method for determining precipitation intensity in real time in aircraft systems of improved vision

Country Status (1)

Country Link
RU (1) RU2611696C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2724298C1 (en) * 2018-11-13 2020-06-22 федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" Precipitation intensity meter based on video image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211845A (en) * 1998-01-30 1999-08-06 Nagoya Denki Kogyo Kk Rainfall/snowfall detecting method and its device
KR20120040463A (en) * 2010-10-19 2012-04-27 부산대학교 산학협력단 System and method for calculating quantitative of heavy rainfall amount using satellite images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211845A (en) * 1998-01-30 1999-08-06 Nagoya Denki Kogyo Kk Rainfall/snowfall detecting method and its device
KR20120040463A (en) * 2010-10-19 2012-04-27 부산대학교 산학협력단 System and method for calculating quantitative of heavy rainfall amount using satellite images

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
G.Malekshahi, H.Ebrahimnezhad. Detection and Removal of Rain from Video Using Predominant Direction of Gabor Filters / Journal of Information Systems and Telecommunication, 2015, Vol.3, No.1, pp.41-49. *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2724298C1 (en) * 2018-11-13 2020-06-22 федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" Precipitation intensity meter based on video image

Similar Documents

Publication Publication Date Title
WO2021093283A1 (en) Sea surface small-area oil spill region detection system and detection method based on multi-sensing fusion
Kang et al. Pothole detection system using 2D LiDAR and camera
Tripathi et al. Removal of rain from videos: a review
Zhang et al. Algorithms for optical weak small targets detection and tracking
US8116527B2 (en) Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background
Wood-Bradley et al. Cloud tracking with optical flow for short-term solar forecasting
CN102494675B (en) High-speed visual capturing method of moving target features
Schnelle et al. Enhanced target tracking through infrared-visible image fusion
Shen et al. A fast algorithm for rain detection and removal from videos
CN109859246B (en) Low-altitude slow unmanned aerial vehicle tracking method combining correlation filtering and visual saliency
KR101928391B1 (en) Method and apparatus for data fusion of multi spectral image and radar image
CN106096604A (en) Multi-spectrum fusion detection method based on unmanned platform
US10473429B1 (en) Projectile detection system and method
CN111027496A (en) Infrared dim target detection method based on space-time joint local contrast
Kim Double layered-background removal filter for detecting small infrared targets in heterogenous backgrounds
CN106060466A (en) Video image sequence-based insulator tracking monitor method
Li et al. DIM moving target detection using spatio-temporal anomaly detection for hyperspectral image sequences
Hu et al. Big data oriented novel background subtraction algorithm for urban surveillance systems
Deng et al. Ship detection from optical satellite image using optical flow and saliency
RU2611696C1 (en) Method for determining precipitation intensity in real time in aircraft systems of improved vision
Abdelli et al. A four-frames differencing technique for moving objects detection in wide area surveillance
CN112669332A (en) Method for judging sea and sky conditions and detecting infrared target based on bidirectional local maximum and peak local singularity
CN103942766A (en) Rainy day video restoration method based on time domain, space domain and frequency domain joint processing
JP5465001B2 (en) Target estimation device
Zhao et al. Point target detection in space-based infrared imaging system based on multi-direction filtering fusion

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20191104