RU2767606C1 - Method for processing and displaying signals of multispectral images - Google Patents

Method for processing and displaying signals of multispectral images Download PDF

Info

Publication number
RU2767606C1
RU2767606C1 RU2021111703A RU2021111703A RU2767606C1 RU 2767606 C1 RU2767606 C1 RU 2767606C1 RU 2021111703 A RU2021111703 A RU 2021111703A RU 2021111703 A RU2021111703 A RU 2021111703A RU 2767606 C1 RU2767606 C1 RU 2767606C1
Authority
RU
Russia
Prior art keywords
signals
images
spectral
multispectral
registration
Prior art date
Application number
RU2021111703A
Other languages
Russian (ru)
Inventor
Борис Львович Шапиро
Сергей Дмитриевич Ковин
Юрий Сагдуллаевич Сагдуллаев
Терентий Валерьевич Селявский
Original Assignee
Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ filed Critical Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ
Priority to RU2021111703A priority Critical patent/RU2767606C1/en
Application granted granted Critical
Publication of RU2767606C1 publication Critical patent/RU2767606C1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

FIELD: imaging technology.
SUBSTANCE: invention relates to the field of multispectral television, using the registration of reflected and radiated flux in several spectral regions (zones), including the ultraviolet, visible and infrared regions of the optical spectrum. It can be used to solve problems of selection, discrimination and recognition of objects by amplitude, spectral and spatial characteristics and find applications in systems of technical vision, video surveillance and object tracking. The result is achieved in that a method for forming and display color, multispectral and thermal images, enables the logging of input of radiant flux F(λ) within a wide spectral range, the formation of two separate radiant F1(λ) and F2 (λ) streams reflecting areas (zones) of the registration of the radiant flux Δλ1 and Δλ2, the conversion of radiant fluxes F1(λ) and F2(λ) and the formation on their basis in the first channel of image signals UΔλ1(t), and in the second channel of image signals UΔλ2(t), separate processing of the received signals of multispectral images UΔλ1(t) and UΔλ2(t), including amplification, conversion of analog signals into digital, digital aperture and gamma correction, when performing joint signal processing of multispectral images UΔλ1(t) and UΔλ2(t), including operations of summation and subtraction of two source signals, adding operations of their division and multiplication and in general form m-signals of multispectral images, which are fed to the inputs of a multichannel switch, further, any three signals are selected from all the signals and fed to the RGB inputs of a color video monitoring device for displaying and visual analysis of multispectral images in conditional colors, and also using these signals of multispectral images for automatic image analysis.
EFFECT: expanding the functionality and achieving an increase in the contrast of images for the selection and distinction of objects in the joint signal processing of multispectral images using two spectral areas (zones) of the registration of the radiant flux.
1 cl, 3 dwg, 6 tbl

Description

Настоящее изобретение относится к области спектрозонального телевидения, которое использует регистрацию отраженного или излученного потока в нескольких спектральных участках (зонах), включающих ультрафиолетовую, видимую и инфракрасную области спектра электромагнитных волн (Определим здесь такую область спектра электромагнитных волн как широкий спектральный интервал длин волн).The present invention relates to the field of multispectral television, which uses the registration of the reflected or radiated flow in several spectral regions (zones), including the ultraviolet, visible and infrared regions of the electromagnetic wave spectrum (Let's define such a region of the electromagnetic wave spectrum as a wide spectral range of wavelengths).

Заявляемый способ может быть использован для решения задач селекции, различения и распознавания объектов по распределению амплитудных и спектральных характеристик объектов и найти применение в системах технического зрения, дистанционного видеонаблюдения и слежения за объектами.The claimed method can be used to solve the problems of selection, discrimination and recognition of objects by the distribution of the amplitude and spectral characteristics of objects and find application in systems of technical vision, remote video surveillance and object tracking.

Для наблюдения объектов окружающего пространства и земной поверхности с летательных аппаратов (ЛА) используют различные типы оптико-электронных, телевизионных (ТВ) и тепловизионных (ТПВ) систем, которые осуществляют регистрацию лучистого (светового) потока в выбранном спектральном участке.To observe objects of the surrounding space and the earth's surface from aircraft (LA), various types of optoelectronic, television (TV) and thermal imaging (TPV) systems are used, which record the radiant (light) flux in a selected spectral region.

Для формирования черно-белых и цветных ТВ изображений используется регистрация светового потока в видимой области спектра. В передающем тракте ТВ системы осуществляется формирование сигналов изображения и их обработка, а в приемном тракте их отображение на экране видеоконтрольных устройств (ВКУ) в виде черно-белых или цветных изображений.For the formation of black-and-white and color TV images, registration of the light flux in the visible region of the spectrum is used. In the transmitting path of the TV system, image signals are formed and processed, and in the receiving path they are displayed on the screen of video monitoring devices (VCU) in the form of black-and-white or color images.

Принцип спектральной селекции объектов базируется на одновременной или последовательной регистрации отраженного или излученного лучистого потока в нескольких зонах длин волн - Δλi - внутри широкого спектрального интервала длин волн. Здесь i=1, …, m, где m - количество зон длин волн, зависящее от решаемой задачи наблюдения и распознавания объектов. В этой связи, спектрозональные (разноспектральные) ТВ изображения могут быть сформированы путем регистрации и преобразовании лучистого (светового) потока в ультрафиолетовой (УФ), видимой (ВИ) и инфракрасной (ИК) областях спектра. Информативность таких изображений может быть значительно выше (в десятки раз) по сравнению с цветными RGB изображениями, особенно при различении объектов земной поверхности, имеющих одинаковые пространственные признаки (по форме, размеру и т.д.).The principle of spectral selection of objects is based on the simultaneous or sequential registration of the reflected or emitted radiant flux in several wavelength zones - Δλ i - within a wide spectral range of wavelengths. Here i=1, ..., m, where m is the number of wavelength zones, depending on the problem of observation and recognition of objects being solved. In this regard, spectral-zonal (multi-spectral) TV images can be formed by recording and converting a radiant (light) flux in the ultraviolet (UV), visible (VI) and infrared (IR) regions of the spectrum. The information content of such images can be much higher (tens of times) compared to color RGB images, especially when distinguishing objects of the earth's surface that have the same spatial features (in shape, size, etc.).

Способы и устройства раздельного формирования видеосигналов с помощью отдельных черно-белых, цветных, спектрозональных ТВ камер в различных спектральных участках (зонах) для визуального анализа изображений объектов нашли отражение в большом числе источников отечественной литературы [1], [2], [3] и др.Methods and devices for separate formation of video signals using separate black-and-white, color, spectral-zonal TV cameras in different spectral regions (zones) for visual analysis of images of objects are reflected in a large number of sources of domestic literature [1], [2], [3] and others

Прозрачность среды между ЛА и объектами земной поверхности может ухудшаться из-за неблагоприятных погодных условий: дожде, тумане или задымленной атмосфере, что приводит к наблюдению слабоконтрастных объектов или к их «полной потере» при распознавании на изображении. Это требует наряду с использованием ВИ и ближней ИК областей спектра, осуществлять наблюдения объектов и в тепловой ИК области спектра.The transparency of the environment between the aircraft and the objects of the earth's surface may deteriorate due to adverse weather conditions: rain, fog or smoky atmosphere, which leads to the observation of low-contrast objects or their "complete loss" when recognizing in the image. This requires, along with the use of VI and near-IR spectral regions, to carry out observations of objects in the thermal IR region of the spectrum.

На сегодня существует большой класс отдельных устройств тепловидения, в которых для регистрации излученного лучистого потока от объектов используют матричные фотоприемники (МФП), работающие в вещательном ТВ формате, что делает такие системы в ряде случаев незаменимыми для наблюдения объектов в ночное время суток даже в черно-белом виде, которое осуществляется путем регистрации и преобразования лучистого потока в тепловой части ИК области спектра в спектральных участках 3-5 мкм и 8-12 мкм в сигналы изображений [4].Today, there is a large class of individual thermal imaging devices in which matrix photodetectors (MPDs) operating in broadcast TV format are used to register the radiant flux from objects, which makes such systems in some cases indispensable for observing objects at night, even in black and white. white form, which is carried out by recording and converting the radiant flux in the thermal part of the IR region of the spectrum in the spectral regions of 3–5 µm and 8–12 µm into image signals [4].

Известен способ [5], в котором осуществляется использование интегрального метода регистрации по входному лучистому потоку и его преобразование в сигналы изображения с переходом к дифференциальному методу на уровне обработки самих зональных сигналов ТВ изображений. В данном случае используются зоны регистрации лучистого потока с переменной шириной в широком спектральном участке длин волн и формируются зональные сигналы ТВ изображений путем вычитания сигналов между собой. Использование регистрации лучистого потока с переменной шириной зон длин волн позволяет на уровне обработки электрических сигналов сформировать зональные сигналы с узкой зоной регистрации лучистого потока при высоком отношении сигнал/шум вычитаемых сигналов.There is a method [5], in which the integral registration method is used for the input radiant flux and its conversion into image signals with the transition to the differential method at the level of processing the zonal TV image signals themselves. In this case, zones of registration of a radiant flux with a variable width in a wide spectral region of wavelengths are used and zonal TV image signals are formed by subtracting signals from each other. The use of registration of a radiant flux with a variable width of wavelength zones makes it possible to form zonal signals with a narrow zone of registration of a radiant flux at a high signal-to-noise ratio of subtracted signals at the level of electrical signal processing.

Недостатком рассмотренного способа является невозможность осуществления одновременного раздельного формирования видеосигналов цветных, спектрозональных и ТПВ изображений и совмещения преимущества методов регистрации лучистого потока в различных спектральных участках длин волн.The disadvantage of the considered method is the impossibility of simultaneous separate formation of video signals of color, spectral-zonal and TPV images and combining the advantages of methods for registering a radiant flux in different spectral regions of wavelengths.

В последнее время большое распространение получили системы, имеющие в своем составе ТВ и ТПВ камеры. ТВ камеры, предназначены для получения изображений наблюдаемой сцены в ВИ области спектра (0,38-0,76 мкм), а ТПВ камеры предназначены для получения на экране монитора изображений в ИК области спектра (3-5 мкм) или (8-12 мкм). Полезная информация, необходимая для принятия решения оператором, может быть распределена между изображениями разных участков спектра. В этом случае оператор вынужден анализировать несколько изображений и сопоставлять их между собой, что приводит к задержкам в принятии решения.Recently, systems incorporating TV and TPV cameras have become widespread. TV cameras are designed to receive images of the observed scene in the VI region of the spectrum (0.38-0.76 microns), and TPV cameras are designed to receive images on the monitor screen in the IR region of the spectrum (3-5 microns) or (8-12 microns ). Useful information necessary for the operator to make a decision can be distributed between images of different parts of the spectrum. In this case, the operator is forced to analyze several images and compare them with each other, which leads to delays in making a decision.

По этой причине целесообразно выводить на отображающее устройство объединенное изображение, синтезированное из исходных ТВ и ТПВ изображений. Такой режим позволяет повысить информативность системы, объединив в одном результирующем изображении детали наблюдаемой сцены в ВИ и ИК областях спектра.For this reason, it is advisable to output to the display device a combined image synthesized from the original TV and TPV images. This mode allows you to increase the information content of the system by combining in one resulting image the details of the observed scene in the VI and IR regions of the spectrum.

В настоящее время не существует единого алгоритма комплексирования ТВ и ТПВ изображений. В существенной степени это связано с тем, что оценка качества предъявляемых изображений является субъективной и зависит от психофизиологических особенностей оператора, решаемой задачи и условий наблюдения. Но, тем не менее, алгоритм обработки разноспектральных изображений, с целью их объединения, может базироваться на критерии достижения максимальной информативности, предусматривающий получение большего количества различной информации по спектрально-энергетическим признакам.Currently, there is no unified algorithm for combining TV and TPV images. To a large extent, this is due to the fact that the assessment of the quality of the presented images is subjective and depends on the psychophysiological characteristics of the operator, the task being solved, and the conditions of observation. But, nevertheless, the algorithm for processing multi-spectral images, in order to combine them, can be based on the criterion for achieving maximum information content, which provides for obtaining more different information on spectral-energy features.

В этой связи, с точки зрения совместной обработки сигналов разноспектральных изображений, известны способы и устройства, объединяющие два или несколько изображений, получаемых в разных участках и зонах оптического спектра (например, видимой и тепловой). Они позволяют сформировать результирующее изображение, обладающее большей различительной способностью для селекции заданных объектов. В первую очередь, для этого могут быть использованы способы обработки сигналов, включающих различные арифметические операции [5].In this regard, from the point of view of the joint processing of signals of multispectral images, methods and devices are known that combine two or more images obtained in different sections and zones of the optical spectrum (for example, visible and thermal). They make it possible to form the resulting image, which has a greater distinctiveness for the selection of given objects. First of all, signal processing methods, including various arithmetic operations [5], can be used for this.

В качестве наиболее близкого аналога заявляемого изобретения по совокупности признаков и операций над сигналами принят способ формирования и отображения сигналов цветных, спектрозональных и тепловизионных изображений (Патент РФ №2546982, - опубл. 10.04.2015) [7].As the closest analogue of the claimed invention in terms of the totality of features and operations on signals, a method for generating and displaying signals of color, spectral-zonal and thermal imaging images was adopted (RF Patent No. 2546982, - publ. 04/10/2015) [7].

Суть способа сводится к следующему.The essence of the method is as follows.

Для формирования и отображения сигналов цветных, спектрозональных и тепловизионных изображений предусматривается регистрация лучистого потока внутри широкого спектрального интервала длин волн, его расщепление на два идентичных потока. После расщепления входного лучистого потока на два идентичных потока, их пропускают через два оптических фильтра, первый из которых имеет спектральную характеристику, охватывающую спектральный участок в видимой области спектра от 0,38 до 0,76 мкм и на выходе первого фильтра образуют лучистый поток F1(λ), а спектральная характеристика второго оптического фильтра охватывает спектральный участок в видимой и ближней ИК областях спектра от 0,38 до 2,5 мкм и на выходе второго оптического фильтра образуют лучистый поток F2(λ).For the formation and display of signals of color, spectral-zonal and thermal imaging, registration of a radiant flux within a wide spectral range of wavelengths, its splitting into two identical fluxes is provided. After splitting the input radiant flux into two identical streams, they are passed through two optical filters, the first of which has a spectral characteristic covering the spectral region in the visible region of the spectrum from 0.38 to 0.76 μm and at the output of the first filter form a radiant flux F 1 (λ), and the spectral characteristic of the second optical filter covers the spectral region in the visible and near IR regions of the spectrum from 0.38 to 2.5 μm and at the output of the second optical filter form a radiant flux F 2 (λ).

Далее, первый лучистый поток F1(λ) проецируют на первый многосигнальный преобразователь «лучистый поток-сигнал», имеющий на поверхности своего фотоприемника мозаичные цветные фильтры вида RGB, соответствующие зонам регистрации светового потока в красной (R), зеленой (G) и синей (В) области видимого участка спектра, затем световые потоки FR(λ), FG(λ) и FB(λ) преобразуют в видеосигналы цветного телевидения UR(t), UG(t) и UB(t).Further, the first radiant flux F 1 (λ) is projected onto the first multi-signal "radiant flux-signal" converter, which has mosaic color filters of the form RGB on the surface of its photodetector, corresponding to the light flux registration zones in red (R), green (G) and blue (B) the visible region of the spectrum, then the light fluxes F R (λ), F G (λ) and F B (λ) are converted into color television video signals U R (t), U G (t) and U B (t) .

Второй лучистый поток F2(λ) проецируют на второй многосигнальный преобразователь «лучистый поток-сигнал», имеющий на поверхности фотоприемника мозаичные спектрозональные оптические фильтры со своей спектральной характеристикой, соответствующие выбранным зонам регистрации длин волн Δλ1, Δλ2 и Δλ3 лучистого потока в видимой и ближней ИК области спектра, где после спектрозональных оптических фильтров лучистые потоки F(Δλ1), F(Δλ2) и F(Δλ3) преобразуют в видеосигналы спектрозонального телевидения UΔλ1(t), UΔλ2(t) и UΔλ3(t).The second radiant flux F 2 (λ) is projected onto the second multi-signal "radiant flux-signal" converter, which has mosaic spectral-zonal optical filters on the surface of the photodetector with its own spectral characteristic, corresponding to the selected zones for recording wavelengths Δλ 1 , Δλ 2 and Δλ 3 of the radiant flux in visible and near-IR spectral regions, where, after spectral-zonal optical filters, radiant fluxes F(Δλ 1 ), F(Δλ 2 ) and F(Δλ 3 ) are converted into video signals of spectral-zonal television U Δλ1 (t), U Δλ2 (t) and U Δλ3 (t).

По данному способу дополнительно организуется третий канал, внутри широкого спектрального интервала длин волн, для чего входной лучистый поток F(λ) пропускают через инфракрасный объектив, спектральная характеристика которого охватывает тепловой участок ИК области спектра, и образуют лучистый поток F3(λ), который проецируют на третий двухсигнальный преобразователь «лучистый поток-сигнал» и преобразуют его в видеосигналы тепловидения UΔλ4(t) и UΔλ5(t), соответствующие зонам регистрации длин волн Δλ4 (3-5 мкм) и Δλ5 (8-12 мкм) тепловых участков областей спектра соответственно.According to this method, a third channel is additionally organized within a wide spectral range of wavelengths, for which the input radiant flux F(λ) is passed through an infrared lens, the spectral characteristic of which covers the thermal region of the IR region of the spectrum, and a radiant flux F 3 (λ) is formed, which project onto the third two-signal transducer "radiant flow-signal" and convert it into thermal imaging video signals U Δλ4 (t) and U Δλ5 (t), corresponding to the zones of registration of wavelengths Δλ 4 (3-5 μm) and Δλ 5 (8-12 μm ) of the thermal sections of the spectral regions, respectively.

Полученные группы сигналов изображений усиливают, преобразуют аналоговые сигналы в цифровые, осуществляют цифровую апертурную и гамма-коррекцию и другие виды обработки сигналов изображений, направленные на улучшение качества изображений, затем цифровые сигналы изображений цветного телевидения

Figure 00000001
Figure 00000002
и
Figure 00000003
спектрозонального телевидения
Figure 00000004
Figure 00000005
и
Figure 00000006
тепловидения
Figure 00000007
и
Figure 00000008
используют для их совместной обработки путем использования операций вычитания или суммирования видеосигналов между собой и др.The resulting groups of image signals are amplified, analog signals are converted into digital ones, digital aperture and gamma correction and other types of image signal processing are performed to improve image quality, then digital color television image signals
Figure 00000001
Figure 00000002
And
Figure 00000003
spectrum television
Figure 00000004
Figure 00000005
And
Figure 00000006
thermal imaging
Figure 00000007
And
Figure 00000008
are used for their joint processing by using the operations of subtraction or summation of video signals among themselves, etc.

Недостатком рассмотренного способа, во-первых, является то, что при выполнении операций совместной обработки сигналов изображений цветного и спектрозонального телевидения и тепловидения формируют результирующие (объединенные) сигналы изображений на основе использования всего двух операций - суммирования и вычитания видеосигналов между собой, что накладывает определенные ограничения на обеспечение возможности достижения максимального различения объектов для любых сочетаний их спектральных характеристик.The disadvantage of the considered method, firstly, is that when performing the operations of joint processing of image signals of color and spectral-zonal television and thermal imaging, the resulting (combined) image signals are formed based on the use of only two operations - summation and subtraction of video signals between themselves, which imposes certain restrictions to ensure the possibility of achieving maximum discrimination of objects for any combination of their spectral characteristics.

Технический результат заявляемого изобретения - расширение функциональных возможностей и достижение повышения контрастности изображений для селекции и различения объектов при совместной обработке сигналов разноспектральных изображений с использованием двух спектральных участков (зон) регистрации лучистого потока.The technical result of the claimed invention is the expansion of functionality and the achievement of an increase in image contrast for selection and discrimination of objects in the joint processing of signals from multispectral images using two spectral sections (zones) for registering a radiant flux.

Технический результат достигается тем, что в отличие от известного способа формирования и отображения цветных, спектрозональных и тепловизионных изображений, включающего регистрацию входного лучистого потока F(λ) внутри широкого спектрального интервала длин волн, образование из него двух отдельных лучистых потоков F1(λ) и F2(λ), отражающих участки (зоны) регистрации лучистого потока для соответствующих интервалов длин волн Δλ1 и Δλ2, преобразование лучистых потоков F1(λ) и F2(λ) и формирование на их основе в первом канале сигналов изображений UΔλ1(t), а во втором канале сигналов изображений UΔλ2(t), раздельную обработку полученных сигналов разноспектральных изображений UΔλ1(t) и UΔλ2(t), включающих усиление, преобразование аналоговых сигналов в цифровые, цифровой апертурной и гамма-коррекции и другие виды обработки сигналов, направленные на улучшение качества изображений, для чего при выполнении совместной обработки сигналов разноспектральных изображений UΔλ1(t) и UΔλ2(t), включающей операции суммирования и вычитания двух исходных сигналов, в предлагаемом способе добавляют операции их деления и умножения и в целом формируют следующие сигналы разноспектральных изображенийThe technical result is achieved by the fact that, in contrast to the known method of forming and displaying color, spectral-zonal and thermal imaging images, including registration of the input radiant flux F(λ) within a wide spectral wavelength range, the formation of two separate radiant fluxes F 1 (λ) and F 2 (λ), reflecting the areas (zones) of registration of the radiant flux for the corresponding intervals of wavelengths Δλ 1 and Δλ 2 , the conversion of radiant fluxes F 1 (λ) and F 2 (λ) and the formation on their basis in the first channel of image signals U Δλ1 (t), and in the second channel of image signals U Δλ2 (t), separate processing of the received signals of multispectral images U Δλ1 (t) and U Δλ2 (t), including amplification, conversion of analog signals to digital, digital aperture and gamma correction and other types of signal processing aimed at improving the quality of images, for which, when performing joint signal processing of multispectral images U Δλ1 (t) and U Δλ2 (t), which includes operations of summation and subtraction of two original signals, in the proposed method, the operations of their division and multiplication are added and, in general, the following signals of multispectral images are formed

Figure 00000009
Figure 00000009

после чего для вновь образованных сигналов U1(t), U2(t), U3(t) и U4(t) применяют операцию деления двух сигналов между собой и формируют дополнительные сигналы изображений видаafter which, for the newly formed signals U 1 (t), U 2 (t), U 3 (t) and U 4 (t), the operation of dividing the two signals between themselves is applied and additional image signals of the form are formed

Figure 00000010
Figure 00000010

затем два исходных сигнала разноспектральных изображений UΔλ1(t) и UΔλ2(t), а также m-сформированных сигналов (например, n=1,…, 10, см. выражения (1) и (2), нижний индекс Um(t) в правой части) разноспектральных изображений подают на входы многоканального коммутатора, далее из всех сигналов выбирают любые три сигнала и подают на входы RGB цветного видеоконтрольного устройства для отображения и визуального анализа разноспектральных изображений в условных цветах, а также используют (m+2) - сигналов разноспектральных изображений для автоматического анализа изображений.then two original signals of multispectral images U Δλ1 (t) and U Δλ2 (t), as well as m-shaped signals (for example, n=1,…, 10, see expressions (1) and (2), subscript U m (t) on the right side) multispectral images are fed to the inputs of a multichannel switch, then any three signals are selected from all signals and fed to the RGB inputs of a color video control device for displaying and visually analyzing multispectral images in conditional colors, and also using (m + 2) - multispectral image signals for automatic image analysis.

Привлечение операций обработки сигналов, включающих деление и умножение сигналов между собой, позволяет расширить потенциальные возможности селекции объектов с малой контрастностью, за счет увеличения числа формируемых сигналов (1) и дополнительно формируемых сигналов, согласно выражению (2). При этом формирование дополнительных сигналов может быть также осуществлено в видеThe involvement of signal processing operations, including division and multiplication of signals among themselves, allows you to expand the potential for selecting objects with low contrast, by increasing the number of generated signals (1) and additionally generated signals, according to expression (2). In this case, the formation of additional signals can also be carried out in the form

Figure 00000011
Figure 00000011

Если раздельная обработка сигналов разноспектральных изображений предусматривает улучшение качества отдельного разноспектрального изображения, таких как повышение резкости, контрастности изображения и других характеристик и параметров, то предлагаемая совместная обработка сигналов разноспектральных изображений позволяет осуществить:If separate processing of multispectral image signals provides for improving the quality of a separate multispectral image, such as increasing sharpness, image contrast and other characteristics and parameters, then the proposed joint processing of multispectral image signals allows you to:

- формирование результирующих изображений из двух исходных сигналов разноспектральных изображений, в которых сохранены лучшие различительные признаки по контрастности и отношению сигнал/шум в отдельных изображениях;- formation of resulting images from two original signals of multi-spectral images, in which the best distinguishing features in terms of contrast and signal-to-noise ratio in individual images are preserved;

- идентификацию объектов по амплитудным признакам, путем анализа их распределения в m-сформированных сигналах изображений вместо исходных двух.- identification of objects by amplitude features, by analyzing their distribution in m-formed image signals instead of the original two.

Добавление операций обработки сигналов, включающих деление и умножение сигналов, позволяет обеспечить расширение функциональных возможностей и достижение повышения контрастности изображений для селекции и различения объектов при совместной обработке сигналов разноспектральных изображений с использованием двух спектральных участков (зон) регистрации лучистого потока.The addition of signal processing operations, including division and multiplication of signals, allows for the expansion of functionality and the achievement of an increase in image contrast for selection and discrimination of objects in the joint processing of signals from multi-spectral images using two spectral regions (zones) of registration of the radiant flux.

На фиг. 1 представлена структурная схема устройства для обработки и отображения сигналов разноспектральных изображений.In FIG. 1 shows a block diagram of a device for processing and displaying multispectral image signals.

На фиг. 2 показаны спектрально-энергетические характеристики произвольного класса объектов.In FIG. Figure 2 shows the spectral-energy characteristics of an arbitrary class of objects.

На фиг. 3 показан вид разноспектральных черно-белых изображений наблюдаемых объектов для этих двух зон регистрации.In FIG. Figure 3 shows a view of multispectral black-and-white images of the observed objects for these two registration zones.

Позиции на фиг. 1:The positions in FIG. one:

1 - спектрозональная (двухспектральная) ТВ камера, осуществляющая формирование сигналов изображений, полученных путем регистрации лучистого потока в двух разных участках (зонах) оптического спектра;1 - spectral-zonal (two-spectral) TV camera, which generates image signals obtained by registering a radiant flux in two different sections (zones) of the optical spectrum;

21 и 22 - блоки раздельной обработки сигналов ТВ изображений;2 1 and 2 2 - blocks of separate processing of TV image signals;

31, 32, 33 и 34 - блоки суммирования, вычитания, деления и умножения двухспектральных сигналов ТВ изображений;3 1 , 3 2 , 3 3 and 3 4 - blocks of summation, subtraction, division and multiplication of two-spectral TV image signals;

41, 42, …, 46 - блоки деления сигналов ТВ изображений, полученных с выхода блоков 31, 32, 33 и 34;4 1 , 4 2 , …, 4 6 - blocks for dividing TV image signals obtained from the output of blocks 3 1 , 3 2 , 3 3 and 3 4 ;

5 - многоканальный коммутатор сигналов ТВ изображений;5 - multi-channel switch of TV image signals;

6 - цветное видеоконтрольное устройство (ВКУ);6 - color video control device (VKU);

7 - блок автоматического анализа сигналов ТВ изображений;7 - block for automatic analysis of TV image signals;

8 - панель управления;8 - control panel;

9 - оператор.9 - operator.

Принцип работы устройства, реализующего предлагаемый способ обработки и отображения сигналов разноспектральных изображений, заключается в следующем. Пусть в поле зрения спектрозональной (двухспектральной) ТВ камеры 1 находятся объекты некоторых классов, для примера, со спектрально-энергетическими характеристиками как показано на фиг. 2.The principle of operation of the device that implements the proposed method for processing and displaying multispectral image signals is as follows. Let objects of some classes be in the field of view of the spectral-zonal (two-spectral) TV camera 1, for example, with spectral-energy characteristics as shown in Fig. 2.

Регистрация лучистого потока (на фиг. 2 его значения нормированы делением на максимальное значение ρ(λ)=F(λ)/max(F(λ) и отложены по оси ординат) осуществляется в широком спектральном интервале длин волн в двух зонах (участках) регистрации длин волн Δλ1 и Δλ2 (Длина волны условно показана вдоль оси абсцисс, границы зон регистрации на фиг. 2 обозначены вертикальными штриховыми линиями). Далее, принимается, что приведенные спектрально-энергетические характеристики объектов (кривые на фиг. 2) характерны для некоторого множества классов объектовThe registration of the radiant flux (in Fig. 2 its values are normalized by dividing by the maximum value ρ(λ)=F(λ)/max(F(λ) and plotted along the y-axis) is carried out in a wide spectral range of wavelengths in two zones (sections) registration of wavelengths Δλ 1 and Δλ 2 (The wavelength is conditionally shown along the abscissa, the boundaries of the registration zones in Fig. 2 are indicated by vertical dashed lines).Further, it is assumed that the spectral-energy characteristics of objects (curves in Fig. 2) are some set of object classes

Figure 00000012
Figure 00000012

где А, …, D - конкретный класс объектов.where A, ..., D - a specific class of objects.

После регистрации лучистого потока в зонах (участках) регистрации Δλ1, и Δλ2, его преобразования с использованием матричных фотоприемников, образуются сигналы разноспектральных ТВ изображений в видеAfter registration of the radiant flux in the zones (sections) of registration Δλ 1 and Δλ 2 , its transformation using matrix photodetectors, signals of multispectral TV images are formed in the form

UΔλ1(t) и UΔλ2(t).U ∆λ1 (t) and U ∆λ2 (t).

Условные визуальные изображения множества N классов объектов для этих зон (участков) регистрации, показаны на фиг. 3. На фиг. 3 более темным цветом кружка условно изображен класс объектов с меньшим значением регистрируемого лучистого потока в соответствующей зоне регистрации Δλ1, или Δλ2. Для первой зоны регистрации Δλ1 амплитуда сигнала изображения минимальна для объекта класса А и максимальна для объекта класса D. Для зоны регистрации Δλ2 ситуация будет обратной. Для объектов класса В и С амплитуда сигнала изображения будет примерно одинаковой для зон регистрации Δλ1 и Δλ2.Conditional visual images of a set of N object classes for these registration zones (areas) are shown in FIG. 3. In FIG. 3, the darker color of the circle conventionally depicts a class of objects with a lower value of the registered radiant flux in the corresponding registration zone Δλ 1 , or Δλ 2 . For the first registration zone Δλ 1 the amplitude of the image signal is minimal for an object of class A and maximum for an object of class D. For the registration zone Δλ 2 the situation will be reversed. For objects of class B and C, the amplitude of the image signal will be approximately the same for the registration zones Δλ 1 and Δλ 2 .

Следует отметить, что используемые два сигнала разноспектральных изображений на выходе двухспектральной ТВ камеры 1, для их совместной обработки, могут быть получены на основе регистрации лучистых потоков F1(λ) и F2(λ) от отдельных зон регистрации Δλ1 и Δλ2. При этом, зоны регистрации Δλ1 и Δλ2 могут находиться внутри одного спектрального участка, включающего УФ, ВИ или ИК области спектра или находиться в двух разных спектральных участках, например, могут быть варианты, при котором зона регистрации Δλ1 находиться в ВИ области спектра, а зона регистрации Δλ2 находится в ближней ИК области спектра, в другом случае зона регистрации Δλ2 может находиться в средней ИК области спектра и т.д.It should be noted that the two multispectral image signals used at the output of the two-spectral TV camera 1, for their joint processing, can be obtained based on the registration of radiant fluxes F 1 (λ) and F 2 (λ) from separate registration zones Δλ 1 and Δλ 2 . At the same time, the registration zones Δλ 1 and Δλ 2 can be located within the same spectral region, including the UV, VI or IR regions of the spectrum, or be in two different spectral regions, for example, there may be options in which the registration zone Δλ 1 is located in the VI region of the spectrum , and the registration zone Δλ 2 is in the near IR region of the spectrum, in another case, the registration zone Δλ 2 may be in the mid-IR region of the spectrum, etc.

В качестве примера совместной обработки и отображения сигналов разноспектральных ТВ изображений рассмотрим вариант, когда используется часть операций (фиг. 1), например, включающих суммирование двух сигналов (блок 31), их вычитание (блок 32) и деление (блок 33), а затем над сигналами, после выполнения операции суммирования (блок 31) и их вычитания (блок 32), проводят операцию деления их между собой (блок 41). Следует отметить, что могут быть выбраны и остальные варианты обработки сигналов между собой, согласно структурной схеме устройства, представленного на фиг. 1. Значение результирующего сигнала U1(t) после выполнения операции суммирования двух исходных сигналов (блок 31) составит величинуAs an example of joint processing and display of signals of multispectral TV images, consider the option when part of the operations is used (Fig. 1), for example, including the summation of two signals (block 3 1 ), their subtraction (block 3 2 ) and division (block 3 3 ) , and then over the signals, after performing the summation operation (block 3 1 ) and their subtraction (block 3 2 ), they are divided among themselves (block 4 1 ). It should be noted that other variants of signal processing among themselves can be selected, according to the block diagram of the device shown in Fig. 1. The value of the resulting signal U 1 (t) after the operation of summing the two original signals (block 3 1 ) will be the value

Figure 00000013
Figure 00000013

а значение результирующего сигнала U2(t) после выполнения операции вычитания двух исходных сигналов (блок 32) составит величинуand the value of the resulting signal U 2 (t) after the operation of subtracting the two original signals (block 3 2 ) will be the value

Figure 00000014
Figure 00000014

Значение результирующего сигнала U3(t) после выполнения операции деления двух исходных сигналов (блок 33) составит величинуThe value of the resulting signal U 3 (t) after performing the operation of dividing the two original signals (block 3 3 ) will be the value

Figure 00000015
Figure 00000015

Значение результирующего сигнала U5(t) (см. выражение (2)), после выполнения операции суммирования (блок 31), вычитания (блок 32) и деления двух сигналов (блок 41) составит величинуThe value of the resulting signal U 5 (t) (see expression (2)), after performing the operation of summation (block 3 1 ), subtraction (block 3 2 ) and division of two signals (block 4 1 ) will be the value

Figure 00000016
Figure 00000016

Здесь в выражения (4)-(7) по сравнению с выражениями (1) и (2) для обобщения добавлены нормирующие коэффициенты перед каждым сигналом. Значения нормирующих коэффициентов могут распределяться в области 0<αi, βi, νi, ξi≤1, где в рассматриваемом случае i=1, 2. Примем, что их значения равны αi, βi, νi, ξi=1 (выражения (4)-(7) примут вид как и аналогичные в выражениях (1) и (2)) и амплитуда сигналов после преобразования лучистого потока объектов и выполнения операций суммирования, вычитания и деления сигналов будет иметь значения, как показано в табл. 1, исходя из распределения их спектрально-энергетических характеристик в выбранных спектральных участках (фиг. 2).Here, in expressions (4)-(7), in comparison with expressions (1) and (2), for generalization, normalizing coefficients are added before each signal. The values of the normalizing coefficients can be distributed in the region 0<αi, βi, vi, ξi≤1, where in the case under consideration i=1, 2. Let us assume that their values are equal to αi, βi, vi, ξi=1 (expressions (4)-(7) will take the form similar to those in expressions (1) and (2)) and the amplitude of the signals after converting the radiant flux of objects and performing the operations of summing, subtracting and dividing the signals will have the values, as shown in tab. 1, based on the distribution of their spectral-energy characteristics in the selected spectral regions (Fig. 2).

Амплитудное значение сигналов в Таблице 1 указано исходя из того, что для наглядности сначала проведено нормирование значений исходных сигналов UΔλ1(t) и UΔλ2(t) аналогично нормированию лучистого потока (см. выше), а затем осреднено в соответствующих зонах (участках) регистрации длин волн Δλ1 и Δλ2. Значения UΔλ1(t) и UΔλ2(t) в Таблице 1 взяты приближенно с фиг. 2 - этого достаточно для качественного описания предлагаемого технического решения.The amplitude value of the signals in Table 1 is indicated based on the fact that, for clarity, the values of the initial signals U Δλ1 (t) and U Δλ2 (t) were first normalized similarly to the normalization of the radiant flux (see above), and then averaged in the corresponding zones (sections) registration of wavelengths Δλ 1 and Δλ 2 . The values U Δλ1 (t) and U Δλ2 (t) in Table 1 are taken approximately from FIG. 2 - this is enough for a qualitative description of the proposed technical solution.

Figure 00000017
Figure 00000017

Важной характеристикой зрительного восприятия объектов в оптических изображениях выступает контрастная чувствительность глаза - способность различать одни объекты на фоне других, за счет их неодинаковой яркости, которая определяется отражательными или излучательными свойствами наблюдаемых объектов в заданном спектральном участке [3]. Обычно интересующий объект (объект селекции) наблюдается на фоне другого объекта. Различие между объектом наблюдения и фоном будет фиксироваться зрительным анализатором человека, если контраст 8 (отношение яркостей объекта наблюдения и фона) превышает некоторую пороговую величину, примем, что превышение должно быть в интервале 0,01≤ε≤0,02, в зависимости от зрительного анализатора конкретного человека.An important characteristic of the visual perception of objects in optical images is the contrast sensitivity of the eye - the ability to distinguish some objects against the background of others, due to their unequal brightness, which is determined by the reflective or radiative properties of the observed objects in a given spectral region [3]. Usually, the object of interest (selection object) is observed against the background of another object. The difference between the object of observation and the background will be recorded by the human visual analyzer, if the contrast 8 (the ratio of the brightness of the object of observation and the background) exceeds a certain threshold value, we assume that the excess should be in the range 0.01≤ε≤0.02, depending on the visual analyzer of a particular person.

Селекция и различение одного объекта на фоне другого возможно в том случае, если контраст между ними будет выше минимально допустимого контраста. Таким образом, при наблюдении объектов в изображениях важное место занимает минимальное значение приращения яркости, которое может быть обнаружено зрительным анализатором человека. Рассмотрим величину контрастности при нахождении объекта одного класса на фоне другого класса, например, объекта класса D на фоне объектов класса А, В и С и т.д. на основании амплитуд значений сигналов из Таблицы 1. Вычисление контрастности будем проводить для сигналов, полученных в зонах регистрации Δλ1 и Δλ2, а также для результирующих сигналов U1(t), U2(t), U3(t) и U5(t).Selection and discrimination of one object against the background of another is possible if the contrast between them is higher than the minimum allowable contrast. Thus, when observing objects in images, an important place is occupied by the minimum value of the brightness increment, which can be detected by a human visual analyzer. Consider the value of contrast when an object of one class is located against the background of another class, for example, an object of class D against the background of objects of classes A, B and C, etc. based on the amplitudes of the signal values from Table 1. We will calculate the contrast for the signals received in the detection zones Δλ 1 and Δλ 2 , as well as for the resulting signals U 1 (t), U 2 (t), U 3 (t) and U 5 (t).

В разделе 2 пункта 2.21 ГОСТ Р 52870-2007 [8] приведена формула расчета для определения контраста С:In section 2 of paragraph 2.21 of GOST R 52870-2007 [8], the calculation formula for determining the contrast C is given:

Figure 00000018
Figure 00000018

где Lэкр - яркость элемента изображения работающего экрана;where L screen - the brightness of the image element of the working screen;

Lф - яркость излучения фона.L f is the brightness of the background radiation.

В нашем случае аналогом яркости очевидно являются амплитудные значения упомянутых выше сигналов Ц причем при вычислении контрастности (обозначим эту величину k) объекта одного класса на фоне объекта другого класса формула примет вид:In our case, the analogue of brightness is obviously the amplitude values of the above-mentioned signals C, and when calculating the contrast (we denote this value by k) of an object of one class against the background of an object of another class, the formula will take the form:

Figure 00000019
Figure 00000019

В (9) используется модуль разности амплитудных значений сигналов в числителе из-за того, что в рассматриваемом примере совместной обработки и отображения сигналов значение разности их амплитуд, полученных в зонах регистрации Δλ1 и Δλ2, а также для результирующих сигналов U1(t), U2(t), U3(t) и U5(t) при нахождении объекта одного класса на фоне другого класса, может быть разного знака, как следствие их спектрально-энергетических характеристик в выбранных спектральных участках (фиг. 2) и значений (Таблица 1). По той же причине в знаменателе выбирается максимальное значение амплитуды сигнала из амплитуд значений сигналов обоих классов объектов для которых вычисляется контрастность.In (9), the modulus of the difference in the amplitude values of the signals in the numerator is used due to the fact that in the considered example of joint processing and display of signals, the value of the difference in their amplitudes obtained in the registration zones Δλ 1 and Δλ 2 , as well as for the resulting signals U 1 (t ), U 2 (t), U 3 (t) and U 5 (t) when an object of one class is located against the background of another class, may be of a different sign, as a result of their spectral-energy characteristics in the selected spectral regions (Fig. 2) and values (Table 1). For the same reason, the maximum value of the signal amplitude is selected in the denominator from the amplitudes of the signal values of both classes of objects for which the contrast is calculated.

В свою очередь амплитудные значения сигналов Ui(t) и Uj(t) выбираются из Таблицы 1. В частности для вычисления контрастности объектов класса D на фоне объектов класса А для зоны регистрации длин волн Δλ1 (обозначим величину контрастности в этом случае kΔλ1) следует взять значение Ui(t) из столбца UΔλ1(t) и стоки D, а значение Uj(t) из того же столбца, но строки А. Таким образом, в этом случаеIn turn, the amplitude values of the signals U i (t) and U j (t) are selected from Table 1. In particular, to calculate the contrast of class D objects against the background of class A objects for the wavelength registration zone Δλ 1 (we denote the contrast value in this case k Δλ1 ) one should take the value U i (t) from column U Δλ1 (t) and rows D, and the value U j (t) from the same column but row A. Thus, in this case

Figure 00000020
Figure 00000020

Занесем это значение в соответствующий столбец Таблицы 2 в строку D/A.Let's enter this value in the corresponding column of Table 2 in row D/A.

Для вычисления контрастности объектов класса D на фоне объектов класса В для результирующего сигнала U1(t) (обозначим величину контрастности в этом случае k1) следует взять значение Ui(t) из столбца U1(t) и стоки D, а значение Uj(t) из того же столбца, но строки В. В этом случаеTo calculate the contrast of objects of class D against the background of objects of class B for the resulting signal U 1 (t) (we denote the contrast value in this case by k 1 ), one should take the value U i (t) from column U 1 (t) and rows D, and the value U j (t) from the same column but row B. In this case

Figure 00000021
Figure 00000021

Занесем это значение в столбец U1(t) Таблицы 2 в строку D/B.Let's put this value in column U 1 (t) of Table 2 in row D/B.

Аналогично заполним всю Таблицу 2. В итоге в Таблице 2 приведены значения величины контрастности, когда объект класса D будет находиться на фоне объектов других классов. При этом выигрышными (максимальный контраст объекта класса D на фоне объектов прочих классов) являются операции обработки сигналов, когда осуществляется формирование результирующего сигнала вида U2(t), U3(t).Similarly, let's fill in the entire Table 2. As a result, Table 2 shows the values of the contrast value when an object of class D is located against the background of objects of other classes. At the same time, signal processing operations are advantageous (the maximum contrast of an object of class D against the background of objects of other classes) when the resulting signal of the form U 2 (t), U 3 (t) is formed.

Figure 00000022
Figure 00000022

Используя выражение (9) заполним Таблицу 3.Using expression (9), we fill in Table 3.

В Таблице 3 показаны значения величины контрастности, когда объект класса В будет находиться на фоне объектов других классов. При этом выигрышными являются операции обработки сигналов, когда вначале осуществляется суммирование и вычитание исходных сигналов, а затем их деление между собой, то есть формирование результирующего сигнала вида U5(t).Table 3 shows the values of the contrast value when an object of class B is placed against the background of objects of other classes. In this case, signal processing operations are advantageous, when the summation and subtraction of the original signals are first carried out, and then they are divided among themselves, that is, the formation of the resulting signal of the form U 5 (t).

Figure 00000023
Figure 00000023

В Таблице 4 показаны значения величины контрастности, когда объект класса А будет находиться на фоне объектов других классов. При этом выигрышным будет формирование результирующего сигнала вида U3(t).Table 4 shows the values of the contrast value when an object of class A is placed against the background of objects of other classes. In this case, the formation of the resulting signal of the form U 3 (t) will be advantageous.

Figure 00000024
Figure 00000024

В Таблице 5 показаны значения величины контрастности, когда объект класса С будет находиться на фоне объектов других классов. Здесь выигрышным является формирование результирующего сигнала вида U5(t).Table 5 shows the values of the contrast value when an object of class C is placed against the background of objects of other classes. Here, the formation of the resulting signal of the form U 5 (t) is advantageous.

Figure 00000025
Figure 00000025

В Таблице 6 представлены итоговые данные необходимого вида совместной обработки сигналов при нахождении объекта одного класса на фоне других. Знак плюс в Таблице 6 означает предпочтительный вариант сигналов для получения результирующего изображения с максимальным контрастом объекта и фона.Table 6 presents the final data of the required type of joint signal processing when an object of one class is found against the background of others. The plus sign in Table 6 indicates the preferred signal for obtaining the resulting image with the maximum contrast between the object and the background.

Figure 00000026
Figure 00000026

Согласно предлагаемому способу, рассмотренный вариант совместной обработки сигналов двухспектральных ТВ изображений показывает, что использование операций вычитания и деления сигналов, а также деления сигналов между собой, после их суммирования и вычитания, в целом позволяет обеспечить формирование результирующих изображений, в которых достигается повышение контрастности между различными классами объектов по сравнению с контрастностью, определяемой исходными сигналами разноспектральных изображений UΔλ1(t) и UΔλ2(t). Это позволяет в конечном итоге обеспечить повышение достоверности селекции и различения объектов при анализе изображений.According to the proposed method, the considered variant of joint signal processing of two-spectrum TV images shows that the use of operations for subtracting and dividing signals, as well as dividing signals among themselves, after their summation and subtraction, in general, makes it possible to ensure the formation of the resulting images, in which an increase in contrast between different classes of objects compared to the contrast determined by the original signals of multispectral images U Δλ1 (t) and U Δλ2 (t). This ultimately makes it possible to increase the reliability of selection and discrimination of objects in image analysis.

Анализ Таблицы 6 показывает, что для повышения контрастности и соответственно различимости объекта одного класса А, В, С или D на фоне других классов объектов, например, объекта А на фоне объектов В, С, D в зависимости от распределения их спектральных характеристик в выбранных зонах регистрации, существует определенный вариант совместной обработки сигналов разноспектральных изображений, обеспечивающий увеличение контрастности до максимально возможных их значений. Так, для рассмотренного случая, повышение контрастности изображений при выполнении операции вычитания сигналов характерно для одного случая селекции объектов, деления сигналов, а также деления сигналов после их суммирования и вычитания характерно для двух других случаев селекции заданного объекта на фоне других.Analysis of Table 6 shows that in order to increase the contrast and, accordingly, the visibility of an object of one class A, B, C or D against the background of other classes of objects, for example, an object A against the background of objects B, C, D, depending on the distribution of their spectral characteristics in the selected zones registration, there is a certain variant of joint processing of signals of multispectral images, which provides an increase in contrast to their maximum possible values. So, for the considered case, the increase in image contrast during the operation of signal subtraction is typical for one case of object selection, signal division, and signal division after their summation and subtraction is characteristic of two other cases of selection of a given object against the background of others.

Источники информацииSources of information

1. Телевидение. Учебник для вузов /В.Е. Джакония, А.А. Гоголь, Я.В. Друзин и др.: Под ред. В.Е. Джаконии. – М.: Радио и связь, 2000. - 640 с.: ил.1. Television. Textbook for universities / V.E. Jaconia, A.A. Gogol, Ya.V. Druzin and others: Ed. V.E. Jaconia. - M .: Radio and communication, 2000. - 640 p.: ill.

2. Сагдуллаев Ю.С., Ковин С.Д., Сагдуллаев Т.Ю., Смирнов А.И. Информационно-измерительные системы телевидения М.: "Спутник+", 2013. - 199 с. 2. Sagdullaev Yu.S., Kovin S.D., Sagdullaev T.Yu., Smirnov A.I. Information-measuring television systems M.: "Sputnik +", 2013. - 199 p.

3. Сагдуллаев Ю.С., Ковин С.Д. Восприятие и анализ разноспектральных изображений. М.: "Спутник+", 2016. - 251 с. 3. Sagdullaev Yu.S., Kovin S.D. Perception and analysis of multispectral images. M.: "Sputnik +", 2016. - 251 p.

4. Тарасов В.В., Якушенков Ю.Г. Двух- и многодиапазонные оптико-электронные системы с матричными приемниками излучения. - М.: Университетская книга; Логос, 2007. - 192 с. 4. Tarasov V.V., Yakushenkov Yu.G. Dual- and multi-band optical-electronic systems with matrix radiation receivers. - M.: University book; Logos, 2007. - 192 p.

5. Патент РФ №2604898. Способ формирования спектрозональных видеосигналов/ Ковин С.Д., Сагдуллаев Ю.С. - опубл. 20.12.2016 г. Бюл. №35.5. RF patent No. 2604898. The method of forming spectral-zonal video signals / Kovin S.D., Sagdullaev Yu.S. - publ. December 20, 2016 Bull. No. 35.

6. Сагдуллаев Ю.С., Ковин С.Д. Способы объединения разноспектральных изображений. Журнал Техника средств связи. Серия техника телевидения. Научно-технический сборник. М: 2016, С. 29-41.6. Sagdullaev Yu.S., Kovin S.D. Methods for combining multispectral images. Journal of communication technology. TV Tech Series. Scientific and technical collection. M: 2016, S. 29-41.

7. Патент РФ №2546982. Способ формирования и отображения сигналов цветных, спектрозональных и тепловизионных изображений/ Ковин С.Д., Сагдуллаев Ю.С. - опубл. 10.04.2015 г. Бюл. №10.7. RF patent No. 2546982. The method of forming and displaying signals of color, spectral-zonal and thermal imaging / Kovin S.D., Sagdullaev Yu.S. - publ. 04/10/2015 Bull. No. 10.

8. ГОСТ Р 52870-2007. Средства отображения информации коллективного пользования. Требования к визуальному отображению информации и способы измерения. Утвержден и введен в действие Приказом Федерального агентства по техническому регулированию и метрологии от 27 декабря 2007 г. №530-ст.8. GOST R 52870-2007. Means of displaying information for collective use. Requirements for the visual display of information and measurement methods. Approved and put into effect by the Order of the Federal Agency for Technical Regulation and Metrology dated December 27, 2007 No. 530-st.

Claims (2)

Способ обработки и отображения сигналов разноспектральных изображений, включающий регистрацию входного лучистого потока F(λ) в нескольких спектральных участках - зонах, включающих ультрафиолетовую, видимую и инфракрасную области спектра электромагнитных волн, образование из него двух отдельных лучистых потоков F1(λ) и F2(λ), отражающих участки регистрации лучистого потока Δλ1 и Δλ2, преобразование лучистых потоков F1(λ) и F2(λ) и формирование на их основе в первом канале сигналов изображений UΔλ1(t), а во втором канале сигналов изображений UΔλ2(t), раздельную обработку полученных сигналов разноспектральных изображений UΔλ1(t) и UΔλ2(t), включающих усиление, преобразование аналоговых сигналов в цифровые, цифровой апертурной и гамма-коррекции, отличающийся тем, что при выполнении совместной обработки сигналов разноспектральных изображений UΔλ1(t) и UΔλ2(t), включающей операции суммирования и вычитания двух исходных сигналов, добавляют операции их деления и умножения, и в целом формируют следующие сигналы разноспектральных изображенийMethod for processing and displaying signals of multi-spectral images, including registration of the input radiant flux F(λ) in several spectral regions - zones, including the ultraviolet, visible and infrared regions of the spectrum of electromagnetic waves, the formation of two separate radiant fluxes F 1 (λ) and F 2 from it (λ), reflecting the areas of registration of the radiant flux Δλ 1 and Δλ 2 , the transformation of the radiant fluxes F 1 (λ) and F 2 (λ) and the formation on their basis in the first channel of the image signals U Δλ1 (t), and in the second channel of the signals images U Δλ2 (t), separate processing of the received signals of multispectral images U Δλ1 (t) and U Δλ2 (t), including amplification, conversion of analog signals to digital, digital aperture and gamma correction, characterized in that when performing joint signal processing multispectral images U Δλ1 (t) and U Δλ2 (t), including operations of summation and subtraction of two original signals, add the operations of their division and multiplication i, and in general form the following signals of multispectral images
Figure 00000027
Figure 00000027
RU2021111703A 2021-04-23 2021-04-23 Method for processing and displaying signals of multispectral images RU2767606C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2021111703A RU2767606C1 (en) 2021-04-23 2021-04-23 Method for processing and displaying signals of multispectral images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2021111703A RU2767606C1 (en) 2021-04-23 2021-04-23 Method for processing and displaying signals of multispectral images

Publications (1)

Publication Number Publication Date
RU2767606C1 true RU2767606C1 (en) 2022-03-18

Family

ID=80737368

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2021111703A RU2767606C1 (en) 2021-04-23 2021-04-23 Method for processing and displaying signals of multispectral images

Country Status (1)

Country Link
RU (1) RU2767606C1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768510B2 (en) * 2002-02-11 2004-07-27 Nomadics, Inc. Color correction for RGB
US7797119B2 (en) * 2002-01-24 2010-09-14 The General Hospital Corporation Apparatus and method for rangings and noise reduction of low coherence interferometry LCI and optical coherence tomography OCT signals by parallel detection of spectral bands
RU2543985C1 (en) * 2013-12-26 2015-03-10 Закрытое акционерное общество "МНИТИ" (сокращенно ЗАО "МНИТИ") Method of generating television image signals of different spectral regions
RU2546982C2 (en) * 2013-05-28 2015-04-10 Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") Method of generating and displaying colour, spectrozonal and thermal image signals
US9285309B2 (en) * 2013-02-04 2016-03-15 Hanwha Techwin Co., Ltd. Image fusion method and apparatus using multi-spectral filter array sensor
US9551616B2 (en) * 2014-06-18 2017-01-24 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7797119B2 (en) * 2002-01-24 2010-09-14 The General Hospital Corporation Apparatus and method for rangings and noise reduction of low coherence interferometry LCI and optical coherence tomography OCT signals by parallel detection of spectral bands
US6768510B2 (en) * 2002-02-11 2004-07-27 Nomadics, Inc. Color correction for RGB
US9285309B2 (en) * 2013-02-04 2016-03-15 Hanwha Techwin Co., Ltd. Image fusion method and apparatus using multi-spectral filter array sensor
RU2546982C2 (en) * 2013-05-28 2015-04-10 Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") Method of generating and displaying colour, spectrozonal and thermal image signals
RU2543985C1 (en) * 2013-12-26 2015-03-10 Закрытое акционерное общество "МНИТИ" (сокращенно ЗАО "МНИТИ") Method of generating television image signals of different spectral regions
US9551616B2 (en) * 2014-06-18 2017-01-24 Innopix, Inc. Spectral imaging system for remote and noninvasive detection of target substances using spectral filter arrays and image capture arrays

Similar Documents

Publication Publication Date Title
US7613360B2 (en) Multi-spectral fusion for video surveillance
Hogervorst et al. Fast natural color mapping for night-time imagery
US5661817A (en) Single charge-coupled-device camera for detection and differentiation of desired objects from undesired objects
EP2721828B1 (en) High resolution multispectral image capture
US5555324A (en) Method and apparatus for generating a synthetic image by the fusion of signals representative of different views of the same scene
US20020015536A1 (en) Apparatus and method for color image fusion
US10922802B2 (en) Fusion of thermal and reflective imagery
RU2546982C2 (en) Method of generating and displaying colour, spectrozonal and thermal image signals
US20190310184A1 (en) Signal processing apparatus, signal processing method, and progress
RU2604898C1 (en) Method of generating of multispectral video signals
Hogervorst et al. Method for applying daytime colors to nighttime imagery in realtime
JPH01320441A (en) Color brightness meter
RU2543985C1 (en) Method of generating television image signals of different spectral regions
LV14207B (en) Method and device for multi-spectral imaging by means of digital rgb sensor
RU2679921C1 (en) Method of forming digital spectrozonal television signals
RU2767606C1 (en) Method for processing and displaying signals of multispectral images
JP2010272934A (en) Color balance adjustment device
RU2374783C1 (en) Method for generation and display of multispectral television signals
RU2697062C1 (en) Method of objects observation
US11627259B2 (en) Device, method and computer program
RU2767607C1 (en) Method for generating signals of multispectral images
JPH06121325A (en) Color image pickup device
RU2731880C1 (en) Method of generating digital multispectral television signals
US8866972B1 (en) Method for transmitting spectrum information
King Evaluation of radiometric quality, statistical characteristics and spatial resolution of multispectral videography