RU2684585C1 - Method of complexing halftone television and thermal images - Google Patents
Method of complexing halftone television and thermal images Download PDFInfo
- Publication number
- RU2684585C1 RU2684585C1 RU2017144494A RU2017144494A RU2684585C1 RU 2684585 C1 RU2684585 C1 RU 2684585C1 RU 2017144494 A RU2017144494 A RU 2017144494A RU 2017144494 A RU2017144494 A RU 2017144494A RU 2684585 C1 RU2684585 C1 RU 2684585C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- channel
- brightness
- average
- pixel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000000536 complexating effect Effects 0.000 title abstract description 3
- 238000001931 thermography Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 2
- 230000003595 spectral effect Effects 0.000 abstract description 3
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
Description
Изобретение относится к области цифровой обработки изображений, в частности к способу комплексирования полутоновых изображений, полученных от двух источников различного спектрального диапазона - видимого и инфракрасного.The invention relates to the field of digital image processing, in particular to a method for combining grayscale images obtained from two sources of different spectral ranges - visible and infrared.
Известен способ комплексирования цифровых полутоновых изображений (патент РФ №2540778, от 31.10.2013 г). Способ включает получение исходных изображений, определение наиболее информативного изображения, комплексирование изображений, основанное на комбинировании наиболее информативного изображения и отличительных деталей второго изображения, выравнивание. яркостного диапазона результирующего изображения. При комплексировании изображений определяют оценки коэффициентов линейной регрессии величин яркостей второго изображения по величинам яркостей наиболее информативного изображения, формируют промежуточное изображение как результат линейного преобразования наиболее информативного изображения с найденными коэффициентами, находят комплектованное изображение путем прибавления к наиболее информативному изображению разности второго и промежуточного изображений, умноженной на корректирующий коэффициент.There is a method of combining digital grayscale images (RF patent No. 2540778, from 10.31.2013). The method includes obtaining source images, determining the most informative image, combining images based on a combination of the most informative image and the distinctive details of the second image, alignment. brightness range of the resulting image. When combining images, estimates of linear regression coefficients of the brightness values of the second image are determined by the brightness values of the most informative image, an intermediate image is formed as a result of a linear transformation of the most informative image with the coefficients found, a complete image is found by adding the difference of the second and intermediate images multiplied by the most informative image correction factor.
К недостаткам данного способа следует отнести снижение в комплексированном изображении контраста темных объектов, по сравнению с телевизионным изображением, которые в тепловизионном изображении выглядят более светлыми (фиг 5). Кроме того, на белом фоне, например снеге, белого цвета объекты, в комплексированном режиме будут низко контрастными. Также недостатком является сложность вычислений - большое количество умножений, сложений и делений, а также требуется значительный объем памяти. Кроме того вычисление коэффициентов а и b требует операций с плавающей точкой, что затрудняет реализацию способа в устройстве, например в ПЛИС.The disadvantages of this method include the decrease in the complex image contrast of dark objects, compared with a television image, which in the thermal image looks lighter (Fig 5). In addition, on a white background, such as snow, white objects, in the integrated mode will be low contrast. Also, the disadvantage is the complexity of the calculations - a large number of multiplications, additions and divisions, and also requires a significant amount of memory. In addition, the calculation of the coefficients a and b requires floating-point operations, which complicates the implementation of the method in a device, for example, in FPGAs.
Наиболее близким к предлагаемому является способ комплексирования цифровых полутоновых изображений, полученных от двух каналов различного спектрального диапазона (патент РФ №2451338 от 23.12.2010 г), который выбран в качестве прототипа. Представленный способ состоит из следующих этапов. Получают исходные цифровые телевизионные и тепловизионные изображения, определяют основное изображение с наибольшим уровнем информативных деталей. Вычисляют среднюю яркость изображения второго канала и вычисляют среднее значение абсолютных разностей между средней яркостью изображения второго канала и значениями яркостей всех пикселей изображения второго канала. Для каждого пикселя комплексированного изображения вычисляют сумму значения яркости пикселя изображения основного канала и абсолютной разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, из полученной суммы вычитают среднее значение абсолютных разностей яркости пикселей изображения второго канала и средней яркости изображения второго канала. Нормализуют яркостный диапазон изображения (фиг. 1).Closest to the proposed is a method for combining digital grayscale images obtained from two channels of different spectral ranges (RF patent No. 2451338 from 12.23.2010), which is selected as a prototype. The presented method consists of the following steps. The original digital television and thermal imaging images are obtained, the main image with the highest level of informative details is determined. The average brightness of the image of the second channel is calculated and the average value of the absolute differences between the average brightness of the image of the second channel and the brightness values of all pixels of the image of the second channel are calculated. For each pixel of the complex image, the sum of the brightness value of the image pixel of the main channel and the absolute difference of the brightness value of the image pixel of the second channel and the average image brightness of the second channel are calculated, the average value of the absolute differences of the pixel brightness of the second channel image and the average image brightness of the second channel is subtracted. Normalize the brightness range of the image (Fig. 1).
При компьютерном моделировании способа прототипа был выявлен его недостаток - снижение в комплексированном изображении контраста темных и полутемных объектов, по сравнению с телевизионным изображением, которые в тепловизионном изображении выглядят более светлыми (фиг 6, 11), а также появление темных контуров, вместо целых объектов. Кроме того, выявлен еще недостаток, более холодные объекты в тепловизионном изображении, выглядят в комплексированном, как более теплые объекты (фиг 6).When computer modeling the prototype method, its drawback was revealed - a decrease in the complex image of the contrast of dark and dark objects in comparison with a television image, which in the thermal image looks lighter (Fig. 6, 11), as well as the appearance of dark contours, instead of whole objects. In addition, another drawback was revealed, colder objects in the thermal imaging image look complexed like warmer objects (Fig. 6).
Задачей предлагаемого способа комплексирования цифровых полутоновых изображений является повышение качества изображения, содержащего информативные элементы изображений одной и той же сцены.The objective of the proposed method for combining digital grayscale images is to improve the quality of the image containing informative image elements of the same scene.
Технический результат достигается тем, что способ комплексирования цифровых полутоновых телевизионных и тепловизионных изображений включает получение исходных цифровых изображений, комплексирование изображений, основанное на критериальном суммировании для каждого пикселя, формирование результирующего изображения, нормализацию яркостного диапазона изображения. Вычисляют среднюю яркость изображения второго канала. При этом он отличается от прототипа тем, что в первом выбранном оператором режиме, вычисляют сумму значения яркости пикселя изображения основного канала и разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, умноженной на корректирующий коэффициент, либо во втором режиме вычисляют разность значения яркости пикселя изображения основного канала и разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, умноженной на корректирующий коэффициент.The technical result is achieved by the fact that the method of combining digital halftone television and thermal imaging images includes obtaining the original digital images, image complexing based on criteria summation for each pixel, forming the resulting image, normalizing the brightness range of the image. The average image brightness of the second channel is calculated. Moreover, it differs from the prototype in that in the first mode selected by the operator, the sum of the brightness value of the image pixel of the main channel and the difference of the brightness value of the image pixel of the second channel and the average image brightness of the second channel multiplied by a correction factor are calculated, or in the second mode, the value difference the brightness of the image pixel of the main channel and the difference in the value of the brightness of the image pixel of the second channel and the average image brightness of the second channel, multiplied by the correction coefficient.
Способ комплексирования полутоновых телевизионных и тепловизионных изображений осуществляется следующим образом. С помощью аналого-цифровых преобразователей выполняют оцифровку сигналов от телевизионного и тепловизионного датчиков, выполняют предварительную обработку и получают исходные цифровые телевизионное и тепловизионное изображения.The method of combining halftone television and thermal imaging images is as follows. Using analog-to-digital converters, they digitize the signals from the television and thermal imaging sensors, perform preliminary processing and obtain the original digital television and thermal imaging images.
Определяют наиболее информативный, основной канал любым известным способом вычисляют мощность высокочастотных компонент изображения, или вручную выбирая, например телевизионный канал.The most informative, main channel is determined by any known method, the power of the high-frequency image components is calculated, or by manually selecting, for example, a television channel.
Для второго канала, например тепловизионного, вычисляют его среднюю яркость по формуле:For the second channel, for example thermal imaging, calculate its average brightness according to the formula:
где N - количество пикселей изображения.where N is the number of pixels in the image.
В зависимости от выбранного оператором режима, в первом режиме вычисляют яркость пикселей комплексированного изображения по формуле:Depending on the mode selected by the operator, in the first mode, the brightness of the pixels of the complex image is calculated by the formula:
где Xi - яркость пикселей телевизионного изображения,where Xi is the brightness of the pixels of the television image,
k - корректирующий коэффициент, равный 0…1, физический смысл которого - доля отклонения от среднего яркости тепловизионного изображения.k is a correction coefficient equal to 0 ... 1, the physical meaning of which is the proportion of deviation from the average brightness of the thermal imaging image.
Либо, в втором режиме, яркость пикселей комплексированного изображения вычисляют по формуле:Or, in the second mode, the brightness of the pixels of the complex image is calculated by the formula:
Знак минус дает негативную долю яркости тепловизионного изображения.The minus sign gives a negative share of the brightness of the thermal image.
Нормализуют яркостный диапазон с помощью любого известного метода, например гамма-коррекции и выводят результирующее изображение для просмотра.Normalize the luminance range using any known method, for example, gamma correction and display the resulting image for viewing.
Предлагаемый способ комплексирования может быть реализован с помощью устройства, схема ко торого приведена на фиг. 2, гдеThe proposed integration method can be implemented using a device, the circuit of which is shown in FIG. 2 where
1 - датчик телевизионного изображения,1 - television image sensor,
2 - датчик тепловизионного изображения,2 - thermal imaging sensor,
3, 4 - АЦП телевизионного и тепловизионного изображения,3, 4 - ADC television and thermal imaging images
5, 6 - блок предварительной обработки телевизионного и тепловизионного сигнала, выполняющий геометрические преобразования изображения, автоматической регулировки усиления, улучшения яркости и контраста, фильтрацию шума,5, 6 - pre-processing unit of the television and thermal imaging signal, performing geometric image transformations, automatic gain control, improve brightness and contrast, noise filtering,
7 - блок комплексированного изображения, вычисляющий выражения (1), (2), (3),7 - block integrated image, calculating the expression (1), (2), (3),
8 - блок нормализации яркостного диапазона.8 - block normalization of the brightness range.
Сравнительные результаты, полученные при компьютерном моделировании, приведены на фиг. 3 - фиг. 13Comparative results obtained by computer simulation are shown in FIG. 3 - FIG. 13
На фиг. 3 представлено первое исходное телевизионное изображение 1.In FIG. 3 shows the first
На фиг. 4 представлено первое исходное тепловизионное изображение 1 той же сцены.In FIG. 4 shows a first source
На фиг. 5 представлено вычисленное комплексированное изображение 1 по патенту РФ №2540778In FIG. 5 presents the calculated
На фиг. 6 представлено вычисленное комплексированное изображение 1 по способу прототипа.In FIG. 6 presents the calculated
На фиг. 7 представлено вычисленное комплексированное изображение 1 в первом режиме, с коэффициентом 0,9 по предлагаемому способу.In FIG. 7 shows the calculated
На фиг. 8 представлено вычисленное комплексированное изображение 1 в втором режиме, с коэффициентом 0,4 по предлагаемому способу.In FIG. 8 shows the calculated
На фиг. 9 представлено телевизионное изображение 2.In FIG. 9 is a
На фиг. 10 представлено тепловизионное изображение 2.In FIG. 10 shows a
На фиг. 11 представлено комплексированное изображение 2 прототипа. В центре вместо объектов видны только контуры.In FIG. 11 presents a
На фиг. 12 представлено комплексированное изображение 2 предлагаемого способа в первом режим с коэффициентом k=0,9.In FIG. 12 presents a
На фиг. 13 представлено комплексированное изображение 2 предлагаемого способа в втором режиме с коэффициентом k=0,4.In FIG. 13 presents a
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017144494A RU2684585C1 (en) | 2017-12-18 | 2017-12-18 | Method of complexing halftone television and thermal images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017144494A RU2684585C1 (en) | 2017-12-18 | 2017-12-18 | Method of complexing halftone television and thermal images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2684585C1 true RU2684585C1 (en) | 2019-04-09 |
Family
ID=66090207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017144494A RU2684585C1 (en) | 2017-12-18 | 2017-12-18 | Method of complexing halftone television and thermal images |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2684585C1 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2171499C1 (en) * | 2000-12-14 | 2001-07-27 | Закрытое акционерное общество "НПО Космического Приборостроения" | Method for building images |
| RU2342701C1 (en) * | 2007-08-15 | 2008-12-27 | Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации | Method of complexing digital multispectral half-tone images |
| CN102214364A (en) * | 2011-04-27 | 2011-10-12 | 天津大学 | Automatic coloring method of gray level images in combination with histogram regression and texture analysis |
| RU2448367C1 (en) * | 2011-04-11 | 2012-04-20 | Закрытое акционерное общество "МНИТИ" ЗАО "МНИТИ" | Method of increasing visual information content of digital greyscale images |
| RU2451338C1 (en) * | 2010-12-23 | 2012-05-20 | Открытое акционерное общество "Государственный Рязанский приборный завод" (ОАО "ГРПЗ") | Method of integrating digital grayscale television and thermal images |
| WO2013155817A1 (en) * | 2012-04-16 | 2013-10-24 | 华为技术有限公司 | Method and device for predicting video image components |
| RU2538340C1 (en) * | 2013-07-23 | 2015-01-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ФГБОУ ВПО ТГГУ | Method of superimposing images obtained using different-range photosensors |
| RU2540778C1 (en) * | 2013-10-31 | 2015-02-10 | Закрытое Акционерное Общество "Научно-Технический Центр Элинс" | Method for integrating digital half-tone images |
-
2017
- 2017-12-18 RU RU2017144494A patent/RU2684585C1/en not_active IP Right Cessation
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2171499C1 (en) * | 2000-12-14 | 2001-07-27 | Закрытое акционерное общество "НПО Космического Приборостроения" | Method for building images |
| RU2342701C1 (en) * | 2007-08-15 | 2008-12-27 | Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации | Method of complexing digital multispectral half-tone images |
| RU2451338C1 (en) * | 2010-12-23 | 2012-05-20 | Открытое акционерное общество "Государственный Рязанский приборный завод" (ОАО "ГРПЗ") | Method of integrating digital grayscale television and thermal images |
| RU2448367C1 (en) * | 2011-04-11 | 2012-04-20 | Закрытое акционерное общество "МНИТИ" ЗАО "МНИТИ" | Method of increasing visual information content of digital greyscale images |
| CN102214364A (en) * | 2011-04-27 | 2011-10-12 | 天津大学 | Automatic coloring method of gray level images in combination with histogram regression and texture analysis |
| WO2013155817A1 (en) * | 2012-04-16 | 2013-10-24 | 华为技术有限公司 | Method and device for predicting video image components |
| RU2538340C1 (en) * | 2013-07-23 | 2015-01-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ФГБОУ ВПО ТГГУ | Method of superimposing images obtained using different-range photosensors |
| RU2540778C1 (en) * | 2013-10-31 | 2015-02-10 | Закрытое Акционерное Общество "Научно-Технический Центр Элинс" | Method for integrating digital half-tone images |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lin et al. | Determining the radiometric response function from a single grayscale image | |
| US8169500B2 (en) | Dynamic range compression apparatus, dynamic range compression method, computer-readable recording medium, integrated circuit, and imaging apparatus | |
| EP2582125B1 (en) | Use of noise-optimized selection criteria to calculate scene white points | |
| US8106954B2 (en) | Imaging apparatus and method that reduces illumination variations by converting a luminance value of a target pixel depending on an average luminance value of pixels in the vicinity of the target pixel | |
| KR101030864B1 (en) | Visual processing device, visual processing method, visual processing program, integrated circuit, display device, imaging device, and mobile information terminal | |
| CN100563303C (en) | Image processing equipment, image capture device and image processing method | |
| US10367976B2 (en) | Single image haze removal | |
| US20170078546A1 (en) | Optimised video denoising for heterogeneous multisensor system | |
| CN109478316B (en) | Real-time adaptive shadow and highlight enhancement | |
| Polzehl et al. | Adaptive smoothing of digital images: The R package adimpro | |
| RU2684585C1 (en) | Method of complexing halftone television and thermal images | |
| JP6573798B2 (en) | Image processing apparatus and image processing method | |
| RU2667800C1 (en) | Method for integrating two digital halftone images | |
| Reflectance–Illuminance | Retinex image processing: improving the visual realism of color images | |
| CN107317968B (en) | Image defogging method and device, computer storage medium and mobile terminal | |
| TW201541174A (en) | Method and apparatus for determining distance between image sensor and object irradiated | |
| US20170270352A1 (en) | System and Method for Facial Recognition using Images Captured from a Target Illuminated with Infrared Light | |
| JP2015095811A (en) | Image processing device and image processing method | |
| JP2018160024A (en) | Image processing device, image processing method and program | |
| McCann et al. | Chromaticity limits in color constancy calculations | |
| JP5050141B2 (en) | Color image exposure evaluation method | |
| CN107734246B (en) | Image processing method, device and related circuit | |
| CN113096033B (en) | Low-light image enhancement method based on Retinex model self-adaptive structure | |
| CN114697483B (en) | Under-screen camera shooting device and method based on compressed sensing white balance algorithm | |
| KR101005625B1 (en) | A method for color compensation based on color characteristic curve of a camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20201219 |