RU2764838C1 - Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов - Google Patents
Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов Download PDFInfo
- Publication number
- RU2764838C1 RU2764838C1 RU2021107949A RU2021107949A RU2764838C1 RU 2764838 C1 RU2764838 C1 RU 2764838C1 RU 2021107949 A RU2021107949 A RU 2021107949A RU 2021107949 A RU2021107949 A RU 2021107949A RU 2764838 C1 RU2764838 C1 RU 2764838C1
- Authority
- RU
- Russia
- Prior art keywords
- images
- image
- points
- different spectral
- spectral ranges
- Prior art date
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 20
- 239000011159 matrix material Substances 0.000 title claims abstract description 16
- 230000009466 transformation Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 3
- 230000003750 conditioning effect Effects 0.000 abstract 1
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000003325 tomography Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 6
- 238000001931 thermography Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Изобретение относится к области обработки цифровых изображений. Техническим результатом является обеспечение снижения ошибок при совмещении нескольких изображений различных спектральных диапазонов. Способ совмещения изображений от матричных фотоприемников N различных спектральных диапазонов заключается в том, что для удаленных объектов одновременно получают несколько изображений различных спектральных диапазонов и из них выбирают эталонное изображение с максимальным полем зрения и наибольшей разрешающей способностью. Далее на эталонном изображении выбирают начало координат и n≥4 опорных точек, определяют их пиксельные координаты, находят соответствующие им точки на всех изображениях остальных спектральных диапазонов и также определяют их пиксельные координаты. Для каждой пары «эталонное изображение - изображение иного спектрального диапазона» из Cn 4 сочетаний опорных точек оценивают Cn 4 матриц гомографии, для каждой из них вычисляют число обусловленности μ, находят минимальное значение μ и в памяти сохраняют соответствующую ему матрицу гомографии. Полученные матрицы гомографии сохраняют в памяти и производят совмещение изображений с использованием этих сохраненных параметров. 1 з.п. ф-лы, 6 ил.
Description
Изобретение относится к способам цифровой обработки изображений, в частности - к совмещению цифровых изображений.
Отличительной особенностью совмещения кадров от разноспектральных камер является различная физическая природа формируемых ими изображений. Телевизионные камеры, фиксирующие излучение видимого диапазона длин волн (0,38-0,7 мкм), камеры ближнего (0,7-0,9 мкм) и коротковолнового (0,9-1,7 мкм) инфракрасных (ИК) диапазонов, а также камеры, фиксирующие ультрафиолетовое (0,2-0,38 мкм) излучение, воспринимают отраженный объектом свет, в то время как камеры средневолнового (3-5 мкм) и длинноволнового (8-14 мкм) ИК диапазонов - собственное тепловое излучение объекта.
Из уровня техники известен способ для совмещения изображений от телевизионных и тепловизионных камер и устройство для его реализации, в котором в качестве информативных признаков для совмещения используется контурный препарат (патент US 7620269, опубликовано 17.11.2009, МПК: G06K 9/32). Далее по результатам фазовой корреляции контурного препарата опорного изображения, которым, как правило, является телевизионное изображение, и контурных препаратов изображений других спектральных диапазонов находятся их сдвиги в пикселях по горизонтали и вертикали относительно опорного изображения. Недостатком такого способа совмещения является его работоспособность только при равном угловом разрешении камер.
Известен способ совмещения изображений, полученных с помощью различных фотодатчиков, и устройство для его реализации (патент RU 2435221, опубликовано 20.06.2009, МПК: G06T 3/00). В нем в оптическую систему дополнительно вводится светоделитель, за счет чего достигается разделение падающего света на два потока: видимого диапазона длин волн и волн ИК диапазона. Первый поток далее поступает на вход телевизионной камеры, второй - на вход тепловизионной камеры. В результате формируются соответственно телевизионное и тепловизионное изображения одной и той же сцены. Недостатками способа являются большие габариты, сложность механической юстировки и низкая светосила оптической системы разноспектральных камер из-за введения в нее светоделителя.
Известен способ совмещения изображений, полученных от цветной телевизионной камеры и монохромной камеры ближнего ИК диапазона, и устройство для его реализации (патент US 9692911, опубликовано 27.06.2017, МПК: H04N 5/33, G06T 7/33). В нем выполняется перевод цветного изображения в декоррелированное цветовое пространство. Затем выполняется поиск особых точек и их дескрипторов в ахроматических каналах телевизионного и ИК изображений. Далее выполняется поиск пар соответствий особых точек, по которым затем оценивается матрица проективного преобразования (матрица томографии) для совмещения. Недостатком способа является его применимость только к камерам ближнего ИК диапазона, поскольку лишь их изображение сильно коррелированно с изображением в видимом диапазоне длин волн.
Известен способ совмещения цифровых изображений различных спектральных диапазонов (патент RU 2684749, опубликовано 12.04.2019, МПК: G06K 9/32 (2006.01), G06T 7/80 (2017.01)). Указанный способ предполагает оценку матриц томографии для перехода из системы пиксельных координат камеры одного спектрального диапазона в систему пиксельных координат камеры другого спектрального диапазона. Оценка матриц томографии выполняется с помощью предварительной калибровки по изображениям автоматически распознаваемых в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости. При этом пространственные координаты маркеров, лежащих в плоскости тестового объекта, являются априорно известными, а при оценке матриц проективного преобразования изменяется только угловое и пространственное положение тестового объекта посредством его перемещения. Совмещение изображений достигается за счет проективных преобразований изображений с камер по матрицам томографии, оцениваемым по результатам предварительной калибровки с контрастным в каждом из спектральных диапазонов тестовым объектом для каждой пары камер, одна из которых выбрана в качестве опорной.
В качестве тестового шаблона в данном способе могут выступать, например, устройства, конструкция и принцип работы которых рассмотрены в следующих патентах и публикациях:
патент CN 204287725, опубликовано 22.04.2015, МПК: G03B 43/00 (2006.01), G01J 5/52 (2006.01);
патент CN 204301863, опубликовано: 29.04.2015, МПК G01J 5/00 (2006.01), G01M 11/00 (2006.01);
патент CN 204695399, опубликовано 07.10.2015, МПК: G06T 7/00 (2006.01);
патент US 9621823, опубликовано 11.04.2017, МПК: H04N 5/33 (2006.01), H04N 17/00 (2006.01);
патент RU 2672466, опубликовано 14.11.2018, МПК: G06T 7/80 (2017.01);
Vidas S., Lakemond R., Denman S., Fookes C., Sridharan S., Wark T. A mask-based approach for the geometric calibration of thermal-infrared cameras // IEEE Transactions on Instrumentation and Measurement. 2012. Vol. 61(6). P. 1625-1635;
Choinowski A., Dahlke D., Ernst I., Pless S. Automatic calibration and co-registration for a stereo camera system and a thermal imaging sensor using a chessboard // Proc. of the Int. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XLII-2/W13. Enschede, 2019. P. 1631-1635;
Alekseev A.P. Goshin E.V., Davydov N.S., Ivliev N.A., Nikonorov A.V. Visual-inertial odometry algorithms on the base of thermal camera // CEUR Workshop Proc. 2019. Vol. 2416. P. 183-188;
St-Laurent L. Mikhnevich M., Bubel A., Prevost D. Passive calibration board for alignment of VIS-NIR, SWIR and LWIR images // Quantitative InfraRed Thermography Journal. 2017. Vol. 14(2). P. 193-205;
Chen Y., Huang F.-Y., Shi F.M., Liu B.-Q. Plane chessboard-based calibration method for a LWIR ultra-wide-angle camera // Applied Optics. 2019. Vol. 58(4). P. 744;
Zoetgnande Y.W.K., Fougeres A.J., Cormier G., Dillenseger J.L. Robust low-resolution thermal stereo camera calibration // Proc. of 11th Int. Conf. on Machine Vision. Munich, 2018. P. 110411D.
Недостатком способа, заявленного в патенте RU 2684749, является отсутствие возможности оперативной калибровки разноспектральных камер при изменении конструктива мультиспектральной системы технического зрения либо при взаимных угловых и линейных перемещениях камер, например, из-за вибрации в ходе эксплуатации.
Данного недостатка лишен способ совмещения одновременно получаемых изображений от матричных фотоприемников разного спектрального диапазона (патент RU 2705423, опубликовано 07.11.2019, МПК: G06T 3/00 (2006.01)), выбранный в качестве прототипа как наиболее близкий по совокупности признаков. В указанном способе для совмещения изображений одновременно получают несколько изображений различных спектральных диапазонов, из числа этих изображений выбирают эталонное изображение, выбирают начало координат и четыре опорные точки на эталонном изображении, определяют координаты этих точек, находят те же точки на всех остальных изображениях и также определяют их координаты. Далее по полученным координатам вычисляют матрицы томографии. Данные матрицы применяют для приведения всех изображений к эталонному. При этом эталонное изображение выбирают с максимальным полем зрения и наибольшей разрешающей способностью, выполняют нормировку системы координат изображений, на эталонном изображении визуально выбирают четыре характерные точки наблюдаемых объектов в качестве опорных и определяют их пиксельные координаты. Далее визуально выбирают те же четыре точки наблюдаемых объектов на изображениях остальных спектральных диапазонов и определяют их пиксельные координаты. По парам соответствий оценивают элементы матриц томографии, запоминают их и затем производят совмещение каждой последующей серии изображений с использованием сохраненных параметров.
Совмещение по способу прототипа выполняется при наблюдении удаленных объектов, поскольку попиксельное совмещение их проекций на плоскости изображений с малыми абсолютными ошибками (порядка единиц пикселей) выполняется только в том случае, если приближенно можно считать, что расстояние от каждого из них до всех разноспектральных камер приблизительно одинаково (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 p.).
При этом ни в формуле изобретения прототипа, ни в его описании не указано, по каким критериям следует выбирать опорные точки на изображениях различных спектральных диапазонов. Например, если на изображениях сцены Фиг. 1 (камера видимого диапазона, кадр 640×512 пикселей) и Фиг. 2 (камера коротковолнового ИК диапазона, кадр 640×512 пикселей), выбрать в качестве опорных точек, например, вершины антенн, изображения которых контрастны в обоих указанных диапазонах оптического спектра, то матрица томографии для приведения изображения Фиг. 2 к системе пиксельных координат изображения Фиг. 1, оцененная по четырем парам соответствий
1: (218, 154)↔(266, 130),
2: (226, 153)↔(276, 130),
3: (238, 162)↔(290, 140),
4: (532, 122)↔(631, 90)
с их последующим нормированием (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 p.) к диапазону значений [-1, 1], равна
Результат ее применения к изображению Фиг. 2 для его приведения к системе координат изображения Фиг. 1,
где х1 и х2 - соответственно векторы однородных нормированных пиксельных координат изображений Фиг. 1 и Фиг. 2, показан на Фиг. 3.
Опорные точки на Фиг. 1 и Фиг. 2 промаркированы квадратами.
Число обусловленности матрицы Н в евклидовой норме (Петров И.Б., Лобанов А.И. Лекции по вычислительной математике: учеб. пособие. М.: БИНОМ, Лаборатория знаний, 2006. 523 с):
где σmax и σmin - соответственно максимальное и минимальное сингулярные числа матрицы.
Для матрицы Н из (1) вычисленное по (3) число обусловленности
μ=3597,46.
Поскольку выражение (2) является линейным матричным оператором, то величина μ фактически показывает, насколько (2) чувствительно к ошибкам на входе, т.е. к ошибкам при измерении координат опорных точек.
Напротив, при ином выборе четырех опорных точек, например, как на Фиг. 4 и Фиг. 5,
1': (218, 154)↔(266, 130),
2': (10, 459)↔(30, 486),
3': (521, 456)↔(621, 477),
4': (532, 122)↔(631, 90)
получим иную оценку матрицы томографии:
Ее число обусловленности
μ'=1,283.
Поэтому способ прототипа не позволяет априори оценить, будет ли ошибка совмещения пиксельных координат низкой или высокой для выбранных четверок пар соответствий опорных точек на изображениях каждого спектрального диапазона.
Техническая проблема, решаемая заявляемым изобретением, заключается в отсутствии критерия выбора опорных точек на изображениях различных спектральных диапазонов для оценивания матриц томографии.
Технический результат изобретения заключается в разработке алгоритма совмещения изображений различных спектральных диапазонов, в котором на этапе до оценивания матрицы томографии анализируется численный показатель, характеризующий качество совмещения изображений с ее помощью.
Технический результат достигается тем, что для фотоприемников N различных спектральных диапазонов, изображения от которых требуется совместить, на эталонном изображении - с наибольшим разрешением и полем зрения - выбирается n≥4 опорных точек. Далее для всех Cn 4 сочетаний пар соответствующих координат на парах «эталонное изображение - изображение иного спектрального диапазона» оцениваются матрицы томографии и для каждой из них вычисляется число обусловленности μ. Находится минимальное значение μ, и матрица томографии с минимальным μ применяется для совмещения пары изображений «эталонное изображение - изображение иного спектрального диапазона» согласно формуле (2). Действия по оценке матриц томографии, вычислению чисел обусловленности и выбору матриц томографии с минимальными значениями μ повторяются для (N-1) пар «эталонное изображение - изображение иного спектрального диапазона».
Минимальные значения μ будут достигаться в тех случаях, когда опорные точки в совмещаемых кадрах будут выбираться по возможности ближе к углам кадра - по одной точке вблизи левого верхнего, левого нижнего, правого верхнего и правого нижнего углов - при условии, что в этих областях имеются однозначно выделяемые визуально сюжетные соответствия.
Также в способе прототипа не отражена специфика совмещения изображений, получаемых от разноспектральных камер с широким полем зрения. Для таких изображений характерна выраженная дисторсия. Поэтому если ее параметры, т.е. коэффициенты радиальной и тангенциальной дисторсии (Brown D.C. Close-range camera calibration // Photogrammetric Engineering. 1971. Vol. 37, No 8. P. 855-866), априорно известны или могут быть оценены в ходе фотограмметрической калибровки по тест-объекту, то до этапа выбора опорных точек и измерения их пиксельных координат необходимо выполнить компенсацию дисторсии для изображений всех N спектральных диапазонов.
Claims (2)
1. Способ совмещения изображений от матричных фотоприемников N различных спектральных диапазонов, заключающийся в том, что для удаленных объектов одновременно получают несколько изображений различных спектральных диапазонов, из числа этих изображений выбирают эталонное изображение с максимальным полем зрения и наибольшей разрешающей способностью, выбирают начало координат и опорные точки на эталонном изображении, определяют пиксельные координаты этих точек, затем находят соответствующие им точки на всех изображениях остальных спектральных диапазонов и также определяют их пиксельные координаты, выполняют нормировку систем координат изображений, далее по полученным измерениям оценивают матрицы гомографии, которые применяют для проективного преобразования с целью приведения всех изображений к эталонному, запоминают полученные матрицы гомографии и затем производят совмещение каждой последующей серии изображений с использованием этих сохраненных параметров, отличающийся тем, что на изображениях всех диапазонов выбирают n≥4 точек, для каждой пары «эталонное изображение - изображение иного спектрального диапазона» из Cn 4 пар сочетаний пиксельных координат опорных и соответствующих им точек оценивают матрицы гомографии, для каждой из них вычисляют число обусловленности μ, находят минимальное значение μ и в памяти сохраняют соответствующую ему матрицу гомографии и повторяют эти действия для всех (N-1) пар «эталонное изображение - изображение иного спектрального диапазона».
2. Способ по п. 1, отличающийся тем, что до этапа выбора опорных и соответствующих им точек для изображений всех N диапазонов выполняется коррекция дисторсии.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2021107949A RU2764838C1 (ru) | 2021-03-24 | 2021-03-24 | Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2021107949A RU2764838C1 (ru) | 2021-03-24 | 2021-03-24 | Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2764838C1 true RU2764838C1 (ru) | 2022-01-21 |
Family
ID=80445296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2021107949A RU2764838C1 (ru) | 2021-03-24 | 2021-03-24 | Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2764838C1 (ru) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2538340C1 (ru) * | 2013-07-23 | 2015-01-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ФГБОУ ВПО ТГГУ | Способ совмещения изображений, полученных с помощью разнодиапазонных фотодатчиков |
EP3159848A1 (en) * | 2007-08-31 | 2017-04-26 | William M. Karszes | System and method for presenting remotely sensed visual data in multi-spectral, fusion, and three-spatial dimension images |
CN109215003A (zh) * | 2018-07-09 | 2019-01-15 | 上海海事大学 | 一种图像融合方法及装置 |
RU2684749C1 (ru) * | 2018-05-22 | 2019-04-12 | Акционерное общество "Государственный Рязанский приборный завод" | Способ совмещения цифровых изображений различных спектральных диапазонов |
RU2705423C1 (ru) * | 2019-01-17 | 2019-11-07 | Общество с ограниченной ответственностью "РАСТР ТЕХНОЛОДЖИ" | Способ совмещения одновременно получаемых изображений от матричных фотоприёмников разного спектрального диапазона |
-
2021
- 2021-03-24 RU RU2021107949A patent/RU2764838C1/ru active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3159848A1 (en) * | 2007-08-31 | 2017-04-26 | William M. Karszes | System and method for presenting remotely sensed visual data in multi-spectral, fusion, and three-spatial dimension images |
RU2538340C1 (ru) * | 2013-07-23 | 2015-01-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ФГБОУ ВПО ТГГУ | Способ совмещения изображений, полученных с помощью разнодиапазонных фотодатчиков |
RU2684749C1 (ru) * | 2018-05-22 | 2019-04-12 | Акционерное общество "Государственный Рязанский приборный завод" | Способ совмещения цифровых изображений различных спектральных диапазонов |
CN109215003A (zh) * | 2018-07-09 | 2019-01-15 | 上海海事大学 | 一种图像融合方法及装置 |
RU2705423C1 (ru) * | 2019-01-17 | 2019-11-07 | Общество с ограниченной ответственностью "РАСТР ТЕХНОЛОДЖИ" | Способ совмещения одновременно получаемых изображений от матричных фотоприёмников разного спектрального диапазона |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11546576B2 (en) | Systems and methods for dynamic calibration of array cameras | |
US10958892B2 (en) | System and methods for calibration of an array camera | |
US20170374360A1 (en) | Camera calibration system, target, and process | |
US6768509B1 (en) | Method and apparatus for determining points of interest on an image of a camera calibration object | |
US8427632B1 (en) | Image sensor with laser for range measurements | |
JP2003254748A (ja) | ステレオ画像特性検査システム | |
CN108629756B (zh) | 一种Kinectv2深度图像无效点修复方法 | |
US9354045B1 (en) | Image based angle sensor | |
WO2020000369A1 (en) | Multimodal imaging sensor calibration method for accurate image fusion | |
Kwon et al. | Panoramic video using scale-invariant feature transform with embedded color-invariant values | |
CN110520768B (zh) | 高光谱光场成像方法和系统 | |
WO2019059632A1 (ko) | 프리즘을 이용한 초분광 영상 재구성 방법 및 시스템 | |
US20200120270A1 (en) | Method and system for snapshot multi-spectral light field imaging | |
CN110598795A (zh) | 图像差异检测方法及装置、存储介质、终端 | |
CN112489137A (zh) | 一种rgbd相机标定方法及系统 | |
CN105765630B (zh) | 通过创建多个色度斑点图案测量受到应力的结构部件的形状、移动和/或变形的多尺度测量方法 | |
EP2648157A1 (en) | Method and device for transforming an image | |
WO2017162596A1 (en) | Method for correcting aberration affecting light-field data | |
CN114485953A (zh) | 温度测量方法、装置及系统 | |
RU2764838C1 (ru) | Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов | |
RU2684749C1 (ru) | Способ совмещения цифровых изображений различных спектральных диапазонов | |
Meißner et al. | Towards standardized evaluation of image quality for airborne camera systems | |
Aminova et al. | Overview of digital forensics algorithms in DSLR cameras | |
RU2692970C2 (ru) | Способ калибровки видеодатчиков многоспектральной системы технического зрения | |
Müller-Rowold et al. | Hyperspectral panoramic imaging |