RU2684749C1 - Method of compound digital images of various spectral ranges - Google Patents
Method of compound digital images of various spectral ranges Download PDFInfo
- Publication number
- RU2684749C1 RU2684749C1 RU2018118901A RU2018118901A RU2684749C1 RU 2684749 C1 RU2684749 C1 RU 2684749C1 RU 2018118901 A RU2018118901 A RU 2018118901A RU 2018118901 A RU2018118901 A RU 2018118901A RU 2684749 C1 RU2684749 C1 RU 2684749C1
- Authority
- RU
- Russia
- Prior art keywords
- images
- cameras
- spectral ranges
- test object
- matrices
- Prior art date
Links
- 230000003595 spectral effect Effects 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims abstract description 19
- 150000001875 compounds Chemical class 0.000 title 1
- 230000009466 transformation Effects 0.000 claims abstract description 18
- 238000011156 evaluation Methods 0.000 claims abstract description 3
- 238000000844 transformation Methods 0.000 claims abstract description 3
- 230000000694 effects Effects 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 239000011159 matrix material Substances 0.000 description 10
- 239000013598 vector Substances 0.000 description 5
- 238000001931 thermography Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/74—Selecting or encoding within a word the position of one or more bits having a specified value, e.g. most or least significant one or zero detection, priority encoders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
Description
Изобретение относится к вычислительной технике для определения и приведения к заданным значениям параметров видеокамер и может быть использовано для совмещения изображений от камер видимого и инфракрасного спектральных диапазонов с перекрывающимися полями зрения, работающих в составе системы технического зрения.The invention relates to computing to determine and bring to the specified values of the parameters of video cameras and can be used to combine images from cameras of the visible and infrared spectral ranges with overlapping fields of view, working as part of a technical vision system.
Из уровня техники известен способ совмещения изображений от телевизионных и тепловизионных камер и устройство для его реализации, в котором в качестве информативных признаков для совмещения используется контурный препарат (патент US 7620269, опубл. 17.11.2009, МПК: G06K 9/32). Далее по результатам фазовой корреляции контурного препарата опорного изображения, которым, как правило, является телевизионное, и контурных препаратов изображений других спектральных диапазонов находятся их сдвиги в пикселях по горизонтали и вертикали относительно опорного изображения. Недостатком такого способа совмещения является его работоспособность только при равном угловом разрешении камер.The prior art known method of combining images from television and thermal imaging cameras and device for its implementation, in which as an informative feature for combining used contour preparation (patent US 7620269, publ. 11.11.2009, IPC: G06K 9/32). Further, according to the results of the phase correlation of the contour preparation of the reference image, which, as a rule, is television, and the contour preparations of images of other spectral ranges are their shifts in pixels horizontally and vertically relative to the reference image. The disadvantage of this method of combining is its performance only with equal angular resolution of the cameras.
Известен способ совмещения изображений, полученных с помощью различных фотодатчиков, и устройство для его реализации (патент RU 2435221, опубл. 20.06.2009, МПК: G06T 3/00). В нем в оптическую систему дополнительно вводится светоделитель, за счет чего достигается разделение падающего света на два потока: видимого диапазона и инфракрасного диапазона спектра. Первый поток далее поступает на вход телевизионной камеры, второй - на вход тепловизионной камеры. В результате формируются соответственно телевизионное и тепловизионное изображения одной и той же сцены. Недостатками способа являются большие габариты, сложность механической юстировки и низкая светосила оптической системы из-за введения в нее светоделителя.There is a method of combining images obtained using various photosensors, and a device for its implementation (patent RU 2435221, publ. 20.06.2009, IPC: G06T 3/00). It additionally introduces a beam splitter into the optical system, thereby achieving the separation of incident light into two streams: the visible range and the infrared range of the spectrum. The first stream is then fed to the input of the television camera, the second - to the input of the thermal imaging camera. As a result, television and thermal images of the same scene are formed, respectively. The disadvantages of the method are the large size, the complexity of the mechanical alignment and low aperture of the optical system due to the introduction of a beam splitter.
Известен способ совмещения изображений, полученных от цветной телевизионной камеры и монохромной камеры ближнего инфракрасного диапазона, и устройство для его реализации (патент US 9692911, опубл. 27.06.2017, МПК: H04N 5/33, G06T 7/33). В нем выполняется перевод цветного изображения в декоррелированное цветовое пространство. Затем выполняется поиск особых точек и их дескрипторов в ахроматических каналах телевизионного и инфракрасного изображений. Далее выполняется поиск пар соответствий особых точек, по которым затем оценивается матрица проективного преобразования (матрица гомографии) для совмещения. Недостатком способа является его применимость только к тепловизионным камерам ближнего инфракрасного диапазона, поскольку лишь их изображение сильно коррелированно с изображением в видимом диапазоне.A known method of combining images obtained from a color television camera and a monochrome camera in the near infrared range, and a device for its implementation (US patent 9692911, publ. 06/27/2017, IPC: H04N 5/33, G06T 7/33). It converts a color image into a decorrelated color space. Then, a search is performed for specific points and their descriptors in the achromatic channels of television and infrared images. Next, a search is performed for pairs of correspondences of singular points, which are then used to estimate the matrix of the projective transformation (homography matrix) for alignment. The disadvantage of this method is its applicability only to thermal imaging cameras in the near infrared range, since only their image is strongly correlated with the image in the visible range.
В качестве прототипа выбран наиболее близкий по совокупности признаков способ совмещения телевизионного и рентгеновского изображений (патент US 6447163, опубл. 10.09.2002, МПК: А61В 6/08). В данном способе для совмещения изображений используются вспомогательные опорные маркеры с априорно известными координатами, автоматически выделяемые на кадрах и видимого, и рентгеновского диапазонов длин волн.As a prototype, the method of combining television and X-ray images that was the closest in terms of all features was chosen (patent US 6447163, publ. 10.09.2002, IPC: AV 6/08). In this method, ancillary reference markers with a priori known coordinates are used to align images, which are automatically extracted on frames of both the visible and X-ray wavelength ranges.
Согласно прототипу способ совмещения содержит следующие этапы:According to the prototype, the combination method comprises the following steps:
- устанавливают, по меньшей мере, четыре плоских маркера в плоскости съемки рентгеновского аппарата и, по меньшей мере, два плоских маркера - перед этой плоскостью;- set at least four flat markers in the plane of the x-ray apparatus and at least two flat markers - in front of this plane;
- получают изображения маркеров с телевизионной камеры и рентгеновского аппарата;- receive images of markers from a television camera and x-ray machine;
- оценивают матрицу проективного преобразования одного из изображений относительно другого по изображениям четырех маркеров, лежащих в плоскости съемки рентгеновского аппарата;- estimate the matrix of the projective transformation of one of the images relative to the other on the images of four markers lying in the plane of the x-ray machine;
- выполняют проективное преобразование для совмещения рентгеновского и телевизионного изображений и определяют, совпадают ли отметки от двух маркеров, лежащих вне плоскости съемки рентгеновского аппарата;- perform a projective transformation to combine the X-ray and television images and determine whether the marks from the two markers lying outside the X-ray imaging plane coincide;
- если изображения отметок от маркеров не совпадают, механически регулируют угловое положение телевизионной камеры и повторно выполняют три предыдущих этапа до тех пор, пока изображения маркеров вне плоскости не совпадут.- if the images of the marks from the markers do not match, mechanically adjust the angular position of the television camera and repeat the three previous steps until the images of the markers outside the plane coincide.
Основным недостатком прототипа является выполнение итеративной механической юстировки телевизионной камеры и его применимость только к совмещению изображений видимого и рентгеновского диапазонов длин волн.The main disadvantage of the prototype is the execution of an iterative mechanical adjustment of a television camera and its applicability only to combining images of the visible and X-ray wavelength ranges.
Техническая проблема, решаемая заявляемым изобретением, заключается в отсутствии способов совмещения изображений видимого и нескольких инфракрасных диапазонов с различным угловым разрешением без применения процедуры их механической юстировки.The technical problem solved by the claimed invention is the lack of methods for combining images of the visible and several infrared ranges with different angular resolution without using the procedure of their mechanical alignment.
Технический результат изобретения заключается в создании алгоритма для совмещения изображений камер видимого и инфракрасного диапазонов, не требующего механической юстировки.The technical result of the invention is to create an algorithm for combining images of cameras in the visible and infrared ranges, which does not require mechanical adjustment.
Технический результат достигается тем, что способ совмещения цифровых изображений различных спектральных диапазонов основан на оценке матриц проективного преобразования по изображениям автоматически распознаваемых в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости. При этом он отличается от прототипа тем, что пространственные координаты маркеров, лежащих в плоскости тестового объекта, являются априорно известными. При оценке матриц проективного преобразования изменяется не взаимное угловое положение каждой из разноспектральных камер, а только угловое и пространственное положение тестового объекта посредством его перемещения. Причем совмещение изображений достигается за счет проективных преобразований изображений с камер по матрицам гомографии, оцениваемым по результатам предварительной калибровки с контрастным в каждом из спектральных диапазонов тестовым шаблоном для каждой пары камер, одна из которых выбрана в качестве опорной.The technical result is achieved by the fact that the method of combining digital images of different spectral ranges is based on the evaluation of the matrices of the projective transformation of the images automatically recognized in different spectral ranges of markers, structurally placed on the test object in the same plane. However, it differs from the prototype in that the spatial coordinates of the markers lying in the plane of the test object are a priori known. When estimating the matrices of the projective transformation, it is not the mutual angular position of each of the multi-spectral chambers that is changed, but only the angular and spatial position of the test object by moving it. Moreover, the combination of images is achieved through projective transformations of images from cameras using homography matrices, estimated from the results of preliminary calibration with a test pattern contrasting in each of the spectral ranges for each pair of cameras, one of which was chosen as the reference.
Отличительной особенностью камер различных спектральных диапазонов является различная физическая природа воспринимаемых ими изображений: телевизионные камеры и камеры ближнего и коротковолнового инфракрасного диапазонов воспринимают отраженный объектом свет, а камеры средневолнового и длинноволнового инфракрасного диапазонов - собственное тепловое излучение объекта. Предлагаемый способ совмещения цифровых изображений различных спектральных диапазонов заключается в том, что для оценки взаимного углового положения систем координат камер относительно системы координат опорной камеры (например, телевизионной), применяется универсальный калибровочный тестовый объект, обеспечивающий высококонтрастное изображение в каждом из спектральных диапазонов. Примером таких тестовых объектов может служить, например, устройство типа «шахматной доски» для калибровки камер по патенту CN 204287725, опубл. 17.11.2014, МПК: G03B 43/00, G01J 5/52.A distinctive feature of cameras of different spectral ranges is the different physical nature of the images they perceive: television cameras and cameras of the near and shortwave infrared ranges perceive the light reflected by the object, while cameras of the medium and longwave infrared ranges receive the object's own thermal radiation. The proposed method of combining digital images of different spectral ranges is that to assess the mutual angular position of the camera coordinate systems relative to the reference camera (for example, television) coordinate system, a universal calibration test object is used that provides a high-contrast image in each of the spectral ranges. An example of such test objects is, for example, a “chessboard” type device for calibrating cameras according to patent CN 204287725, publ. 11/17/2014, IPC: G03B 43/00, G01J 5/52.
На изображениях тестового объекта в каждом спектральном диапазоне автоматически выделяются маркеры опорных точек. Их пространственные координаты в системе координат тестового объекта априорно известны. Меняя положение тестового объекта таким образом, чтобы его изображение располагалось как в центральной части кадра камеры каждого спектрального диапазона, так и по его краям, сохраняют серию кадров. Далее в каждом из них выделяют пиксельные координаты маркеров, которые затем используются в алгоритме взаимной калибровки разноспектральных камер. Результатами калибровки являются оценки матриц внутренних параметров Ki, внешних параметров камер (векторы параллельного переноса ti и матрицы поворота Ri) и векторов коэффициентов дисторсии их объективов kdi.On the test object images in each spectral range, reference point markers are automatically highlighted. Their spatial coordinates in the coordinate system of the test object are known a priori. Changing the position of the test object so that its image is located both in the central part of the camera frame of each spectral range, and at its edges, retain a series of frames. Then, in each of them, the pixel coordinates of the markers are selected, which are then used in the inter-calibration algorithm of different spectral cameras. The results of the calibration are estimates of the matrices of the internal parameters K i , the external parameters of the cameras (parallel transfer vectors t i, and the rotation matrix R i ) and the vectors of the distortion coefficients of their objectives k di .
Известно, что матрица проективного преобразования для совмещения кадров от двух камер с известным взаимным расположением (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. - Cambridge: Cambridge University Press, 2003. - 656 p.) описывается формулой:It is known that the matrix of the projective transformation for combining frames from two cameras with a known relative position (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. - Cambridge: Cambridge University Press, 2003. - 656 p.) Is described by the formula :
K0 - матрица внутренних параметров опорной камеры,K 0 - the matrix of the internal parameters of the reference chamber,
Ki - матрица внутренних параметров i-й камеры, изображение которой совмещается с кадром опорной камеры,K i - the matrix of internal parameters of the i-th camera, the image of which is combined with the frame of the reference camera,
d - расстояние до плоскости съемки,d is the distance to the shooting plane,
n - вектор нормали к плоскости съемки.n is the normal vector to the shooting plane.
Расстояние до плоскости съемки (d) и вектор нормали к плоскости съемки (n) в общем случае являются неизвестными, однако могут быть оценены по информации от вспомогательных систем: d - по данным от дальномера, n - по данным от навигационной системы и цифровой карты местности.The distance to the survey plane (d) and the normal vector to the survey plane (n) are generally unknown, but can be estimated from information from auxiliary systems: d - from data from a rangefinder, n - from data from the navigation system and a digital terrain map .
Если вспомогательные системы отсутствуют, но расстояние до объекта съемки d более чем на два порядка превосходит длину вектора ti, то матрицу проективного преобразования для совмещения можно оценить по приближенной формуле:If auxiliary systems are absent, but the distance to the subject d is more than two orders of magnitude greater than the length of the vector t i , then the matrix of the projective transformation for alignment can be estimated using the approximate formula:
Способ совмещения цифровых изображений различных спектральных диапазонов содержит следующие основные этапы:The method of combining digital images of different spectral ranges contains the following main steps:
- выполняют взаимную калибровку разноспектральных камер по универсальному калибровочному тестовому объекту относительно системы координат одной из камер, выбранной в качестве опорной, и оценивают их внутренние и внешние параметры;- perform mutual calibration of multi-spectral cameras on a universal calibration test object relative to the coordinate system of one of the cameras selected as the reference, and evaluate their internal and external parameters;
- в зависимости от наличия либо отсутствия дополнительной информации об объекте съемки оценивают матрицы проективного преобразования для каждой камеры по формуле (1) либо по формуле (2), соответственно; матрица проективного преобразования опорной камеры в обоих случаях является единичной;- depending on the presence or absence of additional information about the subject, the matrix of the projective transformation for each camera is estimated using formula (1) or formula (2), respectively; in both cases, the matrix of the projective transformation of the reference camera is unit;
- для изображений со всех камер выполняют компенсацию дисторсии;- for images from all cameras perform distortion compensation;
- выполняют проективное преобразование изображений от камер с матрицами преобразования Hi для совмещения с изображением опорной камеры.- perform projective transformation of images from cameras with transformation matrices H i for combining with the image of the reference camera.
Рассмотренный способ совмещения изображений применим для многоспектральных оптико-электронных систем, камеры которых имеют объективы с фиксированным фокусным расстоянием и их взаимное расположение в процессе эксплуатации не изменяется.The considered method of combining images is applicable for multispectral optical-electronic systems, the cameras of which have lenses with a fixed focal length and their relative position during operation does not change.
Таким образом, предлагаемый способ совмещения цифровых изображений различных спектральных диапазонов не требует проведения механической юстировки камер, и применим как к телевизионным камерам видимого диапазона, так и к тепловизионным камерам ближнего, коротковолнового, средневолнового и длинноволнового инфракрасных диапазонов.Thus, the proposed method of combining digital images of different spectral ranges does not require mechanical alignment of cameras, and is applicable to both television cameras in the visible range and thermal imaging cameras in the near, shortwave, mediumwave and longwave infrared ranges.
Claims (1)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018118901A RU2684749C1 (en) | 2018-05-22 | 2018-05-22 | Method of compound digital images of various spectral ranges |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018118901A RU2684749C1 (en) | 2018-05-22 | 2018-05-22 | Method of compound digital images of various spectral ranges |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2684749C1 true RU2684749C1 (en) | 2019-04-12 |
Family
ID=66168145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018118901A RU2684749C1 (en) | 2018-05-22 | 2018-05-22 | Method of compound digital images of various spectral ranges |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2684749C1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2721793C1 (en) * | 2019-08-10 | 2020-05-25 | Владислав Юрьевич Верещагин | Method of authenticating digital image on concealed marker, comprising additional message |
| RU2764838C1 (en) * | 2021-03-24 | 2022-01-21 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Method for combining images from matrix photodetectors of various spectral ranges |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6447163B1 (en) * | 1999-09-30 | 2002-09-10 | Siemens Corporate Research, Inc. | Method for aligning and superimposing X-ray and video images |
| RU2435221C2 (en) * | 2007-12-10 | 2011-11-27 | Государственное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет Аэрокосмического приборостроения" | Method of superimposing images obtained using different photosensors, and apparatus for realising said method |
| RU2570506C2 (en) * | 2010-12-03 | 2015-12-10 | Тесто АГ | Method of preparing images in visually indistinguishable spectral regions and corresponding camera and measuring equipment |
| US9692911B1 (en) * | 2015-12-17 | 2017-06-27 | Oracle International Corporation | Methods, systems, and computer readable media for using user defined session description protocol (SDP) rules |
-
2018
- 2018-05-22 RU RU2018118901A patent/RU2684749C1/en active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6447163B1 (en) * | 1999-09-30 | 2002-09-10 | Siemens Corporate Research, Inc. | Method for aligning and superimposing X-ray and video images |
| RU2435221C2 (en) * | 2007-12-10 | 2011-11-27 | Государственное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный университет Аэрокосмического приборостроения" | Method of superimposing images obtained using different photosensors, and apparatus for realising said method |
| RU2570506C2 (en) * | 2010-12-03 | 2015-12-10 | Тесто АГ | Method of preparing images in visually indistinguishable spectral regions and corresponding camera and measuring equipment |
| US9692911B1 (en) * | 2015-12-17 | 2017-06-27 | Oracle International Corporation | Methods, systems, and computer readable media for using user defined session description protocol (SDP) rules |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2721793C1 (en) * | 2019-08-10 | 2020-05-25 | Владислав Юрьевич Верещагин | Method of authenticating digital image on concealed marker, comprising additional message |
| RU2764838C1 (en) * | 2021-03-24 | 2022-01-21 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" | Method for combining images from matrix photodetectors of various spectral ranges |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110660088B (en) | Image processing method and device | |
| US9191587B2 (en) | Method and apparatus for image stacking | |
| US9792684B2 (en) | System and method for imaging device modelling and calibration | |
| Brauers et al. | Multispectral filter-wheel cameras: Geometric distortion model and compensation algorithms | |
| JP6585006B2 (en) | Imaging device and vehicle | |
| US20140192238A1 (en) | System and Method for Imaging and Image Processing | |
| US11838490B2 (en) | Multimodal imaging sensor calibration method for accurate image fusion | |
| US10567646B2 (en) | Imaging apparatus and imaging method | |
| US10489885B2 (en) | System and method for stitching images | |
| WO2012005445A2 (en) | Camera system for three-dimensional thermal imaging | |
| JP7378219B2 (en) | Imaging device, image processing device, control method, and program | |
| IL262555A (en) | Self correcting adaptive low light optical payload | |
| RU2684749C1 (en) | Method of compound digital images of various spectral ranges | |
| EP2648157A1 (en) | Method and device for transforming an image | |
| CN115100082A (en) | High-precision color display system based on hyperspectral camera | |
| US20230188690A1 (en) | Electronic device for estimating camera illuminant and method of the same | |
| CN111272101A (en) | Four-dimensional hyperspectral depth imaging system | |
| CN211205210U (en) | Four-dimensional hyperspectral depth imaging system | |
| WO2015182447A1 (en) | Imaging device and color measurement method | |
| RU2764838C1 (en) | Method for combining images from matrix photodetectors of various spectral ranges | |
| JP7341843B2 (en) | Image processing device, image processing method, imaging device, program | |
| WO2019012647A1 (en) | Image processing device, image processing method, and program storage medium | |
| JP5549564B2 (en) | Stereo camera | |
| Rodrigues et al. | Photometric camera characterization from a single image with invariance to light intensity and vignetting | |
| JP6103767B2 (en) | Image processing apparatus, method, and program |