RU2722412C1 - Способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения - Google Patents
Способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения Download PDFInfo
- Publication number
- RU2722412C1 RU2722412C1 RU2019129996A RU2019129996A RU2722412C1 RU 2722412 C1 RU2722412 C1 RU 2722412C1 RU 2019129996 A RU2019129996 A RU 2019129996A RU 2019129996 A RU2019129996 A RU 2019129996A RU 2722412 C1 RU2722412 C1 RU 2722412C1
- Authority
- RU
- Russia
- Prior art keywords
- cameras
- test object
- different
- matrix
- field
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
- G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
- G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
- G01M11/0264—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested by using targets or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Geometry (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Изобретение относится к области формирования изображения и касается способа стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения. Способ включает в себя съемку с различных ракурсов тестовых объектов. Изображения инвертируют, находят на изображениях особые точки, выполняют оценку их координат с субпиксельной точностью. По полученным данным оценивают матрицы внутренних параметров разноспектральных камер, векторы коэффициентов дисторсии объективов и матрицы внешних параметров. Стереокалибровку выполняют в два этапа. На первом применяют тест-объект планарного типа, обеспечивающий формирование контрастного изображения типа «шахматное поле» или «точечное поле» в различных спектральных диапазонах для независимого оценивания только матрицы внутренних параметров и коэффициентов дисторсии объектива каждой камеры. На втором этапе применяют тест-объект со сферическими реперными излучателями, длина которого как минимум на порядок превосходит его ширину и высоту, и оценивают с его помощью только матрицы внешних параметров камер. Технический результат заключается в повышении точности калибровки широкоугольных камер с малыми угловыми размерами пересечения полей зрения. 2 ил.
Description
Изобретение относится к области вычислительной техники и может быть использовано для определения и приведения к заданным значениям параметров видеокамер видимого и инфракрасного (ИК) диапазонов длин волн. Способ предполагается использовать для калибровки видеодатчиков панорамных обзорных систем, в которых для обеспечения максимума поля зрения при одновременной минимизации количества применяемых камер предполагается такое их взаимное расположение, при котором угловые размеры пересечения полей зрения будут близки к нулю.
Из уровня техники известны способ самокалибровки камер одного спектрального диапазона (Liu R., Zhang Н., Liu М., Xia X., Нu Т. Stereo cameras self-calibration based on SIFT // Proc. of International Conference on Measuring Technology and Mechatronics Automation. 11-12 April 2009. Vol. 1. P. 352-355) и способ полетной калибровки мультиспектральной аппаратуры космического базирования (патент RU 2561231, опубликовано 27.08.2015, МПК: G06K 9/32, G01M 11/02, G01C 11/00, B64G 4/00), основанные на поиске пар соответствующих особых точек в нескольких кадрах, снятых одной или несколькими камерами. По парам соответствий оценивается матрица проективного преобразования (матрица томографии), путем декомпозиции которой затем выполняется оценивание матриц внешних и внутренних параметров (Malis Е., Vargas М. Deeper understanding of the homography decomposition for vision-based control // INRIA Research report. No. 6303. 2007). Данные алгоритмы успешно применяются для изображений одного спектрального диапазона. Однако в различных оптических диапазонах изображения одинаковых объектов могут сильно различаться, что приводит к необходимости указания части особых точек вручную (Ефимов А.И., Новиков А.И. Алгоритм поэтапного уточнения проективного преобразования для совмещения изображений // Компьютерная оптика. 2016. Т. 40, №2. С. 258-265). Другим их недостатком является то, что при малом (менее 10% от ширины поля зрения камеры) пересечении полей зрения возрастает погрешность оценивания элементов матрицы томографии, и, как следствие, увеличивается погрешность оценивания элементов матриц внутренних и внешних параметров, формируемых путем ее декомпозиции.
Известен способ калибровки системы технического зрения из трех видеокамер и устройство для его реализации (патент RU 2382515, опубликовано 20.02.2010, МПК: H04N 5/232, G06K 9/32). В данном изобретении калибровку системы технического зрения осуществляют по калибровочному шаблону (тест-объекту), в котором две камеры с узкими полями зрения получают детализированное изображение, а третья камера является обзорной: ее поле зрения в дальней зоне полностью перекрывает поля зрения двух ранее указанных камер. Недостатком способа является высокая погрешность оценки параметров калибровки пары камер с малым угловым размером зоны пересечения полей зрения: для обеспечения попадания тест-объекта в поля зрения обеих камер его приходится удалять от них на большое расстояние - 10 метров и более, вследствие чего увеличивается ошибка определения пиксельных координат ключевых точек калибровочного шаблона и растет погрешность калибровки. Вторым фактором, вызывающим рост погрешности, является расположение тест-объекта на всех ракурсах съемки только вблизи края кадра, что отрицательно сказывается на погрешности оценивания матриц внутренних параметров и коэффициентов дисторсии объективов.
В качестве прототипа выбран наиболее близкий по совокупности признаков способ калибровки видеодатчиков многоспектральной системы технического зрения (патент RU 2692970, опубликовано 28.06.2019, МПК: G06T 7/80 (2017.01), G06K 9/32 (2006.01), G01M 11/02 (2006.01)). Указанный способ предполагает выполнение съемки с различных ракурсов тестового объекта, контрастного и в видимом, и в инфракрасных (ИК) диапазонах длин волн - коротковолновом, средневолновом и длинноволновом, формирование негативов изображений, полученных с камер средневолнового и длинноволнового ИК диапазонов (тепловизоров), нахождение на полученных изображениях тестового объекта особых точек и оценку их координат с субпиксельной точностью, оценку матриц внутренних параметров камер, оценку векторов коэффициентов дисторсии объективов камер, оценку матриц внешних параметров, определяющих взаимное пространственное положение камер.
Примерами универсальных тест-объектов, контрастных и в видимом, и в ИК диапазонах, являются, например, устройство для калибровки телевизионных и тепловизионных камер (патент CN 204287725, опубликовано 17.11.2014, МПК: G03B 43/00, G01J 5/52) и тестовый шаблон для калибровки видеодатчиков многоспектральной системы технического зрения (патент RU 2672466, опубликовано 14.11.2018, МПК: G06T 7/80 (2017.01)).
Основным недостатком способа прототипа является то, что при малом (менее 10% от ширины поля зрения камеры) угловом размере пересечения полей зрения увеличиваются ошибки оцениваемых при стереокалибровке параметров: элементов матриц внутренних и внешних параметров, коэффициентов радиальной дисторсии объективов. Это связано с тем, что при калибровке камеры целесообразно располагать тест-объект таким образом, чтобы его проекции на плоскость изображения занимали не менее 50% площади кадра и располагались в различных его частях (Лазарева Н.С. Калибровка неметрических малоформатных камер с целью применения их для решения некоторых задач фотограмметрии // Фотограмметрия и дистанционное зондирование. 2011. №1. С. 80-91; Толкачев Д.С. Повышение точности калибровки внешних параметров видеокамеры // Инженерный вестник Дона. 2013. Т. 26, №3).
Техническая проблема, решаемая созданием заявленного изобретения, заключается в высокой погрешности определения матрицы внешних параметров и коэффициентов дисторсии объективов при стереокалибровке Nкам≥2 широкоугольных камер с малыми угловыми размерами пересечения полей зрения. Техническая проблема характерна для задачи минимизации количества камер, входящих в состав мультиспектральных обзорных систем технического зрения панорамного типа с распределенной апертурой (Кудинов И.А., Холопов И.С., Храмов М.Ю. Технология формирования панорамных разноспектральных видеоизображений для обзорных авиационных оптико-электронных систем // Труды МАИ. 2019. Вып.104. С.1-20).
Технический результат изобретения заключается в применении двухэтапной калибровки с двумя различными тест-объектами, контрастными и в видимом, и в инфракрасном диапазонах спектра. При этом на первом этапе для каждой i-й камеры, i=1…Nкам, оцениваются только внутренние параметры и коэффициенты дисторсии ее объектива, а на втором этапе -только ее внешние параметры.
Технический результат достигается тем, что способ калибровки разноспектральных камер разделяется на два этапа, на каждом из которых применяется свой тест-объект.
На первом этапе выполняют независимую калибровку каждой камеры в отдельности для оценивания только матрицы внутренних параметров и коэффициентов дисторсии объектива (Zhang Z. A flexible new technique for camera calibration // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2000. Vol. 22(11). P. 1330-1334). Для указанной калибровки применяют контрастный и в видимом, и в ИК диапазонах спектра планарный тест-объект с шаблоном типа «шахматное поле» или «точечное поле»: снимают его с различных ракурсов, находят на снятых с различных ракурсов изображениях (рекомендуемое количество ракурсов - не менее 15) особые точки тест-объекта и выполняют оценку их координат с субпиксельной точностью, по найденным координатам выполняют оценку матриц внутренних параметров камер и оценку векторов коэффициентов дисторсии объективов камер. Для полутоновых изображений тест-объекта, формируемых тепловизионными ИК камерами средневолнового (3…5 мкм) и длинноволнового (8…14 мкм) диапазонов, выполняется инверсия яркости (получают негатив изображения).
На втором этапе выполняют стереокалибровку каждой пары камер с пересекающимися полями зрения для оценивания только матриц внешних параметров; матрицы внутренних параметров камер и коэффициенты дисторсии при этом не корректируются. Для указанной стереокалибровки применяется второй тест-объект, состоящий из сферических реперных светоизлучателей, расположенных на одной линии. Это позволяет найти такие положения тест-объекта, при которых его изображения попадают в область пересечения полей зрения калибруемых камер. Таким тест-объектом может выступать, например, Т-образная оснастка, аналогичная по своей конструкции оснастке Calibration Wand производства Optitrack (https://optitrack.com/products/tools/), в которой реперами выступают сферы априорно известного диаметра. Минимальное количество сфер для калибровки n=3. Чтобы изображения сфер тест-объекта были контрастны и в видимом, и в ИК диапазонах спектра, они могут быть выполнены, например, как галогеновые лампы (Zoetgnande Y., Fougeres A.-J., Cormier G., Dillenseger J.-L. Robust low resolution thermal stereo camera calibration //Proc. of 11th International Conference on Machine Vision (ICMV18), Nov. 2018, Munich, Germany. P. 110411D) или лампы накаливания со сферической колбой. Указанный тест-объект (позиция 3 на фиг. 1) располагается таким образом, чтобы его изображение попадало в зону пересечения полей зрения калибруемых камер 1 и 2. При этом в каждом положении оцениваются пространственные координаты его реперных точек - центры сфер I=1, 2 … n, в системе координат каждой j-й камеры, j={1,2}, и по ним выполняется оценка матриц внешних параметров: матрицы поворота R и вектора параллельного переноса t (Agrawal М., Davis L.S. Complete camera calibration using spheres: A dual-space approach // Proc. of IEEE Int. Conf. on Comput. Vision. 13-16 Oct. 2003. Nice, 2003. P. 782-789). Например, если в качестве опорной выбрана камера с номером 1, то оцениваются R12 и t12:
где и - центры масс реперных излучателей в системах координат камер 1 и 2, det{⋅} - оператор вычисления определителя матрицы, а матрицы U и V получаются в результате SVD-разложения матрицы Н=USVT, где
а и - центрированные пространственные координаты i-x реперных точек (Umeyama S. Least-squares estimation of transformation parameters between two point patterns // IEEE Trans, on Pattern Analysis and Machine Intelligence. 1991. Vol. 13, Is. 4. P. 376-380).
Схема алгоритма калибровки согласно предлагаемому способу приведена на фиг. 2.
Таким образом, предлагаемый способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения может быть использован для определения и приведения к заданным значениям параметров видеокамер, работающих в составе системы технического зрения панорамного типа, состоящей из нескольких распределенных разноспектральных видеодатчиков.
Claims (1)
- Способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения, в котором выполняют с различных ракурсов съемку тестового объекта, обеспечивающего на различных дальностях высококонтрастное изображение как в видимом, так и в инфракрасных спектральных диапазонах, при этом изображения тепловизионных камер средневолнового и длинноволнового инфракрасных диапазонов инвертируют, находят на снятых изображениях тестового объекта особые точки и выполняют оценку их координат с субпиксельной точностью, оценивают матрицы внутренних параметров разноспектральных камер, а также векторы коэффициентов дисторсии объективов и матрицы внешних параметров, определяющих взаимное пространственное положение камер, отличающийся тем, что стереокалибровку выполняют в два этапа: на первом применяют первый тест-объект планарного типа, обеспечивающий формирование контрастного изображения типа «шахматное поле» или «точечное поле» в различных спектральных диапазонах для независимого оценивания только матрицы внутренних параметров и коэффициентов дисторсии объектива каждой камеры, а на втором применяют второй тест-объект со сферическими реперными излучателями, длина которого как минимум на порядок превосходит его ширину и высоту, также обеспечивающий формирование контрастного изображения в различных спектральных диапазонах; при этом второй тест-объект располагают таким образом, чтобы его изображение попадало в область пересечения полей зрения калибруемых камер даже при малых угловых размерах указанной области, и оценивают с его помощью только матрицы внешних параметров камер.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019129996A RU2722412C1 (ru) | 2019-09-23 | 2019-09-23 | Способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019129996A RU2722412C1 (ru) | 2019-09-23 | 2019-09-23 | Способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2722412C1 true RU2722412C1 (ru) | 2020-05-29 |
Family
ID=71067422
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2019129996A RU2722412C1 (ru) | 2019-09-23 | 2019-09-23 | Способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2722412C1 (ru) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2017124310A (ru) * | 2017-07-07 | 2019-01-10 | Акционерное общество "Государственный Рязанский приборный завод" | Способ калибровки видеодатчиков многоспектральной системы технического зрения |
-
2019
- 2019-09-23 RU RU2019129996A patent/RU2722412C1/ru active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2017124310A (ru) * | 2017-07-07 | 2019-01-10 | Акционерное общество "Государственный Рязанский приборный завод" | Способ калибровки видеодатчиков многоспектральной системы технического зрения |
Non-Patent Citations (3)
Title |
---|
Motilal Agrawal and Larry S. Davis, "Complete camera calibration using spheres : A dual-space. 02.2003 * |
Кудинов И.А., Храмов М.Ю. "Тест-объекты для калибровки камер авиационных систем технического зрения", СБОРНИК НАУЧНЫХ СТАТЕЙ VI НАУЧНО-ПРАКТИЧЕСКОЙ КОНФЕРЕНЦИИ МОЛОДЫХ УЧЕНЫХ И СПЕЦИАЛИСТОВ АО "ГРПЗ", подписано в печать 28.02.2019 г., стр. 14-17. * |
Кудинов И.А., Храмов М.Ю. "Тест-объекты для калибровки камер авиационных систем технического зрения", СБОРНИК НАУЧНЫХ СТАТЕЙ VI НАУЧНО-ПРАКТИЧЕСКОЙ КОНФЕРЕНЦИИ МОЛОДЫХ УЧЕНЫХ И СПЕЦИАЛИСТОВ АО "ГРПЗ", подписано в печать 28.02.2019 г., стр. 14-17. Motilal Agrawal and Larry S. Davis, "Complete camera calibration using spheres : A dual-space approach", PROCEEDINGS OF IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, 2003 г., стр. 782-789. * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11503275B2 (en) | Camera calibration system, target, and process | |
CN110717942B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109859272B (zh) | 一种自动对焦双目摄像头标定方法及装置 | |
CN110689581B (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
CN106548489B (zh) | 一种深度图像与彩色图像的配准方法、三维图像采集装置 | |
JP6079333B2 (ja) | 校正装置、方法及びプログラム | |
CN109559355B (zh) | 一种基于相机组的无公共视场的多相机全局标定装置及方法 | |
CN111699514A (zh) | 相机的内参及相对姿态的标定方法、装置、无人机和存储装置 | |
CN105379264A (zh) | 用于成像设备建模与校准的系统和方法 | |
CN112562014B (zh) | 相机标定方法、系统、介质及装置 | |
US10664995B2 (en) | Camera parameter calculation apparatus, method, and recording medium based on an absolute value of corresponding pixel values | |
JP2009042162A (ja) | キャリブレーション装置及びその方法 | |
EP3709270A1 (en) | Registration of individual 3d frames | |
CN109272555B (zh) | 一种rgb-d相机的外部参数获得及标定方法 | |
CN113920205B (zh) | 一种非同轴相机的标定方法 | |
US10319105B2 (en) | Method and system for calibrating an image acquisition device and corresponding computer program product | |
Von Gioi et al. | Towards high-precision lens distortion correction | |
US20190019309A1 (en) | Method for calibration of a stereo camera | |
Sagawa et al. | Calibration of lens distortion by structured-light scanning | |
CN114299156A (zh) | 无重叠区域下多相机的标定与坐标统一方法 | |
JP2016218815A (ja) | ラインセンサカメラのキャリブレーション装置及び方法 | |
JP2022024688A (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
CN112489141B (zh) | 车载摄像头单板单图带中继镜的产线标定方法及装置 | |
RU2722412C1 (ru) | Способ стереокалибровки разноспектральных камер с малыми угловыми размерами пересечения полей зрения | |
JP2018044942A (ja) | カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体 |