RU2626051C2 - Способ определения дальностей до объектов по изображениям с цифровых видеокамер - Google Patents

Способ определения дальностей до объектов по изображениям с цифровых видеокамер Download PDF

Info

Publication number
RU2626051C2
RU2626051C2 RU2016140779A RU2016140779A RU2626051C2 RU 2626051 C2 RU2626051 C2 RU 2626051C2 RU 2016140779 A RU2016140779 A RU 2016140779A RU 2016140779 A RU2016140779 A RU 2016140779A RU 2626051 C2 RU2626051 C2 RU 2626051C2
Authority
RU
Russia
Prior art keywords
cameras
values
image
interest
images
Prior art date
Application number
RU2016140779A
Other languages
English (en)
Other versions
RU2016140779A (ru
Inventor
Алексей Владимирович Зубарь
Кирилл Владимирович Кайков
Владимир Петрович Пивоваров
Станислав Владимирович Алферов
Эдуард Александрович Гейнце
Андрей Николаевич Поздеев
Александр Алексеевич Афанасьев
Original Assignee
Алексей Владимирович Зубарь
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Алексей Владимирович Зубарь filed Critical Алексей Владимирович Зубарь
Priority to RU2016140779A priority Critical patent/RU2626051C2/ru
Publication of RU2016140779A publication Critical patent/RU2016140779A/ru
Application granted granted Critical
Publication of RU2626051C2 publication Critical patent/RU2626051C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

Изобретение относится к области информационно-измерительных систем и предназначается для решения задач измерения дальностей до объектов по их цифровым изображениям. Для осуществления заявленного способа могут использоваться по крайней мере две разнесенные в пространстве (причем в любой плоскости), произвольно ориентированные и разные по техническим данным цифровые видеокамеры оптического или инфракрасного диапазонов, обеспечивающие возможность захвата стереоизображений объектов интереса и совместно с обрабатывающей системой образующие измерительную систему. Технический результат - повышение точности определения дальностей до интересующих объектов при использовании произвольно размещенных цифровых видеокамер, с которых могут приниматься дисторсионно-искаженные изображения, а их фотоприемные устройства (например, ПЗС- или ПЗИ-матрицы) могут быть установлены с определенной погрешностью относительно оптических осей объективов. Дополнительным техническим результатом является повышение быстродействия процесса определения дальностей за счет отсутствия необходимости предварительной программной обработки (коррекции) принимаемых с камер изображений, а также удешевление измерительной системы за счет возможности применения малобюджетных неметрических видеокамер. 3 ил.

Description

Изобретение относится к области информационно-измерительных систем и предназначается для решения задач измерения дальностей до объектов по их цифровым изображениям с помощью параллактического треугольника с переменными углами и основанием определенной длины, расположенного в точке наблюдения.
Из существующего уровня техники известен способ измерения расстояний до объектов с использованием двух цифровых фотокамер (US Patent №5432594, G01C 3/00, 1995), разнесенных в пространстве по горизонтали на известное расстояние. На фотокамерах формируются два цифровых изображения измеряемого объекта. На каждом изображении формируется окно шириной, равной размеру объекта. Затем вычисляется оценочная функция между двумя изображениями объекта, находящегося в выделенном окне, причем одно изображение последовательно сдвигается по горизонтали относительно другого. По минимальному значению оценочной функции определяется сдвиг между изображениями объекта. Дальность до объекта определяется по сдвигу между изображениями, при этом необходимо знать расстояние между фотокамерами и фокусное расстояние объективов камер.
Недостатком этого способа является низкая точность измерения дальности, обусловленная тем, что при вычислении дальности в системе не учитывается возможное отклонение от горизонтальной линии положения двух цифровых фотокамер, разнесенных в пространстве по горизонтали на известное расстояние, а также тем, что сдвиг между изображениями на фотоприемной матрице определяется только с точностью до одного пикселя.
Более близким аналогом является способ (Патент RU №2485443 C1, G01C 3/08, G01S 11/12, 2011 г.), включающий получение двух цифровых изображений объекта с использованием двух фотокамер, разнесенных по горизонтали на известное расстояние. Дальность до объекта определяется по сдвигу между изображениями по горизонтальной оси. Размер сканирующего окна с изображением объекта выбирают так, чтобы разность расстояний до отдельных фрагментов объекта была меньше инструментального разрешения по дальности. Осуществляют сканирование по горизонтали и вертикали, сдвиг между изображениями определяют по положению максимального значения двухмерной нормированной корреляционной функции. Уточняют положение максимума корреляционной функции в субпиксельном диапазоне и осуществляют локализацию максимума между узлом сетки с наибольшим значением корреляционной функции и его соседними узлами. Определяют дальность и размеры объекта, учитывая при этом отклонение от горизонтальной линии положения двух цифровых фотокамер.
Основными недостатками данного способа (как и предыдущего аналога) являются:
необходимость использования идентичных цифровых видеокамер;
необходимость размещения камер, обеспечивающей строгую параллельность их оптических осей в пространстве;
невозможность изменять минимальную и максимальную дальности действия, ширину рабочей (стерео) зоны, в пределах которых возможно определение расстояний до объектов;
необходимость наведения измерительной системы на объект интереса, так чтобы он находился по крайней мере вблизи от оптических линий применяемых камер.
Данные недостатки были устранены в оптико-электронном стереоскопическом дальномере (Патент RU №2579532 С2, G01C 3/10, 2016 г.), выбранном в качестве прототипа и реализующем способ определение дальности, заключающийся в приеме изображений с левой и правой камер, а также значений вертикальных и горизонтальных углов с датчиков угла поворота рам кардановых подвесов, на которых установлены камеры, данных от пользователя, формировании зоны поиска на изображении правой камеры, кадрировании и увеличении разрешения области поиска и области положения объекта с приведением к одному масштабу, повышении резкости обрабатываемых участков изображений, сканировании каждой из областей поиска окном с размерами соответствующей области положения объекта с вычислением двумерной корреляционной функции и формировании массива ее значений, определении координат максимумов значений нормированной двумерной корреляционной функции, нахождении значений горизонтальных смещений изображений объектов интереса относительно центров изображений, компенсации полученных смещений на величины горизонтальных углов расположения оптических осей объективов левой и правой камер относительно нормалей к базовой линии в точках оптических центров объективов левой и правой камер, вычислении скомпенсированных значений вертикальных и горизонтальных углов относительно оптической оси левой камеры, под которыми изображения каждого из указанных пользователем объектов попадают в объектив левой камеры и вычислении дальностей до указанных пользователем объектов.
Недостатки прототипа (как и аналогов) заключаются в том, что при определении (измерении) дальности до интересующих объектов не учитывают:
значения углов отклонения осевых линий используемых видеокамер относительно нормалей к базовой линии в поперечной плоскости;
искажения принимаемых с камер изображений в виде радиальной и тангенциальной дисторсии, возникающих в результате несовершенства линз объективов и погрешностей установки фотоприемных устройств;
несовпадения геометрических центров фотоприемных устройств с центрами цифровых изображений, формируемых объективами камер, в результате погрешностей установки фотоприемных устройств относительно оптических осей объективов.
Непринятие в расчет указанных параметров при их наличии однозначно приведет к ошибкам измерения дальностей.
Обеспечение же условий, когда данные параметры могут не учитываться и, соответственно, не приведут к возникновению ошибок определения дальностей связано:
с проведением дополнительной ориентации камер, что увеличивает трудоемкость и, как следствие, время на подготовку измерительной системы к использованию по назначению;
с необходимостью применения видеокамер с высококачественной и, как правило, дорогой оптической частью.
С другой стороны, влияние данных параметров на точность определения дальностей может быть устранено за счет предварительной обработки получаемых с видеокамер изображений, заключающейся в их программном повороте на соответствующие углы и компенсации дисторсионных искажений. Но это в свою очередь связано с увеличением объема вычислительных операций, так как цифровые изображения должны быть полностью попиксельно переработаны, и потребует привлечение дополнительных вычислительных ресурсов, что затруднит проведение измерений в реальном масштабе времени.
Таким образом, задачами, на решение которых направлено заявляемое изобретение, являются обеспечение точного определения дальностей до интересующих объектов в условиях:
во-первых, несовпадения геометрических центров фотоприемных устройств и центрами цифровых изображений, формируемых объективами применяемых камер;
во-вторых, использования принимаемых с камер изображений, искаженных радиальной и тангенциальной дисторсией;
в-третьих, произвольно расположенных во всех трех плоскостях видеокамерах.
Решение данных задач определяется следующим.
По первой задаче. Нахождение координат изображений объекта интереса в системах координат используемых камер осуществляют путем умножения матриц положений PK1i и PK2i на матрицы внутренних параметров КK1 и КK2, учитывающие в том числе и величины несовпадения геометрических центров фотоприемных устройств с центрами цифровых изображений применяемых первой и второй камер согласно выражений:
Figure 00000001
где AK1i и AK2i матрицы координат изображений объекта интереса в системах координат используемых камер;
Figure 00000002
где nK1i, mK1i и nK2i, mK2i - номера n-го столбца и m-ой строки (фигура 1), соответствующие положению изображения i-го объекта интереса на изображениях первой К1 и второй К2 камер, mK1i∈0…MK1-1 nK1i∈0…NK1-1, mK2i∈0…MK2-1, nK2i∈0…NK2-1;
NK1, MK1 и NK2, MK2 - количество столбцов и строк фотоприемных устройств высокого разрешения (фигура 1) первой К1 и второй К2 камер;
Figure 00000003
Figure 00000004
где
Figure 00000005
и
Figure 00000006
- фокусные расстояния объективов первой К1 и второй К2 камер, на чертеже (фигура 1) это расстояния от точек ОК1 до точки О'К1 и от точек ОК2 до точки О'К2, соответственно;
Figure 00000007
Figure 00000008
и
Figure 00000009
Figure 00000010
- физические размеры фотоячейки (пикселя) фотоприемного устройства высокого разрешения (например, ПЗС- или ПЗИ-матрицы) соответственно в горизонтальной
Figure 00000011
и вертикальной
Figure 00000012
(фигура 1) плоскостях первой К1 и второй К2 камер;
Figure 00000013
Figure 00000014
и
Figure 00000015
Figure 00000016
- расстояние между геометрическим центрами фотоприемных устройств и центрами изображений, формируемых объективами (фигура 1) первой К1 и второй К2 камер;
xK1i, yK1i,
Figure 00000017
- координаты изображения i-го объекта интереса на изображении в системе координат первой камеры К1;
xK2i, yK2i,
Figure 00000018
- координаты изображения i-го объекта интереса на изображении в системе координат второй камеры К2.
По второй и третьей задачам. Значения матриц координат изображений AK1i и AK2i сначала корректируют на величины радиальной и тангенциальной дисторсий, а затем приводят к нормальному положению камер измерительной системы путем вычисления матриц координат
Figure 00000019
и
Figure 00000020
,
Figure 00000021
где N - обозначение нормального взаимного расположения осей систем координат камер измерительной системы;
DN - обозначение скорректированных на величины дисторсии и приведенных к нормальному положению измерительной системы координат изображения i-го объекта интереса на изображении первой и второй камер;
DK1i и DK2i - матрицы коррекции первой К1 и второй К2 камер, равные
Figure 00000022
где
Figure 00000023
- коэффициент коррекции радиальной дисторсии объектива первой камеры К1;
Figure 00000024
- коэффициент коррекции радиальной дисторсии объектива второй камеры К2;
Figure 00000025
- коэффициент коррекции тангенциальной дисторсии первой камеры К1 в горизонтальной плоскости;
Figure 00000026
- коэффициент коррекции тангенциальной дисторсии первой камеры К1 в вертикальной плоскости;
Figure 00000027
- коэффициент коррекции тангенциальной дисторсии второй камеры К2 в горизонтальной плоскости;
Figure 00000028
- коэффициент коррекции тангенциальной дисторсии второй камеры К2 в вертикальной плоскости;
Figure 00000029
Figure 00000030
,
Figure 00000031
,
Figure 00000032
,
Figure 00000033
- значения первого и второго столбцов матриц АК1i и АК2i;
Figure 00000034
,
Figure 00000035
,
Figure 00000036
и
Figure 00000037
,
Figure 00000038
,
Figure 00000039
- коэффициенты радиальной дисторсии объективов первой К1 и второй К2 камер, где j - количество учитываемых коэффициентов;
Figure 00000040
,
Figure 00000041
и
Figure 00000042
,
Figure 00000043
- коэффициенты тангенциальной дисторсии первой К1 и второй К2 камер.
Figure 00000044
и
Figure 00000045
- внутрибазовые матрицы вращения для первой К1 и второй К2 камер относительно их нормального положения, равные
Figure 00000046
где
Figure 00000047
Figure 00000048
Figure 00000049
Figure 00000050
Figure 00000051
Figure 00000052
Figure 00000053
Figure 00000054
Figure 00000055
Figure 00000056
Figure 00000057
Figure 00000058
Figure 00000059
Figure 00000060
Figure 00000061
,
Figure 00000062
,
Figure 00000063
и
Figure 00000064
,
Figure 00000065
,
Figure 00000066
- внутрибазовые углы последовательного отклонения в горизонтальной
Figure 00000067
, вертикальной
Figure 00000068
и поперечной
Figure 00000069
плоскостях осей систем координат (фигура 2) первой К1 и второй К2 камер от нормального положения камер измерительной системы.
Для наглядности, представленные на чертеже (фигура 1) системы координат первой К1 и второй К2 камер при нормальном положении обозначены как
Figure 00000070
,
Figure 00000071
,
Figure 00000072
и
Figure 00000073
,
Figure 00000074
,
Figure 00000075
. При этом под нормальным положением камер измерительной системы понимается (фигура 1) такое пространственное взаимное расположение первой К1 и второй К2 камер, когда система координат
Figure 00000076
первой камеры К1 (своим началом совпадающая с оптическим центром объектива, ось
Figure 00000077
совпадает с оптической осью объектива, а оси
Figure 00000078
и
Figure 00000079
соответствуют горизонтальному и вертикальному направлениям) относительно системы координат
Figure 00000080
второй камеры К2 (своим началом совпадающей с оптическим центром объектива данной камеры, осью
Figure 00000081
совпадающей с оптической осью объектива, а осями
Figure 00000082
и
Figure 00000083
соответствующей горизонтальному и вертикальному направлениям), размещена так, что их оси
Figure 00000084
и
Figure 00000085
,
Figure 00000086
и
Figure 00000087
, располагаясь на некотором удалении (базисном расстоянии
Figure 00000088
) друг от друга, были параллельными, а оси
Figure 00000089
и
Figure 00000090
находились на одной (базовой) линии.
Под действительным положением камер измерительной системы понимается (фигура 2) случайное или специально заданное взаимное расположение первой и второй камер, при котором оси их систем координат
Figure 00000091
,
Figure 00000092
,
Figure 00000093
и
Figure 00000094
,
Figure 00000095
,
Figure 00000096
(α, β, ϕ - обозначение действительного положения осей систем координат камер измерительной системы) находятся под соответствующими углами
Figure 00000097
,
Figure 00000098
,
Figure 00000099
и
Figure 00000100
,
Figure 00000101
,
Figure 00000102
относительно осей систем
Figure 00000070
,
Figure 00000071
,
Figure 00000072
и
Figure 00000073
,
Figure 00000074
,
Figure 00000075
координат этих камер в первоначальном нормальном положении. На чертеже (фигура 2) показан возможный вариант взаимного положения систем координат камер, где обозначениям
Figure 00000103
,
Figure 00000104
,
Figure 00000105
и
Figure 00000106
,
Figure 00000107
,
Figure 00000108
соответствует положение камер отклоненных на углы
Figure 00000109
и
Figure 00000110
,
Figure 00000111
и
Figure 00000112
соответствует положение камер отклоненных дополнительно на углы
Figure 00000113
и
Figure 00000114
,
Figure 00000091
,
Figure 00000092
,
Figure 00000093
и
Figure 00000094
,
Figure 00000095
,
Figure 00000096
соответствует положение камер (действительное их положение), отклоненных дополнительно к предыдущим на углы
Figure 00000115
и
Figure 00000116
.
Основным техническим результатом, обеспечиваемым приведенной совокупностью признаков, является повышение точности определения дальностей до интересующих объектов при использовании произвольно размещенных цифровых видеокамер, с которых могут приниматься дисторсионно-искаженные изображения, а их фотоприемные устройства (например, ПЗС- или ПЗИ-матрицы) могут быть установлены с погрешностью относительно оптических осей объективов.
В качестве дополнительного технического результата можно указать повышение быстродействия процесса определения дальностей за счет отсутствия необходимости предварительной программной обработки (коррекции) принимаемых с камер изображений.
Еще одним результатом является удешевление измерительной системы за счет возможности применения малобюджетных неметрических видеокамер.
Для осуществления заявленного способа могут использоваться по крайней мере две разнесенные в пространстве (причем в любой плоскости) цифровые видеокамеры К1 и К2 (фигура 1 и фигура 2), обеспечивающие возможность захвата стереоизображений объектов интереса и совместно с обрабатывающей системой (на фигуре 1 и фигуре 2 не показано) образующие измерительную систему. Причем применяемые цифровые камеры могут быть как в видимого, так и инфракрасного диапазонов.
Каждая из применяемых камер может быть установлена на своем кардановом подвесе, обеспечивающем возможность изменения угловой ориентации камеры (в зависимости от необходимости) в горизонтальной, вертикальной и поперечной плоскостях. Каждый из кардановых подвесов в свою очередь может дополнительно содержать датчики углов, осуществляющие получение значений величин углов ориентации камеры (в зависимости от конструкции карданова подвеса) в горизонтальной, вертикальной и поперечной плоскостях. При этом первая камера К1 и вторая камера К2, датчики угла поворота рам подвеса должны быть выполнены с возможностью передачи в обрабатывающую систему видеоданных и данных о пространственной ориентации камер через кабели (например, кабели универсальной последовательной шины USB) или по беспроводной связи (например, Wi-Fi).
Цифровые изображения ImgK1 и ImgK2, (фигура 1) получаемые с первой К1 и второй К2 камер, состоят из пикселей. Каждый пиксель характеризуется значением, которое состоит из полутонового значения или цветового значения. В полутоновых изображениях значение пикселя представляет собой одну величину, которая характеризует яркость пикселя. Наиболее общим форматом описания пикселя является байт изображения, в котором значение пикселя представлено восьмиразрядным целым числом, лежащим в диапазоне возможных значений от 0 до 255. Как правило, значение пикселя, равное нулю, используют для обозначения черного пикселя, а значение 255 используют для обозначения белого пикселя. Промежуточные значения описывают различные оттенки полутонов. В цветных изображениях для описания каждого пикселя (расположенного в цветовом пространстве размерности RGB - красный, зеленый, синий) должны быть отдельно определены красная, зеленая и синяя компоненты. Иными словами, значение пикселя фактически представляет собой вектор, описанный тремя числами. Три различные компоненты могут быть сохранены как три отдельных полутоновых изображения, известные как цветовые плоскости (по одной для красного, зеленого и синего цветов), которые можно воссоединять при отображении или при обработке.
Причем, для установления физической связи между положением изображений объектов интереса PK1 и PK2 на цифровых изображениях ImgK1 и ImgK2 и их положением в системе координат соответствующей камеры размеры пикселей принимают равными в соответствующих плоскостях физическим размерам
Figure 00000117
Figure 00000118
и
Figure 00000119
,
Figure 00000120
фотоячеек (пикселей) фотоприемных устройств (например, ПЗС-или ПЗИ-матриц) первой К1 и второй К2 камер, а сами изображения ImgK1 и ImgK2 принимают размещенными на фокусных расстояниях
Figure 00000121
и
Figure 00000122
объективов этих камер (соответственно, в положительных направлениях осей OК1ZК1 и OК2ZК2 систем координат камер).
Обрабатывающая система, являющаяся, например, удаленным компьютером, таким как ноутбук или персональный компьютер (рабочая станция), должна обеспечивать выбор пользователем изображений и/или ввод команд обработки и содержать в свою очередь исполняемые модули или команды с возможностью выполнения по меньшей мере одним процессором, пользовательский интерфейс содержащий дисплей, такой как жидкокристаллический монитор, для просмотра видеоданных и устройство управления и ввода данных, такое как клавиатура или указательное устройство (например, манипулятор типа «мышь», шаровой указатель, стилус, сенсорная панель или другое устройство), для обеспечения взаимодействия пользователя с видеоданными.
При необходимости осуществляют калибровку измерительной системы. Как правило различают внешнюю и внутреннюю калибровку, заключающуюся в получении внешних и внутренних параметров камер измерительной системы по имеющимся цифровым изображениям, отснятым ими.
Сущность изобретения поясняется чертежами, которые не охватывают и тем более не ограничивают весь объем притязаний данного изобретения, а являются лишь иллюстрирующими материалами частного случая выполнения, на которых:
на фиг. 1 показано нормальное положение камер измерительной системы, показаны применяемые при определении дальностей величины;
на фиг. 2 показано действительное положение камер измерительной системы с обозначением возможных углов отклонения в трех плоскостях;
на фиг. 3 проиллюстрированы этапы осуществления заявленного способа.
Осуществляют заявленный способ следующим образом.
По положению (номерам соответствующих столбцов и строк) каждого i-го объекта интереса на изображениях первой К1 и второй К2 камер составляют матрицы положения PK1i и PK2i (этап 1 фиг. 3)
Figure 00000123
причем значения nK1i, mK1i задают для каждого изображения i-го объекта интереса или определяют в результате работы алгоритма обработки изображения первой камеры К1 (например, алгоритма автоматического распознавания или селекции движущихся объектов и т.п.), значения nK2i, mK2i задают или определяются в результате работы, например, алгоритмов нахождения положения изображения i-го объекта интереса с изображения первой камеры К1 на изображении второй камеры К2.
По техническим данным первой К1 и второй К2 камер вычисляют матрицы внутренних параметров КK1 и КK2 (этап 2 фиг. 3)
Figure 00000124
Figure 00000125
Значения фокусных расстояний
Figure 00000126
,
Figure 00000127
задают из технических данных объективов, применяемых первой К1 и второй К2 камер, или определяют в процессе внутренней калибровки камер измерительной системы.
Значения горизонтальных и вертикальных размеров фотоячеек (пикселей)
Figure 00000128
,
Figure 00000129
,
Figure 00000130
,
Figure 00000131
задают из технических данных фотоприемных устройств применяемых первой К1 и второй К2 камер или определяют в процессе внутренней калибровки камер измерительной системы.
Значения горизонтальных и вертикальных разрешений NK1, MK1 и NK2, MK2, как правило, задают из технических данных используемых фотоприемных устройств, или определяют в результате внутренней калибровки.
Значения смещения геометрических центров фотоприемных устройств относительно центров цифровых изображений, формируемых объективами камер
Figure 00000132
,
Figure 00000133
,
Figure 00000134
,
Figure 00000135
задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы.
При этом если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер К1 и К2 в h раз, например, путем интерполяции, то значения величин NK1, MK1 и NK2, MK2, увеличивают, а
Figure 00000128
,
Figure 00000129
и
Figure 00000130
,
Figure 00000131
- уменьшают в h раз.
По значениям углов пространственной ориентации камер относительно системы координат измерительной системы вычисляют матрицы внутрибазового вращения
Figure 00000136
и
Figure 00000137
для первой К1 и второй К2 камер (этап 3 фиг. 3)
Figure 00000138
где
Figure 00000139
Figure 00000140
Figure 00000141
Figure 00000142
Figure 00000143
Figure 00000144
Figure 00000145
Figure 00000146
Figure 00000147
Figure 00000148
Figure 00000149
Figure 00000150
Figure 00000151
Figure 00000152
При этом значения углов поперечного, вертикального и горизонтального отклонений камер
Figure 00000153
,
Figure 00000154
,
Figure 00000155
и
Figure 00000156
,
Figure 00000157
,
Figure 00000158
снимают с датчиков угла, размещенных на рамах кардановых подвесов, обеспечивающих по крайней мере три степени свободы для каждой камеры, или определяют в процессе внешней калибровки измерительной системы.
Далее согласно рассчитанных данных для каждого изображения i-го объекта вычисляют матрицы координат AK1i и AK2i (этап 4 фиг. 3)
Figure 00000159
После этого по результатам внутренней калибровки (или техническим данным камер) и значениям матриц AK1i и AK2i для каждого i-го объекта находят матрицы коррекции дисторсии DK1i и DK2i (этап 5 фиг. 3) для первой К1 и второй К2 камеры соответственно
Figure 00000160
где
Figure 00000161
Figure 00000162
Figure 00000163
Figure 00000164
Figure 00000165
Figure 00000166
Figure 00000167
Figure 00000168
,
Figure 00000169
,
Figure 00000170
,
Figure 00000171
- значения первого и второго столбцов матриц АК1i и АК2i;
При этом значения коэффициентов радиальной дисторсии
Figure 00000172
,
Figure 00000173
,
Figure 00000174
и
Figure 00000175
,
Figure 00000176
,
Figure 00000177
применяемых при нахождении
Figure 00000178
и
Figure 00000179
, и значения коэффициентов тангенциальной дисторсии
Figure 00000180
,
Figure 00000181
и
Figure 00000182
,
Figure 00000183
, применяемых при нахождении
Figure 00000184
,
Figure 00000185
и
Figure 00000186
,
Figure 00000187
, задают из технических данных применяемых камер, или определяют в процессе внутренней калибровки камер измерительной системы.
По значениям матриц AK1i и AK2i, DK1i и DK2i,
Figure 00000188
и
Figure 00000189
для каждого изображения i-го объекта вычисляют матрицы координат
Figure 00000190
и
Figure 00000191
(этап 6 фиг. 3)
Figure 00000192
где DN - обозначение скорректированных на величины дисторсии и приведенных к нормальному положению измерительной системы координат изображения i-го объекта интереса на изображении первой и второй камер;
для каждого i-го объекта определяют значения искомых дальностей (этап 7 фиг. 3)
Figure 00000193
Figure 00000194
где
Figure 00000195
,
Figure 00000196
,
Figure 00000197
,
Figure 00000198
,
Figure 00000199
,
Figure 00000200
- значения первого, второго и третьего столбцов соответствующих матриц
Figure 00000201
и
Figure 00000202
;
DK1i и DK2i - значения дальностей (кратчайшего расстояния) до i-го объекта интереса относительно оптических OК1 и ОК2 объективов, соответственно, первой К1 и второй К2 камер;
Figure 00000203
- базовое (базисное) расстояние (база) между оптическими центрами ОК1 и OК2 объективов, соответственно, первой К1 и второй К2 камер, причем значение
Figure 00000204
задают из фактического кратчайшего расстояния между оптическими центрами объективов первой и второй камер, или определяют в процессе внешней калибровки измерительной системы.
Система измерения дальности, построенная на основе предлагаемого способа, позволит одновременно в режиме реального времени измерять расстояния до тех объектов, до которых невозможно или очень сложно проводить измерения с помощью лазерных дальномеров, например, тонкие провода, антенны, находящиеся на большом расстоянии, объекты с низким коэффициентом отражения, зеркальные поверхности, прозрачные облака, дым, птицы, животные, люди и т.п., а использование вместо цифровых видеокамер (или совместно при комплексировании изображений) приборов ночного виденья или тепловизоров обеспечит всесуточность и всепогодность проводимых измерений.
Особое значение предлагаемый способ может иметь для обеспечения работы правоохранительных органов на местах преступлений, занимающих значительные территории (места взрывов, крушений, техногенных аварий и т.д.), когда зафиксировать традиционными средствами местоположение всего множества объектов (следов, обломков и т.д.) невозможно или достаточно трудоемко.
Кроме того, заявленный способ измерения дальностей может быть использован в системах и устройствах контроля скоростного режима автотранспортных средств на дорогах, делая неэффективным работу радаров-детекторов, одновременный охват широких участков автодороги и снижение себестоимости по сравнению с активными радиолокационными средствами.

Claims (55)

  1. Способ определения дальностей до объектов по изображениям с цифровых видеокамер, заключающийся в приеме изображений по крайней мере с двух видеокамер (оптического или инфракрасного диапазонов) и их дальнейшей обработке в субпиксельном диапазоне в обрабатывающей системе, отличающийся тем, что при определении дальностей до интересующих объектов по положению (номерам соответствующих столбцов и строк) каждого изображений i-го объекта на изображениях первой и второй камер составляют матрицы положения для первой и второй камер, соответственно PK1i и PK2i
  2. Figure 00000205
  3. где nK1i, mK1i и nK2i, mK2i - номера n-го столбца и m-й строки, соответствующие положению изображения i-го объекта интереса на изображениях первой и второй камер, mK1i∈0…MK1-1, nK1i∈0…NK1-1, mK2i∈0…MK2-1, nK2i∈0…NK2-1, причем значения nK1i, mK1i задают для каждого i-го объекта интереса или определяют в результате работы алгоритма обработки изображения первой камеры (например, алгоритма автоматического распознавания или селекции движущихся объектов и т.п.), значения nK2i, mK2i задают или определяют в результате работы, например, алгоритмов нахождения положения i-го объекта интереса с изображения первой камеры на изображении второй камеры;
  4. NK1, MK1 и NK2, MK2 - количество столбцов и строк фотоприемных устройств высокого разрешения первой и второй камер, при этом значения NK1, MK1 и NK2, MK2 задают из технических данных используемых фотоприемных устройств или определяют в результате внутренней калибровки;
  5. вычисляют матрицы внутренних параметров первой и второй камер, соответственно KK1 и KK2
  6. Figure 00000206
  7. Figure 00000207
  8. где
    Figure 00000208
    и
    Figure 00000209
    - фокусные расстояния объективов первой и второй камер, при этом значения
    Figure 00000210
    и
    Figure 00000211
    задают из технических данных объективов, применяемых первой и второй камер, или определяют в процессе внутренней калибровки камер измерительной системы;
  9. Figure 00000212
    и
    Figure 00000213
    - физические размеры фотоячейки (пикселя) фотоприемного устройства высокого разрешения (например, ПЗС- или ПЗИ-матрицы), соответственно, в горизонтальной
    Figure 00000214
    и вертикальной
    Figure 00000215
    плоскостях первой и второй камер, при этом значения
    Figure 00000216
    и
    Figure 00000217
    задают из технических данных фотоприемных устройств применяемых первой и второй камер или определяют в процессе внутренней калибровки камер измерительной системы;
  10. Figure 00000218
    и
    Figure 00000219
    - расстояние между геометрическим центрами фотоприемных устройств и центрами изображений, формируемых объективами первой и второй камер, при этом значения
    Figure 00000220
    и
    Figure 00000221
    задают из технических данных применяемых камер или определяют в процессе внутренней калибровки камер измерительной системы;
  11. причем, если для повышения точности определения дальности предусмотрено увеличение разрешения изображений получаемых с камер в h раз, например, путем интерполяции, то значения величин NK1, MK1 и NK2, MK2 увеличивают, а
    Figure 00000222
    и
    Figure 00000223
    уменьшают в h раз;
  12. вычисляют матрицы внутрибазового вращения
    Figure 00000224
    и
    Figure 00000225
    для первой и второй камер
  13. Figure 00000226
  14. где
    Figure 00000227
  15. Figure 00000228
  16. Figure 00000229
  17. Figure 00000230
  18. Figure 00000231
  19. Figure 00000232
  20. Figure 00000233
  21. Figure 00000234
  22. Figure 00000235
  23. Figure 00000236
  24. Figure 00000237
  25. Figure 00000238
  26. Figure 00000239
  27. Figure 00000240
  28. Figure 00000241
    и
    Figure 00000242
    - внутрибазовые углы последовательного отклонения в горизонтальной
    Figure 00000243
    , вертикальной
    Figure 00000244
    и поперечной
    Figure 00000245
    плоскостях осей систем координат первой и второй камер от нормального положения камер измерительной системы, то есть когда направляющие оси их систем координат вертикального и продольного направления, располагаясь на некотором удалении друг от друга, параллельны, а оси горизонтального направления находятся на одной (базовой) линии, при этом значения углов поперечного, вертикального и горизонтального отклонений камер
    Figure 00000246
    и
    Figure 00000247
    снимают с датчиков угла, размещенных на рамах кардановых подвесов, обеспечивающих по крайней мере три степени свободы для каждой камеры, или определяют в процессе внешней калибровки измерительной системы;
  29. N - обозначение нормального взаимного расположения осей систем координат камер измерительной системы;
  30. для каждого изображения i-го объекта вычисляют матрицы координат AK1i и AK2i
  31. Figure 00000248
  32. где
    Figure 00000249
    - координаты изображения i-го объекта интереса в системе координат первой камеры;
  33. Figure 00000250
    - координаты изображения i-го объекта интереса в системе координат второй камеры;
  34. для каждого изображения i-го объекта находят матрицы коррекции DK1i и DK2i для первой и второй камер
  35. Figure 00000251
  36. где
    Figure 00000252
    - коэффициент коррекции радиальной дисторсии объектива первой камеры;
  37. Figure 00000253
    - коэффициент коррекции тангенциальной дисторсии первой камеры в горизонтальной плоскости;
  38. Figure 00000254
    - коэффициент коррекции тангенциальной дисторсии первой камеры в вертикальной плоскости;
  39. Figure 00000255
    - коэффициент коррекции радиальной дисторсии объектива второй камеры;
  40. Figure 00000256
    - коэффициент коррекции тангенциальной дисторсии второй камеры в горизонтальной плоскости;
  41. Figure 00000257
    - коэффициент коррекции тангенциальной дисторсии второй камеры в вертикальной плоскости;
  42. Figure 00000258
  43. Figure 00000259
    - значения первого и второго столбцов матриц AK1i и AK2i
  44. Figure 00000260
    и
    Figure 00000261
    - коэффициенты радиальной дисторсии объективов первой и второй камер, j - количество учитываемых коэффициентов;
  45. Figure 00000262
    и
    Figure 00000263
    - коэффициенты тангенциальной дисторсии первой и второй камер,
  46. при этом значения коэффициентов радиальной дисторсии
    Figure 00000264
    и
    Figure 00000265
    , применяемых при нахождении
    Figure 00000266
    и
    Figure 00000267
    , и значения коэффициентов тангенциальной дисторсии
    Figure 00000268
    и
    Figure 00000269
    , применяемых при нахождении
    Figure 00000270
    и
    Figure 00000271
    , задают из технических данных применяемых камер или определяют в процессе внутренней калибровки камер измерительной системы;
  47. для каждого изображения i-го объекта вычисляют матрицы координат
    Figure 00000272
    и
    Figure 00000273
  48. Figure 00000274
  49. где DN - обозначение скорректированных на величины дисторсии и приведенных к нормальному положению измерительной системы координат изображения i-го объекта интереса на изображении первой и второй камер;
  50. для каждого i-го объекта определяют значения искомых дальностей
  51. Figure 00000275
  52. Figure 00000276
  53. где
    Figure 00000277
    - значения первого, второго и третьего столбцов соответствующих матриц
    Figure 00000278
    и
    Figure 00000279
  54. DK1i и DK2i - значения дальностей (кратчайшего расстояния) до i-го объекта интереса относительно оптических центров объективов, соответственно первой и второй камер;
  55. Figure 00000280
    - базовое (базисное) расстояние (база) между оптическими центрами объективов первой и второй камер, причем значение
    Figure 00000281
    задают из фактического кратчайшего расстояния между оптическими центрами объективов первой и второй камер или определяют в процессе внешней калибровки измерительной системы.
RU2016140779A 2016-10-17 2016-10-17 Способ определения дальностей до объектов по изображениям с цифровых видеокамер RU2626051C2 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2016140779A RU2626051C2 (ru) 2016-10-17 2016-10-17 Способ определения дальностей до объектов по изображениям с цифровых видеокамер

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2016140779A RU2626051C2 (ru) 2016-10-17 2016-10-17 Способ определения дальностей до объектов по изображениям с цифровых видеокамер

Publications (2)

Publication Number Publication Date
RU2016140779A RU2016140779A (ru) 2017-02-02
RU2626051C2 true RU2626051C2 (ru) 2017-07-21

Family

ID=58453558

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2016140779A RU2626051C2 (ru) 2016-10-17 2016-10-17 Способ определения дальностей до объектов по изображениям с цифровых видеокамер

Country Status (1)

Country Link
RU (1) RU2626051C2 (ru)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2689848C1 (ru) * 2018-05-29 2019-05-29 Федеральное государственное бюджетное учреждение "3 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации Измеритель расстояний на цифровой видеокамере
RU2697822C2 (ru) * 2018-11-19 2019-08-21 Алексей Владимирович Зубарь Способ определения координат объектов по их цифровым изображениям
RU2721096C1 (ru) * 2019-09-04 2020-05-15 Публичное Акционерное общество "Ростовский оптико-механический завод" (ПАО РОМЗ) Оптико-электронный пассивный дальномер
RU2740435C2 (ru) * 2020-02-27 2021-01-14 Алексей Владимирович Зубарь Способ определения положения области поиска соответствий на дисторсионно-искажённых изображениях
RU2752687C1 (ru) * 2021-01-06 2021-07-29 Дмитрий Александрович Рощин Способ определения дальности с помощью цифровой видеокамеры и трех источников света
RU2755733C1 (ru) * 2020-11-26 2021-09-20 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерство обороны Российской Федерации Способ однопозиционного определения местоположения источника оптического излучения
RU2791825C1 (ru) * 2022-08-16 2023-03-13 Общество с ограниченной ответственностью "Макро ЕМС" Способ идентификации паттернов объекта и устройство для его реализации

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10791275B2 (en) * 2017-09-25 2020-09-29 The Boeing Company Methods for measuring and inspecting structures using cable-suspended platforms
CN116538918A (zh) * 2023-04-07 2023-08-04 钛玛科（北京）工业科技有限公司 锂电池材料测量校正方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4522492A (en) * 1981-07-10 1985-06-11 Canon Kabushiki Kaisha Distance measuring device
RU2007147771A (ru) * 2007-12-25 2009-06-27 Государственное образовательное учреждение высшего профессионального образования "Саратовский государственный университет имени Н.Г Электронно-оптический дальномер для измерения расстояний до объекта закрытого от наблюдателя непрозрачным препятствием
US7659921B2 (en) * 2003-05-19 2010-02-09 Honda Motor Co., Ltd. Distance measurement apparatus, distance measurement method, and distance measurement program
RU2485443C1 (ru) * 2011-12-14 2013-06-20 Белорусский Государственный Университет (Бгу) Способ измерения расстояний на цифровой фотокамере
RU2579532C2 (ru) * 2014-02-12 2016-04-10 Алексей Владимирович Зубарь Оптико-электронный стереоскопический дальномер

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4522492A (en) * 1981-07-10 1985-06-11 Canon Kabushiki Kaisha Distance measuring device
US7659921B2 (en) * 2003-05-19 2010-02-09 Honda Motor Co., Ltd. Distance measurement apparatus, distance measurement method, and distance measurement program
RU2007147771A (ru) * 2007-12-25 2009-06-27 Государственное образовательное учреждение высшего профессионального образования "Саратовский государственный университет имени Н.Г Электронно-оптический дальномер для измерения расстояний до объекта закрытого от наблюдателя непрозрачным препятствием
RU2485443C1 (ru) * 2011-12-14 2013-06-20 Белорусский Государственный Университет (Бгу) Способ измерения расстояний на цифровой фотокамере
RU2579532C2 (ru) * 2014-02-12 2016-04-10 Алексей Владимирович Зубарь Оптико-электронный стереоскопический дальномер

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2689848C1 (ru) * 2018-05-29 2019-05-29 Федеральное государственное бюджетное учреждение "3 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации Измеритель расстояний на цифровой видеокамере
RU2697822C2 (ru) * 2018-11-19 2019-08-21 Алексей Владимирович Зубарь Способ определения координат объектов по их цифровым изображениям
RU2721096C1 (ru) * 2019-09-04 2020-05-15 Публичное Акционерное общество "Ростовский оптико-механический завод" (ПАО РОМЗ) Оптико-электронный пассивный дальномер
RU2740435C2 (ru) * 2020-02-27 2021-01-14 Алексей Владимирович Зубарь Способ определения положения области поиска соответствий на дисторсионно-искажённых изображениях
RU2755733C1 (ru) * 2020-11-26 2021-09-20 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерство обороны Российской Федерации Способ однопозиционного определения местоположения источника оптического излучения
RU2752687C1 (ru) * 2021-01-06 2021-07-29 Дмитрий Александрович Рощин Способ определения дальности с помощью цифровой видеокамеры и трех источников света
RU2791825C1 (ru) * 2022-08-16 2023-03-13 Общество с ограниченной ответственностью "Макро ЕМС" Способ идентификации паттернов объекта и устройство для его реализации

Also Published As

Publication number Publication date
RU2016140779A (ru) 2017-02-02

Similar Documents

Publication Publication Date Title
RU2626051C2 (ru) Способ определения дальностей до объектов по изображениям с цифровых видеокамер
US9826217B2 (en) System and method for adjusting a baseline of an imaging system with microlens array
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
TWI624170B (zh) 影像掃描系統及其方法
CN111435081B (zh) 海面测量系统、海面测量方法以及存储介质
CN107424186A (zh) 深度信息测量方法及装置
US11222433B2 (en) 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images
WO2019144269A1 (zh) 多目摄像系统、终端设备及机器人
JP6333396B2 (ja) モバイルプラットフォームの変位を計測する方法及び装置
JP2018189637A (ja) カメラパラメータ算出方法、カメラパラメータ算出プログラム、カメラパラメータ算出装置、及びカメラパラメータ算出システム
CN111709985A (zh) 一种基于双目视觉的水下目标测距方法
CN113358231B (zh) 红外测温方法、装置及设备
RU2697822C2 (ru) Способ определения координат объектов по их цифровым изображениям
JP5727969B2 (ja) 位置推定装置、方法、及びプログラム
RU2579532C2 (ru) Оптико-электронный стереоскопический дальномер
CN115326025B (zh) 一种用于海浪的双目影像测量与预测方法
CN109945840B (zh) 三维影像摄取方法及系统
WO2015159791A1 (ja) 測距装置および測距方法
RU2685761C1 (ru) Фотограмметрический способ измерения расстояний вращением цифрового фотоаппарата
EA028167B1 (ru) Способ определения дальности до объекта, его высоты и ширины
JP2923063B2 (ja) 多視点ステレオ画像計測方法
CN209978890U (zh) 一种多激光线快速检测系统
JPH11223516A (ja) ３次元画像撮像装置
RU2740435C2 (ru) Способ определения положения области поиска соответствий на дисторсионно-искажённых изображениях
CN111486820B (zh) 测量系统、测量方法以及存储介质

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20181018