RU2065573C1

RU2065573C1 - Tv camera for stereogrammetric videorecording of images of objects

Info

Publication number: RU2065573C1
Application number: RU93019538A
Authority: RU
Inventors: Александр Павлович Парфенов
Original assignee: Александр Павлович Парфенов
Priority date: 1993-04-16
Filing date: 1993-04-16
Publication date: 1996-08-20

Abstract

FIELD: machine vision. SUBSTANCE: invention is intended to gain information necessary to built three-dimensional models of objects of real world. For production of multistereopair image with portable TV camera moved in space without substantial limitations and solving problem similar to that of stereocamera with higher accuracy TV camera is supplemented with information channel in the from of inertial system for numbering of parameters of own movement (linear and angular movements). Measured elements of external orientation of images are recorded in TV frames of images of photographed object corresponding to this moment. This TV camera can find wide use in geodetic, mine surveying and construction operations. EFFECT: expanded application field. 1 dwg

Description

Изобретение относится к области машинного зрения и решает задачу получения информации, необходимой для построения трехмерных моделей объектов реального мира. Устройство может выполнять функции измерительной аппаратуры для геодезических, горнодобывающих карьерных работ, при обмерах строительных конструкций на земле и в космосе, в специальных приложениях по архитектуре, монументальной скульптуре, дизайну, интерьерам. The invention relates to the field of machine vision and solves the problem of obtaining the information necessary for constructing three-dimensional models of real-world objects. The device can perform the functions of measuring equipment for geodetic, mining quarrying, when measuring building structures on the ground and in space, in special applications for architecture, monumental sculpture, design, interiors.

Аналогами данного устройства можно считать стереофотокамеры, камеры для аэрофотосъемки (1), стереотелевизионные устройства для автономных роботов. Наиболее близким по отношению к изобретению является устройство получения многостереопарных телевизионных изображений, описанное в (2). В нем для определения координат точек наблюдаемого объекта реального мира осуществляют съемку одной телекамерой, перемещаемой на прямолинейном отрезке, называемом базисом, в положения, отделенные друг от друга равными долями базиса, получая таким образом многостереопарные изображения. Чтобы сохранить функциональную связь между координатами всех изображений, позволяющую построить машинную трехмерную модель объекта, камера перемещается строго поступательно, сохраняя в пространстве с высокой точностью параллельность трех своих осей. Для ускорения процесса съемки подвижная телекамера может быть заменена несколькими идентичными неподвижными телекамерами, установленными на базисе и ведущими съемку одновременно. Analogues of this device can be considered stereo cameras, cameras for aerial photography (1), stereo television devices for autonomous robots. Closest to the invention is a multi-stereo television image acquisition device described in (2). In it, to determine the coordinates of the points of the observed object of the real world, a single camera is taken, moving on a straight line segment, called the basis, to positions separated from each other by equal parts of the basis, thereby obtaining multi-stereopair images. In order to preserve the functional relationship between the coordinates of all the images, which makes it possible to construct a computer three-dimensional model of the object, the camera moves strictly forward, while maintaining in space with high accuracy the parallelism of its three axes. To speed up the shooting process, the movable camera can be replaced by several identical fixed cameras installed on the basis and simultaneously shooting.

Точность восстановления пространственных координат объекта в его модели зависит от разрешающей способности телекамеры, ее фокусного расстояния и длины базиса. Получение изображений способом прототипа имеет много ограничений, не желательных для потребителей. Основное из них то, что телекамера оказывается связана конструктивно со стереоблоком, достаточно громоздким и имеющим предельный размер длины базиса, а, следовательно, существует ограничение по дальности и точности измерения. The accuracy of reconstructing the spatial coordinates of an object in its model depends on the resolution of the camera, its focal length and the length of the basis. Obtaining images by the prototype method has many limitations that are not desirable for consumers. The main one is that the camera turns out to be connected structurally with a stereo unit, which is rather bulky and has a maximum size of the basis length, and, therefore, there is a limitation on the range and accuracy of the measurement.

С помощью способа по изобретению можно получить многостереопарные изображения портативной телекамерой, перемещаемой в пространстве без существенных ограничений и решающей задачу, аналогичную решаемой прототипом, с более высокой точностью. Using the method according to the invention, it is possible to obtain multi-stereopair images with a portable camera moving in space without significant restrictions and solving a problem similar to that solved by the prototype with higher accuracy.

Технический результат достигается тем, что средство контроля за положением камеры в пространстве выполнено в виде инерциальной системы, измеряющей три независимые линейные координаты и три независимые угловые положения перемещающейся в пространстве камеры. Выход инерциальной системы, по которому передается шесть информационных параметров, подключен как дополнительный к видеосигналу изображения. Таким образом, на каждом кадре с изображением объекта будут записаны шесть параметров элементы внешнего ориентирования. The technical result is achieved in that the means for monitoring the position of the camera in space is made in the form of an inertial system that measures three independent linear coordinates and three independent angular positions of a moving camera in space. The output of the inertial system, through which six information parameters are transmitted, is connected as an additional image to the video signal. Thus, on each frame with the image of the object, six parameters of exterior orientation elements will be recorded.

Известные в технике инерциальные системы (3) обладают физическим свойством реагировать на ускорения, воздействующие на них извне, и вырабатывать пропорциональные воздействию сигналы, которые специальным интегрирующим вычислителем пересчитываются в длину пути или угол поворота. Установленная перед измерением в нулевое положение инерциальная система может функционировать в пределах заданной точности конечное время, достаточное для проведения съемки. Inertial systems known in the art (3) have the physical property of responding to accelerations acting on them from the outside, and generating signals proportional to the effect, which are converted into a path length or a rotation angle by a special integrating calculator. The inertial system installed before the measurement to the zero position can function within the specified accuracy for a finite time sufficient for the survey.

Камерная система координат в начальный момент съемки принимается за систему координат X, Y, Z, связанную с измеряемым объектом. Начало ее совпадает с оптическим центром проекций телекамеры. На первом кадре серии стереотелевизионных изображений все шесть записываемых параметров обнулены:
X₁ Y₁ Z₁; α₁=β₁=γ₁=0
Для каждого последующего кадра с номером i будут зафиксированы значения трех линейных координат составляющих перемещения центра проекций X_i, Y_i, Z_i и трех угловых составляющих поворота зоны обзора телекамеры α_i, β_i, γ_i. Эти параметры, называемые элементами внешнего ориентирования изображений, позволяют решить задачу определения координат каждой точки реального объекта по найденной для нее стереопаре.The camera coordinate system at the initial moment of shooting is taken as the X, Y, Z coordinate system associated with the measured object. Its beginning coincides with the optical center of the projections of the camera. On the first frame of a series of stereo television images, all six recorded parameters are reset:
X ₁ Y ₁ Z ₁ ; α ₁ = β ₁ = γ ₁ = 0
For each subsequent frame with number i, the values of the three linear coordinates of the components of the displacement of the projection center X _i , Y _i , Z _i and the three angular components of the rotation of the camera’s viewing area α _i , β _i , γ _i will be fixed. These parameters, called elements of external orientation of images, allow us to solve the problem of determining the coordinates of each point of a real object from the stereopair found for it.

Чтобы построить точечную машинную модель по его изображениями с элементами внешнего ориентирования, оператор вводит в ЭВМ, оснащенную специальным устройством ввода изображений, как минимум два изображения и 12 параметров, записанных на них. Далее он указывает на обоих изображениях столько пар точек, сколько требуется для заданной точности воспроизведения объекта. Модель строится по специальной программе, использующей метод прямой фотограмметрической засечки. To build a point machine model from its images with exterior orientation elements, the operator enters into a computer equipped with a special image input device at least two images and 12 parameters recorded on them. Further, he indicates on both images as many pairs of points as required for a given fidelity of the object. The model is built according to a special program using the direct photogrammetric notching method.

Введение в телекамеру дополнительного информационного канала в виде инерциальной системы счисления параметров линейного и угловых перемещений является признаком, определяющим существенную новизну устройства получения телевизионных изображений объекта реального мира, представляющих собой стереопары с известными элементами внешнего ориентирования. The introduction into the television camera of an additional information channel in the form of an inertial system for calculating the parameters of linear and angular displacements is a sign that determines the significant novelty of the device for receiving television images of a real-world object, which are stereo pairs with known elements of external orientation.

Совокупность портативной телекамеры со встроенным видеомагнитофоном и инерциального датчика элементов внешнего ориентирования, позволяющая записать данные, а затем воспроизвести их и построить трехмерную модель наблюдаемого объекта реального мира, является новым качеством, приводящим к положительному эффекту увеличению точности и дальности измерений, сопутствующему приобретению универсальности и удобства в эксплуатации. The combination of a portable camera with a built-in video recorder and an inertial sensor of exterior orientation elements that allows you to record data and then reproduce them and build a three-dimensional model of the observed real-world object is a new quality that leads to a positive effect of increasing the accuracy and range of measurements, while acquiring versatility and convenience in operation.

Устройство, блок-схема которого приведена на чертеже, представляет собой портативную телекамеру 1 со встроенным видеомагнитофоном 2, электронным видоискателем 3 и формирователем 4 видеосигнала для наложения на телевизионные изображения цифровой информации. The device, a block diagram of which is shown in the drawing, is a portable camera 1 with an integrated video recorder 2, an electronic viewfinder 3 and a video shaper 4 for superimposing digital information on television images.

Вновь введенный блок 5 инерциальной системы конструктивно жестко связан с корпусом 6 телекамеры 1, механически составляя с ней единое целое. Информационный выход блока 5 соединен со входом формирователя 4, на другой вход которого подается видеосигнал с изображением наблюдаемого объекта. The newly introduced unit 5 of the inertial system is structurally rigidly connected with the housing 6 of the camera 1, mechanically constituting a single whole with it. The information output of block 5 is connected to the input of the shaper 4, to the other input of which a video signal with the image of the observed object is supplied.

Устройство работает следующим образом. The device operates as follows.

В начале съемки оператор проводит подготовку телекамеры путем установки в ноль показаний инерциальной системы 5, помещает телекамеру (точнее центр проекций) в начало системы координат, связанной с измеряемым объектом (местной системы координат), и ориентирует оси корпуса 6 телекамеры 1 в заранее условленное исходное положение, соответствующее значениям параметров α = 0, β = 0, γ = 0.=0 При этом снимаемый объект наблюдается в поле изображений через электронный видоискатель 3. At the beginning of the survey, the operator prepares the camera by zeroing the readings of the inertial system 5, places the camera (more precisely, the projection center) at the beginning of the coordinate system associated with the measured object (local coordinate system), and orientes the axis of the housing 6 of the camera 1 to a predetermined initial position corresponding to the values of the parameters α = 0, β = 0, γ = 0. = 0 In this case, the captured object is observed in the image field through the electronic viewfinder 3.

По окончании подготовительного этапа оператор включает запись изображений на встроенный видеомагнитофон 2 и начинает перемещаться вместе с телекамерой под углом к направлению обзора, близким к 90^o, на расстояние, достаточное для требуемой точности моделирования наблюдаемого объекта (от одной десятой до одной пятой доли расстояния до объекта). Блок 5 инерциальной системы, включенный одновременно с записью, во время перемещения адекватно реагирует на него, вырабатывая сигналы о шести параметрах движения, например, в виде цифровых кодов. Эти коды объединяются с видеосигналом телевизионного изображения на формирователе 4 и поступают на видеомагнитофон 2.At the end of the preparatory phase, the operator starts recording images on the built-in video recorder 2 and begins to move with the camera at an angle to the viewing direction close to 90 ^o , a distance sufficient for the required accuracy of modeling the observed object (from one tenth to one fifth of the distance to the object ) Unit 5 of the inertial system, turned on simultaneously with the recording, adequately responds to it during the movement, generating signals about six motion parameters, for example, in the form of digital codes. These codes are combined with the video signal of the television image on the shaper 4 and fed to the VCR 2.

При воспроизведении видеозаписи изображений оператор, используя аппаратно-программные средства, может последовательно ввести в ЭВМ любую пару изображений наблюдаемого объекта, считать с экрана значения элементов внешней ориентации изображений и передать их посредством клавиатуры в программу построения модели. When playing a video recording of images, the operator, using hardware and software, can sequentially enter into the computer any pair of images of the observed object, read from the screen the values of the elements of the external orientation of the images and transfer them via the keyboard to the model building program.

Портативное устройство с автономным питанием, переносимое на плече оператором и позволяющее вести съемку практически без каких-либо ограничений, представляет собой очень перспективную измерительную аппаратуру для геодезических, маркшейдерских и прочих специальных работ на крупногабаритных объектах. A portable device with autonomous power, carried by the operator on the shoulder and allowing to take pictures with virtually no restrictions, is a very promising measuring equipment for geodetic, surveying and other special operations at large objects.

Использование данного устройства по сравнению с прототипом обеспечивает преимущества:
по точности измерения как за счет увеличения базиса, так и за счет большего числа стереопар;
по дальности измерения за счет широких возможностей вариации размеров базиса и трансфокатора;
по универсальности применения аппаратуры ввиду ее портативности и автономности;
по вариациям ракурсов и масштабов увеличения изображений с помощью трансфокации (изменения фокусного расстояния) и конвергенции (обхода снимаемого объекта с разных сторон).The use of this device in comparison with the prototype provides advantages:
on measurement accuracy due to both an increase in the basis and due to a larger number of stereo pairs;
in the measurement range due to the wide possibilities of varying the sizes of the basis and zoom;
on the universality of the use of equipment due to its portability and autonomy;
according to variations in angles and magnification of images using zooming (changing focal length) and convergence (bypassing a captured subject from different sides).

Claims

A television camera for stereogrammetric video recording of images of an object, providing the construction of its three-dimensional machine model, containing a video recorder recording television frames, and means for controlling the movement of the camera, characterized in that the means of controlling the movements of the camera is made in the form of an inertial system that measures three independent linear coordinates and three independent angular positions of a camera moving in space and recording this data on the corresponding frames.