RU2199718C1 - DEVICE FOR CONTROLLING and RECOGNIZING THREE-DIMENSIONAL OBJECTS SURFACES IN CONTACTLESS WAY - Google Patents

DEVICE FOR CONTROLLING and RECOGNIZING THREE-DIMENSIONAL OBJECTS SURFACES IN CONTACTLESS WAY Download PDF

Info

Publication number
RU2199718C1
RU2199718C1 RU2001133293/28A RU2001133293A RU2199718C1 RU 2199718 C1 RU2199718 C1 RU 2199718C1 RU 2001133293/28 A RU2001133293/28 A RU 2001133293/28A RU 2001133293 A RU2001133293 A RU 2001133293A RU 2199718 C1 RU2199718 C1 RU 2199718C1
Authority
RU
Russia
Prior art keywords
image
digital
radiation
lens
images
Prior art date
Application number
RU2001133293/28A
Other languages
Russian (ru)
Inventor
А.В. Климов (RU)
А.В. Климов
С.В. Суховей (RU)
С.В. Суховей
А.Л. Юхин (RU)
А.Л. Юхин
Антонио ЭСПОЗИТО (FR)
Антонио ЭСПОЗИТО
Original Assignee
А4 Визион С.А.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by А4 Визион С.А. filed Critical А4 Визион С.А.
Priority to RU2001133293/28A priority Critical patent/RU2199718C1/en
Priority to AU2002313342A priority patent/AU2002313342A1/en
Priority to PCT/RU2002/000168 priority patent/WO2003050475A1/en
Application granted granted Critical
Publication of RU2199718C1 publication Critical patent/RU2199718C1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509—Color coding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
  • Image Processing (AREA)

Abstract

FIELD: measurement technology. SUBSTANCE: device has N optical radiation sources of different colors, N transparencies manufactured as aperiodical linear structures, N aphocal optical systems for projecting transparency image upon the surface under control, receiving objective forming pattern image produced on the object surface under control together with N additional objectives. The device also has N photorecorders for transforming images produced by the receiving objective into digital images each in its spectral bandwidth area, N digital electronic computing units for recalculating digital images into coordinate values of surface under control and electronic unit for superimposing images. N is calculated from formula N = Log2(L), where L is the number of pairs of resolution elements in photorecorder string. Each strip from illumination pattern distorted by object surface relief under control is uniquely identified that in its turn enables one to uniquely calculate relief height and the corresponding pair of coordinates. Parallel and sequential processing of images separated into N spectral bands increases control speed. EFFECT: high accuracy and reliability of control. 7 dwg

Description

Изобретение относится к области измерительной техники и может быть использовано для визуализации профилей трехмерных объектов, а также для решения задачи распознавания объектов за счет трехмерной регистрации их изображения. The invention relates to the field of measurement technology and can be used to visualize profiles of three-dimensional objects, as well as to solve the problem of recognition of objects due to three-dimensional registration of their image.

Известны способы и устройства, реализующие принцип "структурированной подсветки", которые используются в трехмерной компьютерной анимации и некоторых других приложениях для регистрации формы поверхности. Known methods and devices that implement the principle of "structured illumination", which are used in three-dimensional computer animation and some other applications for registering surface shapes.

Известен способ и устройство, его реализующее для бесконтактного контроля линейных размеров трехмерных объектов. Способ заключается в том, что последовательно сканируют отдельные контуры поверхности светящейся полосой, реализующей структурированную подсветку и судят о контролируемых размерах по степени искажения изображения полосы и местоположению полосы в декартовой системе координат. Устройство, реализующее способ, содержит лазер, сканер, объектив, фоторегистратор, и блок обработки информации (см., например, описание изобретения к патенту РСТ WO 98/27514 от 25.06.98 заявка РСТ /IB97/01649 от 15.12.96). A known method and device that implements it for contactless control of the linear dimensions of three-dimensional objects. The method consists in sequentially scanning individual surface contours with a luminous strip that realizes structured illumination and judging the controlled sizes by the degree of distortion of the image of the strip and the location of the strip in the Cartesian coordinate system. A device that implements the method includes a laser, a scanner, a lens, a photographic recorder, and an information processing unit (see, for example, the description of the invention to the PCT patent WO 98/27514 from 06.25.98 application PCT / IB97 / 01649 from 12.15.96).

Недостатком известного устройства является низкая точность и длительное время контроля, связанные с наличием операции и блока сканирования. A disadvantage of the known device is the low accuracy and long monitoring time associated with the presence of the operation and the scanning unit.

Известен способ и устройство, его реализующее для контроля линейных размеров трехмерных объектов по трем декартовым координатам. Способ заключается в том, что на объект проецируется система разноцветных периодических полос. В результате в одном кадре регистрируется целиком вся попадающая в поле зрения камеры часть поверхности и судят о контролируемых размерах по степени искажений изображения множества полос и местоположению полос в декартовой системе координат. Устройство, реализующее способ бесконтактного контроля линейных размеров трехмерных объектов методом структурированной подсветки, содержит источник оптического излучения и последовательно установленные по ходу излучения транспарант, выполненный в виде слайда с изображением радужных полос, объектив, проецирующий изображение возникающей на поверхности контролируемого объекта искаженной рельефом поверхности картины радужных полос, фоторегистратор, преобразующий спроецированное объективом изображение в цифровое, и цифровой электронный блок, вход которого соединен с выходом фоторегистратора, осуществляющий пересчет фиксируемых фоторегистратором цифровых изображений в величины высот рельефа (см., например, описание изобретения к патенту РСТ WO 00/70303, РСТ/US99/70303, кл. G 01 B 11/24, 23.11.2000). A known method and device that implements it to control the linear dimensions of three-dimensional objects in three Cartesian coordinates. The method consists in projecting a system of multi-colored periodic stripes onto an object. As a result, in a single frame, the entire surface portion that enters the field of view of the camera is recorded and judged on controlled sizes by the degree of distortion of the image of many bands and the location of the strips in the Cartesian coordinate system. A device that implements a method of contactless control of the linear dimensions of three-dimensional objects by the method of structured illumination contains a source of optical radiation and a banner sequentially installed along the radiation, made in the form of a slide with the image of rainbow stripes, a lens projecting an image of a distorted relief of the surface of the picture of the rainbow stripes appearing on the surface of the controlled object , a photorecorder that converts the image projected by the lens into digital, and a digital electronic a block whose input is connected to the output of the photorecorder, converting digital images recorded by the photorecorder into elevation elevations (see, for example, the description of the invention to PCT patent WO 00/70303, PCT / US99 / 70303, class G 01 B 11/24 , 11/23/2000).

Недостатком известного устройства является низкая точность, обусловленная неоднозначным отражением подсвечивающего пучка от поверхности цветного объекта и отсутствие в отраженной картине информации о сквозных отверстиях. A disadvantage of the known device is the low accuracy due to the ambiguous reflection of the illuminating beam from the surface of the colored object and the absence of information about through holes in the reflected picture.

Известен способ и реализующие его устройства контроля линейных размеров трехмерных объектов по трем декартовым координатам. Способ заключается в том, что на объект проецируется система полос, создаваемая либо путем подсветки когерентным излучением, содержащим спекл-структуру либо в виде системы концентрических полос, либо в виде хаотично расположенных зон, форма которых единообразна. Искаженная рельефом поверхности структурированная подсветка регистрируется при изменении длины волны излучения по меньшей мере два раза. Полученная таким образом псевдоголограмма содержит систему интерференционных полос, расстояние между которыми в разных точках соответствует высоте рельефа. Соответствующая обработка на ЭВМ совокупности данных о величине вышеуказанных расстояний позволяет судить о рельефе поверхности контролируемого объекта (см. , например, М.Франсон. Оптика спеклов. - М.: Мир, 1980, с.141-143). The known method and its implementing device for controlling the linear dimensions of three-dimensional objects in three Cartesian coordinates. The method consists in the fact that a system of bands is projected onto an object, either created by illumination with coherent radiation containing a speckle structure or in the form of a system of concentric bands, or in the form of randomly arranged zones whose shape is uniform. The structured illumination distorted by the surface relief is detected when the radiation wavelength changes at least two times. The pseudo-hologram thus obtained contains a system of interference fringes, the distance between which at different points corresponds to the height of the relief. Corresponding processing on a computer of a set of data on the magnitude of the above distances allows one to judge the surface topography of a controlled object (see, for example, M. Franson. Speckle Optics. - M .: Mir, 1980, p. 141-143).

Недостатком известного способа и реализующих его устройств является низкая достоверность получаемых данных о контролируемой поверхности на участках поверхности, отражение которых резко отличается от диффузного. Кроме того, сквозные отверстия таким образом также не удается идентифицировать, так как зоны структурированной подсветки характеризуются высокой степенью схожести. The disadvantage of this method and its implementing devices is the low reliability of the data obtained on the controlled surface on the surface, the reflection of which differs sharply from diffuse. In addition, through holes in this way also cannot be identified, since the areas of structured illumination are characterized by a high degree of similarity.

Известно устройство для бесконтактного контроля линейных размеров трехмерных объектов методом структурированной подсветки, содержащее источник оптического излучения и последовательно установленные по ходу излучения транспарант, объектив, проецирующий изображение картины линейчатой структуры, возникающей на поверхности контролируемого объекта, искаженной рельефом поверхности контролируемого объекта, фоторегистратор, преобразующий спроецированное объективом изображение в цифровое, цифровой электронный блок, вход которого соединен с выходом фоторегистратора, осуществляющий пересчет фиксируемых фоторегистратором цифровых изображений в величины координат контролируемой поверхности по формуле:

Figure 00000002
где Z - значение высоты профиля поверхности контролируемого объекта в точке с координатами X,Y, пересекаемой какой-либо полосой линейчатой структуры, ΔY - величина искривления полосы в этой точке, α - угол между направлением излучения от источника оптического изображения и оптической осью объектива (см., например, описание изобретения к патенту РСТ WO 99/58930, PCT/US99/106777, кл. G 01 B 11/24, 1999 г. ). Недостатками известного устройства является высокая погрешность контроля и ограниченные функциональные возможности. Высокая погрешность измерения обусловлена тем, что при направлении на поверхность контролируемого объекта оптического изучения, промодулированного транспарантом вдоль одной координаты, возникает изображение с линейчатой структурой и искажения картины, вызванные глубокими впадинами, высокими выпуклостями и, тем более, сквозными отверстиями, невозможно идентифицировать из-за разрывов в изображении линий. Поскольку высота рельефа определяется по величине искажений линий, отсутствие в изображении собственно линий из-за наличия отверстий не позволяет распознать отверстия на контролируемой поверхности. Кроме того, при определенных значениях впадин и выпуклостей на поверхности, по искажениям полос, величина которых превышает расстояние между полосами, невозможно идентифицировать высоту рельефа и две другие координаты. Ограниченные функциональные возможности обусловлены необходимостью строго ориентировать контролируемый объект на определенном расстоянии от источника излучения.A device for non-contact control of the linear dimensions of three-dimensional objects by the method of structured illumination, containing a source of optical radiation and sequentially installed along the radiation transparency, a lens projecting an image of a line structure that appears on the surface of the controlled object, distorted by the relief of the surface of the controlled object, a photographic recorder that converts the projected lens image in a digital, digital electronic unit, the input of which is connected nen with the output of the photorecorder, recalculating the digital images recorded by the photorecorder into the coordinates of the controlled surface according to the formula:
Figure 00000002
where Z is the value of the height profile of the surface of the controlled object at a point with coordinates X, Y intersected by any strip of the line structure, ΔY is the amount of curvature of the strip at this point, α is the angle between the direction of radiation from the optical image source and the optical axis of the lens (cm ., for example, the description of the invention to PCT patent WO 99/58930, PCT / US99 / 106777, CL G 01 B 11/24, 1999). The disadvantages of the known device is the high control error and limited functionality. The high measurement error is due to the fact that when an optical study modulated by a transparency along one coordinate is directed to the surface of the controlled object, an image with a linear structure appears and picture distortions caused by deep depressions, high bulges and, especially, through holes, cannot be identified due to gaps in the image lines. Since the height of the relief is determined by the magnitude of the distortion of the lines, the absence of lines in the image due to the presence of holes does not allow to recognize holes on the controlled surface. In addition, at certain values of the depressions and bulges on the surface, it is impossible to identify the relief height and two other coordinates by the distortions of strips whose magnitude exceeds the distance between the strips. Limited functionality due to the need to strictly orient the controlled object at a certain distance from the radiation source.

Наиболее близким из известных по своей технической сущности и достигаемому результату является выбранное в качестве прототипа координат контролируемой поверхности является устройство для бесконтактного контроля линейных размеров трехмерных объектов методом структурированной подсветки, содержащее источник оптического излучения и последовательно установленные по ходу излучения транспарант, афокальную оптическую систему, проецирующую изображение картины линейчатой структуры, возникающей на поверхности контролируемого объекта, искаженной рельефом поверхности контролируемого объекта, фоторегистратор, преобразующий спроецированное объективом изображение в цифровое, цифровой электронный блок, пересчитывающий фиксируемые фоторегистратором цифровые изображения в величины координат контролируемой поверхности по формуле:

Figure 00000003
где Z - значение высоты профиля поверхности контролируемого объекта в точке с координатами X,Y, пересекаемой какой-либо полосой линейчатой структуры, ΔY - величина искривления полосы в этой точке, α - угол между направлением излучения от источника оптического изображения и оптической осью объектива. С целью обеспечения независимости взаиморасположения источника подсветки и объекта в известном устройстве предусмотрена афокальная оптическая система, состоящая из двух компонент, в частности, из двух объективов для проецирования изображения транспаранта на контролируемую поверхность, установленным за транспарантом на расстоянии, равном проекционному. Известное устройство снабжено также вторым электронным блоком сложения цифровых изображений, соединенным своим входом с выходом фоторегистратора, а выходом - со входом первого электронного цифрового блока. Транспарант выполнен в виде управляемого пространственного модулятора интенсивности оптического излучения с возможностью формировать структурированную подсветку в виде апериодической системы полос, первый электронный цифровой блок снабжен дополнительным выходом, соединенным со входом управления модулятором интенсивности оптического излучения и выполнен с возможностью управлять пространственной модуляцией интенсивности оптического излучения (см., например, заявку на выдачу патента РФ на изобретение 2001104813/28(005075) от 21.02.2001, решение о выдаче патента 16.08.2001).The closest known for its technical essence and the achieved result is a device for non-contact control of the linear dimensions of three-dimensional objects by the method of structured illumination, selected as a prototype of the coordinates of the surface to be monitored, containing a source of optical radiation and a transparency, an afocal optical system projecting the image sequentially installed along the radiation path pictures of the line structure that occurs on the surface of the controlled object, and the surface of the object being monitored by the relief, a photorecorder that converts the image projected by the lens into a digital, digital electronic unit that recalculates the digital images recorded by the photorecorder into the coordinates of the monitored surface using the formula:
Figure 00000003
where Z is the value of the height of the surface profile of the controlled object at a point with coordinates X, Y intersected by any strip of the line structure, ΔY is the amount of curvature of the strip at this point, α is the angle between the direction of radiation from the optical image source and the optical axis of the lens. In order to ensure the independence of the relative position of the backlight and the object, a afocal optical system is provided in the known device, consisting of two components, in particular, two lenses for projecting a transparency image onto a controlled surface mounted behind a transparency at a distance equal to the projection one. The known device is also equipped with a second electronic unit for adding digital images, connected to its input with the output of the photorecorder, and the output to the input of the first electronic digital unit. The banner is made in the form of a controlled spatial modulator of the intensity of optical radiation with the ability to form a structured illumination in the form of an aperiodic system of bands, the first electronic digital unit is equipped with an additional output connected to the control input of the modulator of the intensity of optical radiation and is configured to control the spatial modulation of the intensity of optical radiation (see , for example, an application for the grant of a patent of the Russian Federation for an invention 2001104813/28 (005075) dated 02.21.2001, decision patent grant 08.16.2001).

Недостатком устройства является низкая оперативность съема информации, обусловленная необходимостью многократно регистрировать контролируемый объект, меняя во времени пропускание транспаранта путем управления пространственной модуляцией. При решении задач распознавания время регистрации изображения объекта контроля и распознавания часто бывает ограничено. При прочих равных условиях только параллельная обработка изображений искаженной рельефом контролируемой поверхности структурированной подсветки может повысить скорость определения рельефа и обеспечить решение задачи оперативного распознавания. Однако простое увеличение числа идентичных каналов, каждый из которых конструктивно повторяет известное техническое решение принципиально невозможно, поскольку в этом случае отсутствуют признаки, позволяющие селектировать тот или иной канал от остальных. The disadvantage of this device is the low efficiency of information retrieval, due to the need to repeatedly record the controlled object, changing the transmission time of the banner by controlling spatial modulation. When solving recognition problems, the registration time of the image of the object of control and recognition is often limited. All other things being equal, only parallel processing of images by the contoured surface of the contoured surface of the structured backlight distorted can increase the speed of determining the terrain and provide a solution to the problem of operational recognition. However, a simple increase in the number of identical channels, each of which constructively repeats the known technical solution, is fundamentally impossible, because in this case there are no signs that allow one or another channel to be selected from the others.

Сущность заявляемого изобретения выражается в совокупности существенных признаков, достаточных для достижения предлагаемым изобретением технического результата, который выражается в повышении оперативности контроля линейных размеров трехмерных объектов за счет одновременной регистрации в нескольких спектральных диапазонах необходимой информации о рельефе поверхности контролируемого объекта. The essence of the claimed invention is expressed in the aggregate of essential features sufficient to achieve the technical result of the invention, which is expressed in increasing the efficiency of monitoring the linear dimensions of three-dimensional objects due to the simultaneous registration in several spectral ranges of the necessary information about the surface topography of the controlled object.

Заявленная совокупность существенных признаков находится в прямой причинно-следственной связи с достигаемым результатом. The claimed combination of essential features is in direct causal connection with the achieved result.

Новизна предложенного устройства усматривается в том, что оно снабжено дополнительными N-1 источниками излучения, каждый из которых отличен по спектральному диапазону излучения от остальных, N-1 транспарантами, каждый из которых отличается от остальных хотя бы на одну полосу, входящую в структурированную засветку, N-1 объективами, входящими в состав афокальных оптических систем, установленными за транспарантами по ходу излучения, N зеркалами, установленными под углом 45 угловых градусов к оптической оси объективов афокальной оптической системы, вторыми N-1 зеркалами, установленными за приемным объективом под углом 45 угловых градусов к оптической оси приемного объектива, N-1 вторичными приемными объективами, каждый из которых установлен за каждым из вторых N-1 зеркал и формирует совместно с приемным объективом изображение картин линейчатой структуры, возникающей на поверхности контролируемого объекта, искаженной рельефом поверхности контролируемого объекта, N-1 фоторегистраторами, каждый из которых имеет область спектральной чувствительности, совпадающую со спектральным диапазоном излучения одного из N-1 источников излучения, N-1 вычислительными цифровыми электронными блоками, электронный блок сложения изображений выполнен с числом входов, равным числу вычислительных цифровых электронных блоков, каждый из входов электронного блока сложения изображений соединен с выходом каждого вычислительного цифрового электронного блока, а число N определяется по формуле N= Log2(L), где L - число пар пикселей в строке фоторегистратора.The novelty of the proposed device is seen in the fact that it is equipped with additional N-1 radiation sources, each of which is different in the spectral range of radiation from the rest, N-1 transparencies, each of which differs from the rest by at least one band included in the structured illumination, N-1 lenses that are part of afocal optical systems installed behind banners along the radiation path, N mirrors mounted at an angle of 45 angular degrees to the optical axis of the lenses of the afocal optical system topics, the second N-1 mirrors mounted behind the receiving lens at an angle of 45 angular degrees to the optical axis of the receiving lens, N-1 secondary receiving lenses, each of which is mounted behind each of the second N-1 mirrors and forms a picture image together with the receiving lens line structure arising on the surface of the controlled object, distorted by the relief of the surface of the controlled object, N-1 photorecorders, each of which has a region of spectral sensitivity that matches the spectral the radiation range of one of the N-1 radiation sources, N-1 computing digital electronic blocks, the electronic image addition unit is made with the number of inputs equal to the number of computing digital electronic units, each of the inputs of the electronic image adding unit is connected to the output of each computing digital electronic unit, and the number N is determined by the formula N = Log 2 (L), where L is the number of pixel pairs in the line of the photorecorder.

Сравнение заявленного технического решения с прототипом позволило установить соответствие его критерию "новизна", так как оно не известно из уровня техники. Comparison of the claimed technical solution with the prototype made it possible to establish compliance with its criterion of "novelty", since it is not known from the prior art.

Предложенное устройство является промышленно применимым существующими средствами, так как его реализация не требует создания новых элементов, материалов и технологий, поскольку состоит из компонент, изготавливаемых серийно, и соответствует критерию "изобретательский уровень", кроме того, оно явным образом не следует из уровня техники, при этом из последнего не выявлено каких-либо элементов и связей между элементами, характеризуемых отличительными от прототипа существенными признаками, направленных на достижение указанного технического результата. Таким образом, предложенное техническое решение соответствует установленным условиям патентоспособности изобретения. The proposed device is industrially applicable existing means, since its implementation does not require the creation of new elements, materials and technologies, since it consists of components manufactured in series, and meets the criterion of "inventive step", in addition, it does not explicitly follow from the prior art, however, from the latter, no elements and relationships between elements characterized by significant features distinctive from the prototype aimed at achieving the specified technical th result. Thus, the proposed technical solution meets the established conditions of patentability of the invention.

На фиг.1 изображена функциональная схема устройства. Многоканальный блок 1 источников структурированной подсветки формирует множество отличных друг от друга изображений апериодических линейчатых структур в N спектральных диапазонах на поверхности регистрируемого объекта. Многоканальный блок 2 регистрации и обработки изображений расположен таким образом, чтобы регистрировать изображение структурированной подсветки под некоторым углом α к оптической оси источника 1 структурированной подсветки. В блоке 2 осуществляется вычисление и хранение значений координат контролируемой поверхности. Figure 1 shows the functional diagram of the device. The multichannel block 1 of structured illumination sources forms many different images of aperiodic line structures in N spectral ranges on the surface of the recorded object. The multi-channel block 2 for recording and processing images is arranged so as to register the image of the structured backlight at an angle α to the optical axis of the source 1 structured backlight. In block 2, the calculation and storage of the coordinates of the controlled surface is carried out.

На фиг.2 изображена принципиальная схема многоканального блока 2 (фиг.1) регистрации и обработки изображений. Приемный объектив 1 расположен на проекционном расстоянии от объекта. Светоделители 2.1-2.N, образующие в совокупности многогранную пирамиду, расположены за приемным объективом 1 под углом 45 угловых градусов к оптической оси объектива по ходу лучей. Дополнительные объективы 3.1-3. N расположены соответственно в каждом из образованном светоделителями 2.1-2. N каналов и проецируют изображения искаженной поверхностью объекта структурированной подсветки на каждую из ТВ-камер, каждая из которых установлена в соответствующем из N каналов, образованных светоделителями 2.1-2.N. Выходы каждой из ТВ-камер соединены со входами каждого из аналого-цифровых преобразователей (АЦП), преобразующих зарегистрированное изображение в цифровой код. ТВ-камеры в совокупности с АЦП образуют фоторегистраторы с цифровым выходом. Сигнальные процессоры 6.1-6.N являются конкретной реализацией вычислительных электронных цифровых блоков и соединены своими входами с выходами АЦП 5.1-5.N, т.е. с выходами фоторегистраторов. Центральный процессор 7 соединен своим входом с выходами сигнальных процессоров 6.1-6. N. Оперативное запоминающее устройство 8 хранит каждое из зарегистрированных фоторегистраторами изображений структурированной засветки для параллельно-последовательной обработки в центральном процессоре 7. Центральный процессор 7 совместно с оперативным запоминающим устройством 8 образуют электронный блок сложения изображений. Figure 2 shows a schematic diagram of a multi-channel block 2 (figure 1) registration and image processing. The receiving lens 1 is located at a projection distance from the object. The beam splitters 2.1-2.N, which together form a multifaceted pyramid, are located behind the receiving lens 1 at an angle of 45 angular degrees to the optical axis of the lens along the rays. Additional lenses 3.1-3. N are located respectively in each of the beamsplitter 2.1-2. N channels and project images of the distorted surface of the structured illumination object onto each of the TV cameras, each of which is installed in the corresponding of the N channels formed by the beam splitters 2.1-2.N. The outputs of each of the TV cameras are connected to the inputs of each of the analog-to-digital converters (ADCs) that convert the recorded image into a digital code. TV cameras in conjunction with the ADC form a digital recorder with digital output. Signal processors 6.1-6.N are a specific implementation of computing electronic digital blocks and are connected by their inputs to the outputs of the ADC 5.1-5.N, i.e. with outputs of photorecorders. The Central processor 7 is connected by its input to the outputs of the signal processors 6.1-6. N. The random access memory 8 stores each of the registered flare images registered by the photoregistrators for parallel-sequential processing in the central processor 7. The central processor 7 together with the random access memory 8 form an electronic image addition unit.

На фиг. 3 показана принципиальная схема блока 1 (фиг.1) многоканальных источников структурированной подсветки. Основной объектив 5 афокальной системы расположен на проекционном расстоянии от объекта и формирует изображение структурированной подсветки на поверхности объекта. Светоделители 4.1-4.N расположены перед основным объективом 5. Объективы 3.1-3.N расположены по ходу лучей перед каждым из соответствующих светоделителей 4.1-4.N. Транспаранты 2.1-2. N установлены в предметной плоскости афокальной оптической системы, образованной объективами 3.1-3.N и объективом 5 и выполнены в виде кодовых масок с линейчатой апериодической структурой. Разноцветные источники 1.1-1. N излучения осуществляют подсветку каждого из транспарантов 2.1-2.N каждый в отдельном спектральном диапазоне, отличном от остальных. In FIG. 3 shows a schematic diagram of block 1 (FIG. 1) of multichannel sources of structured illumination. The main lens 5 of the afocal system is located at the projection distance from the object and forms an image of structured illumination on the surface of the object. The beam splitters 4.1-4.N are located in front of the main lens 5. The lenses 3.1-3.N are located in the direction of the rays in front of each of the respective beam splitters 4.1-4.N. Banners 2.1-2. N are installed in the subject plane of the afocal optical system formed by 3.1-3.N lenses and lens 5 and are made in the form of code masks with a ruled aperiodic structure. Multi-colored sources 1.1-1. N radiation illuminate each of the banners 2.1-2.N each in a separate spectral range other than the others.

На фиг.4-5 показаны варианты выполнения кодовых масок, образующих транспаранты 2.1-2.N. Figure 4-5 shows embodiments of the code masks forming the banners 2.1-2.N.

Устройство работает следующим образом. Источники 1.1-1. N излучения подсвечивают транспаранты (фиг.3) 2.1-2.N в разных спектральных диапазонах. Изображения транспарантов (фиг. 3) 2.1-2.N проецируются оптическими системами, образованными объективами 3.1-3.N, светоделителями 4.1-4.N и основным объективом 5 на поверхность объекта. The device operates as follows. Sources 1.1-1. N radiation illuminate the banners (figure 3) 2.1-2.N in different spectral ranges. Images of banners (Fig. 3) 2.1-2.N are projected by optical systems formed by lenses 3.1-3.N, beam splitters 4.1-4.N and the main lens 5 on the surface of the object.

Неоднородности профиля регистрируемого объекта определяются с помощью многоканального блока 2 регистрации и обработки изображений (фиг.1) следующим образом. Изображение искаженной профилем объекта структурированной подсветки проецируется оптическими системами (фиг.2), состоящими из основного объектива 1, светоделителей 2.1-2.N, объективов 3.1-3.N на ТВ-камеры 4.1-4. N, входящие в состав фоторегистраторов. Благодаря тому, что спектральные чувствительности каждого из N фоторегистраторов и спектральные диапазоны каждого из N источников излучения, структурированной подсветки полностью идентичны, одни и те же изображения искажений структурированной подсветки регистрируются в разных каналах, причем определенному каналу подсветки соответствует один и только один канал блока регистрации и обработки изображения. The heterogeneity of the profile of the registered object is determined using a multi-channel block 2 registration and image processing (figure 1) as follows. The image of the structured illumination distorted by the object profile is projected by optical systems (Fig. 2), consisting of the main lens 1, beam splitters 2.1-2.N, lenses 3.1-3.N on TV cameras 4.1-4. N, which are part of the photographic recorders. Due to the fact that the spectral sensitivities of each of N photorecorders and the spectral ranges of each of N radiation sources, structured illumination are completely identical, the same distortion images of structured illumination are recorded in different channels, and one and only one channel of the recording unit corresponds to a specific illumination channel and image processing.

Таким образом, одно и то же изображение искажений структурированной подсветки, образованных неоднородностями профиля поверхности объекта, от разных модификаций кодовых масок транспарантов 2.1-2.N (фиг.3) в разных спектральных диапазонах Δλ1, Δλ2,...,ΔλN, однозначно регистрируются в каждом из каналов блока регистрации и обработки изображения.Thus, the same image of the distortions of the structured illumination formed by the inhomogeneities of the surface profile of the object from different modifications of the code masks of the banners 2.1-2.N (Fig. 3) in different spectral ranges Δλ 1 , Δλ 2 , ..., Δλ N are uniquely registered in each of the channels of the image registration and processing unit.

Следовательно, при одной экспозиции регистрируемого объекта регистрируются N изображений искаженной поверхностью объекта структурированной подсветки в разных спектральных диапазонах и при разных реализациях апериодической системы полос, формирующих структурированную подсветку. Каждый фоторегистратор формирует цифровое изображение одной и только одной реализации апериодической системы полос, поскольку настроен на спектральный диапазон, отличный от остальных. Therefore, during one exposure of the registered object, N images are recorded with the distorted surface of the object of structured illumination in different spectral ranges and with different implementations of the aperiodic system of bands that form the structured illumination. Each photographic recorder forms a digital image of one and only one implementation of the aperiodic system of bands, since it is tuned to a spectral range different from the others.

Каждый из сигнальных процессоров 6.1-6.N воспринимает и обрабатывает одну и только одну реализацию апериодической системы полос, и преобразует ее в соответствующую последовательность единиц и нулей, кодирующую последовательность полос в структурированной подсветке, сформированной в соответствии с функциями пропускания транспарантов 2.1-2.N (то есть -"1" линия есть, "0" - линии нет). Each of the signal processors 6.1-6.N perceives and processes one and only one implementation of the aperiodic system of stripes, and converts it into the corresponding sequence of ones and zeros, encoding the sequence of stripes in a structured backlight formed in accordance with the transmission functions of banners 2.1-2.N (that is, there is a "1" line, a "0" there is no line).

В оперативном запоминающем устройстве 8, которое совместно с центральным процессором 7 образует электронный блок сложения изображений (фиг.2) формируется суммарная картина линейчатой структуры, возникающей на поверхности контролируемого объекта, искаженной рельефом поверхности контролируемого объекта (см. фиг. 4). одновременно в центральном процессоре 7 формируется код, полученный суммированием кодовых последовательностей, соответствующих кодам каждой функции пропускания транспарантов 2.1-2.N. При этом, например, сумме двух единиц (т.е. изображений двух линий соответствует код "11"), а сумме изображений линии и пробела - коды "10", либо "01", и, одновременно окончательно определяются значения координат контролируемой поверхности путем суммирования результатов, полученных в блоках 6.1-6.N. Таким образом, каждая линия (полоса) в цифровом (бинарном) изображении линейчатой структуры, возникающего после сложения вышеуказанных изображений в процессоре, кодируется номером в виде двоичного кода. In the random access memory 8, which together with the central processor 7 forms an electronic image addition unit (Fig. 2), a total picture of the line structure arising on the surface of the controlled object distorted by the relief of the surface of the controlled object is formed (see Fig. 4). at the same time, a code is generated in the central processor 7 obtained by summing the code sequences corresponding to the codes of each transmission function of banners 2.1-2.N. In this case, for example, the sum of two units (that is, the code “11” corresponds to the images of two lines), and the codes “10” or “01” correspond to the sum of the images of the line and the space, and at the same time, the coordinates of the surface under control are finally determined by summation of the results obtained in blocks 6.1-6.N. Thus, each line (strip) in the digital (binary) image of the line structure that occurs after the addition of the above images in the processor is encoded by a binary code number.

Поскольку расстояния между полосами, образующими структурную подсветку, в зарегистрированной картине не повторяются, при обработке изображения в цифровом электронном блоке каждая полоса, искаженная рельефом поверхности контролируемого объекта, однозначно идентифицируется по своему коду (номеру), что, в свою очередь, делает возможным однозначно вычислять высоту рельефа и соответствующую пару координат. Благодаря тому, что обработка изображений в каждом из N каналов происходит одновременно, в N раз повышается скорость контроля. В тоже время каждый из N каналов не идентичен остальным, поскольку отличается спектральным диапазоном излучателя и, соответственно, спектральной чувствительностью фоторегистратора. Since the distances between the bands forming the structural illumination are not repeated in the registered picture, when processing the image in a digital electronic unit, each strip distorted by the surface relief of the controlled object is uniquely identified by its code (number), which, in turn, makes it possible to unambiguously calculate relief height and the corresponding coordinate pair. Due to the fact that image processing in each of the N channels occurs simultaneously, the control speed is increased by a factor of N. At the same time, each of the N channels is not identical to the others, because it differs in the spectral range of the emitter and, accordingly, the spectral sensitivity of the photorecorder.

Данное предложение может с успехом использоваться в технологических процессах формообразования объектов сложной формы (лопатки турбин и т.п). Кроме того, оно может использоваться в различных приложениях компьютерной трехмерной графики, а также в системах охранной сигнализации. This proposal can be successfully used in technological processes of forming objects of complex shape (turbine blades, etc.). In addition, it can be used in various applications of computer three-dimensional graphics, as well as in alarm systems.

Предложенное техническое решение реализуемо на сегодняшнем уровне техники и не требует для своей реализации разработки новых технологий. Телекамеры, входящие в состав предложенного технического решения, реализуются на приборах с зарядовой связью (ПЗС), АЦП, сигнальные процессоры, процессор (часть микро-ЭВМ), оперативное запоминающее устройство - неизменные компоненты современной цифровой микроэлектроники. The proposed technical solution is implemented at the current level of technology and does not require the development of new technologies for its implementation. The cameras that are part of the proposed technical solution are implemented on charge-coupled devices (CCDs), ADCs, signal processors, a processor (part of a microcomputer), random access memory - the same components of modern digital microelectronics.

Литература
1. Техническое зрение роботов. /Под. ред. А.Пью, пер. с англ. - М.: Машиностроение, 1987. С.56-57.Literature
1. Technical vision of robots. /Under. ed. A.Pew, trans. from English - M.: Mechanical Engineering, 1987. S. 56-57.

2. М.Франсон. Оптика спеклов. - М.: Мир, 1980, с. 141-143.0 2. M. Franson. Speckle optics. - M.: Mir, 1980, p. 141-143.0

Claims (1)

Устройство для бесконтактного контроля и распознавания поверхностей трехмерных объектов методом структурированной подсветки, содержащее источник оптического излучения и последовательно установленные по ходу излучения транспарант, выполненный с возможностью формирования апериодической линейчатой структуры полос, афокальную оптическую систему для проецирования изображения транспаранта на контролируемую поверхность, приемный объектив, формирующий изображение картины линейчатой структуры, возникающей на поверхности контролируемого объекта, искаженной рельефом поверхности контролируемого объекта, фоторегистратор, преобразующий сформированное приемным объективом изображение в цифровое, вычислительный цифровой электронный блок, пересчитывающий фиксируемые фоторегистратором цифровые изображения в величины координат контролируемой поверхности по формуле
Figure 00000004

где Z - значение высоты профиля поверхности контролируемого объекта в точке с координатами X, Y, пересекаемой какой-либо полосой линейчатой структуры;
ΔY - величина искривления полосы в этой точке;
α - угол между направлением излучения от источника оптического изображения и оптической осью объектива,
электронный блок сложения цифровых изображений, отличающееся тем, что оно снабжено дополнительными N-1 источниками излучения, каждый из которых отличен по спектральному диапазону излучения от остальных, N-1 транспарантами, каждый из которых отличается от остальных хотя бы на одну полосу, N-1 объективами, установленными за транспарантами, N-1 зеркалами, установленными под углом 45 угл. град. к оптической оси каждого из N-1 объектива перед второй компонентой афокальной оптической системы, вторыми N-1 зеркалами, установленными за приемным объективом под углом 45 угл. град. к оптической оси приемного объектива, N-1 вторичными приемными объективами, каждый из которых установлен за каждым из вторых N-1 зеркал и формирует совместно с приемным объективом изображение картин линейчатой структуры, возникающей на поверхности контролируемого объекта, искаженной рельефом поверхности контролируемого объекта, N-1 фоторегистраторами, каждый из которых имеет область спектральной чувствительности, совпадающую со спектральным диапазоном излучения одного из N-1 источников излучения, N-1 вычислительными цифровыми электронными блоками, электронный блок сложения изображений выполнен с числом входов, равным числу вычислительных цифровых электронных блоков, каждый из входов электронного блока сложения изображений соединен с выходом каждого вычислительного цифрового электронного блока, а число N определяется по формуле N=Log2(L), где L - число пар элементов пространственного разрешения фоторегистратора.A device for contactless control and recognition of surfaces of three-dimensional objects by the method of structured illumination, containing a source of optical radiation and a banner sequentially installed along the radiation, configured to form an aperiodic linear strip structure, an afocal optical system for projecting a transparency image onto a controlled surface, a receiving lens forming an image patterns of line structure arising on the surface are controlled th object distorted surface relief controlled object photorecorder converting shaped lens receiving digital image, a digital electronic computing unit recalculates photorecorder recorded by the digital image values in a controlled surface coordinate by the formula
Figure 00000004

where Z is the value of the height of the surface profile of the controlled object at a point with coordinates X, Y, intersected by any strip of a ruled structure;
ΔY is the magnitude of the curvature of the strip at this point;
α is the angle between the direction of radiation from the source of the optical image and the optical axis of the lens,
electronic digital image addition unit, characterized in that it is equipped with additional N-1 radiation sources, each of which is different in the spectral range of radiation from the rest, N-1 transparencies, each of which differs from the rest by at least one band, N-1 lenses installed behind banners, N-1 mirrors mounted at an angle of 45 angles. hail. to the optical axis of each of the N-1 lens in front of the second component of the afocal optical system, the second N-1 mirrors mounted behind the receiving lens at an angle of 45 angles. hail. to the optical axis of the receiving lens, N-1 secondary receiving lenses, each of which is installed behind each of the second N-1 mirrors and together with the receiving lens forms an image of the line structure that appears on the surface of the controlled object, distorted by the relief of the surface of the controlled object, N- 1 photorecorders, each of which has a spectral sensitivity region that matches the radiation spectral range of one of the N-1 radiation sources, N-1 computing digital electronic blocks, the electronic image addition unit is made with the number of inputs equal to the number of digital digital electronic units, each of the inputs of the electronic image addition unit is connected to the output of each digital digital electronic unit, and the number N is determined by the formula N = Log 2 (L), where L is the number of pairs of spatial resolution elements of the photorecorder.
RU2001133293/28A 2001-12-11 2001-12-11 DEVICE FOR CONTROLLING and RECOGNIZING THREE-DIMENSIONAL OBJECTS SURFACES IN CONTACTLESS WAY RU2199718C1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
RU2001133293/28A RU2199718C1 (en) 2001-12-11 2001-12-11 DEVICE FOR CONTROLLING and RECOGNIZING THREE-DIMENSIONAL OBJECTS SURFACES IN CONTACTLESS WAY
AU2002313342A AU2002313342A1 (en) 2001-12-11 2002-04-15 Contactless device for controlling and identifying the surfaces of three-dimensional objects
PCT/RU2002/000168 WO2003050475A1 (en) 2001-12-11 2002-04-15 Contactless device for controlling and identifying the surfaces of three-dimensional objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2001133293/28A RU2199718C1 (en) 2001-12-11 2001-12-11 DEVICE FOR CONTROLLING and RECOGNIZING THREE-DIMENSIONAL OBJECTS SURFACES IN CONTACTLESS WAY

Publications (1)

Publication Number Publication Date
RU2199718C1 true RU2199718C1 (en) 2003-02-27

Family

ID=20254648

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2001133293/28A RU2199718C1 (en) 2001-12-11 2001-12-11 DEVICE FOR CONTROLLING and RECOGNIZING THREE-DIMENSIONAL OBJECTS SURFACES IN CONTACTLESS WAY

Country Status (3)

Country Link
AU (1) AU2002313342A1 (en)
RU (1) RU2199718C1 (en)
WO (1) WO2003050475A1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004111571A1 (en) * 2003-06-12 2004-12-23 UNIVERZA V LJUBLJANI, Fakulteta za strojnistvo Apparatus for determining shape and size of three-dimensional objects
WO2007004915A1 (en) * 2005-06-30 2007-01-11 Sergei Aleksandrovich Mosienko Terminal for transmitting identification data in biometric systems
WO2014074003A1 (en) 2012-11-07 2014-05-15 Артек Европа С.А.Р.Л. Method for monitoring linear dimensions of three-dimensional objects
RU2606703C1 (en) * 2015-08-26 2017-01-10 Ирина Александровна Петросова Method for contactless determination of surface relief of materials
RU2718125C1 (en) * 2019-07-11 2020-03-30 Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный университет геодезии и картографии" (МИИГАиК) Device for increasing projection range of structured illumination for 3d scanning
CN112097688A (en) * 2020-09-03 2020-12-18 清华大学 Multispectral three-dimensional shape measurement method and device based on grating projection three-dimensional imaging

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3901960B1 (en) * 2020-04-21 2023-09-06 Deutsche Post AG Validation method and validation apparatus for sealed unit

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549288B1 (en) * 1998-05-14 2003-04-15 Viewpoint Corp. Structured-light, triangulation-based three-dimensional digitizer
FR2785674B1 (en) * 1998-11-06 2000-12-08 Eastman Kodak Co METHOD FOR RETURNING INFORMATION RELATING TO A THREE-DIMENSIONAL OBJECT
RU2148793C1 (en) * 1999-02-19 2000-05-10 Филиппов Евгений Иванович Process measuring form and spatial position of surface of object

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004111571A1 (en) * 2003-06-12 2004-12-23 UNIVERZA V LJUBLJANI, Fakulteta za strojnistvo Apparatus for determining shape and size of three-dimensional objects
WO2007004915A1 (en) * 2005-06-30 2007-01-11 Sergei Aleksandrovich Mosienko Terminal for transmitting identification data in biometric systems
WO2014074003A1 (en) 2012-11-07 2014-05-15 Артек Европа С.А.Р.Л. Method for monitoring linear dimensions of three-dimensional objects
RU2606703C1 (en) * 2015-08-26 2017-01-10 Ирина Александровна Петросова Method for contactless determination of surface relief of materials
RU2718125C1 (en) * 2019-07-11 2020-03-30 Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный университет геодезии и картографии" (МИИГАиК) Device for increasing projection range of structured illumination for 3d scanning
CN112097688A (en) * 2020-09-03 2020-12-18 清华大学 Multispectral three-dimensional shape measurement method and device based on grating projection three-dimensional imaging

Also Published As

Publication number Publication date
WO2003050475A1 (en) 2003-06-19
AU2002313342A1 (en) 2003-06-23

Similar Documents

Publication Publication Date Title
US6252623B1 (en) Three dimensional imaging system
Zhang et al. Rapid shape acquisition using color structured light and multi-pass dynamic programming
US6341016B1 (en) Method and apparatus for measuring three-dimensional shape of object
US4948258A (en) Structured illumination surface profiling and ranging systems and methods
JP4988155B2 (en) Method and apparatus for detecting an object in three dimensions and use of the apparatus and method
US10986328B2 (en) Device, method and system for generating dynamic projection patterns in a camera
US20100118123A1 (en) Depth mapping using projected patterns
EP2175232A1 (en) Three-dimensional shape measuring device, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
JP6161714B2 (en) Method for controlling the linear dimension of a three-dimensional object
US20030123707A1 (en) Imaging-based distance measurement and three-dimensional profiling system
JPS6184515A (en) Method and device for obtaining distance up to plurality of point on object
JP2714152B2 (en) Object shape measurement method
JP2004191092A (en) Three-dimensional information acquisition system
RU2199718C1 (en) DEVICE FOR CONTROLLING and RECOGNIZING THREE-DIMENSIONAL OBJECTS SURFACES IN CONTACTLESS WAY
US6369879B1 (en) Method and apparatus for determining the coordinates of an object
EP3596425B1 (en) Optoelectronic devices for collecting three-dimensional data
RU2184933C1 (en) Gear for contactless test of linear dimensions of three- dimensional objects
CN115248440A (en) TOF depth camera based on dot matrix light projection
CN115461643A (en) Illumination pattern for object depth measurement
JP2002027501A (en) Three-dimensional image pickup device and method
JP2006308452A (en) Method and apparatus for measuring three-dimensional shape
US20200184662A1 (en) Structured light projector
RU2185598C1 (en) Procedure of contactless control over linear dimensions of three-dimensional objects
KR100714821B1 (en) Method for range imaging from a single image
JPH0723684Y2 (en) Range finder

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20031212

MM4A The patent is invalid due to non-payment of fees

Effective date: 20081212