RU2305320C2 - Method for creating matrix image of an object - Google Patents
Method for creating matrix image of an object Download PDFInfo
- Publication number
- RU2305320C2 RU2305320C2 RU2004120046/09A RU2004120046A RU2305320C2 RU 2305320 C2 RU2305320 C2 RU 2305320C2 RU 2004120046/09 A RU2004120046/09 A RU 2004120046/09A RU 2004120046 A RU2004120046 A RU 2004120046A RU 2305320 C2 RU2305320 C2 RU 2305320C2
- Authority
- RU
- Russia
- Prior art keywords
- image
- matrix
- lens
- matrix image
- elements
- Prior art date
Links
Images
Landscapes
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Description
Изобретение относится к области обработки изображений и может быть использовано для формирования фотореалистичных изображений при любых расстояниях от объекта съемки до съемочной камеры, а также при любых погрешностях, вносимых объективами при формировании изображений.The invention relates to the field of image processing and can be used to generate photorealistic images at any distance from the subject to the camera, as well as for any errors introduced by the lenses during image formation.
Наиболее близким к предложенному изобретению является способ корректировки изображений (Патент США № 6278491 от 21.08.2001), в котором определяют визуально значимую часть изображения и корректируют ее, приводя в соответствие с визуально воспринимаемым образом исходного объекта.Closest to the proposed invention is a method of adjusting images (US Patent No. 6278491 of 08/21/2001), in which a visually significant part of the image is determined and corrected, bringing it into line with the visually perceived image of the original object.
Недостатком известного способа является ограниченность возможностей его применения, так как корректировка изображения осуществляется только в отношении цвета, а именно, зрачков глаз объекта и трансформации геометрических размеров изображения не происходит.The disadvantage of this method is the limited possibilities of its application, since the image adjustment is carried out only in relation to color, namely, the pupils of the eyes of the object and the transformation of the geometric dimensions of the image does not occur.
Вместе с тем одной из важнейших задач системы зрительного восприятия является переработка восприятия геометрических соотношений сформированного на сетчатке образа. Система зрительного восприятия человека приближает формы созерцаемых предметов к истинным при условии, что эти формы предметов знакомы смотрящему. При анализе изображений, полученных путем фотографирования, несмотря на соответствие изображения на фотографии и изображения, в аналогичных условиях, сформированного на сетчатке, корректировка изображения не происходит и изображение воспринимается как искаженное. Указанная особенность зрительного восприятия обусловлена тем, что при анализе фотографических изображений отсутствует стереоскопическое (бинокулярное) восприятие объекта.At the same time, one of the most important tasks of the visual perception system is to process the perception of the geometric relationships of the image formed on the retina. The system of human visual perception brings the forms of contemplated objects closer to true, provided that these forms of objects are familiar to the beholder. When analyzing images obtained by photographing, despite the correspondence of the image in the photograph and the image under similar conditions formed on the retina, the image is not corrected and the image is perceived as distorted. The indicated feature of visual perception is due to the fact that when analyzing photographic images there is no stereoscopic (binocular) perception of the object.
До настоящего времени задача автоматизированной обработки изображений, обеспечивающих реалистичное представление объектов не только не решалась, но и не ставилась, так в случае использования для формирования изображений химических процессов дальнейшая трансформация исходного изображения затруднена, а наибольший эффект от использования предложенного способа достигается при обработке изображений, хранящихся в цифровом виде.Until now, the task of automated image processing providing a realistic representation of objects has not only not been solved, but has not been set, so if chemical processes are used to form images, further transformation of the original image is difficult, and the greatest effect of using the proposed method is achieved when processing images stored in digital form.
Предложенное изобретение решает задачу формирования изображений, полностью соответствующих восприятию окружающего пространства человеком.The proposed invention solves the problem of forming images that are fully consistent with the perception of the surrounding space by a person.
Техническим результатом, достигаемым при использовании настоящего изобретения, является повышение качества изображений путем формирования фотореалистичных изображений объектов с одновременной возможностью коррекции нелинейных искажений, вносимых объективами, выполненными с низким качеством, а также используемыми в нештатном режиме, например при съемке удаленных объектов короткофокусными объективами.The technical result achieved by using the present invention is to improve the quality of images by generating photorealistic images of objects with the simultaneous ability to correct non-linear distortions introduced by low-quality lenses, as well as used in an emergency mode, for example, when shooting distant objects with short-focus lenses.
Указанный технический результат достигается за счет того, что в способе формирования матричного изображения объекта с помощью объектива проецируют исходное оптическое изображение объекта на блок светочувствительных элементов, каждый из которых выполнен формирующим информацию об усредненной яркости, по крайней мере, одной цветовой составляющей участка исходного оптического изображения, соответствующего участку объекта, изображение которого формируется на соответствующем светочувствительном элементе, и формируют исходное матричное изображение объекта, каждый элемент матрицы которого отображает информацию о положении и усредненной яркости, по крайней мере, одной цветовой составляющей соответствующего участка исходного оптического изображения объекта, значение которой соответствует сформированной соответствующим светочувствительным элементом информации; по крайней мере, для части элементов исходного матричного изображения определяют расстояние, однозначно соответствующее расстоянию от объектива до участка объекта, соответствующего соответствующему элементу исходного матричного изображения; и формируют окончательное матричное изображение объекта, такое, что характеристика взаимного положения элементов окончательного матричного изображения максимально точно соответствует измененному, в соответствии с заданным масштабом, взаимному положению аксонометрических проекций соответствующих элементам окончательного матричного изображения видимых со стороны объектива участков объекта на перпендикулярную линии проецирования плоскость проецирования вдоль параллельных линий проецирования, по крайней мере, одна из которых проходит через видимую через объектив часть объекта и пересекает внешнюю поверхность внешней наиболее удаленной от блока светочувствительных элементов линзы объектива, а каждый элемент окончательного матричного изображения отображает информацию об усредненной яркости цветовой составляющей соответствующего элементу окончательного матричного изображения участка объекта, определенной в соответствии с информацией об усредненной яркости цветовой составляющей, по крайней мере, одного элемента исходного матричного изображения, по крайней мере, частично соответствующего участку объекта, соответствующему элементу окончательного матричного изображения.The specified technical result is achieved due to the fact that in the method of forming a matrix image of an object using a lens, the initial optical image of the object is projected onto a block of photosensitive elements, each of which is configured to generate information about the average brightness of at least one color component of the portion of the original optical image, corresponding to the site of the object, the image of which is formed on the corresponding photosensitive element, and form the original matrix th image of the object, each element of the matrix which displays the position information and the averaged luminance of at least one color component of the corresponding original portion of the optical image of the object, the value of which corresponds to the generated respective photosensitive element of information; at least for a part of the elements of the initial matrix image, a distance is determined that uniquely corresponds to the distance from the lens to the portion of the object corresponding to the corresponding element of the original matrix image; and form the final matrix image of the object, such that the characteristic of the relative position of the elements of the final matrix image corresponds as closely as possible to the altered, in accordance with the specified scale, relative position of the axonometric projections corresponding to the elements of the final matrix image of the object sections visible from the lens side to the projection plane along the projection plane parallel projection lines, at least one of which is about is worn through the part of the object visible through the lens and intersects the outer surface of the outermost farthest from the block of photosensitive elements of the lens of the lens, and each element of the final matrix image displays information about the average brightness of the color component corresponding to the element of the final matrix image of the area of the object determined in accordance with the information about the average brightness the color component of at least one element of the original matrix image, at least partially the corresponding portion of the object corresponding to the matrix element of the final image.
В частном случае реализации способа в качестве светочувствительных элементов используют приборы с зарядовой связью.In the particular case of implementing the method, charge-coupled devices are used as photosensitive elements.
В частном случае реализации способа в качестве светочувствительных элементов используют кристаллы галогенида серебра.In the particular case of the implementation of the method, silver halide crystals are used as photosensitive elements.
В частном случае реализации способа в качестве блока светочувствительных элементов используют несколько матриц светочувствительных элементов, на каждой из которых фокусируется исходное оптическое изображение, прошедшее через светоделительное приспособление, а каждый элемент матрицы исходного матричного изображения отображает информацию об усредненной яркости отдельных цветовых составляющих, сформированную светочувствительными элементами всех матриц для соответствующих друг другу участков изображения.In the particular case of implementing the method, several arrays of photosensitive elements are used as a block of photosensitive elements, each of which focuses the original optical image transmitted through the beam splitter, and each element of the matrix of the original matrix image displays information on the average brightness of individual color components formed by the photosensitive elements of all matrices for the corresponding parts of the image.
В частном случае реализации способа, в качестве блока светочувствительных элементов используют нанесенные на плоскую непрозрачную деформируемую подложку светочувствительные зерна, обеспечивающие формирование исходного матричного изображения путем изменения отражательной способности соответствующей зерну части подложки, по крайней мере, на часть глубины подложки, в соответствии с усредненной яркостью соответствующего зерну участка исходного изображения, и формируют скорректированное изображение путем деформации подложки в плоскости до обеспечения взаимного расположения участков подложки, для которых было определено расстояние, в максимально точном соответствии с измененным в соответствии с заданным масштабом взаимным положением аксонометрических проекций соответствующих элементам окончательного матричного изображения видимых со стороны объектива участков объекта на перпендикулярную линии проецирования плоскость проецирования вдоль параллельных линий проецирования, по крайней мере, одна из которых проходит через видимую часть объекта и пересекает внешнюю поверхность внешней, наиболее удаленной от блока светочувствительных элементов, линзы объектива.In the particular case of the method, as a block of photosensitive elements, photosensitive grains deposited on a flat opaque deformable substrate are used, which provide the formation of the initial matrix image by changing the reflectivity of the corresponding part of the substrate to at least a part of the depth of the substrate, in accordance with the average brightness of the corresponding the grain of the portion of the original image, and form the corrected image by deformation of the substrate in a flat spacing to ensure the relative position of the substrate portions for which the distance was determined, in the most accurate manner in accordance with the relative position of the axonometric projections corresponding to the elements of the final matrix image of the object portions visible from the lens side to the projection plane perpendicular to the projection plane along parallel projection lines at least one of which passes through the visible part of the object and crosses outside the back surface of the outermost farthest from the block of photosensitive elements, the objective lens.
В частном случае реализации способа расстояния определяют путем сканирования объекта лазерным дальномером.In the particular case of the method, the distances are determined by scanning the object with a laser range finder.
В частном случае реализации способа расстояния определяют ультразвуковым сканированием объекта.In the particular case of the method, the distances are determined by ultrasonic scanning of the object.
В частном случае реализации способа расстояния определяют по размытию изображения при смещении объектива в плоскости, перпендикулярной главной оптической оси объектива.In the particular case of the method, the distances are determined by the blurring of the image when the lens is displaced in a plane perpendicular to the main optical axis of the lens.
В частном случае реализации способа изменяют фокусировку объектива и, для нескольких режимов фокусировки объектива, формируют исходные оптические изображения объекта, для каждого из исходных оптических изображений объекта определяют находящиеся в фокусе участки оптического изображения объекта, для которых, в соответствии с режимом фокусировки объектива, определяют расстояние от соответствующих участков объекта до объектива, задают допустимую глубину резкости и, для каждого из исходных оптических изображений, формируют окончательное матричное изображение участков исходного оптического изображения, соответствующих заданной глубине резкости с одинаковым для всех окончательных матричных изображений коэффициентом масштабирования, и формируют полное изображение объекта путем объединения при совмещении краев окончательных матричных изображений.In the particular case of implementing the method, the focus of the lens is changed and, for several focusing modes of the lens, the original optical images of the object are formed, for each of the original optical images of the object, the areas of the optical image of the object that are in focus are determined, for which, in accordance with the lens focusing mode, the distance is determined from the corresponding sections of the object to the lens, set the acceptable depth of field and, for each of the original optical images, form finally e matrix initial image portions of the optical image corresponding to a predetermined depth of field with the same matrix for all final image scaling factor, and form a complete image of the object by combining at overlapping edges of the matrix of the final image.
В частном случае реализации способа, в качестве объекта используют часть съемочной композиции, изображение которой проецируется на блок светочувствительных элементов вместе с изображением объекта, и формируют полное матричное изображение съемочной композиции, выполненное путем совмещения неизменного матричного изображения, промежуточного матричного изображения и окончательного матричного изображения, по крайней мере, часть краев неизменного матричного изображения совмещена с краями промежуточного матричного изображения, по крайней мере, часть краев которого совмещена с краями окончательного матричного изображения, причем неизменное матричное изображение представляет собой измененную, в соответствии с заранее заданным масштабом, часть изображения, спроецированного на блок светочувствительных элементов, а промежуточное матричное изображение представляет собой часть исходного изображения, трансформированную с обеспечением совпадения смежных краев матричных изображений, а расположенные между краями элементы промежуточного матричного изображения отображают информацию об усредненной яркости цветовой составляющей участков спроецированного на блок светочувствительных элементов изображения съемочной композиции, смещение которых относительно соответствующих элементов промежуточного матричного изображения возрастает в направлении от края неизменного матричного изображения к краю окончательного матричного изображения.In the particular case of implementing the method, a part of the film composition is used as an object, the image of which is projected onto the block of photosensitive elements together with the image of the object, and a full matrix image of the film composition is formed, made by combining the invariable matrix image, the intermediate matrix image and the final matrix image, according to at least a part of the edges of the invariable matrix image is aligned with the edges of the intermediate matrix image, at the edge at least, a part of the edges of which is aligned with the edges of the final matrix image, wherein the unchanged matrix image is a modified, in accordance with a predetermined scale, part of the image projected onto a block of photosensitive elements, and the intermediate matrix image is a part of the original image transformed with providing coincidence of adjacent edges of the matrix images, and the elements located between the edges of the intermediate matrix image display information about the average brightness of the color component of portions of the shooting composition projected onto the block of photosensitive image elements, the offset of which relative to the corresponding elements of the intermediate matrix image increases in the direction from the edge of the unchanged matrix image to the edge of the final matrix image.
Кроме того, в частном случае реализации способа последовательно формируют несколько исходных оптических изображений объекта и для каждого из исходных оптических изображений, формируют окончательное матричное изображение.In addition, in the particular case of the implementation of the method, several initial optical images of the object are sequentially formed, and for each of the initial optical images, the final matrix image is formed.
Кроме того, в частном случае реализации способа на исходном оптическом изображении распознают изображение функционально объединенной части, которую используют в качестве объекта.In addition, in the particular case of the method, the image of the functionally integrated part, which is used as an object, is recognized in the original optical image.
Возможность и варианты реализации способа поясняются чертежами.The possibility and implementation options of the method are illustrated by drawings.
На фиг.1 изображен вариант устройства, предназначенного для реализации способа, состоящий из блока (матрицы) светочувствительных элементов 1, объектива 2 и дальномера 3. На фиг.1 схематически изображены объект съемки 4 и ход лучей 5.Figure 1 shows a variant of the device designed to implement the method, consisting of a block (matrix) of the photosensitive elements 1, lens 2 and the range finder 3. Figure 1 schematically shows the
На фиг.2 представлено стилизованное исходное изображение объекта 4, полученное съемкой с использованием короткофокусного объектива с расстояния 3-5 м.Figure 2 presents a stylized original image of the
На фиг.3 представлено изображение объекта 4, полученное после обработки исходного изображения в соответствии с предложенным способом.Figure 3 presents the image of the
На фиг.4 представлено изображение исходного объекта, в которой яркость точек описывается двумя разрядами квантования и для каждой из ячеек, расположение которых соответствует расположению на исходной матрице, заданы координаты положения ячеек на аксонометрической проекции поверхности объекта.Figure 4 presents the image of the original object, in which the brightness of the points is described by two quantization bits and for each of the cells, the location of which corresponds to the location on the original matrix, the coordinates of the position of the cells on the axonometric projection of the surface of the object are set.
На фиг.5 представлена трансформированная матрица, в которой положение ячеек соответствует положению точек аксонометрической проекции, а незаполненные элементы заполнены цветами, соответствующими цветам расположенных рядом элементов.Figure 5 shows a transformed matrix in which the position of the cells corresponds to the position of the axonometric projection points, and the unfilled elements are filled with colors corresponding to the colors of the adjacent elements.
На фиг.6 представлено трансформированное изображение объекта, в котором расположение ячеек соответствует стандартному и регулярному расположению ячеек изображения исходного изображения.Figure 6 presents the transformed image of the object, in which the location of the cells corresponds to the standard and regular location of the cells of the image of the source image.
Способ реализуется следующим образом:The method is implemented as follows:
Первоначально, с помощью съемочной камеры (фотоаппарата), состоящей из блока (матрицы) светочувствительных элементов 1, объектива 2 и дальномера 3, формируют исходное изображение и одновременно определяют расстояния от участков видимой части объекта до объектива 2 съемочной камеры. В случае получения изображений статических объектов операции формирования изображения и определения расстояний могут быть разнесены во времени.Initially, with the help of a film camera (camera), consisting of a block (matrix) of photosensitive elements 1, lens 2 and range finder 3, the original image is formed and at the same time the distances from the portions of the visible part of the object to the lens 2 of the film camera are determined. In the case of obtaining images of static objects, the operations of image formation and determination of distances can be spaced in time.
Определение расстояний может быть осуществлено с использованием дальномера 3, например лазерного или ультразвукового сканера, и при существенном расстоянии от объектива до сканера в показания сканера вводится поправка на параллакс.The determination of distances can be carried out using a range finder 3, for example, a laser or ultrasound scanner, and with a significant distance from the lens to the scanner, a parallax correction is introduced into the scanner readings.
Указанные выше примеры не исчерпывают все возможные приемы, используемые для определения расстояний. Так, например, определение расположения точек объекта может осуществляться путем получения стереоизображений традиционным способом и использования для последующих трансформаций одного из изображений. В частных случаях, необходимая стереобаза может быть получена путем формирования нескольких изображений при смещении фотоаппарата фокальной плоскости или при формировании изображения в процессе смещения фотоаппарата. В последнем случае степень размытия участков изображения будет соответствовать расстоянию соответствующих участков объекта до объектива.The above examples do not exhaust all the possible tricks used to determine distances. So, for example, determining the location of the points of an object can be carried out by obtaining stereo images in the traditional way and using one of the images for subsequent transformations. In special cases, the necessary stereo base can be obtained by forming several images when the camera is shifted by the focal plane or when forming the image in the process of shifting the camera. In the latter case, the degree of blurring of the image sections will correspond to the distance of the corresponding sections of the object to the lens.
Кроме того, при последовательном изменении положения фокальной плоскости объектива и получении изображений с достаточно большим относительным отверстием (диафрагмой) объектива (при малых значениях диафрагменных чисел) расстояние может быть определено путем распознавания частей изображения, представляющих участки объекта с достаточной резкостью (находящихся в фокусе). В дальнейшем, на полученных изображениях выделяются участки, имеющие достаточную резкость, которые могут быть объединены с целью получения целостного изображения. Использование современных быстродействующих приводов объектива позволяет измерять расстояния с достаточной скоростью до момента формирования конечного кадра.In addition, by sequentially changing the position of the focal plane of the lens and obtaining images with a sufficiently large relative aperture (aperture) of the lens (for small values of aperture numbers), the distance can be determined by recognizing portions of the image representing portions of the object with sufficient sharpness (in focus). In the future, areas with sufficient sharpness that can be combined to obtain a complete image are highlighted on the obtained images. The use of modern high-speed lens drives allows you to measure distances at a sufficient speed until the final frame is formed.
В дальнейшем, по результатам определения расстояний формируется таблица расстояний, каждое их которых соответствует определенной точке изображения. При использовании цифровой техники для формирования изображения биты цветности каждого или заранее заданных пикселей могут дополняться битами расстояния соответствующих пикселям участков объекта.Further, according to the results of determining the distances, a table of distances is formed, each of which corresponds to a certain point in the image. When using digital technology for image formation, the color bits of each or predetermined pixels can be supplemented by distance bits corresponding to the pixel sections of the object.
На следующем этапе, на основании полученного изображения и измеренных расстояний формируется аксонометрическая проекция объекта, необходимая для формирования окончательного изображения.At the next stage, based on the received image and measured distances, an axonometric projection of the object is formed, which is necessary for the formation of the final image.
При формировании аксонометрического изображения в случае идеального объектива, представленного, например, в виде небольшого отверстия (апертуры), дисторсионные искажения, вносимые объективом, незначительны и могут не приниматься во внимание.When forming an axonometric image in the case of an ideal lens, presented, for example, in the form of a small hole (aperture), the distortion distortions introduced by the lens are insignificant and may not be taken into account.
В этом случае, в пределах погрешности измерения расстояний, информация о масштабировании изображения при съемке и измеренных расстояниях дает однозначное представление о положении точек объекта в полярной системе пространственных координат, где в качестве одной из осей, наиболее целесообразно задать главную оптическую ось объектива или прямую, проходящую перпендикулярно матрице через центра объектива. При этом следует отметить, что понятие прямой для целей пояснения операций реализации способа достаточно условно, так как при использовании призм, входящих в состав оптической системы фотоаппарата или в состав цветоделительных приспособлений, линия, проходящая через матрицу и центр объектива, будет прямой только с точки зрения наблюдателя, находящегося с внешней стороны объектива.In this case, within the error of measuring distances, information about image scaling during shooting and measured distances gives an unambiguous idea of the position of the points of the object in the polar spatial coordinate system, where as one of the axes, it is most advisable to set the main optical axis of the lens or a straight line passing perpendicular to the matrix through the center of the lens. It should be noted that the concept of a straight line for the purpose of explaining the operations of implementing the method is rather arbitrary, since when using prisms that are part of the optical system of the camera or color separating devices, the line passing through the matrix and the center of the lens will be straight only from the point of view an observer located on the outside of the lens.
В качестве второй оси отсчета углов в полярной системе координат наиболее целесообразно выбрать любую из осей, перпендикулярную главной оптической оси объектива и проходящую через внешнюю линзу объектива, от которой отсчитывается расстояние. Дополнительно, при использовании разнесенных в пространстве датчика расстояний и объектива могут быть введены поправки на параллакс.As the second axis of reference angles in the polar coordinate system, it is most appropriate to choose any of the axes perpendicular to the main optical axis of the lens and passing through the external lens of the lens, from which the distance is measured. Additionally, when using a distance-separated sensor and a lens, parallax corrections can be made.
Вся перечисленная информация дает однозначное представление о пространственном расположении точек объекта в полярной системе координат.All of the above information gives an unambiguous idea of the spatial arrangement of the points of the object in the polar coordinate system.
При определении расположения точек изображения объекта в аксонометрической проекции выбирается ось проецирования, которая не обязательно должна совпадать с главной оптической осью объектива и, путем перехода от полярной к декартовой (ортогональной) системе координат, формируются сведения об аксонометрической проекции. После или в процессе преобразования координат объекта из полярной в Декартову систему координат, сведения об одной из координат характеризующей глубину (или расстояние точек объекта до плоскости проецирования), исключается, так как она не содержит информацию, необходимую для реализации способа. Следует отметить, что прядок получения и обработки изображения не существенен с точки зрения достижения технического результата, так как, например, дальномерное устройство может быть дополнено устройством коррекции положения точки с учетом углов полярной системе координат и одновременного задания цветности точек по результатам формирования исходного изображения. Либо пространственное положение точек на аксонометрической проекции определяется непосредственно путем сканирования объекта несколькими параллельными лучами лазера, что целесообразно, например, при макросъемке объектов. В последнем случае расположение точек будет определено непосредственно в декартовой системе координат.When determining the location of the image points of the object in the axonometric projection, the projection axis is selected, which does not have to coincide with the main optical axis of the lens and, by switching from the polar to the Cartesian (orthogonal) coordinate system, information is generated about the axonometric projection. After or in the process of converting the coordinates of the object from the polar to Cartesian coordinate system, information about one of the coordinates characterizing the depth (or the distance of the points of the object to the projection plane) is excluded, since it does not contain the information necessary to implement the method. It should be noted that the procedure for obtaining and processing an image is not essential from the point of view of achieving a technical result, since, for example, a rangefinder can be supplemented with a device for correcting the position of a point, taking into account the angles of the polar coordinate system and simultaneously setting the color of the points according to the results of the formation of the original image. Or the spatial position of the points on the axonometric projection is determined directly by scanning the object with several parallel laser beams, which is advisable, for example, in macro photography of objects. In the latter case, the location of the points will be determined directly in the Cartesian coordinate system.
Ось проецирования должна проходить через объектив, так как в этом случае будет обеспечиваться формирование наиболее полного изображения объекта, представленного с виде аксонометрической проекции.The projection axis must pass through the lens, since in this case the formation of the most complete image of the object, presented with a view of axonometric projection, will be ensured.
Полученная информация о взаимном расположении точек объекта в дальнейшем используется для трансформации изображения таким образом, чтобы взаимное расположение точек объекта на аксонометрической проекции изображения полностью соответствовало взаимному изображению соответствующих точек на матричном изображении. Для осуществления трансформации задается масштаб или коэффициент масштабирования, в соответствии с которым определяется положение точек на промежуточном изображении. Указанный коэффициент масштабирования, необходимый в связи с тем, что расстояния между точками объекта на матричном изображении не равны расстояниям между точками аксонометрической проекции изображения объекта, целесообразно выбирать приближенно равным масштабу изображения наиболее композиционно значимой части объекта, например равным отношению расстояния между зрачками человека к расстоянию между зрачками на исходном изображении.The obtained information about the mutual arrangement of the points of the object is subsequently used to transform the image so that the relative position of the points of the object on the axonometric projection of the image fully corresponds to the mutual image of the corresponding points on the matrix image. To implement the transformation, a scale or a scaling factor is set, in accordance with which the position of the points in the intermediate image is determined. The specified scaling factor, necessary due to the fact that the distances between the points of the object on the matrix image are not equal to the distances between the points of the axonometric projection of the image of the object, it is advisable to choose approximately the same as the image scale of the most compositionally significant part of the object, for example, equal to the ratio of the distance between the pupils of a person and the distance between pupils in the original image.
В дальнейшем осуществляется трансформация изображения с учетом определенных координат точек на аксонометрической проекции и заданного коэффициента масштабирования.Subsequently, the image is transformed taking into account certain coordinates of points on an axonometric projection and a given scaling factor.
В случае, если формат представления окончательного матричного изображения обеспечивает возможность задания положения элементов матрицы, и их размеров, например при использовании растяжимой подложки, положение точек подложки приводится в соответствие с заданными для указанных точек координатами, после чего окончательное матричное изображение объекта считается сформированным. При этом происходит трансформация размеров и положения не только тех точек, для которых были заданы координаты, но и промежуточных точек, в соответствии со свойствами эластичной подложки.If the presentation format of the final matrix image provides the ability to specify the position of the matrix elements and their sizes, for example when using a stretchable substrate, the position of the substrate points is brought into line with the coordinates specified for the specified points, after which the final matrix image of the object is considered formed. In this case, the sizes and positions are transformed not only for those points for which coordinates were set, but also for intermediate points, in accordance with the properties of the elastic substrate.
В случае, если формат окончательного матричного изображения требует заранее определенного задания положения и размеров элементов матрицы, например, цифровой формат представления изображения в виде пикселей, после показанной выше трансформации изображения, свойства элементов окончательного матричного изображения определяются на основании свойств элементов трансформированного изображения таким образом, чтобы окончательное и трансформированное изображения с максимально возможной точностью соответствовали друг другу.In the event that the format of the final matrix image requires a predetermined setting of the position and size of the matrix elements, for example, the digital format for representing the image in the form of pixels, after the image transformation shown above, the properties of the elements of the final matrix image are determined based on the properties of the elements of the transformed image so that the final and transformed images corresponded to each other as accurately as possible.
Указанное соответствие достигается, например, тем, что для каждого из элементов окончательного матричного изображения яркость элемента определяется путем усреднения яркости элементов трансформированного изображения, участки которых находятся в пределах соответствующего элемента окончательного матричного изображения.This correspondence is achieved, for example, by the fact that for each of the elements of the final matrix image, the brightness of the element is determined by averaging the brightness of the elements of the transformed image, the sections of which are within the corresponding element of the final matrix image.
В простейшем случае, после трансформации эластичной подложки производится копирование изображения, образованного на эластичной подложке, на матричный носитель информации, например, на фотобумагу, матричное изображение на которой формируется за счет использования светочувствительных зерен галогенидов серебра.In the simplest case, after the transformation of the elastic substrate, the image formed on the elastic substrate is copied to a matrix medium, for example, photo paper, a matrix image on which is formed by using photosensitive grains of silver halides.
В ряде случаев, например при фотографировании композиций, содержащих дороги, рельсовые полотна, и объектов, находящихся на значительном расстоянии друг от друга, нецелесообразно осуществлять трансформацию всей композиции. Кроме того, для удаленных на расстояние более 10 метров от объектива элементов съемочной композиции коррекция перспективы, как правило, не требуется, так как объекты простой формы в этом случае получаются с незначительными перспективными искажениями, а протяженные объекты изображаются в достаточной степени достоверно и в соответствии с особенностями визуального восприятия. В этом случае на композиции может быть выделен функционально самостоятельный объект, например автомобиль или здание, и трансформацию композиции осуществляют только для указанного объекта и прилегающего к нему изображения. Возможность распознавания на изображении функционально самостоятельного объекта раскрыта, например, в патенте США №6728401 от 27.04.2004 и не является предметом настоящего изобретения.In some cases, for example, when photographing compositions containing roads, rail tracks, and objects located at a considerable distance from each other, it is impractical to transform the entire composition. In addition, for the elements of the shooting composition that are more than 10 meters away from the lens, perspective correction is usually not required, since simple-shaped objects in this case are obtained with insignificant perspective distortions, and extended objects are depicted sufficiently reliably and in accordance with features of visual perception. In this case, a functionally independent object, for example, a car or a building, can be allocated to the composition, and the composition is transformed only for the specified object and the image adjacent to it. The ability to recognize a functionally independent object in an image is disclosed, for example, in US Pat. No. 6,728,401 of 04/27/2004 and is not the subject of the present invention.
Также, в ряде случаев, можно и нужно трансформировать изображение композиции частично, так как не всегда сформированное на матрице светочувствительных элементов изображение дает полную информацию о цвете (яркости отдельных цветовых составляющих) точек объекта, которые должны быть отражены на аксонометрической проекции.Also, in some cases, it is possible and necessary to transform the image of the composition partially, since the image that is not always formed on the matrix of photosensitive elements gives complete information about the color (brightness of individual color components) of the object’s points, which should be reflected on the axonometric projection.
В этом случае на исходном изображении задают объект, подлежащий трансформации, а также неизменную и промежуточную части, после чего формируют полное матричное изображение съемочной композиции, выполненное путем совмещения неизменного матричного изображения, промежуточного матричного изображения и окончательного матричного изображения, где, по крайней мере, часть краев неизменного матричного изображения совмещена с краями промежуточного матричного изображения, по крайней мере, часть краев которого совмещена с краями окончательного матричного изображения, причем неизменное матричное изображение представляет собой измененную, в соответствии с заранее заданным масштабом часть изображения, спроецированного на блок светочувствительных элементов, а промежуточное матричное изображение представляет собой часть исходного изображения, трансформированную с обеспечением совпадения смежных краев матричных изображений, а расположенные между краями элементы промежуточного матричного изображения отображают информацию об усредненной яркости цветовой составляющей участков спроецированного на блок (матрицу) светочувствительных элементов изображения съемочной композиции, смещение которых относительно соответствующих элементов промежуточного матричного изображения возрастает в направлении от края неизменного матричного изображения к краю окончательного матричного изображения.In this case, the object to be transformed, as well as the invariable and intermediate parts are set on the original image, after which a full matrix image of the shooting composition is formed, made by combining the invariable matrix image, the intermediate matrix image and the final matrix image, where at least part the edges of the constant matrix image is aligned with the edges of the intermediate matrix image, at least part of the edges of which is aligned with the edges of the final a matrix image, wherein an unchanged matrix image is a modified part of the image projected onto a block of photosensitive elements in accordance with a predetermined scale, and the intermediate matrix image is a part of the original image transformed to ensure that adjacent edges of the matrix images coincide, and the elements located between the edges intermediate matrix images display information about the average brightness of the color component of the projected onto the block (matrix) of the photosensitive image elements of the shooting composition, the displacement of which relative to the corresponding elements of the intermediate matrix image increases in the direction from the edge of the unchanged matrix image to the edge of the final matrix image.
Для создания целостной картины съемочной композиции целесообразно корректировать объекты, расположенные на расстоянии менее 8 метров от объектива, сохранять неизменным изображение объектов, удаленных на расстояние более 10 метров, и формировать промежуточную часть изображения для создания целостной картины съемочной композиции.To create a holistic picture of the film composition, it is advisable to correct objects located at a distance of less than 8 meters from the lens, to keep the image of objects remote to a distance of more than 10 meters unchanged, and to form an intermediate part of the image to create a holistic picture of the film composition.
При использовании эластичной подложки для формирования комбинированного изображения неподвижно закрепляют часть подложки, соответствующую неизменной части композиции, осуществляют трансформацию изображения объекта с использованием указанных выше операций, в результате чего происходит трансформация промежуточной части композиции, после чего полученное изображение используют либо самостоятельно либо преобразуют к требуемому виду с использованием раскрытых выше операций.When using an elastic substrate for forming a combined image, the part of the substrate corresponding to the invariable part of the composition is fixedly fixed, the image of the object is transformed using the above operations, as a result of which the intermediate part of the composition is transformed, after which the resulting image is used either independently or is converted to the desired form with using the operations disclosed above.
Предложенный способ может быть использован не только в фотографии, но и для формирования телевизионного изображения, состоящего их нескольких последовательно снятых кадров. В этом случае скорректированное изображение формируется для каждого из кадров.The proposed method can be used not only in photography, but also for the formation of a television image, consisting of several successively shot frames. In this case, the corrected image is formed for each of the frames.
Claims (15)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2004120046/09A RU2305320C2 (en) | 2004-07-02 | 2004-07-02 | Method for creating matrix image of an object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2004120046/09A RU2305320C2 (en) | 2004-07-02 | 2004-07-02 | Method for creating matrix image of an object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2004120046A RU2004120046A (en) | 2006-01-10 |
| RU2305320C2 true RU2305320C2 (en) | 2007-08-27 |
Family
ID=35871875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2004120046/09A RU2305320C2 (en) | 2004-07-02 | 2004-07-02 | Method for creating matrix image of an object |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2305320C2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2451985C2 (en) * | 2007-12-28 | 2012-05-27 | Шарп Кабусики Кайся | Display panel with built-in optical sensors and display device based on said panel |
| WO2013016526A1 (en) * | 2011-07-28 | 2013-01-31 | Kla-Tencor Corporation | Detecting defects on a wafer |
| US8467047B2 (en) | 2009-01-26 | 2013-06-18 | Kla-Tencor Corp. | Systems and methods for detecting defects on a wafer |
| US9008410B2 (en) | 2013-03-13 | 2015-04-14 | Kla-Tencor Corporation | Single die inspection on a dark field inspection tool |
| RU2684480C2 (en) * | 2014-06-30 | 2019-04-09 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Non-parametric microfacet factor models for isotropic bidirectional reflectance distribution functions |
-
2004
- 2004-07-02 RU RU2004120046/09A patent/RU2305320C2/en not_active IP Right Cessation
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2451985C2 (en) * | 2007-12-28 | 2012-05-27 | Шарп Кабусики Кайся | Display panel with built-in optical sensors and display device based on said panel |
| US8467047B2 (en) | 2009-01-26 | 2013-06-18 | Kla-Tencor Corp. | Systems and methods for detecting defects on a wafer |
| US8605275B2 (en) | 2009-01-26 | 2013-12-10 | Kla-Tencor Corp. | Detecting defects on a wafer |
| US9880107B2 (en) | 2009-01-26 | 2018-01-30 | Kla-Tencor Corp. | Systems and methods for detecting defects on a wafer |
| US10605744B2 (en) | 2009-01-26 | 2020-03-31 | Kla-Tencor Corp. | Systems and methods for detecting defects on a wafer |
| WO2013016526A1 (en) * | 2011-07-28 | 2013-01-31 | Kla-Tencor Corporation | Detecting defects on a wafer |
| US9008410B2 (en) | 2013-03-13 | 2015-04-14 | Kla-Tencor Corporation | Single die inspection on a dark field inspection tool |
| RU2684480C2 (en) * | 2014-06-30 | 2019-04-09 | МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи | Non-parametric microfacet factor models for isotropic bidirectional reflectance distribution functions |
| US10311163B2 (en) | 2014-06-30 | 2019-06-04 | Microsoft Technology Licensing, Llc | Non-parametric microfacet factor models for isotropic bidirectional reflectance distribution functions |
Also Published As
| Publication number | Publication date |
|---|---|
| RU2004120046A (en) | 2006-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3356887B1 (en) | Method for stitching together images taken through fisheye lens in order to produce 360-degree spherical panorama | |
| CN103973989B (en) | Obtain the method and system of high-dynamics image | |
| JP4065488B2 (en) | 3D image generation apparatus, 3D image generation method, and storage medium | |
| JP5167279B2 (en) | Method and apparatus for quantitative three-dimensional imaging | |
| JP4699995B2 (en) | Compound eye imaging apparatus and imaging method | |
| US6798406B1 (en) | Stereo images with comfortable perceived depth | |
| JP5224721B2 (en) | Video projection system | |
| JP2020126245A (en) | 3d light field camera and image capturing method | |
| US20070248260A1 (en) | Supporting a 3D presentation | |
| JP2010528499A (en) | Single lens, single sensor 3D imaging device with central aperture opening to obtain camera position | |
| EP2715669A1 (en) | Systems and methods for alignment, calibration and rendering for an angular slice true-3d display | |
| CN107343130A (en) | High dynamic imaging module based on DMD dynamic light splitting | |
| JPH06194758A (en) | Method and apparatus for formation of depth image | |
| AU6476896A (en) | Method and apparatus for three-dimensional photography | |
| KR20120055670A (en) | Method and system for crosstalk and distortion corrections for three-dimensional (3d) projection | |
| JP3907008B2 (en) | Method and means for increasing the depth of field for a photograph | |
| JP2004318612A (en) | Method, device and program for synthesizing image, and method, device, and program for rendering three-dimensional model | |
| JP5784395B2 (en) | Imaging device | |
| JP2004015205A (en) | Multi-projection system and correction data acquisition method in multi-projection system | |
| JP4193292B2 (en) | Multi-view data input device | |
| RU2305320C2 (en) | Method for creating matrix image of an object | |
| CN117097872A (en) | Automatic trapezoid correction system and method for projection equipment | |
| US20140184861A1 (en) | Accurate plenoptic rendering with defocus blur | |
| JPH09501507A (en) | One stand three-dimensional photograph printer and three-dimensional photograph printing method | |
| WO1994000798A1 (en) | Method and equipment for printing 3-d stereograph |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20070703 |