RU2816504C1 - Method of obtaining information on shape and dimensions of three-dimensional object from its two-dimensional image - Google Patents
Method of obtaining information on shape and dimensions of three-dimensional object from its two-dimensional image Download PDFInfo
- Publication number
- RU2816504C1 RU2816504C1 RU2022135333A RU2022135333A RU2816504C1 RU 2816504 C1 RU2816504 C1 RU 2816504C1 RU 2022135333 A RU2022135333 A RU 2022135333A RU 2022135333 A RU2022135333 A RU 2022135333A RU 2816504 C1 RU2816504 C1 RU 2816504C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- matrix
- dimensional
- values
- segments
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000005315 distribution function Methods 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 5
- 238000005286 illumination Methods 0.000 claims 1
- 238000003672 processing method Methods 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
Description
Изобретение относится к области обработки изображений и фотограмметрии и может быть использовано для предварительной оценки формы и размеров объекта по одному его двухмерному изображению, а также для 3D-сканирования и создания 3D-моделей объектов.The invention relates to the field of image processing and photogrammetry and can be used for preliminary assessment of the shape and size of an object from one of its two-dimensional images, as well as for 3D scanning and creating 3D models of objects.
В настоящее время широкое распространение получили видеокамеры различных диапазонов спектра, применение которых возможно для решения задач фиксации событий, наблюдения за объектами в режиме реального времени, обнаружения и распознавания и т.п. Одним из актуальнейших направлений в области обработки получаемых от камер изображений является реконструкция трехмерных сцен, отображенных на них, о чем свидетельствует вовлеченность мировых лидеров в данной отрасли [1, 2] и простых любителей [3]. Цели, которые преследуются разработчиками при этом различны: от развития и продвижения индустрии развлечений до применения в военной сфере.Currently, video cameras of various spectral ranges are widely used, the use of which can be used to solve problems of recording events, monitoring objects in real time, detection and recognition, etc. One of the most current trends in the field of processing images received from cameras is the reconstruction of three-dimensional scenes displayed on them, as evidenced by the involvement of world leaders in this industry [1, 2] and ordinary amateurs [3]. The goals pursued by developers are different: from the development and promotion of the entertainment industry to military applications.
Известен способ визуализации 3D-портрета человека с измененным освещением и вычислительное устройство для него [4], заключающийся в том, что принимают ввод, определяющий позу камеры и условия освещения; осуществляют растеризацию скрытых дескрипторов 3D-облака точек, причем 3D-облако точек создают на основе последовательности изображений, отснятых камерой с мигающей вспышкой при перемещений камеры вокруг верхней части тела человека, при этом последовательность изображений содержит набор изображений, снятых со вспышкой, и набор изображений, снятых без вспышки; обрабатывают растеризованные изображения глубокой нейронной сетью для прогнозирования альбедо, нормалей, карт теней окружающей среды и маски сегментации для принятой позы камеры, и объединяют спрогнозированные альбедо, нормали, карты теней окружающей среды и маску сегментации в 3D-портрет с измененным освещением в соответствии с условиями освещения.There is a known method for visualizing a 3D portrait of a person with changed lighting and a computing device for it [4], which consists in receiving input that determines the camera pose and lighting conditions; carry out rasterization of latent descriptors of the 3D point cloud, wherein the 3D point cloud is created based on a sequence of images captured by a camera with a flashing flash when the camera moves around the upper body of a person, wherein the sequence of images contains a set of images taken with a flash and a set of images, taken without flash; process rasterized images with a deep neural network to predict albedo, normals, environmental shadow maps, and a segmentation mask for an assumed camera pose, and combine the predicted albedo, normals, environmental shadow maps, and segmentation mask into a 3D portrait with modified lighting according to lighting conditions .
Недостатками данного способа являются:The disadvantages of this method are:
- необходимость получения множества двухмерных изображений объекта при перемещении камеры вокруг него, что свидетельствует о необходимости нахождения объекта в неподвижном состоянии, а также применения механизмов перемещения камеры;- the need to obtain multiple two-dimensional images of an object when moving the camera around it, which indicates the need to keep the object in a stationary state, as well as the use of camera movement mechanisms;
- создание специальных условий освещенности объекта, что является невозможным при получении двумерного изображения объекта в полевых условиях;- creation of special lighting conditions for the object, which is impossible when obtaining a two-dimensional image of the object in the field;
- применение глубоких нейросетей для прогнозирования альбедо, нормалей, карт теней окружающей среды и маски сегментации, что существенно замедляет процесс получения результата.- the use of deep neural networks to predict albedo, normals, environmental shadow maps and segmentation masks, which significantly slows down the process of obtaining the result.
Известен способ реконструкции 3D-модели объекта [5], согласно которому получают доступный набор натурных изображений объекта, на котором выполняют обучение сверточной нейронной сети. Первоначально создают множество текущих версий 3D-модели объекта на основе полученного набора натурных изображений объекта, формируют из каждой текущей версии 3D-модели объекта наборы изображений, обнаруживают объект на наборах изображений с использованием обученной сверточной нейронной сети. Вычисляют текущие значения вероятности обнаружения объекта на наборах изображений, выбирают среди вычисленных текущих значений вероятности обнаружения объекта М>2 наибольших значений вероятности обнаружения объекта и М соответствующих им текущих версий 3D-модели объекта. Из каждой выбранной версии 3D-модели объекта создают множество текущих версий 3D-модели объекта путем изменения не менее одного параметра ее формы, геометрических размеров, цветовых текстур и отражающей способности поверхности. Повторно формируют из каждой текущей версии 3D-модели объекта наборы изображений и выполняют последующие действия до тех пор, пока возрастает значение хотя бы одного из наибольших значений вероятности обнаружения объекта, иначе принимают в качестве реконструированной 3D-модели объекта текущую версию 3D-модели объекта с наибольшим значением вероятности обнаружения объекта.There is a known method for reconstructing a 3D model of an object [5], according to which an accessible set of full-scale images of the object is obtained, on which a convolutional neural network is trained. Initially, many current versions of the 3D model of the object are created based on the resulting set of full-scale images of the object, sets of images are formed from each current version of the 3D model of the object, and the object is detected on the sets of images using a trained convolutional neural network. The current values of the probability of detecting an object on sets of images are calculated, and among the calculated current values of the probability of detecting an object, M>2 are selected from the highest values of the probability of detecting an object and M corresponding current versions of the 3D model of the object. From each selected version of the 3D model of an object, many current versions of the 3D model of the object are created by changing at least one parameter of its shape, geometric dimensions, color textures and surface reflectivity. Sets of images are re-formed from each current version of the 3D model of the object and subsequent actions are performed until the value of at least one of the largest values of the probability of detecting the object increases, otherwise the current version of the 3D model of the object with the highest is taken as the reconstructed 3D model of the object the value of the probability of detecting an object.
Недостатками данного способа являются:The disadvantages of this method are:
- необходимость получения набора натурных изображений объекта, что не всегда является возможным, например, в условиях ведения боевых действий;- the need to obtain a set of full-scale images of the object, which is not always possible, for example, in combat conditions;
- применение нейросетей для анализа изображений, для чего требуется их предварительное обучение, требующее временных затрат;- the use of neural networks for image analysis, which requires preliminary training, which requires time;
- многократное создание и коррекция 3D-моделей объекта до их максимального совпадения с полученными изображениями, для чего требуется высокопроизводительные ЭВМ.- repeated creation and correction of 3D models of an object until they closely match the obtained images, which requires high-performance computers.
Наиболее близким по технической сущности к предлагаемому изобретению является способ восстановления формы трехмерного объекта по его двухмерным изображениям [6], заключающийся в регистрации под разными ракурсами двухмерных изображений объекта и по этим зарегистрированным изображениям восстановлении трехмерной формы объекта. Контролируемую область пространства разбивают на малые объемы - элементы разрешения, нумеруют их и фиксируют их пространственные координаты. На каждом зарегистрированном изображении выделяют область, занятую непосредственно изображением объекта - область изображения объекта, расчетным путем определяют положения всех элементов разрешения на плоскостях зарегистрированных изображений. Для каждого зарегистрированного изображения выделяют номера тех элементов разрешения, изображения которых попали в область изображения объекта, выбирают те номера элементов разрешения, которые оказались выделенными одновременно для всех зарегистрированных изображений. Восстанавливают форму трехмерного объекта как совокупность элементов разрешения с выбранными номерами.The closest in technical essence to the proposed invention is a method for restoring the shape of a three-dimensional object from its two-dimensional images [6], which consists in registering two-dimensional images of the object from different angles and restoring the three-dimensional shape of the object from these registered images. The controlled area of space is divided into small volumes - resolution elements, they are numbered and their spatial coordinates are recorded. On each registered image, an area occupied directly by the image of the object is selected - the area of the object image; the positions of all resolution elements on the planes of the registered images are determined by calculation. For each registered image, the numbers of those resolution elements are selected, the images of which fell into the object image area, and those numbers of resolution elements are selected that were allocated simultaneously for all registered images. The shape of a three-dimensional object is restored as a set of resolution elements with selected numbers.
Недостатками данного способа являются:The disadvantages of this method are:
- необходимость получения нескольких изображений объекта с различных ракурсов для более точного восстановления его формы;- the need to obtain several images of an object from different angles to more accurately restore its shape;
- точность воспроизведения действительной формы объекта существенно зависит от количества выбранных элементов решения: так из описания следует, что если требуется максимальная точность определения формы объекта, то в качестве элемента решения следует принять пиксель изображения, что свидетельствует о необходимости обработки большого массива данных на полученных изображениях и об увеличении времени, затраченного на это.- the accuracy of reproducing the actual shape of an object depends significantly on the number of selected solution elements: so from the description it follows that if maximum accuracy in determining the shape of an object is required, then an image pixel should be taken as a decision element, which indicates the need to process a large array of data on the obtained images and about increasing the time spent on this.
Технической задачей данного изобретения является разработка способа получения первичной информации о форме и размерах трехмерного объекта по одному его двухмерному изображению в течение времени, не оказывающего существенного влияния на оперативность получения данных, без применения технологий с использованием нейросетей и высокопроизводительных ЭВМ.The technical objective of this invention is to develop a method for obtaining primary information about the shape and size of a three-dimensional object from one of its two-dimensional images within a time period that does not have a significant impact on the efficiency of obtaining data, without the use of technologies using neural networks and high-performance computers.
Особенностью и преимуществами заявляемого способа являются: возможность использования всего одного двухмерного изображения объекта для получения информации о его форме и размерах, использование в качестве основного источника информации яркости пикселей получаемого изображения объекта на подстилающем фоне, а также дальности до объекта, высокая скорость обработки информации и получения результатов ввиду отсутствия громоздких математических вычислений, низкие требования к производительности ЭВМ по причине выполнения аналитических расчетов.The features and advantages of the proposed method are: the ability to use just one two-dimensional image of an object to obtain information about its shape and size, the use as the main source of information of the brightness of the pixels of the resulting image of the object on the underlying background, as well as the distance to the object, high speed of information processing and acquisition results due to the absence of cumbersome mathematical calculations, low requirements for computer performance due to the performance of analytical calculations.
Сущность предлагаемого изобретения заключается в последовательной обработке получаемого изображения до достижения ожидаемого результата, как это показано на блок-схеме алгоритма на фиг.1 в следующем порядке.The essence of the proposed invention lies in sequential processing of the resulting image until the expected result is achieved, as shown in the flowchart of the algorithm in Fig. 1 in the following order.
A. Получение исходных данных, представленных двухмерным изображением объекта на подстилающем фоне, полученным с помощью матричного фотоприемника, расстоянием до объекта, полученным от как минимум одного лазерного дальномера, углом падения света на объект от источника освещения относительно места съемки объекта, параметрами матричного фотоприемника, с помощью которого получено изображение: углом обзора, количеством пикселей в строках и столбцах матрицы.A. Obtaining initial data, represented by a two-dimensional image of an object on the underlying background, obtained using a matrix photodetector, the distance to the object obtained from at least one laser rangefinder, the angle of incidence of light on the object from the light source relative to the location of the object, the parameters of the matrix photodetector, with with which the image was obtained: viewing angle, number of pixels in the rows and columns of the matrix.
Б. Определение объекта на подстилающем фоне с помощью стандартных алгоритмов выделения контуров и цветового и контрастного преобразований изображения.B. Identification of an object on the underlying background using standard algorithms for contour extraction and color and contrast image transformations.
B. Проведение цветовой сегментации полученного изображения объекта и нумерация полученных цветовых сегментов для последовательного проведения расчетов по каждому из них.B. Carrying out color segmentation of the resulting image of the object and numbering the resulting color segments for sequential calculations for each of them.
Г. Представление полученных изображений цветовых сегментов в виде матриц значений яркости пикселей.D. Representation of the resulting images of color segments in the form of matrices of pixel brightness values.
Д. Определение фактического размера части картинной плоскости, отображаемой одним пикселем получаемого изображения на данном расстоянии по формуле:D. Determination of the actual size of the part of the picture plane displayed by one pixel of the resulting image at a given distance using the formula:
где L - расстояние от камеры до объекта, м;where L is the distance from the camera to the object, m;
δ - угол обзора камеры, градус;δ - camera viewing angle, degree;
Nпикс.L - количество пикселей в матричном фотоприемнике по его длине, шт. N pixels.L - number of pixels in the matrix photodetector along its length, pcs.
Е. Задание функции распределения света от источника освещения в плоскости объекта для любого одного столбца матрицы изображения, которое затем используется при расчетах для всех других столбцов.E. Specifying the distribution function of light from a lighting source in the object plane for any one column of the image matrix, which is then used in calculations for all other columns.
Солнечный свет принимается в расчетах равномерно распределенным по плоской поверхности, свет от близко расположенного точечного источника принимается распределенным по плоской поверхности по нормальному закону.In calculations, sunlight is assumed to be uniformly distributed over a flat surface; light from a nearby point source is assumed to be distributed over a flat surface according to the normal law.
Ж. Выполнение повторяющихся для каждого от первого до последнего столбца матрицы изображения сегмента расчетов в следующем порядке:G. Perform repeated calculations for each segment image matrix from the first to the last column in the following order:
Ж.1. Определение реального распределения света в столбце матрицы изображения в плоскости объекта по яркости рассматриваемых пикселей;G.1. Determination of the real distribution of light in a column of the image matrix in the object plane based on the brightness of the pixels in question;
Ж.2. Определение процента несоответствия между расчетными значениями яркости пикселей и их фактическими значениями по формуле:G.2. Determining the percentage of discrepancy between the calculated pixel brightness values and their actual values using the formula:
где IР - расчетное значение яркости пикселя, относительные единицы;where I P is the calculated value of pixel brightness, relative units;
Iф - фактическое значение яркости пикселя, относительные единицы.I f - actual pixel brightness value, relative units.
Соответственно, если полученные значения больше 100%, то расстояние до точки объекта в данной области пространства меньше полученного от лазерного дальномера, если меньше, то расстояние до точки объекта больше;Accordingly, if the obtained values are greater than 100%, then the distance to the object point in a given area of space is less than that obtained from the laser rangefinder; if less, then the distance to the object point is greater;
Ж.3. Определение расстояний от камеры до каждой точки объекта в картинной плоскости осуществляется по формуле:G.3. Determining the distances from the camera to each point of the object in the picture plane is carried out using the formula:
где nпикс. - номер пикселя в столбце;where n pixels. - pixel number in the column;
Еф.пикс. - фактическое распределение яркости по пикселям столбца матрицы изображения, относительные единицы.E f.pix. - actual brightness distribution across pixels of the image matrix column, relative units.
3. Совмещение полученных результатов расчетов для столбцов матрицы изображения сегмента с аналогичными результатами для других сегментов в соответствии с их номерами в матрицу значений дальности до объекта с количеством строк и столбцов, соответствующих исходному изображению.3. Combining the obtained calculation results for the columns of the segment image matrix with similar results for other segments in accordance with their numbers into a matrix of distance values to the object with the number of rows and columns corresponding to the original image.
Построение графика поверхности по полученным расчетным значениям и вывод его на экран ЭВМ дают наглядное представление о форме и размерах исследуемого на изображении объекта. В качестве примера реализации заявляемого изобретения использовался стандартный 3D-объект программного продукта Blender, двухмерное изображение которого показано на фиг. 2, источник освещения задан как точечный, размещенный на одном уровне с камерой наблюдения. Результат обработки данного изображения по указанному алгоритму показан на фиг. 3 в виде точечного графика поверхности.Plotting a surface graph based on the obtained calculated values and displaying it on a computer screen gives a visual representation of the shape and size of the object being examined in the image. As an example of the implementation of the claimed invention, a standard 3D object of the Blender software product was used, a two-dimensional image of which is shown in Fig. 2, the light source is set as a point one, located at the same level as the surveillance camera. The result of processing this image using the specified algorithm is shown in Fig. 3 in the form of a scatter plot of the surface.
ИСТОЧНИКИ ИНФОРМАЦИИINFORMATION SOURCES
1. Официальный сайт Массачусетского технологического института США. [Электронный ресурс] URL: http://mit.edu/ (дата обращения 01.11.2022).1. Official website of the Massachusetts Institute of Technology, USA. [Electronic resource] URL: http://mit.edu/ (access date 11/01/2022).
2. Официальный сайт экосистемы Meta. [Электронный ресурс] URL: http://meta.com/ (дата обращения 31.10.2022).2. Official website of the Meta ecosystem. [Electronic resource] URL: http://meta.com/ (access date 10/31/2022).
3. Информационный сайт [Электронный ресурс] URL: http://habr.com/ (дата обращения 02.11.2022).3. Information site [Electronic resource] URL: http://habr.com/ (access date 11/02/2022).
4. RU №2757563, 2021.4. RU No. 2757563, 2021.
5. RU №2779271, 2022.5. RU No. 2779271, 2022.
6. RU №2653097, 2018.6. RU No. 2653097, 2018.
Claims (1)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2816504C1 true RU2816504C1 (en) | 2024-04-01 |
Family
ID=
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2653097C1 (en) * | 2017-07-05 | 2018-05-07 | Марина Витальевна Самойленко | Method for restoring the form of a three-dimensional object by its two-dimensional images |
| US20180218513A1 (en) * | 2017-02-02 | 2018-08-02 | Intel Corporation | Method and system of automatic object dimension measurement by using image processing |
| RU2757563C1 (en) * | 2021-02-19 | 2021-10-18 | Самсунг Электроникс Ко., Лтд. | Method for visualizing a 3d portrait of a person with altered lighting and a computing device for it |
| RU2779271C2 (en) * | 2020-11-12 | 2022-09-05 | Акционерное общество "Концерн радиостроения "Вега" | Method for reconstruction of 3d-model of object |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180218513A1 (en) * | 2017-02-02 | 2018-08-02 | Intel Corporation | Method and system of automatic object dimension measurement by using image processing |
| RU2653097C1 (en) * | 2017-07-05 | 2018-05-07 | Марина Витальевна Самойленко | Method for restoring the form of a three-dimensional object by its two-dimensional images |
| RU2779271C2 (en) * | 2020-11-12 | 2022-09-05 | Акционерное общество "Концерн радиостроения "Вега" | Method for reconstruction of 3d-model of object |
| RU2757563C1 (en) * | 2021-02-19 | 2021-10-18 | Самсунг Электроникс Ко., Лтд. | Method for visualizing a 3d portrait of a person with altered lighting and a computing device for it |
Non-Patent Citations (1)
| Title |
|---|
| Ozan ARSLAN. et al. "3D Object Reconstruction from a Single Image", International Journal of Environment and Geoinformation 1 (1-3), c. 21-28, опубл. 2014. Bo Yang. et al. "Dense 3D Object Reconstruction from a Single Depth View", IEEE опубл. 23.08.2018. Найдено в сети Интернет [01.08.2023] URL: https://arxiv.org/pdf/1802.00411.pdf. * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Clapuyt et al. | Reproducibility of UAV-based earth topography reconstructions based on Structure-from-Motion algorithms | |
| CA3040002C (en) | A device and method for obtaining distance information from views | |
| US11361459B2 (en) | Method, device and non-transitory computer storage medium for processing image | |
| CN110998659B (en) | Image processing system, image processing method, and program | |
| RU2617557C1 (en) | Method of exposure to virtual objects of additional reality | |
| WO2020155792A1 (en) | Pupil positioning method and apparatus, vr/ar apparatus and computer readable medium | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| US20100002910A1 (en) | Method and Apparatus for Developing Synthetic Three-Dimensional Models from Imagery | |
| CN109033989B (en) | Target identification method and device based on three-dimensional point cloud and storage medium | |
| CN106524909B (en) | Three-dimensional image acquisition method and device | |
| US20230394743A1 (en) | Sub-pixel data simulation system | |
| CN112200035B (en) | Image acquisition method, device and vision processing method for simulating crowded scene | |
| CN109977834B (en) | Method and device for segmenting human hand and interactive object from depth image | |
| US20230281913A1 (en) | Radiance Fields for Three-Dimensional Reconstruction and Novel View Synthesis in Large-Scale Environments | |
| US20210065336A1 (en) | Method for generating a reduced-blur digital image | |
| WO2021108626A1 (en) | System and method for correspondence map determination | |
| CN113686314A (en) | Monocular water surface target segmentation and monocular distance measurement method of shipborne camera | |
| CN116883588A (en) | Method and system for quickly reconstructing three-dimensional point cloud under large scene | |
| Suma et al. | Evaluation of the effectiveness of HDR tone-mapping operators for photogrammetric applications | |
| CN116452757B (en) | Human body surface reconstruction method and system under complex scene | |
| RU2816504C1 (en) | Method of obtaining information on shape and dimensions of three-dimensional object from its two-dimensional image | |
| JP2019185178A (en) | Information processing apparatus, information processing method and program | |
| CN109166176B (en) | Three-dimensional face image generation method and device | |
| Song et al. | Advanced underwater image restoration in complex illumination conditions | |
| CN114757984A (en) | Scene depth estimation method and device of light field camera |