RU2791081C2 - Method of three-dimensional object reconstruction - Google Patents
Method of three-dimensional object reconstruction Download PDFInfo
- Publication number
- RU2791081C2 RU2791081C2 RU2021122379A RU2021122379A RU2791081C2 RU 2791081 C2 RU2791081 C2 RU 2791081C2 RU 2021122379 A RU2021122379 A RU 2021122379A RU 2021122379 A RU2021122379 A RU 2021122379A RU 2791081 C2 RU2791081 C2 RU 2791081C2
- Authority
- RU
- Russia
- Prior art keywords
- images
- points
- dimensional
- features
- predetermined
- Prior art date
Links
Images
Abstract
Description
Настоящее раскрытие относится к способу трехмерной реконструкции объекта, к системе обработки данных, содержащей средство для выполнения упомянутого способа, к компьютерной программе, содержащей инструкции, которые побуждают компьютер выполнять способ, и к компьютерно-читаемому носителю, содержащему инструкции, которые побуждают компьютер выполнять способ.The present disclosure relates to a method for 3D reconstruction of an object, to a data processing system containing means for performing said method, to a computer program containing instructions that cause a computer to perform the method, and to a computer-readable medium containing instructions that cause the computer to perform the method.
В машинном зрении и компьютерной графике трехмерные реконструкции реализуют воспроизведение формы и внешнего вида реальных объектов. Чтобы достигнуть этой цели, цифровые трехмерные модели реальных объектов создаются посредством множества методик. В качестве одной из этих методик широко используется современная фотограмметрическая методика, которая проводит измерения от фотографий, чтобы воссоздать точные позиции точек поверхности реальных объектов.In machine vision and computer graphics, 3D reconstructions reproduce the shape and appearance of real objects. To achieve this goal, digital three-dimensional models of real objects are created through a variety of techniques. As one of these techniques, the modern photogrammetric technique is widely used, which takes measurements from photographs in order to recreate the exact positions of points on the surface of real objects.
Типичный способ фотограмметрии для реконструкции реального объекта может содержать следующие этапы.A typical photogrammetry method for reconstructing a real object may include the following steps.
Сначала множество фотоизображений реконструируемого объекта извлекается камерой или камерами, одновременно или в разное время съемки, с разных положений камер, которые являются комбинацией позиции и ориентации камеры.First, a plurality of photographic images of the reconstructed object are taken by the camera or cameras, simultaneously or at different shooting times, from different camera positions, which are a combination of camera position and orientation.
После этого характерные точки каждого фотоизображения обнаруживаются и извлекаются из фотоизображений хорошо известным методом, например, посредством использования детектора характерных признаков: масштабно-инвариантной трансформации признаков (Scale-Invariant Feature Transform, SIFT) или ускоренного надежного детектора признаков (Speeded-Up Robust Features, SURF).After that, the characteristic points of each photo image are detected and extracted from the photo images by a well-known method, for example, by using a characteristic feature detector: Scale-Invariant Feature Transform (SIFT) or an accelerated reliable feature detector (Speeded-Up Robust Features, SURF). ).
Характерным признаком на снятом фотоизображении является его "интересная" часть, например, угловые точки (края с градиентами в нескольких направлениях), пятна или гребни этого фотоизображения.A characteristic feature in the captured photographic image is its "interesting" part, for example, corner points (edges with gradients in several directions), spots or ridges of this photographic image.
Впоследствии характерные признаки, обнаруженные на всех фотоизображениях, сопоставляются для обнаружения геометрических отношений между фотоизображениями хорошо известным методом, например, с помощью трекера Лукаса-Канаде.Subsequently, the features found in all photographic images are compared to detect geometric relationships between photographic images in a well-known manner, for example, using the Lucas-Kanade tracker.
После этого широко реализованный алгоритм под названием Structure from Motion (структура на основе движения) (SfM) используется для извлечения характерных признаков из фотоизображений и вычисления ориентации камер, а также позиций характерных точек реконструируемого объекта. В настоящее время на рынке доступно множество программного обеспечения SfM. Результатом коммерчески доступного программного обеспечения SfM может являться облако трехмерных точек, соответствующих обнаруженным двухмерным характерным признакам на снятых фотоизображениях.After that, a widely implemented algorithm called Structure from Motion (SfM) is used to extract features from photographic images and calculate the orientation of the cameras, as well as the positions of the feature points of the reconstructed object. There are many SfM software available on the market today. The commercially available SfM software may result in a cloud of 3D points corresponding to the detected 2D features in captured photographic images.
Посредством облака трехмерных точек может быть воссоздана поверхность модели объекта. Качество модели объекта зависит, среди прочего, от локальной плотности облака трехмерных точек, которая определяется как отношение количества трехмерных точек, расположенных в области, к площади наиболее подходящей поверхности или объема, соответствующих трехмерным точкам. Чем выше локальная плотность облака трехмерных точек, тем лучше качество модели объекта.By means of a cloud of three-dimensional points, the surface of the object model can be recreated. The quality of the object model depends, among other things, on the local density of the 3D point cloud, which is defined as the ratio of the number of 3D points located in the area to the area of the most suitable surface or volume corresponding to the 3D points. The higher the local density of the 3D point cloud, the better the quality of the object model.
На последнем этапе объектная модель текстурируется, чтобы приобрести реалистичный внешний вид.In the last step, the object model is textured to give it a realistic look.
Во время этапа реконструкции модели объекта с помощью облака трехмерных точек сначала могут быть реконструированы геометрические структуры, такие как плоскости, кривые поверхности или многогранники, в качестве строительных блоков модели объекта.During the object model reconstruction step, geometric structures such as planes, curved surfaces, or polyhedra can first be reconstructed using the 3D point cloud as building blocks of the object model.
Наиболее близким аналогом для настоящего изобретения является документ CHRIS RUSSELL ET AL: "Dense Non-rigid Structure from Motion", опубл. 06.12.2012 г. и доступный по адресу https://ieeexplore.ieee.org/document/6375035, относящийся к обработке, моделированию, визуализации и передаче трехмерного изображения, в котором раскрываются подходы к плотной нежесткой структуре из движения, которые расширяются до плотной реконструкции без шаблонов, которая может избежать локальных минимумов как в дискретных, так и в непрерывных подзадачах.The closest analogue for the present invention is the document CHRIS RUSSELL ET AL: "Dense Non-rigid Structure from Motion", publ. 12/06/2012 and available at https://ieeexplore.ieee.org/document/6375035 relating to 3D processing, modeling, rendering and communication, which reveals approaches to dense non-rigid structure from motion that expand to dense template-free reconstruction that can avoid local minima in both discrete and continuous subproblems.
Однако скорость реконструкции геометрических структур до сих пор довольно низка из-за высокой вычислительной сложности, и качество результата реконструкции также может быть неудовлетворительным, например, из-за низкой локальной плотности облака трехмерных точек в области, в которой геометрическая структура должна быть реконструирована.However, the rate of reconstruction of geometric structures is still rather low due to high computational complexity, and the quality of the reconstruction result may also be unsatisfactory, for example, due to the low local density of the 3D point cloud in the area in which the geometric structure must be reconstructed.
Таким образом, задача настоящего раскрытия состоит в том, чтобы обеспечить быструю, а также более точную трехмерную реконструкцию целевого объекта.Thus, it is an object of the present disclosure to provide a fast as well as more accurate 3D reconstruction of a target object.
Эта задача решена посредством независимых пунктов приложенной формулы изобретения. Зависимые пункты относятся к предпочтительным вариантам осуществления.This problem is solved by the independent claims of the appended claims. Dependent claims refer to preferred embodiments.
Настоящее раскрытие относится к способу трехмерной реконструкции объекта, содержащему следующие этапы:The present disclosure relates to a method for 3D reconstruction of an object, comprising the following steps:
A) формирование множества изображений объекта с помощью по меньшей мере одной камеры, в частности, с разных ракурсов и позиций камеры;A) generating multiple images of the object using at least one camera, in particular from different angles and camera positions;
B) извлечение характерных признаков объекта из множества изображений;B) extracting the characteristic features of an object from a set of images;
C) формирование облака трехмерных точек, размещенных в трехмерной модели, представляющей объект, причем каждая из трехмерных точек соответствует одному из упомянутых характерных признаков, который может быть извлечен по меньшей мере из двух из множества изображений;C) generating a cloud of 3D points placed in a 3D model representing the object, each of the 3D points corresponding to one of said features that can be extracted from at least two of the plurality of images;
D) выбор области в одном из множества изображений, которая содержит проекцию по меньшей мере части заранее заданной трехмерной геометрической структуры, в качестве строительного блока объекта,D) selecting an area in one of the plurality of images that contains a projection of at least a portion of a predetermined three-dimensional geometric structure as the building block of an object,
- причем заранее заданная трехмерная геометрическая структура представима математическим уравнением, которое содержит множество неизвестных коэффициентов, и- moreover, a predetermined three-dimensional geometric structure is represented by a mathematical equation that contains a set of unknown coefficients, and
- причем подмножество упомянутых характерных признаков объекта, каждый из которых соответствует одной из упомянутых трехмерных точек, содержится в упомянутой области, и количество характерных признаков в подмножестве характерных признаков не меньше, т.е. равно или больше, чем количество неизвестных коэффициентов математического уравнения;- moreover, a subset of the mentioned characteristic features of the object, each of which corresponds to one of the mentioned three-dimensional points, is contained in the mentioned area, and the number of characteristic features in the subset of characteristic features is not less, i.e. equal to or greater than the number of unknown coefficients of the mathematical equation;
E) идентификация изображений, каждое из которых содержит по меньшей мере один из характерных признаков в подмножестве упомянутых характерных признаков;E) identifying images each containing at least one of the features in a subset of said features;
F) определение первого набора трехмерных точек, соответствующих подмножеству характерных признаков, упомянутых на этапе D, и второго набора трехмерных точек, содержащих по меньшей мере одну трехмерную точку, соответствующую по меньшей мере одному характерному признаку, который не принадлежит подмножеству упомянутых характерных признаков, но может быть извлечен по меньшей мере из двух из идентифицированных на этапе E изображений;F) determining a first set of 3D points corresponding to a subset of the features mentioned in step D and a second set of 3D points containing at least one 3D point corresponding to at least one feature that does not belong to the subset of said features, but may be extracted from at least two of the images identified in step E;
G) определение упомянутого математического уравнения, которое соответствует заранее заданной трехмерной геометрической структуре, посредством первого набора и второго набора трехмерных точек; иG) determining said mathematical equation, which corresponds to a predetermined three-dimensional geometric structure, by means of a first set and a second set of three-dimensional points; And
H) визуализация трехмерной модели объекта посредством по меньшей мере заранее заданной трехмерной геометрической структуры.H) visualization of a three-dimensional model of an object by means of at least a predetermined three-dimensional geometric structure.
Различные варианты осуществления могут предпочтительно реализовать следующие признаки.Various embodiments may preferably implement the following features.
Особенно благоприятно, что с помощью упомянутых выше этапов D-G значительно сокращается время воссоздания требуемых геометрических структур в качестве строительных блоков для реконструируемого объекта. Кроме того, общее качество реконструкции значительно улучшается, несмотря на относительно низкую локальную плотность облака трехмерных точек.Especially advantageously, by means of the D-G steps mentioned above, the time required to recreate the required geometric structures as building blocks for the reconstructed object is significantly reduced. In addition, the overall quality of the reconstruction is greatly improved despite the relatively low local density of the 3D point cloud.
После упомянутого на этапе C формирования облака трехмерных точек, представляющих реконструируемый объект, любое из извлеченных изображений может быть отобрано для выбора области в отобранном изображении при условии, что удовлетворены оба из следующих предварительных условий.After generating a 3D point cloud representing the object to be reconstructed as mentioned in step C, any of the extracted images can be selected to select a region in the selected image, provided that both of the following preconditions are satisfied.
Во-первых, в этой области отобранного изображения обеспечена проекция по меньшей мере части заранее заданной трехмерной геометрической структуры, представимой математическим уравнением, например, с M неизвестными коэффициентами, в качестве строительных блоков для реконструируемого объекта.First, at least a portion of a predetermined three-dimensional geometric structure, represented by a mathematical equation, eg with M unknown coefficients, is provided in this region of the sampled image as building blocks for the reconstructed object.
Во-вторых, в этой области доступны обнаруженные характерные точки, причем если количество упомянутых характерных точек обозначено как N, N должно быть не меньше, чем M.Secondly, the detected feature points are available in this area, and if the number of mentioned feature points is designated as N, N must be no less than M.
Этот выбор области из извлеченного изображения может быть проведен пользователем, который управляет программным обеспечением для воссоздания реального объекта. В качестве альтернативы операция выбора может быть выполнена компьютерной программой, в которой оба упомянутые выше предварительных условия были предопределены и сохранены широко известным методом.This region selection from the extracted image can be done by the user who controls the software to recreate the real object. Alternatively, the selection operation may be performed by a computer program in which both preconditions mentioned above have been predetermined and stored in a well known manner.
После процесса выбора на этапе E идентифицируются другие релевантные изображения. Релевантные изображения представляют собой подмножество извлеченных изображений и определенных как изображения, каждое из которых содержит по меньшей мере одну из N характерных точек, которые могут быть извлечены из упомянутой выбранной области изображения, отобранной на этапе D.After the selection process in step E, other relevant images are identified. Relevant images are a subset of the extracted images and are defined as images each containing at least one of N feature points that can be extracted from said selected image area selected in step D.
Поскольку каждая из трехмерных точек в облаке трехмерных точек, сформированном на этапе C, соответствует двухмерному характерному признаку (точке), который может быть извлечен по меньшей мере из двух из снятых изображений, первый набор, состоящий из N трехмерных точек, изобретательно определяется в соответствии с N характерными точками, упомянутыми на этапе D.Since each of the 3D points in the 3D point cloud generated in step C corresponds to a 2D feature (point) that can be extracted from at least two of the captured images, the first set of N 3D points is ingeniously determined according to N feature points mentioned in step D.
Определяется второй набор, состоящий, например, из X трехмерных точек. Эти X трехмерных точек соответствуют X характерным точкам, которые не принадлежат упомянутым N характерным точкам, но являются другими характерными точками, каждая из которых может быть извлечена по меньшей мере из двух из упомянутых релевантных изображений, т.е. упомянутого подмножества снятых изображений.A second set is defined, consisting of, for example, X 3D points. These X 3D points correspond to X feature points that do not belong to said N feature points, but are other feature points, each of which can be extracted from at least two of said relevant images, i.e. said subset of captured images.
Затем может быть определено математическое уравнение, которое соответствует заранее заданной трехмерной геометрической структуре, с использованием первого и второго наборов трехмерных точек.A mathematical equation can then be determined that corresponds to a predetermined 3D geometric structure using the first and second sets of 3D points.
Поскольку математическое уравнение имеет M неизвестных коэффициентов, и количество N трехмерных точек в первом наборе равно или больше, чем количество неизвестных коэффициентов M, математическое уравнение может быть определено или распознано, т.е., M неизвестных коэффициентов могут быть вычислены с помощью только N трехмерных точек в первом наборе.Because the mathematical equation has M unknown coefficients, and the number N of 3D points in the first set is equal to or greater than the number of M unknown coefficients, the mathematical equation can be determined or recognized, i.e., the M unknown coefficients can be computed using only N 3D points. points in the first set.
Второй набор с X трехмерными точками затем используется для оценки математического уравнения, определенного первым набором с N трехмерными точками. Например, относительные координаты X трехмерных точек во втором наборе помещаются в определенное математическое уравнение соответственно, чтобы проверить, будет ли уравнение по-прежнему соблюдаться.The second set with X 3D points is then used to evaluate the mathematical equation defined by the first set with N 3D points. For example, the relative X coordinates of the 3D points in the second set are put into a certain mathematical equation, respectively, to check if the equation still holds.
Поскольку подмножество изображений, идентифицированное на этапе E, является релевантным для изображения, отобранного на этапе D, так как эти изображения имеют по меньшей мере одну общую характерную точку в выбранной области, которая содержит проекцию по меньшей мере части заранее заданной трехмерной геометрической структуры, существует высокая вероятность, что X характерных признаков в подмножестве изображений, упомянутых на этапе F, соответствуют по меньшей мере одной трехмерной точке на поверхности заранее заданной трехмерной геометрической структуры.Since the subset of images identified in step E is relevant to the image selected in step D, since these images share at least one feature point in a selected area that contains a projection of at least a portion of a predetermined 3D geometric structure, there is a high the probability that X features in the subset of images referred to in step F correspond to at least one three-dimensional point on the surface of a predetermined three-dimensional geometric structure.
Другими словами, второй набор с X трехмерными точками может содержать по меньшей мере одну трехмерную точку на поверхности заранее заданной трехмерной геометрической структуры.In other words, the second set with X 3D points may contain at least one 3D point on the surface of a predetermined 3D geometric structure.
Во время упомянутой выше проверки соблюдения уравнения, чем больше трехмерных точек во втором наборе могут соответствовать или могут приблизительно соответствовать уравнению, тем вероятнее, что математическое уравнение корректно определено или является наиболее подходящей формулой для представления заранее заданной трехмерной геометрической структуры.During the equation validation mentioned above, the more 3D points in the second set can or can approximate the equation, the more likely the mathematical equation is well defined or is the most appropriate formula to represent a predetermined 3D geometric structure.
С другой стороны, чем меньше трехмерных точки во втором наборе соответствуют или приблизительно соответствуют уравнению, тем менее вероятно, что математическое уравнение корректно определено или является наиболее подходящей формулой для представления заранее заданной трехмерной геометрической структуры.On the other hand, the fewer 3D points in the second set match or approximate the equation, the less likely the mathematical equation is well defined or the most appropriate formula to represent a predetermined 3D geometric structure.
Если результат упомянутой проверки соблюдения уравнения не является удовлетворительным, поскольку, например, только одна треть трехмерных точек во втором наборе может соответствовать или приблизительно соответствовать уравнению, процесс выбора на этапе D, а также последующие этапы E-G могут быть повторены, пока результат проверки не станет удовлетворять пользователя или достигнет заранее заданного порогового значения широко известным методом.If the result of said equation check is not satisfactory, because, for example, only one third of the 3D points in the second set can match or approximately match the equation, the selection process in step D, as well as subsequent steps E-G, may be repeated until the check result satisfies user or reaches a predetermined threshold value by a well-known method.
Тем самым, с помощью настоящего изобретения может быть максимально точно определена заранее заданная трехмерная геометрическая структура, представимая математическим уравнением с M неизвестными коэффициентами, в качестве строительного блока объекта, который является очень важным базовым элементом трехмерной модели визуализируемого объекта.Thus, with the help of the present invention, a predetermined 3D geometric structure represented by a mathematical equation with M unknown coefficients can be determined as accurately as possible as the building block of an object, which is a very important basic element of a 3D model of a rendered object.
Кроме того, особенно выгодно то, что даже когда локальная плотность облака трехмерных точек в заранее заданной геометрической структуре является относительно низкой, с помощью настоящего изобретения точность определенной заранее заданной геометрической структуры все еще находится на высоком уровне.Further, it is particularly advantageous that even when the local density of the 3D point cloud in the predetermined geometry is relatively low, with the present invention, the accuracy of the determined predetermined geometry is still at a high level.
Кроме того, с помощью этапа D выбора настоящего изобретения скорость определения заранее заданной трехмерной геометрической структуры и, тем самым, также последующей визуализации трехмерной модели объекта значительно увеличивается по сравнению с существующим уровнем техники.In addition, with the selection step D of the present invention, the speed of determining a predetermined 3D geometric structure and thereby also subsequent rendering of a 3D model of an object is greatly increased compared to the prior art.
Кроме того, благодаря введению этапа оценки, использующего второй набор трехмерных точек, определение заранее заданной трехмерной геометрической структуры не является чрезмерно чувствительным к выбору области на этапе D.In addition, by introducing an estimation step using the second set of 3D points, the determination of the predetermined 3D geometric structure is not overly sensitive to the area selection in step D.
В предпочтительном варианте осуществления геометрические структуры представляют собой плоскость, сферу, цилиндр, конус, тороидальную структуру или аналогичное трехмерное тело правильной формы.In a preferred embodiment, the geometric structures are a plane, sphere, cylinder, cone, toroidal structure, or similar regular 3D solid.
В качестве примера возьмем плоскость, которая может быть описана математическим уравнением ax+by+cz=d с тремя переменными x, y, z и четырьмя неизвестными коэффициентами a, b, c, d. При условии, что в выбранной области отобранного изображения количество характерных признаков в указанном подмножестве характерных признаков не меньше трех, четыре неизвестных коэффициента a, b, c, d могут быть вычислены путем расчетов с помощью трехмерных точек в первом наборе, соответствующих подмножеству характерных признаков. Количество трехмерных точек должно быть достаточным для вычисления всех неизвестных коэффициентов математического уравнения.As an example, let's take a plane that can be described by the mathematical equation ax+by+cz=d with three variables x, y, z and four unknown coefficients a, b, c, d. Provided that in the selected area of the selected image, the number of features in the specified feature subset is at least three, four unknown coefficients a, b, c, d can be calculated by calculations using three-dimensional points in the first set corresponding to the feature subset. The number of 3D points should be sufficient to calculate all unknown coefficients of the mathematical equation.
После этого второй набор трехмерных точек, определение которого уже было подробно разъяснено выше, используется для оценки того, является ли определенное математическое уравнение с тремя определенными коэффициентами наилучшим подходящим для заранее заданной плоскости или нет.After that, the second set of three-dimensional points, the definition of which has already been explained in detail above, is used to evaluate whether a certain mathematical equation with three certain coefficients is the best fit for a predetermined plane or not.
Другой пример описан следующим образом: сфера может быть описана математическим уравнением (x-a)2 + (y-b)2 + (z-c)2 = r2 с тремя переменными x, y, z и четырьмя неизвестными коэффициентами a, b, c, r. При условии, что в выбранной области отобранного изображения количество характерных признаков из упомянутого подмножества характерных признаков не меньше четырех, четыре неизвестных коэффициента a, b, c, r могут быть вычислены путем расчетов посредством трехмерных точек в первом наборе, соответствующем подмножеству характерных признаков.Another example is described as follows: a sphere can be described by the mathematical equation (xa) 2 + (yb) 2 + (zc) 2 = r 2 with three variables x, y, z and four unknown coefficients a, b, c, r. Provided that in the selected area of the selected image, the number of features from said subset of features is not less than four, four unknown coefficients a, b, c, r can be calculated by calculations by means of three-dimensional points in the first set corresponding to the subset of features.
После этого второй набор трехмерных точек, определение которого уже было подробно разъяснено выше, используется для оценки того, является ли определенное математическое уравнение с четырьмя определенными коэффициентами наилучшим подходящим для заранее заданной сферы или нет.Thereafter, the second set of three-dimensional points, the definition of which has already been explained in detail above, is used to evaluate whether a certain mathematical equation with four certain coefficients is the best fit for a predetermined sphere or not.
В другом предпочтительном варианте осуществления способ трехмерной реконструкции объекта содержит следующие дополнительные этапы:In another preferred embodiment, the 3D object reconstruction method comprises the following additional steps:
I) идентификация точек схождения множества изображений, соответственно;I) identifying points of convergence of a plurality of images, respectively;
J) ограничение заранее заданной трехмерной геометрической структуры посредством по меньшей мере одной из точек схождения.J) limiting a predetermined three-dimensional geometric structure by at least one of the convergence points.
Следует отметить, что этапы I и J выполняются не после этапа H, а перед ним. Предпочтительно этапы I и J выполняются между этапами B и H. Более предпочтительно этап J выполняется между этапами F и H.It should be noted that steps I and J are not performed after step H, but before it. Preferably steps I and J are performed between steps B and H. More preferably step J is performed between steps F and H.
На этапе I точки схождения множества изображений идентифицируются и извлекаются хорошо известным методом, например, посредством Гауссовской сферы. Точка схождения является точкой на плоскости изображения чертежа в перспективе, в которой двухмерные перспективные проекции (или чертежи) взаимно параллельных линий в трехмерном пространстве выглядят сходящимися.In step I, the points of convergence of the set of images are identified and extracted by a well-known method, for example, by means of a Gaussian sphere. A vanishing point is a point on the perspective drawing image plane at which 2D perspective projections (or drawings) of mutually parallel lines in 3D space appear to converge.
Поскольку точка схождения ограничивает нормальное направление (если такое имеется) поверхности плоскости трехмерной геометрической структуры, эти точки схождения могут использоваться для ограничения или определения заранее заданной трехмерной геометрической структуры. Тем самым заранее заданная трехмерная геометрическая структура может быть определена более точно.Because the vanishing point limits the normal direction (if any) of the plane surface of the 3D geometry, these vanishing points can be used to limit or define a predefined 3D geometry. Thereby, a predetermined three-dimensional geometric structure can be determined more precisely.
В другом предпочтительном варианте осуществления точки схождения идентифицируются посредством анализа сходящихся линий в множестве изображений. Изображение может быть описано посредством горизонтальной оси изображения и вертикальной оси изображения или иметь такие оси. В соответствии с этим сходящиеся линии вблизи с горизонтальной осью изображения используются для идентификации по меньшей мере точки схождения для горизонтальных линий сцены, и сходящиеся линии вблизи к вертикальной оси изображения используются для идентификации по меньшей мере точки схождения для вертикальных линий сцены.In another preferred embodiment, convergence points are identified by analyzing converging lines in multiple images. An image may be described by or have a horizontal image axis and a vertical image axis. Accordingly, convergent lines close to the horizontal image axis are used to identify at least a convergence point for horizontal scene lines, and convergent lines close to the vertical image axis are used to identify at least a convergence point for vertical scene lines.
В другом предпочтительном варианте осуществления трехмерная геометрическая структура текстурируется посредством по меньшей мере части изображения среди упомянутого множества изображений, причем упомянутая часть изображения идентифицируется и выбирается посредством трехмерных точек в облаке трехмерных точек. Тем самым достигается быстрое и относительно точное текстурирование трехмерной геометрической структуры.In another preferred embodiment, a 3D geometric structure is textured by at least a portion of an image among said plurality of images, said portion of the image being identified and selected by 3D points in a 3D point cloud. This achieves fast and relatively accurate texturing of a three-dimensional geometric structure.
В другом предпочтительном варианте осуществления визуализированная трехмерная модель оценивается посредством проецирования множества изображений на модель и вычисления степени совпадения между изображениями и моделью. Если степень совпадения не удовлетворяет пользователя, процесс выбора на этапе D и/или упомянутый выше процесс текстурирования могут быть выполнены еще раз.In another preferred embodiment, the rendered 3D model is evaluated by projecting a plurality of images onto the model and calculating a degree of match between the images and the model. If the degree of match does not satisfy the user, the selection process in step D and/or the texturing process mentioned above may be performed again.
В другом предпочтительном варианте осуществления вычисленная степень совпадения используется для оптимизации по меньшей мере одного из определенных неизвестных коэффициентов посредством нахождения локальной максимальной степени совпадения при изменении значения определенного коэффициента.In another preferred embodiment, the computed degree of match is used to optimize at least one of the determined unknown coefficients by finding the local maximum degree of match as the value of the determined coefficient changes.
Степень совпадения между текстурой модели и множеством изображений может быть описана фотометрической ошибкой. Фотометрическая ошибка может использоваться для оптимизации по меньшей мере одного коэффициента математического уравнения. Это возможно посредством нахождения локального минимума фотометрической ошибки при итерационном изменении значения коэффициента. С этой целью может использоваться любой известный алгоритм нелинейной оптимизации, например, алгоритм Левенберга-Марквардта.The degree of match between the texture of the model and the set of images can be described by the photometric error. The photometric error may be used to optimize at least one coefficient of the mathematical equation. This is possible by finding a local minimum of the photometric error when iteratively changing the value of the coefficient. For this purpose, any known non-linear optimization algorithm can be used, for example, the Levenberg-Marquardt algorithm.
По сравнению с известными алгоритмами подгонки точек, такими как RANSAC, в этом варианте осуществления настоящего способа визуализированная трехмерная модель является более точной, поскольку в этом варианте осуществления используется информация о миллионах пикселей из множества изображений, и, таким образом, она может достигать точности на уровне субпикселей.Compared with known point fitting algorithms such as RANSAC, in this embodiment of the present method, the rendered 3D model is more accurate because this embodiment uses millions of pixel information from a plurality of images, and thus it can achieve an accuracy of subpixels.
В другом предпочтительном варианте осуществления характерные признаки объекта, извлеченные из множества изображений, используются для вычисления упомянутой степени совпадения посредством определения, могут ли упомянутые характерные признаки также быть извлечены из визуализированной трехмерной модели. Высокая степень совпадения достигается, если более 50%, и особенно более 70% характерных признаков, извлеченных из множества изображений, также могут быть извлечены из визуализированной трехмерной модели. Выгодно, чтобы таким образом была реализована полная автоматизация оценки качества визуализации трехмерной модели.In another preferred embodiment, object features extracted from a plurality of images are used to calculate said degree of match by determining if said features can also be extracted from the rendered 3D model. A high degree of match is achieved if more than 50%, and especially more than 70% of the features extracted from multiple images can also be extracted from the rendered 3D model. It is advantageous that in this way a complete automation of the evaluation of the visualization quality of a three-dimensional model is realized.
Следует понимать, что термины "фотоизображение", "изображение", "картинки" или любые другие их вариации являются взаимозаменяемыми в настоящей заявке на патент.It should be understood that the terms "photo image", "image", "pictures" or any other variations thereof are used interchangeably in this patent application.
Дополнительные выгодные подробные сведения и признаки могут быть взяты из приведенного ниже описания иллюстративного варианта осуществления изобретения в сочетании со следующим чертежом.Additional advantageous details and features may be taken from the following description of an exemplary embodiment of the invention in conjunction with the following drawing.
Фиг. 1 показывает схематическую иллюстрацию варианта осуществления способа настоящего изобретения для трехмерной реконструкции объекта.Fig. 1 shows a schematic illustration of an embodiment of the method of the present invention for 3D reconstruction of an object.
В соответствии с фиг. 1 семь значков 1-7 камер на левой стороне представляют семь изображений 1-7 объекта 100, подлежащего трехмерной реконструкции, при этом изображения сняты одной камерой с разных ракурсов.In accordance with FIG. 1, the seven camera icons 1 to 7 on the left side represent seven images 1 to 7 of the
Следует отметить, что эти изображения 1-7 также могут быть сняты несколькими камерами из различных положений камер либо одновременно, либо в разные моменты съемки. Хотя на фиг. 1 показаны только семь изображений по той причине, что меньшее количество изображений подходит для простого объяснения, не исключено, что для реализации способа настоящего изобретения может быть снято и использовано большее количество изображений.It should be noted that these images 1-7 can also be taken by multiple cameras from different camera positions, either simultaneously or at different shooting times. Although in FIG. 1 shows only seven images, for the reason that fewer images are suitable for a simple explanation, it is possible that more images can be captured and used to implement the method of the present invention.
После этого из изображений 1-7 извлекаются "интересные" части на изображениях 1-7, такие как угловые точки и гребни объекта 100, т.е. характерные точки объекта 100. Эти двухмерные характерные точки или характерные признаки объекта 100 не показаны на фиг. 1.The "interesting" parts in images 1-7 are then extracted from images 1-7, such as the corner points and ridges of the
После этого формируется облако трехмерных точек, размещенных в трехмерной модели, представляющей объект 100, каждая из трехмерных точек соответствует одному из характерных признаков, которые могут быть извлечены по меньшей мере из двух из изображений 1-7. Эти трехмерные точки обозначены на фиг. 1 номерами 12, 14, 16, 18, 20, 22, 24, 26.Thereafter, a cloud of 3D points is formed placed in a 3D model representing the
Далее в изображении 4 выбирается область 40. Эта область содержит проекцию части 30 заранее заданной сферы 10 в качестве строительного блока объекта 100. Для удобства объяснения на фиг. 1 заранее заданная сфера 10 и трехмерные точки 12-26 намеренно увеличены, в то время как реконструируемый объект 100 не показан с конкретной формой/границей.Next, a
Заранее заданная сфера 10 представима математическим уравнением (x-a)2 + (y-b)2 + (z-c)2 = r2 с тремя переменными x, y, z и четырьмя неизвестными коэффициентами a, b, c, r.The
Подмножество характерных признаков объекта 100, каждый из которых соответствует одной из трехмерных точек 16, 18, 20, 22, содержится в области 40, и количество характерных признаков в этом подмножестве характерных признаков равно четырем, что равно количеству неизвестных коэффициентов a, b, c, r математического уравнения.A subset of features of the
Выбор изображения из извлеченных изображений 1-7 и последующий выбор области из выбранного изображения может быть проведен пользователем, который управляет программным обеспечением для реконструкции реального объекта. В качестве альтернативы это также может быть выполнено компьютерной программой.Selecting an image from the extracted images 1-7 and then selecting a region from the selected image can be done by a user who controls the real object reconstruction software. Alternatively, this can also be done by a computer program.
После этого идентифицируются изображения 3-6, каждое из которых содержит по меньшей мере один из характерных признаков, соответствующих трехмерным точкам 16-22.Thereafter, images 3-6 are identified, each containing at least one of the features corresponding to the three-dimensional points 16-22.
Затем определяется первый набор трехмерных точек 16-22. Также определяется второй набор трехмерных точек, состоящий из одной трехмерной точки 24. Эта трехмерная точка 24 соответствует одному характерному признаку, который не принадлежит характерным признакам, соответствующим трехмерным точкам 16-22, но может быть извлечен из двух изображений 5 и 6 из упомянутых выше идентифицированных изображений 3-6.Then the first set of three-dimensional points 16-22 is determined. A second set of 3D points is also defined, consisting of a
После этого посредством первого набора и второго набора трехмерных точек определяется математическое уравнение (x-a)² + (y-b)² + (z-c)² = r², которое соответствует заранее заданной сфере 10.After that, by means of the first set and the second set of 3D points, the mathematical equation (x-a)² + (y-b)² + (z-c)² = r² is determined, which corresponds to the
Поскольку математическое уравнение имеет четыре неизвестных коэффициента a, b, c, r, и количество трехмерных точек 16-22 в первом наборе равно количеству неизвестных коэффициентов a, b, c, r, математическое уравнение может быть определено или распознано, т.е. неизвестные коэффициенты a, b, c, r могут быть вычислены с помощью только четырех трехмерных точек 16-22 в первом наборе.Since the mathematical equation has four unknown coefficients a, b, c, r, and the number of 16-22 3D points in the first set is equal to the number of unknown coefficients a, b, c, r, the mathematical equation can be determined or recognized, i.e. unknown coefficients a, b, c, r can be calculated using only four three-dimensional points 16-22 in the first set.
Поскольку идентифицированные изображения 3-6 являются релевантными для выбранного изображения 4, так как эти изображения имеют по меньшей мере одну общую характерную точку в выбранной области 40, которая является проекцией части 30 заранее заданной сферы 10, существует высокая вероятность, что дополнительный характерный признак, который может быть извлечен из изображений 5, 6 и соответствует трехмерной точке 24, является характерным признаком, соответствующим одной трехмерной точке на поверхности заранее заданной сферы 10.Since the identified images 3-6 are relevant to the selected image 4, since these images have at least one feature point in common in the selected
Другими словами, второй набор может содержать одну трехмерную точку на поверхности заранее заданной сферы 10.In other words, the second set may contain one 3D point on the surface of the
В связи с этим второй набор с трехмерной точкой 24 используется для оценки математического уравнения, определенного первым набором. Относительные координаты трехмерной точки 24 во втором наборе помещаются в определенное математическое уравнение соответственно, чтобы проверить, будет ли уравнение по-прежнему соблюдаться.In this regard, the second set with a three-
Если в соответствии с результатом проверки уравнение по-прежнему соблюдается или приблизительно соблюдается, определенное математическое уравнение может рассматриваться как наиболее подходящая формула для представления заранее заданной сферы 10.If, according to the test result, the equation is still observed or approximately observed, the certain mathematical equation can be considered as the most suitable formula for representing the
Если в соответствии с результатом проверки уравнение далеко от соблюдения, определенное математическое уравнение может рассматриваться как неподходящее для представления заранее заданной сферы 10, и упомянутый выше процесс выбора требует еще одного повторения, пока определенное математическое уравнение не пройдет проверку.If, according to the test result, the equation is far from being satisfied, the determined mathematical equation may be considered unsuitable for representing the
На последнем этапе трехмерная модель объекта 100 визуализируется посредством по меньшей мере определенной наиболее подходящей заранее заданной сферы 10.In the last step, the 3D model of the
Claims (20)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019100011.4 | 2019-01-02 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2021122379A RU2021122379A (en) | 2023-02-02 |
| RU2791081C2 true RU2791081C2 (en) | 2023-03-02 |
Family
ID=
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009003225A1 (en) * | 2007-06-29 | 2009-01-08 | Adelaide Research & Innovation Pty Ltd | Method and system for generating a 3d model from images |
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009003225A1 (en) * | 2007-06-29 | 2009-01-08 | Adelaide Research & Innovation Pty Ltd | Method and system for generating a 3d model from images |
Non-Patent Citations (2)
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111066065B (en) | System and method for hybrid depth regularization | |
| US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
| CN108734776B (en) | Speckle-based three-dimensional face reconstruction method and equipment | |
| JP7403528B2 (en) | Method and system for reconstructing color and depth information of a scene | |
| JP5249221B2 (en) | Method for determining depth map from image, apparatus for determining depth map | |
| US8452081B2 (en) | Forming 3D models using multiple images | |
| WO2012096747A1 (en) | Forming range maps using periodic illumination patterns | |
| KR101666854B1 (en) | Apparatus and method for depth unfolding based on multiple depth images | |
| JP2018511874A (en) | Three-dimensional modeling method and apparatus | |
| WO2020187339A1 (en) | Naked eye 3d virtual viewpoint image generation method and portable terminal | |
| JP5561786B2 (en) | Three-dimensional shape model high accuracy method and program | |
| WO2021108626A1 (en) | System and method for correspondence map determination | |
| US11475629B2 (en) | Method for 3D reconstruction of an object | |
| JPWO2020075252A1 (en) | Information processing equipment, programs and information processing methods | |
| JP6285686B2 (en) | Parallax image generation device | |
| CN117456114B (en) | Multi-view-based three-dimensional image reconstruction method and system | |
| RU2791081C2 (en) | Method of three-dimensional object reconstruction | |
| CN112258635B (en) | Three-dimensional reconstruction method and device based on improved binocular matching SAD algorithm | |
| JP7195785B2 (en) | Apparatus, method and program for generating 3D shape data | |
| Rasmuson et al. | User-guided 3D reconstruction using multi-view stereo | |
| WO2020118565A1 (en) | Keyframe selection for texture mapping wien generating 3d model | |
| CN116684748B (en) | Photographic composition frame generation method and device and photographic equipment | |
| CN110319776B (en) | SLAM-based three-dimensional space distance measuring method and device | |
| KR102125750B1 (en) | Apparatus and method for 3d-image reconstruction using silluets | |
| WO2021100681A1 (en) | Three-dimensional model generation method and three-dimensional model generation device |