RU2719559C1 - Method for block spline transformation of space images of area - Google Patents

Method for block spline transformation of space images of area Download PDF

Info

Publication number
RU2719559C1
RU2719559C1 RU2019126532A RU2019126532A RU2719559C1 RU 2719559 C1 RU2719559 C1 RU 2719559C1 RU 2019126532 A RU2019126532 A RU 2019126532A RU 2019126532 A RU2019126532 A RU 2019126532A RU 2719559 C1 RU2719559 C1 RU 2719559C1
Authority
RU
Russia
Prior art keywords
image
fragments
transformation
fragment
spline
Prior art date
Application number
RU2019126532A
Other languages
Russian (ru)
Inventor
Виталий Алексеевич Крылов
Игорь Игоревич Шуклин
Original Assignee
Федеральное государственное унитарное предприятие "18 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное унитарное предприятие "18 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации filed Critical Федеральное государственное унитарное предприятие "18 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации
Priority to RU2019126532A priority Critical patent/RU2719559C1/en
Application granted granted Critical
Publication of RU2719559C1 publication Critical patent/RU2719559C1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

FIELD: image processing.
SUBSTANCE: invention relates to photogrammetric processing methods of space images of area. Support and processed images are obtained. Identification areas of reference points are determined. Reference points on the selected area are identified. Sizes of processed image fragments are determined. Value of overlapping of adjacent fragments is determined. Image is divided into M fragments. Parameters of thin-walled spline for each fragment are determined. Fragment is transformed using the obtained model. Fragments are merged into a single image.
EFFECT: technical result consists in acceleration of spline transformation of space image in the absence of data on conditions of shooting by breaking the image into fragments.
1 cl, 2 dwg

Description

Изобретение относится к способам фотограмметрической обработки космических изображений местности и может быть использовано при обработке данных дистанционного зондирования Земли (ДЗЗ) при отсутствии данных об условиях съемки. Предлагаемый способ позволяет ускорить выполнение сплайнового трансформирования космического изображения при отсутствии данных об условиях съемки путем разбиения изображения на фрагменты. При этом, точность трансформирования остается близкой цельному сплайну.The invention relates to methods for photogrammetric processing of space images of the terrain and can be used in processing data of remote sensing of the Earth (ERS) in the absence of data on the shooting conditions. The proposed method allows to accelerate the implementation of the spline transformation of the space image in the absence of data on the shooting conditions by dividing the image into fragments. At the same time, the accuracy of the transformation remains close to the solid spline.

Известен метод обработки фотограмметрического изображения (патент US 6768813 В1 от 27.07.2004 г.), заключающийся в вычислении значения диапазона отображения на основе позиции камеры и наклонов оптической оси множества изображений в группе, генерации маркера области на основе значения диапазона отображения, отображении маркера области вместе с множеством изображений на экране, маркер области накладывается на карту обзора, обозначение физической точки на маркере области для каждого из множества изображений, отображаемых на экране. Метод использует групповое сжатие изображений, каждое изображение обычно включает целевое размещение в заранее установленной позиции и сконфигурированную для выхода величину смещения и угла наклона, рассчитывает положение камеры для каждого изображения и наклон оптической оси камеры для каждого изображения, вычисляет трехмерные координаты физической точки и генерирует карту обзора на основе трехмерных координат.A known method of processing a photogrammetric image (patent US 6768813 B1 dated 07/27/2004), which consists in calculating the value of the display range based on the position of the camera and the slopes of the optical axis of the set of images in the group, generating a region marker based on the value of the display range, displaying the region marker together with many images on the screen, the area marker is superimposed on the overview map, the physical point on the area marker for each of the many images displayed on the screen. The method uses group compression of images, each image usually includes the target placement at a predetermined position and the offset and tilt angle configured for output, calculates the camera position for each image and the tilt of the camera optical axis for each image, calculates three-dimensional coordinates of the physical point and generates a survey map based on three-dimensional coordinates.

Недостатком известного метода является использование данных об условиях съемки (позиция камеры, наклон оптической оси), которые могут не поставляться с изображением.A disadvantage of the known method is the use of data on shooting conditions (camera position, tilt of the optical axis), which may not be supplied with the image.

Известен метод обработки фотограмметрического изображения (патент US 7126616 В2 от 24.10.2006 г.), включающий в себя: определение инверсии геометрически преобразованного нелинейного двухмерного изображения для формирования обратного геометрического преобразования изображения, преобразование обратного геометрического преобразования двухмерного изображения в аналитическую инвертированную геометрическую трансформацию, разделение аналитического обратного геометрического преобразования на первое и второе 1D геометрические преобразования, представление первого и второго геометрических преобразований как преобразованные поверхности, приближение упомянутых поверхностей к многочленам смещения и получение приближенных многочленов для аппаратной реализации, сравнение значений упомянутых первого и второго геометрических преобразований в каждой точке со значением каждой точки аналитического обратного геометрического преобразования и повторения шагов до тех пор, пока упомянутое значение не достигнет установленного уровня представления. Кроме того, метод включает этап выполнения геометрической трансформации на обратной карте между шагами преобразования обратной геометрической трансформации в аналитическую инвертированную геометрическую трансформацию и разделением аналитической обратной геометрической трансформации на два геометрических преобразования. Каждое одномерное геометрическое преобразование делится на сегменты и для каждого сегмента преобразование вычисляется отдельно.A known method for processing a photogrammetric image (patent US 7126616 B2 dated 10.24.2006), including: determining the inversion of a geometrically transformed nonlinear two-dimensional image to form an inverse geometric transformation of an image, converting an inverse geometric transformation of a two-dimensional image into analytical inverted geometric transformation, separation of analytical inverse geometric transformations to the first and second 1D geometric transformations, n introducing the first and second geometric transformations as transformed surfaces, approximating said surfaces to displacement polynomials and obtaining approximate polynomials for hardware implementation, comparing the values of the mentioned first and second geometric transformations at each point with the value of each point of the analytical inverse geometric transformation and repeating steps until until the mentioned value reaches the specified level of presentation. In addition, the method includes the step of performing a geometric transformation on the inverse map between the steps of converting the inverse geometric transformation into an analytical inverted geometric transformation and dividing the analytical inverse geometric transformation into two geometric transformations. Each one-dimensional geometric transformation is divided into segments and for each segment the transformation is calculated separately.

Недостатком известного способа является нарушение непрерывности изображения, ввиду вычисления каждого сегмента отдельно.The disadvantage of this method is the disruption of the image, due to the calculation of each segment separately.

Наиболее близким по своей сущности к заявляемому изобретению является прямой способ построения модели нестрогого движения с использованием трансформации тонкостенного сплайна (патент US 7623731 В2 от 24.11.2009 г.). Данный способ состоит из получения первого и второго цифрового изображения из последовательности изображений, определения области шаблона на первом изображении, размещения фиксированного набора опорных точек на выбранной области, определения первого набора пикселей на втором изображении, причем первый набор пикселей соответствует выбранной области шаблона и включает набор величин отлета опорных точек, определение параметров тонкостенного сплайна, трансформацию изображения, используя полученную модель.The closest in essence to the claimed invention is a direct way to build a model of loose motion using thin-walled spline transformation (patent US 7623731 B2 from 11.24.2009). This method consists of obtaining a first and second digital image from a sequence of images, determining a template area in a first image, placing a fixed set of reference points in a selected area, determining a first set of pixels in a second image, wherein the first set of pixels corresponds to a selected area of the template and includes a set of values departure of control points, determination of thin-walled spline parameters, image transformation using the obtained model.

Недостатками прототипа является:The disadvantages of the prototype is:

1) при увеличении количества опорных точек время расчета параметров трансформирования резко возрастает, поскольку зависимость количества операций, выполняемых при определении этих параметров, от количества опорных точек является нелинейной;1) with an increase in the number of reference points, the time for calculating the transformation parameters sharply increases, since the dependence of the number of operations performed when determining these parameters on the number of reference points is nonlinear;

2) добавление новой опорной точки требует полного пересчета параметров трансформации;2) the addition of a new reference point requires a complete conversion of the transformation parameters;

3) при определении координат любого пикселя в рамках результирующего изображения используется количество параметров трансформации (тонкостенного сплайна), равное количеству используемых опорных точек, что для больших изображений приводит к недопустимо длительному процессу их трансформирования.3) when determining the coordinates of any pixel within the framework of the resulting image, the number of transformation parameters (thin-walled spline) equal to the number of reference points used is used, which for large images leads to an unacceptably long process of their transformation.

Целью изобретения является сокращение времени выполнения фотограмметрической обработки космических изображений местности со сложным типом рельефа при отсутствии цифровой матрицы рельефа с требуемыми характеристиками, параметров ориентирования снимка и наличии жестких точностных требований к результатам обработки.The aim of the invention is to reduce the execution time of photogrammetric processing of space images of terrain with a complex type of terrain in the absence of a digital terrain matrix with the required characteristics, image orientation parameters and the presence of strict accuracy requirements for the processing results.

Под термином «опорная точка» понимается точка изображения, идентифицированная на местности (опорном изображении), для которой определены ее геодезические координаты.The term "reference point" refers to the point of the image identified on the ground (reference image), for which its geodetic coordinates are determined.

Под термином «опорное изображение» понимается цифровое космическое изображение местности, для каждого пиксела которого известны геодезические координаты. Опорное изображение может быть использовано наравне с результатами полевых измерений на местности.The term "reference image" means a digital space image of the area, for each pixel of which geodetic coordinates are known. The reference image can be used along with the results of field measurements on the ground.

Под термином «параметры тонкостенного сплайна» понимаются коэффициенты сплайновой модели трансформирования, имеющей вид:The term "thin-walled spline parameters" refers to the coefficients of the spline transformation model, having the form:

Figure 00000001
Figure 00000001

где (В, L) - значение геодезических координат точки местности, соответствующей пикселу с файловыми координатами (x, у);where (B, L) is the value of the geodetic coordinates of the terrain point corresponding to a pixel with file coordinates (x, y);

а1 - коэффициент смещения по осям координат;and 1 is the displacement coefficient along the coordinate axes;

ax и ау- масштабные коэффициенты по соответствующим осям;a x and a y are scale factors along the corresponding axes;

N - количество опорных точек;N is the number of reference points;

ωi - весовой коэффициент i-той опорной точки с координатами (xi, yi);ω i is the weight coefficient of the i-th reference point with coordinates (x i , y i );

r=||(xi, yi)-(x, y)|| - расстояние от опорной точки до текущего пикселя изображения;r = || (x i , y i ) - (x, y) || - distance from the reference point to the current image pixel;

U(r)=r2log r - мера расстояния от опорной точки до текущего пикселя изображения.U (r) = r 2 log r - a measure of the distance from the reference point to the current image pixel.

Заявляемые преимущества обеспечиваются введением новых операций: получение опорного и обрабатываемого изображения; определение области идентификации опорных точек; идентификация опорных точек на выбранной области; определение размеров фрагментов обрабатываемого изображения; определение величины перекрытия смежных фрагментов; разбиение изображения на М фрагментов; определение параметров тонкостенного сплайна для каждого фрагмента; трансформирование фрагмента, используя полученную модель; объединение фрагментов в единое изображение.The claimed benefits are provided by the introduction of new operations: obtaining a reference and processed image; determination of the identification area of control points; identification of control points on the selected area; determination of the sizes of fragments of the processed image; determining the amount of overlap of adjacent fragments; dividing the image into M fragments; determination of thin-walled spline parameters for each fragment; fragment transformation using the obtained model; combining fragments into a single image.

Сопоставительный анализ технического решения со способом, выбранным в качестве прототипа, показывает, что заявляемый способ отличается новыми операциями, такими как: определение размеров фрагментов обрабатываемого изображения; определение величины перекрытия смежных фрагментов; разбиение изображения на М фрагментов; определение параметров тонкостенного сплайна для каждого фрагмента; трансформирование фрагмента, используя полученную модель; объединение фрагментов в единое изображение.A comparative analysis of the technical solution with the method selected as a prototype shows that the inventive method is distinguished by new operations, such as: determining the size of fragments of the processed image; determining the amount of overlap of adjacent fragments; dividing the image into M fragments; determination of thin-walled spline parameters for each fragment; fragment transformation using the obtained model; combining fragments into a single image.

Таким образом, заявляемое техническое решение соответствует критерию изобретения «новизна».Thus, the claimed technical solution meets the criteria of the invention of "novelty."

Анализ известных технических решений в исследуемой области и в смежных областях позволяет сделать вывод о том, что введенные операции известны. Однако введение их в способ фотограмметрической обработки космических изображений местности в указанной последовательности придает этому способу новые свойства. Введенные операции осуществляются таким образом, что позволяют значительно сократить время фотограмметрической обработки космических изображений местности, поскольку изображение разбивается на фрагменты, вычисление коэффициентов модели тонкостенного сплайна и трансформирование каждого фрагмента может осуществляться в параллельном режиме, что приводит к уменьшению времени обработки.An analysis of the known technical solutions in the studied area and in related areas allows us to conclude that the operations introduced are known. However, their introduction into the method of photogrammetric processing of space images of the terrain in the indicated sequence gives this method new properties. The introduced operations are carried out in such a way that they can significantly reduce the time of photogrammetric processing of space images of the area, since the image is divided into fragments, the coefficients of the thin-walled spline model can be calculated and each fragment can be transformed in parallel mode, which reduces the processing time.

Таким образом, техническое решение соответствует критерию «изобретательский уровень», так как оно для специалиста явным образом не следует из уровня развития техники.Thus, the technical solution meets the criterion of "inventive step", as it for the specialist does not explicitly follow from the level of development of technology.

Техническое решение может быть использовано в геоинформационных системах, наземных комплексах приема, обработки и распространения данных ДЗЗ, обеспечивающих данными широкий круг потребителей, при организации процессов фотограмметрической обработки космических изображений местности.The technical solution can be used in geographic information systems, ground-based complexes for the reception, processing and dissemination of remote sensing data, providing data to a wide range of consumers, when organizing the processes of photogrammetric processing of space images of the terrain.

Таким образом, изобретение соответствует критерию «промышленная применимость».Thus, the invention meets the criterion of "industrial applicability".

На фиг. 1 представлена схема блочного сплайнового трансформирования космических изображений местности.In FIG. 1 is a diagram of a block spline transform of space images of a terrain.

На фиг. 2 представлена зависимость производительности цифровой фотограмметрической станции (ЦФС) от размера входного изображения при трансформировании на основе полиномов различных типов.In FIG. Figure 2 shows the dependence of the performance of a digital photogrammetric station (DFS) on the size of the input image during transformation based on polynomials of various types.

В качестве необходимого условия блочного сплайнового трансформирования космических изображений местности является наличие опорного изображения, покрывающее обрабатываемое изображение и обладающее необходимыми точностными характеристиками.As a prerequisite for the block spline transformation of terrestrial space images is the presence of a reference image that covers the processed image and has the necessary accuracy characteristics.

Под идентификацией опорных точек на выбранной области понимается ручной или автоматический поиск пикселей на опорном и обрабатываемом изображениях, соответствующих одному и тому же участку конкретного объекта местности.Under the identification of control points in the selected area refers to a manual or automatic search for pixels in the reference and processed images corresponding to the same area of a particular terrain.

Обработка космического изображения местности с использованием модели тонкостенного сплайна обеспечивает высокую точность трансформирования (при наличии опорного изображения с соответствующими точностными характеристиками) при обработке космического изображения, отображающего местность со сложным типом рельефа, в случае отсутствия цифровой матрицы рельефа с требуемыми характеристиками, параметров ориентирования снимка и модели датчика.Processing a space image of the terrain using the thin-walled spline model provides high transformation accuracy (in the presence of a reference image with appropriate accuracy characteristics) when processing a space image displaying a terrain with a complex type of terrain, in the absence of a digital terrain matrix with the required characteristics, image and model orientation parameters sensor.

Однако, современные оптико-электронное изображения имеют размеры до 50000 пикселей по ширине и в среднем 50000-60000 пикселей в длину, что требует использования нескольких тысяч опорных точек. Для космического изображения приведенного размера время трансформирования достигает 5 часов, что является неприемлемым.However, modern optoelectronic images are up to 50,000 pixels wide and an average of 50,000-60000 pixels in length, which requires the use of several thousand reference points. For a space image of reduced size, the transformation time reaches 5 hours, which is unacceptable.

Суть предлагаемого способа заключается в следующем.The essence of the proposed method is as follows.

После получения входных данных и идентификации опорных точек, происходит определение размера обрабатываемых фрагментов и величины перекрытия смежных фрагментов. Затем обрабатываемое изображение разбивается на фрагменты; происходит определение параметров тонкостенного сплайна для каждого фрагмента; выполняется трансформирование каждого фрагмента, используя полученную модель, с последующей сшивкой в единое изображение. Причем определение параметров тонкостенного сплайна и трансформирование каждого фрагмента может выполняться в параллельном режиме.After receiving the input data and identifying reference points, the size of the processed fragments and the overlap of adjacent fragments are determined. Then the processed image is divided into fragments; thin-walled spline parameters are determined for each fragment; each fragment is transformed using the resulting model, followed by stitching into a single image. Moreover, the determination of the thin-walled spline parameters and the transformation of each fragment can be performed in parallel.

Способ включает следующие операции:The method includes the following operations:

1. Получение опорного и обрабатываемого изображения местности.1. Getting the reference and processed image of the area.

Данная операция включает поиск опорного изображения местности с заданными точностными и другими характеристиками, полностью или частично покрывающие обрабатываемое изображение.This operation includes the search for a reference image of the area with specified accuracy and other characteristics that completely or partially cover the processed image.

2. Определение области идентификации опорных точек.2. Determination of the identification area of control points.

Данная операция включает определение области совместного покрытия участка местности обрабатываемого и опорного изображения.This operation involves determining the area of joint coverage of the terrain of the processed and reference image.

3. Идентификация опорных точек на выбранной области.3. Identification of control points on the selected area.

Может быть выполнена как вручную оператором, так и одним из известных алгоритмов автоматической идентификации опорных точек (например, SURF, FAST, SIFT и др.).It can be performed both manually by the operator, and one of the known algorithms for automatic identification of control points (for example, SURF, FAST, SIFT, etc.).

4. Определение размеров фрагментов обрабатываемого изображения.4. Sizing of fragments of the processed image.

Размер фрагмента определяется на основе величины плотности опорных точек, задаваемой оператором с учетом типа местности, отображенной на изображении, и требований к точностным характеристикам. Ограничением на максимальную величину размера фрагмента выступают характеристики аппаратной части цифровой фотограмметрической станции. Ограничением на минимальную величину размера фрагмента является минимальное количество опорных точек, необходимых для вычисления параметров трансформирования (1). Так при использовании сплайнового трансформирования 1-ой степени минимальной количество опорных точек равно 3. Рекомендуемый минимальный размер фрагмента - 1024×1024 пикселов. Максимальную величину размера фрагмента определим, исходя из характеристик аппаратной части цифровой фотограмметрической станции, следующим образом. За основу возьмем зависимость производительности ЦФС от размера входного изображения при трансформировании на основе полиномов различных типов [Шуклин И.И., Мосин С.А., Мирошниченко С.Ю. Влияние свойств данных дистанционного зондирования Земли и параметров их трансформирования на время построения результирующего изображения местности // Известия Юго-Западного государственного университета. 2016. №6 (69). С. 16-27.], изображенной на фиг. 2. Из фиг. 2 видно, что трансформирование на основе сплайна существенно проигрывает другим видам трансформирования в части времени выполнения операции. Поэтому наиболее целесообразным требованием по времени выполнения трансформирования изображения является величина, сопоставимая с затратами времени на трансформирование с использованием других методов. В силу того, что вычислительная сложность сплайнового трансформирования выше, чем у методов, показанных на фиг. 2, то примем требуемое время трансформирования (tтpe6) изображения как tтpeб=0.7⋅ts, где ts - время, затрачиваемое на трансформирование изображения с применением методов, указанных на фиг. 2. Отметим, что оценки ts формируются на основе метода измерительных мониторов. Далее необходимо осуществить переход от tтpeб к требуемой асимптотической оценке сложности Отpe6(N). Данный переход также осуществляется на основе метода измерительных мониторов для конкретной ЦФС. При этом изменяемым параметром является N, а оцениваемым tтpeб.The fragment size is determined on the basis of the density of reference points specified by the operator, taking into account the type of terrain displayed on the image and the requirements for accuracy characteristics. A limitation on the maximum size of the fragment size is the characteristics of the hardware of the digital photogrammetric station. A restriction on the minimum size of a fragment is the minimum number of reference points necessary for calculating the transformation parameters (1). So when using the 1st degree spline transform, the minimum number of control points is 3. The recommended minimum fragment size is 1024 × 1024 pixels. The maximum value of the fragment size is determined based on the characteristics of the hardware of the digital photogrammetric station, as follows. As a basis, we take the dependence of DFS performance on the size of the input image during transformation based on polynomials of various types [Shuklin II, Mosin SA, Miroshnichenko S.Yu. The influence of the properties of Earth remote sensing data and the parameters of their transformation on the time of constructing the resulting image of the area // Bulletin of the South-West State University. 2016. No6 (69). S. 16-27.] Depicted in FIG. 2. From FIG. 2 shows that the transformation based on the spline significantly loses to other types of transformation in terms of the time of the operation. Therefore, the most appropriate requirement for the time to complete the transformation of the image is a value comparable to the time spent on transformation using other methods. Due to the fact that the computational complexity of spline transformation is higher than that of the methods shown in FIG. 2, then we take the required transformation time (t tpe6 ) of the image as t treb = 0.7⋅t s , where t s is the time taken to transform the image using the methods indicated in FIG. 2. Note that the estimates of t s are formed on the basis of the method of measuring monitors. Next, it is necessary to carry out the transition from tref to the required asymptotic estimate of complexity Ope6 (N). This transition is also based on the method of measuring monitors for a specific DFS. At the same time, the variable parameter is N, and the estimated t is required .

Если Отpe6(N)≥О(N), где O(N) - асимптотическая оценка сложности обрабатываемого изображения с количеством опорных точек N, то изображения не разбивается на фрагменты.If О Тpe6 (N) ≥ О (N), where O (N) is an asymptotic estimate of the complexity of the processed image with the number of control points N, then the image is not divided into fragments.

Если Отpe6(N)<O(N), то изображения разбивается на М фрагментов, где М определяется следующим образом:

Figure 00000002
где γ - параметр, учитывающий затраты времени на обработку перекрывающихся участков фрагментов и их сшивку. Можно принять γ=0,8.If О TPE6 (N) <O (N), then the image is divided into M fragments, where M is defined as follows:
Figure 00000002
where γ is a parameter that takes into account the time spent on processing overlapping sections of fragments and their crosslinking. You can take γ = 0.8.

Размеры фрагментов определяются путем пропорционального деления изображения на количество фрагментов М.The sizes of the fragments are determined by proportionally dividing the image by the number of fragments M.

5. Определение величины перекрытия смежных фрагментов. Из практики известно, что при трансформировании фрагментов одного изображения с использованием различных параметров трансформирования в местах стыковки соседних фрагментов могут образовываться разрывы контуров величиной до 10 пикселов. Тогда перекрытие смежных фрагментов должно быть такой величины, чтобы нивелировать величину этого эффекта. Примем величину перекрытия смежных фрагментов равную 100 пикселов.5. Determination of the overlap of adjacent fragments. It is known from practice that when transforming fragments of one image using various transformation parameters, contour breaks up to 10 pixels in size can form at the joints of adjacent fragments. Then the overlap of adjacent fragments should be of such a magnitude as to level the magnitude of this effect. Let us take the overlap of adjacent fragments equal to 100 pixels.

6. Разбиение изображения на М фрагментов. Осуществляется на основе результатов, полученных в п. 4, 5.6. Partitioning the image into M fragments. It is carried out on the basis of the results obtained in paragraphs 4, 5.

7. Определение параметров тонкостенного сплайна для каждого фрагмента обрабатываемого изображения.7. Determination of thin-walled spline parameters for each fragment of the processed image.

Параметры тонкостенного сплайна для каждого фрагмента обрабатываемого изображения вычисляются с использованием выражения (1) на основе выборки из опорных точек, полученных на этапе идентификации точек. Указанная выборка включает опорные точки, идентифицированные на обрабатываемом фрагменте изображения.The thin-walled spline parameters for each fragment of the processed image are calculated using expression (1) based on a selection of reference points obtained at the point identification stage. The specified sample includes reference points identified on the processed image fragment.

На основе полученных моделей тонкостенного сплайна (для всех фрагментов изображения) рассчитываются размеры результирующего изображения местности. Создание файла результирующего изображения с вычисленными размерами с пустыми растровыми каналами.Based on the obtained thin-walled spline models (for all image fragments), the sizes of the resulting terrain image are calculated. Creation of a file of the resulting image with calculated sizes with empty raster channels.

8. Трансформирование фрагмента, используя полученную модель. При наличии поддержки техническими средствами параллельных вычислений, может быть организована параллельная обработка в несколько потоков, где в рамках одного потока трансформируется один фрагмент обрабатываемого изображения.8. Transformation of a fragment using the obtained model. If there is support by technical means of parallel computing, parallel processing can be organized into several streams, where within one stream one fragment of the processed image is transformed.

9. Объединение фрагментов в единое изображение.9. Combining fragments into a single image.

Запись в файл результирующего изображения трансформированных фрагментов осуществляется по мере завершения их обработки.Writing to the file of the resulting image of the transformed fragments is carried out as they are processed.

Таким образом, при использовании заявляемого способа достигается сокращение времени трансформирования космического изображения местности с использованием модели трансформирования тонкостенного сплайна при сохранении точностных характеристик результирующего изображения по отношению к прототипу.Thus, when using the proposed method, a reduction in the time for transforming the space image of the area using the model for transforming a thin-walled spline is achieved while maintaining the accuracy characteristics of the resulting image with respect to the prototype.

Claims (1)

Способ трансформирования космических изображений местности, включающий получение опорного и обрабатываемого изображения, определение области идентификации опорных точек и их идентификацию, определение параметров модели тонкостенного сплайна и трансформацию обрабатываемого изображения, используя полученную модель, отличающийся тем, что после идентификации опорных точек происходит определение размеров обрабатываемых фрагментов и величины перекрытия смежных фрагментов на основе полученных опорных точек; обрабатываемое изображение разбивается на фрагменты; для каждого фрагмента определяются параметры модели тонкостенного сплайна; выполнение трансформации каждого фрагмента с использованием полученной модели; объединение трансформированных фрагментов в единое изображение.The method of transforming space images of the terrain, including obtaining a reference and a processed image, determining the identification area of the control points and identifying them, determining the parameters of the thin-walled spline model and transforming the processed image using the obtained model, characterized in that after the identification of the control points, the sizes of the processed fragments are determined and the amount of overlap of adjacent fragments based on the obtained control points; the processed image is divided into fragments; for each fragment, the thin-walled spline model parameters are determined; transformation of each fragment using the resulting model; combining transformed fragments into a single image.
RU2019126532A 2019-08-21 2019-08-21 Method for block spline transformation of space images of area RU2719559C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2019126532A RU2719559C1 (en) 2019-08-21 2019-08-21 Method for block spline transformation of space images of area

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019126532A RU2719559C1 (en) 2019-08-21 2019-08-21 Method for block spline transformation of space images of area

Publications (1)

Publication Number Publication Date
RU2719559C1 true RU2719559C1 (en) 2020-04-21

Family

ID=70415388

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019126532A RU2719559C1 (en) 2019-08-21 2019-08-21 Method for block spline transformation of space images of area

Country Status (1)

Country Link
RU (1) RU2719559C1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768813B1 (en) * 1999-06-16 2004-07-27 Pentax Corporation Photogrammetric image processing apparatus and method
US7126616B2 (en) * 2001-06-12 2006-10-24 Silicon Optix Inc. Method and system for processing a non-linear two dimensional spatial transformation
US7623731B2 (en) * 2005-06-20 2009-11-24 Honda Motor Co., Ltd. Direct method for modeling non-rigid motion with thin plate spline transformation
RU2683626C1 (en) * 2018-04-16 2019-03-29 Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации Method of identification of supporting points on space images of terrain during transformation thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768813B1 (en) * 1999-06-16 2004-07-27 Pentax Corporation Photogrammetric image processing apparatus and method
US7126616B2 (en) * 2001-06-12 2006-10-24 Silicon Optix Inc. Method and system for processing a non-linear two dimensional spatial transformation
US7623731B2 (en) * 2005-06-20 2009-11-24 Honda Motor Co., Ltd. Direct method for modeling non-rigid motion with thin plate spline transformation
RU2683626C1 (en) * 2018-04-16 2019-03-29 Российская Федерация, от имени которой выступает Министерство обороны Российской Федерации Method of identification of supporting points on space images of terrain during transformation thereof

Similar Documents

Publication Publication Date Title
US8422825B1 (en) Method and system for geometry extraction, 3D visualization and analysis using arbitrary oblique imagery
US9330504B2 (en) 3D building model construction tools
US9547910B2 (en) Method and apparatus for vision aided navigation using image registration
KR100647807B1 (en) Method for extraction of 3d building information using shadow analysis
US8823732B2 (en) Systems and methods for processing images with edge detection and snap-to feature
AU2007355942B2 (en) Arrangement and method for providing a three dimensional map representation of an area
US8755632B2 (en) Methods and systems for creating an aligned bank of images with an iterative self-correction technique for coordinate acquisition and object detection
US9292922B2 (en) Point cloud assisted photogrammetric rendering method and apparatus
US20020061132A1 (en) Stereo image processing apparatus and method of processing stereo image
CN112384891B (en) Method and system for point cloud coloring
JP7131994B2 (en) Self-position estimation device, self-position estimation method, self-position estimation program, learning device, learning method and learning program
US9679382B2 (en) Georeferencing method and system
JP2010128622A (en) Stereo matching processing apparatus, stereo matching processing method and program
EP3327676B1 (en) Method for displaying object on three-dimensional model
KR101453143B1 (en) Stereo matching process system, stereo matching process method, and recording medium
US11417077B2 (en) Systems and methods for rapid alignment of digital imagery datasets to models of structures
US9372081B2 (en) Method and system for geo-referencing at least one sensor image
RU2719559C1 (en) Method for block spline transformation of space images of area
CN110411449B (en) Aviation reconnaissance load target positioning method and system and terminal equipment
RU2683626C1 (en) Method of identification of supporting points on space images of terrain during transformation thereof
Roberts et al. Inertial navigation sensor integrated motion analysis for autonomous vehicle navigation
CN115019268A (en) Lane line detection method and device, computer equipment and storage medium
CA3145799A1 (en) Adaptive lane detection systems and methods
RU2650700C1 (en) Method of aerospace geoinformation monitoring of natural and man-made objects with the application of the wavelet transform method for aerospace digital photographs
Stojcsics et al. Automated Volume Analysis of Open Pit Mining Productions Based on Time Series Aerial Survey