RU2653097C1 - Способ восстановления формы трёхмерного объекта по его двухмерным изображениям - Google Patents

Способ восстановления формы трёхмерного объекта по его двухмерным изображениям Download PDF

Info

Publication number
RU2653097C1
RU2653097C1 RU2017123630A RU2017123630A RU2653097C1 RU 2653097 C1 RU2653097 C1 RU 2653097C1 RU 2017123630 A RU2017123630 A RU 2017123630A RU 2017123630 A RU2017123630 A RU 2017123630A RU 2653097 C1 RU2653097 C1 RU 2653097C1
Authority
RU
Russia
Prior art keywords
images
image
dimensional
registered
shape
Prior art date
Application number
RU2017123630A
Other languages
English (en)
Inventor
Марина Витальевна Самойленко
Original Assignee
Марина Витальевна Самойленко
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Марина Витальевна Самойленко filed Critical Марина Витальевна Самойленко
Priority to RU2017123630A priority Critical patent/RU2653097C1/ru
Application granted granted Critical
Publication of RU2653097C1 publication Critical patent/RU2653097C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/30—Clipping

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к области фотограмметрии. Способ восстановления формы трехмерного объекта по его двухмерным изображениям заключается в регистрации под разными ракурсами двухмерных изображений объекта и по этим зарегистрированным изображениям восстанавливают трехмерную форму объекта. Контролируемую область пространства разбивают на малые объемы - элементы разрешения (ЭР), нумеруют их и фиксируют их пространственные координаты. На каждом зарегистрированном изображении выделяют область, занятую непосредственно изображением объекта - область изображения объекта, расчетным путем определяют положения всех ЭР на плоскостях зарегистрированных изображений. Для каждого зарегистрированного изображения выделяют номера тех ЭР, изображения которых попали в область изображения объекта, выбирают те номера ЭР, которые оказались выделенными одновременно для всех зарегистрированных изображений. Восстанавливают форму трехмерного объекта как совокупность ЭР с выбранными номерами. Технический результат заключается в расширении класса анализируемых объектов на объекты с однородной структурой. 4 ил.

Description

Изобретение относится к области фотограмметрии и может быть использовано для восстановления формы трехмерного объекта и его пространственного положения по двухмерным изображениям этого объекта в разных ракурсах.
Известен способ (аналог) определения формы трехмерного объекта по его двухмерным изображениям, которые получают с использованием структурированного освещения [1]. В качестве структурированной подсветки используют паттерны, например, в виде черных и белых полос. В этом способе проектор и камера, регистрирующая изображение, разнесены в пространстве и для точек изображения объекта решается задача триангуляции, что позволяет построить карту глубин - зависимость расстояний до поверхности объекта от координат пикселов на изображениях. Полученная информация позволяет оценить форму объекта.
Этот способ имеет следующие недостатки.
1) Для его реализации необходимо специальное оборудование, обеспечивающее создание структурированного освещения.
2) Реализация этого способа сопряжена с дополнительным энергопотреблением, необходимым для работы устройств, обеспечивающих структурированное освещение.
3) Способ со структурированной подсветкой является активным, что в ряде случаев нежелательно в интересах скрытности наблюдения за объектом.
4) Способ этот может оказаться нереализуемым в принципе при наблюдении за удаленными объектами из-за невозможности осветить объект на большом расстоянии структурированным светом.
5) Проблематична реализация способа в условиях естественного дневного освещения, когда паттерны могут оказаться невидимыми.
6) Информация о форме объекта получается опосредованной, в виде карты глубин, что требует последующей обработки для удобного представления формы объекта.
От указанных недостатков свободен способ (прототип) [2] восстановления формы трехмерного объекта на основе стереоизображений, который заключается в том, что регистрируют изображения объекта в разных ракурсах, находят на изображениях соответственные точки, вычисляют известными методами их трехмерные координаты, применяют триангуляцию для получения формы объекта.
Преимущества прототипа по сравнению с аналогом следующие.
1) Упрощение аппаратуры и экономия энергопотребления ввиду отсутствия подсветки.
2) Обеспечение скрытности наблюдения за объектом.
3) Получение результата в наглядной форме.
4) Работоспособность на больших расстояниях и в условиях естественного освещения.
Недостатки прототипа следующие.
1) Неработоспособность при условии однородности поверхности объекта, при которой изображение объекта получится однородным и выявить соответственные точки будет невозможно.
2) Высокие требования к качеству изображений, которые должны обеспечивать возможность выявления соответственных точек по изображению объекта.
3) Большие вычислительные затраты, необходимые для выявления соответственных точек и решения задачи триангуляции.
Технической задачей данного изобретения является расширение области применения способа восстановления формы трехмерного объекта на объекты с однородной структурой, снижение требований к качеству регистрируемых изображений, сокращение вычислительных затрат за счет того, что форма объекта восстанавливается без выявления соответственных точек на изображениях и без триангуляции, снижение требований к взаимному положению систем регистрации изображений вследствие отсутствия необходимости получения перекрывающихся изображений, что необходимо для определения соответственных точек.
Поставленная задача достигается тем, что в способе восстановления формы трехмерного объекта по его двухмерным изображениям, заключающемся в регистрации под разными ракурсами двухмерных изображений объекта и восстановлении по этим изображениям трехмерной формы объекта, согласно изобретению контролируемую область пространства, в которой находится объект, разбивают на малые объемы - элементы разрешения (ЭР), нумеруют их и фиксируют их пространственные координаты, на каждом зарегистрированном изображении выделяют область, занятую непосредственно изображением объекта - область изображения объекта, расчетным путем определяют положения всех ЭР на плоскостях зарегистрированных изображений, для каждого зарегистрированного изображения выделяют номера тех ЭР, изображения которых попали в область изображения объекта, выбирают те номера ЭР, которые оказались выделенными одновременно для всех зарегистрированных изображений, восстанавливают форму трехмерного объекта как совокупность ЭР с выбранными номерами.
Особенностью и главным преимуществом заявляемого способа является возможность вообще не находить на изображениях соответственные точки. Вместо этого выявляются номера ЭР, составляющих тело объекта. Для этого достаточно иметь информацию только об области изображения объекта на каждом зарегистрированном изображении. Таким образом, снимаются требования как к неоднородности объекта, так и к качеству его изображений и к положению систем регистрации изображений. Фактически, достаточно знать области, занятые изображениями объекта на плоскостях зарегистрированных изображений.
Обоснование способа.
Решаемой задачей является восстановление формы наблюдаемого объекта и его пространственного положения по двухмерным изображениям объекта, полученным в разных ракурсах. Будем полагать, что известна контролируемая область пространства, в которой находится объект.
Разобьем контролируемую область пространства на малые объемы - элементы разрешения (ЭР), пронумеруем их и зафиксируем их пространственные координаты. Обозначим пространственные координаты ЭР трехмерными координатными векторами ρ1, ρ2, …, ρN, где N - число ЭР в контролируемой области пространства.
Часть ЭР попадает в тело объекта; назовем эти ЭР элементами разрешения объекта (ЭРО). Очевидно, что совокупность всех ЭРО составляет форму объекта и определяет его положение в пространстве. Если каким-либо образом определить все ЭРО, например их номера, то тем самым мы определим форму и пространственное положение объекта. Задача состоит, таким образом, в определении номеров всех ЭР, которые являются ЭРО, по зарегистрированным изображениям.
Будем полагать, что имеется М зарегистрированных изображений, на которых отображается контролируемая область пространства (необязательно полностью) в различающихся ракурсах. На каждом зарегистрированном изображении выделим область, занятую непосредственно изображением объекта - область изображения объекта.
Изображение объекта представляет собой распределение интенсивности по области изображения объекта. На каждом изображении распределение интенсивности по области изображения объекта определяется различными факторами, такими, например, как ракурс объекта и направление падающего на него света. Существующие способы определения формы объекта основаны на анализе изображения объекта, то есть на анализе распределения интенсивности по области его изображения. Это заставляет учитывать множество факторов, например видимость той или иной особой точки объекта в видимом ракурсе данного изображения (она может оказаться заслоненной, закрытой другой частью объекта). Это делает задачу анализа изображений трудоемкой и подверженной ощутимому влиянию различных факторов. Кроме того, для реализации способа-прототипа требуется специально организованное взаимное расположение систем регистрации изображений, с малой базой стереоскопичности, чтобы особые или просто выделяющиеся каким-то образом точки объекта оказались на всех изображениях для возможности их идентификации.
В заявляемом способе распределение интенсивности по области изображения объекта исключается из рассмотрения и на результат не влияет. Опираться будем только на саму область изображения объекта.
Очевидно, что, независимо от видимого ракурса изображения, область изображения объекта представляет собой совокупность изображений всех ЭРО. Не все ЭРО будут «видны» на том или ином конкретном изображении, некоторые из них будут накладываться одно на другое, что соответствует заслонению более удаленной части объекта на изображении передней его частью в данном видимом ракурсе. Однако геометрически именно совокупность всех ЭРО составит область изображения объекта. На каждом изображении, помимо ЭРО, в область изображения объекта могут попадать и те ЭР, которые не являются ЭРО. Однако на изображениях в разных ракурсах в область изображения объекта будут попадать разные ЭР, не являющиеся ЭРО и обязательно все ЭРО. На этом факте основано решение задачи выделения тех ЭР, которые являются ЭРО и составляют форму объекта.
Решается задача следующим образом.
Расчетным путем определим положения всех ЭР на плоскостях зарегистрированных изображений. Сделаем это методом проецирования на плоскости изображений координатных векторов ЭР. Используем ортогональное проецирование, полагая объект удаленным от систем регистрации изображений.
Пусть известно, что плоскость изображения перпендикулярна заданному вектору R. Найдем оператор проецирования на эту плоскость.
Согласно [3] оператор проецирования на вектор R определяется выражением
Figure 00000001
а оператор проецирования на ортогональную вектору R плоскость (плоскость изображения) - оператором
Figure 00000002
Найдем базисные орты плоскости изображения. Будем полагать, что направление базисного орта оси ординат плоскости изображения j0 определяется проекцией базисного орта j базовой системы координат на плоскость изображения, а базисный орт оси абсцисс плоскости изображения i0 составляет с векторами j0 и R правую систему координат. Это значит, что
Figure 00000003
Figure 00000004
где оператор Q определяется выражением (1), [j0R] - векторное произведение,
Figure 00000005
- модуль вектора.
Чтобы определить положения всех ЭР на плоскости изображения, необходимо найти проекции их координатных векторов ρ1, ρ2, …, ρN на оси координат, задаваемые ортами i0, j0. Проецирующие на эти оси операторы определяются выражениями
Figure 00000006
В выражениях (2) учтены равенства
Figure 00000007
Figure 00000008
Таким образом, проекционный оператор на плоскость изображения равен
Figure 00000009
а проекция вектора ρi на эту плоскость определяется выражением
Figure 00000010
в котором вектор ρi - трехмерный вектор пространственных координат i-го ЭР, ρi0 - двухмерный вектор координат проекции ρi на плоскость изображения, ki - масштабирующий коэффициент, определяемый параметрами системы формирования изображения и дальностью ЭР. Масштабирующие коэффициенты могут быть рассчитаны для известных ЭР и параметров системы регистрации изображения.
Подставляя в (3) координатные векторы всех ЭР, получим все их проекции на плоскость изображения. Очевидно, что при проецировании не все ЭР займут отдельный участок плоскости изображения: во многих случаях они будут накладываться, попадая на плоскости изображения в одно и то же место. Часть ЭР попадет в область изображения объекта. В отсутствие искажающих факторов (которые не учитываем) в область изображения объекта попадут все ЭРО и могут попасть ЭР, не являющиеся ЭРО. Для каждого зарегистрированного изображения выделим номера тех ЭР, изображения которых попали в область изображения объекта. Для каждого изображения это будут номера всех ЭРО и, вероятно, номера «лишних» ЭР контролируемой области пространства, наложившиеся на область изображения объекта. Но на каждом изображении номера этих «наложившихся» ЭР будут различаться, так как «наложившиеся» ЭР зависят от видимого ракурса объекта.
Остается отделить номера ЭРО от «наложившихся» ЭР, не являющихся ЭРО. Для этого используем все изображения. Выберем те номера ЭР, которые оказались выделенными одновременно для всех зарегистрированных изображений. Это будут номера тех ЭР, которые попали в область изображения объекта на всех изображениях. После этого восстанавливаем форму трехмерного объекта как совокупность ЭР с выбранными номерами.
Таким образом, форма объекта получается в виде совокупности всех ЭР, выделенных выше описанным образом. Чем больше будет проанализировано изображений в разных ракурсах, тем больше отсеется лишних, «наложившихся» ЭР, не являющихся ЭРО, а ЭРО останутся. И тем точнее восстановится форма объекта.
На фиг. 1-4 приведены результаты компьютерного моделирования применения заявляемого способа. На фиг. 1 показан трехмерный объект - пирамида и составляющие ее ЭРО, они показаны кружками. На фиг. 2 и 3 показаны два изображения, положения которых определяются, соответственно, векторами R1=[1 1 1]T и R2=[-1 -1 1]T. На этих изображениях кружками показаны изображения ЭР, попавшие в область изображения объекта. На фиг. 4 показана восстановленная форма объекта по этим двум изображениям, которая представляется совокупностью тех ЭР, которые попали в область изображения объекта на обоих изображениях. Как явствует из сравнения фиг. 1 и фиг. 4, восстановленная форма включает лишние ЭР, но несмотря на это, форма объекта достаточно достоверно отображается уже по двум изображениям. При увеличении числа зарегистрированных двухмерных изображений число лишних ЭР будет уменьшаться.
Преимущества предлагаемого способа по сравнению с прототипом следующие.
1) Определение формы объекта по двухмерным изображениям без нахождения соответственных точек на изображениях, что снимает целый ряд проблем.
2) Расширение класса анализируемых объектов на объекты с однородной структурой, для которых невозможно определить соответственные точки в пассивном режиме.
3) Снижение требований к качеству регистрируемых изображений. Это преимущество достигается за счет того, что распределение интенсивности в области изображения объекта в заявляемом способе не учитывается, соответственно и качество формирования этого распределения, то есть качество изображения, становится не важным, не влияющим на результат.
4) Отсутствие требований к взаимному расположению систем регистрации изображений. Это преимущество достигается за счет того, что, в отсутствие необходимости выявлять соответственные точки, изображения могут регистрироваться таким образом, что перекрывающихся областей изображения сцены вообще не будет, не будет соответственных точек на изображениях: можно, например, использовать изображения объекта, полученные с разных его сторон; на таких изображениях соответственных точек в принципе может не быть, но заявляемый способ позволяет по таким изображениям определить форму объекта, в отличие от прототипа.
5) Повышение информативности. Это преимущество достигается за счет возможности использовать изображения объекта, зарегистрированные в существенно различающихся ракурсах, в то время как в прототипе используются стереоизображения с малой базой, иначе невозможно найти соответственные точки. Таким образом, заявляемый способ позволяет получить форму объекта, наиболее приближенную к действительной, в то время как прототип позволяет выявить форму объекта только «с одной стороны».
6) Снижение вычислительных затрат. Это преимущество достигается за счет отсутствия в заявляемом способе таких емких в вычислительном плане процедур как нахождение соответственных точек и решение задач триангуляции.
Источники информации
1) Щекин С.Б. Восстановление формы трехмерных объектов методами структурированного освещения // Научно-технический вестник информационных технологий, механики и оптики, №43, 2007, стр. 301-307 (аналог).
2) Тупицын И.В. Реконструкция трехмерной модели объекта на основе стереопары при решении задач 3D моделирования // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева, №3 (36), 2011, стр. 88-92 (прототип).
3) Самойленко В.И., Пузырев В.А., Грубрин И.В. Техническая кибернетика: Учеб. пособие. - М.: Изд-во МАИ, 1994. - 280 с., стр. 271-272.

Claims (3)

  1. Способ восстановления формы трехмерного объекта по его двухмерным изображениям,
  2. заключающийся в том, что регистрируют под разными ракурсами двухмерные изображения объекта и по этим зарегистрированным изображениям восстанавливают трехмерную форму объекта,
  3. отличающийся тем, что контролируемую область пространства, в которой находится объект, разбивают на малые объемы - элементы разрешения (ЭР), нумеруют их и фиксируют их пространственные координаты, на каждом зарегистрированном изображении выделяют область, занятую непосредственно изображением объекта - область изображения объекта, расчетным путем определяют положения всех ЭР на плоскостях зарегистрированных изображений, для каждого зарегистрированного изображения выделяют номера тех ЭР, изображения которых попали в область изображения объекта, выбирают те номера ЭР, которые оказались выделенными одновременно для всех зарегистрированных изображений, восстанавливают форму трехмерного объекта как совокупность ЭР с выбранными номерами.
RU2017123630A 2017-07-05 2017-07-05 Способ восстановления формы трёхмерного объекта по его двухмерным изображениям RU2653097C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2017123630A RU2653097C1 (ru) 2017-07-05 2017-07-05 Способ восстановления формы трёхмерного объекта по его двухмерным изображениям

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2017123630A RU2653097C1 (ru) 2017-07-05 2017-07-05 Способ восстановления формы трёхмерного объекта по его двухмерным изображениям

Publications (1)

Publication Number Publication Date
RU2653097C1 true RU2653097C1 (ru) 2018-05-07

Family

ID=62105664

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017123630A RU2653097C1 (ru) 2017-07-05 2017-07-05 Способ восстановления формы трёхмерного объекта по его двухмерным изображениям

Country Status (1)

Country Link
RU (1) RU2653097C1 (ru)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2693327C1 (ru) * 2018-09-14 2019-07-02 Общество с ограниченной ответственностью "Научно-исследовательский центр информационных технологий СПбГУ" (ООО "ИТ центр СПбГУ") Способ реконструкции 3D модели статичного объекта и устройство для его реализации
RU2816504C1 (ru) * 2022-12-30 2024-04-01 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия Ракетных войск стратегического назначения имени Петра Великого" МО РФ Способ получения информации о форме и размерах трехмерного объекта по его двухмерному изображению

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995026612A1 (en) * 1994-03-28 1995-10-05 Magma, Inc. Two-dimensional and three-dimensional imaging device
RU2569843C1 (ru) * 2014-11-25 2015-11-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рязанский государственный радиотехнический университет" Способ формирования трехмерного изображения земной поверхности в бортовой доплеровской рлс с линейной антенной решеткой

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995026612A1 (en) * 1994-03-28 1995-10-05 Magma, Inc. Two-dimensional and three-dimensional imaging device
US5671007A (en) * 1994-03-28 1997-09-23 Magma, Inc. Two-dimensional and three-dimensional imaging device with improved light valve and field rate
RU2569843C1 (ru) * 2014-11-25 2015-11-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Рязанский государственный радиотехнический университет" Способ формирования трехмерного изображения земной поверхности в бортовой доплеровской рлс с линейной антенной решеткой

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ЩЕКИН С.Б. "ВОССТАНОВЛЕНИЕ ФОРМЫ ТРЕХМЕРНЫХ ОБЪЕКТОВ МЕТОДАМИ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ", 2007. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2693327C1 (ru) * 2018-09-14 2019-07-02 Общество с ограниченной ответственностью "Научно-исследовательский центр информационных технологий СПбГУ" (ООО "ИТ центр СПбГУ") Способ реконструкции 3D модели статичного объекта и устройство для его реализации
RU2816504C1 (ru) * 2022-12-30 2024-04-01 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военная академия Ракетных войск стратегического назначения имени Петра Великого" МО РФ Способ получения информации о форме и размерах трехмерного объекта по его двухмерному изображению

Similar Documents

Publication Publication Date Title
CN105203044B (zh) 以计算激光散斑为纹理的立体视觉三维测量方法及系统
ES2359852T3 (es) Método y sistema para el mapeo de datos de sensores de alcance sobre datos de sensores de imagen.
Gallup et al. Variable baseline/resolution stereo
CN110728671B (zh) 基于视觉的无纹理场景的稠密重建方法
Yakar et al. Performance of photogrammetric and terrestrial laser scanning methods in volume computing of excavtion and filling areas
CN112384891B (zh) 用于点云着色的方法和系统
KR20120084635A (ko) 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
EP2294555A1 (en) Three dimensional mesh modeling
CN111721281B (zh) 位置识别方法、装置和电子设备
Rumpler et al. Multi-view stereo: Redundancy benefits for 3D reconstruction
Ahmad et al. An improved photometric stereo through distance estimation and light vector optimization from diffused maxima region
CN109284653A (zh) 基于计算机视觉的细长物体检测
Tao et al. Interpretation of SAR images in urban areas using simulated optical and radar images
RU2653097C1 (ru) Способ восстановления формы трёхмерного объекта по его двухмерным изображениям
CN109785375A (zh) 基于3d建模的距离检测方法及装置
Dawn et al. Technologies and methods for 3d reconstruction in archaeology
Akca et al. Recording and modeling of cultural heritage objects with coded structured light projection systems
Ishihara et al. Integrating both parallax and latency compensation into video see-through head-mounted display
Ha et al. A multi-view structured-light system for highly accurate 3D modeling
JP6768400B2 (ja) 情報処理装置、情報処理方法及びプログラム
Ruano et al. Aerial video georegistration using terrain models from dense and coherent stereo matching
KR20240015464A (ko) 소실점을 이용한 특징선 기반 slam 시스템
KR20120056668A (ko) 3차원 정보 복원 장치 및 그 방법
Junger et al. FPGA-based multi-view stereo system with flexible measurement setup

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20190706