RU2017141158A

RU2017141158A - Способ моделирования трехмерного пространства

Info

Publication number: RU2017141158A
Application number: RU2017141158A
Authority: RU
Inventors: Томас УИЛАН; Ренато Фернандо САЛАС МОРЕНО; Штефан ЛОЙТЕНЭГГЕР; Эндрю ДЕЙВИСОН; Бен ГЛОКЕР
Original assignee: Империал Колледж Оф Сайенс, Текнолоджи Энд Медсин
Priority date: 2015-05-27
Filing date: 2016-05-17
Publication date: 2019-05-31
Also published as: KR20180026400A; GB2538751A; AU2016266968B2; RU2713611C2; BR112017025234A2; CN107980150A; JP6854780B2; EP3304492B1; US10460463B2; JP2018520425A; CN107980150B; GB201509068D0; WO2016189274A1; EP3304492A1; RU2017141158A3; AU2016266968A1; US20180082435A1

Claims

1. Аппаратура для генерации модели трехмерного пространства, содержащая

интерфейс для получения изображения, конфигурированный для получения данных изображения, генерируемых устройством захвата изображения, эти данные изображения представляют результат наблюдения, так что здесь имеет место относительное перемещение между трехмерным пространством и устройством захвата изображения во времени; и

механизм моделирования, конфигурированный для обработки данных изображения, полученных интерфейсом для получения изображения, и для вычисления трехмерной модели трехмерного пространства, где этот механизм моделирования содержит:

сегментатор модели, конфигурированный для сегментации трехмерной модели и разбиения ее по меньшей мере на активные и неактивные части на основе по меньшей мере одного свойства модели,

отличающаяся тем, что механизм моделирования конфигурирован для использования активных частей трехмерной модели с целью обновления модели во времени; и

механизм совмещения конфигурирован для выравнивания активных частей трехмерной модели с неактивными частями трехмерной модели во времени.

2. Аппаратура по п. 1, отличающаяся тем, что механизм моделирования конфигурирован для вычисления активного кадра модели на основе проекции от активных частей трехмерной модели для использования при обновлении трехмерной модели.

3. Аппаратура по п. 2, содержащая

компонент отслеживания связи кадра с моделью, конфигурированный для сравнения активного кадра модели с продуцируемым кадром от указанных данных изображения с целью определения выравнивания активных частей трехмерной модели с данными изображения.

4. Аппаратура по п. 3, отличающаяся тем, что компонент отслеживания связи кадра с моделью конфигурирован для оценки позиции устройства захвата изображения путем сравнения продуцируемого кадра в текущий момент времени с активным кадром модели в предшествующий момент времени, позиция видеокамеры представляет позицию и ориентацию устройства захвата изображения в трехмерном пространстве.

5. Аппаратура по какому-либо одному из пп. 2-4, отличающаяся тем, что механизм совмещения конфигурирован для

вычисления неактивного кадра модели на основе проекции от неактивных частей трехмерной модели;

определения деформации, выравнивающей активный кадр модели с неактивным кадром модели; и

обновления трехмерной модели с использованием деформации.

6. Аппаратура по какому-либо одному из предшествующих пунктов,

отличающаяся тем, что трехмерная модель содержит модель элементов поверхности,

отличающаяся тем, что каждый элемент поверхности в составе модели элементов поверхности содержит по меньшей мере данные, определяющие положение этого элемента поверхности в трехмерном пространстве, и данные, определяющие вектор нормали к этому элементу поверхности в трехмерном пространстве, и

отличающаяся тем, что каждый элемент поверхности представляет двумерную область в трехмерном пространстве.

7. Аппаратура по какому-либо одному из предшествующих пунктов,

отличающаяся тем, что механизм моделирования конфигурирован для сохранения представлений трехмерной модели во времени, и

отличающаяся тем, что механизм совмещения конфигурирован для определения, согласуется ли представление трехмерной модели в некий конкретный момент времени с сохраненным представлением трехмерной модели для предшествующего момента времени, и в ответ на положительный результат определения, выравнивания представления трехмерной модели в рассматриваемый конкретный момент времени с сохраненным представлением трехмерной модели для предшествующего момента времени.

8. Аппаратура по какому-либо одному из предшествующих пунктов, отличающаяся тем, что механизм совмещения конфигурирован для использования графа деформации с целью выравнивания активных частей трехмерной модели с неактивными частями этой трехмерной модели, этот граф деформации вычисляют на основе момента времени инициализации для позиций в трехмерной модели, граф деформации указывает множество соседей для некой конкретной позиции в трехмерном пространстве, которые следует использовать при модификации трехмерной модели в рассматриваемой конкретной позиции при выравнивании.

9. Аппаратура по какому-либо одному из предшествующих пунктов, отличающаяся тем, что указанное по меньшей мере одно свойство модели представляет собой момент времени генерации модели и/или обновления модели для некой конкретной позиции в составе трехмерной модели, где неактивные части указывают момент времени наблюдения в прошлом, отличающийся от текущего момент времени наблюдения более чем на заданную величину.

10. Способ обновления модели трехмерного пространства, содержащий

получение трехмерной модели трехмерного пространства;

сегментацию трехмерной модели и разбиение ее по меньшей мере на активные и неактивные части на основе по меньшей мере одного свойства модели;

получение данных изображения, представляющих результаты наблюдения трехмерного пространства после перемещения устройства захвата изображения относительно трехмерного пространства;

обновление трехмерной модели на основе полученных данных изображения и активных частей этой трехмерной модели; и

совмещение активных частей трехмерной модели с соответствующими неактивными частями этой трехмерной модели,

отличающийся тем, что указанная процедура совмещения выравнивает активные части трехмерной модели, генерируемые после наблюдения области трехмерного пространства, с неактивными частями этой модели, генерируемыми после по меньшей мере одного предшествующего наблюдения этой области.

11. Способ по п. 10, отличающийся тем, что процедура обновления трехмерной модели содержит:

оценку позиции устройства захвата изображения путем сравнения данных для продуцируемого кадра из состава данных изображения с прогнозируемыми данными для кадра модели, этот кадр модели выводят из активных частей трехмерной модели трехмерного пространства; и

отличающийся тем, что процедура совмещения активных частей трехмерной модели с неактивными частями этой трехмерной модели содержит:

определение прогнозируемых отображений трехмерной модели для активных и неактивных частей с использованием позиции устройства захвата изображения, и

трансформацию активных частей таким образом, чтобы выровнять эти прогнозируемые изображения.

12. Способ по п. 11,

отличающийся тем, что данные изображения содержат по меньшей мере данные глубины, указывающие расстояние от устройства захвата изображения до нескольких элементов изображения, и

отличающийся тем, что процедура оценки позиции устройства захвата изображения содержит сравнение по меньшей мере данных глубины для продуцируемого кадра из состава этих данных изображения с прогнозируемыми данными глубины для кадра модели.

13. Способ по п. 11,

отличающийся тем, что данные изображения содержат по меньшей мере данные цвета для нескольких элементов изображения, и

отличающийся тем, что процедура оценки позиции устройства захвата изображения содержит сравнение по меньшей мере данных цвета для продуцируемого кадра из состава этих данных изображения с прогнозируемыми данными цвета для кадра модели.

14. Способ по п. 11,

отличающийся тем, что данные изображения содержат по меньшей мере данные глубины и данные цвета для нескольких элементов изображения, где данные глубины указывают расстояние до объекта в трехмерном пространстве от устройства захвата изображения, и

отличающийся тем, что процедура оценки позиции устройства захвата изображения содержит минимизацию функции ошибки, где эта функция ошибки представляет собой функцию:

геометрической погрешности на основе сравнения данных глубины для продуцируемого кадра из состава данных изображения с прогнозируемыми данными глубины для кадра модели, и

фотометрической погрешности на основе сравнения данных цвета для продуцируемого кадра из состава данных изображения с прогнозируемыми данными цвета для кадра модели.

15. Способ по какому-либо одному из п. 10-14, отличающийся тем, что процедура совмещения активных частей трехмерной модели с неактивными частями этой трехмерной модели содержит:

осуществление совмещения в локальном петлевом контуре, если метрический показатель выравнивания между активными частями трехмерной модели для какого-либо конкретного кадра и неактивными частями этой трехмерной модели для рассматриваемого конкретного кадра указывает, что величина несовмещения ниже заданного порога.

16. Способ по какому-либо одному из п. 10-15, отличающийся тем, что процедура обновления содержит сохранение представления трехмерной модели, и

отличающийся тем, что способ содержит:

осуществление совмещения в глобальном петлевом контуре, если текущее представление трехмерной модели согласуется с ранее сохраненным представлением трехмерной модели.

17. Способ по п. 16, отличающийся тем, что указанное представление трехмерной модели содержит представление прогнозируемого кадра с уменьшенным разрешением, где прогнозируемый кадр определяют на основе проекции от активных частей трехмерной модели.

18. Способ по какому-либо одному из пп. 10-17, отличающийся тем, что трехмерная модель содержит модель элементов поверхности, где каждый элемент поверхности в составе модели элементов поверхности содержит по меньшей мере данные, определяющие положение этого элемента поверхности в трехмерном пространстве, и данные, определяющие вектор нормали для этого элемента поверхности в трехмерном пространстве, где каждый элемент поверхности представляет двумерную область в трехмерном пространстве.

19. Способ по какому-либо одному из пп. 10-18, отличающийся тем, что процедура сегментации трехмерной модели содержит сегментацию трехмерной модели на основе одного или нескольких следующих параметров

момента времени генерации модели для некой конкретной позиции в трехмерной модели;

момента времени обновления модели для некой конкретной позиции в трехмерной модели; и

и найденного расстояния между некой конкретной позицией в трехмерной модели и устройством захвата изображения.

20. Способ по какому-либо одному из пп. 10-19, отличающийся тем, что процедура совмещения активных частей трехмерной модели с неактивными частями этой трехмерной модели содержит

нежесткое деформирование активных частей трехмерной модели на основе геометрического выравнивания между данными прогнозируемого кадра для активных и неактивных частей.

21. Роботизированное устройство, содержащее

по меньшей мере одно устройство захвата изображения, построенное для создания нескольких кадров, содержащих данные глубины и/или данные цвета, где данные глубины указывают расстояние от устройства захвата изображения до нескольких элементов изображения;

аппаратуру по какому-либо одному из пп. 1-9, отличающуюся тем, что интерфейс для получения изображения соединен для осуществления связи с указанным по меньшей мере одним устройством захвата изображения;

один или несколько механических приводов, построенных для перемещения роботизированного устройства в трехмерном пространстве; и

навигационный механизм, построенный для управления одним или несколькими механическими приводами,

отличающееся тем, что этот навигационный механизм конфигурирован для доступа к трехмерной модели, сформированной механизмом моделирования, с целью осуществления навигации роботизированного устройства с трехмерным пространством.

22. Мобильное компьютерное устройство, содержащее

по меньшей мере одно устройство захвата изображения, построенное для записи нескольких кадров, содержащих данные глубины и/или данные цвета, эти данные глубины указывают расстояние от устройства захвата изображения до нескольких элементов изображения, и

аппаратуру по какому-либо одному из п. 1-9, отличающуюся тем, что интерфейс для получения изображения соединен для осуществления связи с указанным по меньшей мере одним устройством захвата изображения.

23. Энергонезависимый читаемый компьютером носитель информации, содержащий исполняемые компьютером команды, при выполнении которых процессором компьютерное устройство осуществляет способ генерации модели трехмерного пространства, этот способ содержит:

получение данных изображения, содержащих несколько кадров, каждый кадр содержит данные глубины и данные цвета, эти данные глубины указывают расстояние до объекта в трехмерном пространстве от формирователя сигналов изображения, используемого для захвата данных изображения; и

вычисление модели трехмерного пространства на основе данных изображения, эта модель содержит несколько элементов, каждый элемент имеет некое положение в трехмерном пространстве,

такое вычисление содержит:

сегментацию модели для разбиения на активные и неактивные части на основе по меньшей мере одного наблюдаемого параметра для каждой части;

для некоего конкретного кадра в составе данных изображения:

определение оценки позиции формирователя сигналов изображения путем сравнения данных глубины и данных цвета для рассматриваемого конкретного кадра с прогнозируемыми данными глубины и цвета для кадра модели, получаемого на основе активных частей модели;

обновление прогнозируемых данных глубины и цвета для кадра модели с использованием оценки позиции формирователя сигналов изображения;

выравнивание активных частей модели с неактивными частями этой модели посредством трансформации элементов, ассоциированных по меньшей мере с активными и/или неактивными частями модели; и

обновление выравненных активных частей модели с использованием данных глубины и данных цвета для рассматриваемого конкретного кадра.