RU2628217C2 - Устройство распознавания трехмерного объекта и способ распознавания трехмерного объекта - Google Patents

Устройство распознавания трехмерного объекта и способ распознавания трехмерного объекта Download PDF

Info

Publication number
RU2628217C2
RU2628217C2 RU2015123211A RU2015123211A RU2628217C2 RU 2628217 C2 RU2628217 C2 RU 2628217C2 RU 2015123211 A RU2015123211 A RU 2015123211A RU 2015123211 A RU2015123211 A RU 2015123211A RU 2628217 C2 RU2628217 C2 RU 2628217C2
Authority
RU
Russia
Prior art keywords
dimensional
model
dimensional object
characteristic points
dimensional shape
Prior art date
Application number
RU2015123211A
Other languages
English (en)
Other versions
RU2015123211A (ru
Inventor
Тосихиро ХАЯСИ
Сухеи ЕМОТО
Мицухару СОНЕХАРА
Original Assignee
АйЭйчАй КОРПОРЕЙШН
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by АйЭйчАй КОРПОРЕЙШН filed Critical АйЭйчАй КОРПОРЕЙШН
Publication of RU2015123211A publication Critical patent/RU2015123211A/ru
Application granted granted Critical
Publication of RU2628217C2 publication Critical patent/RU2628217C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G1/00—Cosmonautic vehicles
    • B64G1/22—Parts of, or equipment specially adapted for fitting in or to, cosmonautic vehicles
    • B64G1/66—Arrangements or adaptations of apparatus or instruments, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64G—COSMONAUTICS; VEHICLES OR EQUIPMENT THEREFOR
    • B64G3/00—Observing or tracking cosmonautic vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

Изобретение относится к распознаванию трехмерного объекта. Техническим результатом является повышение точности сопряжения между собой трехмерного объекта и модели трехмерной формы. Устройство содержит: блок формирования изображений; блок сопряжения; блок обновления модели; блок оценки движения; блок определения достоверности. 4 н. и 5 з.п. ф-лы, 7 ил.

Description

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Настоящее изобретение относится к устройству распознавания трехмерного объекта и к способу распознавания трехмерного объекта, для распознавания трехмерного объекта.
УРОВЕНЬ ТЕХНИКИ
За последние годы возрастающее количество космического мусора, который представляет собой искусственные объекты, отслужившие для своих целей и вращающиеся по спутниковым орбитам вокруг Земли, становятся вызовом в продвижении освоения космоса. Такой космический мусор представляет собой некооперируемые объекты, движение и угловая ориентация которых не контролируются, и может представлять собой выполнение движения со сложной угловой ориентацией, такое, как переворачивающееся движение. Когда уборочный спутник, сконфигурированный для уборки космического мусора, приближается к космическому мусору, уборочному спутнику необходимо знать точное местоположение и угловую ориентацию космического мусора.
Уборочному спутнику необходимо получать изображения космического мусора с помощью блока формирования изображений (фотокамеры) и принимать информацию о местоположении и информацию об угловой ориентации (здесь и далее называемой лишь все вместе информацией о состоянии), исходя из данных о некоторых частях космического мусора, которые можно наблюдать на полученных изображениях. В настоящей работе, информация о местоположении показывает относительное соотношение пространственных местоположений между космическим мусором и уборочным спутником, а информация об угловой ориентации указывает на относительное соотношение угловых ориентаций между ними. В качестве решения для информации о состоянии была предложена факторизация. В НПЛ 1 описана параперспективная модель в факторизации, а также описан метод взвешенной факторизации.
СПИСОК ЦИТИРУЕМОЙ ЛИТЕРАТУРЫ
НЕПАТЕНТНАЯ ЛИТЕРАТУРА
[НПЛ 1] «А Paraperspective Factorization Method for Shape и Motion Recovery», IEEE TRANSACTIONS ON PATTERN ANALYSIS и MACHINE INTELLIGENCE, Vol. 19, No. 3, March 1997, p 206-218.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
ТЕХНИЧЕСКАЯ ЗАДАЧА
Когда уборочный спутник выполняет облет для выхода на орбиту вокруг космического мусора, достаточного количества характерных точек невозможно получить из взятых изображений, иногда в зависимости от угловой ориентации космического мусора. Например, когда космический мусор обладает определенным относительным соотношением пространственных местоположений с уборочным спутником и Солнцем или обладает определенной угловой ориентацией, область, облучаемая солнечным светом на поверхности космического мусора, достаточно мала, тогда как теневая область велика. Поэтому становится невозможным получить достаточное количество характерных точек и корректно выполнить сопоставление образов между телом космического мусора и моделью трехмерной формы, соответствующей космическому мусору.
Космический мусор движется с изменением своей угловой ориентации. Следовательно, движение характерных точек при сопряжении невозможно разложить на движение и изменение угловой ориентации космического мусора с использованием лишь технологии согласно НПЛ 1, что, таким образом, иногда вызывает расхождение с реальным движением.
Более того, при сопоставлении образов для космического мусора, целевая область сопоставления образов достаточно велика. Более того, поверхность космического мусора обладает простой структурой и включает в себя много участков, имеющих сходные структуры изображения. Поэтому сопоставление образов иногда оказывается неудачным. Следовательно, исходно одинаковые характерные точки в некоторых случаях могут быть определены как разные характерные точки, или разные характерные точки могут быть определены как одинаковые характерные точки.
В случае использования результата такого сопряжения для создания модели трехмерной формы (обновления или добавления точек, указывающих на форму модели), как только характерные точки обновляются, исходя из ошибочной информации, происходит выполнение некорректного сопряжения, исходя из ошибочной информации, что, таким образом, влияет на конечный результат сопряжения.
В свете вышеупомянутых проблем, задачей настоящего изобретения является обеспечение устройства распознавания трехмерного объекта и способа распознавания трехмерного объекта, который может повысить точность сопряжения между собой трехмерного объекта и модели трехмерной формы и вывести с высокой точностью информацию о состоянии трехмерного объекта, даже когда информация о характерных точках в достаточной мере не получена.
РЕШЕНИЕ ЗАДАЧИ
Первый аспект настоящего изобретения представляет собой устройство распознавания трехмерного объекта, включающее в себя: блок формирования изображений, сконфигурированный для получения изображений области поиска и генерировать данные изображения; блок сопряжения, сконфигурированный для сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов; блок обновления модели, сконфигурированный для обновления модели трехмерной формы, исходя из характерных точек, ассоциированных блоком сопряжения; блок оценки движения, сконфигурированный для оценки движения трехмерного объекта, исходя из истории положения и угловой ориентации модели трехмерной формы, обновленной блоком обновления модели для оценки модели трехмерной формы в произвольный момент времени в будущем; и блок определения достоверности, сконфигурированный для сопоставления характерных точек, ассоциированных блоком сопряжения, с моделью трехмерной формы, оцененной блоком оценки движения и заставляющий блок обновления модели обновлять модели трехмерной формы, исходя лишь из характерных точек, которые были определены как достоверные.
Второй аспект настоящего изобретения представляет собой устройство распознавания трехмерного объекта, включающее в себя: блок формирования изображений, сконфигурированный для получения изображений области поиска и генерирования данных изображения; блок сопряжения, сконфигурированный для сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов; блок обновления модели, сконфигурированный для обновления модели трехмерной формы, исходя из характерных точек, ассоциированных блоком сопряжения; и блок оценки движения, сконфигурированный для оценки движения трехмерного объекта, исходя из истории положения и угловой ориентации модели трехмерной формы, обновленной блоком обновления модели для оценки модели трехмерной формы в произвольный момент времени в будущем. В произвольный момент времени в будущем, блок сопряжения сопоставляет трехмерный объект с моделью трехмерной формы, оцененной блоком оценки движения.
Блок оценки движения может оценивать в целом модели трехмерной формы.
Блок оценки движения может оценивать модели трехмерной формы исходя из характерных точек сегментов.
Блок оценки движения может оценивать движения с использованием протяженного фильтра Калмана.
Третий аспект настоящего изобретения представляет собой способ распознавания трехмерного объекта, включающий в себя этапы: получение изображений области поиска для генерирования данных изображения; сопоставление трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов; сопоставление ассоциированных характерных точек с оцененной моделью трехмерной формы, для извлечения лишь тех характерных точек, которые были определены как достоверные; обновление модели трехмерной формы, исходя из извлеченных характерных точек; и оценивание движения трехмерного объекта, исходя из истории положения и угловой ориентации обновленной модели трехмерной формы, для оценки модели трехмерной формы в произвольный момент времени в будущем.
Четвертый аспект настоящего изобретения представляет собой способ распознавания трехмерного объекта, включающий в себя этапы: получения изображений области поиска для генерирования данных изображения; сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов; обновления модели трехмерной формы, исходя из ассоциированных характерных точек; и оценивания движения трехмерного объекта, исходя из истории положения и угловой ориентации обновленной модели трехмерной формы, для оценки модели трехмерной формы в произвольный момент времени в будущем, для использования оцененной модели трехмерной формы при сопоставлении образов, в произвольный момент времени в будущем.
ВЫГОДНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ
Согласно настоящему изобретению можно повысить точность сопряжения между собой трехмерного объекта и модели трехмерной формы и вывести информацию о состоянии трехмерного объекта с высокой точностью, даже когда информация о характерных точках не может быть получена надлежащим образом.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 представляет собой разъяснительный вид, иллюстрирующий относительное соотношение пространственных местоположений между космическим мусором и уборочным спутником.
Фиг. 2(a) и (b) представляют собой разъяснительные диаграммы для разъяснения отслеживания космического мусора.
Фиг. 3 представляет собой функциональную блок-схему, иллюстрирующую схематическую конфигурацию устройства распознавания трехмерного объекта.
Фиг. 4 представляет собой разъяснительный вид для разъяснения функционирования блока извлечения характерных точек.
Фиг. 5 представляет собой разъяснительный вид для разъяснения функционирования блока сопряжения.
Фиг. 6 представляет собой блок-схему, показывающую обработку потока образов согласно способу распознавания трехмерного объекта.
Фиг. 7 представляет собой блок-схему, показывающую обработку потока образов согласно способу распознавания трехмерного объекта в другом варианте воплощения.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Что касается прилагаемых чертежей, описание предпочтительных вариантов воплощения настоящего изобретения приведено подробно ниже. Размеры, материалы, другие конкретные численные значения и т.п., показанные в вариантах воплощения, показаны лишь в качестве примера для простоты понимания настоящего изобретения, и они не ограничивают настоящее изобретение, до тех пор, пока специально не указано иное. В описании и на чертежах компонентам, обладающим фактически одинаковыми функциями и конфигурациями, даны одинаковые ссылочные обозначения, и повторение их описания опущено. Компоненты, которые непосредственно не относятся к настоящему изобретению, на чертежах не показаны.
(УБОРОЧНЫЙ СПУТНИК 10)
Фиг. 1 представляет собой разъяснительный вид, иллюстрирующий относительное соотношение пространственных местоположений между космическим мусором 12 и уборочным спутником 10. Что касается Фиг. 1, космический мусор 12 вращается вокруг Земли 14 по орбите 16 с низкой загрузкой, а уборочный спутник 10 вращается вокруг космического мусора 12. В настоящей работе предполагается, что космический мусор 12 представляет собой целевой трехмерный объект, подлежащий распознаванию, который соответствует отброшенной части верхней ступени крупной ракеты.
Например, при переходе на орбиту вокруг космического мусора 12, уборочный спутник 10 выполняет облет, с получением изображений космического мусора 12 через устройство для формирования изображений, для вывода относительного информации о пространственном местоположении и информации об угловой ориентации (информации о состоянии) космического мусора 12 на уборочный спутник 10. Уборочный спутник 10 затем захватывает целевой космический мусор 12 посредством захватывающего устройства. Когда уборочный спутник 10 выполняет облет по орбите вокруг космического мусора 12 указанным образом, уборочный спутник 10 в некоторых случаях не может получить достаточное количество характерных точек из полученного изображения, в зависимости от ориентации космического мусора 12 относительное уборочного спутника 10.
Например, когда уборочный спутник 10 выполняет облет по орбите вокруг космического мусора 12, в зависимости от относительного соотношения пространственных местоположений между космическим мусором 12, уборочным спутником 10 и Солнцем или угловой ориентации космического мусора 12, область поверхности космического мусора 12, облученная солнечным светом, на полученном изображении достаточно велика, тогда как теневая область в некоторых случаях мала. В других случаях, область поверхности космического мусора 12, облученная солнечным светом, на полученном изображении мала, тогда как теневая область также мала. В последнем случае, уборочный спутник 10 не принимает достаточное количество характерных точек и не может выполнять корректное сопоставление образов между телом космического мусора 12 и моделью трехмерной формы, соответствующей космическому мусору 12. Более того, поскольку космический мусор 12 движется, с изменением его угловой ориентации, становится сложным точно указать информацию о пространственном местоположении и информацию об угловой ориентации. Поскольку целевой диапазон сопоставления образов велик, сопоставление образов иногда выполняется некорректно. Уборочному спутнику 10 может не получиться осуществить отслеживание космического мусора 12 в качестве цели, или он может потерять космический мусор 12 из поля зрения по пути.
Фиг. 2(a) и (b) представляет собой разъяснительные диаграммы для разъяснения отслеживания космического мусора 12. Горизонтальная ось каждой диаграммы отображает время, а вертикальная ось отображает угол вращения вокруг оси космического мусора 12. В настоящей работе предполагается, что космический мусор 12 со временем поворачивается на угол вращения, указанный штрихпунктирной линией на Фиг. 2(a) (истинные значения угла вращения). Однако движение характерных точек при сопряжении уборочным спутником 10 не может быть разложено на движение и изменение угловой ориентации космического мусора 12. Следовательно, измеренные значения угла вращения следуют траектории, отличной от истинных значений, указанных сплошной линией на Фиг. 2(а). Что касается Фиг. 2(а), например, характерная точка, которая исходно отслеживалась подобно истинным значениям, теряется, когда погрешность угла вращения становится большой, и затем добавляется в виде новой характерной точки по истечении определенного периода времени.
Поэтому, в данном варианте воплощения процесс отслеживания космического мусора 12 в качестве целевого трехмерного объекта осуществляют, наряду с процессом оценки движения, для оценки движения космического мусора 12, вследствие чего повышается точность сопряжения между собой космического мусора 12 и моделью трехмерной формы. Когда движение космического мусора 12 оценивается, как было описано выше, местоположение, где движется характерная точка, может быть определено с высокой точностью, и, как указано сплошной линией на Фиг. 2(b), можно получить измеренные значения угла вращения, близкие к истинным значениям угла вращения, указанным штрихпунктирной линией на Фиг. 2(b).
В частности, в данном варианте воплощения процесс отслеживания и процесс трехмерной реконструкции для трехмерного объекта (в настоящей работе - космического мусора 12) выполняется параллельно. Процесс отслеживания рассчитывает информацию о состоянии космического мусора 12 относительно блока формирования изображений путем ассоциирования характерных точек на двумерном изображении с характерными точками модели трехмерной формы (сопоставление образов). В данном процессе характерные точки, которые были перемещены или вновь извлечены, используются в процессе трехмерной реконструкции. В процессе трехмерной реконструкции используются характерные точки, были перемещены или вновь извлечены, для выполнения трехмерной реконструкции, с использованием принципа блочного уравнивания, с обновлением, таким образом, модели трехмерной формы. Реконструированную модель трехмерной формы используют для оценки движения, а оцененную модель трехмерной формы используют для повышения точности сопряжения.
Здесь и далее приводится описание конкретной конфигурации устройства 100 распознавания трехмерного объекта, реализующего вышеупомянутый процесс отслеживания и процесс трехмерной реконструкции на уборочном спутнике 10. Впоследствии будет приведено описание обработки потока образов согласно способу распознавания трехмерного объекта, исходя из блок-схемы.
(УСТРОЙСТВО РАСПОЗНАВАНИЯ ТРЕХМЕРНОГО ОБЪЕКТА 100)
Фиг. 3 представляет собой функциональную блок-схему, иллюстрирующую схематическую конфигурацию устройства 100 распознавания трехмерного объекта. Устройство 100 распознавания трехмерного объекта включает в себя блок 110 формирования изображений, блок 112 памяти и центральный контроллер 114.
Блок 113 формирования изображений включает в себя элемент формирования изображения, такой как ПЗС (прибор с зарядовой связью) или КМОП (комплементарный металлооксидный полупроводник). Блок 113 формирования изображений захватывает изображения области поиска и генерирует данные изображения. В данном варианте воплощения предполагается, что космический мусор 12 присутствует на изображении, исходя из данных изображения.
Информация о состоянии включает в себя информацию о пространственном местоположении и информация об угловой ориентации космического мусора 12, расположенного в области поиска относительно блока 113 формирования изображений. Информация о состоянии может быть получена с использованием дальномерного устройства, такого как лазерный радар, но в данном варианте воплощения получена с использованием блока 113 формирования изображений. Это возможно, поскольку блок 113 формирования изображений достаточно мал и обладает небольшой массой и допускает прием информации о состоянии при низких затратах. При использовании блока 113 формирования изображений, достаточное количество характерных точек в некоторых случаях не может быть получено из поступивших изображений, как было описано выше. Однако, в данном варианте воплощения, путем дополнительного использования процесса оценки движения, информация о состоянии трехмерного объекта может быть определена с высокой точностью, даже из изображений, полученных блоком 110 формирования изображений. При выводе информации о состоянии, абсолютное положение или угловая ориентация любого одного объекта - космического мусора 12 или блока 113 формирования изображений - может быть определена путем точного определения абсолютного положения или угловой ориентации другого объекта.
Хотя данные изображения, генерируемые блоком 110 формирования изображений, показывают двумерное изображения, объект, отображенный на плоскости в данных изображения, может быть распознан в трехмерном виде за счет изменения относительного соотношения пространственных местоположений между космическим мусором 12 и блоком 113 формирования изображений, то есть за счет смещения блока 113 формирования изображений, например, таким образом, чтобы данные изображения были генерированы относительно нескольких различных точек наблюдения (под различными углами наблюдения).
Вместо генерирования данных изображения из нескольких различных точек наблюдения одиночным блоком 113 формирования изображений, данные изображения из нескольких различных точек наблюдения могут быть генерированы одновременно с множеством блоков 110 формирования изображения, различных по местоположению и направлению формирования изображения. Таким образом, трехмерная форма космического мусора 12 может быть определена, исходя из информации, полученной с нескольких точек обзора, что, таким образом, сокращает время обработки и повышает точность определения.
Блок 112 памяти представляет собой статическое ЗУПВ, динамическое ЗУПВ, флеш-память, накопитель на жестком диске (hard disk drive, HDD) и т.п., и он временно сохраняет данные изображения, генерируемые блоком 110 формирования изображений, и модель трехмерной формы космического мусора 12.
Центральный контроллер 114 представляет собой полупроводниковую интегральную схему, включающую в себя центральный процессор (ЦП), цифровой процессор сигналов (ЦПС), ПЗУ и программы запоминающего устройства и т.п., ЗУПВ в качестве рабочего отсека, и сконфигурирован для управления и контроля всего устройства 100 распознавания трехмерного объекта. В данном варианте воплощения центральный контроллер 114 также функционирует как блок 120 обработки изображений, блок 122 извлечения характерных точек, блок 124 устройства сопряжения, блок 126 определения достоверности, блок 128 обновления модели и блок 130 оценки движения.
Блок 120 обработки изображений выполняет обработку изображения для изображения на основе данных изображения, генерируемых блоком 110 формирования изображений, перед проведением процесса отслеживания согласно варианту воплощения. Обработка изображения включает в себя коррекцию дисторсии объектива блока 110 формирования изображений и настройку баланса белого.
Блок 122 извлечения характерных точек извлекает характерные точки из изображения, подвергнутого обработке изображения блоком 120 обработки изображений.
Фиг. 4 представляет собой разъяснительный вид для разъяснения функционирования блока 122 извлечения характерных точек. Блок 113 формирования изображений захватывает изображения космического мусора 12 и генерирует данные изображения. Блок 122 извлечения характерных точек извлекает вершин (углов) из двумерного изображения 150, исходя из данных изображения, уже подвергнутых обработке изображения, и сохраняет его структуры изображения в виде характерных точек 152.
В качестве способа извлечения может быть использован алгоритм Харриса. Алгоритм Харриса является пригодным для выявления углов объекта и т.п., изображения которого включают в себя градиенты плотности. Алгоритм Харриса является действующей технологией и в настоящей работе подробно не описан.
Блок 124 устройства сопряжения сопоставляет космический мусор 12 на изображении 150, исходя из данных изображения, с моделью трехмерной формы космического мусора 12 и выполняет сопоставление образов для ассоциирования коррелированных характерных точек друг с другом.
Фиг. 5 представляет собой разъяснительный вид для разъяснения функционирования блока 124 устройства сопряжения. Сначала, для сопоставления характерных точек модели 160 трехмерной формы с моделью изображения, модель 160 трехмерной формы, обновленную блоком 128 обновления модели (описанным ниже), проецируют на плоскость, с образованием двумерного изображения 162. Блок 124 устройства сопряжения сопоставляет каждую характерную точку 152 космического мусора 12, извлеченную блоком 122 извлечения характерных точек, с двумерным изображением 162, сформированным путем плоскостного проецирования модели 160 трехмерной формы, для выведения характерных точек (блоков) 164, коррелированных с соответствующими характерными точками 152, полученными из двумерного изображения 162, которое сформировано путем плоскостного проецирования модели 160 трехмерной формы.
В данном варианте воплощения модель 160 трехмерной формы в качестве цели сопоставления отражает предыдущую информацию о состоянии. Иными словами, модель 160 трехмерной формы включает в себя соотношение пространственных местоположений и соотношение угловых ориентации, полученные при предыдущем процессе формирования изображения. Следовательно, на изображении 150, полученном на основе данных изображения и двумерного изображения 162, характерные точки, отображающие один и тот же участок, расположены относительно близко друг к другу. Поэтому блок 124 устройства сопряжения ограничивает целевой диапазон сопоставления образов до заданного диапазона и выводит характерные точки 164, коррелированные с характерными точками на изображении 150, лишь из заданного диапазона. Целевой диапазон сопоставления образов с произвольной характерной точкой 152а на изображении 150, полученной, исходя из данных изображения, ограничен, например, диапазоном 166 на двумерном изображении 162.
При такой конфигурации, загрузку обработки можно сделать намного ниже, чем в случае поиска всего диапазона модели 160 трехмерной формы для корреляции с характерной точкой 152. Более того, в космическом мусоре 12, включающем в себя множество участков, обладающих сходными структурами изображения, различные структуры изображения могут быть исключены из целевого поиска. Поэтому можно избежать таких последствий, при которых исходно одинаковые характерные точки определяются как различные характерные точки, или различные характерные точки определяются как одинаковые характерные точки, из-за сбоя в сопоставлении образов.
В данном варианте воплощения характерные точки 152 извлекают из изображения 150, исходя из данных изображения, и извлеченные характерные точки 152 сопоставляют с двумерным изображением 162, которое получают путем плоскостного проецирования модели 160 трехмерной формы. Однако оно может быть сконфигурировано таким образом, чтобы характерные точки 164 были извлечены из группы точек модели 160 трехмерной формы, и извлеченные характерные точки 164 были сопоставлены с изображением 150, исходя из данных изображения. Это может снизить загрузку обработки в некоторых технологиях обработки.
Блок 126 определения достоверности сопоставляет характерные точки 164, ассоциированные блоком сопряжения 124, с моделью трехмерной формы, оцененной блоком 130 оценки движения (описанным ниже), и определяет достоверность характерных точек 164.
Как было описано выше, результат сопряжения блоком 124 сопряжения (характерные точки 164) используют для создания модели трехмерной формы в данном варианте воплощения. Однако, как только модель 160 трехмерной формы обновляется, исходя из ошибочной информации, сопряжение начинает выполняться некорректно, исходя из ошибочной информации, что, таким образом, влияет на конечный результат сопряжения. В данном варианте воплощения определяют, подходят ли характерные точки 164, выведенные блоком 124 сопряжения, для того, чтобы они были отображены на модели 160 трехмерной формы (достоверны ли характерные точки 164). Используются только те характерные точки 164, которые являются подходящими для отображения на модели 160 трехмерной формы, тогда как другие точки 164 исключаются, что, таким образом, делает модель 160 трехмерной формы подходящей.
В настоящей работе блок 126 определения достоверности выполняет определение достоверности следующим образом. Сначала блок 130 оценки движения (описанный ниже) оценивает движение космического мусора 12 для расчета информации о состоянии, которую модель 160 трехмерной формы, указанная для предыдущего процесса формирования изображения, имеет при настоящем процессе формирования изображения. Блок 126 определения достоверности сопоставляет двумерное изображение 162, которое получают путем плоскостного проецирования оцененной трехмерной модели, с несколькими характерными точками 164, определенными блоком сопряжения 124, коррелируемыми с ним, и определяет, близка ли информация о состоянии, включающая в себя оцененное положение и угловую ориентацию, к информации о состоянии для каждой характерной точки 164. Когда каждый полученный параметр движения включен в предварительно заданный ожидаемый диапазон, блок 126 определения достоверности распознает характерную точку 164, представляющую интерес, как достоверную характерную точку. Определение достоверности более подробно описано ниже.
Что касается информации о состоянии модели 160 трехмерной формы, генерируемой при предыдущем процессе формирования изображения, блок 128 обновления модели использует несколько характерных точек 164, определенных блоком 126 определения достоверности в качестве достоверных для трехмерной реконструкции для обновления модели 160 трехмерной формы, исходя из текущего процесса формирования изображения. Путем дальнейшей трехмерной реконструкции соотношений пространственных местоположений достоверных характерных точек 164, выведенных указанным образом, можно рассчитать смещение и поворот модели 160 трехмерной формы, с минимизацией, таким образом, погрешностей.
Модель 160 трехмерной формы обновляют, с использованием блочного уравнивания. Блочное уравнивание представляет собой способ реконструкции модели трехмерной формы из нескольких двумерных изображений. Блочное уравнивание представляет собой существующую технологию, и ее подробное описание опущено.
Блок 130 оценки движения оценивает движение трехмерного объекта, исходя из истории положения и угловой ориентации модели 160 трехмерной формы, обновленной блоком 128 обновления модели, для оценки модели трехмерной формы в произвольный момент времени в будущем. В варианте воплощения движение космического мусора 12 оценивают с помощью протяженного фильтра Калмана, с использованием временного перехода модели 160 трехмерной формы, генерируемой блоком 128 обновления модели.
В данном варианте воплощения движение характерных точек 164 распознается для оценки движения и изменения угловой ориентации, в добавление к сопоставлению образов. Это может повысить точность при точном определении характерных точек 164. Более того, повторяется корректное сопряжение с корректно оцененными характерными точками и реконструкция модели трехмерной формы 160, исходя из корректных характерных точек 164, извлеченных за счет сопряжения. Взаимодействие сопряжения и реконструкции может повысить точность при сопряжении между собой космического мусора 12 и модели 160 трехмерной формы, с обеспечением, таким образом, с высокой точностью, информации о состоянии космического мусора 12.
(РАЗЪЯСНЕНИЕ ПРОТЯЖЕННОГО ФИЛЬТРА КАЛМАНА)
Здесь и далее будет приведено описание протяженного фильтра Калмана, управляемого блоком 130 оценки движения. В настоящей работе протяженный фильтр Калмана используют для оценки показателя состояния Xt космического мусора 12
Figure 00000001
Здесь Pt - местоположение космического мусора 12; Qt - кватернион угловой ориентации космического мусора 12; Vt скорость космического мусора 12; и Wt - угловая скорость космического мусора 12. Каждый параметр задан Уравнением 2, приведенным ниже:
Figure 00000002
В настоящей работе изменение времени показателя состояния Xt задано с помощью уравнения изменения состояния, и, таким образом, получается Уравнение 3, приведенное ниже:
Figure 00000003
Уравнение изменения состояния, выраженное Уравнением 3, создано на основе предположения, что относительное движение космического мусора 12 к уборочному спутнику 10 представляет собой сочетание равномерного линейного движения и равномерного вращательного движения с угловой скоростью. В настоящей работе замеренные величины, полученные путем распознавания изображения, представляют собой местоположение Pt и угловую ориентацию Qt. Исходя из замеренных величин, скорость Vt и угловую скорость Wt оценивают с помощью протяженного фильтра Калмана. При использовании оцененной скорости Vt и угловой скорости Wt, информацию о состоянии космического мусора 12 в произвольный момент времени можно оценить с помощью уравнения изменения состояния, представляющего собой Уравнение 3. Оцененные значения могут быть использованы при управлении уборочным спутником 10, включая формирование траектории для захвата космического мусора 12.
Блок 130 оценки движения оценивает в целом всю модель 160 трехмерной формы, как было описано выше, но он может быть сконфигурирован для оценки модели 160 трехмерной формы, исходя из сегментов, например, характерных точек. Обработка оценки движения может быть выполнена для каждой характерной точки сегментов, вследствие чего характерные точки 164 могут быть определены с более высокой точностью.
Как было описано выше, в данном варианте воплощения модель 160 трехмерной формы как результат оценки движения возвращает нас к определению достоверности, вследствие чего на обновление модели 160 трехмерной формы не может повлиять ошибочное распознание.
Точнее говоря, когда блок 130 оценки движения оценивает следующее соотношение пространственных местоположений и соотношение угловых ориентаций для модели трехмерной формы через уравнение изменения состояния, т.е. Уравнение 3, результат оценки используют в определении достоверности при следующем процессе формирования изображения. Блок 126 определения достоверности определяет достоверность путем сопоставления замеренной величины Qmea угловой ориентации Qt с оцененной величиной Qpre угловой ориентации в следующий момент формирования изображения. В настоящей работе рассчитывается заданное значение М, выраженное Уравнением 4:
Figure 00000004
CovQ представляет собой ожидание дисперсия ошибок оцененного значения Qpre, рассчитанного с помощью протяженного фильтра Калмана, и заданное значение М называется расстоянием Махаланобиса и представляет собой заданное значение, отображающее то, насколько замеренная величина Qmea отклоняется от оцененной модели трехмерной формы.
В варианте воплощения, когда заданное значение М, в частности, повышается или понижается, характерная точка 164, представляющая интерес, определяется как ложное (неверное) распознание и исключается. Пороговое значение для определения ложного распознания представляет собой уникальный набор на основе переходного состояния заданного значения М, и т.п., в испытании, предварительно выполненном, с использованием, например, репрезентативных данных изображения, на вызывающих ложное распознание. Когда характерная точка 164 определяется как ложно распознанная, характерная точка 164, представляющая интерес, не используется в обновлении модели 160 трехмерной формы или в процессе оценки, с использованием замеренной величины. Поэтому, модель 160 трехмерной формы подходящим образом поддерживают, даже при наличии ложного распознания. Следовательно, когда оптические условия улучшаются, с получением видимой характерной точки 164, которая не была визуально распознана, характерная точка 164 может быть распознана снова. Это может повысить точность измерения соотношения пространственных местоположений и соотношения угловых ориентаций, с повышением, таким образом, точности оценки движения.
Процесс, выполняемый блоком 124 сопряжения, соответствует вышеописанному процессу отслеживания, а процесс генерирования модели 160 трехмерной формы блоком 128 обновления модели соответствует вышеописанному процессу трехмерной реконструкции.
Более того, обеспечена программа, функционирующая в качестве устройства 100 распознавания трехмерного объекта посредством компьютера и носителя информации, сохраняющая программу. Более того, программа может быть загружена из носителя информации на компьютер или может быть перемещена посредством коммуникационной сети, загружаемой на компьютер.
(СПОСОБ РАСПОЗНАВАНИЯ ТРЕХМЕРНОГО ОБЪЕКТА)
Фиг. 6 представляет собой блок-схему, показывающую обработку потока образов согласно способу распознавания трехмерного объекта. В настоящей работе способ распознавания трехмерного объекта выполняется в виде обработки прерываний, выполняемой с предварительно заданным периодом времени. Сначала блок 113 формирования изображений устройства распознавания трехмерного объекта 100 захватывает изображения области поиска для генерирования данных изображения (S200). Блок 122 извлечения характерных точек извлекает характерные точки из изображения, которое подвергается обработке изображения блоком 120 обработки изображений (S202). Блок 124 устройства сопряжения сопоставляет характерные точки извлеченные блоком 122 извлечения характерных точек с моделью трехмерной формы, соответствующей космическому мусору 12, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов (S204).
Блок 12 6 определения достоверности сопоставляет ассоциированные характерные точки с оцененной моделью трехмерной формы, для извлечения только тех характерных точек, которые были определены как достоверные (S206). Блок 128 обновления модели использует извлеченные характерные точки для обновления модели трехмерной формы (S208). Блок 130 оценки движения оценивает движение трехмерного объекта, исходя из истории положения и угловой ориентации обновленной модели трехмерной формы, для оценки модели трехмерной формы в произвольный момент времени в будущем (S210). Таким образом, оцененную модель трехмерной формы используют при определении достоверности. Это может повысить точность при сопряжении между собой трехмерного объекта и модели трехмерной формы, даже когда информация о характерных точках не может быть надлежащим образом получена, с подачей, таким образом, с высокой точностью, информации о состоянии трехмерного объекта.
(ПРОВЕРКА ЭФФЕКТА)
Путем моделирования, при условиях наблюдения, облета, движение космического мусора 12 может быть оценено в пределах стандартного отклонения угла вращения 0,7 градусов. Когда изображение определенной части космического мусора 12 не может быть получено посредством процесса формирования изображения в течение определенного периода времени, погрешность повышается до 7 градусов максимум, но как только изображение части получается снова, угол вращения быстро преобразуется в свое истинное значение.
(ДРУГИЕ ВАРИАНТЫ ВОПЛОЩЕНИЯ)
В вышеприведенном описании варианта воплощения блок 126 определения достоверности использует результат оценки движения блоком оценки движения 130. Однако результат оценки движения может быть использован блоком 124 сопряжения. Например, блок 130 оценки движения оценивает движение трехмерного объекта, исходя из истории положения и угловой ориентации модели 160 трехмерной формы, обновленной блоком 128 обновления модели, для оценки модели трехмерной формы в произвольный момент времени в будущем (при следующем процессе формирования изображения). Блок 124 устройства сопряжения затем сопоставляет трехмерный объект на изображении 150, исходя из данных изображения, с моделью трехмерной формы, оцененной блоком 130 оценки движения, для ассоциирования коррелированных характерных точек друг с другом, путем сопоставления образов.
При такой конфигурации оцененная модель 160 трехмерной формы как объект сравнения отражает предыдущую информацию о состоянии и уже подвергается воздействию процесса оценки движения. Следовательно, характерные точки, отображающие тот же участок на изображении 150, исходя из данных изображения и двумерного изображения 162, расположены почти в том же местоположении. Следовательно, когда диапазон, который подвергают воздействию сопоставления образов с произвольной характерной точкой 152а на изображении 150, исходя из данных изображения, задают меньшим, чем диапазон в вышеописанном варианте воплощения, неверные характерные точки автоматически исключаются. Следовательно, блок 126 определения достоверности также не является необходимым.
Фиг. 7 представляет собой блок-схему, показывающую обработку потока образов согласно способу распознавания трехмерного объекта в другом варианте воплощения. Сначала блок 113 формирования изображений устройства распознавания трехмерного объекта 100 захватывает изображения области поиска для генерирования данных изображения (S300), а блок 122 извлечения характерных точек извлекает характерные точки 152 из изображения 150, которое подвергают воздействию обработки изображения блоком 120 обработки изображений (S302). Блок 124 устройства сопряжения сопоставляет характерные точки 152, извлеченные блоком 122 извлечения характерных точек, с моделью трехмерной формы, соответствующей космическому мусору 12, для ассоциирования коррелированных характерных точек друг с другом, путем сопоставления образов (S304).
Блок 128 обновления модели обновляет модель 160 трехмерной формы, исходя из извлеченных характерных точек (S306). Блок 130 оценки движения оценивает движение трехмерного объекта, исходя из истории положения и угловой ориентации модели 160 трехмерной формы, обновленной посредством блок 128 обновления, для оценки модели трехмерной формы в произвольный момент времени в будущем. Оцененную модель трехмерной формы используют при сопоставлении образов в произвольный момент времени в будущем (S308). Это может повысить точность в сопряжении между собой трехмерного объекта и модели трехмерной формы, даже когда информация о характерных точках не может быть надлежащим образом получена, с обеспечением, таким образом, информации о состоянии трехмерного объекта, с высокой точностью.
Выше были описаны предпочтительные варианты воплощения настоящего изобретения, применительно к прилагаемым чертежам. Однако настоящее изобретение не ограничено вариантами воплощения. Очевидно, что специалисты в данной области техники могут достигнуть различных видоизменений и модификаций, без отступления от объема формулы изобретения, и должно быть понятно, что видоизменения и модификации находятся в рамках технического объема настоящего изобретения.
В вышеописанных вариантах воплощения, например, трехмерный объект представляет собой космический мусор 12. Однако трехмерный объект может представлять собой различные тип существующих трехмерных объектов. Вышеописанный вариант воплощения предполагает использование в космосе, но не ограничен этим случаем. Настоящее изобретение применимо для любой области на Земле.
Этапы способа трехмерного распознавания, представленные в описании, не требуют осуществления в хронологическом порядке, описанном в блок-схеме, и они могут быть выполнены параллельно, или могут включать в себя обработку подпрограммой.
ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ
Настоящее изобретение применимо для устройства трехмерного распознавания и способа трехмерного распознавания, для распознавания трехмерного объекта.

Claims (27)

1. Устройство распознавания трехмерного объекта, содержащее:
- блок формирования изображений, сконфигурированный для получения изображений области поиска и генерирования данных изображения;
- блок сопряжения, сконфигурированный для сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов;
- блок обновления модели, сконфигурированный для обновления модели трехмерной формы, исходя из характерных точек, ассоциированных блоком сопряжения;
- блок оценки движения, сконфигурированный для оценки движения трехмерного объекта, исходя из истории положения и угловой ориентации модели трехмерной формы, обновленной блоком обновления модели, для оценки модели трехмерной формы в произвольный момент времени в будущем; и
- блок определения достоверности, сконфигурированный для сопоставления характерных точек, ассоциированных блоком сопряжения, с моделью трехмерной формы, оцененной блоком оценки движения, и побуждения блока обновления модели обновлять модель трехмерной формы, исходя лишь из характерных точек, которые были определены как достоверные.
2. Устройство распознавания трехмерного объекта, содержащее:
- блок формирования изображений, сконфигурированный для получения изображений области поиска и генерирования данных изображения;
- блок сопряжения, сконфигурированный для сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов;
- блок обновления модели, сконфигурированный для обновления модели трехмерной формы, исходя из характерных точек, ассоциированных блоком сопряжения; и
- блок оценки движения, сконфигурированный для оценки движения трехмерного объекта, исходя из истории положения и угловой ориентации модели трехмерной формы, обновленной блоком обновления модели, для оценки модели трехмерной формы в произвольный момент времени в будущем, причем в произвольный момент времени в будущем блок сопряжения сопоставляет трехмерный объект с моделью трехмерной формы, оцененной блоком оценки движения.
3. Устройство распознавания трехмерного объекта по п. 1, в котором блок оценки движения оценивает в целом модель трехмерной формы.
4. Устройство распознавания трехмерного объекта по п. 2, в котором блок оценки движения оценивает в целом модель трехмерной формы.
5. Устройство распознавания трехмерного объекта по п. 1, в котором блок оценки движения оценивает модель трехмерной формы, исходя из характерных точек сегментов.
6. Устройство распознавания трехмерного объекта по п. 2, в котором блок оценки движения оценивает модель трехмерной формы, исходя из характерных точек сегментов.
7. Устройство распознавания трехмерного объекта по любому из пп. 1-6, в котором блок оценки движения оценивает движение с использованием протяженного фильтра Калмана.
8. Способ распознавания трехмерного объекта, содержащий этапы:
- получения изображений области поиска для генерирования данных изображений;
- сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов;
- сопоставления ассоциированных характерных точек с оцененной моделью трехмерной формы для извлечения лишь характерных точек, которые были определены как достоверные;
- обновления модели трехмерной формы, исходя из извлеченных характерных точек; и
- оценивания движения трехмерного объекта, исходя из истории положения и угловой ориентации обновленной модели трехмерной формы, для оценки модели трехмерной формы в произвольный момент времени в будущем.
9. Способ распознавания трехмерного объекта, содержащий этапы:
- получения изображений области поиска для генерирования данных изображения;
- сопоставления трехмерного объекта на изображении, исходя из данных изображения, с моделью трехмерной формы, соответствующей трехмерному объекту, для ассоциирования коррелированных характерных точек друг с другом путем сопоставления образов;
- обновления модели трехмерной формы, исходя из характерных точек, ассоциированных путем сопоставления образов; и
- оценивания движения трехмерного объекта, исходя из истории положения и угловой ориентации обновленной модели трехмерной формы, для оценки модели трехмерной формы в произвольный момент времени в будущем, для использования оцененной модели трехмерной формы при сопоставлении образов в произвольный момент времени в будущем.
RU2015123211A 2012-11-19 2013-11-13 Устройство распознавания трехмерного объекта и способ распознавания трехмерного объекта RU2628217C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-253023 2012-11-19
JP2012253023A JP6044293B2 (ja) 2012-11-19 2012-11-19 ３次元物体認識装置および３次元物体認識方法
PCT/JP2013/080661 WO2014077272A1 (ja) 2012-11-19 2013-11-13 ３次元物体認識装置および３次元物体認識方法

Publications (2)

Publication Number Publication Date
RU2015123211A RU2015123211A (ru) 2017-01-10
RU2628217C2 true RU2628217C2 (ru) 2017-08-15

Family

ID=50731183

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2015123211A RU2628217C2 (ru) 2012-11-19 2013-11-13 Устройство распознавания трехмерного объекта и способ распознавания трехмерного объекта

Country Status (6)

Country Link
US (1) US9652864B2 (ru)
EP (1) EP2922023A4 (ru)
JP (1) JP6044293B2 (ru)
CA (1) CA2890717C (ru)
RU (1) RU2628217C2 (ru)
WO (1) WO2014077272A1 (ru)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10311595B2 (en) * 2013-11-19 2019-06-04 Canon Kabushiki Kaisha Image processing device and its control method, imaging apparatus, and storage medium
CN104748750B (zh) * 2013-12-28 2015-12-02 华中科技大学 一种模型约束下的在轨三维空间目标姿态估计方法及系统
CN104318552B (zh) * 2014-10-15 2017-07-14 北京理工大学 基于凸包投影图匹配的模型配准方法
US20180016036A1 (en) * 2015-01-20 2018-01-18 Politecnico Di Torino Method and system for measuring the angular velocity of a body orbiting in space
US20160259980A1 (en) * 2015-03-03 2016-09-08 Umm Al-Qura University Systems and methodologies for performing intelligent perception based real-time counting
JP6348093B2 (ja) 2015-11-06 2018-06-27 ファナック株式会社 入力データから検出対象物の像を検出する画像処理装置および方法
US9898822B2 (en) * 2016-02-03 2018-02-20 Mitsubishi Electric Research Laboratories, Inc. Method and system for reconstructing scenes as 3D models from sequences of images using constraint satisfaction
JP6894685B2 (ja) * 2016-09-29 2021-06-30 株式会社カブク 情報処理装置、情報処理方法及びプログラム
FR3057950B1 (fr) * 2016-10-24 2018-10-19 Nexter Systems Procede d'aide a la localisation d'un objectif et dispositif d'observation permettant la mise en oeuvre de ce procede
JP2018081410A (ja) * 2016-11-15 2018-05-24 セイコーエプソン株式会社 コンピュータープログラム
WO2018230016A1 (ja) * 2017-06-13 2018-12-20 株式会社Ihi 移動体観測方法
CN109308438B (zh) * 2017-07-28 2020-11-27 上海形趣信息科技有限公司 动作识别库的建立方法、电子设备、存储介质
US11164015B2 (en) * 2018-05-08 2021-11-02 Ford Global Technologies, Llc Simultaneous diagnosis and shape estimation from a perceptual system derived from range sensors
EP3690816B1 (de) * 2019-01-31 2022-08-17 Airbus Defence and Space GmbH Schätzen einer relativen position und lage eines zielobjekts in bezug auf ein ausgangsobjekt
WO2020202221A1 (en) * 2019-04-04 2020-10-08 Lovely Professional University A method and system for detecting and modeling objects in space using lidar

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090015668A1 (en) * 2006-09-01 2009-01-15 Mori Seiki Co., Ltd. Three-dimensional model data confirming method, and three-dimensional model data confirming apparatus
RU2009104869A (ru) * 2009-02-13 2010-08-20 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет (R Способ распознавания трехмерных объектов по единственному двумерному изображению и устройство для его реализации
US20100289797A1 (en) * 2009-05-18 2010-11-18 Canon Kabushiki Kaisha Position and orientation estimation apparatus and method
US20110142283A1 (en) * 2009-12-10 2011-06-16 Chung-Hsien Huang Apparatus and method for moving object detection

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149458A (ja) * 1994-11-18 1996-06-07 Sony Corp 動画像処理装置
JP3663645B2 (ja) * 1994-11-18 2005-06-22 ソニー株式会社 動画像処理装置とその方法
CN1238889A (zh) * 1996-11-27 1999-12-15 普林斯顿视频图像公司 使用图像纹理模板的运动跟踪
US6492986B1 (en) * 1997-06-02 2002-12-10 The Trustees Of The University Of Pennsylvania Method for human face shape and motion estimation based on integrating optical flow and deformable models
JP2001005973A (ja) * 1999-04-20 2001-01-12 Atr Media Integration & Communications Res Lab カラー画像による人物の３次元姿勢推定方法および装置
AU2001250802A1 (en) * 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
US7558402B2 (en) * 2003-03-07 2009-07-07 Siemens Medical Solutions Usa, Inc. System and method for tracking a global shape of an object in motion
US7072494B2 (en) * 2004-02-20 2006-07-04 Siemens Corporate Research, Inc. Method and system for multi-modal component-based tracking of an object using robust information fusion
SE528068C2 (sv) * 2004-08-19 2006-08-22 Jan Erik Solem Med Jsolutions Igenkänning av 3D föremål
US20070098221A1 (en) * 2005-10-27 2007-05-03 Charles Florin Method for detection and tracking of deformable objects using adaptive time-varying autoregressive model
JP4715539B2 (ja) * 2006-02-15 2011-07-06 トヨタ自動車株式会社 画像処理装置、その方法、および画像処理用プログラム
US8098889B2 (en) * 2007-01-18 2012-01-17 Siemens Corporation System and method for vehicle detection and tracking
US8107735B2 (en) * 2007-04-10 2012-01-31 Denso Corporation Three dimensional shape reconstitution device and estimation device
GB2455313B (en) * 2007-12-04 2012-06-13 Sony Corp Apparatus and method for estimating orientation
JP2011043419A (ja) * 2009-08-21 2011-03-03 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
JP5460341B2 (ja) * 2010-01-06 2014-04-02 キヤノン株式会社 ３次元計測装置及びその制御方法
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
JP5393531B2 (ja) * 2010-02-25 2014-01-22 キヤノン株式会社 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体
JP5600043B2 (ja) * 2010-09-10 2014-10-01 株式会社Ｉｈｉ スペースデブリ検出方法
JP5863440B2 (ja) * 2010-12-28 2016-02-16 キヤノン株式会社 情報処理装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090015668A1 (en) * 2006-09-01 2009-01-15 Mori Seiki Co., Ltd. Three-dimensional model data confirming method, and three-dimensional model data confirming apparatus
RU2009104869A (ru) * 2009-02-13 2010-08-20 Государственное образовательное учреждение высшего профессионального образования Курский государственный технический университет (R Способ распознавания трехмерных объектов по единственному двумерному изображению и устройство для его реализации
US20100289797A1 (en) * 2009-05-18 2010-11-18 Canon Kabushiki Kaisha Position and orientation estimation apparatus and method
US20110142283A1 (en) * 2009-12-10 2011-06-16 Chung-Hsien Huang Apparatus and method for moving object detection

Also Published As

Publication number Publication date
RU2015123211A (ru) 2017-01-10
US20150235380A1 (en) 2015-08-20
CA2890717C (en) 2018-03-06
EP2922023A1 (en) 2015-09-23
WO2014077272A1 (ja) 2014-05-22
JP2014102608A (ja) 2014-06-05
CA2890717A1 (en) 2014-05-22
JP6044293B2 (ja) 2016-12-14
EP2922023A4 (en) 2016-11-16
US9652864B2 (en) 2017-05-16

Similar Documents

Publication Publication Date Title
RU2628217C2 (ru) Устройство распознавания трехмерного объекта и способ распознавания трехмерного объекта
CN109974693B (zh) 无人机定位方法、装置、计算机设备及存储介质
JP7326720B2 (ja) 移動体位置推定システムおよび移動体位置推定方法
US10356562B2 (en) Systems and methods for graph-based localization and mapping
Hide et al. Low cost vision-aided IMU for pedestrian navigation
JP2018522345A5 (ru)
US20210044787A1 (en) Three-dimensional reconstruction method, three-dimensional reconstruction device, and computer
CN104704384A (zh) 具体用于装置的基于视觉的定位的图像处理方法
WO2018134686A2 (en) Systems, methods, device and apparatuses for performing simultaneous localization and mapping
CN103649680A (zh) 用于3d扫描的传感器定位
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
US8428343B2 (en) VOXEL map generator and method thereof
EP3754298A1 (en) Placement table for unmanned aerial vehicle, surveying method, surveying device, surveying system and program
CN112907671B (zh) 点云数据生成方法、装置、电子设备及存储介质
EP4131166A1 (en) Three-dimensional model generation method and three-dimensional model generation device
US11210846B2 (en) Three-dimensional model processing method and three-dimensional model processing apparatus
Woo et al. Vision-based UAV Navigation in Mountain Area.
He et al. WiFi based indoor localization with adaptive motion model using smartphone motion sensors
Chdid et al. Inertial-vision sensor fusion for pedestrian localization
EP3137923A1 (en) Dead reckoning system based on locally measured movement
Irmisch et al. Simulation framework for a visual-inertial navigation system
Feng et al. Real-time landslide monitoring using close-range stereo image sequences analysis
Al-Durgham The registration and segmentation of heterogeneous Laser scanning data
Zhang et al. An algorithm for motion estimation based on the interframe difference detection function model
Jurado Enhanced image-aided navigation algorithm with automatic calibration and affine distortion prediction